# xLSTM: Extended Long Short-Term Memory

**Authors:** Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter  
**arXiv:** [2405.04517](https://arxiv.org/abs/2405.04517)  
**Date:** 2024-05-07  
**Summary page:** https://www.summarizepaper.com/fr/paper/2405.04517v1/

## Key points

- Les LSTMs ont été introduits dans les années 1990 avec le carrousel d'erreurs constant et le gating comme idées centrales.
- Les LSTMs ont résisté à l'épreuve du temps et ont contribué à de nombreuses réussites en apprentissage profond.
- Les Transformers avec une auto-attention parallélisable ont surpassé les LSTMs à grande échelle, marquant une nouvelle ère.
- Une question clé est de savoir jusqu'où nous pouvons aller dans la modélisation du langage en mettant à l'échelle les LSTMs tout en atténuant leurs limitations.
- Les xLSTMs sont introduits avec un gating exponentiel et des structures de mémoire modifiées pour renforcer les capacités des LSTMs.
- Les xLSTMs surpassent les Transformers et autres méthodes de pointe en termes de performance et d'évolutivité selon les résultats expérimentaux.
- Les capacités des xLSTMs sont évaluées sur des tâches synthétiques avant d'être comparées avec d'autres méthodes sur un ensemble de données réel.
- Les xLSTMs sont explorés sur différentes tâches jusqu'à l'évaluation finale dans l'Arena Long Range.

## Summary

Dans les années 1990, le carrousel d'erreurs constant et le gating ont été introduits comme idées centrales de la Mémoire à Long Terme (LSTM). Depuis lors, les LSTMs ont résisté à l'épreuve du temps et ont contribué à de nombreuses réussites en apprentissage profond. Cependant, l'avènement des Transformers avec une auto-attention parallélisable a marqué une nouvelle ère en surpassant les LSTMs à grande échelle. Une question simple se pose désormais : jusqu'où pouvons-nous aller dans la modélisation du langage en mettant à l'échelle les LSTMs tout en atténuant leurs limitations ? Pour répondre à cette question, nous introduisons un gating exponentiel et des structures de mémoire modifiées pour renforcer les capacités des LSTMs. Ces extensions sont intégrées dans des blocs xLSTM qui sont ensuite empilés dans des architectures xLSTM. Les résultats expérimentaux montrent que les xLSTMs surpassent les Transformers et autres méthodes de pointe en termes de performance et d'évolutivité. Nous évaluons également spécifiquement les capacités des xLSTMs sur des tâches synthétiques avant de comparer leur perplexité avec d'autres méthodes sur un ensemble de données réel. Enfin, nous explorons davantage leurs capacités sur différentes tâches jusqu'à l'évaluation finale dans l'Arena Long Range.