# Hyena Hierarchy: Towards Larger Convolutional Language Models

**Authors:** Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon, Christopher Ré  
**arXiv:** [2302.10866](https://arxiv.org/abs/2302.10866)  
**Date:** 2023-02-21  
**Summary page:** https://www.summarizepaper.com/fr/paper/2302.10866v1/

## Key points

- Les avancées en apprentissage profond reposent sur l'utilisation de grands transformateurs
- L'opérateur d'attention des transformateurs a un coût quadratique en fonction de la longueur de la séquence, limitant la quantité de contexte accessible
- Hyena est proposé comme un remplacement subquadratique plug-and-play pour l'attention, construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données
- Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs basés sur l’attention
- Un nouveau record du monde a été établi pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile)
- Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K.
- Cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models" a été menée par Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré

## Summary

Les avancées récentes en matière d'apprentissage profond ont largement reposé sur l'utilisation de grands transformateurs en raison de leur capacité à apprendre à grande échelle. Cependant, l'opérateur d'attention qui constitue le bloc de construction central des transformateurs présente un coût quadratique en fonction de la longueur de la séquence et limite ainsi la quantité de contexte accessible. Pour pallier cette lacune dans les capacités, nous proposons Hyena, un remplacement subquadratique plug-and-play pour l'attention construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données. Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs reposant sur les espaces d’états et autres méthodes implicites et explicites correspondant aux modèles basés sur l’attention. Nous avons établi un nouveau record du monde pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile), atteignant la qualité du Transformer avec une réduction de 20 % du calcul requis pour l’apprentissage à une longueur maximale 2K. Les opérateurs Hyena sont également plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K. Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré ont travaillé sur cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models".