Hyena Hierarchy: Towards Larger Convolutional Language Models

Mots clés générés par l'IA : Apprentissage profond Transformers Attention Hyena Sous-quadratique

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

Les progrès récents dans l'apprentissage profond sont soutenus par l'utilisation de grands Transformers.
Les Transformers utilisent un opérateur d'attention comme bloc de construction central.
L'opérateur d'attention présente un coût quadratique en fonction de la longueur de la séquence, limitant ainsi la quantité de contexte accessible.
Des méthodes sous-quadratiques existantes basées sur des approximations à faible rang et épars doivent être combinées avec des couches d'attention dense pour correspondre aux Transformers.
Dans ce travail, Hyena est proposé comme remplacement sous-quadratique pour l'attention.
Hyena utilise des convolutions longues paramétrisées implicitement et une régulation contrôlée par les données.
Dans les tâches de rappel et de raisonnement sur des séquences contenant des milliers à des centaines de milliers de jetons, Hyena améliore la précision jusqu'à 50 points par rapport aux autres opérateurs basés sur l'attention.
Hyena établit un nouvel état de l'art pour les architectures sans attention dense dans la modélisation du langage dans des jeux de données standard (WikiText103 et The Pile).
Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée jusqu’à 2 fois pour une longueur 8K et 100 fois plus rapides pour une longueur 64K.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon, Christopher Ré

arXiv: 2302.10866v3 - DOI (cs.LG)

Additional details

Licence : NONEXCLUSIVE-DISTRIB 1.0

Résumé : Recent advances in deep learning have relied heavily on the use of large Transformers due to their ability to learn at scale. However, the core building block of Transformers, the attention operator, exhibits quadratic cost in sequence length, limiting the amount of context accessible. Existing subquadratic methods based on low-rank and sparse approximations need to be combined with dense attention layers to match Transformers, indicating a gap in capability. In this work, we propose Hyena, a subquadratic drop-in replacement for attention constructed by interleaving implicitly parametrized long convolutions and data-controlled gating. In recall and reasoning tasks on sequences of thousands to hundreds of thousands of tokens, Hyena improves accuracy by more than 50 points over operators relying on state-spaces and other implicit and explicit methods, matching attention-based models. We set a new state-of-the-art for dense-attention-free architectures on language modeling in standard datasets (WikiText103 and The Pile), reaching Transformer quality with a 20% reduction in training compute required at sequence length 2K. Hyena operators are twice as fast as highly optimized attention at sequence length 8K, and 100x faster at sequence length 64K.

Soumis à arXiv le 21 Fév. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2302.10866v3

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Les récents progrès dans l'apprentissage profond ont été largement soutenus par l'utilisation de grands Transformers en raison de leur capacité à apprendre à grande échelle. Cependant, l'opérateur d'attention qui est le bloc de construction central des Transformers présente un coût quadratique en fonction de la longueur de la séquence, limitant ainsi la quantité de contexte accessible. Les méthodes sous-quadratiques existantes basées sur des approximations à faible rang et épars doivent être combinées avec des couches d'attention dense pour correspondre aux Transformers, ce qui indique une lacune en termes de capacité. Dans ce travail, nous proposons Hyena, un remplacement sous-quadratique pour l'attention construit en intercalant des convolutions longues paramétrisées implicitement et une régulation contrôlée par les données. Dans les tâches de rappel et de raisonnement sur des séquences contenant des milliers à des centaines de milliers de jetons, Hyena améliore la précision jusqu'à 50 points par rapport aux opérateurs qui s'appuient sur les espaces d'états et d'autres méthodes implicites et explicites, correspondant aux modèles basés sur l'attention. Nous établissons un nouvel état de l'art pour les architectures sans attention dense dans la modélisation du langage dans des jeux de données standard (WikiText103 et The Pile), atteignant une qualité comparable à celle du Transformer avec une réduction du calcul requis jusqu’à 20 % pour une longueur 2K. Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée jusqu’à 2 fois pour une longueur 8K et 100 fois plus rapides pour une longueur 64K.

- Les progrès récents dans l'apprentissage profond sont soutenus par l'utilisation de grands Transformers.
- Les Transformers utilisent un opérateur d'attention comme bloc de construction central.
- L'opérateur d'attention présente un coût quadratique en fonction de la longueur de la séquence, limitant ainsi la quantité de contexte accessible.
- Des méthodes sous-quadratiques existantes basées sur des approximations à faible rang et épars doivent être combinées avec des couches d'attention dense pour correspondre aux Transformers.
- Dans ce travail, Hyena est proposé comme remplacement sous-quadratique pour l'attention.
- Hyena utilise des convolutions longues paramétrisées implicitement et une régulation contrôlée par les données.
- Dans les tâches de rappel et de raisonnement sur des séquences contenant des milliers à des centaines de milliers de jetons, Hyena améliore la précision jusqu'à 50 points par rapport aux autres opérateurs basés sur l'attention.
- Hyena établit un nouvel état de l'art pour les architectures sans attention dense dans la modélisation du langage dans des jeux de données standard (WikiText103 et The Pile).
- Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée jusqu’à 2 fois pour une longueur 8K et 100 fois plus rapides pour une longueur 64K.

Résumé : - Les progrès récents dans l'apprentissage profond sont soutenus par l'utilisation de grands Transformers. - Les Transformers utilisent un opérateur d'attention comme bloc de construction central. - L'opérateur d'attention présente un coût quadratique en fonction de la longueur de la séquence, limitant ainsi la quantité de contexte accessible. - Des méthodes sous-quadratiques existantes basées sur des approximations à faible rang et épars doivent être combinées avec des couches d'attention dense pour correspondre aux Transformers. - Dans ce travail, Hyena est proposé comme remplacement sous-quadratique pour l'attention. Définitions - Apprentissage profond : Une méthode utilisée par les ordinateurs pour apprendre et comprendre des informations complexes. - Transformer : Un type particulier d'algorithme utilisé dans l'apprentissage profond pour traiter et comprendre les données. - Opérateur d'attention : Une partie importante du Transformer qui permet au modèle de se concentrer sur certaines parties des données lorsqu'il effectue une tâche. - Coût quadratique : La quantité de temps et de ressources nécessaires pour effectuer une tâche augmente rapidement avec la taille des données à traiter. - Approximations à faible rang et ép

Les récents progrès dans l'apprentissage profond

Hyena : Un remplacement sous-quadratique pour l’attention

Dans ce travail, nous proposons Hyena, un remplacement sous-quadratique pour l'attention construit en intercalant des convolutions longues paramétrisées implicitement et une régulation contrôlée par les données. Dans les tâches de rappel et de raisonnement sur des séquences contenant des milliers à des centaines de milliers de jetons, Hyena améliore la précision jusqu’à 50 points par rapport aux opérateurs qui s’appuient sur les espaces d’états et d’autres méthodes implicites et explicites, correspondant aux modèles basés sur l’attention. Nous établissons un nouvel état de l’art pour les architectures sans attention dense dans la modélisation du langage dans des jeux de données standard (WikiText103 et The Pile), atteignant une qualité comparable à celle du Transformer avec une réduction du calcul requis jusqu’à 20 % pour une longueur 2K. Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée jusqu’à 2 fois pour une longueur 8K et 100 fois plus rapides pour une longueur 64K.

Conclusion

En conclusion, Hyena est un remplacement efficace et performant pour les opératoires classiques utilisés actuellement par les transformers afin qu'ils puissent acceder au contexte plus rapidement tout en maintenant ou ameliorant le niveau performance obtenu par cette architecture classique .

Créé le 25 Nov. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.