Hyena Hierarchy: Towards Larger Convolutional Language Models

Mots clés générés par l'IA : Hyena Apprentissage profond Attention Convolution Transformateurs

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

Les avancées en apprentissage profond reposent sur l'utilisation de grands transformateurs
L'opérateur d'attention des transformateurs a un coût quadratique en fonction de la longueur de la séquence, limitant la quantité de contexte accessible
Hyena est proposé comme un remplacement subquadratique plug-and-play pour l'attention, construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données
Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs basés sur l’attention
Un nouveau record du monde a été établi pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile)
Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K.
Cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models" a été menée par Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon, Christopher Ré

arXiv: 2302.10866v1 - DOI (cs.LG)

Licence : NONEXCLUSIVE-DISTRIB 1.0

Résumé : Recent advances in deep learning have relied heavily on the use of large Transformers due to their ability to learn at scale. However, the core building block of Transformers, the attention operator, exhibits quadratic cost in sequence length, limiting the amount of context accessible. Existing subquadratic methods based on low-rank and sparse approximations need to be combined with dense attention layers to match Transformers, indicating a gap in capability. In this work, we propose Hyena, a subquadratic drop-in replacement for attention constructed by interleaving implicitly parametrized long convolutions and data-controlled gating. In recall and reasoning tasks on sequences of thousands to hundreds of thousands of tokens, Hyena improves accuracy by more than 50 points over operators relying on state-spaces and other implicit and explicit methods, matching attention-based models. We set a new state-of-the-art for dense-attention-free architectures on language modeling in standard datasets (WikiText103 and The Pile), reaching Transformer quality with a 20% reduction in training compute required at sequence length 2K. Hyena operators are twice as fast as highly optimized attention at sequence length 8K, and 100x faster at sequence length 64K.

Soumis à arXiv le 21 Fév. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2302.10866v1

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Les avancées récentes en matière d'apprentissage profond ont largement reposé sur l'utilisation de grands transformateurs en raison de leur capacité à apprendre à grande échelle. Cependant, l'opérateur d'attention qui constitue le bloc de construction central des transformateurs présente un coût quadratique en fonction de la longueur de la séquence et limite ainsi la quantité de contexte accessible. Pour pallier cette lacune dans les capacités, nous proposons Hyena, un remplacement subquadratique plug-and-play pour l'attention construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données. Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs reposant sur les espaces d’états et autres méthodes implicites et explicites correspondant aux modèles basés sur l’attention. Nous avons établi un nouveau record du monde pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile), atteignant la qualité du Transformer avec une réduction de 20 % du calcul requis pour l’apprentissage à une longueur maximale 2K. Les opérateurs Hyena sont également plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K. Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré ont travaillé sur cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models".

- Les avancées en apprentissage profond reposent sur l'utilisation de grands transformateurs
- L'opérateur d'attention des transformateurs a un coût quadratique en fonction de la longueur de la séquence, limitant la quantité de contexte accessible
- Hyena est proposé comme un remplacement subquadratique plug-and-play pour l'attention, construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données
- Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs basés sur l’attention
- Un nouveau record du monde a été établi pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile)
- Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K.
- Cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models" a été menée par Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré

Résumé: Les scientifiques ont créé une nouvelle méthode appelée "Hyena" pour améliorer l'apprentissage profond. Cette méthode est plus rapide et précise que les méthodes précédentes, même pour des séquences très longues. Ils ont également établi un nouveau record du monde en utilisant cette méthode pour modéliser le langage dans des ensembles standard. La recherche a été menée par plusieurs scientifiques. Définitions: - Apprentissage profond: une technique d'intelligence artificielle qui permet à un ordinateur d'apprendre à partir de données. - Transformateurs: une architecture de réseau neuronal utilisée pour l'apprentissage profond. - Opérateur d'attention: une fonction mathématique qui permet aux réseaux neuronaux de se concentrer sur certaines parties des données. - Quadratique: un terme mathématique qui signifie qu'une valeur augmente rapidement avec la taille d'un ensemble de données. - Précision: mesure de la qualité des résultats obtenus par un modèle ou une méthode. - Record du monde: le meilleur résultat jamais obtenu dans une certaine tâche ou compétition.

Hyena Hierarchy: Vers des modèles linguistiques convolutionnels plus grands

Objectifs

Le but principal du projet est d’améliorer les performances des modèles basés sur l’attention pour les tâches de rappel et de raisonnement sur des séquences allant jusqu’à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs reposant sur les espaces d’états et autres méthodes implicites et explicites correspondant aux modèles basés sur l’attention.

Mise en œuvre

Pour atteindre ce but ambitieux, ils ont proposé Hyena - un remplacement subquadratique plug-and-play pour l'attention construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données. Hyena combine diffusions locales (convolution) avec diffusion globale (attention), ce qui permet au modèle d’accroître sa prise en compte du contexte sans augmenter significativement le nombre total d’opératoires requis pour chaque couche du réseau neuronal convolutif profond (CNN).

Résultats

Les résultats obtenus montrent que Hyena peut amener une meilleure pratique que les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile), atteignant la qualité du Transformer avec une réductionde 20 % du calcul requis pour l’apprentissage à une longueur maximale 2K. Les opérateurs Hyena sont également plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K.

Conclusion En conclusion , cette recherche démontre qu ' Hyena est un outil puissant qui peut être utilis é pour am é liorer considérablement la performance des syst è mes bas é s sur l ' attention . Il offre non seulement un gain important en termes temps / vitesse , mais il permet é galement aux syst è mes CNN profonds d ' accro î tre le contexte disponible sans sacrifier trop grande partie du calcul n é cessaire .

Créé le 23 Avr. 2023

Disponible dans d'autres langues : en

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.