Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory
Points clés générés par l'IA
- En exploitant l'accès direct à la référence écrite par l'homme en tant que mémoire, la génération augmentée par récupération a connu des avancées significatives dans diverses tâches de génération de texte.
- Un obstacle majeur persiste dans la littérature actuelle : la limitation de la mémoire provenant d'un corpus fixe et de qualité variable.
- Pour surmonter cette limitation, nous proposons un nouveau cadre appelé Selfmem qui combine le problème primal et dual pour générer un pool illimité de mémoire et sélectionner celle-ci grâce à un sélecteur pour chaque tour de génération.
- En utilisant ce modèle, il est possible d'améliorer simultanément la qualité de la génération et celle de la mémoire.
- Des expériences approfondies ont été menées sur différents scénarios textuels avec des résultats state-of-the-art dans plusieurs ensembles de données tels que JRC-Acquis (quatre directions), XSum (50.3 ROUGE-1) et BigPatent (62.9 ROUGE-1).
- En français :
- En exploitant l'accès direct à la référence écrite par l'homme en tant que mémoire, la génération augmentée par récupération a connu des avancées significatives dans diverses tâches de génération de texte.
- Un obstacle majeur persiste dans la littérature actuelle : la limitation de la mémoire provenant d'un corpus fixe et de qualité variable.
- Pour surmonter cette limitation, nous proposons un nouveau cadre appelé Selfmem qui combine le problème primal et dual pour générer un pool illimité de mémoire et sélectionner celle-ci grâce à un sélecteur pour chaque tour de génération.
- En utilisant ce modèle, il est possible d'améliorer simultanément la qualité de la génération et celle de la mémoire.
- Des expériences approfondies ont été menées sur différents scénarios textuels avec des résultats state-of-the-art dans plusieurs ensembles de données tels que JRC-Acquis (quatre directions), XSum (50.3 ROUGE-1) et BigPatent (62.9 ROUGE-1).
Auteurs : Xin Cheng, Di Luo, Xiuying Chen, Lemao Liu, Dongyan Zhao, Rui Yan
Résumé : With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem), previous works mainly focus on how to retrieve better memory. However, one fundamental limitation exists for current literature: the memory is retrieved from a fixed corpus and is bounded by the quality of the corpus. Due to the finite retrieval space, bounded memory would greatly limit the potential of the memory-augmented generation model. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a framework called Selfmem, which iteratively adopts a retrieval-augmented generator itself to generate an unbounded memory pool and uses a memory selector to pick one generated memory for the next generation round. By combining the primal and dual problem, a retrieval-augmented generation model could lift itself up with its own output in the infinite generation space. To verify our framework, we conduct extensive experiments across various text generation scenarios including neural machine translation, abstractive summarization and dialogue generation over seven datasets and achieve state-of-the-art results in JRC-Acquis(four directions), XSum(50.3 ROUGE-1) and BigPatent(62.9 ROUGE-1).
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.