Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

Mots clés générés par l'IA : Mémoire limitée génération de texte récupération augmentée Selfmem auto-mémoire

Points clés générés par l'IA

  • En exploitant l'accès direct à la référence écrite par l'homme en tant que mémoire, la génération augmentée par récupération a connu des avancées significatives dans diverses tâches de génération de texte.
  • Un obstacle majeur persiste dans la littérature actuelle : la limitation de la mémoire provenant d'un corpus fixe et de qualité variable.
  • Pour surmonter cette limitation, nous proposons un nouveau cadre appelé Selfmem qui combine le problème primal et dual pour générer un pool illimité de mémoire et sélectionner celle-ci grâce à un sélecteur pour chaque tour de génération.
  • En utilisant ce modèle, il est possible d'améliorer simultanément la qualité de la génération et celle de la mémoire.
  • Des expériences approfondies ont été menées sur différents scénarios textuels avec des résultats state-of-the-art dans plusieurs ensembles de données tels que JRC-Acquis (quatre directions), XSum (50.3 ROUGE-1) et BigPatent (62.9 ROUGE-1).
  • En français :
  • En exploitant l'accès direct à la référence écrite par l'homme en tant que mémoire, la génération augmentée par récupération a connu des avancées significatives dans diverses tâches de génération de texte.
  • Un obstacle majeur persiste dans la littérature actuelle : la limitation de la mémoire provenant d'un corpus fixe et de qualité variable.
  • Pour surmonter cette limitation, nous proposons un nouveau cadre appelé Selfmem qui combine le problème primal et dual pour générer un pool illimité de mémoire et sélectionner celle-ci grâce à un sélecteur pour chaque tour de génération.
  • En utilisant ce modèle, il est possible d'améliorer simultanément la qualité de la génération et celle de la mémoire.
  • Des expériences approfondies ont été menées sur différents scénarios textuels avec des résultats state-of-the-art dans plusieurs ensembles de données tels que JRC-Acquis (quatre directions), XSum (50.3 ROUGE-1) et BigPatent (62.9 ROUGE-1).
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Xin Cheng, Di Luo, Xiuying Chen, Lemao Liu, Dongyan Zhao, Rui Yan

Licence : CC BY 4.0

Résumé : With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem), previous works mainly focus on how to retrieve better memory. However, one fundamental limitation exists for current literature: the memory is retrieved from a fixed corpus and is bounded by the quality of the corpus. Due to the finite retrieval space, bounded memory would greatly limit the potential of the memory-augmented generation model. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a framework called Selfmem, which iteratively adopts a retrieval-augmented generator itself to generate an unbounded memory pool and uses a memory selector to pick one generated memory for the next generation round. By combining the primal and dual problem, a retrieval-augmented generation model could lift itself up with its own output in the infinite generation space. To verify our framework, we conduct extensive experiments across various text generation scenarios including neural machine translation, abstractive summarization and dialogue generation over seven datasets and achieve state-of-the-art results in JRC-Acquis(four directions), XSum(50.3 ROUGE-1) and BigPatent(62.9 ROUGE-1).

Soumis à arXiv le 03 Mai. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2305.02437v1

En exploitant l'accès direct à la référence écrite par l'homme en tant que mémoire, la génération augmentée par récupération a connu des avancées significatives dans diverses tâches de génération de texte. Cependant, un obstacle majeur persiste dans la littérature actuelle : la limitation de la mémoire provenant d'un corpus fixe et de qualité variable. Pour surmonter cette limitation, nous proposons un nouveau cadre appelé Selfmem qui combine le problème primal et dual pour générer un pool illimité de mémoire et sélectionner celle-ci grâce à un sélecteur pour chaque tour de génération. En utilisant ce modèle, il est possible d'améliorer simultanément la qualité de la génération et celle de la mémoire. Nous avons mené des expériences approfondies sur différents scénarios textuels et obtenu des résultats state-of-the-art dans plusieurs ensembles de données tels que JRC-Acquis (quatre directions), XSum (50.3 ROUGE-1) et BigPatent (62.9 ROUGE-1). Nos principales contributions sont les suivantes • Nous sommes les premiers à étudier le problème de la mémoire limitée dans la littérature sur la récupération augmentée. • En combinant le problème primal et dual, nous proposons Selfmem, un cadre d'amélioration par récupération qui pourrait s'élever avec sa propre production illimitée en tant que auto-mémoire. • Nous menons des expériences approfondies dans divers scénarios de génération textuelle et améliorons considérablement les performances state-of-the-art. Dans les années récentes,...
Créé le 27 Déc. 2024

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Articles similaires résumés avec nos outils d'IA

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.