Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models

Mots clés générés par l'IA : Retrieval-augmentée Chain-of-Noting ChatGPT LLaMa-2 7B poids de perte

Points clés générés par l'IA

Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle.
La fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes.
L'approche Chain-of-Noting (CoN) est introduite pour relever ces défis.
CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale.
Les RALMs équipés de CoN surpassent les RALMs standard en termes d'amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables.
CoN présente une compréhension plus profonde des documents et conduit à des réponses plus précises que les RALMs standard.
Dans une étude de cas sur les Jeux Olympiques d’été aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée, tandis que le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996.
Une autre étude porte sur l’identification du premier bénéficiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents, tandis que le RALM avec CoN combine efficacement des détails provenant de multiples sources pour arriver à la bonne réponse : Malayalam.
Le cadre CON améliore la robustesse des RALMs en générant des notes séquentielles pour chaque document et en évaluant leur pertinence pour formuler des réponses précises.
La formation implique de concaténer les instructions, les questions et les documents comme prompts et de former le modèle à générer des notes et des réponses par apprentiss

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Wenhao Yu, Hongming Zhang, Xiaoman Pan, Kaixin Ma, Hongwei Wang, Dong Yu

arXiv: 2311.09210v1 - DOI (cs.CL)

Preprint

Licence : CC BY 4.0

Résumé : Retrieval-augmented language models (RALMs) represent a substantial advancement in the capabilities of large language models, notably in reducing factual hallucination by leveraging external knowledge sources. However, the reliability of the retrieved information is not always guaranteed. The retrieval of irrelevant data can lead to misguided responses, and potentially causing the model to overlook its inherent knowledge, even when it possesses adequate information to address the query. Moreover, standard RALMs often struggle to assess whether they possess adequate knowledge, both intrinsic and retrieved, to provide an accurate answer. In situations where knowledge is lacking, these systems should ideally respond with "unknown" when the answer is unattainable. In response to these challenges, we introduces Chain-of-Noting (CoN), a novel approach aimed at improving the robustness of RALMs in facing noisy, irrelevant documents and in handling unknown scenarios. The core idea of CoN is to generate sequential reading notes for retrieved documents, enabling a thorough evaluation of their relevance to the given question and integrating this information to formulate the final answer. We employed ChatGPT to create training data for CoN, which was subsequently trained on an LLaMa-2 7B model. Our experiments across four open-domain QA benchmarks show that RALMs equipped with CoN significantly outperform standard RALMs. Notably, CoN achieves an average improvement of +7.9 in EM score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.

Soumis à arXiv le 15 Nov. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2311.09210v1

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle. Cependant, la fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes. Pour relever ces défis, l'approche Chain-of-Noting (CoN) est introduite. CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale. Les données d'entraînement pour CoN ont été créées à l'aide de ChatGPT et entraînées sur un modèle LLaMa-2 7B. Des résultats expérimentaux sur quatre benchmarks QA ouverts montrent que les RALMs équipés de CoN surpassent les RALMs standard, en obtenant une amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables. Dans les études de cas comparant les RALMs standard et les RALMs avec CoN, il est démontré que CoN présente une compréhension plus profonde de la façon dont les documents révèlent des informations pertinentes. Il va au-delà des termes superficiels, conduisant à des réponses plus précises. Dans une étude de cas portant sur les Jeux Olympiques d’été les plus récents organisés aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée. En revanche, le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996. Une autre étude porte sur l’identification du premier bénificiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents alors que le RALM avec CoN combine efficacement des détails provenant de multiples sources afin d’arriver à la bonne réponse : Malayalam. Le cadre CON améliore la robustesse des RALMs en génrant des notes sequentielles pour chaque document et en évaluant leur pertinence afin formuler des reponses precises . La formation implique concatener instructions , questions , et documents comme prompts et former le modele a generer notes et reponsess par apprentissage superviser .

- Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle.
- La fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes.
- L'approche Chain-of-Noting (CoN) est introduite pour relever ces défis.
- CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale.
- Les RALMs équipés de CoN surpassent les RALMs standard en termes d'amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables.
- CoN présente une compréhension plus profonde des documents et conduit à des réponses plus précises que les RALMs standard.
- Dans une étude de cas sur les Jeux Olympiques d’été aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée, tandis que le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996.
- Une autre étude porte sur l’identification du premier bénéficiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents, tandis que le RALM avec CoN combine efficacement des détails provenant de multiples sources pour arriver à la bonne réponse : Malayalam.
- Le cadre CON améliore la robustesse des RALMs en générant des notes séquentielles pour chaque document et en évaluant leur pertinence pour formuler des réponses précises.
- La formation implique de concaténer les instructions, les questions et les documents comme prompts et de former le modèle à générer des notes et des réponses par apprentiss

Résumé: Les modèles de langage augmentés par la récupération (RALMs) utilisent des sources externes pour répondre aux questions. Parfois, les informations récupérées ne sont pas fiables et peuvent conduire à des réponses erronées. L'approche Chain-of-Noting (CoN) est utilisée pour résoudre ce problème en générant des notes de lecture séquentielles pour évaluer la pertinence des documents récupérés. Les RALMs équipés de CoN sont meilleurs que les RALMs standard car ils comprennent mieux les documents et donnent des réponses plus précises. Dans une étude sur les Jeux Olympiques, le RALM standard a donné une mauvaise réponse tandis que le RALM avec CoN a trouvé la bonne réponse. De même, dans une autre étude sur un prix littéraire, le RALM avec CoN a réussi à trouver la bonne réponse en combinant différentes sources. Définitions- Modèles de langage augmentés par la récupération (RALMs): Ce sont des programmes informatiques qui utilisent des sources externes pour répondre aux questions. - Hallucination factuelle: Cela se produit lorsque l'information récupérée n'est pas correcte ou fiable. - Chain-of-Noting (CoN): C'est une approche

Les modèles de langage augmentés par la récupération (RALMs) et Chain-of-Noting (CoN)

Fonctionnement du CoN

Le cadre CoN génère des notes séquentielles pour les documents récupérés afin d’en évaluer soigneusement leur pertinence par rapport à la question posée et intègre cette information pour formuler une meilleure réponse finale. Les données d’entraînement pour CoN ont été créés en utilisant ChatGPT et entraînés sur un modèle LLaMa-27B. Des résultats expérimentaux sur quatre benchmarks QA ouverts montrent que les RALMs équipés de CoN surpassent les RALMs standard, en obtenant une amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables.

Etudes comparatives

Dans les études comparatives portant sur les RALMs standard et ceux équipés avec le CoN, il est démontré que le cadre CON offre une compréhension plus profonde sur comment chaque document peut être exploitée afin d’obtenir des informations pertinentes allant au delà des termes superficiels conduisant ainsi à formuler des reponsess plus precises . Dans une étude portant sur les Jeux Olympiques d’ét

Créé le 20 Nov. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0