Résultats du processus de synthèse de l'article arXiv : 2311.09210v1

Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle. Cependant, la fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes. Pour relever ces défis, l'approche Chain-of-Noting (CoN) est introduite. CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale. Les données d'entraînement pour CoN ont été créées à l'aide de ChatGPT et entraînées sur un modèle LLaMa-2 7B. Des résultats expérimentaux sur quatre benchmarks QA ouverts montrent que les RALMs équipés de CoN surpassent les RALMs standard, en obtenant une amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables. Dans les études de cas comparant les RALMs standard et les RALMs avec CoN, il est démontré que CoN présente une compréhension plus profonde de la façon dont les documents révèlent des informations pertinentes. Il va au-delà des termes superficiels, conduisant à des réponses plus précises. Dans une étude de cas portant sur les Jeux Olympiques d’été les plus récents organisés aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée. En revanche, le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996. Une autre étude porte sur l’identification du premier bénificiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents alors que le RALM avec CoN combine efficacement des détails provenant de multiples sources afin d’arriver à la bonne réponse : Malayalam. Le cadre CON améliore la robustesse des RALMs en génrant des notes sequentielles pour chaque document et en évaluant leur pertinence afin formuler des reponses precises . La formation implique concatener instructions , questions , et documents comme prompts et former le modele a generer notes et reponsess par apprentissage superviser .

• Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle.
• La fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes.
• L'approche Chain-of-Noting (CoN) est introduite pour relever ces défis.
• CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale.
• Les RALMs équipés de CoN surpassent les RALMs standard en termes d'amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables.
• CoN présente une compréhension plus profonde des documents et conduit à des réponses plus précises que les RALMs standard.
• Dans une étude de cas sur les Jeux Olympiques d’été aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée, tandis que le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996.
• Une autre étude porte sur l’identification du premier bénéficiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents, tandis que le RALM avec CoN combine efficacement des détails provenant de multiples sources pour arriver à la bonne réponse : Malayalam.
• Le cadre CON améliore la robustesse des RALMs en générant des notes séquentielles pour chaque document et en évaluant leur pertinence pour formuler des réponses précises.
• La formation implique de concaténer les instructions, les questions et les documents comme prompts et de former le modèle à générer des notes et des réponses par apprentiss

Résumé: Les modèles de langage augmentés par la récupération (RALMs) utilisent des sources externes pour répondre aux questions. Parfois, les informations récupérées ne sont pas fiables et peuvent conduire à des réponses erronées. L'approche Chain-of-Noting (CoN) est utilisée pour résoudre ce problème en générant des notes de lecture séquentielles pour évaluer la pertinence des documents récupérés. Les RALMs équipés de CoN sont meilleurs que les RALMs standard car ils comprennent mieux les documents et donnent des réponses plus précises. Dans une étude sur les Jeux Olympiques, le RALM standard a donné une mauvaise réponse tandis que le RALM avec CoN a trouvé la bonne réponse. De même, dans une autre étude sur un prix littéraire, le RALM avec CoN a réussi à trouver la bonne réponse en combinant différentes sources. Définitions- Modèles de langage augmentés par la récupération (RALMs): Ce sont des programmes informatiques qui utilisent des sources externes pour répondre aux questions. - Hallucination factuelle: Cela se produit lorsque l'information récupérée n'est pas correcte ou fiable. - Chain-of-Noting (CoN): C'est une approche

Les modèles de langage augmentés par la récupération (RALMs) et Chain-of-Noting (CoN)

Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle. Cependant, la fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes. Pour relever ces défis, une nouvelle approche appelée Chain-of-Noting (CoN) a été introduite.

Fonctionnement du CoN

Le cadre CoN génère des notes séquentielles pour les documents récupérés afin d’en évaluer soigneusement leur pertinence par rapport à la question posée et intègre cette information pour formuler une meilleure réponse finale. Les données d’entraînement pour CoN ont été créés en utilisant ChatGPT et entraînés sur un modèle LLaMa-27B. Des résultats expérimentaux sur quatre benchmarks QA ouverts montrent que les RALMs équipés de CoN surpassent les RALMs standard, en obtenant une amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables.

Etudes comparatives

Dans les études comparatives portant sur les RALMs standard et ceux équipés avec le CoN, il est démontré que le cadre CON offre une compréhension plus profonde sur comment chaque document peut être exploitée afin d’obtenir des informations pertinentes allant au delà des termes superficiels conduisant ainsi à formuler des reponsess plus precises . Dans une étude portant sur les Jeux Olympiques d’ét