# Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models

**Authors:** Wenhao Yu, Hongming Zhang, Xiaoman Pan, Kaixin Ma, Hongwei Wang, Dong Yu  
**arXiv:** [2311.09210](https://arxiv.org/abs/2311.09210)  
**Date:** 2023-11-15  
**Summary page:** https://www.summarizepaper.com/fr/paper/2311.09210v1/

## Key points

- Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle.
- La fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes.
- L'approche Chain-of-Noting (CoN) est introduite pour relever ces défis.
- CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale.
- Les RALMs équipés de CoN surpassent les RALMs standard en termes d'amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables.
- CoN présente une compréhension plus profonde des documents et conduit à des réponses plus précises que les RALMs standard.
- Dans une étude de cas sur les Jeux Olympiques d’été aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée, tandis que le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996.
- Une autre étude porte sur l’identification du premier bénéficiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents, tandis que le RALM avec CoN combine efficacement des détails provenant de multiples sources pour arriver à la bonne réponse : Malayalam.
- Le cadre CON améliore la robustesse des RALMs en générant des notes séquentielles pour chaque document et en évaluant leur pertinence pour formuler des réponses précises.
- La formation implique de concaténer les instructions, les questions et les documents comme prompts et de former le modèle à générer des notes et des réponses par apprentiss

## Summary

Les modèles de langage augmentés par la récupération (RALMs) ont fait des progrès significatifs dans l'utilisation de sources externes de connaissances pour réduire l'hallucination factuelle. Cependant, la fiabilité des informations récupérées n'est pas toujours garantie, ce qui conduit à des réponses erronées et à l'ignorance des connaissances inhérentes. Pour relever ces défis, l'approche Chain-of-Noting (CoN) est introduite. CoN génère des notes de lecture séquentielles pour les documents récupérés, évaluant soigneusement leur pertinence par rapport à la question et intégrant cette information pour la réponse finale. Les données d'entraînement pour CoN ont été créées à l'aide de ChatGPT et entraînées sur un modèle LLaMa-2 7B. Des résultats expérimentaux sur quatre benchmarks QA ouverts montrent que les RALMs équipés de CoN surpassent les RALMs standard, en obtenant une amélioration du score EM et du taux de rejet pour les questions en temps réel en dehors du champ des connaissances préalables. Dans les études de cas comparant les RALMs standard et les RALMs avec CoN, il est démontré que CoN présente une compréhension plus profonde de la façon dont les documents révèlent des informations pertinentes. Il va au-delà des termes superficiels, conduisant à des réponses plus précises. Dans une étude de cas portant sur les Jeux Olympiques d’été les plus récents organisés aux États-Unis, le RALM standard se concentre sur une offre datant de 2016 au lieu de reconnaître qu’elle a échouée. En revanche, le RALM avec CoN analyse correctement l’information et détermine que les Jeux Olympiques les plus récents aux États-Unis ont eu lieu en 1996. Une autre étude porte sur l’identification du premier bénificiaire du prix Jnanpith Award. Le RALM standard ne parvient pas à relier les informations entre différents documents alors que le RALM avec CoN combine efficacement des détails provenant de multiples sources afin d’arriver à la bonne réponse : Malayalam. Le cadre CON améliore la robustesse des RALMs en génrant des notes sequentielles pour chaque document et en évaluant leur pertinence afin formuler des reponses precises . La formation implique concatener instructions , questions , et documents comme prompts et former le modele a generer notes et reponsess par apprentissage superviser .