# Chain-of-Thought Reasoning Without Prompting

**Authors:** Xuezhi Wang, Denny Zhou  
**arXiv:** [2402.10200](https://arxiv.org/abs/2402.10200)  
**Date:** 2024-02-15  
**Summary page:** https://www.summarizepaper.com/fr/paper/2402.10200v1/

## Key points

- La recherche antérieure se concentre sur des techniques de sollicitation spécifiques pour améliorer les capacités de raisonnement des grands modèles de langage (LLMs)
- Une approche novatrice est adoptée pour étudier si les LLMs peuvent raisonner efficacement sans sollicitation
- Des chemins de raisonnement CoT peuvent être suscités à partir de LLMs pré-entraînés en modifiant le processus de décodage
- Le décodage CoT proposé surpasse considérablement le décodage glouton standard
- Diverses méthodes récentes visent à améliorer le processus de génération CoT, mais nécessitent encore une sollicitation CoT
- La recherche antérieure se concentre sur des techniques de sollicitation spécifiques pour améliorer les capacités de raisonnement des grands modèles de langage (LLMs).
- Une approche novatrice est adoptée pour étudier si les LLMs peuvent raisonner efficacement sans sollicitation.
- Des chemins de raisonnement CoT peuvent être suscités à partir de LLMs pré-entraînés en modifiant le processus de décodage.
- Le décodage CoT proposé surpasse considérablement le décodage glouton standard.
- Diverses méthodes récentes visent à améliorer le processus de génération CoT, mais nécessitent encore une sollicitation CoT.

## Summary

Dans le but d'améliorer les capacités de raisonnement des grands modèles de langage (LLMs), la recherche antérieure se concentre principalement sur des techniques de sollicitation spécifiques telles que la sollicitation en chaîne de pensée (CoT) à quelques tirs ou zéro tir. Ces méthodes, bien qu'efficaces, impliquent souvent un travail intensif de conception de sollicitations manuelles. Notre étude adopte une approche novatrice en se demandant : les LLMs peuvent-ils raisonner efficacement sans sollicitation ? Nos résultats révèlent que, de manière intrigante, des chemins de raisonnement CoT peuvent être suscités à partir de LLMs pré-entraînés en modifiant simplement le processus de \textit{décodage}. Plutôt que le décodage glouton conventionnel, nous examinons les $k$ meilleurs jetons alternatifs, découvrant que les chemins CoT sont fréquemment inhérents à ces séquences. Cette approche permet non seulement d'éviter les biais liés à la sollicitation, mais aussi d'évaluer les capacités de raisonnement \textit{intrinsèques} des LLMs. De plus, nous observons que la présence d'un CoT dans le chemin de décodage est corrélée à une plus grande confiance dans la réponse décodée du modèle. Cette mesure de confiance différencie efficacement entre les chemins CoT et non-CoT. Des études empiriques approfondies sur divers benchmarks de raisonnement montrent que le décodage CoT proposé surpasse considérablement le décodage glouton standard. Plusieurs travaux récents proposent d'améliorer le processus de génération CoT en contrôlant et vérifiant mieux les étapes générées, par exemple la vérification pas à pas (Lightman et al., 2023), le feedback basé sur le processus (Uesato et al., 2022), la recherche guidée par l'auto-évaluation (Xie et al., 2023) et PathFinder (Golovneva et al., 2023). Tous ces travaux nécessitent encore une sollicitation CoT pour générer les chemins de raisonnement CoT, tandis que notre travail élimine complètement la sollicitation CoT. De plus, ces travaux existants se concentrent sur la recherche et la vérification des "étapes" produites par le modèle linguistique, tandis que notre travail recherche purement dans l'espace de décodage au niveau du jeton et utilise les scores de confiance lors du décodage des réponses. De plus, des travaux récents visent à mieux comprendre comment la chaîne-de-pensée émerge dans les modèles linguistiques (Feng et al., 2023; Li et al., 2023b; Prystawski et al., 2023). McCoy et al. (2023); Razeghi
et al. (2022) montrent un phénomène similaire où la distribution préalable influence fortement les performances du modèle en matière de raisonnement à quelques tirs. L'accord-tuning pour susciter des Chaînes-de-Pensée dans les modèles linguistiques.