# LMExplainer: a Knowledge-Enhanced Explainer for Language Models

**Authors:** Zichen Chen, Ambuj K Singh, Misha Sra  
**arXiv:** [2303.16537](https://arxiv.org/abs/2303.16537)  
**Date:** 2023-03-29  
**Summary page:** https://www.summarizepaper.com/fr/paper/2303.16537v1/

## Key points

- Les grands modèles de langage tels que GPT-4 sont très puissants et peuvent traiter différents types de tâches de traitement du langage naturel (NLP).
- Cependant, il peut être difficile d'interpréter les résultats en raison de la structure multi-couche non linéaire du modèle et des millions de paramètres.
- Le manque de compréhension du fonctionnement du modèle peut rendre le modèle peu fiable et dangereux pour les utilisateurs quotidiens dans des scénarios réels.
- Pour remédier à cela, la plupart des travaux récents exploitent les poids d'attention pour fournir des explications aux prédictions du modèle.
- Cependant, l'explication purement basée sur l'attention est incapable de prendre en charge la complexité croissante des modèles et ne peut pas raisonner sur leurs processus décisionnels.
- Pour pallier ce problème, nous proposons LMExplainer, un module d'interprétation amélioré par la connaissance pour les modèles linguistiques qui peut fournir des explications compréhensibles par l'homme.
- Nous utilisons un graphe de connaissances (KG) et un réseau neuronal à attention graphique pour extraire les signaux clés de décision du LM.
- Nous explorons également si l'interprétation peut aider l'IA à mieux comprendre la tâche.
- Nos résultats expérimentaux montrent que LMExplainer surpasse les méthodes existantes LM+KG sur CommonsenseQA et OpenBookQA.
- Nous comparons également les résultats d'explication avec des méthodes d'explication générées et des résultats annotés par l'homme.
- La comparaison montre que notre méthode peut fournir des explications plus complètes et plus claires qui démontrent le potentiel d’améliorer les performances des modèles et de fournir des explications pour les processus de raisonnement en langage naturel.

## Summary

Les grands modèles de langage (LM) tels que GPT-4 sont très puissants et peuvent traiter différents types de tâches de traitement du langage naturel (NLP). Cependant, il peut être difficile d'interpréter les résultats en raison de la structure multi-couche non linéaire du modèle et des millions de paramètres. Le manque de compréhension du fonctionnement du modèle peut rendre le modèle peu fiable et dangereux pour les utilisateurs quotidiens dans des scénarios réels. Pour remédier à cela, la plupart des travaux récents exploitent les poids d'attention pour fournir des explications aux prédictions du modèle. Cependant, l'explication purement basée sur l'attention est incapable de prendre en charge la complexité croissante des modèles et ne peut pas raisonner sur leurs processus décisionnels. Pour pallier ce problème, nous proposons LMExplainer, un module d'interprétation amélioré par la connaissance pour les modèles linguistiques qui peut fournir des explications compréhensibles par l'homme. Nous utilisons un graphe de connaissances (KG) et un réseau neuronal à attention graphique pour extraire les signaux clés de décision du LM. Nous explorons également si l'interprétation peut aider l'IA à mieux comprendre la tâche. Nos résultats expérimentaux montrent que LMExplainer surpasse les méthodes existantes LM+KG sur CommonsenseQA et OpenBookQA. Nous comparons également les résultats d'explication avec des méthodes d'explication générées et des résultats annotés par l'homme. La comparaison montre que notre méthode peut fournir des explications plus complètes et plus claires qui démontrent le potentiel d’améliorer les performances des modèles et de fournir des explications pour les processus de raisonnement en langage naturel.