# A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends

**Authors:** Zibin Zheng, Kaiwen Ning, Yanlin Wang, Jingwen Zhang, Dewu Zheng, Mingxi Ye, Jiachi Chen  
**arXiv:** [2311.10372](https://arxiv.org/abs/2311.10372)  
**Date:** 2023-11-17  
**Summary page:** https://www.summarizepaper.com/fr/paper/2311.10372v1/

## Key points

- Les modèles de langage larges (LLM) généraux, tels que ChatGPT, ont un potentiel significatif dans la génération de code en génie logiciel.
- Des LLM spécialisés pour le génie logiciel, appelés Code LLM, ont été développés à partir des LLM généraux avec un ajustement fin du modèle.
- Les Code LLM sont souvent mis à jour fréquemment et leur performance peut être influencée par les LLM de base.
- Il y a actuellement un manque d'enquête systématique sur les Code LLM et leur performance.
- Une enquête complète et une analyse des types de Code LLM et de leurs différences de performance par rapport aux LLM généraux sont menées dans cette étude.
- Trois questions sont posées : (1) Quels sont les LLM spécifiquement conçus pour les tâches du génie logiciel et quelle est leur relation ? (2) Les Code LLM surpassent-ils vraiment les LLM généraux dans les tâches du génie logiciel ? (3) Quels sont les LLM plus performants dans différentes tâches du génie logiciel ?
- 134 travaux provenant de cinq bases de données majeures et des communautés open-source ont été collectés pour l'analyse.
- Les Code LLM sont catégorisés en fonction de leurs éditeurs et leurs relations avec les LLM généraux et entre eux sont examinées.

## Summary

Les modèles de langage larges (LLM) généraux, représentés par ChatGPT, ont démontré un potentiel significatif dans des tâches telles que la génération de code en génie logiciel. Cela a conduit au développement de LLM spécialisés pour le génie logiciel, connus sous le nom de Code LLM. Une partie considérable des Code LLM est dérivée des LLM généraux grâce à un ajustement fin du modèle. Par conséquent, les Code LLM sont souvent mis à jour fréquemment et leur performance peut être influencée par les LLM de base. Cependant, il existe actuellement un manque d'enquête systématique sur les Code LLM et leur performance. Dans cette étude, nous menons une enquête complète et une analyse des types de Code LLM et de leurs différences de performance par rapport aux LLM généraux. Nous cherchons à répondre à trois questions : (1) Quels sont les LLM spécifiquement conçus pour les tâches du génie logiciel et quelle est la relation entre ces Code LLM ? (2) Les Code LLM surpassent-ils vraiment les LLM généraux dans les tâches du génie logiciel ? (3) Quels sont les LLM plus performants dans différentes tâches du génie logiciel ? Pour répondre à ces questions, nous collectons d'abord la littérature pertinente et le travail provenant de cinq bases de données majeures et des communautés open-source, ce qui donne 134 travaux pour l'analyse. Ensuite, nous catégorisons les Code LLM en fonction de leurs éditeurs et examinons leurs relations avec les LLM généraux et entre eux.