Résultats du processus de synthèse de l'article arXiv : 2311.07989v1

Dans cette étude, nous examinons systématiquement les progrès récents dans le traitement du code avec des modèles de langage, couvrant plus de 50 modèles, plus de 30 tâches d'évaluation et 500 travaux connexes. Nous divisons les modèles de traitement du code en modèles de langage généraux représentés par la famille GPT et en modèles spécialisés pré-entraînés spécifiquement pour le code, souvent avec des objectifs adaptés. Nous discutons des relations et des différences entre ces modèles et mettons en évidence la transition historique du codage à partir de modèles statistiques et RNN vers les Transformers pré-entraînés et LLM (Language Models for Code), qui a suivi exactement le même chemin que celui emprunté par le TALN (Traitement Automatique du Langage Naturel). Nous abordons également les caractéristiques spécifiques au code telles que l'AST (Abstract Syntax Tree), le CFG (Control Flow Graph) et les tests unitaires, ainsi que leur application dans l'entraînement des modèles de langage pour le code. Nous identifions également les principaux défis et orientations futures potentielles dans ce domaine. Cette étude est maintenue ouverte et mise à jour sur GitHub à l'adresse https://github.com/codefuse-ai/Awesome-Code-LLM. Les auteurs sont Ziyin Zhang, Chaoyu Chen, Bingchang Liu, Cong Liao, Zi Gong, Hang Yu , Jianguo Li and Rui Wang.

• - Examen systématique des progrès récents dans le traitement du code avec des modèles de langage
• - Plus de 50 modèles et plus de 30 tâches d'évaluation couverts
• - Modèles de langage généraux représentés par la famille GPT
• - Modèles spécialisés pré-entraînés spécifiquement pour le code
• - Transition historique du codage vers les Transformers pré-entraînés et LLM (Language Models for Code)
• - Caractéristiques spécifiques au code telles que l'AST, le CFG et les tests unitaires
• - Application de ces caractéristiques dans l'entraînement des modèles de langage pour le code
• - Principaux défis et orientations futures potentielles dans ce domaine
• Traduction en français :
• - Examen systématique des progrès récents dans le traitement du code avec des modèles de langage
• - Plus de 50 modèles et plus de 30 tâches d'évaluation couverts
• - Modèles de langage généraux représentés par la famille GPT
• - Modèles spécialisés pré-entraînés spécifiquement pour le code
• - Transition historique du codage vers les Transformers pré-entraînés et LLM (Language Models for Code)
• - Caractéristiques spécifiques au code telles que l'AST, le CFG et les tests unitaires
• - Application de ces caractéristiques dans l'entraînement des modèles de langage pour le code

Summary (in English)- This is a study about how computers understand and process code using language models. - There are more than 50 different models and over 30 evaluation tasks covered in this study. - General language models represented by the GPT family are used, as well as specialized models specifically trained for code. - The study talks about the historical transition of coding towards pre-trained Transformers and Language Models for Code. - Specific features of code like AST, CFG, and unit tests are important for training language models for code. Definitions (in English)- Code: Instructions written in a computer programming language that tell a computer what to do. - Language model: A type of computer program that helps computers understand and generate human-like text or code. - Pre-trained: When a model has been taught or trained on a large amount of data before being used for specific tasks.

Modèles de langage pour le traitement du code : un aperçu

Dans cet article, nous examinons les progrès récents dans le traitement du code à l'aide de modèles de langage. Nous couvrons plus de 50 modèles, plus de 30 tâches d'évaluation et 500 travaux connexes.

Modèles généraux et spécialisés

Nous divisons les modèles de traitement du code en modèles généraux représentés par la famille GPT (Generative Pre-trained Transformer) et en modèles spécialisés pré-entraînés spécifiquement pour le code, souvent avec des objectifs adaptés. Nous discutons des relations et des différences entre ces modèles et mettons en évidence la transition historique du codage à partir de modèles statistiques et RNN vers les Transformers pré-entraînés et LLM (Language Models for Code), qui a suivi exactement le même chemin que celui emprunté par le TALN (Traitement Automatique du Langage Naturel).

Caractéristiques spécifiques au code

Nous abordons également les caractéristiques spécifiques au code telles que l'AST (Abstract Syntax Tree), le CFG (Control Flow Graph) et les tests unitaires, ainsi que leur application dans l'entraînement des modèles de langage pour le code.

Direction future

Enfin, nous identifions les principaux défis et orientations futures potentielles dans ce domaine. Cette étude est maintenue ouverte et mise à jour sur GitHub à l'adresse https://github.com/codefuse-ai/Awesome-Code-LLM . Les auteurs sont Ziyin Zhang, Chaoyu Chen, Bingchang Liu, Cong Liao, Zi Gong , Hang Yu , Jianguo Li and Rui Wang.