# An Empirical Survey of Data Augmentation for Limited Data Learning in NLP

**Authors:** Jiaao Chen, Derek Tam, Colin Raffel, Mohit Bansal, Diyi Yang  
**arXiv:** [2106.07499](https://arxiv.org/abs/2106.07499)  
**Date:** 2021-06-14  
**Summary page:** https://www.summarizepaper.com/fr/paper/2106.07499v1/

## Key points

- La NLP a connu une forte progression grâce à l'utilisation de modèles neuronaux et d'importants ensembles de données étiquetées.
- La dépendance aux données abondantes limite l'application des modèles NLP dans des environnements à faibles ressources ou pour des tâches nouvelles qui nécessitent un temps, de l'argent ou une expertise considérables pour étiqueter d'importantes quantités de données textuelles.
- Les méthodes d'augmentation de données sont récemment explorées comme moyen d'améliorer l'efficacité des données en NLP.
- Il n’existe pas encore d’aperçu empirique systématique sur l’augmentation de donnée pour la NLP dans le cadre limitatif des donnée étiquetée, ce qui rend difficile la compréhension des méthodes qui fonctionne bien dans quelles situations.
- L'article fournit une enquête empirique sur les progrès récents en matière d’augmentation de donnée pour la NLP avec un cadre limitatif aux donnée étiquetée.
- Le paysage des méthodes est résumé (y compris les augmentations au niveau du jeton, au niveau phrase, adversaires et cachés) et 11 expériences sont effectuées sur différents types de tâches en NLP.
- Plusieurs conclusions seront tirées afin d’aider les praticiens à choisir les augmentations appropriées selon différents contextes et discuterons également sur les défis actuels et orientations futures pour apprendre avec peu de donnée en NLP.
- Les résultats incluront également une comparaison quantitative entre diffèrentes techniques telles que Synonym Replacement (SR), Language Modeling (LM), Random Insertion (RI), Random Deletion (RD), Random Swap (RS), Word Replacement (WR), Round-trip Translation (RT), Adversarial Training (ADV) and Mixup.

## Summary

La NLP a connu une forte progression au cours de la dernière décennie grâce à l'utilisation de modèles neuronaux et d'importants ensembles de données étiquetées. Cependant, la dépendance aux données abondantes limite l'application des modèles NLP dans des environnements à faibles ressources ou pour des tâches nouvelles qui nécessitent un temps, de l'argent ou une expertise considérables pour étiqueter d'importantes quantités de données textuelles. Les méthodes d'augmentation de données sont récemment explorées comme moyen d'améliorer l'efficacité des données en NLP. Il n’existe pas encore d’aperçu empirique systématique sur l’augmentation de donnée pour la NLP dans le cadre limitatif des donnée étiquetée, ce qui rend difficile la compréhension des méthodes qui fonctionne bien dans quelles situations. Dans cet article, nous fournirons une enquête empirique sur les progrès récents en matière d’augmentation de donnée pour la NLP avec un cadre limitatif aux donnée étiquetée. Nous résumerons le paysage des méthodes (y compris les augmentations au niveau du jeton, au niveau phrase, adversaires et cachés) et effectuerons des expériences sur 11 ensembles de donnée couvrant la classification des sujets/news, les tâches inférables, les tâches paraphrasiques et les tâches à phrase unique. Sur base des résultats obtenus, plusieurs conclusions seront tirés afin d’aider les praticiens à choisir les augmentations appropriés selon différents contextes et discuterons également sur les défis actuels et orientations futures pour apprendre avec peu de donnée en NLP. Les résultats incluront également une comparaison quantitative entre diffèrent techniques tel que Synonym Replacement (SR), Language Modeling (LM), Random Insertion (RI), Random Deletion (RD), Random Swap (RS), Word Replacement (WR), Round-trip Translation (RT), Adversarial Training (ADV) and Mixup.