# Learning Transferable Visual Models From Natural Language Supervision

**Authors:** Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever  
**arXiv:** [2103.00020](https://arxiv.org/abs/2103.00020)  
**Date:** 2021-02-26  
**Summary page:** https://www.summarizepaper.com/fr/paper/2103.00020v1/

## Key points

- Les systèmes de vision par ordinateur sont limités car ils ne peuvent prédire qu'un ensemble fixe de catégories d'objets prédéterminées.
- Apprendre directement à partir de texte brut sur des images est une alternative prometteuse qui permet une source de supervision beaucoup plus large.
- La tâche simple de pré-entraînement consistant à prédire quelle légende va avec quelle image est un moyen efficace et évolutif d'apprendre des représentations d'image SOTA à partir de zéro sur un ensemble de données comprenant 400 millions (image, texte) collectés sur Internet.
- Après le pré-entraînement, le langage naturel est utilisé pour référencer les concepts visuels appris, permettant un transfert sans apprentissage du modèle vers des tâches en aval.
- Les performances de cette approche ont été étudiées en benchmarking sur plus de 30 ensembles différents en vision par ordinateur couvrant des tâches telles que la reconnaissance optique des caractères, la reconnaissance d'actions vidéos, la géolocalisation et plusieurs types classification d'objets fins.
- Le modèle se transfère non trivialement vers la plupart des tâches et est souvent compétitif avec une ligne base entièrement supervisée sans avoir besoin d'un apprentissage spécifique à l'ensemble donné.
- Par exemple, les auteurs correspondent à l'exactitude du ResNet-50 original sur ImageNet sans avoir besoin d'utiliser 1,28 million exemples entrainements sur lesquels il a été formé.

## Summary

Les systèmes de vision par ordinateur de pointe sont entraînés à prédire un ensemble fixe de catégories d'objets prédéterminées. Cette forme restreinte de supervision limite leur généralité et leur utilisabilité, car des données étiquetées supplémentaires sont nécessaires pour spécifier tout autre concept visuel. Apprendre directement à partir de texte brut sur des images est une alternative prometteuse qui exploite une source de supervision beaucoup plus large. Les auteurs ont démontré que la tâche simple de pré-entraînement consistant à prédire quelle légende va avec quelle image est un moyen efficace et évolutif d'apprendre des représentations d'image SOTA à partir de zéro sur un ensemble de donnée comprenant 400 millions (image, texte) collectés sur Internet. Après le pré-entraînement, le langage naturel est utilisée pour réferencer les concepts visuels appris (ou en décrire de nouveaux), permettant un transfert sans apprentissage du modèle vers des tâches en aval. Les performances de cette approche ont étudiés en benchmarking sur plus 30 ensembles différnts en vision par ordinateur couvrant des tâches telles que la reconnaissance optique des caractères, la reconnaissance d'actions vidoes, la gilocalisation et plusieurs types classification d'objets fins. Le modèle se transfère non trivialement vers la plupart des tâches et est souvent compétitif avec une ligne base entièrement supervisée sans avoir besoin d'un apprentissage spicifique à l'ensemble donnée. Par exemple les auteurs correspondent exactitude du ResNet-50 original sur ImageNet sans avoir besoin utiliser 1,28 million exemples entrainements sur lesquels il a était formée.