# Large Multimodal Models: Notes on CVPR 2023 Tutorial

**Authors:** Chunyuan Li  
**arXiv:** [2306.14895](https://arxiv.org/abs/2306.14895)  
**Date:** 2023-06-26  
**Summary page:** https://www.summarizepaper.com/fr/paper/2306.14895v1/

## Key points

- Présentation du tutoriel "Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4" dans le cadre du CVPR 2023
- Importance de l'adaptation aux instructions dans la modélisation vision-langage
- Ressources open-source pour construire des modèles multimodaux avancés
- Introduction aux modèles volumineux GPT pour la modélisation vision-langage
- Bases de l'adaptation aux instructions dans les grands modèles linguistiques et extension à l'espace multimodal
- Construction d'un prototype minimal de modèle multimodal similaire à GPT-4 avec des ressources open-source et examen des sujets émergents
- Utilisation du format de données "triplets instruction-input-output" pour entraîner un seul modèle à effectuer plusieurs tâches en suivant des instructions spécifiques
- Présentation des outils Instruct et LLM (Large Language Model) open source pour construire des modèles multimodaux sophistiqués comme GPT-4

## Summary

Ce résumé de tutoriel présente la présentation sur "Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4", qui fait partie du tutoriel CVPR 2023 sur "Recent Advances in Vision Foundation Models". Il met en évidence l'importance de l'adaptation aux instructions dans la modélisation vision-langage et présente des ressources open-source pour construire ces modèles avancés. Le tutoriel se compose de trois parties. Nous commençons par introduire le contexte des modèles volumineux récents de type GPT pour la modélisation vision-langage afin de motiver la recherche sur les modèles multimodaux volumineux adaptés aux instructions (LMM). Comme prérequis, nous décrivons les bases de l'adaptation aux instructions dans les grands modèles linguistiques, qui est ensuite étendue à l'espace multimodal. Enfin, nous illustrons comment construire le prototype minimal de modèles multimodaux similaires à GPT-4 avec des ressources open-source et examinons les sujets récemment émergents. Dans ce contexte, il est intéressant de noter que les chercheurs ont commencé à ajouter explicitement des instructions de tâche dans l'entraînement du modèle. Cela a conduit à un nouveau format de données : les triplets instruction-input-output. Grâce à ce nouveau format, un seul modèle peut être entraîné pour effectuer plusieurs tâches en suivant des instructions spécifiques. Cette approche permet d'exploiter efficacement les nombreuses instructions et instances disponibles pour chaque tâche. Le tutoriel aborde également le concept d'instruct et LLM (Large Language Model) open source. Il explique comment ces outils peuvent être utilisés pour construire des modèles multimodaux sophistiqués comme GPT-4. En conclusion, ce résumé offre une vue d'ensemble détaillée du tutoriel CVPR 2023 sur les modèles multimodaux volumineux.