# An Interactive Agent Foundation Model

**Authors:** Zane Durante, Bidipta Sarkar, Ran Gong, Rohan Taori, Yusuke Noda, Paul Tang, Ehsan Adeli, Shrinidhi Kowshika Lakshmikanth, Kevin Schulman, Arnold Milstein, Demetri Terzopoulos, Ade Famoti, Noboru Kuno, Ashley Llorens, Hoi Vo, Katsu Ikeuchi, Li Fei-Fei, Jianfeng Gao, Naoki Wake, Qiuyuan Huang  
**arXiv:** [2402.05929](https://arxiv.org/abs/2402.05929)  
**Date:** 2024-02-08  
**Summary page:** https://www.summarizepaper.com/fr/paper/2402.05929v1/

## Key points

- Le développement des systèmes d'intelligence artificielle évolue vers des modèles plus dynamiques et polyvalents grâce à l'utilisation d'agents interactifs et à un entraînement multi-tâches.
- Notre modèle fondamental d'agent utilise un nouveau paradigme pour former des agents d'IA dans différents domaines en utilisant divers ensembles de données et tâches.
- Nous démontrons les performances de notre modèle dans trois domaines distincts : la robotique, les jeux vidéo et les soins de santé.
- Notre approche générale exploite une variété de sources de données pour un apprentissage multimodal efficace.
- Dans le domaine des soins de santé, nous avons utilisé des scènes réelles enregistrées en USI pour affiner notre modèle et l'étendre avec un ensemble de données synthétiques question-réponse généré par GPT-4.
- Notre modèle est capable de comprendre une large gamme de modalités d'entrée et peut produire des sorties cohérentes dans divers environnements interactifs.

## Summary

Le développement des systèmes d'intelligence artificielle évolue vers des modèles plus dynamiques et polyvalents grâce à l'utilisation d'agents interactifs et à un entraînement multi-tâches. Notre modèle fondamental d'agent utilise un nouveau paradigme pour former des agents d'IA dans différents domaines en utilisant divers ensembles de données et tâches. Nous démontrons les performances de notre modèle dans trois domaines distincts : la robotique, les jeux vidéo et les soins de santé. Notre approche générale exploite une variété de sources de données pour un apprentissage multimodal efficace. Dans le domaine des soins de santé, nous avons utilisé des scènes réelles enregistrées en USI pour affiner notre modèle et l'étendre avec un ensemble de données synthétiques question-réponse généré par GPT-4. Notre modèle est capable de comprendre une large gamme de modalités d'entrée et peut produire des sorties cohérentes dans divers environnements interactifs.