Résultats du processus de synthèse de l'article arXiv : 2311.01767v1

Résumé: Les évaluations récentes des grands modèles de langage (LLMs) se sont concentrées sur le test de leurs capacités zero-shot/few-shot pour des tâches basiques en langage naturel et leur capacité à traduire des instructions en API d'outils. Cependant, l'évaluation des LLMs utilisant des outils complexes pour terminer des instructions multi-tours, multi-modales dans un environnement multi-modal complexe n'a pas été étudiée. Pour combler cette lacune, nous introduisons le benchmark PowerPoint Task Completion (PPTC) pour évaluer la capacité des LLMs à créer et éditer des fichiers PPT en fonction des instructions utilisateur. Il contient 279 sessions multi-tours couvrant divers sujets et des centaines d'instructions impliquant des opérations multi-modales. Nous proposons également le système d'évaluation PPTX-Match qui évalue si les LLMs terminent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence API étiquetée, ce qui supporte différentes séquences API générées par les LLMs. Nous mesurons 3 LLMs fermés et 6 LLMs open-source. Les résultats montrent que GPT-4 surpasse les autres LLMs avec une précision de 75,1% dans les tests de dialogue à un seul tour mais rencontre des défis pour compléter l'ensemble des sessions, n'atteignant qu'une précision de session de 6%. Nous identifions trois principales causes d'erreur dans notre benchmark : l'accumulation d'erreurs dans la session multi-tours, le traitement de longs modèles PPT et la perception multimodale. Ces éléments posent de grands défis pour les futurs systèmes LLM et agents. Nous mettons à disposition les données, le code et le système d'évaluation du PPTC sur \url{https://github.com/gydpku/PPTC}.

• - Les évaluations récentes des grands modèles de langage (LLMs) se sont concentrées sur le test de leurs capacités zero-shot/few-shot pour des tâches basiques en langage naturel et leur capacité à traduire des instructions en API d'outils.
• - Introduction du benchmark PowerPoint Task Completion (PPTC) pour évaluer la capacité des LLMs à créer et éditer des fichiers PPT en fonction des instructions utilisateur.
• - Proposition du système d'évaluation PPTX-Match qui évalue si les LLMs terminent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence API étiquetée.
• - Résultats montrant que GPT-4 surpasse les autres LLMs avec une précision de 75,1% dans les tests de dialogue à un seul tour mais rencontre des défis pour compléter l'ensemble des sessions, n'atteignant qu'une précision de session de 6%.
• - Identification de trois principales causes d'erreur dans le benchmark : l'accumulation d'erreurs dans la session multi-tours, le traitement de longs modèles PPT et la perception multimodale.

RésuméLes grands modèles de langage ont été testés pour voir s'ils peuvent faire des tâches sans avoir été spécifiquement entraînés pour cela. Un nouveau test appelé PPTC évalue leur capacité à créer des présentations PowerPoint en suivant des instructions. Un système d'évaluation nommé PPTX-Match vérifie si les modèles terminent correctement les tâches demandées. GPT-4 est le meilleur dans les conversations simples mais a du mal avec des séries de tâches plus longues. Trois raisons principales d'erreurs ont été identifiées dans ces tests. Définitions- Modèles de langage (LLMs): Des programmes informatiques qui aident à comprendre et générer du langage humain. - Zero-shot/few-shot: Capacité à accomplir une tâche sans avoir reçu d'instructions spécifiques ou avec très peu d'instructions. - API: Interface de programmation d'application, un ensemble de règles permettant à différents logiciels de communiquer entre eux. - Précision: Mesure indiquant la proportion de réponses correctes par rapport au total des réponses données. - Multimodal: Se réfère à l'utilisation combinée de plusieurs modes sensoriels comme la vue et l'ouïe.

Résumé: Les évaluations récentes des grands modèles de langage (LLMs) se sont concentrées sur le test de leurs capacités zero-shot/few-shot pour des tâches basiques en langage naturel et leur capacité à traduire des instructions en API d'outils. Cependant, l'évaluation des LLMs utilisant des outils complexes pour terminer des instructions multi-tours, multi-modales dans un environnement multi-modal complexe n'a pas été étudiée. Pour combler cette lacune, nous introduisons le benchmark PowerPoint Task Completion (PPTC) pour évaluer la capacité des LLMs à créer et éditer des fichiers PPT en fonction des instructions utilisateur. Le PPTC contient 279 sessions multi-tours couvrant divers sujets et impliquant plusieurs centaines d'instructions impliquant différentes opérations multimodales. Il sert à mesurer les performances de 3 LLMs fermés et 6 LLMs open-source grâce au système d'évaluation PPTX-Match qui évalue si les LLMs terminent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence API étiquetée. Ce système prend également en compte les différentes séquences API générées par les LLMs. Les résultats montrent que GPT-4 est le meilleur modèle avec une précision de 75,1% dans les tests de dialogue à un seul tour. Cependant, il rencontre encore certains défis lorsqu'il s'agit de compléter l'ensemble des sessions avec seulement une précision de session de 6%. Nous avons identifié trois principales causes d'erreur dans notre benchmark : l'accumulation d'erreurs dans la session multi-tours, le traitement de longs modèles PPT et la perception multimodale. Ces éléments posent de grands défis pour les futurs systèmes LLM et agents. Pour faciliter l'accès à notre benchmark, nous mettons à disposition les données, le code et le système d'évaluation du PPTC sur \url{https://github.com/gydpku/PPTC}. Cela permettra aux chercheurs de continuer à évaluer et améliorer les performances des LLMs dans des tâches complexes telles que la création et l'édition de fichiers PPT en fonction d'instructions utilisateur. En comblant cette lacune dans l'évaluation des LLMs, nous espérons contribuer au développement de systèmes plus avancés capables de comprendre et traiter des instructions multi-tours, multi-modales dans un environnement complexe.