# Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering

**Authors:** Zhenwei Shao, Zhou Yu, Meng Wang, Jun Yu  
**arXiv:** [2303.01903](https://arxiv.org/abs/2303.01903)  
**Date:** 2023-03-03  
**Summary page:** https://www.summarizepaper.com/fr/paper/2303.01903v1/

## Key points

- Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance.
- Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse.
- Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité.
- Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%.
- Cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche.

## Summary

Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance. Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse. Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité. Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%. Nous soutenons que cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche.