Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance. Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse. Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité. Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%. Nous soutenons que cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche.
Prophet est un outil qui aide à améliorer la performance d'un modèle appelé VQA en utilisant des astuces basées sur la connaissance. Il utilise deux types d'astuces pour aider le modèle à mieux comprendre la tâche et à prédire les réponses avec plus de précision. Les résultats montrent que Prophet est meilleur que toutes les autres méthodes existantes pour cette tâche. Cette approche fournit plus d'informations spécifiques à la tâche, ce qui permet une meilleure prédiction des réponses.
Definitions
- Modèle VQA : Un modèle informatique qui peut répondre aux questions posées sur une image. - Astuces : Des techniques ou des connaissances spéciales utilisées pour résoudre un problème. - Précision : La mesure de l'exactitude d'une réponse par rapport à la question posée. Résumé Prophet est un outil informatique qui aide un autre outil appelé "Modèle VQA" à mieux répondre aux questions posées sur une image en utilisant des astuces basées sur la connaissance. Ces astuces sont codées dans l'outil afin qu'il puisse mieux comprendre la tâche et améliorer sa capacité de réponse.
:
Prophet est un cadre conçu pour améliorer les performances du modèle VQA vanilla en utilisant des heuristiques de réponse basées sur la connaissance. Il extrait deux types d'heuristiques complémentaires à partir du modèle VQA vanilla: les candidats de réponse et les exemples conscients de la réponse. Ces heuristiques sont ensuite codées dans les invites afin que GPT-3 puisse mieux comprendre la tâche et améliorer sa capacité. Les résultats montrent que Prophet dépasse significativement toutes les méthodes existantes sur OK-VQA et A-OKVQA avec des précisions respectives de 61,1% et 55,7%. Nous soutenons que cette approche permet une meilleure prédiction des réponses car elle fournit plus d'informations spécifiques à la tâche. Prophet est un cadre conçu pour améliorer les performances du modèle VQA (Question/Réponse Visuelle) classique en utilisant des heuristiques basés sur la connaissance pour obtenir des réponses. Il extrait deux types différents d'heuristiques complétant le modèle VQA classique : candidats possibles pour une réponse et exemples conscients qui peuvent servir à trouver une bonne solution. Ces informations sont ensuite codifiés dans l’invitation afin que GPT-3 puisse mieux comprendre ce qu’on attend de lui et ainsi améliorer sa capacité à fournir une bonne solution. Les résultats montrent que Prophet dépassent largement toutes les autres mises en œuvres existantes sur OK-VQA (61,1%) et A-OKVQA (55,7%). Nous pensons donc que cette approche permet une meilleure prise en compte des demandes car elle offre plus d’information spécifique à chaque problème poser.
Knowledge-based visual question answering (VQA) requires external knowledge beyond the image to answer the question. Early studies retrieve required knowledge from explicit knowledge bases (KBs), which often introduces irrelevant information to the question, hence restricting the performance of their models. Recent works have sought to use a large language model (i.e., GPT-3) as an implicit knowledge engine to acquire the necessary knowledge for answering. Despite the encouraging results achieved by these methods, we argue that they have not fully activated the capacity of GPT-3 as the provided input information is insufficient. In this paper, we present Prophet -- a conceptually simple framework designed to prompt GPT-3 with answer heuristics for knowledge-based VQA. Specifically, we first train a vanilla VQA model on a specific knowledge-based VQA dataset without external knowledge. After that, we extract two types of complementary answer heuristics from the model: answer candidates and answer-aware examples. Finally, the two types of answer heuristics are encoded into the prompts to enable GPT-3 to better comprehend the task thus enhancing its capacity. Prophet significantly outperforms all existing state-of-the-art methods on two challenging knowledge-based VQA datasets, OK-VQA and A-OKVQA, delivering 61.1% and 55.7% accuracies on their testing sets, respectively.
