# QuAC : Question Answering in Context

**Authors:** Eunsol Choi, He He, Mohit Iyyer, Mark Yatskar, Wen-tau Yih, Yejin Choi, Percy Liang, Luke Zettlemoyer  
**arXiv:** [1808.07036](https://arxiv.org/abs/1808.07036)  
**Date:** 2018-08-21  
**Summary page:** https://www.summarizepaper.com/fr/paper/1808.07036v3/

## Key points

- QuAC est un ensemble de données pour la question-réponse en contexte avec 14 000 dialogues et 100 000 questions.
- Les dialogues impliquent deux travailleurs du crowd : un étudiant posant des questions ouvertes et un enseignant fournissant des extraits de texte en réponse.
- QuAC présente des défis uniques par rapport aux autres ensembles de données sur la compréhension automatique.
- Les questions sont souvent ouvertes, sans réponse claire, ou significatives dans le contexte du dialogue.
- Les résultats montrent que les modèles actuels sous-performent par rapport aux humains.
- L'ensemble de données, la ligne de base et le classement sont disponibles sur http://quac.ai.

## Summary

Nous présentons QuAC, un ensemble de données pour la question-réponse en contexte qui contient 14 000 dialogues de questions-réponses axées sur l'information (soit un total de 100 000 questions). Les dialogues impliquent deux travailleurs du crowd : (1) un étudiant qui pose une série de questions ouvertes pour en apprendre le plus possible sur un texte caché de Wikipédia, et (2) un enseignant qui répond aux questions en fournissant de courts extraits du texte. QuAC introduit des défis non présents dans les ensembles de données existants sur la compréhension automatique. Ses questions sont souvent plus ouvertes et sans réponse claire, ou seulement significatives dans le contexte du dialogue. Cela est démontré par une évaluation qualitative détaillée. Nous rapportons également les résultats pour plusieurs modèles de référence, y compris une architecture récente de compréhension de lecture à la pointe étendue pour modéliser le contexte du dialogue. Notre meilleur modèle sous-performe par rapport aux humains avec une différence de 20 F1, suggérant qu'il y a encore beaucoup à faire sur ces données. L'ensemble de données, la ligne de base et le classement sont disponibles sur http://quac.ai. Les auteurs principaux du document sont Eunsol Choi, He He, Mohit Iyyer, Mark Yatskar, Wen-tau Yih, Yejin Choi, Percy Liang et Luke Zettlemoyer.