Résultats du processus de synthèse de l'article arXiv : 2310.09716v1

La réécriture de requêtes joue un rôle essentiel dans l'amélioration de la recherche conversationnelle en transformant les requêtes utilisateur dépendantes du contexte en formes autonomes. Les approches existantes s'appuient principalement sur des requêtes réécrites par des humains comme étiquettes pour entraîner des modèles de réécriture de requêtes. Cependant, les réécritures humaines peuvent manquer d'informations suffisantes pour une performance optimale en matière de récupération. Pour surmonter cette limitation, nous proposons d'utiliser de grands modèles linguistiques (LLMs) comme réécrivains de requêtes, permettant la génération de réécritures informatives grâce à des instructions bien conçues. Nous définissons quatre propriétés essentielles pour les réécritures bien formulées et les incorporons toutes dans l'instruction. De plus, nous introduisons le rôle d'éditeurs de réécriture pour les LLMs lorsque des réécritures initiales sont disponibles, formant ainsi un processus "réécrire puis éditer". En outre, nous proposons de distiller les capacités de réécriture des LLMs dans des modèles plus petits pour réduire la latence de réécriture. Notre évaluation expérimentale sur l'ensemble de données QReCC démontre que des réécritures informatives peuvent considérablement améliorer la performance en matière de récupération par rapport aux réécritures humaines, notamment avec des systèmes récupérateurs épars. Une approche simple pour améliorer l'informativité des requêtes réécrites est de fournir aux annotateurs humains des instructions plus complètes afin qu'ils puissent non seulement rendre les requêtes originales non ambiguës mais aussi informatives. Cependant, cette approche présente plusieurs inconvénients, notamment son coût élevé, l'augmentation de la charge de travail pour les annotateurs humains et le risque accru d'incohérences entre les différentes versions annotées. Il est donc nécessaire d'explorer des approches alternatives. Dans cet article, nous proposons l'utilisation de grands modèles linguistiques (LLMs) pour la réécriture de requêtes, exploitant leurs impressionnantes capacités à suivre des instructions et des démonstrations. Nous considérons deux paramètres pour inciter les LLMs en tant que rewriters : dans le cadre d'un apprentissage sans données préalables, seule une instruction est fournie ; tandis que dans le cadre d'un apprentissage avec quelques données préalables, à la fois une instruction et quelques démonstrations sont fournies. Pour élaborer des instructions appropriées, nous identifions tout d'abord quatre propriétés essentielles caractérisant une requête bien formulée après sa relecture. Ensuite, nous concevons une instruction qui intègre ces quatre propriétés. Cependant, générer des relectures possédant toutes ces propriétés peut poser problème aux LLMs en raison du caractère complexe de l'instruction. Ainsi, nous proposons un rôle supplémentaire pour les LLMs en tant qu'éditeurs lorsqu'il s'agit d'une relecture initiale fournie.

• - La réécriture de requêtes est essentielle pour améliorer la recherche conversationnelle en transformant les requêtes utilisateur dépendantes du contexte en formes autonomes.
• - Les approches existantes se basent sur des réécritures humaines comme étiquettes pour entraîner des modèles, mais celles-ci peuvent manquer d'informations suffisantes.
• - Utilisation de grands modèles linguistiques (LLMs) pour générer des réécritures informatives grâce à des instructions bien conçues.
• - Définition de quatre propriétés essentielles pour les réécritures bien formulées et leur incorporation dans l'instruction.
• - Introduction du rôle d'éditeurs de réécriture pour les LLMs afin d'améliorer le processus de réécriture.
• - Proposition de distiller les capacités de réécriture des LLMs dans des modèles plus petits pour réduire la latence.
• - Expérimentation montrant que les réécritures informatives améliorent significativement la performance par rapport aux réécritures humaines, surtout avec des systèmes récupérateurs épars.
• Traduction en français :
• - La rewriting of requests plays an essential role in improving conversational search by transforming context-dependent user queries into standalone forms.
• - Existing approaches mainly rely on human rewritten queries as labels to train query rewriting models. However, human rewrites may lack sufficient information for optimal retrieval performance. To overcome this limitation, we propose using large language models (LLMs) as query rewriters, enabling the generation of informative rewrites through well-designed instructions. We define four essential properties for well-formulated rewrites and incorporate them all into the instruction. Additionally, we introduce the role of rewrite editors for LLMs when initial rewrites are available, forming a "rewrite then edit" process. Furthermore, we propose distilling the rewriting capabilities of LLMs into smaller models to reduce rewrite latency. Our experimental evaluation on the QReCC dataset demonstrates that informative rewrites can significantly enhance retrieval performance compared to human rewrites, especially with sparse retrieval systems. A simple approach to improve the informativeness of rewritten queries is to provide human annotators with more comprehensive instructions so they can make not only the original queries unambiguous but also informative. However, this approach has several drawbacks including high cost, increased workload for

SummaryLa réécriture de requêtes est importante pour améliorer la recherche conversationnelle en transformant les questions des utilisateurs liées au contexte en questions autonomes. Les approches actuelles utilisent des réécritures humaines pour former des modèles, mais celles-ci peuvent manquer d'informations. Les grands modèles linguistiques sont utilisés pour créer des réécritures informatives avec des instructions bien conçues. Quatre propriétés essentielles sont définies pour de bonnes réécritures et sont incluses dans les instructions. Les éditeurs de réécriture améliorent le processus de réécriture. Definitions- Réécriture (Rewriting): Le fait de reformuler ou modifier une question ou une requête. - Requêtes (Queries): Les questions posées par les utilisateurs lorsqu'ils cherchent quelque chose. - Contexte (Context): Les informations entourant une situation donnée qui a un impact sur la compréhension. - Modèles linguistiques (LLMs): Des outils informatiques qui comprennent et génèrent du langage humain. - Informative: Qui contient des informations utiles et pertinentes. Translated summary in FrenchLa réécriture de requêtes est cruciale pour améliorer la recherche conversationnelle en transformant les requêtes utilisateur dé

La réécriture de requêtes joue un rôle essentiel dans l'amélioration de la recherche conversationnelle en transformant les requêtes utilisateur dépendantes du contexte en formes autonomes. Cela permet aux systèmes de recherche d'obtenir des résultats plus précis et pertinents pour les utilisateurs, en tenant compte du contexte dans lequel ils posent leur question. Cependant, les approches existantes pour la réécriture de requêtes s'appuient principalement sur des réécritures réalisées par des humains. Ces dernières peuvent manquer d'informations suffisantes pour une performance optimale en matière de récupération. Pour résoudre ce problème, une nouvelle méthode est proposée : utiliser des grands modèles linguistiques (LLMs) comme réécrivains de requêtes. Les LLMs sont capables de générer des réécritures informatives grâce à des instructions bien conçues. Pour cela, quatre propriétés essentielles ont été identifiées pour caractériser une bonne relecture : l'informativité, la concision, la cohérence et la clarté. Toutes ces propriétés sont intégrées dans l'instruction fournie aux LLMs. De plus, cette étude introduit le rôle d'éditeurs de réécriture pour les LLMs lorsque des réécritures initiales sont disponibles. Ce processus "réécrire puis éditer" permet d'améliorer encore davantage la qualité des relectures générées. Pour rendre cette méthode plus efficace et moins coûteuse que l'utilisation d'annotateurs humains, il est également proposé de distiller les capacités de réécriture des LLMs dans des modèles plus petits. Cela permet de réduire la latence de réécriture et d'améliorer les performances globales. L'évaluation expérimentale réalisée sur l'ensemble de données QReCC a démontré que les réécritures générées par les LLMs sont beaucoup plus informatives que celles produites par des humains, en particulier lorsqu'il s'agit de systèmes récupérateurs épars. Une approche simple pour améliorer l'informativité des requêtes réécrites est donc de fournir aux annotateurs humains des instructions plus complètes afin qu'ils puissent non seulement rendre les requêtes originales non ambiguës mais aussi informatives. Cependant, cette méthode présente plusieurs inconvénients, notamment son coût élevé, l'augmentation de la charge de travail pour les annotateurs humains et le risque accru d'incohérences entre les différentes versions annotées. Il est donc nécessaire d'explorer des approches alternatives telles que l'utilisation des grands modèles linguistiques comme proposée dans cette étude. En conclusion, cet article met en avant une nouvelle méthode prometteuse pour améliorer la qualité et la pertinence des résultats dans la recherche conversationnelle grâce à l'utilisation de grands modèles linguistiques comme réécrivains de requêtes. En intégrant ces quatre propriétés essentielles dans une instruction bien conçue et en utilisant leur capacité à suivre des démonstrations, il est possible d'obtenir des relectures informatives sans avoir recours à un grand nombre d'annotateurs humains ou à un processus complexe.