# Learning to Rank Context for Named Entity Recognition Using a Synthetic Dataset

**Authors:** Arthur Amalvy, Vincent Labatut, Richard Dufour  
**arXiv:** [2310.10118](https://arxiv.org/abs/2310.10118)  
**Date:** 2023-10-16  
**Summary page:** https://www.summarizepaper.com/fr/arxiv-id/2310.10118v1/

## Key points

- Les modèles pré-entraînés basés sur des transformateurs sont précis pour la reconnaissance d'entités nommées (NER).
- Cependant, ils ont une portée limitée pour les longs documents comme les romans entiers.
- Les chercheurs proposent de résoudre ce problème en récupérant le contexte pertinent au niveau du document.
- Cette tâche nécessite des approches non supervisées en raison du manque de supervision.
- Pour surmonter cette limitation, ils utilisent Alpaca, un modèle linguistique large ajusté aux instructions, pour générer un ensemble de données d'entraînement synthétique.
- En utilisant cet ensemble de données, ils entraînent un récupérateur de contexte neuronal basé sur un modèle BERT qui trouve le contexte pertinent pour la NER.

## Summary

Dans cette étude, les chercheurs soulignent que bien que les modèles pré-entraînés basés sur des transformateurs puissent effectuer la reconnaissance d'entités nommées (NER) avec une grande précision, leur portée limitée pose problème lorsqu'ils sont appliqués à de longs documents tels que des romans entiers. Pour résoudre ce problème, ils proposent une solution consistant à récupérer le contexte pertinent au niveau du document. Cependant, le manque de supervision pour cette tâche signifie qu'il faut se contenter d'approches non supervisées. Pour surmonter cette limitation, les chercheurs proposent de générer un ensemble de données d'entraînement synthétique pour la récupération de contexte en utilisant Alpaca, un modèle linguistique large (LLM) ajusté aux instructions. À l'aide de cet ensemble de données, ils entraînent un récupérateur de contexte neuronal basé sur un modèle BERT qui est capable de trouver le contexte pertinent pour la NER.