# Multilingual E5 Text Embeddings: A Technical Report

**Authors:** Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei  
**arXiv:** [2402.05672](https://arxiv.org/abs/2402.05672)  
**Date:** 2024-02-08  
**Summary page:** https://www.summarizepaper.com/fr/paper/2402.05672v1/

## Key points

- Le rapport technique "Multilingual E5 Text Embeddings" présente la méthodologie de formation et les résultats d'évaluation des modèles d'incorporation de texte E5 multilingues open source.
- Trois modèles d'incorporation de tailles différentes (petite / base / grande) sont fournis, offrant un équilibre entre l'efficacité de l'inférence et la qualité de l'incorporation.
- La procédure de formation suit la recette du modèle E5 anglais, impliquant un pré-entraînement contrastif sur 1 milliard de paires de textes multilingues, suivi d'un ajustement fin sur une combinaison d'ensembles de données étiquetées.
- Un nouveau modèle d'incorporation adapté aux instructions est introduit, avec des performances comparables à celles des modèles anglais uniquement similaires en taille.
- Les modèles mE5 surpassent significativement mDPR dans le cadre du benchmark MIRACL en termes de nDCG@10 et dans les métriques recall.
- Les modèles mE5 présentent des performances compétitives dans une large gamme de langues pour l'extraction bilingue, dépassant même LaBSE grâce à la couverture linguistique élargie offerte par les données synthétiques.
- *Translation in French:*
- Le rapport technique "Incorporations textuelles E5 multilingues" présente la méthodologie et les résultats des modèles E5 open source.
- Trois tailles différentes de modèles sont proposées pour équilibrer efficacité et qualité.
- La formation suit le modèle E5 anglais avec pré-entraînement contrastif puis ajustement fin sur données étiquetées.
- Nouveau modèle adapté aux instructions avec performances comparables à ceux en anglais.
- Modèles mE5 surpassent mDPR dans le benchmark MIRACL en nDCG@10 et recall.
- Performances compétitives pour extraction bilingue, dépassant LaBSE grâce à couverture linguistique élargie.

## Summary

Le rapport technique "Multilingual E5 Text Embeddings" présente la méthodologie de formation et les résultats d'évaluation des modèles d'incorporation de texte E5 multilingues open source, publiés à la mi-2023. Trois modèles d'incorporation de tailles différentes (petite / base / grande) sont fournis, offrant un équilibre entre l'efficacité de l'inférence et la qualité de l'incorporation. La procédure de formation suit la recette du modèle E5 anglais, impliquant un pré-entraînement contrastif sur 1 milliard de paires de textes multilingues, suivi d'un ajustement fin sur une combinaison d'ensembles de données étiquetées. De plus, nous introduisons un nouveau modèle d'incorporation adapté aux instructions dont les performances sont comparables à celles des modèles anglais uniquement similaires en taille. Les informations concernant la publication du modèle peuvent être trouvées sur https://github.com/microsoft/unilm/tree/master/e5. Dans le cadre du benchmark MIRACL (Zhang et al., 2023), les modèles mE5 surpassent significativement mDPR qui a été affiné sur l'ensemble d'entraînement MIRACL tant en termes de nDCG@10 que dans les métriques recall. Des résultats détaillés pour chaque langue sont fournis dans le Tableau 6 en annexe. En ce qui concerne l'extraction bilingue, tâche de recherche similaire interlinguale nécessitant la correspondance entre deux phrases avec peu de chevauchements lexicaux, les modèles mE5 présentent des performances compétitives dans une large gamme de langues, qu'il s'agisse de langues riches ou pauvres en ressources. Notamment, le modèle mE5large-instruct dépasse les performances de LaBSE, un modèle spécifiquement conçu pour l'extraction bilingue, grâce à la couverture linguistique élargie offerte par les données synthétiques (Wang et al., 2023). En conclusion, ce bref rapport technique présente des modèles d'incorporation textuelle multilingues E5 formés avec un pipeline multi-étapes. En mettant publiquement à disposition les poids du modèle, cela permet aux praticiens...