Multilingual E5 Text Embeddings: A Technical Report

Le rapport technique "Multilingual E5 Text Embeddings" présente la méthodologie de formation et les résultats d'évaluation des modèles d'incorporation de texte E5 multilingues open source, publiés à la mi-2023. Trois modèles d'incorporation de tailles différentes (petite / base / grande) sont fournis, offrant un équilibre entre l'efficacité de l'inférence et la qualité de l'incorporation. La procédure de formation suit la recette du modèle E5 anglais, impliquant un pré-entraînement contrastif sur 1 milliard de paires de textes multilingues, suivi d'un ajustement fin sur une combinaison d'ensembles de données étiquetées. De plus, nous introduisons un nouveau modèle d'incorporation adapté aux instructions dont les performances sont comparables à celles des modèles anglais uniquement similaires en taille. Les informations concernant la publication du modèle peuvent être trouvées sur https://github.com/microsoft/unilm/tree/master/e5. Dans le cadre du benchmark MIRACL (Zhang et al., 2023), les modèles mE5 surpassent significativement mDPR qui a été affiné sur l'ensemble d'entraînement MIRACL tant en termes de nDCG@10 que dans les métriques recall. Des résultats détaillés pour chaque langue sont fournis dans le Tableau 6 en annexe. En ce qui concerne l'extraction bilingue, tâche de recherche similaire interlinguale nécessitant la correspondance entre deux phrases avec peu de chevauchements lexicaux, les modèles mE5 présentent des performances compétitives dans une large gamme de langues, qu'il s'agisse de langues riches ou pauvres en ressources. Notamment, le modèle mE5large-instruct dépasse les performances de LaBSE, un modèle spécifiquement conçu pour l'extraction bilingue, grâce à la couverture linguistique élargie offerte par les données synthétiques (Wang et al., 2023). En conclusion, ce bref rapport technique présente des modèles d'incorporation textuelle multilingues E5 formés avec un pipeline multi-étapes. En mettant publiquement à disposition les poids du modèle, cela permet aux praticiens...

Le rapport technique "Multilingual E5 Text Embeddings" présente la méthodologie de formation et les résultats d'évaluation des modèles d'incorporation de texte E5 multilingues open source, publiés à la mi-2023. Ce rapport détaille les différentes étapes du processus de formation des modèles ainsi que leurs performances lors des évaluations.

Les modèles d'incorporation E5 sont disponibles en trois tailles différentes (petite / base / grande), offrant un équilibre entre l'efficacité de l'inférence et la qualité de l'incorporation. La procédure de formation suit la recette du modèle E5 anglais, impliquant un pré-entraînement contrastif sur 1 milliard de paires de textes multilingues, suivi d'un ajustement fin sur une combinaison d'ensembles de données étiquetées. Cette méthode permet aux modèles d'être adaptés à plusieurs langues tout en maintenant leur efficacité.

En plus des modèles traditionnels pour le traitement du langage naturel, ce rapport introduit également un nouveau modèle spécialement conçu pour les instructions. Les performances de ce modèle sont comparables à celles des autres modèles anglais uniquement similaires en taille. Toutes ces informations peuvent être trouvées sur https://github.com/microsoft/unilm/tree/master/e5 où le modèle est publiquement disponible.

Des résultats détaillés pour chaque langue sont fournis dans le Tableau 6 en annexe, montrant ainsi la performance des modèles pour différentes langues.

En ce qui concerne l'extraction bilingue, une tâche de recherche similaire interlinguale nécessitant la correspondance entre deux phrases avec peu de chevauchements lexicaux, les modèles mE5 présentent des performances compétitives dans une large gamme de langues, qu'il s'agisse de langues riches ou pauvres en ressources. Notamment, le modèle mE5large-instruct dépasse même les performances du modèle LaBSE spécialement conçu pour cette tâche grâce à sa couverture linguistique élargie offerte par les données synthétiques (Wang et al., 2023).

En conclusion, ce rapport technique présente des modèles d'incorporation textuelle multilingues E5 formés avec un pipeline multi-étapes. En mettant publiquement à disposition les poids du modèle, cela permet aux praticiens d'utiliser ces modèles pour leurs propres projets et ainsi améliorer leurs performances en traitement du langage naturel dans différentes langues. Les résultats obtenus lors des évaluations montrent que ces modèles sont efficaces et compétitifs dans une variété de tâches linguistiques.