No Language Left Behind: Scaling Human-Centered Machine Translation
Auteurs : NLLB team, Marta R. Costa-jussà (NLLB Team), James Cross (NLLB Team), Onur Çelebi (NLLB Team), Maha Elbayad (NLLB Team), Kenneth Heafield (NLLB Team), Kevin Heffernan (NLLB Team), Elahe Kalbassi (NLLB Team), Janice Lam (NLLB Team), Daniel Licht (NLLB Team), Jean Maillard (NLLB Team), Anna Sun (NLLB Team), Skyler Wang (NLLB Team), Guillaume Wenzek (NLLB Team), Al Youngblood (NLLB Team), Bapi Akula (NLLB Team), Loic Barrault (NLLB Team), Gabriel Mejia Gonzalez (NLLB Team), Prangthip Hansanti (NLLB Team), John Hoffman (NLLB Team), Semarley Jarrett (NLLB Team), Kaushik Ram Sadagopan (NLLB Team), Dirk Rowe (NLLB Team), Shannon Spruit (NLLB Team), Chau Tran (NLLB Team), Pierre Andrews (NLLB Team), Necip Fazil Ayan (NLLB Team), Shruti Bhosale (NLLB Team), Sergey Edunov (NLLB Team), Angela Fan (NLLB Team), Cynthia Gao (NLLB Team), Vedanuj Goswami (NLLB Team), Francisco Guzmán (NLLB Team), Philipp Koehn (NLLB Team), Alexandre Mourachko (NLLB Team), Christophe Ropers (NLLB Team), Safiyyah Saleem (NLLB Team), Holger Schwenk (NLLB Team), Jeff Wang (NLLB Team)
Résumé : Driven by the goal of eradicating language barriers on a global scale, machine translation has solidified itself as a key focus of artificial intelligence research today. However, such efforts have coalesced around a small subset of languages, leaving behind the vast majority of mostly low-resource languages. What does it take to break the 200 language barrier while ensuring safe, high quality results, all while keeping ethical considerations in mind? In No Language Left Behind, we took on this challenge by first contextualizing the need for low-resource language translation support through exploratory interviews with native speakers. Then, we created datasets and models aimed at narrowing the performance gap between low and high-resource languages. More specifically, we developed a conditional compute model based on Sparsely Gated Mixture of Experts that is trained on data obtained with novel and effective data mining techniques tailored for low-resource languages. We propose multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. Critically, we evaluated the performance of over 40,000 different translation directions using a human-translated benchmark, Flores-200, and combined human evaluation with a novel toxicity benchmark covering all languages in Flores-200 to assess translation safety. Our model achieves an improvement of 44% BLEU relative to the previous state-of-the-art, laying important groundwork towards realizing a universal translation system. Finally, we open source all contributions described in this work, accessible at https://github.com/facebookresearch/fairseq/tree/nllb.
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.