Pre-training Tasks for User Intent Detection and Embedding Retrieval in E-commerce Search
Auteurs : Yiming Qiu, Chenyu Zhao, Han Zhang, Jingwei Zhuo, Tianhao Li, Xiaowei Zhang, Songlin Wang, Sulong Xu, Bo Long, Wen-Yun Yang
Résumé : Pretrain-Finetune paradigm recently becomes prevalent in many NLP tasks: question answering, text classification, sequence labeling and so on. As the state-of-the-art model, BERT pre-trained on the general corpus (e.g., Wikipedia) have been widely used in these tasks. However, these BERT-style models still show limitations on some scenarios, especially for two: a corpus that contains very different text from the general corpus Wikipedia, or a task that learns embedding spacial distribution for specific purpose (e.g., approximate nearest neighbor search). In this paper, to tackle the above dilemmas we also encounter in an industrial e-commerce search system, we propose novel customized pre-training tasks for two critical modules: user intent detection and semantic embedding retrieval. The customized pre-trained models with specific fine-tuning, being less than 10% of BERT-base's size in order to be feasible for cost-efficient CPU serving, significantly improves its other counterparts on both offline evaluation metrics and online benefits. We have open sourced our datasets for the sake of reproducibility and future works.
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.
Recherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.