Résultats du processus de synthèse de l'article arXiv : 2504.02137v1

Le développement exponentiel du contenu en ligne a posé d'importants défis aux modèles basés sur les ID dans les systèmes de recommandation industriels. Ces défis incluent la cardinalité extrêmement élevée et l'espace ID en croissance dynamique, ainsi que des distributions d'engagement très biaisées et l'instabilité des prédictions due aux cycles de vie naturels des IDs (par exemple, la naissance de nouveaux IDs et la retraite des anciens IDs). Pour résoudre ces problèmes, de nombreux systèmes s'appuient sur le hachage aléatoire pour gérer l'espace ID et contrôler les paramètres du modèle correspondants (c'est-à-dire la table d'embedding). Cependant, cette approche introduit une pollution des données provenant de plusieurs IDs partageant le même embedding, ce qui entraîne une dégradation des performances du modèle et une instabilité de la représentation de l'embedding. Ce document examine ces défis et présente , une nouvelle technique de paramétrisation des tokens qui améliore significativement les performances du . crée des collisions sémantiquement significatives en regroupant hiérarchiquement les éléments en fonction de leurs embeddings de contenu, par opposition à des affectations aléatoires. À travers une expérimentation approfondie, nous démontrons que permet non seulement d'adresser l'instabilité des embeddings mais aussi d'améliorer considérablement la modélisation des IDs marginaux, réduit le surajustement et atténue les changements dans la représentation. Nous mettons également en avant les avantages du dans les modèles basés sur l'attention qui contextualisent les historiques utilisateurs, montrant ainsi d'importantes améliorations des performances. Nous rapportons également notre expérience d'intégration du dans le système Meta production Ads Ranking, entraînant ainsi des gains notables en performance et une meilleure stabilité des prédictions lors des déploiements en direct. Les auteurs impliqués dans cette recherche sont Carolina Zheng, Minhui Huang, Dmitrii Pedchenko, Kaushik Rangadurai, Siyu Wang, Gaby Nahum, Jie Lei,Yang Yang,Tao Liu,Zutian Luo,Xiaohan Wei,Dinesh Ramasamy,Jiyan Yang,Yiping Han,Lin Yang,Hangjun Xu,Rong Jin et Shuang Yang.

• - Le développement exponentiel du contenu en ligne a posé des défis aux modèles basés sur les ID dans les systèmes de recommandation industriels.
• - Les défis incluent la cardinalité élevée, l'espace ID en croissance dynamique, les distributions d'engagement biaisées et l'instabilité des prédictions dues aux cycles de vie naturels des IDs.
• - De nombreux systèmes utilisent le hachage aléatoire pour gérer l'espace ID et contrôler les paramètres du modèle correspondants.
• - Cependant, cette approche introduit une pollution des données provenant de plusieurs IDs partageant le même embedding, entraînant une dégradation des performances du modèle et une instabilité de la représentation de l'embedding.
• - Une nouvelle technique de paramétrisation des tokens est présentée pour améliorer significativement les performances du modèle en regroupant hiérarchiquement les éléments en fonction de leurs embeddings de contenu.
• - Cette technique permet d'adresser l'instabilité des embeddings, d'améliorer la modélisation des IDs marginaux, réduire le surajustement et atténuer les changements dans la représentation.
• - L'intégration de cette technique dans le système Meta production Ads Ranking a entraîné des gains notables en performance et une meilleure stabilité des prédictions lors des déploiements en direct.

Summary- Online content has been growing rapidly, causing challenges for recommendation systems based on IDs. - Challenges include high cardinality, growing ID space, biased engagement distributions, and prediction instability due to natural ID lifecycle. - Many systems use random hashing to manage ID space and control corresponding model parameters. - However, this approach leads to data pollution from multiple IDs sharing the same embedding, resulting in model performance degradation and embedding representation instability. - A new token parameterization technique is introduced to significantly improve model performance by hierarchically grouping elements based on their content embeddings. Definitions1. Exponential development: A very fast growth or increase over time. 2. Content: Information or material published online. 3. Recommendation system: Software that suggests items or content based on user preferences or behavior. 4. Cardinality: The number of unique values in a set. 5. Embedding: A mathematical representation of an item used in machine learning models. TRANSLATION IN FRENCHRésumé - Le contenu en ligne se développe rapidement, ce qui pose des défis aux systèmes de recommandation basés sur les identifiants (IDs). - Les défis incluent une grande cardinalité, l'augmentation de l'espace d'ID, des distributions biaisées de l'engagement et une instabilité des prédictions due au cycle de vie naturel des IDs. - De nombreux systèmes utilisent le hachage aléatoire pour gérer l

Le développement exponentiel du contenu en ligne a posé d'importants défis aux modèles basés sur les ID dans les systèmes de recommandation industriels. Ces défis incluent la cardinalité extrêmement élevée et l'espace ID en croissance dynamique, ainsi que des distributions d'engagement très biaisées et l'instabilité des prédictions due aux cycles de vie naturels des IDs (par exemple, la naissance de nouveaux IDs et la retraite des anciens IDs). Pour résoudre ces problèmes, de nombreux systèmes s'appuient sur le hachage aléatoire pour gérer l'espace ID et contrôler les paramètres du modèle correspondants (c'est-à-dire la table d'embedding). Cependant, cette approche introduit une pollution des données provenant de plusieurs IDs partageant le même embedding, ce qui entraîne une dégradation des performances du modèle et une instabilité de la représentation de l'embedding. Dans cet article, nous examinons ces défis et présentons , une nouvelle technique de paramétrisation des tokens qui améliore significativement les performances du . crée des collisions sémantiquement significatives en regroupant hiérarchiquement les éléments en fonction de leurs embeddings de contenu, par opposition à des affectations aléatoires. À travers une expérimentation approfondie, nous démontrons que permet non seulement d'adresser l'instabilité des embeddings mais aussi d'améliorer considérablement la modélisation des IDs marginaux. De plus, il réduit le surajustement et atténue les changements dans la représentation. Nous mettons également en avant les avantages du dans les modèles basés sur l'attention qui contextualisent les historiques utilisateurs, montrant ainsi d'importantes améliorations des performances. En outre, nous rapportons notre expérience d'intégration du dans le système Meta production Ads Ranking, entraînant ainsi des gains notables en performance et une meilleure stabilité des prédictions lors des déploiements en direct. Les auteurs impliqués dans cette recherche sont Carolina Zheng, Minhui Huang, Dmitrii Pedchenko, Kaushik Rangadurai, Siyu Wang, Gaby Nahum, Jie Lei,Yang Yang,Tao Liu,Zutian Luo,Xiaohan Wei,Dinesh Ramasamy,Jiyan Yang,Yiping Han,Lin Yang,Hangjun Xu,Rong Jin et Shuang Yang.