PaLM 2 Technical Report
Auteurs : Aakanksha Chowdhery, Nan Du, Reiner Pope, Jacob Devlin, James Bradbury, Kefan Xiao, Tao Wang, Denny Zhou, Eric Chu, Wei Li, Zhifeng Chen, Yonghui Wu, Xuezhi Wang, Sebastian Gehrmann, Yanping Huang, Yuanzhong Xu, Mostafa Dehghani, Benjamin Lee, Katherine Lee, Le Hou, Yi Tay, Pengcheng Yin, Guy Gur-Ari, Jacob Austin, Andrew M. Dai, Alicia Parrish, Kelvin Xu, Siamak Shakeri, Sebastian Ruder, Clément Crepy, Zirui Wang, Dmitry Lepikhin, Maxim Krikun, Orhan Firat, Marie Pellat, Kevin Robinson, Kathy Meier-Hellstern, Jian Li, Matthew Jagielski, Mark Díaz, Christopher A. Choquette-Choo, Rohan Anil, Melvin Johnson, Alexandre Passos, Emanuel Taropa, Paige Bailey, Jonathan H. Clark, Laurent El Shafey, Gaurav Mishra, Erica Moreira, Mark Omernick, Yujing Zhang, Gustavo Hernandez Abrego, Junwhan Ahn, Paul Barham, Jan Botha, Siddhartha Brahma, Kevin Brooks, Michele Catasta, Yong Cheng, Colin Cherry, Shachi Dave, Sunipa Dev, Ethan Dyer, Vlad Feinberg, Fangxiaoyu Feng, Vlad Fienber, Markus Freitag, Xavier Garcia, Lucas Gonzalez, Steven Hand, Hadi Hashemi, Joshua Howland, Andrea Hu, Jeffrey Hui, Jeremy Hurwitz, Michael Isard, Abe Ittycheriah, Wenhao Jia, Kathleen Kenealy, Sneha Kudugunta, Chang Lan, Eric Li, Music Li, YaGuang Li, Hyeontaek Lim, Hanzhao Lin, Zhongtao Liu, Frederick Liu, Marcello Maggioni, Aroma Mahendru, Joshua Maynez, Vedant Misra, Maysam Moussalem, Zachary Nado, John Nham, Eric Ni, Andrew Nystrom, Martin Polacek, Alex Polozov, Siyuan Qiao, Emily Reif, Bryan Richter, Parker Riley, Alex Castro Ros, Aurko Roy, Brennan Saeta, Rajkumar Samuel, Renee Shelby, Ambrose Slone, Daniel Smilkov, David R. So, Daniel Sohn, Simon Tokumine, Dasha Valter, Vijay Vasudevan, Kiran Vodrahalli, Pidong Wang, John Wieting, Yuhuai Wu, Yunhan Xu, Linting Xue, Jiahui Yu, Qiao Zhang, Steven Zheng, Ce Zheng, Weikang Zhou, Slav Petrov
Résumé : We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Certains éléments de l'article ne sont pas encore résumés, vous pouvez relancer le processus de synthèse en cliquant sur le bouton Exécuter ci-dessous.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.