# Fast Inference from Transformers via Speculative Decoding

**Authors:** Yaniv Leviathan, Matan Kalman, Yossi Matias  
**arXiv:** [2211.17192](https://arxiv.org/abs/2211.17192)  
**Date:** 2022-11-30  
**Summary page:** https://www.summarizepaper.com/fr/paper/2211.17192v1/

## Key points

- Remerciements à YaGuang Li et Blake Hechtman pour leur aide avec LaMDA et XLA
- Remerciements à Asaf Aharoni, Sasha Goldshtein, Nadav Sherman, Eyal Segalis, Eyal Molad, Dani Valevski, Daniel Wasserman, Valerie Nygaard et les équipes LaMDA et Theta Labs chez Google ainsi que nos familles
- Méthode de décodage spéculatif pour accélérer l'inférence à partir de modèles autorégressifs sans changer les sorties
- Utilisation d'exécution spéculative et d'une nouvelle méthode d'échantillonnage pour exécuter en parallèle sur les sorties des modèles d'approximation générés potentiellement plusieurs jetons simultanés sans changer la distribution
- Pas besoin de réentrainement ou modifications architecturales
- Accélération 2X-3X par rapport à la mise en œuvre standard de T5X avec des sorties identiques
- Études antérieures sur l'efficacité de l'inférence à partir de grands modèles (Dehghani et al., 2021)
- Article intitulé "Fast Inference from Transformers via Speculative Decoding" présentant une méthode pour accélérer l'inférence à partir des transformers via un décodage spéculatif.

## Summary

Nous tenons à remercier chaleureusement YaGuang Li pour son aide concernant LaMDA et le calcul des chiffres de LaMDA dans l'article ainsi que Blake Hechtman pour ses excellentes idées et son aide avec XLA. Nous souhaitons également remercier Asaf Aharoni, Sasha Goldshtein, Nadav Sherman, Eyal Segalis, Eyal Molad, Dani Valevski, Daniel Wasserman, Valerie Nygaard et les équipes LaMDA et Theta Labs chez Google ainsi que nos familles. Dans cette étude nous présentons une méthode de décodage spéculatif - un algorithme qui permet d'accélérer l'inférence à partir de modèles autorégressifs sans changer les sorties en calculant plusieurs jetons en parallèle. Notre approche est basée sur les observations suivantes : (1) les tâches de modélisation linguistique difficiles incluent souvent des sous-tâches plus faciles qui peuvent être bien approximés par des modèles plus efficaces et (2) en utilisant une exécution spéculative et une nouvelle méthode d'échantillonnage nous pouvons accélérer le décodage exact à partir des grands modèles en les exécutant en parallèle sur les sorties des modèles d'approximation générés potentiellement plusieurs jetons simultanés sans changer la distribution. Notre mise en œuvre ne requiert pas de réentrainement ou modifications architecturales. Nous montrons l'efficacité de notre mise en œuvre sur T5-XXL obtenant une accélération 2X-3X par rapport à la mise en œuvre standard de T5X avec des sorties identiques. En ce qui concerne les travaux connexes l’efficacité de l’infèrence à partir de grands modèles a était largement étudiée (Dehghani et al., 2021). De nombreux travaux interessants ont étés réalisés dans ce domaine. Enfin le document source est un extrait d'une requête ArXiv contenant des informations sur l'article intitulée "Fast Inference from Transformers via Speculative Decoding". Cet article présente une methode pour accerler l’inferece à partir des transformers via un décodage speculatif.