# More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models

**Authors:** Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz, Mario Fritz  
**arXiv:** [2302.12173](https://arxiv.org/abs/2302.12173)  
**Date:** 2023-02-23  
**Summary page:** https://www.summarizepaper.com/fr/paper/2302.12173v1/

## Key points

- Les grands modèles de langage (LLM) connaissent des avancées spectaculaires et sont largement utilisés dans différents systèmes.
- Les LLM actuels peuvent être configurés par des instructions en langage naturel, mais leur fonctionnement interne reste implicite et non évaluable.
- Cependant, cette propriété les rend vulnérables à des attaques d'injection d'instruction (PI) qui peuvent inciter le LLM à produire du contenu malveillant ou remplacer les instructions originales.
- Des travaux récents ont montré que ces attaques sont difficiles à contrer car les LLM modernes suivent fidèlement les instructions données.
- En augmentant un LLM avec une capacité de récupération et d’appel API, cela crée de nouveaux vecteurs d'attaque pour l'adversaire.
- Ces LLMs intégrées aux applications pourraient traiter du contenu empoisonné récupérable sur le Web contenant des instructions pr-injectée malveillantes sélectionnées par un adversaire.
- Il est possible pour un attaquant de réaliser ces sortes d'attaques PI indirectement.
- Il est urgent d'évaluer les techniques existantes pour se protéger contre ces menaces et explorer la possibilité de développer de nouvelles techniques pour se protéger contre celles-ci.

## Summary

Nous assistons actuellement à des avancées spectaculaires dans les capacités des grands modèles de langage (LLM). Ils sont déjà largement utilisés et intégrés à de nombreux systèmes, notamment les environnements de développement intégrés (IDE) et les moteurs de recherche. Les LLM actuels peuvent être configurés par des instructions en langage naturel tandis que leur fonctionnement interne exact reste implicite et non évaluable. Cette propriété qui leur permet d'être adaptables même aux tâches invisibles pourrait aussi les rendre vulnérables à des incitations malveillantes ciblées. Des moyens ont été récemment mis en place pour décaler les LLM en utilisant des attaques d'injection d'instruction (PI). Dans ce type d'attaques, un adversaire peut inciter le LLM à produire du contenu malveillant ou remplacer les instructions originales et les schémas de filtrage utilisés. Des travaux récents ont montré que ces attaques sont difficiles à contrer car les LLM modernes suivent fidèlement les instructions données. Jusqu'à présent, ces attaques supposaient que l'adversaire incitait directement le LLM. Dans ce travail, nous montrons qu’augmenter un LLM avec une capacité de récupération et d’appel API (appelée LLMs intégrée aux applications) induit un tout nouvel ensemble de vecteurs d’attaque. Ces LLMs pourraient traiter du contenu empoisonné récupérable sur le Web contenant des instructions pr-injectée malveillantes sélectionnée par un adversaire. Nous démontrons qu’un attaquant peut effectuer cette sorte d’attaques PI indirectement. Sur la base de cette idée clé, nous analysons systématiquement le paysage menaçant résultant des LLMs intégrée aux applications et discutons une variété de nouveaux vecteurs d’attaque possibles. Pour illustrer la viabilité pratique des attaques proposer, nous avons mis en œuvre plusieurs démonstrations spécifiques sur des applications synthétiques. En conclusion, notre travail souligne l’urgence à évaluer les techniques existantes pour se protger contre ces menaces et à explorer la possibilités de mettre au point de nouvelles techniques pour se protger contre celles-ci.