# Reward Design with Language Models

**Authors:** Minae Kwon, Sang Michael Xie, Kalesha Bullard, Dorsa Sadigh  
**arXiv:** [2303.0001](https://arxiv.org/abs/2303.0001)  
**Date:** 2023-02-27  
**Summary page:** https://www.summarizepaper.com/fr/arxiv-id/2303.0001v1/

## Key points

- La conception de récompenses dans l'apprentissage par renforcement est difficile car spécifier les comportements souhaités peut être compliqué ou nécessiter beaucoup de démonstrations d'experts.
- L'utilisation d'un grand modèle langagier (LLM) tel que GPT-3 comme fonction de récompense proxy permet de simplifier la conception des récompenses à moindre coût en utilisant une interface de langage naturel.
- Les utilisateurs fournissent une prompt textuelle contenant quelques exemples (few-shot) ou une description (zero-shot) du comportement souhaité, et le LLM évalue le comportement d'un agent RL par rapport au comportement souhaité décrit par la prompt et produit un signal de récompense correspondant.
- Les agents RL formés avec cette méthode sont bien alignés sur les objectifs des utilisateurs dans différentes tâches, surpassant même les agents RL formés avec des fonctions de récompense apprises via l'apprentissage supervisé.
- Cette méthode est plus efficace en termes d'utilisation des données que les méthodes classiques d'apprentissage supervisé et peut produire différents styles d'agents alignés sur divers objectifs simplement en modifiant les exemples inclus dans la prompt.
- Cependant, il y a encore certaines limites à cette approche qui nécessitent plus d'études futures.

## Summary

La conception de récompenses dans l'apprentissage par renforcement (RL) est difficile car spécifier les notions humaines de comportement souhaité peut être compliqué via des fonctions de récompense ou nécessiter beaucoup de démonstrations d'experts. Est-il possible de concevoir des récompenses à moindre coût en utilisant une interface de langage naturel? Cet article étudie comment simplifier la conception des récompenses en utilisant un grand modèle langagier (LLM) tel que GPT-3 comme fonction de récompense proxy, où l'utilisateur fournit une prompt textuelle contenant quelques exemples (few-shot) ou une description (zero-shot) du comportement souhaité. Notre approche exploite cette fonction de récompense proxy dans un cadre RL. Plus précisément, les utilisateurs spécifient une prompt au début de l'entraînement. Pendant l'entraînement, le LLM évalue le comportement d'un agent RL par rapport au comportement souhaité décrit par la prompt et produit un signal de récompense correspondant. L'agent RL utilise ensuite cette récompense pour mettre à jour son comportement. Nous avons évalué si notre approche pouvait former des agents alignés sur les objectifs des utilisateurs dans le jeu Ultimatum, les jeux matriciels et la tâche DealOrNoDeal. Dans ces trois tâches, nous avons montré que les agents RL formés avec notre cadre sont bien alignés sur les objectifs des utilisateurs et surpassent les agents RL formés avec des fonctions de récompense apprises via l'apprentissage supervisé. En outre, nous avons mené une analyse pour quantifier l'efficacité en termes d'utilisation des données et la conception optimale des prompts pour notre méthode. Nous avons constaté que notre méthode est plus efficace en termes d’utilisation des données que les méthodes classiques d’apprentissage supervisée et qu’elle peut produire différents styles d’agents alignés sur divers objectifs spécifiés par l’utilisateur simplement en modifiant les exemples inclus dans la prompt. Cependant, il y a encore certaines limites à notre approche qui nécessitent plus d’études futures telles que le risque potentiellement introduit par le choix initial du modèle LLM et la nouvelle nécessité continue pour une intervention humaine afin de concevoir des prompts appropriés.