Résultats du processus de synthèse de l'article arXiv : 2303.0001v1

La conception de récompenses dans l'apprentissage par renforcement (RL) est difficile car spécifier les notions humaines de comportement souhaité peut être compliqué via des fonctions de récompense ou nécessiter beaucoup de démonstrations d'experts. Est-il possible de concevoir des récompenses à moindre coût en utilisant une interface de langage naturel? Cet article étudie comment simplifier la conception des récompenses en utilisant un grand modèle langagier (LLM) tel que GPT-3 comme fonction de récompense proxy, où l'utilisateur fournit une prompt textuelle contenant quelques exemples (few-shot) ou une description (zero-shot) du comportement souhaité. Notre approche exploite cette fonction de récompense proxy dans un cadre RL. Plus précisément, les utilisateurs spécifient une prompt au début de l'entraînement. Pendant l'entraînement, le LLM évalue le comportement d'un agent RL par rapport au comportement souhaité décrit par la prompt et produit un signal de récompense correspondant. L'agent RL utilise ensuite cette récompense pour mettre à jour son comportement. Nous avons évalué si notre approche pouvait former des agents alignés sur les objectifs des utilisateurs dans le jeu Ultimatum, les jeux matriciels et la tâche DealOrNoDeal. Dans ces trois tâches, nous avons montré que les agents RL formés avec notre cadre sont bien alignés sur les objectifs des utilisateurs et surpassent les agents RL formés avec des fonctions de récompense apprises via l'apprentissage supervisé. En outre, nous avons mené une analyse pour quantifier l'efficacité en termes d'utilisation des données et la conception optimale des prompts pour notre méthode. Nous avons constaté que notre méthode est plus efficace en termes d’utilisation des données que les méthodes classiques d’apprentissage supervisée et qu’elle peut produire différents styles d’agents alignés sur divers objectifs spécifiés par l’utilisateur simplement en modifiant les exemples inclus dans la prompt. Cependant, il y a encore certaines limites à notre approche qui nécessitent plus d’études futures telles que le risque potentiellement introduit par le choix initial du modèle LLM et la nouvelle nécessité continue pour une intervention humaine afin de concevoir des prompts appropriés.

• La conception de récompenses dans l'apprentissage par renforcement est difficile car spécifier les comportements souhaités peut être compliqué ou nécessiter beaucoup de démonstrations d'experts.
• L'utilisation d'un grand modèle langagier (LLM) tel que GPT-3 comme fonction de récompense proxy permet de simplifier la conception des récompenses à moindre coût en utilisant une interface de langage naturel.
• Les utilisateurs fournissent une prompt textuelle contenant quelques exemples (few-shot) ou une description (zero-shot) du comportement souhaité, et le LLM évalue le comportement d'un agent RL par rapport au comportement souhaité décrit par la prompt et produit un signal de récompense correspondant.
• Les agents RL formés avec cette méthode sont bien alignés sur les objectifs des utilisateurs dans différentes tâches, surpassant même les agents RL formés avec des fonctions de récompense apprises via l'apprentissage supervisé.
• Cette méthode est plus efficace en termes d'utilisation des données que les méthodes classiques d'apprentissage supervisé et peut produire différents styles d'agents alignés sur divers objectifs simplement en modifiant les exemples inclus dans la prompt.
• Cependant, il y a encore certaines limites à cette approche qui nécessitent plus d'études futures.

Résumé: Il est difficile de trouver des récompenses pour apprendre aux machines comment se comporter. Mais on peut utiliser un programme appelé GPT-3 pour aider à créer des récompenses en langage naturel. Les gens donnent quelques exemples ou une description de ce qu'ils veulent que la machine fasse, et GPT-3 évalue si la machine a fait ce qu'on lui a demandé et donne une récompense. Cette méthode fonctionne mieux que d'autres méthodes d'apprentissage pour aider les machines à comprendre ce que nous voulons qu'elles fassent. Définitions: 1. Apprentissage par renforcement - Une méthode d'apprentissage où une machine apprend en recevant des récompenses ou des punitions pour ses actions. 2. Langage naturel - La façon dont les humains communiquent entre eux, comme parler ou écrire. 3. Modèle langagier - Un programme informatique qui peut comprendre et produire du langage naturel.

La conception de récompenses dans l'apprentissage par renforcement (RL) est difficile car spécifier les notions humaines de comportement souhaité peut être compliqué via des fonctions de récompense ou nécessiter beaucoup de démonstrations d'experts. Est-il possible de concevoir des récompenses à moindre coût en utilisant une interface de langage naturel? Cet article étudie comment simplifier la conception des récompenses en utilisant un grand modèle langagier (LLM) tel que GPT-3 comme fonction de récompense proxy, où l'utilisateur fournit une prompt textuelle contenant quelques exemples (few-shot) ou une description (zero-shot) du comportement souhaité. Notre approche exploite cette fonction de récompense proxy dans un cadre RL. Plus précisément, les utilisateurs spécifient une prompt au début de l'entraînement. Pendant l'entraînement, le LLM évalue le comportement d'un agent RL par rapport au comportement souhaité décrit par la prompt et produit un signal de récompense correspondant. L'agent RL utilise ensuite cette récompense pour mettre à jour son comportement. Nous avons évalué si notre approche pouvait former des agents alignés sur les objectifs des utilisateurs dans le jeu Ultimatum, les jeux matriciels et la tâche DealOrNoDeal. Dans ces trois tâches, nous avons montré que les agents RL formés avec notre cadre sont bien alignés sur les objectifs des utilisateurs et surpassent les agents RL formés avec des fonctions de récompense apprises via l'apprentissage supervisé. En outre, nous avons mené une analyse pour quantifier l'efficacité en termes d'utilisation des données et la conception optimale des prompts pour notre méthode.