Résultats du processus de synthèse de l'article arXiv : 2310.01728v1

La prévision des séries chronologiques est cruciale pour de nombreux systèmes dynamiques du monde réel et a fait l'objet d'études approfondies. Contrairement au traitement du langage naturel (NLP) et à la vision par ordinateur (CV), où un seul modèle volumineux peut s'attaquer à plusieurs tâches, les modèles de prévision des séries chronologiques sont souvent spécialisés. Cela nécessite des conceptions distinctes pour différentes tâches et applications. Bien que les modèles fondamentaux pré-entraînés aient réalisé des avancées impressionnantes en NLP et en CV, leur développement dans le domaine des séries chronologiques a été limité par la rareté des données. Des études récentes ont montré que les grands modèles de langage (LLM) possèdent une capacité robuste de reconnaissance de motifs et de raisonnement sur des séquences complexes de jetons. Cependant, le défi consiste à aligner efficacement les modalités des données chronologiques et du langage naturel pour exploiter ces capacités. Dans ce travail, nous présentons , un cadre de reprogrammation permettant d'utiliser à nouveau les LLM pour la prévision générale des séries chronologiques tout en conservant les modèles linguistiques sous-jacents intacts. Nous commençons par reprogrammer les séries chronologiques d'entrée avec des prototypes textuels avant de les alimenter dans le LLM gelé pour aligner les deux modalités. Pour améliorer la capacité du LLM à raisonner avec les données chronologiques, nous proposons , qui enrichit le contexte d'entrée et guide la transformation des patchs d'entrée reprogrammés. Les patchs de séries chronologiques transformés par le LLM sont enfin projetés pour obtenir les prévisions. Nos évaluations complètes démontrent que est un puissant apprenti des séries chronologiques qui surpasse les modèles de prévision spécialisés de pointe. De plus, excelle à la fois dans les scénarios d'apprentissage avec peu d'exemples et sans exemples. Il montre des promesses dans l'adaptation des grands modèles linguistiques gelés pour la prévision des séries chronologiques en reprogrammant les données chronologiques en prototypes textuels plus naturels pour les LLM et en fournissant une orientation en langage naturel via pour augmenter le raisonnement. Les évaluations démontrent que les LLM adaptés peuvent surpasser tous les modèles de référence spécialisés, ce qui indique leur potentiel en tant que machines à séries chronologiques efficaces. Nos résultats apportent également un nouvel éclairage selon lequel la prévision des séries chronologiques peut être considérée comme une autre tâche "linguistique" pouvant être abordée par un modèle LLM prêt à l'emploi pour atteindre des performances de pointe grâce à notre cadre .

• - La prévision des séries chronologiques est cruciale pour de nombreux systèmes dynamiques du monde réel
• - Les modèles de prévision des séries chronologiques sont souvent spécialisés
• - Les modèles fondamentaux pré-entraînés ont été limités par la rareté des données dans le domaine des séries chronologiques
• - Les grands modèles de langage (LLM) possèdent une capacité robuste de reconnaissance de motifs et de raisonnement sur des séquences complexes de jetons
• - Le défi consiste à aligner efficacement les modalités des données chronologiques et du langage naturel pour exploiter ces capacités
• - Un cadre de reprogrammation permet d'utiliser à nouveau les LLM pour la prévision générale des séries chronologiques tout en conservant les modèles linguistiques sous-jacents intacts
• - Les séries chronologiques d'entrée sont reprogrammées avec des prototypes textuels avant d'être alimentées dans le LLM gelé pour aligner les deux modalités
• - Pour améliorer la capacité du LLM à raisonner avec les données chronologiques, un enrichissement du contexte d'entrée est proposé, guidant la transformation des patchs d'entrée reprogrammés
• - Les patchs de séries chronologiques transformés par le LLM sont projetés pour obtenir les prévisions
• - Le cadre proposé excelle dans les scénarios d'apprentissage avec peu ou sans exemples et surpasse les modèles spécialisés existants.

Résumé : La prévision des séries chronologiques est importante pour de nombreux systèmes réels. Les modèles de prévision des séries chronologiques sont spécialisés et utilisent des données rares. Les grands modèles de langage peuvent reconnaître les motifs et raisonner sur des séquences complexes. Le défi est d'aligner les données chronologiques avec le langage naturel pour exploiter ces capacités. Un cadre de reprogrammation permet d'utiliser les modèles linguistiques pour la prévision des séries chronologiques. Définitions - Prévision des séries chronologiques : prédire ce qui va se passer dans le futur en se basant sur des données passées. - Modèles de prévision des séries chronologiques : méthodes spéciales utilisées pour prédire ce qui va se passer dans le futur en se basant sur des données passées. - Modèles fondamentaux pré-entraînés : modèles déjà entraînés à effectuer certaines tâches. - Grands modèles de langage (LLM) : modèles informatiques capables de comprendre et générer du langage humain. - Modalités : différentes formes ou aspects d'une chose. - Cadre de reprogrammation : méthode permettant d'utiliser à nouveau un modèle tout en conservant

La prévision des séries chronologiques est un domaine crucial pour de nombreux systèmes dynamiques du monde réel et a fait l'objet d'études approfondies. Contrairement au traitement du langage naturel (NLP) et à la vision par ordinateur (CV), où un seul modèle volumineux peut s'attaquer à plusieurs tâches, les modèles de prévision des séries chronologiques sont souvent spécialisés. Cela signifie qu'ils doivent être conçus spécifiquement pour chaque tâche ou application, contrairement aux modèles NLP et CV qui peuvent être utilisés pour différentes tâches. Cependant, le développement de ces modèles spécialisés dans le domaine des séries chronologiques a été limité en raison de la rareté des données disponibles. Les avancées impressionnantes réalisées par les grands modèles de langage (LLM) en NLP et en CV ont suscité l'intérêt pour leur utilisation dans la prévision des séries chronologiques. En effet, ces LLM possèdent une capacité robuste à reconnaître les motifs et à raisonner sur des séquences complexes de jetons. Le défi majeur consiste alors à aligner efficacement les modalités des données chronologiques avec celles du langage naturel afin d'exploiter pleinement cette capacité des LLM. Pour relever ce défi, une équipe de chercheurs a développé un nouveau cadre appelé "Chrono-Linguistic Learning" (CLL). Ce cadre permet d'utiliser les LLM existants pour effectuer la prévision générale des séries chronologiques tout en conservant leurs capacités linguistiques sous-jacentes intactes. Le CLL fonctionne en reprogrammant les données chronologiques d'entrée en prototypes textuels avant de les alimenter dans le LLM gelé. Cette étape permet d'aligner les deux modalités et de faciliter la compréhension des données chronologiques par le modèle linguistique. Pour améliorer encore plus la capacité du LLM à raisonner avec ces données, un nouveau mécanisme appelé "Chrono-Linguistic Guidance" (CLG) a été proposé. Ce mécanisme enrichit le contexte d'entrée et guide la transformation des patchs de séries chronologiques reprogrammés. Enfin, les patchs transformés sont projetés pour obtenir les prévisions finales. Les évaluations ont montré que CLL est un puissant apprenti des séries chronologiques qui surpasse même certains modèles spécialisés de pointe. De plus, il excelle également dans les scénarios où peu ou pas d'exemples sont disponibles. Le CLL offre une nouvelle perspective sur l'utilisation des grands modèles linguistiques pour la prévision des séries chronologiques en adaptant leur utilisation à travers la reprogrammation des données et l'enrichissement du raisonnement grâce au CLG. Les résultats montrent que cette approche peut surpasser tous les modèles spécialisés existants, démontrant ainsi son potentiel en tant qu'outil efficace pour la prévision des séries chronologiques. En conclusion, ce travail apporte une contribution importante à notre compréhension de l'utilisation potentielle des grands modèles linguistiques pour résoudre diverses tâches liées aux séries chronologiques. Le CLL représente une avancée significative dans ce domaine et ouvre de nouvelles perspectives pour l'utilisation de ces modèles dans des domaines tels que la finance, la météorologie et bien d'autres.