Le champ vectoriel d'une équation différentielle contrôlée (CDE) décrit la relation entre un chemin de contrôle et l'évolution d'un chemin de solution. Les équations différentielles contrôlées neuronales (NCDE) traitent les données de séries temporelles comme des observations d'un chemin de contrôle, paramétrisent le champ vectoriel d'une CDE en utilisant un réseau neuronal, et utilisent le chemin de solution comme un état caché en évolution continue. Leur formulation les rend robustes aux taux d'échantillonnage irréguliers, ce qui en fait une approche puissante pour modéliser des données du monde réel. S'appuyant sur les équations différentielles rugueuses neuronales (NRDE), nous introduisons les Log-NCDEs, une méthode novatrice et efficace pour entraîner les NCDEs. Le composant central des Log-NCDEs est la méthode Log-ODE, un outil issu de l'étude des chemins rugueux permettant d'approximer la solution d'une CDE. Sur une gamme de benchmarks de classification multivariée de séries temporelles, il est démontré que les Log-NCDEs atteignent une précision moyenne plus élevée sur l'ensemble de test que les NCDEs, NRDEs et deux modèles à la pointe de la technologie : S5 et l'unité récurrente linéaire. La Figure 1 présente un diagramme schématique d'un Log-NCDE. Les cercles colorés représentant les observations de données sont des échantillons irréguliers issus d'une série temporelle. La ligne violette représentant la réponse du système est une étiquette potentiellement variable dans le temps que l'on souhaite prédire. Le logarithme-signature des observations de données est pris sur chaque intervalle [ri, ri+1], puis combiné avec les crochets itérés de Lie de fθ pour produire un champ vectoriel. Un solveur d'équations différentielles est utilisé pour déplacer l'état caché le long du champ vectoriel et une application linéaire lψ donne la prédiction du Log-NCDEs. Enfin, une fonction de perte L(·,·) est utilisée pour mettre à jour les paramètres fθ. En résumé, cette étude propose une approche innovante pour entraîner des NCDEs appelée Log-NCDEs qui se montre plus performante que plusieurs autres modèles sur divers benchmarks en matière de classification multivariée des séries temporelles.
- - Le champ vectoriel d'une équation différentielle contrôlée décrit la relation entre un chemin de contrôle et l'évolution d'un chemin de solution.
- - Les équations différentielles contrôlées neuronales traitent les données de séries temporelles comme des observations d'un chemin de contrôle, paramétrisent le champ vectoriel d'une CDE en utilisant un réseau neuronal, et utilisent le chemin de solution comme un état caché en évolution continue.
- - Les Log-NCDEs sont une méthode novatrice et efficace pour entraîner les NCDEs, basée sur la méthode Log-ODE issue de l'étude des chemins rugueux permettant d'approximer la solution d'une CDE.
- - Les Log-NCDEs atteignent une précision moyenne plus élevée sur l'ensemble de test que les NCDEs, NRDEs et deux modèles à la pointe de la technologie : S5 et l'unité récurrente linéaire.
Summary1. A vector field in a controlled differential equation shows how a control path is related to the evolution of a solution path.
2. Controlled neural differential equations use time series data as observations of a control path, parameterize the vector field of a CDE using a neural network, and use the solution path as an evolving hidden state.
3. Log-NCDEs are an innovative and efficient method for training NCDEs, based on Log-ODE method from studying rough paths to approximate the solution of a CDE.
4. Log-NCDEs achieve higher average accuracy on the test set than NCDEs, NRDEs, and two state-of-the-art models: S5 and linear recurrent unit.
Definitions1. Vector field: A way to describe how things change in space or time by assigning vectors to points.
2. Differential equation: An equation that describes how one or more functions change over time or space.
3. Neural network: A computer system modeled after the human brain that can learn patterns from data.
4. Hidden state: Information that is not directly observable but influences the output of a system.
5. Accuracy: How close something is to being correct or true.
Résumé 1. Un champ vectoriel dans une équation différentielle contrôlée montre comment un chemin de contrôle est lié à l'évolution d'un chemin de solution.
2. Les équations différentielles contrôlées neuron
Le champ vectoriel d'une équation différentielle contrôlée (CDE) décrit la relation entre un chemin de contrôle et l'évolution d'un chemin de solution. Les équations différentielles contrôlées neuronales (NCDE) traitent les données de séries temporelles comme des observations d'un chemin de contrôle, paramétrisent le champ vectoriel d'une CDE en utilisant un réseau neuronal, et utilisent le chemin de solution comme un état caché en évolution continue. Cette approche est particulièrement utile pour modéliser des données du monde réel car elle est robuste aux taux d'échantillonnage irréguliers.
Dans cette étude, nous nous intéressons plus spécifiquement aux équations différentielles rugueuses neuronales (NRDE) et introduisons une méthode novatrice appelée Log-NCDEs pour entraîner les NCDEs. Le composant central des Log-NCDEs est la méthode Log-ODE, qui utilise les chemins rugueux pour approximer la solution d'une CDE. Cette méthode s'est avérée efficace sur une gamme de benchmarks de classification multivariée de séries temporelles.
Pour mieux comprendre le fonctionnement des Log-NCDEs, regardons le diagramme schématique présenté dans la Figure 1. Les cercles colorés représentent les observations de données provenant d'une série temporelle avec des échantillons irréguliers. La ligne violette représente la réponse du système que l'on souhaite prédire et qui peut varier dans le temps. Pour entraîner notre modèle, nous prenons le logarithme-signature des observations sur chaque intervalle [ri, ri+1] et les combinons avec les crochets itérés de Lie de fθ pour créer un champ vectoriel. Ensuite, nous utilisons un solveur d'équations différentielles pour déplacer l'état caché le long de ce champ vectoriel et une application linéaire lψ pour prédire la réponse du système. Enfin, une fonction de perte L(·,·) est utilisée pour mettre à jour les paramètres fθ.
Les résultats obtenus ont montré que les Log-NCDEs surpassent plusieurs autres modèles tels que les NCDEs, NRDEs et deux modèles à la pointe de la technologie : S5 et l'unité récurrente linéaire en termes de précision moyenne sur l'ensemble de test. Cela confirme l'efficacité des Log-NCDEs dans la classification multivariée des séries temporelles.
En résumé, cette étude propose une approche novatrice pour entraîner des NCDEs appelée Log-NCDEs qui s'est avérée plus performante que plusieurs autres modèles sur divers benchmarks en matière de classification multivariée des séries temporelles. Cette méthode utilise le logarithme-signature et les crochets itérés de Lie pour créer un champ vectoriel robuste aux taux d'échantillonnage irréguliers, ce qui en fait une approche puissante pour modéliser des données du monde réel.