Résultats du processus de synthèse de l'article arXiv : 2507.22045v1

Les modèles d'apprentissage profond en temps continu, tels que les équations différentielles ordinaires neuronales (ODE), offrent un cadre prometteur pour la modélisation de substitution de systèmes physiques complexes. Un défi central dans l'apprentissage de ces modèles réside dans l'apprentissage de poids variant dans le temps expressifs mais stables, notamment sous contraintes computationnelles. Ce travail explore des stratégies de paramétrisation des poids qui contraignent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales. Nous évaluons à la fois les bases polynomiales monomiales et Legendre au sein des architectures ODE neuronales et des réseaux résiduels (ResNet) selon les paradigmes d'entraînement discretiser-puis-optimiser et optimiser-puis-discretiser. Les résultats expérimentaux sur trois problèmes benchmarks haute dimension montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints. Ces conclusions mettent en lumière le rôle du choix de la base dans la paramétrisation temporelle des poids et démontrent que l'utilisation de bases polynomiales orthogonales offre un compromis favorable entre expressivité du modèle et efficacité d'entraînement. Ce travail est partiellement soutenu par le Laboratoire National Sandia Directed Research and Development (LDRD) sous contrat DE-AC04-94AL85000.

• Les modèles d'apprentissage profond en temps continu, comme les équations différentielles ordinaires neuronales (ODE), sont prometteurs pour la modélisation de systèmes physiques complexes.
• Un défi majeur est l'apprentissage de poids variant dans le temps expressifs mais stables, surtout sous contraintes computationnelles.
• Ce travail explore des stratégies de paramétrisation des poids qui limitent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales.
• Les expériences montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints.
• Le choix de la base dans la paramétrisation temporelle des poids est crucial, et l'utilisation de bases polynomiales orthogonales offre un bon compromis entre expressivité du modèle et efficacité d'entraînement.

SummaryDeep learning models that deal with continuous time, like neural ordinary differential equations (ODE), are good at understanding complicated physical systems. One big challenge is to make sure that the weights in these models can change over time in a way that is both expressive and stable, especially when considering computational limits. This study looks into ways to set up the weights so that they only change within a smaller space defined by polynomial base functions, which helps keep them stable over time. The experiments show that using Legendre parameterizations for the weights leads to more stable training dynamics, reduces computational costs, and achieves similar or better accuracy compared to other methods. Choosing the right base for setting up the weights over time is very important, and using orthogonal polynomial bases strikes a good balance between model expressiveness and training efficiency. Definitions- Deep learning: A type of machine learning where algorithms try to mimic how humans learn and understand things. - Continuous time: Refers to events or changes happening smoothly without interruption. - Neural ordinary differential equations (ODE): Equations used in deep learning models to describe how variables change continuously based on their current state. - Expressive: Able to convey ideas or information effectively. - Stable: Firmly established and not likely to change suddenly or fall apart. - Computational: Related to computers and how they process information efficiently. - Parameterization: Setting up parameters or values within a system according to certain rules or constraints. - Dimension: The number of directions needed to specify something's location in space.

Les modèles d'apprentissage profond en temps continu, tels que les équations différentielles ordinaires neuronales (ODE), sont de plus en plus utilisés pour la modélisation de systèmes physiques complexes. Cependant, un défi majeur dans l'utilisation de ces modèles réside dans l'apprentissage de poids variant dans le temps qui soient à la fois expressifs et stables, tout en respectant des contraintes computationnelles. Dans cette étude, les auteurs explorent différentes stratégies pour paramétriser ces poids afin de limiter leur évolution temporelle à un sous-espace de dimension réduite généré par des fonctions polynomiales. Plus précisément, ils comparent l'utilisation des bases polynomiales monomiales et Legendre au sein des architectures ODE neuronales et des réseaux résiduels (ResNet) selon deux approches d'entraînement : discrétiser-puis-optimiser et optimiser-puis-discretiser. Les résultats expérimentaux sur trois problèmes benchmarks haute dimension montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles avec poids non contraints. Ces conclusions soulignent l'importance du choix de la base pour la paramétrisation temporelle des poids et démontrent que l'utilisation de bases polynomiales orthogonales offre un bon compromis entre expressivité du modèle et efficacité d'entraînement. Ce travail a été partiellement soutenu par le Laboratoire National Sandia Directed Research and Development (LDRD) sous contrat DE-AC04-94AL85000. En utilisant des techniques de paramétrisation efficaces, cette recherche contribue à l'amélioration des modèles d'apprentissage profond en temps continu et ouvre de nouvelles perspectives pour la modélisation de systèmes physiques complexes.