Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling

Mots clés générés par l'IA : Apprentissage profond équations différentielles ordinaires neuronales modélisation de substitution poids variant dans le temps bases polynomiales

Points clés générés par l'IA

  • Les modèles d'apprentissage profond en temps continu, comme les équations différentielles ordinaires neuronales (ODE), sont prometteurs pour la modélisation de systèmes physiques complexes.
  • Un défi majeur est l'apprentissage de poids variant dans le temps expressifs mais stables, surtout sous contraintes computationnelles.
  • Ce travail explore des stratégies de paramétrisation des poids qui limitent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales.
  • Les expériences montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints.
  • Le choix de la base dans la paramétrisation temporelle des poids est crucial, et l'utilisation de bases polynomiales orthogonales offre un bon compromis entre expressivité du modèle et efficacité d'entraînement.
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Haley Rosso, Lars Ruthotto, Khachik Sargsyan

34 pages, 6 figures, submitted to the MoRE24 special issue of Computational Science and Engineering
Licence : CC BY 4.0

Résumé : Continuous-time deep learning models, such as neural ordinary differential equations (ODEs), offer a promising framework for surrogate modeling of complex physical systems. A central challenge in training these models lies in learning expressive yet stable time-varying weights, particularly under computational constraints. This work investigates weight parameterization strategies that constrain the temporal evolution of weights to a low-dimensional subspace spanned by polynomial basis functions. We evaluate both monomial and Legendre polynomial bases within neural ODE and residual network (ResNet) architectures under discretize-then-optimize and optimize-then-discretize training paradigms. Experimental results across three high-dimensional benchmark problems show that Legendre parameterizations yield more stable training dynamics, reduce computational cost, and achieve accuracy comparable to or better than both monomial parameterizations and unconstrained weight models. These findings elucidate the role of basis choice in time-dependent weight parameterization and demonstrate that using orthogonal polynomial bases offers a favorable tradeoff between model expressivity and training efficiency.

Soumis à arXiv le 29 Jul. 2025

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2507.22045v1

Les modèles d'apprentissage profond en temps continu, tels que les équations différentielles ordinaires neuronales (ODE), offrent un cadre prometteur pour la modélisation de substitution de systèmes physiques complexes. Un défi central dans l'apprentissage de ces modèles réside dans l'apprentissage de poids variant dans le temps expressifs mais stables, notamment sous contraintes computationnelles. Ce travail explore des stratégies de paramétrisation des poids qui contraignent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales. Nous évaluons à la fois les bases polynomiales monomiales et Legendre au sein des architectures ODE neuronales et des réseaux résiduels (ResNet) selon les paradigmes d'entraînement discretiser-puis-optimiser et optimiser-puis-discretiser. Les résultats expérimentaux sur trois problèmes benchmarks haute dimension montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints. Ces conclusions mettent en lumière le rôle du choix de la base dans la paramétrisation temporelle des poids et démontrent que l'utilisation de bases polynomiales orthogonales offre un compromis favorable entre expressivité du modèle et efficacité d'entraînement. Ce travail est partiellement soutenu par le Laboratoire National Sandia Directed Research and Development (LDRD) sous contrat DE-AC04-94AL85000.
Créé le 30 Jul. 2025

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Articles similaires résumés avec nos outils d'IA

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.