Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling
Points clés générés par l'IA
- Les modèles d'apprentissage profond en temps continu, comme les équations différentielles ordinaires neuronales (ODE), sont prometteurs pour la modélisation de systèmes physiques complexes.
- Un défi majeur est l'apprentissage de poids variant dans le temps expressifs mais stables, surtout sous contraintes computationnelles.
- Ce travail explore des stratégies de paramétrisation des poids qui limitent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales.
- Les expériences montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints.
- Le choix de la base dans la paramétrisation temporelle des poids est crucial, et l'utilisation de bases polynomiales orthogonales offre un bon compromis entre expressivité du modèle et efficacité d'entraînement.
Auteurs : Haley Rosso, Lars Ruthotto, Khachik Sargsyan
Résumé : Continuous-time deep learning models, such as neural ordinary differential equations (ODEs), offer a promising framework for surrogate modeling of complex physical systems. A central challenge in training these models lies in learning expressive yet stable time-varying weights, particularly under computational constraints. This work investigates weight parameterization strategies that constrain the temporal evolution of weights to a low-dimensional subspace spanned by polynomial basis functions. We evaluate both monomial and Legendre polynomial bases within neural ODE and residual network (ResNet) architectures under discretize-then-optimize and optimize-then-discretize training paradigms. Experimental results across three high-dimensional benchmark problems show that Legendre parameterizations yield more stable training dynamics, reduce computational cost, and achieve accuracy comparable to or better than both monomial parameterizations and unconstrained weight models. These findings elucidate the role of basis choice in time-dependent weight parameterization and demonstrate that using orthogonal polynomial bases offers a favorable tradeoff between model expressivity and training efficiency.
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.