Learning Discrete Directed Acyclic Graphs via Backpropagation
Auteurs : Andrew J. Wren, Pasquale Minervini, Luca Franceschi, Valentina Zantedeschi
Points clés générés par l'IA
- Des techniques de rétropropagation entièrement discrètes ont été proposées pour apprendre des graphes acycliques dirigés (DAG) à partir de données.
- DAG-DB est un cadre pour apprendre des DAG par rétropropagation discrète.
- DAG-DB adopte une approche probabiliste en échantillonnant des matrices d'adjacence binaires à partir d'une distribution de probabilité implicite.
- Elle utilise les techniques de rétropropagation entièrement discrètes I-MLE et l'estimation Straight-Through (SFE).
- Les résultats montrent que pour les données linéaires, DAG-DB est supérieure aux méthodes combinatoires testées ici.
- Elle peut également s’adapter aux données générées par des modèles non linéaires ainsi qu’aux données discrètes ou aux modèles causaux.
- Des recherches futures peuvent explorer son potentiel dans différents domaines tels que la biologie systémique et la reconnaissance automatique d'image médicale.
Résumé : Recently continuous relaxations have been proposed in order to learn Directed Acyclic Graphs (DAGs) from data by backpropagation, instead of using combinatorial optimization. However, a number of techniques for fully discrete backpropagation could instead be applied. In this paper, we explore that direction and propose DAG-DB, a framework for learning DAGs by Discrete Backpropagation. Based on the architecture of Implicit Maximum Likelihood Estimation [I-MLE, arXiv:2106.01798], DAG-DB adopts a probabilistic approach to the problem, sampling binary adjacency matrices from an implicit probability distribution. DAG-DB learns a parameter for the distribution from the loss incurred by each sample, performing competitively using either of two fully discrete backpropagation techniques, namely I-MLE and Straight-Through Estimation.
Outils pour cet article
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
Nous comparons le titre et le résumé avec les articles indexés dans notre base. Pour les articles arXiv, la recherche porte sur la même catégorie ; pour les DOI et les autres sources, elle couvre toutes les sources et disciplines. Vous pouvez la relancer à mesure que notre base s’enrichit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.