Generative Semantic Segmentation
Points clés générés par l'IA
- Generative Semantic Segmentation (GSS) est une approche d'apprentissage génératif pour la segmentation sémantique
- La segmentation sémantique est considérée comme un problème de génération de masques conditionnés à l'image
- L'apprentissage discriminatif pixel par pixel conventionnel est remplacé par un processus d'apprentissage préalable latent
- Le masque de segmentation est exprimé avec un type spécial d'image appelée maskige
- Des expériences montrent que GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique et atteindre un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
- Les contributions principales sont :
- proposer une approche GSS qui reformule la segmentation sémantique comme un problème de génération de masques conditionnés à l'image
- réaliser un modèle GSS dans un cadre établi de génération d'images conditionnelles avec des modifications minimales d'architecture et fonction perte spécifiques à la tâche tout en exploitant pleinement les connaissances des modèles génératifs disponibles
- montrer que GSS est compétitif par rapport aux modèles existants dans le cadre standard et atteint un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
Auteurs : Jiaqi Chen, Jiachen Lu, Xiatian Zhu, Li Zhang
Résumé : We present Generative Semantic Segmentation (GSS), a generative learning approach for semantic segmentation. Uniquely, we cast semantic segmentation as an image-conditioned mask generation problem. This is achieved by replacing the conventional per-pixel discriminative learning with a latent prior learning process. Specifically, we model the variational posterior distribution of latent variables given the segmentation mask. To that end, the segmentation mask is expressed with a special type of image (dubbed as maskige). This posterior distribution allows to generate segmentation masks unconditionally. To achieve semantic segmentation on a given image, we further introduce a conditioning network. It is optimized by minimizing the divergence between the posterior distribution of maskige (i.e., segmentation masks) and the latent prior distribution of input training images. Extensive experiments on standard benchmarks show that our GSS can perform competitively to prior art alternatives in the standard semantic segmentation setting, whilst achieving a new state of the art in the more challenging cross-domain setting.
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Évaluez la qualité du contenu généré par l'IA en votant
Note : 0
Pourquoi avons-nous besoin de votes ?
Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.
Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.