Generative Semantic Segmentation

Mots clés générés par l'IA : GSS segmentation sémantique masques conditionnés distribution postérieure modèles génératifs

Points clés générés par l'IA

  • Generative Semantic Segmentation (GSS) est une approche d'apprentissage génératif pour la segmentation sémantique
  • La segmentation sémantique est considérée comme un problème de génération de masques conditionnés à l'image
  • L'apprentissage discriminatif pixel par pixel conventionnel est remplacé par un processus d'apprentissage préalable latent
  • Le masque de segmentation est exprimé avec un type spécial d'image appelée maskige
  • Des expériences montrent que GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique et atteindre un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
  • Les contributions principales sont :
  • proposer une approche GSS qui reformule la segmentation sémantique comme un problème de génération de masques conditionnés à l'image
  • réaliser un modèle GSS dans un cadre établi de génération d'images conditionnelles avec des modifications minimales d'architecture et fonction perte spécifiques à la tâche tout en exploitant pleinement les connaissances des modèles génératifs disponibles
  • montrer que GSS est compétitif par rapport aux modèles existants dans le cadre standard et atteint un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Jiaqi Chen, Jiachen Lu, Xiatian Zhu, Li Zhang

To appear at CVPR2023, code at http://github.com/fudan-zvg/GSS
Licence : CC BY 4.0

Résumé : We present Generative Semantic Segmentation (GSS), a generative learning approach for semantic segmentation. Uniquely, we cast semantic segmentation as an image-conditioned mask generation problem. This is achieved by replacing the conventional per-pixel discriminative learning with a latent prior learning process. Specifically, we model the variational posterior distribution of latent variables given the segmentation mask. To that end, the segmentation mask is expressed with a special type of image (dubbed as maskige). This posterior distribution allows to generate segmentation masks unconditionally. To achieve semantic segmentation on a given image, we further introduce a conditioning network. It is optimized by minimizing the divergence between the posterior distribution of maskige (i.e., segmentation masks) and the latent prior distribution of input training images. Extensive experiments on standard benchmarks show that our GSS can perform competitively to prior art alternatives in the standard semantic segmentation setting, whilst achieving a new state of the art in the more challenging cross-domain setting.

Soumis à arXiv le 20 Mar. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2303.11316v1

Nous présentons Generative Semantic Segmentation (GSS), une approche d'apprentissage génératif pour la segmentation sémantique. De manière unique, nous considérons la segmentation sémantique comme un problème de génération de masques conditionnés à l'image. Cela est réalisé en remplaçant l'apprentissage discriminatif pixel par pixel conventionnel par un processus d'apprentissage préalable latent. Plus précisément, nous modélisons la distribution postérieure variationnelle des variables latentes donnée le masque de segmentation. À cette fin, le masque de segmentation est exprimée avec un type spécial d'image (appelée maskige). Cette distribution postérieure permet de générer des masques de segmentation sans condition. Pour réaliser la segmentation sémantique sur une image donnée, nous introduisons également un réseau de conditionnement qui est optimisée en minimisant la divergence entre la distribution postérionere du maskige (c'est-à-dire les masques de segmentation) et la distribution prétale latente des images d'entraînement d'entrée. Des expérriences approfondies sur des benchmarks standard montrent que notre GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique tout en atteignant un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisée. Les contributions principales sont les suivantes : (i) Nous proposons une approche Generative Semantic Segmentation qui reformule la segmentation sêmantique comme un problème de génértion de masques conditionnés à l'image. Cela représente un changement conceptuel par rapport au paradigme conventionnel baser sur l'apprentissage discriminatif ; (ii) Nous réalisons un modèle GSS dans un cadre établi de génértion d'images conditionnelles avec un besoin minimal modifications darchitecture et fonction perte spêcifiques à ta tâche tout en exploitants pleinement les connaissances des modèles génératives disponibles ; (iii) Des expérriences approfondies sur plusieurs benchmarks désegmentations sêmantiqur montrent que notre GSS est compétitif par rapport aux modèles existants dan sle cadres standard tout en atteignant un nouvel état délart dan sle cadres plus difficile et pratiques du domaine croisée (par exemple MSeg [26]). En ce qui concerne les travaux connexes depuis crêations FCN [32],la segmenrtationsêmatiqueprospère grâce à divers réseaux neuronaux profonds capables déclasser chaque pixel.
Créé le 02 Mai. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

Articles similaires résumés avec nos outils d'IA

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.