Pose2Seg: Detection Free Human Instance Segmentation

Mots clés générés par l'IA : Segmentation d'instance Pose humaine Occlusion OCHuman Apprentissage profond

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

Le standard pour la segmentation d'instances d'images consiste à effectuer d'abord la détection d'objets, puis à segmenter l'objet à partir de la boîte englobante de détection.
Des méthodes plus récentes comme Mask R-CNN les effectuent conjointement.
Peu de recherches prennent en compte l'unicité de la catégorie "humaine", qui peut être bien définie par le squelette de pose.
Le squelette de pose humaine peut être utilisé pour mieux distinguer les instances avec une forte occlusion que lorsque seules des boîtes englobantes sont utilisées.
Un tout nouveau cadre de segmentation d'instances basé sur la pose pour les humains sépare les instances en fonction de la pose humaine plutôt que par la simple détection des régions proposées.
Ce cadre basé sur la pose atteint une meilleure précision que l’approche basée sur la détection à pointe technologique sur le problème de segmentation instance humaine et qu’il est également capable de mieux gérer l’occlusion.
Il existe peu d’ensembles publics contenant beaucoup d’humains fortement occultés avec des annotations complètes ce qui rend ce problème rarement remarquable par les chercheurs.
Un nouvel ensemble appelé « Occluded Human (OCHuman) » est introduit, qui se concentre sur les humains occultés avec des annotations complètes comprenant des boîtes englobantes et une pose humaine ainsi que des masques instance.
Cet ensemble contient 8110 instances annotées en détail sur 4731 images et offre une moyenne MaxIoU 0.67 pour chaque personne ce qui en fait l’ensemble le plus complexe et difficile liée à la segmentation instance humaine jamais crée.
Avec OCHuman, l'occlusion est soulignée comme étant un problème difficile à étudier pour les chercheurs.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Song-Hai Zhang, Ruilong Li, Xin Dong, Paul L. Rosin, Zixi Cai, Han Xi, Dingcheng Yang, Hao-Zhi Huang, Shi-Min Hu

CVPR 2019

arXiv: 1803.10683v3 - DOI (cs.CV)

8 pages

Licence : NONEXCLUSIVE-DISTRIB 1.0

Résumé : The standard approach to image instance segmentation is to perform the object detection first, and then segment the object from the detection bounding-box. More recently, deep learning methods like Mask R-CNN perform them jointly. However, little research takes into account the uniqueness of the "human" category, which can be well defined by the pose skeleton. Moreover, the human pose skeleton can be used to better distinguish instances with heavy occlusion than using bounding-boxes. In this paper, we present a brand new pose-based instance segmentation framework for humans which separates instances based on human pose, rather than proposal region detection. We demonstrate that our pose-based framework can achieve better accuracy than the state-of-art detection-based approach on the human instance segmentation problem, and can moreover better handle occlusion. Furthermore, there are few public datasets containing many heavily occluded humans along with comprehensive annotations, which makes this a challenging problem seldom noticed by researchers. Therefore, in this paper we introduce a new benchmark "Occluded Human (OCHuman)", which focuses on occluded humans with comprehensive annotations including bounding-box, human pose and instance masks. This dataset contains 8110 detailed annotated human instances within 4731 images. With an average 0.67 MaxIoU for each person, OCHuman is the most complex and challenging dataset related to human instance segmentation. Through this dataset, we want to emphasize occlusion as a challenging problem for researchers to study.

Soumis à arXiv le 28 Mar. 2018

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 1803.10683v3

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Le standard pour la segmentation d'instances d'images consiste à effectuer d'abord la détection d'objets, puis à segmenter l'objet à partir de la boîte englobante de détection. Plus récemment, des méthodes d'apprentissage profond comme Mask R-CNN les effectuent conjointement. Cependant, peu de recherches prennent en compte l'unicité de la catégorie "humaine", qui peut être bien définie par le squelette de pose. De plus, le squelette de pose humaine peut être utilisé pour mieux distinguer les instances avec une forte occlusion que lorsque seules des boîtes englobantes sont utilisées. Dans cet article, nous présentons un tout nouveau cadre de segmentation d'instances basé sur la pose pour les humains qui sépare les instances en fonction de la pose humaine plutôt que par la simple détection des régions proposées. Nous montrons que notre cadre basé sur la pose peut atteindre une meilleure précision que l’approche basée sur la détection à pointe technologique sur le problème de segmentation instance humaine et qu’il est également capable de mieux gérer l’occlusion. De plus, il existe peu d’ensembles publics contenant beaucoup d’humains fortement occultés avec des annotations complètes ce qui rend ce problème rarement remarquable par les chercheurs. Par conséquent, nous introduisons un nouvel ensemble appelée « Occluded Human (OCHuman) » qui se concentre sur les humains occultés avec des annotations complètes comprenant des boîtes englobantes et une pose humaine ainsi que des masques instance. Cet ensemble contient 8110 instances annotées en détail sur 4731 images et offre une moyenne MaxIoU 0.67 pour chaque personne ce qui en fait l’ensemble le plus complexe et difficile liée à la segmentation instance humaine jamais crée. Avec OCHuman nous voulons souligner l’occlusion comme étant un problème difficile à étudier pour les chercheurs.

- Le standard pour la segmentation d'instances d'images consiste à effectuer d'abord la détection d'objets, puis à segmenter l'objet à partir de la boîte englobante de détection.
- Des méthodes plus récentes comme Mask R-CNN les effectuent conjointement.
- Peu de recherches prennent en compte l'unicité de la catégorie "humaine", qui peut être bien définie par le squelette de pose.
- Le squelette de pose humaine peut être utilisé pour mieux distinguer les instances avec une forte occlusion que lorsque seules des boîtes englobantes sont utilisées.
- Un tout nouveau cadre de segmentation d'instances basé sur la pose pour les humains sépare les instances en fonction de la pose humaine plutôt que par la simple détection des régions proposées.
- Ce cadre basé sur la pose atteint une meilleure précision que l’approche basée sur la détection à pointe technologique sur le problème de segmentation instance humaine et qu’il est également capable de mieux gérer l’occlusion.
- Il existe peu d’ensembles publics contenant beaucoup d’humains fortement occultés avec des annotations complètes ce qui rend ce problème rarement remarquable par les chercheurs.
- Un nouvel ensemble appelé « Occluded Human (OCHuman) » est introduit, qui se concentre sur les humains occultés avec des annotations complètes comprenant des boîtes englobantes et une pose humaine ainsi que des masques instance.
- Cet ensemble contient 8110 instances annotées en détail sur 4731 images et offre une moyenne MaxIoU 0.67 pour chaque personne ce qui en fait l’ensemble le plus complexe et difficile liée à la segmentation instance humaine jamais crée.
- Avec OCHuman, l'occlusion est soulignée comme étant un problème difficile à étudier pour les chercheurs.

Résumé: Il existe une méthode pour séparer les objets dans les images en utilisant des boîtes englobantes, mais une nouvelle méthode basée sur la pose humaine est plus précise et peut mieux gérer l'occlusion. Cependant, il y a peu de recherches sur la catégorie "humaine" et il n'y a pas beaucoup d'ensembles de données publics avec des annotations complètes pour étudier ce problème. Un nouvel ensemble appelé OCHuman a été créé pour aider à résoudre ce problème. Définitions- Segmentation d'instances: processus de séparation des différents objets dans une image. - Détection d'objets: processus de localisation d'un objet spécifique dans une image. - Boîte englobante: rectangle qui encadre un objet détecté. - Pose humaine: position du corps humain dans une image. - Occlusion: lorsque certains objets ou parties d'objets sont cachés par d'autres objets dans une image.

Le standard pour la segmentation d'instances d'images

La segmentation d'instances est une tâche importante en traitement d'image qui consiste à séparer les objets individuels des images. Le standard pour cette tâche consiste à effectuer d’abord la détection des objets, puis à segmenter l’objet à partir de la boîte englobante de détection. Cependant, peu de recherches prennent en compte l’unicité de la catégorie «humaine», qui peut être bien définie par le squelette de pose. De plus, le squelette de pose humaine peut être utilisé pour mieux distinguer les instances avec une forte occlusion que lorsque seules des boîtes englobantes sont utilisées.

Une nouvelle approche basée sur la pose

Dans cet article, nous présentons un tout nouveau cadre de segmentation instance basé sur la pose pour les humains qui sépare les instances en fonction du squelette plutôt que par simplement detecter les régions proposés. Notre cadre basé sur la pose est capable non seulement atteindre une meilleure précision que l’approche basée sur la detection pointue technologique sur le problème de segmentation instance humaine mais aussi gère mieux l’occlusion.

Un ensemble public Occluded Human (OCHuman)

Il existe très peu d'ensembles publics contenant beaucoup d'humains fortement occultés avec des annotations complètes ce qui rend ce problème rarement remarquable par les chercheurs. Par conséquent, nous introduisons un nouvel ensemble appelée «Occluded Human (OCHuman)» qui se concentre spécifiquement sur les humains occultés avec des annotations complètes comprenant des boîtes englobantes et une pose humaine ainsi que des masques instance. Cet ensemble contient 8110 instances annotés en détail sur 4731 images et offre une moyenne MaxIoU 0.67 pour chaque personne ce qui en fait l’ensemble le plus complexe et difficile liée à la segmentation instance humaine jamais crée . Avec OCHuman nous voulons souligner l’occlusion comme étant un problème difficile à étudier pour les chercheurs.

Conclusion

En conclusion, cet article propose un cadre innovateur basé sur la pose pour résoudre le probléme complexe et difficile liée àla segmentation instance humainesavec occulusions forts . En outres , il introduit également un ensemble public Occulded Human(OCHuman)pour encourager plusde recherches autour du sujet

Créé le 26 Avr. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.