SkyEye: Self-Supervised Bird's-Eye-View Semantic Mapping Using Monocular Frontal View Images

Mots clés générés par l'IA : Auto-supervision Carte sémantique BEV Séquences vidéo Supervision implicite Supervision explicite

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

Les cartes sémantiques en vue aérienne (BEV) sont essentielles pour la conduite automatisée.
Les approches existantes pour générer ces cartes nécessitent beaucoup de données BEV annotées.
Une nouvelle approche auto-supervisée est proposée pour générer une carte sémantique BEV à partir d'une seule image monoculaire en vue frontale (FV).
L'architecture SkyEye utilise deux modes d'auto-supervision : la supervision implicite et la supervision explicite.
Des évaluations sur l'ensemble de donnée KITTI-360 montrent que cette approche fonctionne au même niveau que les méthodes entièrement supervisées, avec seulement 1% des annotations directes dans le BEV par rapport aux autres approches.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Nikhil Gosala, Kürsat Petek, Paulo L. J. Drews-Jr, Wolfram Burgard, Abhinav Valada

arXiv: 2302.04233v1 - DOI (cs.CV)

14 pages, 7 figures

Licence : NONEXCLUSIVE-DISTRIB 1.0

Résumé : Bird's-Eye-View (BEV) semantic maps have become an essential component of automated driving pipelines due to the rich representation they provide for decision-making tasks. However, existing approaches for generating these maps still follow a fully supervised training paradigm and hence rely on large amounts of annotated BEV data. In this work, we address this limitation by proposing the first self-supervised approach for generating a BEV semantic map using a single monocular image from the frontal view (FV). During training, we overcome the need for BEV ground truth annotations by leveraging the more easily available FV semantic annotations of video sequences. Thus, we propose the SkyEye architecture that learns based on two modes of self-supervision, namely, implicit supervision and explicit supervision. Implicit supervision trains the model by enforcing spatial consistency of the scene over time based on FV semantic sequences, while explicit supervision exploits BEV pseudolabels generated from FV semantic annotations and self-supervised depth estimates. Extensive evaluations on the KITTI-360 dataset demonstrate that our self-supervised approach performs on par with the state-of-the-art fully supervised methods and achieves competitive results using only 1% of direct supervision in the BEV compared to fully supervised approaches. Finally, we publicly release both our code and the BEV datasets generated from the KITTI-360 and Waymo datasets.

Soumis à arXiv le 08 Fév. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2302.04233v1

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Les cartes sémantiques en vue aérienne (BEV) sont devenues un composant essentiel des pipelines de conduite automatisée en raison de la représentation riche qu'elles fournissent pour les tâches de prise de décision. Cependant, les approches existantes pour générer ces cartes suivent toujours un paradigme d'apprentissage entièrement supervisé et dépendent donc de grandes quantités de données BEV annotées. Dans ce travail, nous abordons cette limitation en proposant la première approche auto-supervisée pour générer une carte sémantique BEV à partir d'une seule image monoculaire en vue frontale (FV). Pendant l'entraînement, nous surmontons le besoin d'annotations BEV ground truth en exploitant les annotations sémantiques FV plus facilement disponibles des séquences vidéo. Ainsi, nous proposons l'architecture SkyEye qui apprend selon deux modes d'auto-supervision : la supervision implicite et la supervision explicite. La supervision implicite entraîne le modèle en imposant une cohérence spatiale de la scène dans le temps basée sur des séquences sémantiques FV, tandis que la supervision explicite exploite des pseudo-étiquettes BEV générés à partir des annotations sémantiques FV et des estimations auto-supervisée de profondeur. Des évaluations approfondies sur l'ensemble de donnée KITTI-360 montrent que notre approche auto-supervisée fonctionne au même niveau que les méthodes entièrement supervisés et obtient des résultats compétitifs en utilisants seulement 1% du supervisions directe dans le BEV par rapport aux autres approches entièrement supervisés. Enfin, nous rendons publics à la fois notre code et les ensembles de donnée BEV générés à partir des ensemble KITTI-360 et Waymo.

- Les cartes sémantiques en vue aérienne (BEV) sont essentielles pour la conduite automatisée.
- Les approches existantes pour générer ces cartes nécessitent beaucoup de données BEV annotées.
- Une nouvelle approche auto-supervisée est proposée pour générer une carte sémantique BEV à partir d'une seule image monoculaire en vue frontale (FV).
- L'architecture SkyEye utilise deux modes d'auto-supervision : la supervision implicite et la supervision explicite.
- Des évaluations sur l'ensemble de donnée KITTI-360 montrent que cette approche fonctionne au même niveau que les méthodes entièrement supervisées, avec seulement 1% des annotations directes dans le BEV par rapport aux autres approches.

Les cartes sémantiques en vue aérienne (BEV) sont des images qui aident les voitures à conduire automatiquement. Les approches existantes pour créer ces cartes nécessitent beaucoup de données annotées. Une nouvelle approche auto-supervisée propose de créer une carte sémantique BEV à partir d'une seule image frontale (FV). L'architecture SkyEye utilise deux modes d'auto-supervision : la supervision implicite et la supervision explicite. Des évaluations montrent que cette approche fonctionne aussi bien que les méthodes supervisées, avec seulement 1% des annotations directes par rapport aux autres approches. Définitions - Cartes sémantiques en vue aérienne (BEV) : Images qui aident les voitures à conduire automatiquement. - Auto-supervisé : Se réfère à un processus où un ordinateur apprend sans avoir besoin d'être enseigné explicitement par des humains. - Monoculaire : Se réfère à quelque chose qui est basé sur une seule image ou un seul œil. - Vue frontale (FV) : Image prise depuis le devant. - Supervision implicite : Processus où l'ordinateur apprend indirectement sans annotations explicites. - Supervision explicite : Processus où l'ordinateur apprend avec des annotations explicites fourn

Les cartes sémantiques en vue aérienne (BEV) : une approche auto-supervisée

Les cartes sémantiques en vue aérienne (BEV) sont devenues un composant essentiel des pipelines de conduite automatisée, car elles fournissent une représentation riche pour les tâches de prise de décision. Cependant, les approches existantes pour générer ces cartes suivent toujours un paradigme d'apprentissage entièrement supervisé et nécessitent donc des grandes quantités de données BEV annotées. Dans ce travail, nous abordons cette limitation en proposant la première approche auto-supervisée pour générer une carte sémantique BEV à partir d'une seule image monoculaire en vue frontale (FV).

L’approche SkyEye

Pendant l'entraînement, nous surmontons le besoin d'annotations BEV ground truth en exploitant les annotations sémantiques FV plus facilement disponibles des séquences vidéo. Ainsi, nous proposons l'architecture SkyEye qui apprend selon deux modes d'auto-supervision : la supervision implicite et la supervision explicite. La supervision implicite entraîne le modèle en imposant une cohérence spatiale de la scène dans le temps basée sur des s

Créé le 16 Oct. 2023

Disponible dans d'autres langues : en

Évaluez la qualité du contenu généré par l'IA en votant