Burstormer: Burst Image Restoration and Enhancement Transformer

Mots clés générés par l'IA : Burstormer restauration amélioration rafale alignement

Points clés générés par l'IA

  • Les caméras des smartphones ont une qualité d'image en constante amélioration, mais ne peuvent pas atteindre la qualité des appareils photo reflex numériques (DSLR) en raison de limitations matérielles.
  • Les techniques de traitement d'image en rafale permettent de récupérer des informations complémentaires à partir de plusieurs captures d'une même scène pour approcher la qualité DSLR.
  • Cependant, les décalages sous-pixels entre les images causent souvent des artefacts de flou et d'effet fantôme dans l'image finale.
  • Burstormer est une architecture novatrice basée sur un transformateur pour la restauration et l'amélioration d'image en rafale qui utilise des caractéristiques locales et non locales multi-niveaux pour obtenir une meilleure fusion des informations et un meilleur alignement.
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Akshay Dudhane, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan, Ming-Hsuan Yang

arXiv: 2304.01194v1 - DOI (cs.CV)
Accepted at CVPR 2023
Licence : CC BY 4.0

Résumé : On a shutter press, modern handheld cameras capture multiple images in rapid succession and merge them to generate a single image. However, individual frames in a burst are misaligned due to inevitable motions and contain multiple degradations. The challenge is to properly align the successive image shots and merge their complimentary information to achieve high-quality outputs. Towards this direction, we propose Burstormer: a novel transformer-based architecture for burst image restoration and enhancement. In comparison to existing works, our approach exploits multi-scale local and non-local features to achieve improved alignment and feature fusion. Our key idea is to enable inter-frame communication in the burst neighborhoods for information aggregation and progressive fusion while modeling the burst-wide context. However, the input burst frames need to be properly aligned before fusing their information. Therefore, we propose an enhanced deformable alignment module for aligning burst features with regards to the reference frame. Unlike existing methods, the proposed alignment module not only aligns burst features but also exchanges feature information and maintains focused communication with the reference frame through the proposed reference-based feature enrichment mechanism, which facilitates handling complex motions. After multi-level alignment and enrichment, we re-emphasize on inter-frame communication within burst using a cyclic burst sampling module. Finally, the inter-frame information is aggregated using the proposed burst feature fusion module followed by progressive upsampling. Our Burstormer outperforms state-of-the-art methods on burst super-resolution, burst denoising and burst low-light enhancement. Our codes and pretrained models are available at https:// github.com/akshaydudhane16/Burstormer

Soumis à arXiv le 03 Avr. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2304.01194v1

Burstormer : Transformateur de restauration et d'amélioration d'image en rafale. Au moment où l'industrie des smartphones connaît une croissance fulgurante, la qualité des images produites par les caméras de ces appareils s'améliore rapidement. Toutefois, il existe plusieurs barrières qui empêchent d'atteindre la qualité d'image des appareils photo reflex numériques (DSLR). Les espaces physiques disponibles dans les dispositifs portables limitent les fabricants à utiliser des modules de caméra volumineux et de haute qualité. La plupart des caméras de smartphones utilisent des lentilles, une ouverture et un capteur de petite taille, ce qui génère des images avec une résolution spatiale limitée, une faible plage dynamique et souvent du bruit et des distorsions de couleur, surtout dans des conditions de faible luminosité. Ces problèmes ont conduit à se concentrer sur le développement de solutions photographiques computationnelles pour atténuer les limitations matérielles et approcher la qualité d'image DSLR. Une approche émergente pour obtenir des résultats de haute qualité à partir d'une caméra smartphone consiste à tirer parti des prises en rafale composées de multiples captures d'une même scène. Les techniques de traitement d'image en rafale visent à récupérer l'image haute qualité en fusionnant les informations complémentaires provenant de plusieurs images. Des travaux récents ont validé le potentiel des techniques de traitement en rafale pour reconstruire des détails riches qui ne peuvent pas être récupérés à partir d'une seule image. Cependant, ces approches sont souvent incapables de traiter efficacement les décalages sous-pixels inhérents entre les images, dus aux mouvements de la caméra et/ou de l'objet. Ce décalage sous-pixel provoque souvent des artefacts de flou et d'effet fantôme dans l'image finale. Pour résoudre les problèmes d’alignement, les méthodes existantes utilisent un alignement explicite complexe des caractéristiques et un module d’alignement déformable. Dans cette optique, nous proposons Burstormer : une architecture novatrice basée sur un transformateur pour la restauration et l’amélioration d’image en rafale. Contrairement aux approches existantes, notre méthode exploite des caractéristiques locales et non locales multi-niveaux pour obtenir une meilleure fusion des informations et un meilleur alignement.
Créé le 04 Avr. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

Articles similaires résumés avec nos outils d'IA

49.6%
PFT-SSR: Parallax Fusion Transformer for Stereo Image Super-Resolution
cs.CV
43.0%
Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization
cs.CV
41.5%
Local-to-Global Panorama Inpainting for Locale-Aware Indoor Lighting Predicti…
cs.CV
38.9%
SIFT: Sparse Iso-FLOP Transformations for Maximizing Training Efficiency
cs.LG

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.