# A Billion-scale Foundation Model for Remote Sensing Images

**Authors:** Keumgang Cha, Junghoon Seo, Taekyung Lee  
**arXiv:** [2304.05215](https://arxiv.org/abs/2304.05215)  
**Date:** 2023-04-11  
**Summary page:** https://www.summarizepaper.com/fr/paper/2304.05215v1/

## Key points

- Le potentiel des modèles de base dans les tâches visuelles a suscité une grande attention.
- La préformation des modèles de base avant les tâches en aval est une étape essentielle.
- Les trois facteurs clés dans la préformation des modèles de base sont la méthode de préformation, la taille de l'ensemble de données utilisée pour le prétraitement et le nombre de paramètres du modèle.
- La recherche dans le domaine de la télédétection s'est principalement concentrée sur la méthode et sur la taille des données utilisées pour le prétraitement, sans trop se pencher sur le nombre de paramètres du modèle.
- Cet article examine l'effet que peut avoir l'augmentation du nombre de paramètres du modèle sur les performances des modèles fondamentaux dans des tâches en aval telles que la détection d'objets rotatifs et la segmentation sémantique.
- Des modèles fondamentaux ont été entraînés avec différents nombres de paramètres (86M, 605M, 1.3B et 2.4B) pour déterminer si les performances s'améliorent avec une augmentation des paramètres.
- Il s'agit du premier modèle vision transformer à grande échelle (un milliard) dans le domaine de la télédétection.
- Une méthode efficace pour augmenter et affiner un transformateur visionnel dans le domaine de la télédétection est proposée.
- Les performances générales dans les tâches en aval ont été évaluées à l'aide des jeux DOTA v2.0 and DIOR-R pour l’object detection rotationnelle et Potsdam and LoveDA pour segmentation sémantique.
- Les résultats expérimentaux montrent que la performance des modèles fondamentaux et l'efficacité des données augmentent avec une augmentation du nombre de paramètres.
- Les modèles atteignent une performance élevée sur plusieurs jeux, dont DIOR-R, Postdam et LoveDA.

## Summary

Le potentiel des modèles de base dans les tâches visuelles a suscité une grande attention et la préformation de ces modèles avant les tâches en aval est devenue une étape essentielle. Les trois facteurs clés dans la préformation des modèles de base sont la méthode de préformation, la taille de l'ensemble de données utilisée pour le prétraitement et le nombre de paramètres du modèle. Récemment, la recherche dans le domaine de la télédétection s'est principalement concentrée sur la méthode et sur la taille des données utilisés pour le prétraitement, sans trop se pencher sur le nombre de paramètres du modèle. Cet article vise à combler cette lacune en examinant l'effet que peut avoir l'augmentation du nombre de paramètres du modèle sur les performances des modèles fondamentaux dans des tâches en aval telles que la détection d'objets rotatifs et la segmentation sémantique. Nous avons entraîné des modèles fondamentaux avec différents nombres de paramètres (86M, 605M, 1.3B et 2.4B) afin déterminer si les performances amont s'améliorent avec une augmentation des paramètres. À notre connaissance, il s'agit du premier milliard-scale vision transformer model in the remote sensing domain. De plus, nous proposons une méthode efficace pour augmenter et affiner un transformateur visionnel dans le domaine de la télédétection. Pour évaluer les performances générale dans les tâches en aval, nous avons utilisés les jeux DOTA v2.0 and DIOR-R pour l’object detection rotationnelle et Potsdam and LoveDA pour segmentation sementique . Les résultats exprimentales ont montré que ,sur tous les jeux réferences et les tasks en aval ,la performance des models fondamentaux et l’efficacité des donnée augmentent avec un augmentation du nombre des parameters . De plus , nos models atteignent un pointe performance sur plusieurs jeux dont DIOR-R ,Postdam and LoveDA .