# RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

**Authors:** Zachary Teed, Jia Deng  
**arXiv:** [2003.12039](https://arxiv.org/abs/2003.12039)  
**Date:** 2020-03-26  
**Summary page:** https://www.summarizepaper.com/fr/paper/2003.12039v1/

## Key points

- RAFT est une nouvelle architecture de réseau neuronal profond pour le flot optique.
- Il extrait des caractéristiques par pixel et construit des volumes de corrélation 4D multi-échelle pour toutes les paires de pixels.
- RAFT met à jour itérativement un champ de flot grâce à une unité récurrente qui effectue des recherches dans les volumes de corrélation.
- Il atteint des performances supérieures aux méthodes existantes avec une généralisation solide entre différents ensembles de données et une grande efficacité en termes d'inférence, vitesse d'entraînement et nombre de paramètres.
- Le code source est disponible sur https://github.com/princeton-vl/RAFT.
- Cette nouvelle architecture représente une avancée significative dans la résolution du problème du flot optique.

## Summary

Nous présentons Recurrent All-Pairs Field Transforms (RAFT), une nouvelle architecture de réseau neuronal profond pour le flot optique. RAFT extrait des caractéristiques par pixel et construit des volumes de corrélation 4D multi-échelle pour toutes les paires de pixels. Il met à jour itérativement un champ de flot grâce à une unité récurrente qui effectue des recherches dans les volumes de corrélation. RAFT atteint des performances supérieures aux méthodes existantes avec une généralisation solide entre différents ensembles de données et une grande efficacité en termes d'inférence, vitesse d'entraînement et nombre de paramètres. Le code source est disponible sur \url{https://github.com/princeton-vl/RAFT}. Cette nouvelle architecture représente une avancée significative dans la résolution du problème du flot optique. En extrayant des caractéristiques par pixel et en construisant des volumes de corrélation 4D multi-échelle pour toutes les paires de pixels, RAFT capture efficacement les relations spatiales entre les pixels dans une image. De plus, l'utilisation d'une unité récurrente permet à RAFT d'itérer et d'améliorer progressivement le champ de flot en effectuant des recherches dans les volumes de corrélation. Les résultats expérimentaux démontrent que RAFT atteint des performances supérieures à celles des méthodes existantes avec une forte généralisation entre différents ensembles de donnée ce qui indique sa capacité à s'adapter à diffèrentes scènes et conditions d'illumination. De plus, il se distingue par son efficacité tant au niveau du temps d'inferences que celui du temps d’entrainement ce qui en fait une solution pratique pour applications temps réel. En outre, son nombre relativement faible paramètres le rend économiquement viable. En conclusion, RAFT est une architecture novatrice pour le flot optique qui surpasse les métohdes existantes en termes performance et généraleisation . Sa capacité à capturer efficacement les relations spatiales entre les pixels et son efficacité tant au niveau du temps inference que celui vitesse entrainement font qu’il est prometteur pour divers applications vision ordinateur . Le code source est disponible afin faciliter utilisation reproduction resultats obtenus avec RAFT .