Multimodal Federated Learning via Contrastive Representation Ensemble

Mots clés générés par l'IA : Apprentissage fédéré Multimodalité Confidentialité Fusion des représentations Régularisation

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

L'apprentissage fédéré (FL) offre une alternative respectueuse de la vie privée à l'apprentissage machine centralisé.
Les méthodes FL existantes pour les données multimodales sont limitées en termes de complexité du modèle et de capacité des données.
CreamFL est un cadre d'apprentissage fédéré multimodal qui permet d'entraîner des modèles serveur plus grands à partir de clients ayant des architectures de modèle hétérogènes et des modalités de données différentes.
CreamFL utilise une stratégie globale-locale croisée pour agréger les représentations multimodales des clients.
CreamFL propose également deux contrastes inter-modaux et intra-modaux pour régulariser l'entraînement local et ajouter l'information manquante pour les clients unimodaux.
Des évaluations approfondies montrent que CreamFL est supérieur aux moyens FL actuels dans des tâches telles que la recherche image-texte et la réponse à des questions visuelles.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Qiying Yu, Yang Liu, Yimu Wang, Ke Xu, Jingjing Liu

arXiv: 2302.08888v3 - DOI (cs.LG)

ICLR 2023, update

Licence : NONEXCLUSIVE-DISTRIB 1.0

Résumé : With the increasing amount of multimedia data on modern mobile systems and IoT infrastructures, harnessing these rich multimodal data without breaching user privacy becomes a critical issue. Federated learning (FL) serves as a privacy-conscious alternative to centralized machine learning. However, existing FL methods extended to multimodal data all rely on model aggregation on single modality level, which restrains the server and clients to have identical model architecture for each modality. This limits the global model in terms of both model complexity and data capacity, not to mention task diversity. In this work, we propose Contrastive Representation Ensemble and Aggregation for Multimodal FL (CreamFL), a multimodal federated learning framework that enables training larger server models from clients with heterogeneous model architectures and data modalities, while only communicating knowledge on public dataset. To achieve better multimodal representation fusion, we design a global-local cross-modal ensemble strategy to aggregate client representations. To mitigate local model drift caused by two unprecedented heterogeneous factors stemming from multimodal discrepancy (modality gap and task gap), we further propose two inter-modal and intra-modal contrasts to regularize local training, which complements information of the absent modality for uni-modal clients and regularizes local clients to head towards global consensus. Thorough evaluations and ablation studies on image-text retrieval and visual question answering tasks showcase the superiority of CreamFL over state-of-the-art FL methods and its practical value.

Soumis à arXiv le 17 Fév. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2302.08888v3

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Avec la quantité croissante de données multimédias sur les systèmes mobiles modernes et les infrastructures IoT, exploiter ces riches données multimodales tout en préservant la confidentialité des utilisateurs est un défi critique. L'apprentissage fédéré (FL) offre une alternative respectueuse de la vie privée à l'apprentissage machine centralisé. Cependant, les méthodes FL existantes étendues aux données multimodales reposent toutes sur l'agrégation du modèle au niveau de chaque modalité individuelle, ce qui limite le modèle global en termes de complexité du modèle et de capacité des données ainsi que pour diversifier les tâches. Pour y remédier, nous proposons Contrastive Representation Ensemble and Aggregation for Multimodal FL (CreamFL), un cadre d'apprentissage fédéré multimodal qui permet d'entraîner des modèles serveur plus grands à partir de clients ayant des architectures de modèle hétérogènes et des modalités de données différentes sans communiquer que les connaissances sur l'ensemble public de donnée. Afin d’amplifier la fusion des représentations multimodales, nous avons mis au point une stratégie globale-locale croisée pour agréger les représentations des clients. Pour atténuer la dérive du modèle local due à l’hétérogénicités entre les modalités et entre les tâches sans prise en compte pratique antrieurement , nous proposons également deux contrastes inter-modaux et intra-modaux pour régulariser l'entraînement local afin d’ajouter l’information manquante pour les clients unimodaux et régulariser le comportement local vers un consensus global. Des évaluations approfondies et des études d'ablation sur des tâches telles que la recherche image-texte et la réponse à des questions visuelles montrent clairement que CreamFL est supéririeur aux moyens FL actuels et sa valeur pratique est prouvée.

- L'apprentissage fédéré (FL) offre une alternative respectueuse de la vie privée à l'apprentissage machine centralisé.
- Les méthodes FL existantes pour les données multimodales sont limitées en termes de complexité du modèle et de capacité des données.
- CreamFL est un cadre d'apprentissage fédéré multimodal qui permet d'entraîner des modèles serveur plus grands à partir de clients ayant des architectures de modèle hétérogènes et des modalités de données différentes.
- CreamFL utilise une stratégie globale-locale croisée pour agréger les représentations multimodales des clients.
- CreamFL propose également deux contrastes inter-modaux et intra-modaux pour régulariser l'entraînement local et ajouter l'information manquante pour les clients unimodaux.
- Des évaluations approfondies montrent que CreamFL est supérieur aux moyens FL actuels dans des tâches telles que la recherche image-texte et la réponse à des questions visuelles.

Résumé : L'apprentissage fédéré (FL) est une façon de faire de l'apprentissage machine qui respecte la vie privée. Les méthodes FL actuelles pour les données multimodales sont limitées en termes de complexité du modèle et de capacité des données. CreamFL est un cadre d'apprentissage fédéré multimodal qui permet d'entraîner des modèles plus grands à partir de différents clients. CreamFL utilise une stratégie pour combiner les informations des clients. CreamFL propose également deux contrastes pour améliorer l'entraînement local et ajouter des informations manquantes. Des évaluations montrent que CreamFL est meilleur que les autres méthodes FL dans certaines tâches. Définitions - Apprentissage fédéré (FL) : Une méthode d'apprentissage machine qui respecte la vie privée. - Données multimodales : Des données qui contiennent différentes modalités, comme le texte et les images. - Cadre : Un ensemble d'outils ou de règles utilisés pour réaliser quelque chose. - Modèle : Une représentation simplifiée d'un système ou d'un processus. - Stratégie : Un plan ou une approche utilisée pour atteindre un objectif. - Contraste : Une différence entre deux choses qui met en évidence leurs caract

Avec la quantité croissante de données multimédias sur les systèmes mobiles modernes et les infrastructures IoT, exploiter ces riches données multimodales tout en préservant la confidentialité des utilisateurs est un défi critique. L'apprentissage fédéré (FL) offre une alternative respectueuse de la vie privée à l'apprentissage machine centralisé. Cependant, les méthodes FL existantes étendues aux données multimodales reposent toutes sur l’agrégation du modèle au niveau de chaque modalité individuelle, ce qui limite le modèle global en termes de complexité du modèle et de capacité des données ainsi que pour diversifier les tâches. Pour y remédier, nous proposons Contrastive Representation Ensemble and Aggregation for Multimodal FL (CreamFL), un cadre d'apprentissage fédérés multimodaux qui permet d'entraîner des modèles serveur plus grands à partir de clients ayant des architectures de modèles hétérogènes et des modalités différents sans communiquer que les connaissances sur l’ensemble public de donnée. Afin d’amplifier la fusion des représentations multimodales, nous avons mis au point une stratégie globale-locale croisée pour agréger les représentations des clients. Pour atténuer la dérive du modèle local due à l’hétérongénicités entre les modalités et entre les tâches sans prise en compte antrieurement , nous proposons également deux contrastes inter-modaux et intra-modaux pour régulariser l'entraînement local afin d’ajouter l’information manquante pour les clients unimodaux et régulariser le comportement local vers un consensus global. Des évaluations approfondies et des études d'ablation sur des tâches telles que la recherche image-texte et la réponse àdes questions visuellesm ont montré clairement que CreamFL est supéririeur aux moyens FL actuels et sa valeur pratique est prouvée.

Exploitation sûre des richessse multi-modes avec Apprentissage Fêdere

Introduction

Avec le développement rapide du numrique, il y a eu une explosion massivede donnés multi modes disponibles sur nos systèmes mobiles moderneseet notres infrastructures IoT(Internet of Things). Exploiter cette riche information multi mode tout en préservantla confidentialitédesutilisateursestun challengecritiqueaussibienentermespublicsqueprivés .L 'Apprentissage Fédére(Federated Learning - FL)offreetunealternativerespectueusedelaviepriveeàl ' apprentissementmachinecentralise .Cependant ,lesméthodesFLexistantesextenduesauxdonnésmultimode reposentleplus souventsurl ’agreg ationdumodeleadeniveaudechaquemodeindividuellement ,cequilimitelemodeleglobalintermescomplexitedumodeletcapacitededonne ́esaussibienpourdiviserlestaches .Pouryrem edier ,NousproposonsContrastiveRepresentationEnsembleandAggregationforMultimodaFederatedLearning(CreamFL )uncadred ’ apprend fe ̓de remultimo da lex permettantlextractiondem odelesserveursplusgrandsapartirdeclientsayantsdesarchitecturesdem odelhete roge ne setdesmo da lit e ̓sd edonne ̓sdifferentessanscommuniquerquelesconnaissancessurl ’ ensemblepublicdedonne ̓s .

Methode

Afin damplifierlafusiondesrepresentationsmulti modes ,Nou savonsmisaupointunestrategieglo balelo ca lecro iseepe rag reg erlesrepresentationsdesc lients .Pou rat te nuirlade rive dupro toco led uea he te roge ne iteen trelesmo da li te set entrelestaches sansprendreencompteprat iqueanter ieure ment , Nousproposondeuxcont rast esint er mo da uxetint ra mo da uxpourregulari serlen tra inemen loca afina jou terlinformationman quan tepe rlesclientsuni mo da uxetregulari serledec ompor temen lo ca ve runconsensusglobal .Desevaluationprofondese ta bl esparabl at ionsurt achestelqueslarechercheimage texteetlar eponseaquestionsvisuellesm ontrontclair emen q ueCre amFlestsup er ieuraumeyensFLactuelsetsavalu epra ti queprouvee .

Créé le 28 Aoû. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 1

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.