Résultats du processus de synthèse de l'article arXiv : 2311.06737v1

Récemment, les grands modèles de langage (LLM) ont pris la vedette dans le traitement du langage naturel. De plus, l'intégration des LLM avec la vision permet aux utilisateurs d'explorer des capacités émergentes en multimodalité. Les modèles de langage visuel (VLM), tels que LLaVA, Flamingo ou GPT-4, ont démontré des performances impressionnantes sur diverses tâches visio-linguistiques. Il existe donc de nombreuses applications potentielles de ces modèles sur les plateformes de médias sociaux. Cependant, il y a un manque de recherche connexe sur la détection et la correction des mèmes haineux à l'aide des VLM. Dans cette étude, nous étudions la capacité des VLM à détecter et à corriger les mèmes haineux sans référence préalable. À partir de nos expériences empiriques, nous montrons l'efficacité du modèle pré-entraîné LLaVA et discutons ses forces et faiblesses pour cette tâche spécifique. Notre cadre offre une solution pratique pour créer des sites web sûrs et respectueux en se basant uniquement sur une incitation sans référence préalable. Nous montrons également que le VLM est prometteur tant pour l'analyse du caractère haineux que pour la génération d'un texte plus réfléchi en s'appuyant sur ses connaissances issues du corpus d'entraînement. Bien que notre cadre ne puisse pas rivaliser avec les classificateurs traditionnels d’apprentissage profond qui requiert un ajustement fin ou OCR textuelle supplémentaire; nos résultats indiquent qu’avec une instruction soigneusement élaborée le modèle LLaVA peut amener des ameliorations substantielles par rapport aux résultats antérrieurs [1 ,2]. Dans cet article nous abordons également les défis liés à la detection du discours haineux et mentionnons quelques travaux existants dans ce domaine.

• - Les grands modèles de langage (LLM) sont utilisés dans le traitement du langage naturel.
• - L'intégration des LLM avec la vision permet d'explorer des capacités en multimodalité.
• - Les modèles de langage visuel (VLM) ont montré de bonnes performances sur les tâches visio-linguistiques.
• - Il y a un manque de recherche sur la détection et la correction des mèmes haineux à l'aide des VLM.
• - Cette étude examine la capacité des VLM à détecter et corriger les mèmes haineux sans référence préalable.
• - Le modèle pré-entraîné LLaVA est efficace pour cette tâche spécifique, mais présente également certaines faiblesses.
• - Ce cadre offre une solution pratique pour créer des sites web sûrs et respectueux sans référence préalable.
• - Les VLM sont prometteurs pour l'analyse du caractère haineux et la génération d'un texte plus réfléchi en s'appuyant sur leurs connaissances issues du corpus d'entraînement.
• - Bien que ce cadre ne puisse pas rivaliser avec les classificateurs traditionnels d'apprentissage profond, il peut apporter des améliorations substantielles par rapport aux résultats antérieurs.
• - Cet article aborde également les défis liés à la détection du discours haineux et mentionne quelques travaux existants dans ce domaine.

Résumé - Les grands modèles de langage (LLM) sont utilisés pour comprendre et traiter le langage naturel. - L'intégration des LLM avec la vision permet d'explorer différentes capacités en utilisant à la fois des images et du texte. - Les modèles de langage visuel (VLM) ont montré de bonnes performances dans les tâches qui impliquent à la fois l'image et le langage. - Il y a un manque de recherche sur l'utilisation des VLM pour détecter et corriger les mèmes haineux. - Cette étude examine si les VLM peuvent détecter et corriger les mèmes haineux sans avoir besoin d'une référence préalable. Définitions - Grands modèles de langage (LLM) : Des outils informatiques utilisés pour comprendre et traiter le langage naturel, comme la parole ou l'écriture. - Intégration : Le fait de combiner ou d'utiliser ensemble deux choses différentes pour obtenir de meilleurs résultats. - Modèles de langage visuel (VLM) : Des outils informatiques qui comprennent à la fois les images et le langage pour effectuer certaines tâches spécifiques. - Mèmes haineux : Des contenus en ligne, comme des images ou des

Modèles de langage visuel et détection des mèmes haineux

Récemment, les grands modèles de langage (LLM) ont pris la vedette dans le traitement du langage naturel. De plus, l'intégration des LLM avec la vision permet aux utilisateurs d'explorer des capacités émergentes en multimodalité. Les modèles de langage visuel (VLM), tels que LLaVA, Flamingo ou GPT-4, ont démontré des performances impressionnantes sur diverses tâches visio-linguistiques. Il existe donc de nombreuses applications potentielles de ces modèles sur les plateformes de médias sociaux. Cependant, il y a un manque de recherche connexe sur la détection et la correction des mèmes haineux à l'aide des VLM.

Objectifs

Dans cette étude, nous étudions la capacité des VLM à détecter et à corriger les mèmes haineux sans référence préalable. Nous proposons un cadre pour créer des sites web sûrs et respectueux en se basant uniquement sur une incitation sans référence préalable. Notre objectif est également d’analyser le caractère haineux et génerer un texte plus réfléchi en s'appuyant sur ses connaissances issues du corpus d'entraînement.

Expériences empiriques

À partir de nos expériences empiriques, nous montrons l'efficacité du modèle pré-entraîné LLaVA et discutons ses forces et faiblesses pour cette tâche spécifique. Nous montrons également que le VLM est prometteur tant pour l'analyse du caractère haineux que pour la génération d'un texte plus réfl