CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts

Mots clés générés par l'IA : ChatGPT Abstracts Détection Ensemble de données Distribution

Points clés générés par l'IA

  • Le puissant pouvoir de ChatGPT suscite une vive inquiétude parmi la communauté académique.
  • Les utilisateurs malveillants pourraient synthétiser du contenu académique faux grâce à ChatGPT, ce qui serait préjudiciable à l'exactitude et à l'originalité académiques.
  • La nécessité de développer des algorithmes de détection du contenu généré par ChatGPT appelle à la création d'importants ensembles de données.
  • Un ensemble de données d'abstracts écrits par ChatGPT à grande échelle (CHEAT) a été créé pour soutenir le développement d'algorithmes de détection.
  • L'ensemble de données CHEAT comprend 35 304 abstracts synthétiques avec Generation, Polish et Mix comme principaux représentants.
  • Les abstracts écrits par ChatGPT peuvent être détectés mais la difficulté augmente avec l'intervention humaine.
  • Il y a eu un regain d'intérêt pour la recherche sur les moyens permettant de repérer le contenu généré par ChatGPT.
  • Plusieurs ensembles de données ont été construits pour les scénarios question-réponse et requête, ainsi que pour analyser la qualité du texte produit par ChatGPT avec une petite quantité de donnée.
  • Cependant, il n'existe pas encore un ensemble suffisamment grand pour soutenir le développement des algorithmes visant à repérer les abstracts produits par ChatGPT.
  • Dans cet article, on se concentre sur la nécessité pratique qu'il y a à générer des abstracts produits par ChatGPT à grande échelle diversifiée en explorant différentes méthodes telles que generation, polish et mix.
Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Peipeng Yu, Jiahan Chen, Xuan Feng, Zhihua Xia

9 pages, 6 figures
Licence : CC BY 4.0

Résumé : The powerful ability of ChatGPT has caused widespread concern in the academic community. Malicious users could synthesize dummy academic content through ChatGPT, which is extremely harmful to academic rigor and originality. The need to develop ChatGPT-written content detection algorithms call for large-scale datasets. In this paper, we initially investigate the possible negative impact of ChatGPT on academia,and present a large-scale CHatGPT-writtEn AbsTract dataset (CHEAT) to support the development of detection algorithms. In particular, the ChatGPT-written abstract dataset contains 35,304 synthetic abstracts, with Generation, Polish, and Mix as prominent representatives. Based on these data, we perform a thorough analysis of the existing text synthesis detection algorithms. We show that ChatGPT-written abstracts are detectable, while the detection difficulty increases with human involvement.

Soumis à arXiv le 24 Avr. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2304.12008v1

Le puissant pouvoir de ChatGPT suscite une vive inquiétude parmi la communauté académique. Les utilisateurs malveillants pourraient synthétiser du contenu académique faux grâce à ChatGPT, ce qui serait très préjudiciable à l'exactitude et à l'originalité académiques. La nécessité de développer des algorithmes de détection du contenu généré par ChatGPT appelle à la création d'importants ensembles de données. Dans cet article, nous examinons d'abord les effets négatifs potentiels de ChatGPT sur le monde universitaire et présentons un ensemble de données d'abstracts écrits par ChatGPT à grande échelle (CHEAT) pour soutenir le développement d'algorithmes de détection. En particulier, l'ensemble de données CHEAT comprend 35 304 abstracts synthétiques avec Generation, Polish et Mix comme principaux représentants. Sur la base des données fournies, nous effectuons une analyse approfondie des algorithmes existants pour la détection du texte synthétisée. Nous montrons que les abstracts écrits par ChatGPT peuvent être détectés mais que la difficulté augmente avec l’intervention humaine. En raison des inquiétudes croissantes concernant ChatGPT, il y a eu un regain d’intérêt pour la recherche sur les moyens permettant de repérer le contenu générée par ce logiciel. La disponibilité des ensembles de donnée à grande échelle est un facteur important facilitant le développement des moyens visant à repérés le contenu générée par ChatGPT. Jusqu’à maintenant plusieurs ensembles ont étés construits pour les scénarios question-réponse et requête (Guo et al., 2023 ; Mitrovi´c et al., 2023). Certaines études ont également analyser la qualité du texte produit par chatgpt avec une petite quantité de donnée (Huang et al., 2023 ; Cao et al., 2023 ; Gao et al., 2022). Cependant en raison des limites imposés par OpenAI il n’existe pas encore un ensemble suffisamment grand pour soutenir le développement des algorithmes visant à repérés les abstracts produits par chatgpt . Dans cet article on se concentre sur la nessesité pratique qu’il y a à génerer des abstracts produits par chatgpt à grande échelle diversifiée . On explore diffèrentes moyens permettant la synthèse des abstract via chatgpt notamment generation , polish and mix .
Créé le 22 Aoû. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

Articles similaires résumés avec nos outils d'IA

Naviguez à travers encore plus d'articles similaires en utilisant une

représentation arborescente

Recherchez des articles similaires (en version bêta)

En cliquant sur le bouton ci-dessus, notre algorithme analysera tous les articles de notre base de données pour trouver le plus proche en fonction du contenu des articles complets et pas seulement des métadonnées. Veuillez noter que cela ne fonctionne que pour les articles pour lesquels nous avons généré des résumés et que vous pouvez le réexécuter de temps en temps pour obtenir un résultat plus précis pendant que notre base de données s'agrandit.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.