# An AI System Evaluation Framework for Advancing AI Safety: Terminology, Taxonomy, Lifecycle Mapping

**Authors:** Boming Xia, Qinghua Lu, Liming Zhu, Zhenchang Xing  
**arXiv:** [2404.05388](https://arxiv.org/abs/2404.05388)  
**Date:** 2024-04-08  
**Summary page:** https://www.summarizepaper.com/fr/paper/2404.05388v3/

## Key points

- Besoin urgent d'évaluations complètes en matière de sécurité pour les systèmes d'IA
- Collaboration nécessaire entre les communautés de l'IA, du génie logiciel et de la gouvernance
- Difficultés liées aux pratiques et terminologies divergentes, à la complexité des systèmes d'IA et aux contraintes environnementales
- Cadre d'évaluation des systèmes d'IA comprenant une terminologie harmonisée, une taxonomie et une cartographie
- Encouragement d'un débat approfondi sur l'évaluation des systèmes d'IA au-delà des approches centrées sur le modèle
- Présentation lors de la première Conférence internationale ACM sur les logiciels alimentés par l'IA (AIware)
- Importance cruciale d'une approche holistique pour évaluer la sécurité des systèmes d'intelligence artificielle

## Summary

Les auteurs Boming Xia, Qinghua Lu, Liming Zhu et Zhenchang Xing ont développé un cadre d'évaluation des systèmes d'IA pour améliorer la sécurité de l'IA. Ils soulignent le besoin urgent d'évaluations complètes en matière de sécurité qui nécessitent une collaboration entre les communautés de l'IA, du génie logiciel et de la gouvernance. Cependant, les pratiques et terminologies divergentes au sein de ces communautés ainsi que la complexité des systèmes d'IA - dont les modèles ne sont qu'une partie - et les contraintes environnementales (telles que l'accès aux outils) entravent la communication efficace et l'évaluation globale. Ce document propose un cadre d'évaluation des systèmes d'IA comprenant trois composantes essentielles : 1) une terminologie harmonisée pour faciliter la communication entre les différentes communautés impliquées dans l'évaluation de la sécurité de l'IA ; 2) une taxonomie identifiant les éléments clés pour évaluer les systèmes d'IA ; 3) une cartographie reliant le cycle de vie de l'IA, les parties prenantes et les évaluations nécessaires pour une chaîne d'approvisionnement en IA responsable. Ce cadre encourage un débat plus approfondi sur l'évaluation des systèmes d'IA au-delà des approches centrées sur le modèle. Cette recherche a été présentée lors de la première Conférence internationale ACM sur les logiciels alimentés par l'IA (AIware). Leur travail met en lumière l'importance cruciale d'une approche holistique pour évaluer la sécurité des systèmes d'intelligence artificielle afin de garantir leur fiabilité et leur responsabilité dans un monde où l'utilisation croissante de technologies avancées nécessite une attention particulière à leurs implications éthiques et sociales.