Le rapport "Human-centred Test and Evaluation of Military AI" issu du panel sur l'évaluation et les tests centrés sur l'humain de l'intelligence artificielle militaire lors de la conférence Responsible AI in the Military Domain 2024 à Séoul met en avant le besoin de garantir que les applications d'IA dans le domaine militaire soient éthiques et centrées sur l'humain. Il souligne que les humains doivent rester responsables et redevables de leur utilisation et de leurs effets. Le développement de cadres rigoureux d'évaluation et de test, ainsi que de vérification et validation (TEVV), contribuera à des mécanismes de surveillance robustes. Il est essentiel d'impliquer les utilisateurs humains tout au long du cycle de vie du développement et du déploiement des systèmes d'IA. Les méthodes traditionnelles d'évaluation centrées sur l'humain issues des facteurs humains doivent être adaptées pour les systèmes d'IA déployés nécessitant une surveillance continue et une évaluation régulière. Il est également recommandé de modifier le langage autour des systèmes basés sur l'IA pour inclure explicitement le(s) humain(s) comme composante du système. Des normes et exigences soutenant cette définition ajustée sont nécessaires, tout comme des métriques et moyens pour les évaluer. Le dialogue entre technologues et décideurs politiques sur l'évaluation centrée sur l'humain doit être continu, mais il doit être initié avec un objectif précis pour être productif. Le développement du TEVV tout au long du cycle de vie du système est crucial pour soutenir cette évolution, y compris la question de la scalabilité humaine et son impact sur l'échelle des tests réalisables. Une communication améliorée entre les communautés techniques et non techniques est nécessaire pour garantir que les opérateurs et les décideurs comprennent les risques liés à l'utilisation des systèmes, afin d'informer au mieux la recherche et le développement. Les tests et évaluations en soutien au déploiement responsable de l'IA doivent prendre en compte l'impact humain pour refléter la performance opérationnelle réelle du système. La communication des résultats du TEVV aux utilisateurs prenant des décisions concernant l'utilisation des systèmes basés sur l'IA sera essentielle pour informer ces décisions basées sur le risque. Enfin, il est souligné que les systèmes d'IA sont conçus pour améliorer les résultats en matière de justice pour l'humanité, mettant ainsi en lumière leur potentiel positif dans divers domaines sociétaux.
Summary- We need to make sure that AI applications in the military are ethical and focused on people.
- People should be involved throughout the development and deployment of AI systems.
- We have to change how we evaluate AI systems to include continuous monitoring.
- The language used for AI systems should clearly include humans as part of the system.
- There should be ongoing discussions between technologists and policymakers about human-centered evaluation.
Definitions
- Ethical: Doing what is right and fair.
- Human: A person, like you or me.
- Development: Creating something new or making improvements to it over time.
- Deployment: Putting something into use or action.
- Evaluation: Assessing or judging something to see how well it works.
- Dialogue: Conversation or discussion between people.
Translation in FrenchRésumé - Nous devons nous assurer que les applications d'IA dans le domaine militaire sont éthiques et centrées sur les personnes.
- Les gens doivent être impliqués tout au long du développement et du déploiement des systèmes d'IA.
- Nous devons changer la manière dont nous évaluons les systèmes d'IA pour inclure une surveillance continue.
- Le langage utilisé pour les systèmes d'IA doit clairement inclure les humains comme partie intégrante du système.
- Il devrait y avoir des discussions continues entre les technologues et les décideurs politiques concernant l'évaluation centr
Le rapport "Human-centred Test and Evaluation of Military AI" issu du panel sur l'évaluation et les tests centrés sur l'humain de l'intelligence artificielle militaire lors de la conférence Responsible AI in the Military Domain 2024 à Séoul met en avant le besoin de garantir que les applications d'IA dans le domaine militaire soient éthiques et centrées sur l'humain. Il souligne que les humains doivent rester responsables et redevables de leur utilisation et de leurs effets.
L'utilisation croissante de l'intelligence artificielle (IA) dans le domaine militaire suscite des préoccupations quant à son impact éthique et humanitaire. C'est pourquoi, lors de la conférence Responsible AI in the Military Domain 2024 à Séoul, un panel a été consacré spécifiquement à l'évaluation et aux tests centrés sur l'humain pour les systèmes d'IA militaires. Le rapport résultant, intitulé "Human-centred Test and Evaluation of Military AI", met en lumière la nécessité d'une approche responsable pour garantir que ces technologies soient utilisées avec éthique et dans le respect des droits humains.
Le rapport souligne également que les humains doivent rester au centre du développement et du déploiement des systèmes d'IA militaires. Les décisions finales concernant leur utilisation doivent être prises par des individus plutôt que par des machines autonomes. Les opérateurs humains doivent donc être impliqués tout au long du cycle de vie du système, depuis sa conception jusqu'à son déploiement.
Pour assurer une utilisation responsable des systèmes d'IA militaires, il est essentiel de développer des cadres rigoureux d'évaluation et de test, ainsi que des mécanismes de surveillance robustes. Cela permettra de garantir que les systèmes restent conformes aux normes éthiques et légales tout au long de leur utilisation.
Cependant, il est important de noter que les méthodes traditionnelles d'évaluation centrées sur l'humain ne sont pas toujours adaptées pour les systèmes d'IA déployés nécessitant une surveillance continue et une évaluation régulière. Il est donc recommandé d'adapter ces méthodes pour qu'elles puissent être appliquées efficacement à ces technologies.
De plus, le rapport souligne la nécessité de modifier le langage utilisé autour des systèmes basés sur l'IA afin d'inclure explicitement le(s) humain(s) comme composante du système. Des normes et exigences soutenant cette définition ajustée sont également nécessaires, ainsi que des métriques et moyens pour les évaluer.
Pour atteindre cet objectif, un dialogue continu entre technologues et décideurs politiques est essentiel. Cependant, ce dialogue doit être initié avec un objectif précis pour être productif. Le développement du TEVV (test, évaluation, vérification et validation) tout au long du cycle de vie du système est crucial pour soutenir cette évolution.
Il est également important de prendre en compte la question de la scalabilité humaine lors des tests réalisables afin d'évaluer correctement l'impact réel des systèmes sur leurs opérateurs humains. Une communication améliorée entre les communautés techniques et non techniques est donc nécessaire pour garantir que les opérateurs et les décideurs comprennent pleinement les risques liés à l'utilisation des systèmes d'IA.
Enfin, le rapport souligne que les tests et évaluations doivent prendre en compte l'impact humain pour refléter la performance opérationnelle réelle du système. La communication des résultats du TEVV aux utilisateurs prenant des décisions concernant l'utilisation de ces systèmes sera essentielle pour informer ces décisions basées sur le risque.
En conclusion, le rapport "Human-centred Test and Evaluation of Military AI" met en avant l'importance de garantir une utilisation responsable et éthique de l'intelligence artificielle dans le domaine militaire. En impliquant les utilisateurs humains tout au long du processus de développement et en développant des cadres rigoureux d'évaluation et de test, il est possible d'utiliser ces technologies pour améliorer les résultats en matière de justice pour l'humanité. Il est donc essentiel que les communautés techniques et non techniques travaillent ensemble pour assurer un déploiement responsable de l'IA dans ce domaine crucial.
The REAIM 2024 Blueprint for Action states that AI applications in the military domain should be ethical and human-centric and that humans must remain responsible and accountable for their use and effects. Developing rigorous test and evaluation, verification and validation (TEVV) frameworks will contribute to robust oversight mechanisms. TEVV in the development and deployment of AI systems needs to involve human users throughout the lifecycle. Traditional human-centred test and evaluation methods from human factors need to be adapted for deployed AI systems that require ongoing monitoring and evaluation. The language around AI-enabled systems should be shifted to inclusion of the human(s) as a component of the system. Standards and requirements supporting this adjusted definition are needed, as are metrics and means to evaluate them. The need for dialogue between technologists and policymakers on human-centred TEVV will be evergreen, but dialogue needs to be initiated with an objective in mind for it to be productive. Development of TEVV throughout system lifecycle is critical to support this evolution including the issue of human scalability and impact on scale of achievable testing. Communication between technical and non technical communities must be improved to ensure operators and policy-makers understand risk assumed by system use and to better inform research and development. Test and evaluation in support of responsible AI deployment must include the effect of the human to reflect operationally realised system performance. Means of communicating the results of TEVV to those using and making decisions regarding the use of AI based systems will be key in informing risk based decisions regarding use.
