Confiance dans l'IA générative : un avertissement nécessaire pour la recherche et la sécurité informatique

Abstract

Traduction française de l'article original : Trust in Generative AI: A Necessary Warning for Research and IT Security, disponible sur Zenodo : https://doi.org/10.5281/zenodo.22287008 ************************************************************************************************************************************** Nous assistons actuellement à un déploiement rapide, inattendu et généralisé des systèmes d’intelligence artificielle générative (IA générative). Leurs capacités étonnantes contribuent à leur rapide prolifération dans les environnements professionnels, académiques et décisionnels. Cela soulève une question fondamentale : pouvons-nous réellement leur faire confiance ? Cet article examine les risques associés à une confiance aveugle dans l’IA, en particulier pour les utilisateurs non experts. Sur la base d’interactions menées en temps réel avec plusieurs systèmes d’IA générative librement accessibles, nous identifions des problèmes récurrents graves et potentiellement dangereux. Ceux-ci comprennent des modes de défaillance trompeurs tels que l’hallucination de données, le « code-ghosting », la sycophancie, la fabrication de références, les boucles d’interaction non terminantes et le Slopsquatting (exploitation des hallucinations de paquets logiciels). Nous attirons également l’attention sur la question critique, mais souvent négligée, de la confidentialité des données lorsque des informations sensibles sont volontairement soumises à des serveurs d’IA distants. Les implications de ces constats sont cruciales pour les chercheurs, les décideurs et les développeurs d’IA, car une confiance aveugle dans ces systèmes peut entraîner de graves conséquences académiques, professionnelles et sécuritaires. Parallèlement, nous examinons brièvement les perspectives historiques de l’IA incarnée, de l’automatisation et des systèmes d’interaction homme-machine (SIHM), dans lesquels la sécurité et la sûreté revêtent une importance primordiale. Cet article soutient que l’IA générative doit être comprise telle qu’elle est conçue : comme un moteur de probabilités, et non comme un moteur de vérité. L’expertise humaine doit donc rester l’arbitre final et assumer la responsabilité des résultats du travail, y compris des tâches volontairement déléguées à des agents d’IA. Nous concluons par des recommandations pratiques pour une utilisation sûre et critique des systèmes d’IA générative. Ces systèmes doivent être repensés avec des mécanismes intégrés d’autocontrôle, par exemple inspirés des systèmes anticipatoires ou analogues à ceux-ci. Ils doivent exercer un contrôle strict sur les informations fournies aux utilisateurs. Ils doivent également protéger les données privées et limiter les comportements chaotiques lorsque les agents d’IA générative atteignent leurs limites opérationnelles.