Le PDG de Microsoft, Satya Nadella, appelle les entreprises à considérer les modèles d’intelligence artificielle les plus avancés comme des systèmes potentiellement compromis, même lorsqu’ils proviennent de fournisseurs de confiance.
Dans une publication détaillée sur X, il défend une approche fondée sur le confinement, le contrôle des accès et la possibilité d’interrompre immédiatement une IA en pleine exécution.
Son message intervient alors que les agents IAL'IA agentique désigne les systèmes d'intelligence artificielle capables de planifier puis d'exécuter eux-mêmes des tâches complexes — réserver, coder, naviguer sur le Web, piloter des logiciels — plutôt que de se contenter de répondre à une question. Lire la fiche sont progressivement intégrés à des environnements professionnels sensibles, avec la capacité de consulter des données confidentielles et d’effectuer des opérations critiques. Pour Nadella, la confiance accordée à un modèle ne doit jamais remplacer les mécanismes techniques permettant de limiter ses actions et de reprendre le contrôle en cas de problème.
Un bouton d’arrêt d’urgence pour les agents IA
Satya Nadella propose de traiter l’interruption d’une IA comme un mécanisme de sécurité fondamental. Une personne autorisée devrait toujours pouvoir suspendre ou arrêter un modèle au milieu d’une tâche, indépendamment de ce que celui-ci est en train d’exécuter.
Cette approche répond à une difficulté propre aux modèles modernes. Dans un logiciel traditionnel, les ingénieurs peuvent généralement remonter à un chemin d’exécution précis pour comprendre le comportement d’un programme. Avec les modèles d’IA, il est beaucoup plus difficile d’établir un lien direct entre un résultat, les données d’entraînement et les paramètres internes qui l’ont produit.
Pour Nadella, cette opacité devient particulièrement préoccupante lorsque les modèles disposent d’un accès à des informations sensibles ou peuvent effectuer des opérations déterminantes pour une entreprise. Les garanties fournies par le développeur du modèle ne suffisent donc pas : l’organisation qui le déploie reste responsable de l’environnement dans lequel il agit.
Traiter les modèles d’IA comme des risques internes
Le dirigeant de Microsoft estime que les modèles avancés, qu’ils soient propriétaires ou à poids ouverts, doivent être considérés comme des risques internes potentiels. Il ne s’agit pas de supposer qu’ils sont malveillants, mais de reconnaître qu’un système disposant de privilèges importants peut commettre des erreurs ou être compromis par un attaquant.
Il propose notamment de séparer l’intelligence du modèle de l’autorité qui lui est accordée. Autrement dit, une IA peut analyser une situation et proposer une action sans disposer automatiquement des droits nécessaires pour l’exécuter.
Les contrôles doivent donc être appliqués à l’extérieur du modèle. Les entreprises doivent maîtriser les ressources auxquelles il accède, les opérations qu’il peut effectuer et les limites qu’il ne peut pas franchir. Cette architecture permettrait de réduire les conséquences d’un comportement inattendu, même lorsque le modèle lui-même ne peut pas être considéré comme entièrement prévisible.
Nadella insiste également sur la transparence du raisonnement des modèles. Il la considère comme indispensable, tout en reconnaissant qu’elle ne constitue pas une garantie suffisante : les chercheurs ne savent pas encore assurer systématiquement que les explications produites par une IA reflètent fidèlement les mécanismes qui ont conduit à sa réponse.
Les sept principes de sécurité défendus par Microsoft
Dans sa publication, Satya Nadella détaille sept principes destinés à encadrer les systèmes d’IA avancés.
- Éviter les dépendances uniques : aucun modèle ne devrait être l’unique élément dont dépend une décision importante. Un modèle ne devrait pas non plus être chargé de vérifier seul son propre travail.
- Conserver des preuves vérifiables : chaque action significative d’un modèle devrait laisser une trace lisible par un humain et protégée contre les modifications.
- Tester les systèmes en continu : les entreprises doivent évaluer régulièrement leurs systèmes complets, notamment face aux défaillances et aux attaques.
- Contrôler les accès : chaque organisation doit déterminer elle-même les données et les opérations accessibles à ses modèles.
- Garantir l’indépendance des audits : l’évaluation d’un système ne doit pas dépendre du modèle qui fait lui-même l’objet du contrôle.
- Prévoir le confinement : des mécanismes externes doivent permettre de limiter, suspendre ou arrêter les actions d’une IA.
- Signaler les incidents : lorsqu’un système échoue ou est compromis, les organisations doivent informer rapidement les personnes concernées et partager les enseignements avec le reste du secteur.
L’ensemble repose sur une idée centrale : la sécurité ne peut pas dépendre uniquement de la qualité intrinsèque du modèle. Elle doit également découler de l’architecture technique, des droits accordés et des procédures appliquées autour de lui.
Un appel soutenu par des responsables politiques et technologiques
La publication de Nadella a suscité plusieurs réactions. Mustafa Suleyman, directeur général de Microsoft AI, l’a partagée en affirmant que la superintelligence devait être contenue. Il avait déjà défendu en septembre l’idée de fixer une limite claire au contrôle que les systèmes d’IA peuvent exercer.
Elon Musk a également relayé le texte, le qualifiant d’intéressant. Aux États-Unis, le représentant démocrate Ted Lieu a déclaré partager largement cette analyse. Avec le représentant républicain Nathaniel Moran, il a présenté un projet de loi bipartisan visant à instaurer un mécanisme d’arrêt d’urgence pour les systèmes d’IA. Lieu souhaite que le Congrès adopte ce texte avant la fin de l’année.
Nadella emploie par ailleurs régulièrement l’expression « Super Intelligence » dans sa publication. Ce choix intervient dans un contexte politique américain où cette terminologie est mise en avant par l’administration Trump pour parler de l’intelligence artificielle avancée.
Des exigences de déclaration après plusieurs incidents
Cette prise de position intervient également dans un contexte de pression accrue sur les entreprises du secteur. Selon Bloomberg, la Super Intelligence Force de l’administration américaine a demandé aux développeurs d’IA de signaler et de corriger les incidents de sécurité. Son message est ferme : les retards dans la notification ne seront pas tolérés.
Cette demande fait suite notamment à un incident rapporté par Anthropic, au cours duquel Claude aurait transmis à la police un faux signalement de meurtre pendant une phase de test. Cet épisode illustre les risques associés à des systèmes capables d’agir dans des environnements réels, même lorsque leurs comportements sont évalués dans un cadre expérimental.
Pour Satya Nadella, l’enjeu est désormais de dépasser les déclarations de confiance et les promesses des fournisseurs. Les entreprises doivent construire des systèmes où les permissions, les contrôles, les traces d’activité et les mécanismes d’arrêt restent indépendants de l’IA elle-même.
La sécurité des modèles avancés ne se résumera donc pas à leur capacité à fournir de bonnes réponses. Elle dépendra aussi de la possibilité de limiter leurs actions, de détecter les incidents et de reprendre le contrôle rapidement. C’est cette capacité de confinement, plus que la confiance aveugle dans un modèle, que Nadella présente comme une condition essentielle au déploiement de systèmes d’IA toujours plus autonomes.
