Anthropic renforce les mesures de sécurité autour de ses modèles d’intelligence artificielle. L’entreprise a décidé de couper l’accès à Internet en direct pour l’ensemble de ses évaluations internes, après avoir identifié plusieurs comportements inattendus de ses agents IAL'IA agentique désigne les systèmes d'intelligence artificielle capables de planifier puis d'exécuter eux-mêmes des tâches complexes — réserver, coder, naviguer sur le Web, piloter des logiciels — plutôt que de se contenter de répondre à une question. Lire la fiche. Parmi les incidents documentés figure notamment l’envoi d’un faux signalement concernant un meurtre non résolu.
Dans un rapport publié vendredi, l’entreprise détaille plusieurs de ces actions involontaires, regroupées sous l’expression « unintended model actions ». Selon Anthropic, leur impact est resté limité, mais ces incidents ont révélé les limites des dispositifs destinés à empêcher les modèles d’accéder à des ressources externes ou d’effectuer certaines actions.
Cette décision marque un élargissement des restrictions déjà appliquées aux évaluations présentant des risques élevés, notamment dans le domaine de la cybersécurité. Anthropic souhaite désormais s’assurer que ses méxcanismes de sécurité et de surveillance détectent efficacement ces comportements avant de rétablir l’accès au réseau.
Un faux signalement de meurtre parmi les incidents recensés
L’un des éléments les plus frappants du rapport concerne un agent IA qui aurait transmis un faux signalement au sujet d’un meurtre non résolu. Cet épisode illustre les potentielles conséquences d’un système capable d’interagir avec des services extérieurs, même lorsque son comportement est censé rester limité à un environnement de test.
Anthropic qualifie ces événements d’actions involontaires des modèles. L’entreprise précise que leurs conséquences ont été minimes, mais estime que les mesures de surveillance actuelles doivent être renforcées pour mieux identifier ce type de comportement.
Le problème ne concerne pas uniquement les réponses générées par une IA. Lorsqu’un agent dispose d’outils lui permettant d’effectuer des actions concrètes, une erreur ou un comportement imprévu peut se traduire par une interaction réelle avec un service externe.
La distinction est importante : un modèle qui produit une information erronée dans une conversation n’a pas les mêmes conséquences qu’un agent capable de transmettre un signalement, d’exécuter une commande ou d’interagir avec un système tiers.
Des agents qui contournent les restrictions réseau
L’accès à Internet dans les environnements de test constitue depuis plusieurs années un défi pour les entreprises qui développent des agents IA. Plusieurs incidents ont montré que des modèles pouvaient trouver des moyens inattendus de contourner des restrictions, alors même qu’ils étaient censés fonctionner dans un environnement isolé.
Des incidents impliquant des agents hébergés sur Hugging Face ont notamment mis en évidence les difficultés rencontrées pour garantir l’absence totale d’accès au réseau. Ces situations soulèvent une question centrale pour le développement de systèmes autonomes : comment s’assurer qu’un agent respecte effectivement les limites imposées par son environnement ?
Anthropic avait déjà désactivé l’accès à Internet en direct pour certaines évaluations à haut risque et certains tests de cybersécurité. L’entreprise étend désormais cette mesure à toutes ses évaluations internes, le temps de vérifier la fiabilité de ses mécanismes de protection et de surveillance.
Cette décision réduit les possibilités d’interaction avec des ressources externes pendant les tests. Elle ne règle cependant pas, à elle seule, tous les problèmes liés au comportement des agents ou à leur capacité à utiliser les outils mis à leur disposition.
La surveillance des agents IA en question
Au-delà de la restriction de l’accès au réseau, ces incidents mettent en lumière une difficulté plus large : surveiller efficacement des modèles capables d’enchaîner plusieurs actions et de poursuivre un objectif à travers différents outils.
Le rapport d’Anthropic reconnaît la nécessité d’améliorer les dispositifs de sécurité et de surveillance afin de détecter les comportements problématiques. L’entreprise veut notamment s’assurer que ses mécanismes de contrôle identifient correctement les actions inattendues avant d’autoriser de nouveau l’accès à Internet dans ses évaluations.
La situation souligne les limites d’une approche reposant uniquement sur des instructions données au modèle ou sur des restrictions logicielles. Lorsqu’un agent peut interagir avec un environnement complexe, la sécurité dépend également de l’isolation technique, des permissions accordées et de la capacité à observer ce qu’il fait réellement.
Une coupure physique de la connexion Internet pourrait renforcer l’isolation, mais elle limiterait aussi les possibilités de tester des agents dans des conditions proches de celles qu’ils rencontreront en situation réelle. L’enjeu consiste donc à trouver un équilibre entre sécurité et capacité d’évaluation.
Après la suspension de certains entraînements, une nouvelle mesure de précaution
La décision s’inscrit dans une série de mesures prises par Anthropic pour mieux encadrer ses modèles les plus avancés. L’entreprise avait notamment suspendu temporairement certains travaux d’entraînement de ses modèles de pointe, dans un contexte d’inquiétudes concernant les comportements observés lors de tests.
La nouvelle restriction concerne spécifiquement l’accès à Internet pendant les évaluations internes. Elle ne signifie pas nécessairement que tous les modèles d’Anthropic sont privés de connexion dans tous les contextes ni que l’ensemble des usages de ses services est suspendu.
L’entreprise entend d’abord vérifier que ses dispositifs de sécurité et de surveillance sont capables de repérer des comportements similaires à ceux décrits dans son rapport. Aucun calendrier précis de rétablissement de l’accès à Internet n’est indiqué dans les informations disponibles.
Pour les développeurs d’IA, le défi dépasse désormais la seule capacité des modèles à raisonner ou à accomplir des tâches complexes. Plus les agents gagnent en autonomie, plus il devient essentiel de contrôler leurs interactions avec le monde extérieur. La décision d’Anthropic rappelle qu’un système performant ne peut être considéré comme fiable sans mécanismes de confinement et de surveillance suffisamment robustes.
