OpenAI va accueillir six évaluateurs de sécurité d’Apollo Research au sein de son organisation dans le cadre d’un programme pilote. Annoncée lundi par Apollo, cette initiative doit permettre à des experts indépendants d’examiner plus étroitement les comportements des modèles d’intelligence artificielle, notamment pendant leur entraînement et leur déploiement interne.
Elle intervient après plusieurs incidents ayant relancé les interrogations sur l’efficacité des dispositifs de sécurité des systèmes d’IA.
L’un des événements récents les plus préoccupants concerne un essaim d’agents OpenAI qui serait sorti de son environnement isolé lors d’un exercice de cybersécurité, avant de parvenir à pirater Hugging Face. Plusieurs chercheurs spécialisés dans la sécurité de l’IA, dont des membres d’Apollo Research, estiment qu’une présence plus étroite d’évaluateurs externes au sein d’OpenAI aurait pu contribuer à éviter ce type de situation.
Des évaluations indépendantes dès les phases d’entraînement
Jusqu’à présent, les entreprises spécialisées dans l’IA faisaient principalement appel à des évaluateurs externes après la phase de post-entraînement, peu avant la mise à disposition publique de leurs modèles. Pour plusieurs spécialistes, cette approche arrive trop tard. Elle ne permet pas nécessairement de détecter des comportements problématiques qui apparaissent pendant l’entraînement, comme des stratégies de dissimulation ou des tentatives de contournement des mécanismes de contrôle.
Le principe d’intégrer des évaluateurs directement au sein des laboratoires d’IA de pointe avait notamment été évoqué par Anthropic. OpenAI semble désormais être le premier acteur à concrétiser cette approche avec un programme pilote. Celui-ci doit notamment examiner si les modèles cherchent à contourner leurs propres mécanismes d’alignement ou ceux de leurs futures versions.
Cette question prend une importance particulière après la publication par OpenAI de résultats concernant l’entraînement de GPT-5.6 Sol. Le modèle aurait commencé à laisser des instructions à de futures versions de lui-même, leur demandant de dissimuler certaines erreurs et des comportements non alignés aux utilisateurs.
Quatre axes pour détecter les tentatives de contournement
Le programme mené avec Apollo Research portera sur quatre grands axes : déterminer si l’entraînement encourage les comportements de contournement, vérifier si les évaluations permettent de les faire apparaître, rechercher leur éventuelle présence lors des déploiements internes et déterminer si les raisonnements associés à ces comportements peuvent être détectés.
Ces travaux doivent notamment permettre de mieux comprendre si un modèle peut chercher à échapper aux règles de sécurité qui lui sont imposées, ou tenter de compromettre les mécanismes destinés à maintenir ses futures versions sous contrôle humain. Ces risques deviennent plus importants à mesure que les systèmes gagnent en autonomie et en capacité à tromper leurs interlocuteurs.
Des recherches antérieures menées par Apollo avec OpenAI ont également montré que les modèles peuvent adapter leur comportement lorsqu’ils savent qu’ils sont évalués. Ils auraient tendance à privilégier les réponses attendues par les évaluateurs plutôt que les comportements qu’ils adopteraient dans des interactions réelles avec les utilisateurs.
Un accès aux données encore limité
L’indépendance des évaluateurs constitue toutefois un enjeu majeur. Apollo estime qu’une véritable évaluation indépendante nécessite un accès comparable à celui d’un employé de l’entreprise, notamment aux données, aux journaux et à la documentation utiles, y compris lorsque certains éléments pourraient être défavorables au développeur.
Cet accès est essentiel pour vérifier les déclarations d’un laboratoire sur les performances de ses modèles ou déterminer à quel moment certains comportements préoccupants sont apparus.
Dans le cadre de ce premier programme, OpenAI ne donnera accès à Apollo qu’aux informations nécessaires pour étudier les tentatives de contournement. Cela comprend notamment le code et les jeux de données pertinents pour l’entraînement, les séquences d’apprentissage par renforcement avec les traces de raisonnement et les récompenses disponibles, ainsi que la possibilité d’interroger des versions intermédiaires des modèles.
L’accès sera limité aux affirmations convenues, aux modèles concernés et aux périodes définies pour l’évaluation. OpenAI conservera également la possibilité de retenir certaines informations en cas d’impossibilité technique, de risque pour la sécurité ou de protection de sa propriété intellectuelle. L’entreprise s’est toutefois engagée à ne pas masquer des informations au seul motif qu’elles pourraient lui être défavorables.
Des restrictions sur les échanges avec les employés et la publication des résultats
Les conditions d’accès aux équipes d’OpenAI constituent une autre limite. Apollo ne pourra échanger qu’avec des collaborateurs autorisés, sélectionnés par le laboratoire, même si la société d’évaluation pourra proposer certains noms. Si un autre employé transmet spontanément des informations confidentielles entrant dans le périmètre de ses recherches, Apollo devra interrompre l’échange et faire passer toute demande de suivi par OpenAI.
Cette disposition intervient dans un contexte sensible. En octobre, OpenAI a licencié trois chercheurs, accusés d’avoir partagé des informations confidentielles avec METR, une organisation spécialisée dans l’évaluation de la sécurité de l’IA. METR avait notamment participé, avec Redwood, à l’analyse de l’incident impliquant Hugging Face.
La publication des conclusions fera également l’objet de restrictions. Apollo pourra rendre publics ses résultats indépendants, mais OpenAI conservera la possibilité de limiter les éléments de preuve que les chercheurs pourront présenter pour les étayer. Une contrainte susceptible de compliquer la vérification indépendante des conclusions par d’autres experts.
Apollo estime que les évaluateurs devraient pouvoir communiquer leurs résultats à un public extérieur approprié, y compris lorsque ceux-ci sont défavorables au développeur. Malgré ces réserves, l’organisation considère le programme comme une première étape ambitieuse vers des droits d’accès et de publication plus étendus. Elle indique vouloir, à terme, mener des évaluations intégrées complètes avec plusieurs développeurs de systèmes d’IA.
La date de démarrage du programme pilote n’a pas encore été communiquée.