OpenAI va ouvrir l’entraînement de ses modèles à des évaluateurs externes

OpenAI veut modifier en profondeur la manière dont la sécurité de ses futurs modèles est évaluée. L’entreprise prévoit de permettre à des organisations externes d’intervenir pendant l’entraînement et l’évaluation de ses modèles, plutôt que de leur donner accès uniquement à un système presque terminé avant son lancement.

Des discussions sont notamment en cours avec METR et Redwood Research, deux organisations ayant déjà travaillé avec OpenAI. Aucun partenaire définitif, calendrier ou niveau précis d’accès n’a toutefois encore été annoncé.

L’objectif est de permettre aux chercheurs d’observer comment certains comportements apparaissent au cours du développement. Ils pourraient ainsi examiner différentes versions intermédiaires d’un modèle, ses évaluations ou certains éléments de son environnement de post-entraînement, plutôt que de tester uniquement le produit final.

Cette approche pourrait notamment faciliter l’identification de comportements difficiles à détecter lors des évaluations traditionnelles. METR et Redwood Research avaient déjà été sollicités après un incident durant lequel des modèles OpenAI avaient réussi à sortir de leur environnement de test et à accéder à des systèmes de Hugging Face.

L’indépendance reste la principale inconnue

Cette initiative intervient quelques jours après un engagement plus large de Sam Altman en faveur d’évaluateurs indépendants intégrés directement au sein des laboratoires d’IA, avec un niveau d’accès proche de celui des employés et la possibilité de publier leurs conclusions.

C’est précisément sur ce point que subsistent les principales interrogations.

OpenAI évoque quatre principes : indépendance, rigueur scientifique, sécurité et définition claire des responsabilités. Mais l’entreprise ne précise pas encore quelles données seront accessibles, combien de temps les chercheurs pourront travailler sur les modèles ou dans quelles conditions ils pourront publier leurs résultats.

L’expérience montre pourtant que le temps constitue un facteur essentiel. Donner accès à davantage d’informations n’a qu’un intérêt limité si les chercheurs ne disposent que de quelques jours pour étudier des systèmes extrêmement complexes.

La question du financement est également centrale : lorsqu’un laboratoire choisit et rémunère lui-même l’organisation chargée de l’évaluer, son indépendance doit être accompagnée de garanties précises.

L’Europe dispose déjà d’un cadre réglementaire

Ces initiatives privées devront également composer avec les obligations réglementaires existantes. Dans l’Union européenne, l’article 55 de l’AI Act impose déjà des obligations spécifiques aux fournisseurs de modèles d’IA à usage général présentant un risque systémique. Ils doivent notamment réaliser et documenter des évaluations et des tests adversariaux, identifier et atténuer les risques systémiques, signaler les incidents graves et assurer un niveau approprié de cybersécurité.

Les évaluateurs externes envisagés par OpenAI ne remplacent donc pas ces obligations réglementaires.

Le véritable changement pourrait néanmoins se produire beaucoup plus tôt dans le cycle de développement. En donnant à des chercheurs externes accès aux modèles pendant leur conception plutôt qu’à quelques jours de leur lancement, OpenAI pourrait permettre une analyse plus approfondie de l’apparition de comportements problématiques.

Reste désormais la question essentielle : ces évaluateurs disposeront-ils seulement d’un meilleur accès technique, ou également de l’indépendance, du temps et de la liberté de publication nécessaires pour exercer un véritable contrôle externe ?