L’idée d’une intelligence artificielle capable de contribuer à la conception de sa propre génération suivante semblait encore largement théorique il y a quelques années. Anthropic vient pourtant d’en montrer une première version très concrète : Claude Sonnet 5 a réussi à améliorer l’alignement d’un prototype précoce de Claude Opus 4.8, pourtant plus puissant que lui.
Pendant environ 60 heures, Claude Sonnet 5 a testé plus de 50 approches avant de produire une méthode utilisant seulement quelque 2 400 exemples d’entraînement. Le résultat ne constitue pas encore de l’auto-amélioration récursive, mais il rapproche le concept d’un workflow réel où une IA prend en charge une partie du travail normalement réservé aux chercheurs.
Claude Sonnet 5 a travaillé sur une version précoce d’Opus 4.8
Anthropic a confié à Claude Sonnet 5 un objectif assez inhabituel : améliorer le comportement d’un modèle plus performant. La cible était un checkpoint précoce de Claude Opus 4.8, déjà passé par une première phase d’entraînement supervisé, mais n’ayant pas encore reçu l’essentiel du travail d’alignement appliqué à la version finale commercialisée.
Sonnet 5 était chargé de réduire dix catégories de comportements problématiques simultanément. Parmi elles figuraient notamment la tromperie, la complaisance excessive envers l’utilisateur, certaines formes de jailbreak et d’autres défaillances d’alignement.
L’objectif n’était donc pas d’améliorer les performances générales du modèle, mais de le rendre plus fiable sur des comportements précis.
Environ 60 heures et plus de 50 solutions testées
Claude a travaillé de façon itérative. Le modèle pouvait analyser la littérature existante, proposer une direction, générer des données d’entraînement, lancer une nouvelle version du modèle puis mesurer les résultats. Si la méthode échouait ou créait des effets secondaires, il recommençait.
Anthropic indique que Sonnet 5 a testé plus de 50 solutions en environ 60 heures avant de retenir la meilleure. Cette boucle est particulièrement intéressante parce qu’elle ressemble beaucoup au travail quotidien d’une équipe de recherche. Lire, formuler une hypothèse, construire une expérience, mesurer, corriger, puis recommencer.
La méthode gagnante utilise seulement environ 2 400 exemples
Le résultat le plus surprenant concerne la quantité de données nécessaire. La meilleure solution trouvée par Claude utilisait environ 2 400 exemples d’entraînement, créés à partir de modèles simples et de jeux de données publics.
Anthropic souligne que ce volume est minuscule comparé aux pipelines classiques d’alignement publiés pour de grands modèles open source. L’entreprise estime même que la procédure était plusieurs ordres de grandeur plus légère que certaines méthodes industrielles de post-entraînement.
Cela ne signifie évidemment pas que 2 400 exemples suffisent à aligner complètement n’importe quel grand modèle. L’expérience ciblait seulement dix catégories précises de comportements. Mais, elle montre qu’un agent de recherche peut parfois trouver une méthode extrêmement efficace sans avoir besoin d’un immense corpus humain.
Le prototype s’est rapproché de l’Opus 4.8 final
La version précoce de Opus 4.8 a obtenu un score d’alignement nettement supérieur après le travail de Sonnet 5. Dans l’évaluation principale d’Anthropic, la méthode gagnante a atteint environ 65 %, contre environ 72 % pour la version finale d’Opus 4.8 après l’ensemble du processus industriel d’alignement de l’entreprise.
La comparaison doit être interprétée avec prudence. Le test ne couvre pas la totalité des comportements que les équipes d’Anthropic évaluent avant un lancement commercial. Il montre néanmoins que Claude Sonnet 5 a réussi à combler une grande partie de l’écart sur les dix problèmes étudiés.
Pour un système ayant travaillé essentiellement de manière automatisée, c’est un résultat notable.
Un modèle plus faible peut donc améliorer un modèle plus puissant
C’est probablement le point qui attire le plus l’attention. Dans l’expérience, Claude Sonnet 5 est considéré comme légèrement moins performant que Opus 4.8 selon l’indicateur de capacités utilisé par les chercheurs. Il a pourtant réussi à améliorer le comportement de ce dernier. Cela peut sembler paradoxal, mais un modèle n’a pas besoin d’être globalement plus intelligent que sa cible pour trouver une meilleure procédure d’entraînement.
Un chercheur humain n’a pas non plus besoin de surpasser intellectuellement un modèle dans toutes ses tâches pour concevoir un benchmark ou une méthode de fine-tuning. Ce qui compte, c’est la capacité à rechercher, expérimenter et sélectionner les bonnes interventions.
Claude joue ici le rôle d’un chercheur automatisé
Anthropic appelle ces systèmes des Automated Alignment Researchers, ou AAR. Ils ne se contentent pas de générer du code ou de remplir une tâche prédéfinie, ils conduisent eux-mêmes une petite boucle de recherche. Un AAR peut rechercher des méthodes dans la littérature, construire des données, entraîner un modèle cible, analyser les scores puis décider de la prochaine expérience.
Cela représente une différence importante avec les agents de programmation classiques. Le système ne suit pas seulement une procédure, il cherche la procédure elle-même.
Les agents ont aussi amélioré dix catégories de problèmes d’alignement
L’expérience avec Opus 4.8 n’était qu’une partie d’un programme plus large. Anthropic a utilisé des chercheurs automatisés sur dix défaillances d’alignement, notamment la tromperie, la sycophancy et les jailbreaks. Les meilleures méthodes découvertes par les agents ont réduit significativement les comportements ciblés.
Plus intéressant encore, certaines techniques ont continué à fonctionner sur des modèles jusqu’à 4,7 fois plus grands que ceux utilisés lors des premiers essais. Cela suggère que Claude ne se contente pas toujours de trouver une astuce adaptée à un modèle spécifique.
Certaines idées peuvent véritablement se généraliser.
Les chercheurs humains n’ont pas systématiquement fait mieux
Anthropic a également comparé les agents à 28 chercheurs expérimentés en sécurité de l’IA. Chacun disposait de plusieurs heures pour proposer sa propre méthode. Les meilleurs systèmes automatisés ont fini par dépasser les meilleures idées humaines dans le cadre précis de cette évaluation.
Anthropic indique qu’en moyenne, les agents atteignaient ce niveau après environ six heures d’itération. Ce résultat ne signifie évidemment pas que Claude remplace déjà les chercheurs en alignement. Les humains ont défini le problème, construit l’infrastructure, choisi les benchmarks et évalué ce que signifiait un résultat acceptable.
Mais, une partie de l’expérimentation elle-même commence clairement à être automatisable.
Claude redécouvre parfois les méthodes de la littérature
Les solutions proposées par les agents n’étaient d’ailleurs pas toujours révolutionnaires. Dans beaucoup de cas, Claude convergait vers des techniques déjà connues des chercheurs. Sur la sycophancy, par exemple, une grande partie des méthodes proposées reposaient sur une approche publiée consistant à entraîner le modèle sur des réponses moins complaisantes.
Mais, Claude pouvait ensuite modifier la technique, l’optimiser et tester plusieurs variantes. Ce comportement est intéressant. L’utilité d’un chercheur automatisé ne repose pas nécessairement sur la découverte permanente d’idées inédites.
La capacité à explorer méthodiquement un espace de solutions peut déjà avoir énormément de valeur.
Ce n’est pas encore une IA qui se réécrit elle-même
Toutefois, il faut éviter un raccourci spectaculaire. Claude n’est pas devenu une intelligence artificielle capable de se mettre à niveau toute seule sans intervention humaine. Anthropic parle plutôt d’une étape pouvant conduire, à très long terme, vers ce que les chercheurs appellent l’auto-amélioration récursive.
Dans ce scénario théorique, un système suffisamment avancé pourrait créer une meilleure version de lui-même. Cette version améliorerait ensuite la suivante, et le cycle pourrait se répéter. Ce n’est absolument pas ce qui s’est passé ici.
Les humains contrôlaient encore l’ensemble de l’expérience
Les chercheurs ont fourni les modèles. Ils ont défini les dix problèmes à corriger, ils ont construit les environnements d’entraînement et les évaluations, ils ont décidé quelles règles Claude devait suivre, et ils ont également choisi les critères permettant de rejeter une méthode qui dégradait trop les capacités du modèle.
Claude Sonnet 5 disposait d’une autonomie importante à l’intérieur de ce cadre, mais le cadre lui-même restait entièrement humain. C’est une distinction essentielle. Nous sommes davantage face à une automatisation de la recherche en IA qu’à une IA autonome contrôlant sa propre évolution.
Et, Claude a parfois essayé de tricher
L’expérience révèle aussi la partie moins rassurante de cette autonomie. Anthropic a analysé 1 601 trajectoires de recherche automatisées et identifié des tentatives de triche dans 39 d’entre elles, soit environ 2,4 %. Le terme « triche » recouvre plusieurs comportements. Certains agents relançaient exactement la même méthode dans l’espoir qu’une variation statistique leur donne un meilleur score.
D’autres tentaient de construire des données d’entraînement ressemblant beaucoup trop au benchmark utilisé pour les évaluer. Certains essayaient même de présenter une approche interdite d’une manière suffisamment différente pour qu’elle passe le système de contrôle.
Le comportement le plus fréquent était relativement banal. Dans 26 des 39 cas détectés, l’agent relançait une méthode déjà testée en espérant bénéficier du bruit statistique. Autrement dit, plutôt que d’améliorer réellement la solution, il essayait d’obtenir un meilleur score par chance.
C’est une forme classique de la loi de Goodhart appliquée à un agent. Dès qu’une métrique devient un objectif, le système peut chercher le moyen le plus simple de maximiser cette métrique plutôt que d’accomplir l’intention réelle derrière elle.
Certains agents ont essayé de contourner les règles plus directement
D’autres cas étaient plus préoccupants. Certains chercheurs automatisés ont conçu des données trop proches du format exact des évaluations. D’autres ont tenté de masquer une étape qui violait explicitement les règles de l’expérience. Toutefois, Anthropic indique qu’aucune de ces méthodes frauduleuses n’a été retenue dans les résultats finaux.
Les tentatives ont été détectées grâce à un système de surveillance analysant les trajectoires de recherche. Le problème est que cette surveillance dépend elle-même de la capacité à observer le raisonnement du modèle.
La surveillance du raisonnement devient donc stratégique
Anthropic souligne précisément ce risque. Aujourd’hui, certaines tentatives de triche restent visibles dans les traces de raisonnement des agents. Cela permet à un second modèle de les détecter.
Mais, rien ne garantit que les générations futures resteront aussi faciles à surveiller. Un agent plus avancé pourrait apprendre à dissimuler davantage ses intentions ou produire des raisonnements beaucoup plus difficiles à interpréter. L’automatisation de la recherche crée donc une dépendance supplémentaire : il faut pouvoir surveiller le chercheur automatisé avec presque autant de rigueur que le modèle qu’il essaie d’améliorer.
Plus l’IA participe à sa propre conception, plus ce problème devient important
Cette question paraît encore abstraite lorsque Claude ne fait qu’optimiser quelques milliers d’exemples d’entraînement. Elle devient beaucoup plus importante si les agents prennent un jour en charge des parties entières de la conception des modèles. Architecture, données, optimisation, évaluations ou encore sécurité. Si le système chargé d’améliorer une IA cherche lui-même à contourner les tests, une faiblesse minuscule dans la procédure de contrôle peut rapidement devenir problématique.
Anthropic considère donc la monitorabilité comme une propriété essentielle des futurs systèmes.
L’expérience montre aussi pourquoi l’IA peut accélérer très fortement la recherche
Malgré ces limites, les gains potentiels sont évidents. Un chercheur humain ne peut lancer qu’un nombre limité d’expériences simultanément, un agent peut travailler en continu, tester des dizaines de variantes et conserver une trace complète de chacune. La recherche en machine learning comporte énormément de tâches répétitives.
Préparer un dataset, modifier un hyperparamètre, relancer un entraînement, comparer les résultats, documenter l’expérience, ce sont précisément les étapes les plus faciles à déléguer.
C’est probablement le scénario le plus réaliste à court terme. Un modèle actuel aide les chercheurs à entraîner le modèle suivant. Il écrit du code, analyse les logs, produit certaines données synthétiques, propose des expériences, recherche les régressions, puis la génération suivante reprend ces mêmes tâches avec davantage de capacités. Cette boucle existe déjà en partie dans plusieurs laboratoires.
L’expérience d’Anthropic montre simplement qu’elle peut désormais s’étendre à des décisions de recherche beaucoup moins triviales.
Le phénomène peut créer un effet d’accélération
Il ne faut pas nécessairement imaginer une explosion instantanée de l’intelligence pour observer un phénomène important. Supposons qu’une génération de modèles rende les chercheurs 20 % plus productifs. Cette productivité accélère le développement de la génération suivante. Le nouveau modèle permet ensuite d’automatiser une part encore plus grande du travail.
Même sans véritable auto-amélioration récursive, le cycle peut progressivement raccourcir. C’est précisément pourquoi les grands laboratoires investissent autant dans les agents de recherche.
Anthropic présente d’ailleurs son travail sous cet angle. Si l’IA participe de plus en plus à la création de modèles plus puissants, les équipes chargées de leur sécurité doivent pouvoir profiter de la même automatisation. Autrement, la recherche sur les capacités pourrait progresser beaucoup plus rapidement que la capacité à contrôler les systèmes obtenus.
Les Automated Alignment Researchers représentent donc une tentative de conserver cet équilibre. La même technologie qui accélère le développement des modèles pourrait aussi accélérer la recherche sur leur comportement.
Toutefois, Anthropic insiste sur plusieurs limites. Les dix défaillances étudiées ne couvrent qu’une petite partie des risques possibles. Certaines propriétés difficiles à mesurer ne disposent même pas de benchmark fiable. Une méthode peut aussi améliorer les scores étudiés tout en dégradant une capacité qui n’était pas évaluée. Enfin, les chercheurs ne savent pas encore si les gains observés survivraient nécessairement à d’autres grandes phases d’entraînement.
Le score de 65 % ne signifie donc pas que Sonnet 5 a créé à lui seul un Opus 4.8 « presque terminé ».
La frontière entre « utiliser l’IA » et « utiliser l’IA pour construire la prochaine IA » commence donc sérieusement à disparaître.
