Le lancement de GPT-6 Astra s’est accompagné d’un chiffre spectaculaire : 99,9 % sur ARC-AGI-3, un benchmark conçu pour mesurer certaines capacités de raisonnement abstrait. Mais, derrière cette performance se cache une nuance essentielle. Exécuté avec le logiciel standard du benchmark, le même modèle tombe à 62,7 %.
L’écart ne vient ni d’un changement de modèle ni d’une différence marginale dans le protocole. Il provient du harness, c’est-à-dire de toute la couche logicielle qui entoure le modèle : gestion du contexte, mémoire, outils disponibles et manière dont les requêtes successives sont orchestrées. Une distinction technique qui devient aujourd’hui centrale pour comprendre ce que mesurent réellement les benchmarks d’IA.
99,9 % avec l’adaptateur OpenAI, 62,7 % avec le harness standard
ARC Prize a évalué Astra selon deux configurations. La première utilise son harness standard, conçu pour donner aux différents modèles une interface minimale comparable. Dans cette configuration de harness minimal, GPT-6 Astra atteint 62,7 % à son niveau maximal de raisonnement, pour un coût total annoncé de 26 098 dollars.
La seconde repose sur le Provider Adapter d’OpenAI, qui conserve davantage d’état interne entre les requêtes et compacte les conversations longues. Avec cette architecture, GPT-6 Astra grimpe à 99,9 %, tout en coûtant moins cher, environ 18 817 dollars.
La différence est donc considérable.
Encore plus révélateur : avec le raisonnement réglé sur « none » dans l’adaptateur OpenAI, Astra atteint malgré tout 96,7 %. Autrement dit, la qualité de la couche d’orchestration semble ici avoir davantage d’impact que le niveau de raisonnement lui-même.
Le harness n’est plus un simple détail d’évaluation
Le terme peut sembler secondaire, mais il décrit désormais une partie essentielle des systèmes IA modernes. Un harness décide quels outils un modèle peut appeler, quelles informations sont conservées entre plusieurs étapes, comment son contexte est résumé et dans quelle mesure il peut réutiliser un état précédent. Deux exécutions reposant sur les mêmes poids peuvent donc produire des résultats très différents.
C’est précisément ce qui apparaît avec Astra. Sur les 167 paires de tâches examinées par ARC Prize, l’adaptateur OpenAI aurait utilisé environ 49 % de tokens en moins tout en étant près de 3,7 fois plus rapide.
La conclusion devient difficile à éviter : dans certains benchmarks, la performance ne mesure plus seulement le modèle, mais l’ensemble du système logiciel construit autour de lui.
Le problème vient surtout de la comparaison avec GPT-5.6 Sol
Le chiffre de 99,9 % a été largement comparé au score de 7,8 % de GPT-5.6 Sol. Or les deux résultats ne proviennent pas du même environnement. GPT-6 Astra a obtenu ses 99,9 % avec le Provider Adapter d’OpenAI, tandis que Sol avait été testé avec le harness standard d’ARC Prize. La comparaison la plus propre serait donc plutôt 62,7 % contre 7,8 %.
Le progrès reste spectaculaire. Astra surpasse très largement Sol dans cette configuration à conditions comparables. Mais, l’écart est beaucoup moins absolu que ne le laisse penser un face-à-face entre 99,9 % et 7,8 %.
Cette nuance est particulièrement importante lorsque ces résultats servent ensuite à soutenir des affirmations plus larges sur l’intelligence générale artificielle.
ARC Prize refuse justement de qualifier Astra d’AGI
ARC Prize lui-même a pris soin de ne pas tirer cette conclusion. L’organisation a explicitement indiqué qu’elle ne considère pas ce résultat comme une démonstration de l’AGI, son cofondateur Mike Knoop estimant que les éléments disponibles restent insuffisants pour aller aussi loin.
Cette prudence est logique. ARC-AGI-3 mesure un ensemble précis de tâches de raisonnement. Même un score quasi parfait n’implique pas automatiquement une maîtrise générale de tous les domaines cognitifs, ni une autonomie équivalente à celle d’un humain dans des environnements ouverts.
À l’avenir, ARC Prize prévoit d’ailleurs de publier systématiquement les scores obtenus avec les différents harness côte à côte, afin de rendre cette distinction beaucoup plus visible.
Les scores ont aussi évolué après publication
Le débat ne s’arrête pas au harness. Plusieurs métriques publiées lors du lancement auraient changé après la mise en ligne initiale. Certaines valeurs auraient été corrigées dans les heures suivantes, parfois dans un sens favorable à Astra, parfois non. Le taux d’hallucination d’Astra aurait notamment été affiché à 4,2 %, puis à 2 %, avant de revenir à 4,2 %. Plusieurs scores concernant des modèles Anthropic ou GPT-5.6 Sol auraient eux aussi été ajustés.
OpenAI aurait expliqué que ce type de variation peut venir du checkpoint utilisé, du scaffold, de la configuration ou simplement du bruit statistique propre à l’évaluation.
Ces explications sont plausibles, mais elles soulignent un problème plus général : les benchmarks de modèles avancés deviennent de moins en moins comparables lorsqu’ils reposent sur des environnements très différents ou des chiffres susceptibles d’évoluer après publication.
Le spectre du « benchmaxxing »
Deux chercheurs de Stanford, Anka Reuel et Mike Hardy, utilisent le terme benchmaxxing pour décrire une pratique consistant à multiplier les configurations jusqu’à obtenir le meilleur score possible. Cela ne signifie pas nécessairement qu’un laboratoire manipule volontairement les résultats. Dans une phase de lancement, il est normal que modèles, checkpoints, outils et paramètres évoluent jusqu’au dernier moment.
Mais, le risque devient réel lorsque seul le meilleur résultat est mis en avant sans que les conditions exactes soient aussi visibles que le score. L’enjeu n’est donc pas d’interdire l’optimisation. Au contraire, un laboratoire a tout intérêt à améliorer son harness s’il permet au modèle d’être plus rapide, moins coûteux et plus efficace. Le problème apparaît lorsque l’on compare ensuite ce système optimisé à un concurrent évalué avec une configuration beaucoup plus minimale.
Dans ce cas, le benchmark mesure autant l’ingénierie d’orchestration que l’intelligence intrinsèque du modèle.
Les tests indépendants donnent une image plus nuancée
Les évaluations menées par Artificial Analysis montrent justement un tableau moins spectaculaire. Sur son Coding Agent Index, Astra atteindrait un score de 67, au niveau de Claude Opus 5 et Fable 5, tandis que Fable 5.1 resterait devant avec 70. Sur son Intelligence Index, Astra serait évalué à 61, soit le même score que le modèle qu’il remplace, et derrière plusieurs concurrents selon cette méthodologie.
Le modèle afficherait malgré tout des progrès réels sur certains axes : baisse du taux d’hallucination sur des benchmarks spécifiques et amélioration sur des tâches de connaissance à horizon long. D’autres domaines montreraient en revanche des régressions, notamment sur certaines tâches économiques, du support bancaire, du Python scientifique ou du raisonnement en contexte long.
Autrement dit, Astra semble extrêmement fort sur certains axes, mais le tableau global reste bien plus contrasté qu’un score unique de 99,9 %.
Une question de plus en plus importante : teste-t-on un modèle ou un système ?
C’est probablement le point le plus important de toute cette controverse. Les modèles modernes sont rarement utilisés seuls. Ils fonctionnent avec des outils, de la mémoire, des agents spécialisés, des systèmes de récupération de contexte et des mécanismes de compression ou de planification. Anthropic, Google, Microsoft, Nvidia et OpenAI investissent tous massivement dans ces couches logicielles.
Et, ces couches commencent à avoir une influence considérable sur les résultats. Un modèle moyen entouré d’un très bon système peut parfois dépasser un modèle plus puissant utilisé dans un environnement minimaliste. C’est précisément ce que les benchmarks commencent à révéler.
Le harness devient donc progressivement une partie du produit.
La performance réelle devient plus difficile à isoler
Cette évolution complique profondément la lecture des benchmarks. Jusqu’ici, le modèle était souvent considéré comme l’unité principale de comparaison. On évaluait ChatGPT contre Claude, Gemini contre Llama, puis on comparait les scores.
Mais, cette logique fonctionne de moins en moins. Si un modèle est utilisé avec un contexte persistant, un autre avec des outils supplémentaires et un troisième avec un système de mémoire spécialisé, le score final reflète un assemblage complet plutôt qu’un simple réseau neuronal. Cela ne rend pas le résultat inutile. Au contraire, dans un usage réel, c’est bien la performance du système final qui intéresse l’utilisateur.
Mais il faut alors être clair sur ce qui est comparé.
Astra reste impressionnant, mais le score de 99,9 % raconte seulement une partie de l’histoire
Même dans le harness standard, passer de 7,8 % avec GPT-5.6 Sol à 62,7 % avec Astra constitue une progression majeure. Il n’est donc pas nécessaire d’utiliser le score de 99,9 % pour reconnaître que le nouveau modèle représente un saut important sur ARC-AGI-3.
Le problème vient plutôt de la manière dont ce chiffre peut être interprété. Pris isolément, 99,9 % donne l’impression d’un benchmark quasiment résolu par le modèle lui-même. Dans les faits, cette performance dépend fortement d’une architecture logicielle optimisée autour de lui. Cela ne diminue pas l’importance du résultat ; cela change simplement sa signification.
La prochaine étape de l’évaluation de l’IA sera donc probablement moins spectaculaire, mais beaucoup plus rigoureuse : ne plus demander seulement « quel modèle est le meilleur ? », mais aussi « avec quel harness, quels outils, quel contexte, quel coût et quelles règles d’exécution ? ».
Parce qu’à mesure que les systèmes deviennent plus complexes, la frontière entre le modèle et le produit disparaît. Et c’est précisément cette frontière que le score d’Astra vient de rendre impossible à ignorer.
