Aller au contenu principal
BlogNT
Gemini 4 Argon rattrape GPT-6 Astra dans les premiers tests indépendants

Décryptage

Gemini 4 Argon rattrape GPT-6 Astra dans les premiers tests indépendants

Google semble avoir réussi son retour dans le trio de tête de l’intelligence artificielle générative. Les premiers tests indépendants de Gemini 4 Argon le placent au même niveau que GPT-6 Astra, avec un score de 53 sur l’Artificial Analysis Intelligence Index.

Publicité

Le modèle reste toutefois derrière Claude Opus 5.5, qui conserve la première place avec 58 points. Mais, le bond réalisé par Google est spectaculaire : Gemini 4 Argon obtient 23 points de plus que Gemini 3.1 Pro Preview, le précédent modèle de Google situé au-dessus de la gamme Flash.

Google revient dans le trio de tête

Selon Artificial Analysis, Gemini 4 Argon atteint donc 53 points sur son Intelligence Index, exactement comme GPT-6 Astra et un point devant GPT-6.1 Sol. Cette performance place Google à nouveau parmi les trois principaux laboratoires d’IA selon cette évaluation indépendante.

Le résultat est d’autant plus notable que Google n’a pour l’instant rendu Argon accessible qu’à un groupe restreint de spécialistes de la cybersécurité. Les clients payants de l’API et les abonnés Google AI Ultra doivent être les prochains à pouvoir l’utiliser, mais Google n’a pas encore annoncé de date précise.

Publicité

Le classement ne signifie toutefois pas qu’Argon domine systématiquement ses concurrents. Les résultats varient fortement selon les tâches, et certains tests restent clairement favorables aux modèles d’OpenAI ou d’Anthropic.

22ec7dcfcd650f94c75488df4e18620b96d59425 2440x2160 1

Beaucoup moins d’hallucinations

L’un des résultats les plus intéressants concerne les hallucinations. Sur AA-Omniscience, un benchmark consacré aux connaissances factuelles, Gemini 4 Argon affiche un taux d’hallucination de seulement 15 %.

Il s’agit du meilleur résultat parmi les modèles ayant obtenu au moins 45 points sur l’Intelligence Index. À titre de comparaison, GPT-6 Astra atteint 51 % et GPT-6.1 Sol 54 %.

Cependant, Artificial Analysis souligne un compromis important : Argon donne moins souvent une réponse correcte. Son taux de bonnes réponses atteint 50 %, contre 63 % pour GPT-6 Astra. Le modèle semble donc davantage privilégier l’incertitude lorsqu’il ne dispose pas d’une réponse fiable, plutôt que de produire une réponse potentiellement inventée.

C’est une différence importante dans l’usage quotidien d’un modèle d’IA. Un système qui sait reconnaître qu’il ne sait pas peut être plus prévisible dans certains contextes, même si cela implique davantage de réponses sans solution.

Gemini 4 Argon se distingue dans les workflows professionnels

Gemini 4 Argon obtient également son meilleur résultat sur AutomationBench-AA, un benchmark consacré aux workflows réalisés dans des logiciels professionnels. Il atteint 78 %, soit sept points de plus que Claude Sonnet 5.5.

Publicité

784689f8a92161599b7cfa6e3ba0f8889bf5e1ce 2440x1792 1

La situation est différente sur le développement logiciel. Sur Terminal Bench 4, Argon obtient 57 %, derrière Claude Sonnet 5.5 à 64 %, Claude Opus 5.5 à 60 % et GPT-6 Astra à 59 %.

Ces écarts illustrent bien la difficulté de résumer les performances d’un modèle avec un seul score. Argon peut se montrer particulièrement performant dans certaines tâches d’automatisation tout en restant derrière ses concurrents sur des exercices de programmation.

Un modèle gourmand en tokens

Autre particularité de Gemini 4 Argon : sa consommation de tokens est élevée. Artificial Analysis estime qu’il utilise environ 62 000 tokens de sortie par tâche, contre 27 000 pour GPT-6 Astra.

Cette consommation explique en partie pourquoi son coût réel par tâche reste important malgré une tarification de lancement agressive. Avec la remise actuelle, chaque tâche de l’index coûte environ 1,99 dollar, contre 3,26 dollars pour GPT-6 Astra.

Google facture temporairement 2 dollars par million de tokens en entrée et 10 dollars par million en sortie, soit la moitié des tarifs annoncés comme standards. À ces tarifs standards de 4 et 20 dollars, Artificial Analysis estime que le coût par tâche atteindrait environ 3,98 dollars.

Le modèle resterait alors environ 2,7 fois plus cher par tâche que GPT-6.1 Sol. Google n’a pas précisé combien de temps la réduction tarifaire resterait disponible.

Publicité

Premier Gemini à prendre la tête de l’Arena

Les premiers résultats publics ne se limitent pas aux benchmarks classiques. Gemini 4 Argon occupe également la première place du Text Arena, un classement dans lequel les utilisateurs comparent directement les réponses produites par différents modèles.

Argon affiche 1 525 points, soit 20 points de plus que Claude Opus 4.6. Il arrive en revanche seulement huitième dans le classement WebDev d’Arena.

Le modèle devient également le premier Gemini à prendre la tête du Vals Index, avec un score de 68,9 %. Là encore, ces classements mesurent des usages et des préférences différents et ne permettent pas à eux seuls de conclure à une supériorité générale.

Des doutes persistent chez Google

Malgré ces résultats, Gemini 4 Argon ne fait pas l’unanimité en interne. Selon Bloomberg, certains employés de Google considèrent notamment que ses capacités de programmation restent irrégulières et que le modèle n’est pas particulièrement performant en conception front-end.

Des sources citées par Bloomberg estiment également qu’Argon est un modèle particulièrement volumineux, ce qui pourrait rendre son fonctionnement coûteux. Certains employés évoquent même le phénomène de « benchmaxxing », qui désigne une optimisation excessive pour obtenir de meilleurs scores dans les benchmarks plutôt que pour améliorer les performances dans des usages réels.

D’autres employés de Google considèrent au contraire que Gemini 4 a rattrapé une partie de son retard sur ses concurrents. Google conteste l’idée selon laquelle le modèle serait moins performant dans des domaines comme le codage et souligne les déclarations de Koray Kavukcuoglu, responsable de Google DeepMind, qui affirme vouloir maintenir Gemini à la frontière technologique.

Le vrai test sera l’usage réel

Gemini 4 Argon arrive donc avec des signaux particulièrement intéressants, mais aussi plusieurs réserves. Son score global le place au niveau de GPT-6 Astra dans les premiers tests d’Artificial Analysis, tandis que son taux d’hallucination particulièrement faible constitue l’un de ses points les plus remarquables.

À l’inverse, sa consommation de tokens, ses résultats plus mitigés en programmation et son coût aux tarifs standards pourraient limiter certains usages. Le modèle doit désormais passer de benchmarks réalisés dans des conditions contrôlées à une utilisation beaucoup plus large par les développeurs et les utilisateurs de Google AI Ultra.

Google semble avoir clairement réduit l’écart avec OpenAI et Anthropic. Reste à déterminer si Gemini 4 Argon sera simplement un modèle capable d’obtenir d’excellents scores, ou s’il deviendra également un modèle réellement performant, fiable et économiquement viable dans les applications quotidiennes.

Publicité

Retrouvez BlogNT en priorité sur Google

Ajoutez-nous à vos sources préférées : nos analyses et tests remontent en tête de votre fil Google Actualités et de la recherche.

Ajouter BlogNT comme source préférée
Sujets abordés
Décryptage