Intelligence Artificielle

Meta fait face à des accusations selon lesquelles la société aurait manipulé les résultats de benchmarks pour son modèle d’intelligence artificielle Llama 4 Maverick. Ce modèle a atteint un score ELO impressionnant de 1 417 sur Chatbot Arena, surpassant des modèles concurrents tels que GPT-4o et Gemini 2.0 Pro.

Un utilisateur se présentant comme un ancien employé de Meta a affirmé que la direction de l’entreprise aurait intégré des ensembles de tests de divers benchmarks dans le processus de post-entraînement pour gonfler les scores et atteindre des objectifs internes. Cet individu aurait démissionné en raison de ces pratiques, jugeant cette approche inacceptable.

Ahmad Al-Dahle, vice-président de la division Générative AI chez Meta, a fermement nié ces allégations, déclarant que l’entreprise n’a pas entraîné ses modèles sur des ensembles de tests et ne le ferait jamais.

Il a suggéré que les variations de qualité observées pourraient être dues à la nécessité de stabiliser les implémentations.

LMSYS, l’organisation derrière le classement Chatbot Arena, a précisé que le modèle soumis par Meta, nommé « Llama-4-Maverick-03-26-Experimental », était une variante personnalisée optimisée pour les préférences humaines. LMSYS a reconnu que cette information n’avait pas été suffisamment clarifiée par l’équipe de Meta et a annoncé une mise à jour de ses politiques pour renforcer la transparence des évaluations.

Pas simplement Llama 4 : Précédents incidents chez Meta

Ce n’est pas la première fois que Meta est accusée de manipuler des benchmarks. En février, une étude a révélé que plus de 50 % des échantillons de tests de certains benchmarks clés étaient présents dans les données d’entraînement de Llama 1, soulevant des préoccupations quant à la fiabilité des évaluations de performance.

Ces événements soulignent l’importance d’une transparence accrue dans les processus d’évaluation des modèles d’intelligence artificielle pour maintenir la confiance de la communauté scientifique et des utilisateurs.

Après 4 mois d’attente, Meta a sorti une nouvelle série de modèles Llama 4 open-weight. Les nouveaux modèles d’IA sont Llama 4 Scout, Llama 4 Maverick et Llama 4 Behemoth. Contrairement aux précédents modèles denses, Meta a opté cette fois pour l’architecture MoE (Mixture of Experts), tout comme DeepSeek R1 et V3. Tous les modèles Llama 4 sont nativement multimodaux.

Tout d’abord, le plus petit modèle Llama 4 Scout a un total de 109B paramètres avec 16 experts, mais seulement 17B paramètres sont actifs à la fois. Il prend également en charge une longueur de contexte massive de 10 millions de tokens. Meta affirme que le Llama 4 Scout (17B) offre de meilleures performances que Gemma 3, Mistral 3.1 et Gemini 2.0 Flash Lite.

Ensuite, le modèle Llama 4 Maverick apporte un total de 400B paramètres avec 128 experts supplémentaires, mais là encore, seuls 17B paramètres sont actifs. Ce modèle est plus performant que le Llama 4 Scout, car il dispose de beaucoup plus de modèles experts spécialisés. La longueur du contexte est de 1 million de jetons. Meta affirme que le Llama 4 Maverick bat le GPT-4o d’OpenAI et le Gemini 2.0 Flash de Google.

L’aspect impressionnant du Llama 4 Maverick est qu’avec seulement 17B paramètres actifs, il a obtenu un score ELO de 1 417 sur le tableau de classement de LMArena. Cela place le modèle Maverick en deuxième position, juste derrière Gemini 2.5 Pro, et au-dessus de Grok 3, GPT-4o, GPT-4.5, et d’autres. Il obtient également des résultats comparables à ceux du dernier modèle DeepSeek V3 pour les tâches de raisonnement et de codage, et étonnamment, avec seulement la moitié des paramètres actifs.

Meta a réalisé un travail remarquable en distillant les modèles Llama 4 Scout et Maverick à partir du plus grand modèle Llama 4 Behemoth. Le modèle d’IA Llama 4 Behemoth est formé sur un total de 2 billions de paramètres, mais seulement 288 milliards de paramètres sont actifs parmi les 16 experts. Meta indique que Behemoth est encore en cours d’entraînement et que de plus amples informations sur sa sortie seront communiquées ultérieurement.

Llama 4 Behemoth, le modèle ultime !

Meta affirme que le Llama 4 Behemoth bat les plus grands modèles d’IA tels que GPT-4.5, Claude 3.7 Sonnet et Gemini 2,0 Pro sur les benchmarks STEM. Notez que ces modèles ne sont pas des modèles de raisonnement, Meta peut donc obtenir des performances encore meilleures avec les futurs modèles de raisonnement en utilisant les modèles de base de la série Llama 4.

En ce qui concerne la disponibilité, Meta indique que Llama 4 est déployé sur Meta AI dans WhatsApp, Messenger, Instagram et sur le site Web de Meta AI, à partir d’aujourd’hui dans 40 pays. Cependant, les fonctionnalités multimodales ne sont actuellement disponibles qu’aux États-Unis. Les deux nouveaux modèles, également disponibles en téléchargement sur Meta ou Hugging Face.

Comme pour ses précédents modèles, Meta qualifie la collection Llama 4 d’« open source », bien que Llama ait été critiqué pour ses restrictions de licence. Par exemple, la licence Llama 4 exige que les entités commerciales comptant plus de 700 millions d’utilisateurs actifs mensuels demandent l’autorisation de Meta avant d’utiliser ses modèles, ce qui, selon l’Open Source Initiative en 2023, les exclut de la catégorie « Open Source » ».