Alibaba continue d’accélérer sur les modèles ouverts avec Qwen3.8-Flash-Next, un nouveau modèle multimodal Mixture-of-Experts pensé comme un aperçu avancé de l’architecture qui servira de base à Qwen4.
Sur le papier, la recette est ambitieuse : 125 milliards de paramètres pour le modèle principal, 51 milliards supplémentaires consacrés aux N-gram Embeddings, mais seulement 6 milliards de paramètres activés par token. Qwen affirme surtout avoir réduit drastiquement le coût d’entraînement tout en améliorant les performances sur certaines tâches de code et de bureautique.
Qwen3.8-Flash-Next, un avant-goût de Qwen4
Qwen présente clairement Qwen3.8-Flash-Next comme un modèle de transition. Le précédent Qwen3-Next avait déjà servi de laboratoire pour plusieurs idées architecturales reprises ensuite dans les générations Qwen3.5 à Qwen3.8.
La logique se répète ici.
Qwen3.8-Flash-Next introduit plusieurs briques que l’équipe prévoit d’utiliser et d’affiner pour la future famille Qwen4. L’intérêt dépasse donc les performances immédiates du modèle : Alibaba cherche surtout à exposer très tôt ses choix d’architecture afin de permettre à la communauté de les tester avant la prochaine génération majeure.
125 milliards de paramètres, mais seulement 6 milliards activés
Le modèle principal compte 125 milliards de paramètres. À cela s’ajoutent 51 milliards de paramètres N-gram Embedding. La particularité vient du fonctionnement MoE, ou Mixture-of-Experts. Qwen3.8-Flash-Next ne mobilise qu’environ 6 milliards de paramètres par token, ce qui permet de conserver une très grande capacité globale sans supporter à chaque étape le coût de calcul d’un modèle dense de taille équivalente.
C’est précisément ce qui permet à Qwen de viser un meilleur compromis entre puissance et coût.
Selon l’équipe, l’entraînement nécessiterait environ 9 fois moins de calcul que Qwen3.7-Plus, tout en obtenant de meilleurs résultats sur plusieurs usages liés au code et aux tâches bureautiques. Ces gains restent des chiffres fournis par Qwen et devront naturellement être confrontés aux évaluations indépendantes.
GDN et QSA remplacent l’attention classique partout où c’est possible
Le changement le plus important concerne l’attention. Qwen3.8-Flash-Next repose sur une architecture hybride combinant Gated DeltaNet, ou GDN, et Qwen Sparse Attention, ou QSA. Trois couches sur quatre utilisent GDN. Son rôle est de compresser l’historique de la conversation dans un état de taille fixe, au lieu de recalculer en permanence l’ensemble du contexte. La quatrième couche utilise une attention globale capable de rechercher précisément une information dans la totalité du contexte.
Cette combinaison permet de limiter le coût des longues séquences sans perdre complètement la capacité de revenir chercher un détail ancien.
QSA réduit le coût du contexte long
Le traditionnel problème de l’attention complète est bien connu. Plus le contexte s’allonge, plus le coût de calcul et la taille du KV cache augmentent. QSA essaie de réduire cette croissance. Plutôt que d’analyser tous les tokens individuellement, un indexeur léger découpe la séquence en micro-blocs, estime leur importance puis sélectionne uniquement les régions pertinentes pour l’attention globale.
L’architecture compresse donc le processus de recherche lui-même.
Qwen insiste sur le fait que cette compression est réalisée indépendamment dans chaque couche, ce qui la rend particulièrement adaptée à son architecture hybride où GDN et attention sont intercalés.
Jusqu’à 7,6 fois plus rapide en prefill sur un million de tokens
Les gains annoncés sont particulièrement impressionnants sur les contextes extrêmes. Avec une fenêtre de 1 million de tokens, Qwen indique que le kernel QSA peut atteindre jusqu’à 7,6 fois plus de vitesse en prefill et 4,9 fois en decode.
Dans un scénario de service en ligne avec 90 % de Prefix Cache hit rate, Qwen3.8-Flash-Next atteindrait même 8,6 fois le débit de prefill de Qwen3.7-Plus.
Ce type d’amélioration devient stratégique pour les agents. Les workflows modernes peuvent accumuler d’immenses historiques de conversations, des documents, du code, des résultats d’outils et des étapes de raisonnement. Réduire le coût de cette mémoire longue peut donc avoir autant d’importance que d’augmenter les performances brutes du modèle.
Une fenêtre native de 262 144 tokens
Le modèle prend en charge 262 144 tokens nativement. Cette capacité peut être étendue jusqu’à 1 million de tokens avec YaRN. La version hébergée sur QwenCloud propose directement ce contexte d’un million de tokens par défaut.
Cela place Qwen3.8-Flash-Next dans la catégorie des modèles conçus pour des workflows longs : gros dépôts de code, dossiers documentaires complets ou agents capables de conserver un historique important.
Dans ce type de scénario, l’efficacité du mécanisme d’attention devient beaucoup plus importante qu’avec un simple chatbot fonctionnant sur quelques milliers de tokens.
Gated Residual ajoute quatre voies parallèles
Qwen modifie également la structure résiduelle du réseau avec Gated Residual, ou GR. Au lieu de conserver une seule branche résiduelle, GR élargit le flux en quatre branches parallèles. Un mécanisme de gating dynamique contrôle ensuite quelles informations sont lues ou écrites dans chaque branche. Cette organisation est inspirée de travaux sur Hyper-Connection et GatedNorm, mais Qwen simplifie la conception afin de réduire les accès mémoire et certains problèmes de stabilité.
L’équipe explique également qu’une branche semble naturellement créer une sorte de chemin longue distance entre la première couche d’attention et de nombreuses couches plus profondes.
Une architecture pensée aussi pour le FP8
Le gating joue un autre rôle important. Il permet de réduire certains pics d’activation susceptibles de perturber l’entraînement ou l’inférence. Qwen indique que l’état résiduel peut ainsi être stocké en FP8, une précision plus faible qui réduit la quantité de mémoire et la bande passante nécessaires.
L’objectif général est toujours le même : réduire le mouvement de données. Dans les grands modèles modernes, déplacer les activations et les paramètres devient parfois aussi coûteux que les opérations mathématiques elles-mêmes.
51 milliards de paramètres de « mémoire locale »
La deuxième innovation majeure concerne les N-gram Embeddings. Un embedding classique utilise essentiellement le token actuel pour effectuer une recherche dans une table. Qwen3.8-Flash-Next utilise le token courant ainsi que les tokens précédents afin de représenter des motifs locaux plus riches. Cette table représente 51 milliards de paramètres supplémentaires.
Mais, Qwen affirme que ces paramètres n’ajoutent presque aucun coût de multiplication matricielle par token. Ils fonctionnent essentiellement comme une gigantesque mémoire de motifs locaux.
Les embeddings peuvent rester dans la mémoire du CPU
L’un des aspects les plus intelligents de cette approche vient de leur emplacement. Les 51 milliards de paramètres N-gram peuvent être stockés dans la mémoire hôte, plutôt que de monopoliser constamment la mémoire GPU.
Comme les emplacements nécessaires peuvent être déterminés à l’avance, les données peuvent être préchargées de manière asynchrone pendant que le reste du modèle effectue ses calculs.
Cette organisation permet d’augmenter fortement la capacité totale du modèle sans augmenter proportionnellement les besoins en VRAM.
C’est une approche particulièrement intéressante dans un contexte où la mémoire des accélérateurs reste l’une des ressources les plus coûteuses des infrastructures IA.
Qwen adopte l’optimiseur Muon
L’entraînement change lui aussi. Qwen3.8-Flash-Next utilise l’optimiseur Muon pour une partie importante de ses paramètres. Les poids principaux des couches Attention, GDN et des experts MoE sont entraînés avec Muon. Les embeddings, le routeur MoE et certains paramètres à faible rang continuent d’utiliser AdamW.
Qwen explique avoir également retravaillé la manière dont certaines matrices fusionnées sont séparées avant orthogonalisation. Les projections QKV, SwiGLU et GDN sont ainsi décomposées selon leurs transformations individuelles.
Plus besoin de Batch Size Warmup
L’équipe affirme également avoir refait ses scaling laws pour cette architecture. Résultat : le modèle supporterait des learning rates et batch sizes plus élevés tout en conservant un entraînement stable. Qwen indique même avoir supprimé le Batch Size Warmup. Selon ses expériences, cette phase de montée progressive du batch n’améliorait pas les résultats finaux mais augmentait de 18,8 % le nombre d’étapes d’optimisation nécessaires.
Le modèle démarre donc directement avec sa taille de batch cible. Ce type d’optimisation peut sembler secondaire, mais à l’échelle d’un modèle de plus de cent milliards de paramètres, quelques pourcents d’efficacité représentent déjà des quantités considérables de calcul.
Un MoE extrêmement sparse
Qwen conserve également une approche dite ultra-sparse MoE. Le modèle possède un grand nombre d’experts, mais seulement quelques-uns sont routés pour chaque token. Un expert partagé reste également actif. L’objectif est d’augmenter fortement la capacité sans faire exploser le coût d’inférence. Cette stratégie devient de plus en plus courante chez les grands laboratoires chinois.
Elle permet de construire des modèles affichant des centaines de milliards de paramètres tout en maintenant un coût actif beaucoup plus proche de celui d’un modèle plus petit.
De bons résultats avec seulement 6 milliards de paramètres actifs
Qwen indique que Qwen3.8-Flash-Next-Base obtient le meilleur score sur 8 des 14 benchmarks présentés dans ses évaluations internes. Le modèle se distingue notamment sur MMLU-Pro, SuperGPQA, BBH, GSM8K, EvalPlus, SWEBench-Pretrain, MGSM et MMMLU. Il resterait également proche de Qwen3.7-Plus-Base sur plusieurs autres tests comme GPQA, MATH ou MultiPL-E.
L’élément le plus notable est que ces résultats sont obtenus avec seulement 6 milliards de paramètres activés par token. Là encore, il faudra attendre davantage de benchmarks indépendants pour évaluer précisément la qualité du modèle en conditions réelles.
Un modèle ouvert et déjà intégré aux outils de développement
Qwen3.8-Flash-Next est disponible en open weights sur Hugging Face et ModelScope. La version de production est proposée sous le nom qwen3.8-flash sur QwenCloud. Elle prend en charge les API compatibles avec OpenAI Chat Completions et Responses, ainsi qu’une interface compatible Anthropic.
Qwen annonce aussi une intégration avec Claude Code, Codex, Qoder CLI, Qwen Code et OpenClaw. Pour les développeurs, cette compatibilité est stratégique. Elle permet de remplacer un modèle existant dans certains workflows sans réécrire toute l’infrastructure autour.
Jusqu’à 65 536 tokens en sortie pour Codex
La configuration proposée pour Codex montre à quel point Qwen cible les usages agentiques. Elle supporte un contexte d’un million de tokens avec 95 % d’utilisation effective, les appels d’outils parallèles, les entrées texte et image ainsi que plusieurs niveaux de raisonnement.
La sortie peut atteindre jusqu’à 65 536 tokens.
Ce type de capacité est particulièrement adapté aux tâches de développement logiciel longues, où un agent doit lire de gros dépôts, exécuter des outils et produire de nombreux changements avant de terminer.
Un prix particulièrement agressif
QwenCloud affiche un tarif de 0,16 dollar par million de tokens en entrée et 0,47 dollar par million de tokens en sortie. Ce positionnement est extrêmement agressif face aux grands modèles frontier occidentaux. La stratégie d’Alibaba semble claire : réduire le coût suffisamment pour rendre possible l’utilisation intensive d’agents, de copilotes et d’applications à très grand volume.
La réduction des coûts d’inférence n’est donc pas seulement un objectif technique, elle devient directement un argument commercial.
Qwen prépare une bataille sur l’efficacité, pas seulement sur la taille
Qwen3.8-Flash-Next illustre une évolution importante du marché des grands modèles. La compétition ne consiste plus uniquement à augmenter le nombre de paramètres ou à gagner quelques points sur un benchmark. Les laboratoires cherchent désormais à maximiser le rapport entre capacité, contexte, latence, mémoire et coût par token.
GDN réduit le coût de la mémoire longue, QSA limite l’attention globale, le MoE réduit le nombre de paramètres actifs, les N-gram Embeddings augmentent la capacité sans surcharger le GPU, et Muon cherche à réduire le coût d’entraînement. Tout converge vers la même idée : faire davantage de travail avec beaucoup moins de calcul.
Qwen 4 pourrait hériter de toute cette architecture
C’est finalement ce qui rend ce modèle particulièrement intéressant. Qwen3.8-Flash-Next n’est pas seulement un nouveau modèle Flash, c’est un aperçu technique de ce que pourrait devenir Qwen4.
Alibaba teste ici une architecture qui s’éloigne progressivement du Transformer dense traditionnel pour devenir un système hybride où chaque composant est spécialisé : mémoire compressée, recherche sparse, experts MoE, embeddings externes et flux résiduels multiples. Si ces choix tiennent leurs promesses à grande échelle, Qwen4 pourrait être moins une simple génération supplémentaire qu’un changement de philosophie.
Et dans une industrie où le coût de l’inférence devient aussi stratégique que la qualité du modèle, cette recherche d’efficacité pourrait être l’un des avantages les plus importants qu’Alibaba puisse construire.
