Qwen3.5-397B-A17B is het vervolg van Alibaba's Qwen-team op de Qwen3-generatie, uitgebracht als open weights onder een Apache 2.0-licentie begin 2026. De naam vermeldt de architectuur direct: 397 miljard parameters in totaal, met ruwweg 17 miljard actief voor elk gegeven token. Het is een sparse Mixture-of-Experts-model, en Qwen positioneert het als een verenigd vision-language-fundament — één model dat vanaf het begin samen is getraind op tekst, afbeeldingen en video, in plaats van een tekstmodel met een vision-adapter die er achteraf op is geplakt.
Onder de motorkap
Volgens Qwens eigen modeldocumentatie combineert de architectuur Gated DeltaNet — een lineair-attentiemechanisme — met sparse MoE-routing over 60 lagen, opgezet als herhalende blokken van lineaire-attentie-plus-MoE met periodieke full-attention-lagen ertussen. De MoE-laag zelf heeft 512 experts, waarvan er 11 per token worden geactiveerd: 10 dynamisch gekozen routed experts plus één shared expert die altijd actief is. Die combinatie — grotendeels lineaire attentie voor efficiëntie, MoE voor capaciteit, af en toe volledige attentie voor het soort langeafstandsafhankelijkheid waar lineaire attentie alleen mee worstelt — is wat een model met 397 miljard parameters in totaal laat draaien tegen ongeveer de rekenkosten van een dicht model met 17 miljard parameters per token.
De contextlengte is native 262.144 tokens, en Qwen documenteert uitbreiding tot ruwweg 1.010.000 tokens via YaRN-schaling — een techniek die de positionele encodering van het model aanpast om te generaliseren voorbij zijn getrainde contextlengte, doorgaans met enige kwaliteitsafweging naarmate een aanvraag verder voorbij het native venster duwt.
Waar het uitblinkt
Qwen rapporteert sterke resultaten op zijn eigen benchmarksuite: 87,8 op MMLU-Pro, 70,4 op SuperGPQA en 94,8 op de HMMT-wiskundewedstrijd van februari 2025, naast 85,0 op MMMU en 86,7 op MLVU voor respectievelijk beeld- en videobegrip. Dit zijn Qwens eigen gepubliceerde cijfers in plaats van onafhankelijk gereproduceerde getallen, dus ze moeten worden gelezen als het verhaal van de leverancier over de voortgang van zijn eigen model — maar samen beschrijven ze een model gebouwd voor breed, algemeen redeneren en multimodaal begrip in plaats van een smalle specialist.
De open-weights-licentie is zelf een praktisch voordeel: Apache 2.0 staat self-hosting, fine-tuning en herdistributie toe zonder de licentiewrijving die bij een gesloten API-only model hoort, wat van belang is voor teams die inferentie op hun eigen infrastructuur moeten draaien of het model moeten aanpassen aan een smal domein.
Waar het tekortschiet
Qwens eigen documentatie kadert deze release als "generatie-overstijgende pariteit met Qwen3" op veel dimensies — wat betekent dat de winst ten opzichte van de vorige generatie wordt gepresenteerd als breed en incrementeel in plaats van een sprongsgewijze verandering, en de taal in de modelkaart is voorzichtig om geen dramatische sprong te claimen. Zoals bij elk Mixture-of-Experts-model betekent de discrepantie tussen totale en actieve parameters dat het model veel meer geheugen nodig heeft om volledig te bewatten dan zijn rekenkosten per token zou suggereren — 397 miljard parameters moeten ergens resident zijn, ook al vuurt maar een fractie daarvan af bij een gegeven aanvraag, wat bepaalt wat self-hosting hardwarematig echt vereist.
Wanneer je dit kiest
Dit model past bij algemeen redeneren, coderen en multimodale workloads waarbij een team ofwel de optie wil om self te hosten, ofwel het kostenprofiel van een zeer groot model wil zonder volledige dicht-model-rekenkosten per aanvraag te betalen. Het is een redelijke standaardkeuze voor teams die al geïnvesteerd zijn in het Qwen-ecosysteem, of voor workloads die een echt groot native contextvenster nodig hebben zonder te leunen op agressieve schaaltrucs.
Alternatieven om te overwegen
De voorganger Qwen3-generatie blijft beschikbaar voor teams die het extra vision- en videobegrip van deze release niet nodig hebben. Voor workloads die een kleinere footprint nodig hebben, heeft Qwen ook aanzienlijk kleinere modellen uitgebracht in dezelfde familielijn die wat capaciteit inruilen voor een veel lichtere geheugenfootprint — de moeite waard om direct te benchmarken tegen dit model op de specifieke taak voordat je je vastlegt op het grotere model.