Welk open-weight model moet je zelf hosten?

Waarom zelf hosten een tweede kans verdient

Het argument tegen open-weight modellen was vroeger eenvoudig: de hosted frontier loopt zo ver voor dat alles anders een valse besparing is. Dat argument werd elk kwartaal van 2024 en 2025 zwakker. De sterkste open modellen van nu evenaren wat een jaar geleden de hosted topmodellen waren — voldoende kwaliteit voor vrijwel elke productie-workload die geen klantgerichte chat is. De kloof met de scherpe rand is er nog, maar de kloof met "goed genoeg" is verdwenen.

De reden om lokaal te gaan is zelden kwaliteit. Het gaat om data-residency, terugkerende kosten, latentie in regio's waar de grote vendors nauwelijks aanwezig zijn, en de zekerheid dat je model niet onder je handen verandert als de provider een generatie afschrijft. Een team dat tien miljoen interne documenten per maand verwerkt voor classificatie kan zes figuren per jaar besparen op zelf-gehoste infrastructuur versus pay-per-token. Een team met gereguleerde data omzeilt een heel procurement-traject. Een team in een regio met hoge latentie naar Amerikaanse datacenters serveert gebruikers een orde van grootte sneller.

De kostenrekening is niet zo eenvoudig als "modelgewichten zijn gratis". Je betaalt voor GPU's — gekocht of gehuurd — en voor de engineering-uren om ze te beheren. Het break-even punt hangt af van tokenvolume: onder ruwweg honderd miljoen tokens per maand winnen hosted API's bijna altijd op totale kosten; boven een miljard bijna altijd zelf-hosting. In het middelste bereik beslissen de workload-specifieke details.

Vijf constraints bepalen de keuze: hoeveel VRAM het model nodig heeft bij een kwaliteit die je accepteert, de licentievoorwaarden voor jouw use case, de rijpheid van het ecosysteem eromheen, en de latentie die het model op jouw hardware werkelijk levert. Het juiste model is het model dat alle vijf afvinkt — niet het model met de beste paper-benchmark.

De vijf dimensies die bepalen welk model past

Dit zijn de assen waarop onze scorecard weegt bij het kiezen van een open-weight model voor productie-zelf-hosting. De relatieve weging verschuift met je hardwarebudget, je jurisdictie en je tolerantie voor rauwe ecosysteemranden — maar elke serieuze kandidaat haalt een minimumdrempel op alle vijf.

1. 01 — Hardware fit

   Draait het op de kaarten die je écht hebt?

   Een model dat een multi-GPU node vereist is een andere propositie dan een model op één consumentenkaart. Bereken altijd de VRAM-behoefte bij de kwantisatie die je wil deployen en voeg ruimte toe voor de KV-cache op de gewenste contextlengte. De goedkoopste fout is te veel hardware kopen; de duurste is te weinig.

2. 02 — Kwaliteit bij kwantisatie

   Hoeveel verliest het bij het quant-niveau dat past?

   Kwantisatie ruilt kwaliteit voor geheugen en snelheid. Sommige modellen houden bij vier-bit quants goed stand; andere degraderen merkbaar onder acht. De gepubliceerde full-precision benchmarks zeggen je weinig — meet op het quant-niveau dat jouw hardware toelaat, en accepteer dat de ranglijst daardoor kan omslaan.

3. 03 — Licentievoorwaarden

   Mag je het zo gebruiken als je van plan bent?

   Open gewichten zijn niet allemaal open licenties. Sommige staan breed commercieel gebruik toe zonder verplichtingen; andere bevatten gebruiksdrempels, attributie-clausules of distributiebeperkingen. Lees de licentie vóór je bouwt, niet erna. Een vriendelijke licentie met iets minder kwaliteit verslaat meestal een strengere die je juridische afdeling uiteindelijk afwijst.

4. 04 — Ecosysteemondersteuning

   Is de serving stack ruw of gepolijst?

   Een model met first-class ondersteuning in vLLM, Ollama en llama.cpp is ordes van grootte goedkoper te beheren dan een model dat alleen een referentiescript en een hoopvolle README heeft. Tooling-rijpheid is de verborgen kost die de meeste teams onderschatten; die verschijnt in de engineer-uren die je besteedt aan incidenten.

5. 05 — Latentie op jouw hardware

   Genereert het snel genoeg voor de use case?

   Een zelf-gehost model dat tien tokens per seconde produceert op de GPU die je kan betalen is een model dat je niet kunt gebruiken voor chat. Meet tokens-per-seconde onder realistische concurrency op de exacte kaart die je wil deployen; cijfers van iemand anders zijn H100 gaan niet over op jouw L40S.

Tokonomix top 5 picks voor zelf-hosting vandaag

Wat volgt is de set die we volgende week op bare metal zouden deployen. Zelf-hosting beloont een andere selectie dan de hosted-API wereld — het juiste hoofdmodel is meestal het grootste model dat nog ruimte laat op de GPU bij het quant-niveau dat je tolereert. Voeg een kleiner tweede model toe achter een router voor queries die de grote versie niet nodig hebben, en de economie begint in jouw voordeel te werken.

Hosted prijsreferentie (als je niet zelf host)

Zelf hosten is één optie; de andere is inference kopen bij een provider die dezelfde open-weight modellen voor je draait. De grafiek toont de live hosted prijs per miljoen output tokens voor de picks die er één publiceren — handig als sanity-check voor je eigen zelf-gehoste unit economics.

Veldgids: welk model voor welke hardware

De indeling hieronder is wat we zouden gebruiken om een team te adviseren bij de keuze van hun eerste zelf-gehoste model. Behandel het als startpunt, niet als vonnis — tokens-per-seconde meten op je eigen GPU verslaat elke algemene aanbeveling.

Benchmark op je eigen hardware voordat je kiest

Leen de GPU die je wil deployen. Laad twee kandidaten op de kaart bij het quant-niveau dat je werkelijk wil shippen — niet de full-precision versie op een geleende H100 — en stuur dezelfde honderd prompts door beide modellen bij realistische concurrency. Je leert in één middag meer over welk model bij je past dan welke benchmark-pagina je in een kwartaal kan vertellen.

Lees daarna wat eruit komt. Heeft het de kwantisatie doorstaan? Hield de throughput stand onder gelijktijdige belasting? Overleefde de licentie de eerste lezing van je juridische afdeling? Behandelt je gekozen serving stack het als first-class citizen of als bijzaak? Het model dat wint op jouw hardware is het model dat in productie gaat — ook als geen enkel leaderboard het bovenaan zet.