Snelheidsanalyse
Latency gemeten over alle benchmark-runs. P50 (mediaan) en P95 (95e percentiel) geven een realistisch beeld van de responssnelheid onder normale en piekbelasting.
Kwaliteitsscores
Hoe dit model zich per promptcategorie verhoudt tot de rest van het veld, uit een paarsgewijze berekening over dezelfde prompts. Het ruwe jurycijfer staat onder elk getal.
Winstpercentage per categorie: hoe vaak dit model een gemiddeld model verslaat op een prompt uit die categorie. 50% is gemiddeld, geen onvoldoende. Het is geen percentage goede antwoorden.
Prijzen
Wat je per miljoen tokens betaalt als je dit model via Tokonomix gebruikt, plus een schatting voor een gemiddeld gesprek.
Tokens per seconde
Doorvoersnelheid in tokens per seconde, afgeleid uit gemeten P50-latency. Hogere waarden zijn beter; fluctuaties weerspiegelen serverbelasting bij de provider.
Geschat uit P50-latency × 200 output-tokens — het absolute getal hangt af van deze aanname; de trend is wat telt.
Mogelijkheden
Beschikbaarheid
Beschikbaarheid
Hoe vaak dit model antwoordt als we het aanroepen — gemeten over echte API-aanvragen en live-tests in de afgelopen 30 dagen. Dit staat los van kwaliteit: deze cijfers laten alleen zien of het model reageert, niet hoe goed het antwoord is.
Afgelopen 7 dagen
—
Afgelopen 30 dagen
100.0%
n=7
Mediane responstijd
1,091ms
n=7
Gebaseerd op 387 metingen in de afgelopen 30 dagen.
Technische details
Alleen echte API-aanroepen en live-testverzoeken tellen mee — interne probes en benchmarkruns zijn uitgesloten.
Aanroepen met een eigen API-sleutel (BYOK) zijn uitgesloten: die fouten zijn sleutelspecifiek en geen teken van modelneergang.
Mislukte aanroepen worden NIET meegeteld in kwaliteitsscores — kwaliteit wordt gemeten op geslaagde responses. Beschikbaarheid en kwaliteit zijn onafhankelijke signalen.
Mediane responstijd (p50) over geslaagde aanroepen met een vastgelegde duur. Uitschieters trekken de mediaan minder dan het gemiddelde.
Totaal aanroepen (30d)
7
OK-reacties (30d)
7
Totaal aanroepen (7d)
0
OK-reacties (7d)
0
Tokonomix benchmark-oordelen
Quality jumps to 84.5 with 42% faster latency, reasoning now perfect
Mistral-Nemo-Instruct-2407 demonstrates substantial improvements across multiple dimensions in this benchmark window. Overall quality increased by 6.7 points to reach 84.5, representing a meaningful step forward in model performance. Latency improved dramatically with a 42% reduction, bringing the p50 down from 7661ms to 4459ms, making the model noticeably more responsive for production workloads. The standout achievement is reasoning performance, which reached a perfect 100 score compared to not being measured in the previous window. Factual accuracy showed strong gains, rising from 50 to 91, indicating major improvements in knowledge retrieval and accuracy. Multilingual capabilities remained robust at 92, up slightly from 84, maintaining the model's strength in cross-language tasks. The most significant regression appears in coding performance, which dropped sharply from 100 to 55. This represents a 45-point decline and suggests recent changes may have impacted code generation quality. Users relying on coding capabilities should test thoroughly against their specific use cases. Despite this setback, the overall trajectory shows a model becoming faster and more capable across most domains, with the reasoning and factual improvements potentially offsetting coding limitations for general-purpose applications.
Kwaliteit
84.5
Latency p50
4,459 ms
Testruns
5