Geschwindigkeitsanalyse
Latenz über alle Benchmark-Läufe gemessen. P50 (Median) und P95 (95. Perzentil) zeigen ein realistisches Bild der Antwortgeschwindigkeit bei normaler und Spitzenlast.
Qualitätswerte
Wie sich dieses Modell je Prompt-Kategorie zum übrigen Feld verhält, aus einem paarweisen Fit über dieselben Prompts. Die rohe Jury-Wertung steht unter jeder Zahl.
Gewinnrate je Kategorie: wie oft dieses Modell ein durchschnittliches Modell bei einem Prompt dieser Kategorie schlägt. 50% ist der Durchschnitt, keine schlechte Note. Es ist kein Prozentsatz richtiger Antworten.
Preise
Was Sie pro Million Tokens zahlen, wenn Sie dieses Modell über Tokonomix nutzen, plus eine Schätzung für ein typisches Gespräch.
Tokens pro Sekunde
Durchsatz in Tokens pro Sekunde, abgeleitet aus gemessener P50-Latenz. Höhere Werte sind besser; Schwankungen spiegeln die Provider-seitige Last wider.
Geschätzt aus P50-Latenz × 200 Output-Tokens — die absolute Zahl hängt von dieser Annahme ab; entscheidend ist der Trend.
Fähigkeiten
Verfügbarkeit
Verfügbarkeit
Wie oft dieses Modell antwortet, wenn wir es aufrufen — gemessen anhand echter API-Anfragen und Live-Tests der letzten 30 Tage. Dies ist unabhängig von der Qualität: Diese Zahlen zeigen nur, ob das Modell antwortet, nicht wie gut die Antwort ist.
Letzte 7 Tage
—
Letzte 30 Tage
100.0%
n=7
Mediane Antwortzeit
1,091ms
n=7
Basierend auf 387 Messungen in den letzten 30 Tagen.
Technische Details
Nur echte API-Aufrufe und Live-Test-Anfragen werden gezählt — interne Proben und Benchmark-Läufe sind ausgeschlossen.
Aufrufe mit einem eigenen API-Schlüssel (BYOK) sind ausgeschlossen: Diese Fehler sind schlüsselspezifisch und kein Zeichen für Modellausfälle.
Fehlgeschlagene Aufrufe werden NICHT in Qualitätswerten berücksichtigt — Qualität wird nur für erfolgreiche Antworten gemessen. Verfügbarkeit und Qualität sind unabhängige Signale.
Mediane Antwortzeit (p50) über erfolgreiche Aufrufe mit aufgezeichneter Dauer. Ausreißer beeinflussen den Median weniger als den Durchschnitt.
Gesamte Aufrufe (30d)
7
OK-Antworten (30d)
7
Gesamte Aufrufe (7d)
0
OK-Antworten (7d)
0
Tokonomix-Benchmark-Urteile
Quality jumps to 84.5 with 42% faster latency, reasoning now perfect
Mistral-Nemo-Instruct-2407 demonstrates substantial improvements across multiple dimensions in this benchmark window. Overall quality increased by 6.7 points to reach 84.5, representing a meaningful step forward in model performance. Latency improved dramatically with a 42% reduction, bringing the p50 down from 7661ms to 4459ms, making the model noticeably more responsive for production workloads. The standout achievement is reasoning performance, which reached a perfect 100 score compared to not being measured in the previous window. Factual accuracy showed strong gains, rising from 50 to 91, indicating major improvements in knowledge retrieval and accuracy. Multilingual capabilities remained robust at 92, up slightly from 84, maintaining the model's strength in cross-language tasks. The most significant regression appears in coding performance, which dropped sharply from 100 to 55. This represents a 45-point decline and suggests recent changes may have impacted code generation quality. Users relying on coding capabilities should test thoroughly against their specific use cases. Despite this setback, the overall trajectory shows a model becoming faster and more capable across most domains, with the reasoning and factual improvements potentially offsetting coding limitations for general-purpose applications.
Qualität
84.5
Latenz p50
4,459 ms
Testläufe
5