Geschwindigkeitsanalyse
Latenz über alle Benchmark-Läufe gemessen. P50 (Median) und P95 (95. Perzentil) zeigen ein realistisches Bild der Antwortgeschwindigkeit bei normaler und Spitzenlast.
Qualitätswerte
Wie sich dieses Modell je Prompt-Kategorie zum übrigen Feld verhält, aus einem paarweisen Fit über dieselben Prompts. Die rohe Jury-Wertung steht unter jeder Zahl.
Gewinnrate je Kategorie: wie oft dieses Modell ein durchschnittliches Modell bei einem Prompt dieser Kategorie schlägt. 50% ist der Durchschnitt, keine schlechte Note. Es ist kein Prozentsatz richtiger Antworten.
Preise
Was Sie pro Million Tokens zahlen, wenn Sie dieses Modell über Tokonomix nutzen, plus eine Schätzung für ein typisches Gespräch.
Tokens pro Sekunde
Durchsatz in Tokens pro Sekunde, abgeleitet aus gemessener P50-Latenz. Höhere Werte sind besser; Schwankungen spiegeln die Provider-seitige Last wider.
Geschätzt aus P50-Latenz × 200 Output-Tokens — die absolute Zahl hängt von dieser Annahme ab; entscheidend ist der Trend.
Fähigkeiten
Verfügbarkeit
Verfügbarkeit
Wie oft dieses Modell antwortet, wenn wir es aufrufen — gemessen anhand echter API-Anfragen und Live-Tests der letzten 30 Tage. Dies ist unabhängig von der Qualität: Diese Zahlen zeigen nur, ob das Modell antwortet, nicht wie gut die Antwort ist.
Letzte 7 Tage
100.0%
n=7
Letzte 30 Tage
100.0%
n=7
Mediane Antwortzeit
1,091ms
n=7
Basierend auf 392 Messungen in den letzten 30 Tagen.
Technische Details
Nur echte API-Aufrufe und Live-Test-Anfragen werden gezählt — interne Proben und Benchmark-Läufe sind ausgeschlossen.
Aufrufe mit einem eigenen API-Schlüssel (BYOK) sind ausgeschlossen: Diese Fehler sind schlüsselspezifisch und kein Zeichen für Modellausfälle.
Fehlgeschlagene Aufrufe werden NICHT in Qualitätswerten berücksichtigt — Qualität wird nur für erfolgreiche Antworten gemessen. Verfügbarkeit und Qualität sind unabhängige Signale.
Mediane Antwortzeit (p50) über erfolgreiche Aufrufe mit aufgezeichneter Dauer. Ausreißer beeinflussen den Median weniger als den Durchschnitt.
Gesamte Aufrufe (30d)
7
OK-Antworten (30d)
7
Gesamte Aufrufe (7d)
7
OK-Antworten (7d)
7
Tokonomix-Benchmark-Urteile
Quality improves to 66.9 but latency degrades and coding drops sharply
Mistral-Nemo-Instruct-2407 shows a mixed performance shift in this window. The overall quality score improved from 64.4 to 66.9, representing modest progress. However, this headline improvement masks significant category-level volatility and infrastructure concerns. The most dramatic change is in coding performance, which plummeted from 92 to 45, losing more than half its capability in this critical area. Factual performance surged from 5 to 56, showing strong recovery in information accuracy. Multilingual capabilities remained excellent at 100, maintaining consistency across both windows. Reasoning performance, previously at 100, was not measured in the current window, while creative scoring also disappeared from current results. Latency deteriorated notably, with the median response time increasing 28% from 4052ms to 5206ms. This represents over five seconds for typical requests, which may impact user experience in interactive applications. The slower response times combined with the sharp coding regression suggest potential infrastructure changes or model serving issues at the OVH AI Endpoints GRA region. Users requiring coding assistance should exercise caution with this current window's performance. Those prioritizing multilingual support and factual accuracy will find stable to improved capabilities, though the latency penalty affects all use cases.
Qualität
66.9
Latenz p50
5,206 ms
Testläufe
5