Geschwindigkeitsanalyse
Latenz über alle Benchmark-Läufe gemessen. P50 (Median) und P95 (95. Perzentil) zeigen ein realistisches Bild der Antwortgeschwindigkeit bei normaler und Spitzenlast.
Qualitätswerte
Wie sich dieses Modell je Prompt-Kategorie zum übrigen Feld verhält, aus einem paarweisen Fit über dieselben Prompts. Die rohe Jury-Wertung steht unter jeder Zahl.
Gewinnrate je Kategorie: wie oft dieses Modell ein durchschnittliches Modell bei einem Prompt dieser Kategorie schlägt. 50% ist der Durchschnitt, keine schlechte Note. Es ist kein Prozentsatz richtiger Antworten.
Preise
Was Sie pro Million Tokens zahlen, wenn Sie dieses Modell über Tokonomix nutzen, plus eine Schätzung für ein typisches Gespräch.
Tokens pro Sekunde
Durchsatz in Tokens pro Sekunde, abgeleitet aus gemessener P50-Latenz. Höhere Werte sind besser; Schwankungen spiegeln die Provider-seitige Last wider.
Geschätzt aus P50-Latenz × 200 Output-Tokens — die absolute Zahl hängt von dieser Annahme ab; entscheidend ist der Trend.
Fähigkeiten
Verfügbarkeit
Verfügbarkeit
Wie oft dieses Modell antwortet, wenn wir es aufrufen — gemessen anhand echter API-Anfragen und Live-Tests der letzten 30 Tage. Dies ist unabhängig von der Qualität: Diese Zahlen zeigen nur, ob das Modell antwortet, nicht wie gut die Antwort ist.
Letzte 7 Tage
100.0%
n=7
Letzte 30 Tage
100.0%
n=7
Mediane Antwortzeit
1,988ms
n=7
Basierend auf 387 Messungen in den letzten 30 Tagen.
Technische Details
Nur echte API-Aufrufe und Live-Test-Anfragen werden gezählt — interne Proben und Benchmark-Läufe sind ausgeschlossen.
Aufrufe mit einem eigenen API-Schlüssel (BYOK) sind ausgeschlossen: Diese Fehler sind schlüsselspezifisch und kein Zeichen für Modellausfälle.
Fehlgeschlagene Aufrufe werden NICHT in Qualitätswerten berücksichtigt — Qualität wird nur für erfolgreiche Antworten gemessen. Verfügbarkeit und Qualität sind unabhängige Signale.
Mediane Antwortzeit (p50) über erfolgreiche Aufrufe mit aufgezeichneter Dauer. Ausreißer beeinflussen den Median weniger als den Durchschnitt.
Gesamte Aufrufe (30d)
7
OK-Antworten (30d)
7
Gesamte Aufrufe (7d)
7
OK-Antworten (7d)
7
Tokonomix-Benchmark-Urteile
Quality jumps 17 points as coding excels but factual performance falters
Mistral-7B-Instruct-v0.3 on OVH AI Endpoints shows significant quality improvement with overall scores rising from 51.4 to 68.4, representing a 17-point gain. This improvement is driven primarily by exceptional coding performance, which surged from 45 to 81, establishing it as a strength for this deployment. Multilingual capabilities remain perfect at 100 across both windows, demonstrating consistent excellence in language handling. However, this quality gain comes with notable tradeoffs. Factual accuracy has deteriorated significantly, climbing only from 11 to 24 but remaining critically weak for knowledge-based tasks. Latency has increased substantially by 78 percent, with p50 response times rising from 5122ms to 9104ms, which may impact user experience in time-sensitive applications. The previous window's standout reasoning score of 92 and creative score of 9 are absent from current measurements, making direct comparison incomplete. Users should consider this deployment suitable for coding assistance and multilingual tasks where response time is less critical, but should exercise caution for factual queries. The quality trajectory is positive overall, though the latency regression and weak factual performance require monitoring in production environments.
Qualität
68.4
Latenz p50
9,104 ms
Testläufe
5