Analyse de vitesse
Latence mesurée sur toutes les exécutions de benchmark. P50 (médiane) et P95 (95e percentile) donnent une image réaliste de la vitesse de réponse en charge normale et de pointe.
Scores de qualité
Comment ce modèle se situe par rapport au reste du champ sur chaque catégorie de prompts, à partir d'un ajustement par paires sur les mêmes prompts. La note brute du juge figure sous chaque nombre.
Taux de victoire par catégorie : la fréquence à laquelle ce modèle bat un modèle moyen sur un prompt de cette catégorie. 50% est la moyenne, pas un échec. Ce n'est pas un pourcentage de bonnes réponses.
Tarifs
Ce que vous payez par million de tokens en utilisant ce modèle sur Tokonomix, avec une estimation pour une conversation type.
Tokens par seconde
Débit en tokens par seconde, dérivé de la latence P50 mesurée. Plus haut est mieux ; les fluctuations reflètent la charge côté fournisseur.
Estimé à partir de la latence P50 × 200 tokens de sortie — le chiffre absolu dépend de cette hypothèse ; c'est la tendance qui compte.
Capacités
Disponibilité
Disponibilité
La fréquence à laquelle ce modèle répond lorsqu'on l'appelle — mesurée sur de vraies requêtes API et des tests en direct au cours des 30 derniers jours. C'est indépendant de la qualité : ces chiffres indiquent seulement si le modèle répond, pas la qualité de sa réponse.
7 derniers jours
—
30 derniers jours
100.0%
n=7
Temps de réponse médian
1,988ms
n=7
Basé sur 387 mesures au cours des 30 derniers jours.
Détails techniques
Seuls les vrais appels API et les requêtes de test en direct sont comptés — les sondes internes et les benchmarks sont exclus.
Les appels avec une clé API personnalisée (BYOK) sont exclus : ces échecs sont spécifiques à la clé, pas un signe de défaillance du modèle.
Les appels échoués ne sont PAS inclus dans les scores de qualité — la qualité est mesurée uniquement sur les réponses réussies. Disponibilité et qualité sont des signaux indépendants.
Temps de réponse médian (p50) sur les appels réussis avec une durée enregistrée. Les valeurs extrêmes influencent moins la médiane que la moyenne.
Total des appels (30d)
7
Réponses OK (30d)
7
Total des appels (7d)
0
Réponses OK (7d)
0
Verdicts benchmark Tokonomix
Quality jumps 17 points as coding excels but factual performance falters
Mistral-7B-Instruct-v0.3 on OVH AI Endpoints shows significant quality improvement with overall scores rising from 51.4 to 68.4, representing a 17-point gain. This improvement is driven primarily by exceptional coding performance, which surged from 45 to 81, establishing it as a strength for this deployment. Multilingual capabilities remain perfect at 100 across both windows, demonstrating consistent excellence in language handling. However, this quality gain comes with notable tradeoffs. Factual accuracy has deteriorated significantly, climbing only from 11 to 24 but remaining critically weak for knowledge-based tasks. Latency has increased substantially by 78 percent, with p50 response times rising from 5122ms to 9104ms, which may impact user experience in time-sensitive applications. The previous window's standout reasoning score of 92 and creative score of 9 are absent from current measurements, making direct comparison incomplete. Users should consider this deployment suitable for coding assistance and multilingual tasks where response time is less critical, but should exercise caution for factual queries. The quality trajectory is positive overall, though the latency regression and weak factual performance require monitoring in production environments.
Qualité
68.4
Latence p50
9,104 ms
Exécutions de test
5