Analyse de vitesse
Latence mesurée sur toutes les exécutions de benchmark. P50 (médiane) et P95 (95e percentile) donnent une image réaliste de la vitesse de réponse en charge normale et de pointe.
Scores de qualité
Comment ce modèle se situe par rapport au reste du champ sur chaque catégorie de prompts, à partir d'un ajustement par paires sur les mêmes prompts. La note brute du juge figure sous chaque nombre.
Taux de victoire par catégorie : la fréquence à laquelle ce modèle bat un modèle moyen sur un prompt de cette catégorie. 50% est la moyenne, pas un échec. Ce n'est pas un pourcentage de bonnes réponses.
Tarifs
Ce que vous payez par million de tokens en utilisant ce modèle sur Tokonomix, avec une estimation pour une conversation type.
Tokens par seconde
Débit en tokens par seconde, dérivé de la latence P50 mesurée. Plus haut est mieux ; les fluctuations reflètent la charge côté fournisseur.
Estimé à partir de la latence P50 × 200 tokens de sortie — le chiffre absolu dépend de cette hypothèse ; c'est la tendance qui compte.
Capacités
Disponibilité
Disponibilité
La fréquence à laquelle ce modèle répond lorsqu'on l'appelle — mesurée sur de vraies requêtes API et des tests en direct au cours des 30 derniers jours. C'est indépendant de la qualité : ces chiffres indiquent seulement si le modèle répond, pas la qualité de sa réponse.
7 derniers jours
—
30 derniers jours
100.0%
n=7
Temps de réponse médian
1,091ms
n=7
Basé sur 387 mesures au cours des 30 derniers jours.
Détails techniques
Seuls les vrais appels API et les requêtes de test en direct sont comptés — les sondes internes et les benchmarks sont exclus.
Les appels avec une clé API personnalisée (BYOK) sont exclus : ces échecs sont spécifiques à la clé, pas un signe de défaillance du modèle.
Les appels échoués ne sont PAS inclus dans les scores de qualité — la qualité est mesurée uniquement sur les réponses réussies. Disponibilité et qualité sont des signaux indépendants.
Temps de réponse médian (p50) sur les appels réussis avec une durée enregistrée. Les valeurs extrêmes influencent moins la médiane que la moyenne.
Total des appels (30d)
7
Réponses OK (30d)
7
Total des appels (7d)
0
Réponses OK (7d)
0
Verdicts benchmark Tokonomix
Quality jumps to 84.5 with 42% faster latency, reasoning now perfect
Mistral-Nemo-Instruct-2407 demonstrates substantial improvements across multiple dimensions in this benchmark window. Overall quality increased by 6.7 points to reach 84.5, representing a meaningful step forward in model performance. Latency improved dramatically with a 42% reduction, bringing the p50 down from 7661ms to 4459ms, making the model noticeably more responsive for production workloads. The standout achievement is reasoning performance, which reached a perfect 100 score compared to not being measured in the previous window. Factual accuracy showed strong gains, rising from 50 to 91, indicating major improvements in knowledge retrieval and accuracy. Multilingual capabilities remained robust at 92, up slightly from 84, maintaining the model's strength in cross-language tasks. The most significant regression appears in coding performance, which dropped sharply from 100 to 55. This represents a 45-point decline and suggests recent changes may have impacted code generation quality. Users relying on coding capabilities should test thoroughly against their specific use cases. Despite this setback, the overall trajectory shows a model becoming faster and more capable across most domains, with the reasoning and factual improvements potentially offsetting coding limitations for general-purpose applications.
Qualité
84.5
Latence p50
4,459 ms
Exécutions de test
5