Analyse de vitesse
Latence mesurée sur toutes les exécutions de benchmark. P50 (médiane) et P95 (95e percentile) donnent une image réaliste de la vitesse de réponse en charge normale et de pointe.
Scores de qualité
Comment ce modèle se situe par rapport au reste du champ sur chaque catégorie de prompts, à partir d'un ajustement par paires sur les mêmes prompts. La note brute du juge figure sous chaque nombre.
Taux de victoire par catégorie : la fréquence à laquelle ce modèle bat un modèle moyen sur un prompt de cette catégorie. 50% est la moyenne, pas un échec. Ce n'est pas un pourcentage de bonnes réponses.
Tarifs
Ce que vous payez par million de tokens en utilisant ce modèle sur Tokonomix, avec une estimation pour une conversation type.
Tokens par seconde
Débit en tokens par seconde, dérivé de la latence P50 mesurée. Plus haut est mieux ; les fluctuations reflètent la charge côté fournisseur.
Estimé à partir de la latence P50 × 200 tokens de sortie — le chiffre absolu dépend de cette hypothèse ; c'est la tendance qui compte.
Capacités
Disponibilité
Disponibilité
La fréquence à laquelle ce modèle répond lorsqu'on l'appelle — mesurée sur de vraies requêtes API et des tests en direct au cours des 30 derniers jours. C'est indépendant de la qualité : ces chiffres indiquent seulement si le modèle répond, pas la qualité de sa réponse.
7 derniers jours
—
30 derniers jours
100.0%
n=7
Temps de réponse médian
1,091ms
n=7
Basé sur 387 mesures au cours des 30 derniers jours.
Détails techniques
Seuls les vrais appels API et les requêtes de test en direct sont comptés — les sondes internes et les benchmarks sont exclus.
Les appels avec une clé API personnalisée (BYOK) sont exclus : ces échecs sont spécifiques à la clé, pas un signe de défaillance du modèle.
Les appels échoués ne sont PAS inclus dans les scores de qualité — la qualité est mesurée uniquement sur les réponses réussies. Disponibilité et qualité sont des signaux indépendants.
Temps de réponse médian (p50) sur les appels réussis avec une durée enregistrée. Les valeurs extrêmes influencent moins la médiane que la moyenne.
Total des appels (30d)
7
Réponses OK (30d)
7
Total des appels (7d)
0
Réponses OK (7d)
0
Verdicts benchmark Tokonomix
Strong quality jump to 79.0 with improved latency and reasoning gains
Mistral-Nemo-Instruct-2407 demonstrates substantial progress in this benchmark window, with overall quality climbing from 66.9 to 79.0, representing a 12.1 point improvement. This marks a significant recovery and advancement for the model. Latency performance has also improved meaningfully, with the p50 dropping from 5206ms to 4352ms, a 16% reduction that enhances responsiveness. The quality gains are driven by notable improvements in coding and reasoning capabilities. Coding scores jumped from 45 to 74, indicating much stronger performance on programming tasks. Reasoning saw an impressive rise to 92, though this is a new metric in the current window. Multilingual performance remains perfect at 100, maintaining consistency across benchmark periods. However, factual accuracy presents a concern, declining from 56 to 50. This drop suggests the model may struggle with knowledge-based queries or fact verification tasks. Users relying on factual correctness should validate outputs carefully. Overall, this benchmark window shows Mistral-Nemo-Instruct-2407 making meaningful strides in performance across multiple dimensions. The combination of improved quality, faster response times, and stronger coding capabilities positions it more competitively, though attention to factual accuracy remains important for production use cases.
Qualité
79.0
Latence p50
4,352 ms
Exécutions de test
5