Analyse de vitesse
Latence mesurée sur toutes les exécutions de benchmark. P50 (médiane) et P95 (95e percentile) donnent une image réaliste de la vitesse de réponse en charge normale et de pointe.
Scores de qualité
Comment ce modèle se situe par rapport au reste du champ sur chaque catégorie de prompts, à partir d'un ajustement par paires sur les mêmes prompts. La note brute du juge figure sous chaque nombre.
Taux de victoire par catégorie : la fréquence à laquelle ce modèle bat un modèle moyen sur un prompt de cette catégorie. 50% est la moyenne, pas un échec. Ce n'est pas un pourcentage de bonnes réponses.
Tarifs
Ce que vous payez par million de tokens en utilisant ce modèle sur Tokonomix, avec une estimation pour une conversation type.
Tokens par seconde
Débit en tokens par seconde, dérivé de la latence P50 mesurée. Plus haut est mieux ; les fluctuations reflètent la charge côté fournisseur.
Estimé à partir de la latence P50 × 200 tokens de sortie — le chiffre absolu dépend de cette hypothèse ; c'est la tendance qui compte.
Capacités
Disponibilité
Disponibilité
La fréquence à laquelle ce modèle répond lorsqu'on l'appelle — mesurée sur de vraies requêtes API et des tests en direct au cours des 30 derniers jours. C'est indépendant de la qualité : ces chiffres indiquent seulement si le modèle répond, pas la qualité de sa réponse.
7 derniers jours
100.0%
n=67
30 derniers jours
100.0%
n=166
Temps de réponse médian
3,560ms
n=166
Basé sur 546 mesures au cours des 30 derniers jours.
Détails techniques
Seuls les vrais appels API et les requêtes de test en direct sont comptés — les sondes internes et les benchmarks sont exclus.
Les appels avec une clé API personnalisée (BYOK) sont exclus : ces échecs sont spécifiques à la clé, pas un signe de défaillance du modèle.
Les appels échoués ne sont PAS inclus dans les scores de qualité — la qualité est mesurée uniquement sur les réponses réussies. Disponibilité et qualité sont des signaux indépendants.
Temps de réponse médian (p50) sur les appels réussis avec une durée enregistrée. Les valeurs extrêmes influencent moins la médiane que la moyenne.
Total des appels (30d)
166
Réponses OK (30d)
166
Total des appels (7d)
67
Réponses OK (7d)
67
Verdicts benchmark Tokonomix
Performance decline with significant latency increase and coding drop
Qwen2.5-VL-72B-Instruct has experienced notable performance degradation in this benchmark window. The overall quality score decreased from 87.3 to 85.4, representing a modest but measurable decline in capabilities. Most concerning is the latency increase of 69%, with p50 response times rising from 7495ms to 12700ms, which will impact user experience significantly for interactive applications. The coding performance showed the most dramatic drop, falling from 98 to 69, a decline of nearly 30 points that suggests potential issues with code generation or understanding tasks. Multilingual capabilities remained relatively stable, decreasing slightly from 92 to 87, while reasoning performance maintained its perfect score of 100 across both windows. The absence of factual scoring in the current window prevents direct comparison in that category. With only 5 test runs in each window, these results should be interpreted with appropriate caution, though the consistency of the reasoning scores and the magnitude of the coding decline suggest real changes in model behavior. Users requiring strong coding assistance should be aware of this regression, while those prioritizing reasoning tasks can expect continued reliable performance.
Qualité
85.4
Latence p50
12,700 ms
Exécutions de test
5