Hız analizi
Tüm benchmark çalıştırmalarında ölçülen gecikme. P50 (medyan) ve P95 (95. yüzdelik) normal ve yoğun yük altında yanıt hızının gerçekçi bir resmini verir.
Kalite puanları
Bu modelin her soru kategorisinde sahanın geri kalanına göre nerede durduğu; aynı sorular üzerinde ikili karşılaştırmayla hesaplanır. Ham jüri puanı her sayının altındadır.
Kategori başına kazanma oranı: bu modelin o kategoriden bir soruda ortalama bir modeli ne sıklıkla yendiği. %50 ortalamadır, kalma notu değildir. Doğru cevap yüzdesi de değildir.
Fiyatlar
Bu modeli Tokonomix üzerinden kullandığınızda milyon token başına ödediğiniz tutar ve tipik bir konuşma için tahmini maliyet.
Saniye başına token
Ölçülen P50 gecikmesinden türetilen saniye başına token verimi. Yüksek daha iyidir; dalgalanmalar sağlayıcı tarafındaki yükü yansıtır.
P50 gecikme × 200 çıkış token tahmininden hesaplandı — mutlak rakam bu varsayıma bağlıdır; önemli olan eğilimdir.
Yetenekler
Kullanılabilirlik
Kullanılabilirlik
Bu modelin çağrıldığında ne sıklıkla yanıt verdiği — son 30 gün içindeki gerçek API istekleri ve canlı testler üzerinden ölçülmüştür. Bu kaliteden bağımsızdır: bu sayılar yalnızca modelin yanıt verip vermediğini gösterir, yanıtın ne kadar iyi olduğunu değil.
Son 7 gün
—
Son 30 gün
100.0%
n=7
Medyan yanıt süresi
1,091ms
n=7
Baz alınan 387 ölçüm son 30 gün içinde.
Teknik detaylar
Yalnızca gerçek API çağrıları ve canlı test istekleri sayılır — dahili yoklamalar ve kıyaslama çalıştırmaları hariçtir.
Özel API anahtarıyla (BYOK) yapılan çağrılar hariçtir: bu hatalar anahtara özgüdür, model kesintisinin işareti değildir.
Başarısız çağrılar kalite puanlarına DAHİL EDİLMEZ — kalite yalnızca başarılı yanıtlar üzerinden ölçülür. Kullanılabilirlik ve kalite bağımsız sinyallerdir.
Kaydedilmiş süreye sahip başarılı çağrılarda medyan yanıt süresi (p50). Aykırı değerler medyanı ortalamadan daha az etkiler.
Toplam çağrı (30d)
7
OK yanıtlar (30d)
7
Toplam çağrı (7d)
0
OK yanıtlar (7d)
0
Tokonomix kıyaslama kararları
Quality jumps to 84.5 with 42% faster latency, reasoning now perfect
Mistral-Nemo-Instruct-2407 demonstrates substantial improvements across multiple dimensions in this benchmark window. Overall quality increased by 6.7 points to reach 84.5, representing a meaningful step forward in model performance. Latency improved dramatically with a 42% reduction, bringing the p50 down from 7661ms to 4459ms, making the model noticeably more responsive for production workloads. The standout achievement is reasoning performance, which reached a perfect 100 score compared to not being measured in the previous window. Factual accuracy showed strong gains, rising from 50 to 91, indicating major improvements in knowledge retrieval and accuracy. Multilingual capabilities remained robust at 92, up slightly from 84, maintaining the model's strength in cross-language tasks. The most significant regression appears in coding performance, which dropped sharply from 100 to 55. This represents a 45-point decline and suggests recent changes may have impacted code generation quality. Users relying on coding capabilities should test thoroughly against their specific use cases. Despite this setback, the overall trajectory shows a model becoming faster and more capable across most domains, with the reasoning and factual improvements potentially offsetting coding limitations for general-purpose applications.
Kalite
84.5
Gecikme p50
4,459 ms
Test çalıştırmaları
5