Hız analizi
Tüm benchmark çalıştırmalarında ölçülen gecikme. P50 (medyan) ve P95 (95. yüzdelik) normal ve yoğun yük altında yanıt hızının gerçekçi bir resmini verir.
Kalite puanları
Bu modelin her soru kategorisinde sahanın geri kalanına göre nerede durduğu; aynı sorular üzerinde ikili karşılaştırmayla hesaplanır. Ham jüri puanı her sayının altındadır.
Kategori başına kazanma oranı: bu modelin o kategoriden bir soruda ortalama bir modeli ne sıklıkla yendiği. %50 ortalamadır, kalma notu değildir. Doğru cevap yüzdesi de değildir.
Fiyatlar
Bu modeli Tokonomix üzerinden kullandığınızda milyon token başına ödediğiniz tutar ve tipik bir konuşma için tahmini maliyet.
Saniye başına token
Ölçülen P50 gecikmesinden türetilen saniye başına token verimi. Yüksek daha iyidir; dalgalanmalar sağlayıcı tarafındaki yükü yansıtır.
P50 gecikme × 200 çıkış token tahmininden hesaplandı — mutlak rakam bu varsayıma bağlıdır; önemli olan eğilimdir.
Yetenekler
Kullanılabilirlik
Kullanılabilirlik
Bu modelin çağrıldığında ne sıklıkla yanıt verdiği — son 30 gün içindeki gerçek API istekleri ve canlı testler üzerinden ölçülmüştür. Bu kaliteden bağımsızdır: bu sayılar yalnızca modelin yanıt verip vermediğini gösterir, yanıtın ne kadar iyi olduğunu değil.
Son 7 gün
—
Son 30 gün
100.0%
n=7
Medyan yanıt süresi
1,091ms
n=7
Baz alınan 387 ölçüm son 30 gün içinde.
Teknik detaylar
Yalnızca gerçek API çağrıları ve canlı test istekleri sayılır — dahili yoklamalar ve kıyaslama çalıştırmaları hariçtir.
Özel API anahtarıyla (BYOK) yapılan çağrılar hariçtir: bu hatalar anahtara özgüdür, model kesintisinin işareti değildir.
Başarısız çağrılar kalite puanlarına DAHİL EDİLMEZ — kalite yalnızca başarılı yanıtlar üzerinden ölçülür. Kullanılabilirlik ve kalite bağımsız sinyallerdir.
Kaydedilmiş süreye sahip başarılı çağrılarda medyan yanıt süresi (p50). Aykırı değerler medyanı ortalamadan daha az etkiler.
Toplam çağrı (30d)
7
OK yanıtlar (30d)
7
Toplam çağrı (7d)
0
OK yanıtlar (7d)
0
Tokonomix kıyaslama kararları
Strong quality jump to 79.0 with improved latency and reasoning gains
Mistral-Nemo-Instruct-2407 demonstrates substantial progress in this benchmark window, with overall quality climbing from 66.9 to 79.0, representing a 12.1 point improvement. This marks a significant recovery and advancement for the model. Latency performance has also improved meaningfully, with the p50 dropping from 5206ms to 4352ms, a 16% reduction that enhances responsiveness. The quality gains are driven by notable improvements in coding and reasoning capabilities. Coding scores jumped from 45 to 74, indicating much stronger performance on programming tasks. Reasoning saw an impressive rise to 92, though this is a new metric in the current window. Multilingual performance remains perfect at 100, maintaining consistency across benchmark periods. However, factual accuracy presents a concern, declining from 56 to 50. This drop suggests the model may struggle with knowledge-based queries or fact verification tasks. Users relying on factual correctness should validate outputs carefully. Overall, this benchmark window shows Mistral-Nemo-Instruct-2407 making meaningful strides in performance across multiple dimensions. The combination of improved quality, faster response times, and stronger coding capabilities positions it more competitively, though attention to factual accuracy remains important for production use cases.
Kalite
79.0
Gecikme p50
4,352 ms
Test çalıştırmaları
5