Hız analizi
Tüm benchmark çalıştırmalarında ölçülen gecikme. P50 (medyan) ve P95 (95. yüzdelik) normal ve yoğun yük altında yanıt hızının gerçekçi bir resmini verir.
Kalite puanları
Bu modelin her soru kategorisinde sahanın geri kalanına göre nerede durduğu; aynı sorular üzerinde ikili karşılaştırmayla hesaplanır. Ham jüri puanı her sayının altındadır.
Kategori başına kazanma oranı: bu modelin o kategoriden bir soruda ortalama bir modeli ne sıklıkla yendiği. %50 ortalamadır, kalma notu değildir. Doğru cevap yüzdesi de değildir.
Fiyatlar
Bu modeli Tokonomix üzerinden kullandığınızda milyon token başına ödediğiniz tutar ve tipik bir konuşma için tahmini maliyet.
Saniye başına token
Ölçülen P50 gecikmesinden türetilen saniye başına token verimi. Yüksek daha iyidir; dalgalanmalar sağlayıcı tarafındaki yükü yansıtır.
P50 gecikme × 200 çıkış token tahmininden hesaplandı — mutlak rakam bu varsayıma bağlıdır; önemli olan eğilimdir.
Yetenekler
Kullanılabilirlik
Kullanılabilirlik
Bu modelin çağrıldığında ne sıklıkla yanıt verdiği — son 30 gün içindeki gerçek API istekleri ve canlı testler üzerinden ölçülmüştür. Bu kaliteden bağımsızdır: bu sayılar yalnızca modelin yanıt verip vermediğini gösterir, yanıtın ne kadar iyi olduğunu değil.
Son 7 gün
100.0%
n=7
Son 30 gün
100.0%
n=7
Medyan yanıt süresi
1,988ms
n=7
Baz alınan 387 ölçüm son 30 gün içinde.
Teknik detaylar
Yalnızca gerçek API çağrıları ve canlı test istekleri sayılır — dahili yoklamalar ve kıyaslama çalıştırmaları hariçtir.
Özel API anahtarıyla (BYOK) yapılan çağrılar hariçtir: bu hatalar anahtara özgüdür, model kesintisinin işareti değildir.
Başarısız çağrılar kalite puanlarına DAHİL EDİLMEZ — kalite yalnızca başarılı yanıtlar üzerinden ölçülür. Kullanılabilirlik ve kalite bağımsız sinyallerdir.
Kaydedilmiş süreye sahip başarılı çağrılarda medyan yanıt süresi (p50). Aykırı değerler medyanı ortalamadan daha az etkiler.
Toplam çağrı (30d)
7
OK yanıtlar (30d)
7
Toplam çağrı (7d)
7
OK yanıtlar (7d)
7
Tokonomix kıyaslama kararları
Quality jumps 17 points as coding excels but factual performance falters
Mistral-7B-Instruct-v0.3 on OVH AI Endpoints shows significant quality improvement with overall scores rising from 51.4 to 68.4, representing a 17-point gain. This improvement is driven primarily by exceptional coding performance, which surged from 45 to 81, establishing it as a strength for this deployment. Multilingual capabilities remain perfect at 100 across both windows, demonstrating consistent excellence in language handling. However, this quality gain comes with notable tradeoffs. Factual accuracy has deteriorated significantly, climbing only from 11 to 24 but remaining critically weak for knowledge-based tasks. Latency has increased substantially by 78 percent, with p50 response times rising from 5122ms to 9104ms, which may impact user experience in time-sensitive applications. The previous window's standout reasoning score of 92 and creative score of 9 are absent from current measurements, making direct comparison incomplete. Users should consider this deployment suitable for coding assistance and multilingual tasks where response time is less critical, but should exercise caution for factual queries. The quality trajectory is positive overall, though the latency regression and weak factual performance require monitoring in production environments.
Kalite
68.4
Gecikme p50
9,104 ms
Test çalıştırmaları
5