Hız analizi
Tüm benchmark çalıştırmalarında ölçülen gecikme. P50 (medyan) ve P95 (95. yüzdelik) normal ve yoğun yük altında yanıt hızının gerçekçi bir resmini verir.
Kalite puanları
Bu modelin her soru kategorisinde sahanın geri kalanına göre nerede durduğu; aynı sorular üzerinde ikili karşılaştırmayla hesaplanır. Ham jüri puanı her sayının altındadır.
Kategori başına kazanma oranı: bu modelin o kategoriden bir soruda ortalama bir modeli ne sıklıkla yendiği. %50 ortalamadır, kalma notu değildir. Doğru cevap yüzdesi de değildir.
Fiyatlar
Bu modeli Tokonomix üzerinden kullandığınızda milyon token başına ödediğiniz tutar ve tipik bir konuşma için tahmini maliyet.
Saniye başına token
Ölçülen P50 gecikmesinden türetilen saniye başına token verimi. Yüksek daha iyidir; dalgalanmalar sağlayıcı tarafındaki yükü yansıtır.
P50 gecikme × 200 çıkış token tahmininden hesaplandı — mutlak rakam bu varsayıma bağlıdır; önemli olan eğilimdir.
Yetenekler
Kullanılabilirlik
Kullanılabilirlik
Bu modelin çağrıldığında ne sıklıkla yanıt verdiği — son 30 gün içindeki gerçek API istekleri ve canlı testler üzerinden ölçülmüştür. Bu kaliteden bağımsızdır: bu sayılar yalnızca modelin yanıt verip vermediğini gösterir, yanıtın ne kadar iyi olduğunu değil.
Son 7 gün
100.0%
n=386
Son 30 gün
100.0%
n=1,911
Medyan yanıt süresi
4,415ms
n=1,911
Baz alınan 2,291 ölçüm son 30 gün içinde.
Teknik detaylar
Yalnızca gerçek API çağrıları ve canlı test istekleri sayılır — dahili yoklamalar ve kıyaslama çalıştırmaları hariçtir.
Özel API anahtarıyla (BYOK) yapılan çağrılar hariçtir: bu hatalar anahtara özgüdür, model kesintisinin işareti değildir.
Başarısız çağrılar kalite puanlarına DAHİL EDİLMEZ — kalite yalnızca başarılı yanıtlar üzerinden ölçülür. Kullanılabilirlik ve kalite bağımsız sinyallerdir.
Kaydedilmiş süreye sahip başarılı çağrılarda medyan yanıt süresi (p50). Aykırı değerler medyanı ortalamadan daha az etkiler.
Toplam çağrı (30d)
1,911
OK yanıtlar (30d)
1,911
Toplam çağrı (7d)
386
OK yanıtlar (7d)
386
Tokonomix kıyaslama kararları
Quality reaches 92.8 as reasoning and factual hit perfect scores
Meta-Llama-3.3-70B-Instruct delivered a strong performance improvement, climbing 5.8 points to reach an overall quality score of 92.8. The model achieved perfect scores in both reasoning and factual categories, each hitting 100 points, demonstrating exceptional capabilities in logical processing and information accuracy. This represents a significant advancement in factual understanding, which previously scored only 85. Multilingual performance showed solid improvement, rising from 77 to 88 points, indicating better language handling across diverse linguistic contexts. However, coding performance declined from a perfect 100 to 83 points, representing the most notable regression in this benchmark window. Latency increased slightly from 12076ms to 13286ms at the median, representing approximately a 10% slowdown in response times. While this increase is measurable, the model still maintains reasonable performance for a 70B parameter model. The overall trajectory remains positive with the quality score continuing its upward trend across consecutive benchmark windows. Users can expect highly reliable reasoning and factual outputs, strong multilingual support, and competent coding assistance, though the latter has stepped back from its previous peak performance. The model demonstrates particular strength in knowledge-intensive and analytical tasks.
Kalite
92.8
Gecikme p50
13,286 ms
Test çalıştırmaları
5