Metodoloji

İstem: Yaklaşık 500 token çıktı hedefleyen sabit bir talimat. Her çalıştırma döngüsünde her model için aynı istem kullanılır.

Çalıştırma: Test döngüsü başına 3 ardışık çağrı. Uçtan uca gecikmeyi (ilk byte'tan son byte'a) ölçeriz; TTFT değil.

Metrikler: Başarılı çağrılar üzerinden medyan ve kuyruk — tabloda Olağan ve Yavaş durum olarak gösterilir. Başarısız bir çağrı ölçüm değildir: ikisine de katılmaz ve tüm çağrıların başarısız olduğu bir turda sıfır yerine hiç gecikme kaydedilmez.

Ölçüm konumu: AB — Amsterdam (AMS). Tüm sonuçlar AB gecikmesidir. ABD veya Asya sonuçları farklılık gösterir.

Hız seviyeleri:

Durum: Mayıs 2026'dan beri yayında. 6 kategori ve 5 sağlayıcı genelinde 19,487 puanlanmış koşu. Yeni tur haftada bir, pazar 04:00 UTC'de çalışır.

Hakim model: Claude Sonnet 4.5 tarafsız hakim olarak görev yapar. Değerlendirilen modelin adı hakim istemine hiçbir zaman dahil edilmez — yalnızca ham yanıt metni puanlanır (kör inceleme).

Puanlama: Jüri bir puan döndürmez. Ondan önce cevapta parmak basabildiği her kusuru sıralaması istenir — kritik, büyük ya da küçük — ardından cevabı doğruluk (100 puanın 40’ı), eksiksizlik (25), akıl yürütme (25) ve biçim (10) için 0–4 arası tanımlı bir ölçeğe yerleştirmesi istenir. Puan bu düzeylerden burada hesaplanır ve sonra jürinin bildirdiği en ağır kusurla sınırlanır: küçük bir kusur 92’yi, büyük bir kusur 74’ü, kritik bir kusur 45’i geçemez. Bu tavan koda gömülüdür, jüriden rica edilmez; çünkü önceki rubrik — 25 üzerinden dört serbest sayı ve bir toplam — değerlendirdiği bütün çalışmaların %46’sında tam 100 döndürüyordu. Bir sorunun doğrulama işaretleri varsa bunlar jüriye verilir, böylece doğruluk tahmin edilmek yerine denetlenir.

Altı istem kategorisi:

Arena puanı: Aynı promptu yanıtlayan her model çifti bir karşılaştırma oluşturur; 2 puan ve altındaki fark beraberlik sayılır. Tüm karşılaştırmalar üzerinde yapılan Bradley-Terry en çok olabilirlik kestirimi, Elo ölçeğinde bir puan üretir: 1000 tablodaki modellerin ortalamasıdır ve 400 puanlık fark 10'a 1 oran demektir. Karşılaştırma prompt bazında olduğu için promptun zorluğu sadeleşir. Güçlü bir modeli yenmek, zayıf birini yenmekten daha çok puan getirir. Tablolar bu dereceyi doğrudan göstermiyor; ondan çıkan kazanma oranını gösteriyor: tablodaki ortalama bir modeli yenme olasılığı, %50 ortalama olmak üzere. Sıralama aynı, bakılacak bir şey eksik.

Kategoriye göre: Her kategori, yalnızca kendi soruları üzerinden, genel puanla aynı ikili karşılaştırma yöntemiyle ayrı hesaplanır. Her çubuktaki sayı bir kazanma oranıdır: modelin o kategoriden bir soruda ortalama bir modeli ne sıklıkla yendiği; %50 ortalamadır. Doğru cevap yüzdesi değildir. Bir kategoride iki ila sekiz soru bulunur, dolayısıyla bunların ikisinden azında ölçülmüş bir model sıralanmaz, zayıf kanıt olarak işaretlenir.

Güven aralığı ve sıra: Her puan, Fisher bilgisinden kapalı formda hesaplanan %95 güven aralığı taşır. Sıra, aralıkların örtüşmesinden gelir: bir model ancak aralıkları ayrıksa diğerinin üstünde yer alır; birbirinden ayırt edilemeyen modeller gürültüyle ayrıştırılmak yerine aynı sırayı paylaşır. 30'dan az karşılaştırması veya 5'ten az farklı promptu olan model geçici olarak gösterilir ve sıralanmaz. Bu, arena.ai'ın arena-rank adıyla yayımladığı metodolojiyi izler; fark, karşılaştırmalarımızın insan oylarından değil kör bir jüri LLM'inden gelmesidir. Gizlemek yerine açıkça söylediğimiz bir sınır: karşılaştırmalar ortak bir prompt havuzundan geliyor, dolayısıyla birbirinden tam bağımsız değiller. Bu nedenle aralıklar gerçek belirsizliğin alt sınırıdır; birbirinden birkaç on puan uzaktaki modelleri berabere okumak gerekir.

Soruların bir şey ölçüp ölçemediği: Her soru kendi zorluğuyla (jüri puanı ortalaması) ve ayırt ediciliğiyle (düzeltilmiş madde-toplam korelasyonu ve ayırdığı model çiftlerinin oranı) puanlanır. Bugüne dek çalıştırdığımız yirmi dört sorudan üçü kimseyi ayırmıyor — "AB, GDPR’ı hangi yıl yürürlüğe koydu" sorusunu 87 modelin 87’si doğru yanıtlıyor. Bu sorular ortalamaya karıştırılmak yerine tabloda adıyla gösterilir; çünkü her modelin kusursuz yanıtladığı bir soru modelleri değil, soruyu ölçer. Doyum sorununun hiçbir istatistiğin çözemeyeceği yarısı budur ve soru havuzunun daha zor, doğrulanabilir sorularla değiştirilmesinin nedeni de budur.

Statik testler bir modeli sabit bir çıtayla ölçer. Arena ise modelleri birbiriyle, gerçekçi müşteri hizmetleri senaryolarında ve rakip model paneli tarafından değerlendirerek ölçer. Tek bir puanın veremeyeceği bir şey üretir: belirsizlik marjıyla birlikte göreli bir sıralama.

Bu neden statik testleri tamamlar (yerini almaz):

• Statik testler kategoriye göre mutlak kaliteyi verir; arena ise gerçekçi görevlerde birebir güç ve maliyet-kalite dengesini ortaya koyar.
• Arena, 0–100 puanının gözden kaçırdığı şeyleri yakalar: birden fazla turda tutarlılık, modelin takip sorularını nasıl ele aldığı ve — council'larla birlikte — iş birliğinin gerçekten işe yarayıp yaramadığı.
• Ekrandaki yarış, müsabakanın nasıl geliştiğini izlemenin bir yoludur. Sonuç her zaman panel tarafından belirlenir, asla can barlarıyla değil.

Puanlama iki aşamada gerçekleşir. Maç sırasında tek hızlı bir hakem süregelen bir tablo tutar; sonunda bağımsız bir hakem paneli galip üzerine oy kullanır.

Aşama 1 — canlı, tur başına: Tek hızlı, kasıtlı olarak ucuz bir hakem (gpt-4o-mini), her yanıtı tek bir çağrıda 0–10 ölçeğinde puanlar. Bu yalnızca canlı yarış şeritlerini besler — gösterge niteliğindedir, belirleyici değil.

Aşama 2 — tur sonu, panel: Farklı model ailelerinden 3–5 hakim 0–100 ölçeğinde bağımsız olarak galip üzerine oy kullanır. Çoğunluk kazanır; beraberlikler en yüksek ortalama panel puanıyla, ardından deterministik olarak en düşük model kimliğiyle kırılır.

İndekse göre kör değerlendirme: Model adları panel isteminden çıkarılır — yarışmacılara yalnızca numara/indeksle atıfta bulunulur, böylece panel tanıdık bir markayı kayıramaz.

Sabit eşikler: Bir model, hakem tarafından ≥60 puanlandığında beğeni (▲) kazanır. Galibinin marjı puan ölçeğinin ≥30'una ulaştığında bir tur 'belirleyici' olarak işaretlenir. Bu sabit değerler gördüğünüz sayımları belirler.

Her modelin tahmini bir beceri düzeyi μ (mu) ve belirsizliği σ (sigma) vardır. Yeni bir model μ=25, σ=8.333 ile başlar — yüksek belirsizlik. Her maç, μ'yü modelin gerçek gücüne yaklaştırır ve σ'yı küçültür. Aynı μ'ye ancak farklı σ'ya sahip iki model eşit değildir: düşük σ'ya sahip olan kanıtlanmıştır, diğeri hâlâ bir tahmindir.

Gerçekte kullandığımız sabitler: Başlangıç puanı μ=25, σ=8.333; beceri varyansı BETA=4.167; maç başına kayma TAU=0.0833. Bunlar kodda sabittir ve her model için aynıdır.

Şu an nasıl sıralıyoruz — dürüstçe açıklanmış: Leaderboard ham μ (tahmini güç) üzerinden sıralar. Daha katı 'kanıtlanmış' bir sıralama muhafazakâr μ − 3σ üzerinden sıralardı. Bu erken veri olduğundan — çoğu modelin yalnızca birkaç oyunu var — σ hâlâ büyüktür ve listenin tepesi değişebilir. Tahmini gösterir ve bunun bir tahmin olduğunu söyleriz; tek bir sayının arkasına saklanmayız.

Bir tur, küçük modellerin ucuz bir council'ını tek bir pahalı frontier modeline karşı çıkarabilir. Bir council'da, her turun yanıtı üyelerinin konsensüs sentezidir. Bu, arenaya tek bir puanın cevaplayamayacağı bir soruyu sormak imkânı tanır: ucuz bir council, pahalı bir frontier modeli yenebilir mi — ve eğer yenerse ne kadar tasarruf sağlar?

Tasarruf nasıl hesaplanır: Bir council hem bir turu kazandığında hem de yendiği frontier modelinden daha ucuza mal olduğunda farkı tasarruf olarak gösteririz. Council galibiyeti gruba bağlıdır, hiçbir zaman bireysel üyenin sıralamasına değil; bu nedenle grup sonucu tek bir modelin sıralamasını şişirmez.

En iyi senaryo uyarısı: Tasarruflar yalnızca council'ın kazandığı turlardan birikir. Kaybeden council'lar (ve dolayısıyla boşa para harcayanlar) çıkarılmaz. Bu rakam, council'ın kazandığı turlarda elde edilebilecek en iyi senaryo tasarrufudur — net bir sonuç değil.

Bir model iki ayrı yöntemle ölçülür ve ikisi çelişebilir; ancak bu ikisinden birinin yanlış olduğu anlamına gelmez — farklı şeyleri ölçerler.

Arena itibarı (göreli): Birebir oyun galibiyetlerinden elde edilen TrueSkill. Bir modeli gerçekçi senaryolarda rakipleriyle kıyaslar.

Tarafsız hakem itibarı (mutlak): Bir modelin, rakip yerine sabit bir rubrik karşısında tekrarlayan zekâ testinde doğru / kısmi / yanlış olarak derecelendirilme sıklığı.

Bir model oyunları kaybedip yüksek doğruluk itibarını koruyabilir ya da oyunlar kazanırken mutlak doğrulukta yalnızca kısmi puan alabilir. Bu ayrımı kasıtlı olarak koruyoruz.

Kör nokta, diğer yarışmacıların ≥2'sinin kapsadığı önemli bir noktanın bir yarışmacı tarafından atlanmasıdır — bu, konunun göz ardı edilemeyecek kadar önemli olduğunu kanıtlar.

Panel tarafından onaylananlar: Bir kör nokta yalnızca ≥2 panel hakemi aynı eksiklik üzerinde bağımsız olarak hemfikir olduğunda sayılır. Bir hakem konu listesini ve ıskalama matrisini önerir; diğer hakemler aynı sabitlenmiş konuları doldurur ve bir ıskalama, en az iki matrisin o hücrede hemfikir olduğunda onaylanır.

Durum: Bu tespit canlı ve turlar genelinde yaygınlaşıyor. Henüz bir sayı yayınlamıyoruz — yeterli veriyle desteklenmeyen bir sayı göstermektense hiç sayı göstermemeyi tercih ederiz.

Arena sayfalarındaki her sayım, küçük bir sabit seçimler kümesinden kaynaklanır. Sayıların denetlenebilir olması için bunları burada listeliyoruz.

Dikkatli bir okuyucunun açıklanmasını isteyeceği şeyler — sınırlar, bilinen önyargılar ve sayıları şekillendiren tercihler.

Erken veri, değişken sıralamalar: Arena henüz genç. Çoğu modelin yalnızca birkaç oyunu var, bu nedenle tek bir galibiyet ya da mağlubiyet μ'yü büyük ölçüde etkileyebilir ve sıralamalar hâlâ değişkendir. Düzenin oturduğunu ima etmek yerine oyun sayılarını ve belirsizliği gösteriyoruz.

Ham-μ sıralaması: Sıralama muhafazakâr μ − 3σ yerine ham μ üzerinden yapılır. Yüksek belirsizlik söz konusu olduğunda bu, şanslı bir galibiyetle bir modelin daha kanıtlanmış olanın üstüne çıkabileceği anlamına gelir. Mevcut düzeni 'tahmin edilmiş, henüz kanıtlanmamış' olarak değerlendiriyoruz.

Hakem uyumu doğruluk değildir: Hakem uyumu rakamı, bir hakemin tercihinin panel galibiyle ne sıklıkla örtüştüğünü ölçer — ancak galip, aynı hakemlerin çoğunluğudur. Panele uyumu ölçer, panelin haklı olup olmadığını değil. Doğru ama aykırı bir hakem burada düşük puan alır.

Tasarruflar en iyi senaryodur: Tasarruflar yalnızca council'ın kazandığı ve daha ucuz olduğu turları sayar; kaybeden council'lar çıkarılmaz. Bunu kazanılan turlardaki en iyi senaryo rakamı olarak okuyun, net bir tasarruf olarak değil.

Zekâ testinde tek hakem öz-tercihi: Tekrarlayan zekâ testi, Claude ailesini de yargılayabilen tek bir birincil hakem (Claude Sonnet 4.5) üzerinde çalışır — öz-tercih bilinen bir LLM önyargısıdır. Bunu kalibre etmek için ikincil bir çapraz kontrol hakemi mevcuttur ve arena bunu çapraz aile paneliyle daha da azaltır; tek hakemli zekâ testinde bu panel bulunmaz.

Yarışmacı ↔ hakem ailesi çakışması: Bir model ailesi aynı turda hem yarışmacı hem de hakem panelinde yer alabilir. İndekse göre kör değerlendirme ve çapraz aile paneli etkiyi azaltır; ancak çakışma yaşanabilir ve bunu katı aile dışlaması iddia etmek yerine açıklıyoruz.

İki ölçek, bir sıralama: Canlı tur başı hakem 0–10 ölçeği kullanır, tur sonu panel ise 0–100. Sıralamaya ulaşmadan önce her şeyi aynı ölçeğe normalize ederiz; böylece bir tur sırasında görebileceğiniz iki sayı sıralamada karıştırılmaz.

Beraberlikler nasıl ele alınır: Net bir galip olmayan bir tur, herkes için kayıp sayılmaz — bu kazanma oranlarını çarpıtır — bunun yerine beraberlik olarak işlenir ve hiçbir tasarruf kaydedilmez.

Versiyonlanmış, deterministik türetme: Ekrandaki görsel türetme saf, deterministiktir ve tam olarak daha sonraki bir mantık değişikliğinin geçmiş turları sessizce yeniden yazmaması için bir versiyon etiketi (v8.1-tokonomix) taşır. Önemli metodoloji değişiklikleri aşağıdaki değişiklik günlüğünde kayıt altına alınır.

Haziran 2026'da yapay zeka görüntü kalite kontrolünün ilk temel ölçümünü gerçekleştirdik. Altı tekil model ve iki konsey yapılandırması 300 görüntüde test edildi. Konsey en iyi tekil modelin %66,9'una karşın %87,5 geri çağırma elde etti. Tam sonuçlar /benchmarks/vision-qc adresinde.

Tam sonuçlar →

Sıklık: 5 dakikada bir.

Yöntem: Minimal bir yankı tipi istem gönderilir. HTTP durumunu, hata mesajını (varsa) ve yanıt süresini takip ederiz.

Hata takibi: Çalıştırma başına error_count kaydedilir. Sürekli yüksek hata oranları sıralamada gösterilir.

Tüm benchmark verileri ücretsiz olarak sunulmaktadır. Salt okunur erişim için anahtar gerekmez.