Hangi YZ modeli en iyi kodu yazar?

Neden kod en sahte yapılamayan benchmark'tır

Kod, dil modeli görevlerinin çoğunun olmadığı bir biçimde acımasızdır. Yazı biraz doğru olabilir ve yine de işe yarayabilir; kod ya doğrudur ya da çöker. Makul görünen ama kenar durumları yanlış işleyen bir işlev yazan model, yeşile dönen bir test paketi ve kırmızıya dönen bir üretim olayı üretir. Bu işin kısmi puanın geçtiği bir versiyonu yoktur.

Bu nedenle kod, manipüle edilmesi en zor benchmark'tır. Bir sağlayıcı seçilmiş bir test setinde skor yayınlayabilir, ama API erişimi olan her geliştirici, modeli birkaç dakika içinde kendi backlog'undan gerçek bir hata karşısında sınayabilir. Hangi modelin en iyi kodu yazdığı konusundaki topluluk konsensüsü genellikle resmi sıralamalardan aylarca öndedir ve güvenilir biçimde aynı yanıta ulaşır. En iyi mühendislerin gerçekte hangi araçlara uzandığına bakın, pazarlama sayfalarının ne iddia ettiğine değil.

İşin şekli de değişti. İki yıl önce kodlama yardımı tek turlu tamamlamalar anlamına geliyordu: bir yorum yaz, öneriyi kabul et, devam et. Bugün aynı iş akışı dosyaları okuyan, testleri çalıştıran, kodu düzenleyen ve gözetim olmadan yineleyen ajan döngüleri üzerinde yayılıyor. Modelin yalnızca kod yazmada değil, ne yazacağına karar vermede, başarısızlıktan kurtulmada ve işi bittiğinde durmada da iyi olması gerekiyor. Farklı beceriler, farklı liderler, farklı fiyat profilleri.

Beş şey kullanılmaya değer modelleri değer olmayanlardansayırtır: ham doğruluk, araç kullanım disiplini, uzun bağlam kavrayışı, dil kapsamı ve bir görevi baştan sona çözmenin toplam maliyeti. Tam tablo, herhangi bir tek boyuttan daha önemlidir.

İlerleme hızı, nasıl inşa ettiğinizi de etkiler. Tek bir model adını sabit kodlayan bir kodlama yığını hızla eskir. En iyi ekipler modeli ajan katmanlarının arkasında değiştirilebilir bir bileşen olarak ele alır ve her çeyrekte yeniden benchmark yapar. Backlog'unuzda çözüm oranını yüzde on artıran yeni bir sürüm, aynı çeyrekte inşa edeceğiniz her özellikten daha değerlidir — bunu fark etmenin tek yolu test etmeye devam etmektir.

Hangi modelin kazandığını belirleyen beş boyut

Bunlar, gerçek bir kod tabanının yakınına konuşlandırılan her modeli scorecardımızın değerlendirdiği eksenlerdir. Göreli ağırlık, modelin bir IDE'de, bir ajan döngüsünde mi yoksa bir toplu işlemde mi yaşadığına bağlıdır — ama her aday beşinde de minimum bir eşiği geçmek zorundadır.

1. 01 — İlk denemede doğruluk

   Kod çalışıyor mu ve doğru şeyi yapıyor mu?

   Derlenen ama bir null'ı yanlış işleyen kod, hiç kod olmamaktan daha kötüdür — mühendis onu okur, güvenir ve gönderdim der. Bir modelin kodlama işi için uygunluğunun en iyi tahmin edicisi, ikinci bir geçiş olmadan baştan sona doğru tamamladığı görevlerin payıdır.

2. 02 — Araç kullanımı ve ajan döngüleri

   Bir soruya cevap vermekle kalmayıp bir iş akışını yönetebiliyor mu?

   Modern kodlama ajanları araçları çağırır: dosya okur, kod tabanında arama yapar, test çalıştırır, yama uygular. Modelin hangi aracı ne zaman çağıracağını, ne zaman duracağını ve araç saçmalık döndürdüğünde nasıl toparlanacağını bilmesi gerekir. Sohbet için ayarlanan modeller burada sessizce başarısız olur; ajan döngüleri için ayarlananlar ilerler.

3. 03 — Uzun bağlam kavrayışı

   Tüm bir depoyu aklında tutabiliyor mu?

   Model yalnızca ilk ve son birkaç sayfaya dikkat ediyorsa bir milyon token'lık bağlam anlamsızdır. Kendi dosyalarınızda birden fazla derinlikte alma sondalarıyla uzun bağlam performansını test edin. Gerçek dünya kodlaması, ham pencere boyutundan çok dikkat derinliğinden yararlanır.

4. 04 — Dil ve çerçeve kapsamı

   Yığınınızı biliyor mu, yoksa yalnızca Python ve JavaScript'i mi?

   Tüm sınır modeller en popüler dillerde akıcıdır. Rust, Zig, Elixir, Clojure'a veya bunların üzerine inşa edilmiş herhangi bir DSL'e geçtiğinizde kalite keskin biçimde düşer. Çerçeve kapsamı daha da eşitsizdir: React'ı güvenle yöneten bir model Phoenix LiveView'da tökezleyebilir. Her zaman kendi yığınınızda benchmark yapın.

5. 05 — Çözülen görev başına maliyet

   Değişikliği göndermek için gerçekte ne ödüyorsunuz?

   Ajan döngüleri maliyetleri hızla katar. Token başına iki kat daha pahalı ama görevi üç yerine bir denemede çözen bir model daha ucuz seçimdir. Her zaman uçtan uca ölçün: her okuma, her yeniden deneme, her araç çağrısı ve mühendisın sonucu gözden geçirmek için harcadığı süre.

Tokonomix'in kod için bugünkü ilk 5 seçimi

Aşağıdakiler, bu hafta bir geliştiriciye gerçekten vereceğimiz şeylerdir. Her model, her listede yer almaktan onu dışlayan bir nedenle listededir — satır içi tamamlamalarda, ajantik yeniden düzenlemelerde, depo ölçeğinde incelemelerde ve kendi sunucusunda çıkarımda aynı anda kazanan bir model yoktur. Kodlama asistanlarından bugün en fazla verim alan ekipler bu ikisini paralel çalıştırır: her tuş vuruşunda hızlı bir model ve birincisi takıldığında ajanın çağırdığı daha ağır bir model.

Milyon token başına çıktı fiyatı

Kodlamada çıktı maliyeti ağır basar, çünkü asistan token'larının büyük bölümünü prompt'unuzu okumak yerine kod yazmaya harcar. Grafik, yukarıdaki beş modelin her biri için anlık liste fiyatını göstermektedir.

Alan rehberi: hangi iş için hangi model

Aşağıdaki eşleşme, sıfırdan başlayan bir ekibe tavsiyelerde bulunmak için kullanacağımız şeydir. Bunu bir başlangıç noktası olarak değerlendirin, kesin hüküm olarak değil — kendi backlog'unuzda yapılacak küçük bir benchmark, herhangi bir genel öneriyi geçer.

Karar vermeden önce kendi backlog'unuzda benchmark yapın

Böyle bir rehber yalnızca ortalamalar üzerinde akıl yürütebilir — ortalamalar ise bir sonraki sürümünüzü göndermez. Son sprintten on ila yirmi kapalı ticket çıkarın — dağınık olanları, kolay olanları değil — ve bunları iki ya da üç adaya karşı yeniden oynatın. Her biri için aynı ajan döngüsünü ve aynı sistem yönlendirmesini kullanın. Bir öğleden sonra yeterlidir.

Ardından diff'leri yan yana okuyun. Değişiklik ilk denemede çalıştı mı? Model doğru araçlara başvurdu mu? Dokunması gereken ama değiştirmemesi gereken kod tabanı bölümlerini anladı mı? Çerçeve kuralları içinde kaldı mı? Yeniden denemeler dahil her girişim uçtan uca ne kadara mal oldu? Her leaderboard'da başka biri kazansa bile kendi verilerinize göre kazananı seçin.