Hangi açık ağırlıklı modeli öz-barındırmalısınız?

Öz-barındırma neden yeniden değerlendirmeye değer

Açık ağırlıklı modellere karşı argüman eskiden basitti: barındırılan sınır o kadar ileride ki başka herhangi bir şey çalıştırmak yanlış bir ekonomi. Bu argüman 2024 ve 2025 boyunca her çeyrekte zayıfladı. Bugünkü en güçlü açık modeller, bir yıl önce barındırılan amiral gemisinin seviyesine ulaşıyor; bu, müşteriye yönelik sohbet olmayan hemen her üretim iş yükü için yeterli kalite demektir. Keskin uca olan uçurum gerçek; "yeterince iyi"ye olan uçurum ise kapandı.

Yerel çalıştırma kararının nedeni nadiren kalitedir. Mesele veri ikametgahı, yinelenen maliyet, büyük sağlayıcıların neredeyse hiç hizmet vermediği bölgelerdeki gecikme ve sağlayıcı bir kuşağı kullanımdan kaldırdığında altınızdan kaymayan bir modeli çalıştırabilme güvencesidir. Sınıflandırma için ayda on milyon iç belge işleyen bir ekip, token başına ödeme yerine öz-barındırmalı altyapıyla yılda altı haneli bir tasarruf sağlayabilir. Düzenlenmiş verilerle çalışan bir ekip bütün bir tedarik kabusu sürecinden kurtulur. ABD veri merkezlerine yüksek gecikmeyle sahip bir bölgedeki ekip ise kullanıcılara bir büyüklük sırası daha hızlı hizmet verebilir.

Maliyet denklemi "model ağırlıkları ücretsiz" kadar basit değildir. GPU'lar için — satın alınmış ya da kiralık — ve bunları işletmek için gereken mühendislik saatleri için ödeme yaparsınız. Başa baş noktası, token hacmine bağlıdır: ayda yaklaşık yüz milyon tokenın altında barındırılan API'lar toplam maliyette neredeyse her zaman kazanır; bir milyarın üzerinde öz-barındırma neredeyse her zaman kazanır. Orta aralıkta ise iş yüküne özgü ayrıntılar belirleyicidir.

Seçimi beş kısıt tanımlar: modelin kabul edilebilir bir kalitede ne kadar VRAM gerektirdiği, kullanım senaryonuzun lisans koşulları, çevre ekosisteminin olgunluğu ve modelin donanımınızda gerçekte sunabileceği gecikme. Doğru model beşini de karşılayan modeldir; en iyi kağıt üstü kıyaslama puanına sahip model değil.

Hangi modelin uyduğuna karar veren beş boyut

Üretim öz-barındırması için açık ağırlıklı bir model seçerken karnecimizin değerlendirdiği eksenler bunlardır. Göreli ağırlıklandırma donanım bütçenize, yargı bölgenize ve ekosistem pürüzlerine toleransınıza göre kayar — ancak her ciddi aday, beşinde de asgari bir çıtayı aşmak zorundadır.

1. 01 — Donanım uyumu

   Gerçekte sahip olduğunuz kartlarda çalışıyor mu?

   Çok GPU'lu düğüm gerektiren bir model, tek bir tüketici kartında çalışan bir modelden çok farklı bir önermedir. Her zaman dağıtmayı planladığınız niceleme düzeyinde VRAM gereksinimini hesaplayın ve hedef bağlam uzunluğundaki KV önbelleği için rahat bir marj ekleyin. En ucuz hata fazla donanım satın almaktır; en pahalısı ise az almaktır.

2. 02 — Niceleme kalitesi

   Sığdırabildiğiniz niceleme seviyesinde ne kadar kaybediyor?

   Niceleme kaliteyi bellekle ve hızla takas eder. Bazı modeller dört bitlik nicelemeye iyi dayanır; diğerleri sekizin altında belirgin biçimde bozulur. Yayınlanan tam hassasiyetli kıyaslamalar size çok şey söylemez — donanımınızın gerçekte izin verdiği niceleme düzeyinde ölçün ve bunun sıralamayı alt üst edebileceğini kabul edin.

3. 03 — Lisans koşulları

   Amaçladığınız şekilde kullanabilir misiniz?

   Açık ağırlıklar her zaman açık lisans anlamına gelmez. Bazıları hiçbir yükümlülük olmaksızın geniş ticari kullanıma izin verir; diğerleri kullanım eşikleri, atıf hükümleri veya yeniden dağıtım kısıtlamaları içerir. Lisansı inşa etmeden önce okuyun, sonra değil. Hukuk ekibinizin nihayetinde veto edeceği katı bir lisans yerine, biraz daha düşük kalitede daha dostane bir lisans genellikle daha iyidir.

4. 04 — Ekosistem desteği

   Servis yığını ham mı yoksa olgun mu?

   vLLM, Ollama ve llama.cpp'de birinci sınıf desteğe sahip bir modelin, yalnızca tek bir referans komut dosyası ve umut dolu bir README ile gelen bir modele kıyasla işletilmesi büyüklük sıraları kadar ucuz olacaktır. Araç olgunluğu, çoğu ekibin küçümsediği gizli maliyettir; olaylar için harcadığınız mühendislik saatlerinde kendini gösterir.

5. 05 — Donanımınızdaki gecikme

   Kullanım senaryosu için yeterince hızlı üretiyor mu?

   Karşılayabileceğiniz GPU'da saniyede on token üreten öz-barındırmalı bir model, sohbet için kullanamayacağınız bir modeldir. Dağıtmayı planladığınız tam kartta gerçekçi eşzamanlılık altında token-başına-saniyeyi ölçün; başkasının H100'ünden elde edilen sayılar L40S'inize aktarılmaz.

Bugün öz-barındırma için Tokonomix'in ilk 5 seçimi

Aşağıdakiler, gelecek hafta gerçekten donanım üzerine kuracağımız seçimdir. Öz-barındırma, barındırılan API dünyasından farklı bir seçim anlayışını ödüllendirir — doğru ana model, genellikle tolere edebileceğiniz niceleme düzeyinde GPU'da hâlâ hareket alanı bırakan en büyük modeldir. Büyüğe ihtiyaç duymayan sorgular için bir yönlendiricinin arkasına daha küçük ikinci bir model ekleyin; ekonomi sizin lehinize dönmeye başlar.

Barındırılan fiyat referansı (öz-barındırmadığınızda)

Öz-barındırma bir seçenektir; diğeri ise aynı açık ağırlıklı modelleri sizin adınıza çalıştıran bir sağlayıcıdan çıkarım satın almaktır. Grafik, fiyat yayınlayan seçimler için milyon çıkış tokeni başına canlı barındırılan fiyatı göstermektedir — kendi öz-barındırmalı birim ekonominiz için bir sağlamlık kontrolü olarak kullanışlıdır.

Saha rehberi: hangi donanım için hangi model

Aşağıdaki eşleme, ilk öz-barındırmalı modelini seçen bir ekibe tavsiyelik yaparken kullanacağımız yaklaşımdır. Bir başlangıç noktası olarak değerlendirin, kesin bir karar olarak değil — kendi GPU'nuzda token-başına-saniyeyi ölçmek her genel tavsiyenin önüne geçer.

Karara bağlamadan önce kendi donanımınızda kıyaslayın

Dağıtmayı düşündüğünüz GPU'yu temin edin. İki adayı gerçekte göndereceğiniz niceleme düzeyine yükleyin — ödünç bir H100'deki tam hassasiyetli sürüme değil — ve gerçekçi eşzamanlılıkta aynı yüz istemi her ikisinden de geçirin. Hangi modelin size uyduğu konusunda bir öğleden sonrada, herhangi bir kıyaslama sayfasının bir çeyrekte söyleyebileceğinden daha fazlasını öğrenirsiniz.

Sonra çıktıları okuyun. Nicelemeyi kaldırdı mı? Eş zamanlı yük altında iş hacmi durdu mu? Lisans, hukuk ekibinizin ilk okumasından sağ çıktı mı? Seçtiğiniz servis yığını onu birinci sınıf bir vatandaş olarak mı yoksa bir ek olarak mı ele alıyor? Kendi donanımınızda kazanan model üretime giden modeldir — hiçbir sıralama tablosu onu başa koymasa bile.