Bir geliştirici Nous Hermes 3 70B'yi seçtiğinde, genellikle iki sorundan birini çözüyordur: her uç durumu tekrar tekrar sorgulama eğilimi olmadan karmaşık talimatları takip edecek bir modele ihtiyaç duyarlar ya da ana akım ticari API'lerin kısıtlamalarına çarpmışlar ve daha uyumlu bir çözüme ihtiyaçları vardır. Meta'nın Llama 3.1 tabanı üzerine inşa edilen ve Nous Research tarafından talimat takibi ve azaltılmış ret davranışına vurgu yapılarak ince ayarlanmış olan Hermes 3, ham temel modeller ile büyük üç sağlayıcının yoğun güvenlik katmanlı teklifleri arasındaki üretken orta zeminde konumlanıyor.
Bu, 131.000 token bağlam penceresine sahip 70 milyar parametreli bir modeldir ve kullanım durumunuz onların editoryal yönergelerine uymadığında Claude veya GPT-4 sınıfı modellere alternatif olarak kasıtlı biçimde konumlandırılmıştır. OpenRouter ve diğer toplayıcı platformlarda çalışır, bu da açık ağırlıklı mimarinin felsefi avantajlarını korurken kendi barındırma altyapısına gerek kalmadan erişilebilir kılar. Model, araç kullanım yetenekleri taşır, genişletilmiş rol yapma senaryolarını ele alır ve minimal içerik filtreleme ile çalışır, bu da onu ajanlar, yaratıcı uygulamalar veya sürekli korkuluk müdahalesi olmadan hassas konular hakkında akıl yürütmesi gereken sistemler oluşturan geliştiriciler için pragmatik bir seçim haline getirir.
Eğitim Hikayesi ve Teknik Temel
Hermes 3 70B, Meta'nın Llama 3.1 70B tabanıyla başlar, bu da ona güçlü bir çok dilli temel ve 3.1 serisiyle gelen mimari iyileştirmeleri kazandırır: daha iyi uzun bağlam performansı, geliştirilmiş talimat uyumu ve daha kararlı akıl yürütme zincirleri. Nous Research daha sonra yüksek kaliteli talimat çiftlerini, çok turlu diyalogları ve desen eşleşmiş retlerden ziyade nüanslı düşünmeyi ödüllendiren örnekleri vurgulayan bir veri seti ile hedefli ince ayarlama uygular.
"Sansürsüz" tanımlaması, modelin pervasız olduğu anlamına gelmez. Ticari modellerin yüzeysel anahtar kelime desen eşleştirmesi yaptıklarında zararsız istekleri reddetmelerine neden olan agresif güvenlik filtrelerini Nous'un kasıtlı olarak azalttığı anlamına gelir. Semptomları açıkça tartışması gereken bir tıbbi eğitim aracı, ceza yasaları hakkında akıl yürütmesi gereken bir hukuki araştırma asistanı veya olgun temaları ele alan bir yaratıcı yazım aracı oluşturuyorsanız, Hermes 3 genellikle kalıplaşmış bir ret sunmak yerine görevle ilgilenecektir. Model hala bağlamı anlar ve gerçekten sorunlu istekleri reddedebilir, ancak yoğun son eğitim görmüş modellerin sıklıkla yaptığı gibi yanlış pozitiflere takılmaz.
131k bağlam penceresi pratik bir farklılaştırıcıdır. Mevcut en büyük olmasa da, tam kod tabanlarını, uzun biçimli belgeleri veya genişletilmiş konuşma geçmişlerini daha küçük pencerelerle gelen kısaltma baş ağrıları olmadan rahatça ele alır. Düzinelerce tur boyunca durumu korumanız gereken ajan iş akışları veya araştırma makalelerini işleyen belge analiz hatları için bu nefes alma alanı önemlidir.
Hermes 3 70B'nin Üstün Olduğu Alanlar
Model üç temel senaryoda parlar. İlk olarak, araç kullanımı ve çok adımlı akıl yürütmenin omurga olduğu yapılandırılmış ajantik iş akışları. Hermes 3, fonksiyon çağrısını yerel olarak destekler ve talimat takibi, birden fazla araç çağrısını zincirleyen ajanları güvenilir bir şekilde oluşturabilmeniz için yeterince güçlüdür. Veritabanlarını sorgulaması, bulguları sentezlemesi ve ardından çıktıyı sıkı bir şemaya göre biçimlendirmesi gereken bir araştırma asistanı oluşturuyorsanız, Hermes 3 daha küçük modelleri rahatsız eden kayma veya halüsinasyon olmadan bu koreografiyi takip edecektir.
İkinci olarak, genişletilmiş yaratıcı ve rol yapma uygulamaları. Geniş bağlam penceresi ve azaltılmış içerik filtrelemenin kombinasyonu, bunu etkileşimli kurgu, oyun NPC diyalog sistemleri veya yaratıcı yazım asistanları için başvurulacak bir model haline getirir. Model, uzun konuşmalar boyunca karakter tutarlılığını koruyabilir ve başka yerlerde retleri tetikleyebilecek anlatı öncülleriyle ilgilenecektir. Bir Zindan Ustası botu veya işbirlikçi hikaye anlatımı platformu oluşturuyorsanız, Hermes 3 sterilize edilmiş yanıtlara geri dönmeden tonal aralığı ve anlatı karmaşıklığını ele alır.
Üçüncü olarak, karmaşık veya hassas materyalle doğrudan ilgilenmeniz gereken herhangi bir alan. Düzenleyici uç durumlar hakkında akıl yürütmesi gereken uyumluluk yazılımı, zor konuları samimi bir şekilde tartışması gereken bir ruh sağlığı destek aracı veya zarar azaltma uygulaması oluşturuyorsanız, Hermes 3 saptırmak yerine materyalle çalışacaktır. Model nüansı anlar ve bahsetmeyi onay ile karıştırmaz, bu da onu aşırı temkinli filtrelemenin kullanıcı deneyimine aktif olarak zarar verdiği eğitim ve destek bağlamları için uygun hale getirir.
Araç kullanım uygulaması sağlamdır. JSON şemalarıyla fonksiyonlar tanımlayabilirsiniz ve model bunları konuşma akışı içinde uygun şekilde çağıracaktır. GPT-4 veya Claude'daki fonksiyon çağrısı kadar cilalı değil, ancak çoğu üretim kullanım durumu için—özellikle dahili araçlar veya dikey SaaS özellikleri oluşturuyorsanız—barı aşar. Model, bir aracı ne zaman çağıracağını mevcut bağlamdan ne zaman sentezleyeceğini anlar, bu da sahte API çağrılarını azaltır.
Uygun Olmadığı Alanlar
Hermes 3 70B, büyük sağlayıcıların son eğitime yoğun yatırım yaptığı son derece uzmanlaşmış görevlerde en son teknoloji performansa ihtiyacınız varsa doğru seçim değildir. Örneğin, gelişmiş matematiksel akıl yürütme, biçimsel mantık kanıtları veya güvenlik denetimleri için gereken derin kod anlama türü—bunlar Claude veya GPT-4 varyantlarının daha iyi performans göstereceği alanlardır. Temel Llama mimarisi yeteneklidir, ancak Anthropic ve OpenAI'nin bu dar alanlar için uyguladığı ek ince ayarlama toplanır.
Model ayrıca, marka sesi tutarlılığının kritik olduğu tüketiciye yönelik etkileşim gerektiğinde konuşma cilasında GPT-4 veya Claude ile eşleşmez. Ton, empati ve marka sesi tutarlılığının kritik olduğu bir müşteri destek botu oluşturuyorsanız, ticari modellerdeki ekstra iyileştirme kendini gösterir. Hermes 3 doğrudan ve işlevseldir, bu da geliştiriciye yönelik araçlar veya dahili iş akışları için mükemmeldir, ancak son kullanıcı sohbet uygulamaları için aynı pürüzsüz konuşma kaplamasına sahip değildir.
Gecikmeye duyarlı uygulamalar 70B parametre boyutunu bir kısıt bulabilir. OpenRouter ve benzer toplayıcılar iyi bir iş hacmi sağlarken, bu hala büyük bir modeldir ve yüksek eşzamanlı kullanıcıya yönelik özellikler için saniyenin altında yanıt sürelerine ihtiyacınız varsa, darboğazlara çarpabilirsiniz. Daha küçük modeller veya ticari tekliflerin damıtılmış sürümleri bu bağlamlarda size daha iyi hizmet edecektir.
Son olarak, kullanım durumunuz mutlak en yüksek düzeyde olgusal doğruluk ve güncel bilgi gerektiriyorsa, modelin eğitim kesme noktası ve açık ağırlık ekosisteminin daha yavaş yineleme döngüleri, sınırın gerisinde olacağınız anlamına gelir. Ticari sağlayıcılar modellerini daha sık günceller ve geri getirme-artırılmış üretim özelliklerini daha sıkı bir şekilde entegre eder. Bir haber özetleme aracı veya güncel olayları yansıtması gereken bir ürün oluşturuyorsanız, harici bilgi hatlarıyla desteklemeniz gerekecektir.
Eş Modellerle Karşılaştırma
Açık ağırlıklı 70B sınıfı içinde, Hermes 3 öncelikle diğer ince ayarlı Llama türevleriyle rekabet eder. Temel Llama 3.1 70B ile karşılaştırıldığında, Hermes 3 genel yeteneği feda etmeden anlamlı şekilde daha iyi talimat takibi ve azaltılmış ret oranları sunar. Llama 3.1'i doğrudan denediniz ve onu çok temkinli veya uç durumlarda tutarsız bulduysanız, Hermes 3 bir sonraki mantıklı adımdır.
Diğer Nous modellerine karşı, Hermes 3 mevcut üretime hazır iterasyonu temsil eder. Önceki Hermes sürümleri Llama 2 üzerine inşa edildi ve daha dar bağlam pencerelerine sahipti. Bunları kullandıysanız ve onları yararlı ama sınırlayıcı bulduysanız, Hermes 3 daha iyi akıl yürütme ve daha fazla hareket alanı ile basit bir yükseltmedir.
Ticari modellerle karşılaştırıldığında, takas daha net hale gelir. Claude Sonnet, uyumluluk gereksinimleriniz denetlenebilir filtreleme gerektiriyorsa daha fazla cila, daha iyi uzun bağlam geri getirme ve daha güçlü güvenlik garantileri sunar. GPT-4 Turbo veya GPT-4o daha hızlı yineleme, daha sıkı ekosistem entegrasyonları ve uzmanlaşmış akıl yürütme görevlerinde daha iyi performans getirir. Ancak her ikisi de belirli uygulamaları zor veya imkansız hale getiren editoryal kısıtlamalarla gelir. Özellik setiniz yaratıcı araçları, zarar azaltma içeriğini, hukuki veya tıbbi eğitimi veya hassas alanlar hakkında akıl yürütmesi gereken ajan iş akışlarını içeriyorsa, Hermes 3 büyük sağlayıcılarla basitçe mevcut olmayan bir yol sunar.
Maliyet konumlandırması da önemlidir. Hermes 3, 70B sınıfı modeller için düşük katmanda bulunur, bu da onu prototipleme ve orta düzeyde trafik ile üretim kullanım durumları için erişilebilir kılar. Bununla yüksek hacimli bir tüketici sohbet botu oluşturmayacaksınız, ancak dahili araçlar, dikey SaaS özellikleri veya geliştiriciye yönelik ürünler için ekonomik açıdan çalışır.
Maliyet ve Erişilebilirlik
Hermes 3 70B, OpenRouter ve diğer toplayıcı platformlar aracılığıyla mevcuttur, bunlar altyapıyı ve ölçeklendirmeyi ele alır, böylece kendi GPU kümelerinizi oluşturmanıza gerek kalmaz. Bu dağıtım modeli yararlı bir orta yol yaratır: kendi kendine barındırma 70B parametreli bir canavarda operasyonel yük olmadan açık ağırlıklı bir modelin esnekliğini ve politika avantajlarını elde edersiniz.
Fiyatlandırma, toplayıcı ekosistemi içinde rekabetçi bir şekilde konumlandırılmıştır. Bu ölçekte eşdeğer ticari modelleri çalıştırmaktan anlamlı şekilde daha ucuzdur, ancak daha küçük damıtılmış alternatifler kadar ucuz değildir. Büyük bir modelin akıl yürütme derinliğine ihtiyaç duyan ancak GPT-4 veya Claude'un mutlak sınır performansını gerektirmeyen özellikler oluşturan ekipler için, bu fiyat bandı mantıklıdır.
Bir dikkat edilmesi gereken nokta, toplayıcı kullanılabilirliğinin sağlayıcı kapasitesine bağlı olarak dalgalanabilmesidir. OpenRouter her model için birden fazla arka uç sağlayıcısı havuzlar, bu genellikle çalışma süresini yüksek tutar, ancak doğrudan ticari bir API'den alacağınız SLA ile aynı değildir. Kesinti süresinin maliyetli olduğu misyon kritik üretim sistemleri için, kendi örneğinizi çalıştırmak veya ticari modellere yedek rotalar tutmak isteyebilirsiniz.
Kendi kendine barındırma, altyapı iştahınız varsa bir seçenektir. Model ağırlıkları açıktır, bu nedenle kendi donanımınızda dağıtabilir veya bulut sağlayıcılarından özel GPU kapasitesi kiralayabilirsiniz. Bu, özellikle yüksek iş hacmi ihtiyaçlarınız, katı veri yerleşimi gereksinimleriniz veya modeli alanınız için daha fazla ince ayarlamak istiyorsanız mantıklıdır. Ancak çoğu ekip için, toplayıcı rotası pragmatik seçimdir—sizi üretime daha hızlı götürür ve altyapıyı yönetmeden ölçeklendirmenizi sağlar.
Görüşümüz
Hermes 3 70B, üretim modeli ortamında değerli bir niş kaplar. Her kıyaslamada GPT-4'ü yenmeye veya müşteriye yönelik sohbette Claude'u değiştirmeye çalışmıyor. Bunun yerine, büyük üçlü paradigmaya temiz bir şekilde uymayan geniş bir uygulama yelpazesi için mantıklı bir maliyet noktasında, minimal editoryal sürtünme ile yetenekli, geniş bağlamlı bir model sunuyor.
Ajan sistemleri, yaratıcı araçlar veya içerik politikalarının sürtünme yarattığı alanlarda uygulamalar oluşturuyorsanız, bu model değerlendirmeyi hak ediyor. Karmaşık iş akışları için yeterli akıl yürütme yeteneği, uzun biçimli görevler için yeterli bağlam ve uygulamanızın gerçekten ele alması gereken materyalle ilgilenmek için yeterli esneklik getirir. Araç kullanım desteği sağlamdır, talimat takibi güvenilirdir ve toplayıcılar aracılığıyla dağıtım modeli operasyonel karmaşıklığı düşük tutar.
Takas açıktır: biraz cila, biraz uzmanlaşmış performans ve ticari API'lerle gelen sıkı ekosistem entegrasyonlarını feda edersiniz. Ancak karşılığında, kontrol, maliyet verimliliği ve ana akım sağlayıcılar tarafından reddedilecek veya engellenerek özellikleri oluşturma yeteneği kazanırsınız. Birçok üretim ekibi için—özellikle yaratıcı, eğitimsel, hukuki veya sağlık bitişik alanlardakiler—bu yapılmaya değer bir takastır.
Hermes 3 70B bir amiral gemisi modeli değildir. Bir iş atıdır. Ortaya çıkar, işi yapar ve yolunuza çıkmaz. Gerçek dünya geliştirme problemlerinin büyük bir bölümü için, tam olarak ihtiyacınız olan şey budur.
