Müşteri hizmetlerini en iyi hangi AI modeli yönetir?

Müşteri hizmetleri neden diğer LLM işlerinden farklı

Dil modeli benchmark'larının büyük çoğunluğu, iyi bir desteğin gerektirdiğinin tam tersini ödüllendirir. Test setleri yaratıcılığı, uzun akıl yürütme zincirlerini, beklenmedik ifade biçimlerini kutlar. Bir müşteri hizmetleri iş akışı bunun tersini ödüllendirir: öngörülebilirlik, kısıtlama, tutarlı ton ve sana verilmiş bilginin dışına çıkmama disiplini.

Akademik bir test setinde yüzde doksanbeşinci dilime giren frontier bir akıl yürütme modeli, kötü bir destek asistanı olabilir. Var olmayan bir iade politikası icat edecektir. Bir konuşma dizisinin ortasında ton değiştirecektir. Tek bir cümlenin yeterli olduğu yerde dört paragraflık bir yanıt yazacaktır. Bu başarısızlıkların hiçbiri tipik bir leaderboard'da görünmez; ama her biri gerçek bir kullanıcının gerçek bir dakikasına mal olur.

İşi beş kısıtlama tanımlar: milyonlarca yanıtta tutarlı ton, saniyenin altında yanıt süreleri, katı bilgi sınırları, tek bir bilet içinde çok turlu bellek ve hacimde birikim gösteren birim ekonomisi. Bu beş boyuttan üçünü kazanan ama ikisini kaybeden bir model yanlış seçimdir. Destek altyapısı için karar verecek kişinin tamamına bakması gerekir.

Ekonomi özellikle dikkat ister. Bilet başına iki sentlik fark, demoda önemsiz görünür; on iki aylık faturada yıkıcı. Anlamlı bir hacimde çalışan destek ekiplerinin büyük çoğunluğu, sezgisel olarak tahmin ettiklerinden çok daha fazla konuşma işler — günde on bin bilet işleyen mid-market bir SaaS, en ucuz ve ikinci en ucuz güvenilir model arasındaki fark üzerinden yılda altı haneli rakamlar sessizce yakar. Fiyat karşılaştırması bir dipnot değildir; çoğu zaman kararın ta kendisidir.

Hangi modelin kazandığını belirleyen beş boyut

Bunlar, üretim destek kuyruğuna yaklaşan her modeli iç puan kartımızın değerlendirdiği eksenlerdir. Göreli ağırlıklandırma işletmene göre değişir — bir lüks marka ton yönlendirilebilirliğini ham maliyetin üzerine koyar, yüksek hacimli bir SaaS bu sıralamayı tersine çevirir — ancak her model beşinde de bir asgari çıtayı geçmek zorundadır.

1. 01 — Instruction-following discipline

   Çizdiğin sınırların içinde kalıyor mu?

   Bir destek modeli kurallarla dolu bir sistem istemi alır: iade vaat etme, aktif fiyat listesinin dışında hiçbir fiyat söyleme, her zaman bilet referansıyla bitir. İşe uygunluğun en iyi göstergesi, modelin bu kurallara baskı altında — belirsiz istemler, düşmanca kullanıcılar, uzun konuşmalar — ne sıklıkla uyduğudur. Akıl yürütme kapasitesi, bir şeyleri uydurmama direncinin çok gerisinde kalır.

2. 02 — Tone steerability

   Markana mı yoksa kendine mi benzer bir ses çıkarıyor?

   Her frontier modelin bir varsayılan sesi vardır. Kimileri coşkulu bir danışman gibi, kimileri temkinli bir avukat gibi, kimileri de neşeli bir stajyer gibi konuşur. Soru modelin hangi sesi tercih ettiği değil; farklı bir sesi bir vardiya boyunca koruyup koruyamayacağıdır. Her beşinci mesajda fabrika tonuna geri dönen bir model, sesine yatırım yapmış her marka için kullanılamaz.

3. 03 — Cost-per-resolved-ticket

   Token için değil, sonuç için ne ödüyorsun?

   Token fiyatlarını ayrı ayrı karşılaştırmak bir tuzaktır. Anlamlı rakam, bir bileti çözmenin toplam maliyetidir: tüm konuşma boyunca tüketilen tokenlar ve yine de insana aktarılan yüzde. Yarı fiyata ama escalasyon oranını ikiye katlayan bir model daha pahalı seçimdir. Her zaman uçtan uca ölç.

4. 04 — Latency and time-to-first-token

   Kullanıcı bir saniye içinde yazma aktivitesini görüyor mu?

   Destek algılanan zaman problemidir. Yazma göstergesi bir saniye içinde etkinleşirse kullanıcılar tam yanıt için birkaç saniye bekler. TTFT'si yüksek modeller, üretimi bitmeden kullanıcıyı kaybeder; kullanıcılar oturumu terk edip kaçınmaya çalıştıkları e-postayı yazar. Her zaman stream et, her zaman bölge bazında ilk token süresini ölç, ortalama uçtan uca gecikmeye asla güvenme.

5. 05 — Multilingual coverage

   İngilizce dışında ne kadar iyi çalışıyor?

   Çoğu ürün lansmanı, birinci günde en az altı dil gerektirir. Frontier modeller nominalde elli veya daha fazla dili destekler; ancak ilk altının dışındaki kalite belirgin biçimde değişir. Kuyruğunun gerçekten aldığı her dilde test et, sağlayıcının tanıttığı dillerde değil. İngilizce akıcı ve Almancada yetkin bir model, Türkçede ya da Bahasa'da utanç verici biçimde yetersiz kalabilir.

Bugün için Tokonomix'in müşteri hizmetleri top 5 seçimi

Aşağıdaki kısa liste, şu an bir destek kuyruğunu yönlendireceğimiz modellerden oluşuyor. Hiçbiri her şeyde en iyi değil; her biri belirli bir ödünleşim üzerinde yerini hak ediyor. Stack'in için doğru yanıt neredeyse her zaman bunlardan ikisi olur: topluca en yoğun bölümü işleyen bir iş atı ve router'ın güven düştüğünde ya da riskler yükseldiğinde devredeceği bir escalasyon modeli.

Milyon token başına çıkış fiyatı

Bir destek modelinin en büyük maliyet faktörü çıkış oranıdır. Tipik çözülen bir bilet, girdiden çok daha fazla çıktı tüketir — asistan açıklar, özetler, netleştirici sorular sorar. Aşağıdaki grafik, yukarıdaki beş model için her sağlayıcının güncel liste fiyatını gösterir.

Saha rehberi: hangi destek modeli için hangi model

Aşağıdaki eşleme, sıfırdan yeni bir destek asistanı oluşturan bir ekibe tavsiye etmek için kullanacağımız çerçevedir. Bir karar değil, başlangıç noktası olarak değerlendir — kendi biletlerinde yapacağın benchmark, genel bir tavsiyenin her zaman önüne geçer.

Karar vermeden önce kendi iş yükünde benchmark yap

Bu sayfadaki her öneri tanımı gereği geneldir. Seninki değil. Bir müşteri hizmetleri modeli seçmeden önce harcayabileceğin en değerli saat, kendi geçmiş biletlerinden küçük ve temsili bir prompt seti oluşturmak — yirmi vaka başlamak için yeterli — ve her adayı yan yana geçirmektir.

Yukarıdaki beş boyuta göre değerlendir: sistem istemine uydu mu, marka sesini korudu mu, vakayı çözdü mü ya da temiz biçimde aktardı mı, gecikme bütçesi içinde yanıtladı mı, listedeki her dilde çalıştı mı? Senin verilerinde kazanan model, bu rehber tavsiye etmese de göndermelisin.

Testi çalıştırmak için pratik bir not: asistana orijinal biletin gerçek çözümünü gösterme. Modele yalnızca orijinal müşterinin yazdıklarını ve canlı temsilcilerinin alacağı sistem istemini ilet. Yanıtını insan çözümüyle yan yana karşılaştır. Demoda etkileyici görünen model ile üretimde ayakta kalan model arasındaki fark neredeyse her zaman bu doğrudan karşılaştırmalarda görünür — ve sağlayıcının yayımladığı toplu benchmark skorunda neredeyse hiç görünmez.