text-embedding-3-large, OpenAI'nin daha yüksek kaliteli gömme (embedding) modelidir; 25 Ocak 2024'te daha küçük text-embedding-3-small ile birlikte yayımlanmıştır. Bir gömme modeli metin üretmez — bir metin parçasını, anlamını yakalayan sabit uzunlukta bir sayı vektörüne dönüştürür; böylece anlamı benzer iki metin parçası, o sayısal uzayda birbirine yakın duran vektörler olarak sonuçlanır. Bu özellik, gömmeleri anlamsal arama, kümeleme, tekilleştirme, öneri ve getirim-arttırılmış üretim (RAG) için kullanışlı kılan şeydir; bunlarda bir sistemin, bir dil modeline vermeden önce bir sorguyla en alakalı pasajları bulması gerekir.
"Large", "small"a göre ne kazandırıyor
text-embedding-3-large varsayılan olarak 3.072 boyutlu bir vektör üretir; text-embedding-3-small'ın 1.536'sına karşılık. OpenAI'nin kendi MTEB kıyaslamasında — getirim, sınıflandırma ve kümeleme görevlerinde gömme kalitesini değerlendirmek için standart bir paket — large 64,6 puan alırken small 62,3 alıyor; gerçek ama çok büyük olmayan bir kalite farkı. Daha büyük model, gömme başına daha fazla nüans yakalıyor; bu da en çok daha zor getirim görevlerinde önem taşıyor: birbirine yakın belgeleri ayırt etmek, daha az yaygın alanlarda veya dillerde çalışmak, ya da birbirine benzer birçok adayı sıralamak.
dimensions parametresi
Her iki model de, metni farklı bir modelden yeniden geçirmeye gerek kalmadan çıktı vektörünü kırparak kısaltan bir dimensions parametresini destekler. OpenAI'ye göre, 256 boyuta kısaltılmış bir text-embedding-3-large vektörü, daha eski, kısaltılmamış text-embedding-ada-002 modelini kendi doğal 1.536 boyutunda hâlâ geride bırakıyor. Bu, operasyonel olarak önemlidir: daha kısa bir vektör bir vektör veritabanında daha az depolama alanı kaplar ve sorgu anında karşılaştırması daha ucuz ve daha hızlıdır; bu yüzden dimensions parametresi, modeli değiştirmeden veya hattı yeniden tasarlamadan, küçük bir getirim kalitesi kaybını anlamlı ölçüde daha düşük indeks boyutu ve arama gecikmesiyle takas etmek için gerçek bir kaldıraçtır.
Kaputun altında
İstek başına maksimum girdi uzunluğu 8.192 tokendir. Çıktı yalnızca gömmedir — metin üretimi, sohbet arayüzü veya araç kullanımı yoktur. Model metni alır, vektör döndürür, başka hiçbir şey yapmaz; bu da entegrasyon yüzeyini küçük tutar: tek bir API çağrısı bir dize alır ve sabit boyutlu bir kayan noktalı sayı dizisi döndürür.
Small yerine ne zaman large seçilmeli
Getirim kalitesi darboğaz olduğunda text-embedding-3-large'a yönelin: ilgili pasajları kaçıran bir RAG sistemi, doğru sonuç yerine yaklaşık sonuçlar döndüren bir arama özelliği, veya benzer öğeler arasındaki ince ayrımların önem taşıdığı bir kümeleme görevi. Daha küçük bir gömme uzayının nüans temsil etmek için daha az alanı olduğu, daha az yaygın dillerde veya özel alanlarda çalışırken de daha savunulabilir bir varsayılandır.
Çok yüksek hacimli indeksleme için — milyonlarca belge, ya da sorgu gecikmesinin ve depolama maliyetinin tasarımı domine ettiği bir iş yükü için — text-embedding-3-small, ya da dimensions parametresi üzerinden kırpılmış bir large gömmesi genellikle daha pratik bir başlangıç noktasıdır. İki model arasındaki MTEB farkı gerçek ama mütevazıdır; bu yüzden yalnızca "büyük olan daha iyidir" varsayımıyla varsayılan olarak large'a yönelmek yerine, her ikisini de kendi verinizin temsili bir örneğine karşı test etmeye değer.
Karşılaştırmaya değer alternatifler
text-embedding-ada-002, OpenAI'nin önceki nesil gömme modeli olarak hâlâ mevcuttur, ama mevcut iki model, boyutlarının bir kesri kadar olsa bile kalitede ona üstün geliyor; bu yüzden yeni bir iş için onu seçmek için pek neden yok. OpenAI dışında, birkaç sağlayıcı karşılaştırılabilir konumlandırmayla genel amaçlı metin gömme modelleri sunuyor; doğru seçim genellikle yalnızca kıyaslama puanlarından çok, kendi külliyatınızda getirim kalitesini test etmeye bağlıdır, çünkü MTEB performansı her zaman belirli bir alana sorunsuzca aktarılmaz.