text-embedding-3-small, OpenAI'nin daha küçük, daha düşük maliyetli gömme (embedding) modelidir; 25 Ocak 2024'te daha büyük text-embedding-3-large ile birlikte yayımlanmıştır. Bir gömme modeli, yeni metin üretmek yerine metni anlamını temsil eden sabit uzunlukta bir sayı vektörüne dönüştürür — anlamı benzer iki pasaj, o sayısal uzayda birbirine yakın duran vektörler üretir. Bu özellik, anlamsal arama, kümeleme, tekilleştirme, öneri ve getirim-arttırılmış üretimin (RAG) temelini oluşturur; bunlarda bir sistemin, bir dil modeli onları görmeden önce depolanmış pasajları bir sorguya alaka düzeyine göre sıralaması gerekir.
Ne için tasarlandı
text-embedding-3-small varsayılan olarak 1.536 boyutlu bir vektör üretir. OpenAI'nin kendi MTEB kıyaslamasında — getirim, sınıflandırma ve kümelemeyi kapsayan standart bir değerlendirme paketi — 62,3 puan alıyor; bu, ada-002 aynı 1.536 boyutu kullanmasına rağmen daha eski text-embedding-ada-002 modelinin 61,0 puanının önünde. Başka bir deyişle bu nesil, vektör boyutunu değiştirmeden kaliteyi artırdı; bu da hâlâ önceki nesli kullanan herkes için doğrudan bir yükseltmedir.
İstek başına maksimum girdi uzunluğu, daha büyük modelle aynı şekilde 8.192 tokendir. Çıktı yalnızca gömmedir: sohbet yok, üretim yok, araç kullanımı yok — tek bir çağrı bir dize alır ve sabit boyutlu bir kayan noktalı sayı dizisi döndürür.
dimensions parametresi
Daha büyük kardeşi gibi, text-embedding-3-small da başka bir modelden yeniden gömme yapmadan çıktı vektörünü daha kısa bir uzunluğa kırpan bir dimensions parametresini destekler. Vektörü kısaltmak, bir vektör veritabanındaki depolamayı azaltır ve sorgu anındaki benzerlik karşılaştırmalarını hızlandırır; bu, indeks depolama ve arama gecikmesinin maliyete hâkim olmaya başlayacak kadar büyük olduğu durumlarda yararlıdır — bir külliyat milyonlarca belgeye ulaştığında sıkça karşılaşılan bir durum.
Yerini nerede hak ediyor
text-embedding-3-small için asıl gerekçe hacimdir: yüksek belge sayıları, sık yeniden indeksleme ve gecikme bütçelerinin dar olduğu bir sorgu düzeni. Çağrı başına daha düşük maliyeti ve daha küçük varsayılan vektör boyutu ölçekte birikir — indekslenen her belge ve gömülen her sorgu gerçek, sürekli bir depolama ve hesaplama maliyeti taşır; büyük külliyatlar için bu, gömme başına kalite ne kadar iyi olursa olsun toplamda önem kazanır.
Aynı zamanda, düşmanca ya da ince taneli olmayan getirim görevleri için de makul bir varsayılandır: genel belge araması, SSS eşleştirmesi, neredeyse aynı içeriğin tekilleştirilmesi ve getirilen pasajları okuyan dil modelinin getirilen içerikte biraz gürültüye tahammül edebildiği, getirim adımının maksimum hassasiyette değil "yeterince iyi" olması gereken RAG hatları.
Sınırların belirdiği yerler
text-embedding-3-large'a olan MTEB farkı gerçektir, mütevazı olsa da, ve daha zor getirim görevlerinde genişleme eğilimindedir — birbirine yakın pasajları ayırt etmek, daha az yaygın dillerde çalışmak veya birbirine benzer birçok adayı hassas biçimde sıralamak. İlgili pasajları ölçülebilir biçimde kaçıran bir RAG sistemi ya da yaklaşık sonuçlar döndüren bir arama özelliği için çözüm, çoğu zaman küçük modeli daha fazla ayarlamak yerine büyük modele geçmektir.
Karşılaştırmaya değer alternatifler
text-embedding-3-large, maliyetin değil getirim kalitesinin darboğaz olduğu durumlarda doğal yükseltme yoludur. text-embedding-ada-002 hâlâ mevcuttur ama aynı vektör boyutunda bu model kalitede ona üstün geliyor; bu yüzden yeni bir iş için onu seçmek için pek neden yok. OpenAI dışında birkaç sağlayıcı karşılaştırılabilir genel amaçlı gömme modelleri sunuyor; getirim kalitesini kendi külliyatınızın temsili bir örneğine karşı test etmek, yalnızca kıyaslama puanlarından daha iyi bir rehberdir, çünkü gömme performansı alanlar arasında her zaman eşit biçimde aktarılmaz.