Hangi yapay zeka modeli belgeleri yapılandırılmış veriye dönüştürür?

Çıkarım, modellerin en sessiz biçimde başarısız olduğu iş yüküdür

Çıkarım, hataların en uzun süre gizlendiği iş yüküdür. Çıktı veri gibi görünür: alanlar, tipler, düzgün değerler. Aşağı akış sistemleri bunu deterministik bir parser üretmiş gibi tüketir. Model eksik bir alanı makul görünen bir tahminle doldurduğunda hiçbir log uyarı vermez. Sayı bir çeyrek raporuna düşer ve biri üzerinde karar alır.

Bu durum seçim kriterlerini değiştirir. Şema uyumu ve uydurma reddi, ham zekadan daha ağır basar. Boş bir alanı null işaretiyle döndüren model, güvenli görünen bir tahmin döndüren modelden daha yararlıdır. Tanımladığınız JSON yapısına harfiyen uyan model, dostane bir önsöz ekleyen modelden daha değerlidir. En yetenekli frontier modellerin bir kısmı bu eksenlerde kötü puan alır: yardımsever olmak üzere ayarlanmışlardır ve eksik bir alan için değer uydurmak, siz bunu açıkça ölçmediğiniz sürece yardımsever görünür.

İş aynı zamanda olağandışı ölçüde fiyata duyarlıdır. Ayda bir milyon fatura işleyen bir pipeline çok okur, az yazar. Sistem promptundaki veya düşünce zincirlerindeki her gereksiz token gerçek para demektir. Kısa ve temiz yapılandırılmış çıktı üreten modeller, maliyetleri sayesinde zaten konumlarını haklı çıkarır.

Beş kısıt işi tanımlar: katı şema uyumu, toplu işlem ekonomisi, uzun belge bağlamı, gürültülü girişe dayanıklılık ve diller arası kapsam. Yirmi para biriminde makbuz işlemek için doğru model, beş iç içe geçmiş tablo içeren elli sayfalık bir sözleşmeyi ayrıştırmak için nadiren doğru modeldir. Stack'in genellikle her ikisine de ihtiyacı vardır.

Diğer beşin altında yatan ve tasarım aşamasında kolayca unutulan bir kısıt daha var: gözlemlenebilirlik. Denetleyemediğiniz bir çıkarım pipeline'ına güvenemezsiniz. Her çıktı geldiği girdi aralığına izlenebilir olmalı, her güven puanı kaydedilmeli ve çıkarım reddi bir sonraki yinelemenin modelin sessiz kalmakta haklı mı yoksa vazgeçmekte yanlış mı olduğuna karar verebilmesi için günlüğe alınmalıdır. Bu telemetri, herhangi bir model yükseltmesinden daha değerlidir.

Kazananı belirleyen beş boyut

Bunlar, puan kartımızın bir çıkarım pipeline'ına yakın konuşlandırılan her modeli değerlendirdiği eksenlerdir. Göreli ağırlık, az sayıda yüksek değerli belge mi yoksa milyonlarca düşük değerli belge mi işlediğinize bağlı olarak kayar; ancak beşinin de tabanı pazarlık konusu değildir.

1. 01 — Şema uyumu

   Çıktı belirttiğiniz yapıyla örtüşüyor mu?

   Çıkarım yeterliliğinin en güvenilir göstergesi, modelin ne sıklıkta çevreleyen proza, fazla alan veya yeniden adlandırılmış anahtarlar olmaksızın geçerli, şemaya uygun JSON döndürdüğüdür. Bunu destekleyen sağlayıcıların katı yapılandırılmış çıktı modları bu sorunu ortadan kaldırır; bu modları olmayan modeller bir yeniden deneme döngüsü ve doğrulayıcıya ihtiyaç duyar.

2. 02 — Uydurmayı reddetmek

   Kaynak sessiz kaldığında bir alanı boş bırakıyor mu?

   Tahmin edilen bir değer alan eksik bir fatura tarihi, bir sonraki denetimde ortaya çıkan sessiz bir hatadır. Adayları açıkça zorunlu alanların bulunmadığı belgeler üzerinde test edin: doğru model null döndürür, yanlış olan en iyi tahminini verir ve bunu size hiç söylemez.

3. 03 — Uzun belge bağlamı

   İkinci sayfayı kaybetmeden kırkıncı sayfadan veri çekebiliyor mu?

   Sözleşmeler, izahnameler, tıbbi kayıtlar ve hukuki belgeler genellikle belgenin tamamına yayılan çapraz referanslarla birlikte yüz sayfayı geçer. Modelin hem pencere boyutuna hem de bu pencere boyunca derin dikkat kapasitesine ihtiyacı vardır; ikincisi olmadan birincisi pazarlama söylemidir.

4. 04 — Gürültülü girişe dayanıklılık

   OCR hatalarından ve bozuk düzenden zarifçe kurtulabiliyor mu?

   Gerçek dünya çıkarımı hiçbir zaman temiz metin görmez. Girdi, tarihinde leke olan taranmış bir makbuzun OCR çıktısıdır ya da aynı sayfada üç farklı tablo düzeni olan bir sitenin HTML'idir. Model bu gürültüyü tolere etmeli ve aşırı düzeltme yapmadan temiz çıktı üretmelidir.

5. 05 — Diller arası kapsam

   Japonca faturalardan İngilizce olanlar kadar iyi çıkarım yapıyor mu?

   Ölçekte konuşlandırılan bir çıkarım modeli, eninde sonunda müşterilerinin kullandığı her yazı sistemini ve kuralı görür. Frontier modeller geniş kapsam ilan eder; en yaygın altı dilin dışında kalite keskin biçimde farklılaşır. Tarih biçimleri, ondalık ayraçlar ve adres kurallarının tümü ampirik test gerektirir.

Tokonomix'in bugünkü veri çıkarımı için en iyi 5 seçimi

Aşağıdakiler, yarın sabah gerçek prodüksiyon trafiğini yönlendireceğimiz şeyler. Anlamlı ölçekte çıkarım neredeyse her zaman iki katmanlı bir pipeline anlamına gelir: iyi biçimlendirilmiş yüzde doksanı neredeyse sıfır maliyetle halleden bir toplu model ve toplu modelin kendi güveni düştüğünde belgeleri yönlendirdiği daha ağır bir model. Listeden her ikisini seçmek, birini mükemmel biçimde seçmekten daha kullanışlıdır.

Milyon token başına giriş fiyatı

Çıkarım, giriş maliyetlerinin çıkış maliyetlerine değil egemen olduğu nadir iş yüküdür: tüm belge okunur, yanıt kompakt JSON'dur. Grafik, yukarıdaki beş modelin her biri için canlı liste giriş fiyatını göstermektedir.

Saha rehberi: hangi iş için hangi model

Aşağıdaki eşleme, sıfırdan başlayan bir operasyon ekibine tavsiye etmek için kullanacağımız eşlemedir. Bir başlangıç noktası olarak, karar olarak değil değerlendirin: kendi belgelerinizden yüzü üzerinde yapılan bir benchmark, genel tavsiyenin önüne geçer.

Karar vermeden önce kendi belgelerinizde benchmark yapın

Kendi birikiminizden elli gerçek belge alın ve bunları elle etiketleyin. Görkemli bir iş değildir; prodüksiyon pipeline'ı devreye ilk girdiğinde ve modelin yerini aldığı regex'ten daha iyi olup olmadığını bilmek istediğinizde kendisini amorti eder. Her adayı aynı elli belge üzerinde çalıştırın ve gerçek zemine karşı hassasiyet ile geri çağırmayı ölçün.

Sonra ortalamalara değil başarısızlıklara bakın. Her model nerede alan uydurdu? Her model dolu olması gereken alanı nerede boş bıraktı? Taranmış sayfayla, ikinci dildeki belgeyle, döndürülmüş tabloyla her biri nasıl başa çıktı? Başarısızlık analizinizden sağ kurtulan model, prodüksiyondan sağ kurtulan modeldir. Bu rehberin ne önerdiğine bakılmaksızın onu kullanıma alın.