RAG pipeline'ında daha fazla belge her zaman daha iyi midir?
Arama katmanından dönen her parçayı modele göndermek çoğu zaman doğruluğu artırmaz. Sinyal-gürültü oranı, yeniden sıralama ve bağlam bütçesi üzerinden daha güvenilir RAG tasarımını ele alıyoruz.
RAG sistemlerinde sık yapılan ilk ayar, arama katmanından daha fazla parça getirmektir. Mantık basit görünür: İlgili bilgi ilk beş sonuçta yoksa ilk yirmide bulunabilir. Fakat retrieval sayısını artırmak, doğru kanıtla birlikte ilgisiz, tekrar eden veya çelişkili parçaları da modele taşır. Sonuçta context büyürken bilgi yoğunluğu aynı oranda artmaz.
Retrieval başarısı ile yanıt başarısı aynı şey değildir
Arama motorunun doğru belgeyi üst sıralara getirmesi yalnız ilk adımdır. Modelin cevap üretirken bu belgeyi fark etmesi, diğer parçalarla karıştırmaması ve doğru bölümü kullanması gerekir. Bu nedenle recall değerini yükseltmek uğruna context içine çok sayıda düşük kaliteli parça eklemek uçtan uca doğruluğu düşürebilir. RAG değerlendirmesi retrieval metriğiyle bitmemeli, nihai cevap ve kaynak doğruluğunu da kapsamalıdır.
Bağlam bütçesini sorguya göre yönetin
Her soru aynı miktarda belge gerektirmez. Tek bir politika maddesini soran kullanıcı için bir veya iki güçlü parça yeterli olabilirken karşılaştırma sorusu birden fazla kaynağa ihtiyaç duyar. Sabit top-k yerine sorgu türü, skor dağılımı ve belge çeşitliliğine göre dinamik bütçe kullanmak daha verimlidir. Düşük güvenli aramalarda sistemi cevap vermemeye veya açıklama istemeye yönlendirmek de bir kalite kararıdır.
İyi bir RAG pipeline, en çok belgeyi değil; cevabı destekleyen en küçük ve yeterli kanıt kümesini taşır.
Üretim için pratik sıralama
- Hibrit aramayla aday kümesini oluşturun
- Reranker ile sorgu-belge ilişkisini yeniden puanlayın
- Tekrarlanan parçaları ve aynı kanıtın kopyalarını temizleyin
- Context bütçesini skor ve görev türüne göre uygulayın
- Yanıtta kullanılan kaynakları ayrıca doğrulayın
Chunk kalitesi sayısından önemlidir
Belgeyi sabit karakter aralıklarıyla bölmek kolaydır ancak anlam sınırlarını bozabilir. Başlıkları, tabloları ve bölüm ilişkilerini koruyan parçalama; daha az chunk ile daha yüksek sinyal üretir. Chunk metadata alanları da filtreleme ve kaynak gösterme için kritik önemdedir. Eski sürümler, farklı ürünler veya yetki dışı belgeler retrieval öncesinde elenmelidir.
Sonuç
Daha fazla belge güvenilirlik garantisi değildir. Retrieval, reranking, context optimizasyonu ve cevap değerlendirmesi tek bir kalite zinciri olarak tasarlanmalıdır. AETHER bu zincirde modele gidecek parçaları sorgu açısından sadeleştirerek token bütçesinin kanıta ayrılmasına yardımcı olur.