Daha az token.Ölçülmüş sonuçlar.
Aether Compress'i yalnızca ne kadar küçülttüğüyle değil, küçültürken gerekli bilgiyi ne kadar koruduğuyla ölçüyoruz. Sonuçlarımız geniş ölçekli yerel testler ve bağımsız model doğrulamasıyla değerlendiriliyor.
İki farklı test katmanı.
Yerel doğrulama bilgi kaybını geniş ölçekte test eder. Harici model doğrulaması ise optimize edilen bağlamdan üretilen cevabın orijinal bağlamla aynı bilgiyi taşıyıp taşımadığını ölçer.
Ortalama%40,65 daha az.
Ölçülen değer, optimize edilen girdinin orijinal girdiye göre token miktarındaki ortalama azalmayı gösterir.
Aether Compress değerlendirilirken yalnızca token azaltımı ölçülmez. Optimize edilen bağlamın gerekli bilgiyi koruması birincil başarı koşuludur.
Harici doğrulama katmanında aynı soru hem orijinal hem de optimize edilmiş bağlam üzerinden değerlendirilir ve cevapların gerekli bilgiyi koruyup korumadığı ölçülür.
Tek bir içerik türünegöre ölçmüyoruz.
Test kümesi farklı yoğunluk, yapı ve bağlam özelliklerine sahip senaryolardan oluşur.
Aynı ölçüm, tekrar edilebilir süreç.
Benchmark süreci orijinal girdi, optimize edilmiş girdi ve doğrulama sonucunu birbirinden ayrı olarak ölçer.
Test girdisi değişmeden referans olarak alınır.
Aynı girdi Aether Compress ile işlenir.
Token azaltımı ve bilgi korunumu ayrı ayrı ölçülür.
Seçili testler harici model üzerinden ayrıca kontrol edilir.
Ölçüm sınırları
Azaltım oranı girdinin yapısına ve içerdiği gereksiz bilgi miktarına göre değişir.
Bu değer doğrulama ortamında ölçülen ortalama işlem süresidir. Donanım ve iş yüküne göre değişebilir.
Bu değer doğrulama kümesinde gözlenen en yüksek azaltımı gösterir ve her istek için beklenen oran değildir.
Harici doğrulamadaki %100 değer, test edilen 500 senaryonun sonucudur ve sınırsız tüm olası girdiler için garanti anlamına gelmez.
Benchmark'tan daha önemlisi,sizin girdiniz.
Aether Compress'i ücretsiz deneyin ve kendi gerçek bağlamınızda ne kadar token azaltabileceğinizi görün.