Meno token.Risultati misurati.
Misuriamo Aether Compress non solo in base a quanto riduce, ma anche in base a quanto conserva l'informazione necessaria durante la riduzione. I nostri risultati sono valutati tramite test locali su larga scala e verifica indipendente del modello.
Due diversi livelli di test.
La verifica locale testa la perdita di informazioni su larga scala. La verifica del modello esterno misura se la risposta generata dal contesto ottimizzato trasporta le stesse informazioni del contesto originale.
Ortalama%40,65 in meno.
Il valore misurato indica la riduzione media del numero di token rispetto all'input originale per l'input ottimizzato.
Durante la valutazione di Aether Compress, non si misura solo la riduzione dei token. La condizione principale di successo è che il contesto ottimizzato mantenga le informazioni necessarie.
Nello strato di verifica esterna, la stessa domanda viene valutata sia attraverso il contesto originale sia attraverso quello ottimizzato e viene misurato se le risposte mantengono le informazioni necessarie.
Non misuriamo in base a un solo tipo di contenuto.
Il set di test è composto da scenari con diverse caratteristiche di densità, struttura e contesto.
La stessa misurazione, processo ripetibile.
Il processo di benchmark misura separatamente l'input originale, l'input ottimizzato e il risultato della verifica.
L'input di test viene preso come riferimento senza modifiche.
Lo stesso input viene elaborato con Aether Compress.
La riduzione dei token e la conservazione delle informazioni sono misurate separatamente.
I test selezionati vengono controllati separatamente anche tramite il modello esterno.
Limiti di misurazione
Il tasso di riduzione varia in base alla struttura dell'input e alla quantità di informazioni non necessarie contenute.
Questo è il tempo medio di elaborazione misurato nell'ambiente di validazione dei valori. Può variare in base all'hardware e al carico di lavoro.
Questo valore rappresenta la massima riduzione osservata nel set di validazione e non è il tasso previsto per ogni richiesta.
Il valore del 100% nella convalida esterna è il risultato dei 500 scenari testati e non garantisce valori per tutti gli input possibili.
Più importante del benchmark,sono i tuoi input.
Prova gratuitamente _AETHER_COMPRESS__ e scopri quanti token puoi ridurre nel tuo contesto reale.