Weniger Token.Gemessene Ergebnisse.
Wir messen Aether Compress nicht nur danach, wie stark es verkleinert, sondern auch danach, wie viel notwendige Information beim Verkleinern erhalten bleibt. Unsere Ergebnisse werden durch umfangreiche lokale Tests und unabhängige Modellvalidierung bewertet.
Zwei verschiedene Testebenen.
Lokale Verifizierungstests für Informationsverlust im großen Maßstab. Bei der externen Modellvalidierung handelt es sich um das Modell, das aus dem optimierten Kontext generiert wird. Es misst, ob die Antwort dieselben Informationen enthält wie der ursprüngliche Kontext.
Ortalama40,65 % weniger.
Der gemessene Wert zeigt an, dass die optimierte Eingabe mit der ursprünglichen Eingabe übereinstimmt. Es zeigt den durchschnittlichen Rückgang der Anzahl der Token.
Bei der Bewertung von Aether Compress wird nicht nur die Token-Reduktion gemessen. Die Erhaltung der notwendigen Information im optimierten Kontext ist die wichtigste Erfolgsvoraussetzung.
In der externen Validierungsschicht gilt dieselbe Frage sowohl für das Original als auch für im optimierten Kontext ausgewertet und Gemessen wird, ob die Antworten die notwendigen Informationen enthalten.
Ein einzelner InhaltstypWir messen nicht nach.
Der Testsatz weist unterschiedliche Dichte-, Struktur- und Kontexteigenschaften auf. Es besteht aus Szenarien mit
Gleiche Messung, wiederholbarer Prozess.
Benchmark-Prozess: Originaleingabe, optimierte Eingabe und messen das Verifizierungsergebnis getrennt voneinander.
Die Testeingabe wird als unveränderte Referenz übernommen.
Der gleiche Eingang wird mit Aether Compress verarbeitet.
Token-Reduzierung und Informationserhaltung werden separat gemessen.
Ausgewählte Tests werden auch über das externe Modell überprüft.
Messgrenzen
Die Reduzierungsrate variiert je nach Struktur der Eingabe und der Menge der darin enthaltenen unnötigen Informationen.
Dieser Wert ist die durchschnittliche Verarbeitungszeit, die in der Validierungsumgebung gemessen wird. Sie kann je nach Hardware und Arbeitslast variieren.
Dieser Wert stellt die höchste im Validierungssatz beobachtete Drosselung dar und ist nicht die erwartete Rate für jede Anfrage.
Der 100 %-Wert in der externen Validierung ist das Ergebnis von 500 getesteten Szenarien und stellt keine Garantie für unbegrenzte Eingabemöglichkeiten dar.
Wichtiger als der Benchmark,Ihre Eingabe.
Probieren Sie Aether Compress kostenlos aus und sehen Sie, wie viele Token Sie in Ihrem eigenen echten Kontext reduzieren können.