Меньше токенов.Измеренные результаты.
Мы измеряем _AETHER_COMPRESS__ не только по тому, насколько он уменьшает размер, но и по тому, насколько хорошо сохраняет необходимую информацию при уменьшении. Наши результаты оцениваются с помощью широкомасштабного локального тестирования и независимой проверки модели.
Два разных тестовых уровня.
Локальная проверка тестирует потерю информации в широком масштабе. Внешняя проверка модели измеряет, несет ли ответ, сгенерированный из оптимизированного контекста, ту же информацию, что и исходный контекст.
OrtalamaНа 40,65% меньше.
Измеренное значение показывает среднее уменьшение количества токенов по сравнению с исходным вводом для оптимизированного ввода.
При оценке Aether Compress измеряется не только сокращение токенов. Основным условием успеха является сохранение необходимой информации в оптимизированном контексте.
На уровне внешней проверки один и тот же вопрос оценивается как по исходному, так и по оптимизированному контексту, и измеряется, сохраняют ли ответы необходимую информацию.
Мы не измеряем по одному типу контента.
Тестовый набор состоит из сценариев с различной плотностью, структурой и характеристиками контекста.
То же измерение, повторяемый процесс.
Процесс бенчмаркинга измеряет исходный ввод, оптимизированный ввод и результат проверки отдельно друг от друга.
Тестовый ввод берется в качестве ссылки без изменений.
Тот же ввод обрабатывается с помощью Aether Compress.
Снижение токенов и сохранение информации измеряются отдельно.
Выбранные тесты дополнительно проверяются на другой модели.
Границы измерений
Процент снижения зависит от структуры ввода и количества лишней информации.
Это среднее время обработки, измеренное в среде проверки. Может изменяться в зависимости от оборудования и рабочей нагрузки.
Это значение показывает максимальное сокращение, наблюдаемое в наборе проверки, и не является ожидаемой нормой для каждого запроса.
Значение 100% во внешней проверке является результатом теста 500 сценариев и не гарантирует для всех возможных входных данных без ограничений.
Более важно, чем бенчмарк,ваш ввод.
Попробуйте _AETHER_COMPRESS__ бесплатно и посмотрите, насколько вы можете сократить токены в вашем собственном реальном контексте.