análisis estructural
Las funciones de los mensajes, las instrucciones del sistema, los fragmentos de documentos y el historial de conversaciones se tratan como contextos separados.
Aether Compress analiza la entrada antes de enviarla al modelo; reduce repeticiones, partes de bajo valor y detalles innecesarios, generando un contexto más pequeño.
Aether funciona de manera independiente del proveedor. Manteniendo la generación de prompts y la preferencia de modelo actual, solo las entradas que llegan al LLM se vuelven más eficientes.
Las funciones de los mensajes, las instrucciones del sistema, los fragmentos de documentos y el historial de conversaciones se tratan como contextos separados.
Se conserva la información relacionada con la solicitud actual del usuario y se reduce el contenido de baja contribución.
La optimización no es sólo acortar caracteres; Se mantiene la jerarquía de información e instrucciones requeridas por la tarea.
La cantidad de tokens de entrada y salida y la tasa de ahorro se pueden observar para cada solicitud.
Entregue sus mensajes o textos largos a Compress API.
Determine el nivel de optimización que se adapta a su objetivo de calidad, equilibrio o ahorro máximo.
Envíe el contexto optimizado devuelto al proveedor de modelo que está utilizando.
Póngase en contacto con nuestro equipo para agregar Aether Compress a su flujo LLM actual.