在模型之前运行的一个上下文优化层。
在调用 LLM 时，模型不仅处理问题，也会处理 您发送的所有上下文。随着上下文的增加，输入 token 数量也会增长。
Aether Compress 插入在您的应用与模型之间。 它先优化上下文，并生成更小的上下文。下一步完全由您控制。
模型成本的一部分来自您发送到模型的负载。
更大的上下文并不总是意味着更多有用的信息。重复内容、辅助内容以及与查询关联度低的部分也会作为输入令牌传递给模型。
随着输入上下文的增加，发送给提供者并计费的代币数量也会增加。
不必要的内容会消耗上下文区域，真正需要的信息可能无法使用。
单次请求中看似微小的差异，在高调用量时会转化为巨大的总代币数量。
输入上下文。输出优化后的上下文。
Aether Compress，模型尝试不生成回答。 任务是在到达 LLM 前，使输入上下文更高效。
您将应用程序中的现有上下文发送到 Aether API。
如果没有查询，则应用通用优化，如果有查询，则应用查询导向优化。
Aether 在保留可用信息的前提下确定可以减少的负载。
优化后的上下文将直接返回到您的应用程序。
无论有无查询。
根据上下文的使用方式，您可以使用两种不同的优化方式。
通用上下文在保持的同时优化。
在没有特定用户问题的情况下，如果想优化上下文，可以使用通用模式。
Context'i专注于查询。
如果已知用户的问题，查询也可以添加到优化请求中。这样，Aether 上下文会根据该查询的信息需求进行处理。
另一个模型eklemiyoruz.
为了降低 context 成本而发起新的 LLM 调用，可能意味着将成本转移到其他地方。 Aether Compress 并不将其优化过程依赖于单独的 LLM 调用。
Aether Compress 在优化 context 时不会向其他人工智能模型发送请求。
优化后的 context 可以在后续阶段与您选择的模型或供应商一起使用。
您无需更改模型、提示架构或应用程序的主 LLM 层。
您可以通过比较每个请求的原始和优化后的token数量来衡量结果。
仅获取上下文。如果需要，可以继续到回复。
Aether Compress 是产品的优化层。 Aether Generate 是将此层与您的AI提供商在一次调用中 合并的可选使用方式。
优化后的上下文将直接返回到您的应用程序。 您可以决定使用哪种模型、何时使用以及如何使用。
上下文先被优化，然后通过您自己的提供者账户发送到模型，最终答案一次性返回。
const response = await fetch(
"https://api.aether.tr/v1/compress",
{
method: "POST",
headers: {
"Authorization": "Bearer YOUR_API_KEY",
"Idempotency-Key": crypto.randomUUID(),
"Content-Type": "application/json"
},
body: JSON.stringify({
context,
query
})
}
);
const result = await response.json();
console.log(result.context);如果上下文变大，可能存在优化空间。
Aether 关注发送给 LLM 的上下文结构，而不是特定行业。
在模型调用前优化长对话历史和重复上下文。
根据用户查询，提高检索到的文档片段的效率。
减少工具输出、任务历史和累积代理上下文的负载。
不要在每次请求中全部传输长报告、合同和企业文档。
优化对话历史、客户信息和帮助中心上下文。
缩小包含源代码、日志、错误输出和技术文档的大型上下文。
如果没有安全减少则不必减少。
目标并不是在任何情况下都产生更小的输出。 比起减少需要保护的上下文，更重要的是保留可用信息。
不要看市场平均值，而是看你自己的上下文。
每个应用程序的上下文结构都不同。看到 Aether 的真实价值的最正确方法是对自己的生产输入进行测量。
当上下文确实有成本时。
当您的请求包含对话历史、文档或大型系统上下文时。
在同一优化重复用于成千上万或数百万请求的系统中。
如果输入本身只有几个token级别，可减少的空间自然有限。
如果您的上下文之前已被激进地最小化，额外收益可能较低。