أرسل سياقًا أقل إلى LLM.أرسل السياق.
Aether Compress، يقوم بتحسين سياقك قبل استدعاء النموذج. يقلل من عبء رموز الإدخال غير الضرورية، يحافظ على المعلومات القابلة للاستخدام، ويجعل تدفق الذكاء الاصطناعي الحالي لديك أكثر كفاءة.
يعمل قبل النموذجطبقة تحسين السياق.
عند استدعاء LLM، يقوم النموذج بمعالجة ليس فقط السؤال، ولكن كل السياق الذي ترسله إليه. وكلما زاد هذا السياق، زاد عدد الرموز المدخلة.
Aether Compress، يتم وضعه بين تطبيقك والنموذج. يقوم أولاً بتحسين السياق وإنتاج سياق أصغر. الخطوة التالية بالكامل تحت سيطرتك.
جزء من تكلفة النموذجيأتي من الحمل الذي ترسله إلى النموذج.
السياق الأكبر لا يعني دائمًا مزيدًا من المعلومات المفيدة. التكرارات والمحتويات المساعدة والأجزاء ذات الصلة المنخفضة بالاستعلام تُنقل أيضًا إلى النموذج كرموز إدخال.
كلما زاد سياق الإدخال، زاد عدد التوكنات المرسلة إلى المزود والمُكلّفة.
المحتوى غير الضروري يستهلك مساحة السياق التي يمكن للمعلومات الضرورية حقًا استخدامها.
الفرق الذي يظهر صغيرًا في طلب واحد يتحول إلى كمية كبيرة من التوكنات عند حجم عالي من الطلبات.
إدخال السياق.إخراج السياق المحسّن.
Aether Compress، لا يحاول النموذج إنتاج إجابة. مهمته هي جعل سياق الإدخال أكثر كفاءة قبل الوصول إلى LLM.
ترسل السياق الحالي في تطبيقك إلى واجهة برمجة التطبيقات Aether.
إذا لم يكن هناك استعلام يتم تطبيق التحسين العام، وإذا كان هناك استعلام يتم تطبيق التحسين الموجه للاستعلام.
Aether يحدد الحمل الذي يمكن تقليله مع الحفاظ على المعلومات القابلة للاستخدام.
يرجع السياق المحسن مباشرة إلى تطبيقك.
سواء كان هناك استعلام أم لا.
يمكنك استخدام شكلين مختلفين من التحسين حسب كيفية استخدام السياق.
السياق العامقم بتحسينه مع الحفظ.
يمكنك استخدام الوضع العام عندما تريد تحسين السياق دون سؤال محدد من المستخدم.
Context'iركز على الاستعلام.
إذا كان سؤال المستخدم معروفًا، يمكن إضافة الاستعلام إلى طلب التحسين. بهذه الطريقة، يقوم Aether بمعالجة السياق مع مراعاة حاجة المعلومات لذلك الاستعلام.
نموذج آخرeklemiyoruz.
إجراء استدعاء LLM جديد لتقليل تكلفة السياق قد يعني نقل التكلفة إلى مكان آخر. Aether Compress لا يعتمد عملية تحسينه على استدعاء LLM منفصل.
Aether Compress لا يرسل طلبًا إلى نموذج ذكاء اصطناعي آخر لتحسين السياق.
يمكن استخدام السياق المحسّن في المرحلة التالية مع النموذج أو المزود الذي تختاره.
لست مضطرًا لتغيير نموذجك، أو بنية المطالبة الخاصة بك، أو طبقة LLM الرئيسية لتطبيقك.
يمكنك قياس النتيجة من خلال مقارنة عدد الرموز الأصلية والمُحسّنة في كل طلب.
احصل فقط على السياق.إذا أردت، استمر حتى الوصول إلى الإجابة.
Aether Compress هي طبقة تحسين المنتج. Aether Generate هي طريقة استخدام اختيارية تجمع هذه الطبقة مع مزود الذكاء الاصطناعي الخاص بك في نداء واحد.
يتم إرجاع السياق المحسّن مباشرة إلى تطبيقك. أنت من يحدد أي نموذج، ومتى، وكيف ستستخدمه.
يتم تحسين السياق أولاً، ثم يُرسل إلى النموذج من خلال حساب المزود الخاص بك وتعود الإجابة النهائية في تدفق واحد.
بدعوة API واحدةأضفها إلى تدفقك.
يكفي إضافة Aether Compress بين مرحلة إنشاء السياق الحالية واستدعاء LLM الخاص بك.
راجع الوثائقconst response = await fetch(
"https://api.aether.tr/v1/compress",
{
method: "POST",
headers: {
"Authorization": "Bearer YOUR_API_KEY",
"Idempotency-Key": crypto.randomUUID(),
"Content-Type": "application/json"
},
body: JSON.stringify({
context,
query
})
}
);
const result = await response.json();
console.log(result.context);إذا كان السياق يكبر،قد يكون هناك مجال للتحسين.
يركز Aether على بنية السياق المرسل إلى LLM بدلاً من قطاع معين.
قم بتحسين سجلات المحادثات الطويلة والسياق المتكرر قبل استدعاء النموذج.
قم بتحسين أجزاء المستندات المسترجعة بناءً على استفسار المستخدم.
قم بتقليل عبء مخرجات الأدوات، وسجل المهام، وسياق الوكيل المتراكم.
لا تنقل التقارير الطويلة والعقود والمستندات المؤسسية بالكامل في كل طلب.
قم بتحسين سجل المحادثات، ومعلومات العملاء، وسياق مركز المساعدة.
قم بتقليل السياقات الكبيرة التي تحتوي على كود المصدر، والسجلات، ومخرجات الأخطاء، والوثائق الفنية.
ليس فقط أصغر.يجب الحفاظ على المعلومات أيضًا.
أثناء تقييم _AETHER_COMPRESS__، نحن لا نقيس فقط تقليل الرموز. نقوم أيضًا بالتحقق بشكل منفصل من أن السياق المحسّن يحتفظ بالمعلومات الضرورية.
راجع نتائج المعيار المرجعيإذا لم يكن هناك تقليل آمنليس من الضروري تقليله.
الهدف ليس إنتاج مخرجات أصغر في جميع الحالات. الأهم من تقليل السياق الذي يجب الحفاظ عليه، هو الحفاظ على المعلومات القابلة للاستخدام.
لا تنظر إلى المتوسط التسويقي،انظر إلى السياق الخاص بك.
كل تطبيق له هيكل سياق مختلف. الطريقة الأكثر دقة لرؤية القيمة الحقيقية لـ Aether هي قياسه على مدخلات الإنتاج الخاصة بك.
عندما تكون تكلفة السياق حقيقية.
إذا كانت طلباتك تحمل سجل المحادثة أو المستندات أو سياق نظام كبير.
في الأنظمة التي يتم فيها تكرار نفس التحسين لآلاف أو ملايين الطلبات.
إذا كانت المدخلات بالفعل على مستوى بعض الرموز المميزة، فإن المساحة القابلة للتقليل محدودة بشكل طبيعي.
إذا تم تقليل السياق الخاص بك بشكل عدواني من قبل، فقد يكون الربح الإضافي أقل.
أرسل سياقك.شاهد الفرق في بياناتك الخاصة.
اختبر Aether Compress باستخدام مليون رمز مجاني على مدخلات حقيقية مشابهة لسياق الإنتاج الخاص بك.