
ما هو توربوكوانت؟ تقنية الضغط بالذكاء الاصطناعي من جوجل لتقليل ذاكرة التخزين KV بمقدار 6 أضعاف وتسريع الاستدلال 8 مرات
توربوكوانت هي خوارزمية تكميم المتجهات الجديدة من جوجل التي تضغط ذاكرة KV الخاصة بـ LLM إلى 3 بتات دون فقدان الدقة، مما يوفر تخفيضًا للذاكرة بمقدار 6 أضعاف وزيادة سرعة الانتباه 8 مرات. دليل شامل مع خطوات التنفيذ.








