باحثو جوجل يتوصلون لطريقة تجعل الذكاء الاصطناعى يحلل ملايين الكلمات

يمكن لـ ChatGPT التعامل مع بضعة آلاف من الكلمات، في حين يمكن لنماذج الذكاء الاصطناعي الأكبر التعامل مع المزيد، ولكن ما يصل إلى حوالي 75000 كلمة فقط. ربما تتساءل: ماذا لو كان بإمكانك تغذية ملايين الكلمات، أو قواعد التعليمات البرمجية بأكملها، أو مقاطع الفيديو الكبيرة في هذه النماذج؟

توصل باحث جوجل بالتعاون مع Databricks CTO Matei Zaharia والأستاذ بجامعة كاليفورنيا في بيركلي بيتر أبيل إلى طريقة للقيام بذلك، وفقًا لموقع الشركة الداخلي.

يمثل هذا التقدم، الذي تم الكشف عنه في ورقة بحثية حديثة، تغييرًا جذريًا في الطريقة التي نتفاعل بها مع هذه الأدوات التقنية الجديدة القوية، مع عدم قدرة الأساليب الحالية على التعامل مع كميات هائلة من المدخلات بسبب قيود الذاكرة على وحدات معالجة الرسومات التي تقوم بتدريب وتشغيل نماذج الذكاء الاصطناعي. .

يتم قياس هذه الأشياء ومناقشتها بناءً على “الرموز المميزة” و”نوافذ السياق”. الرمز المميز هو كيان يمكنه تمثيل كلمة أو جزء من كلمة أو رقم أو شيء مشابه. نافذة السياق هي المكان الذي تقوم فيه بإدراج سؤال أو نص أو نص. مدخلات أخرى لنموذج الدردشة الآلية أو الذكاء الاصطناعي حتى يتمكن من تحليل المحتوى وتقديم شيء ذكي.

تبلغ نافذة السياق الخاصة بشركة Anthropic الناشئة للذكاء الاصطناعي وبرنامج الدردشة الآلي Claude 100000 رمز، أي ما يعادل 75000 كلمة تقريبًا.

وفقًا لمقالة حديثة، يبلغ طول سياق نموذج GPT-3.5 الخاص بـ OpenAI 16000 حرف، وGPT-4 – 32000 حرفًا، والنموذج الذي أنشأته MosiacML، المملوكة لشركة Databricks، يمكنه التعامل مع 65000 حرف.

الفكرة الأساسية هي أن نماذج الذكاء الاصطناعي الحديثة تعالج البيانات بطريقة تتطلب من وحدة معالجة الرسومات تخزين المخرجات الداخلية المختلفة ثم إعادة حسابها قبل تمريرها إلى وحدة معالجة الرسومات التالية، كما اكتشف هاو ليو، طالب دكتوراه في جامعة كاليفورنيا في بيركلي وباحث بدوام جزئي. في جوجل ديب مايند.

“إنه يتطلب الكثير من الذاكرة وليس ما يكفي منها، مما يحد في النهاية من مقدار المدخلات التي يمكن لنموذج الذكاء الاصطناعي معالجتها. وبغض النظر عن مدى سرعة وحدة معالجة الرسومات، هناك عنق الزجاجة في الذاكرة.”

قال لي ليو: “كان الهدف من هذه الدراسة هو معالجة عنق الزجاجة هذا”. ينشئ أسلوبه الجديد نوعًا من حلقة GPU التي تمرر أجزاء من العملية إلى وحدة معالجة الرسومات التالية. “وهذا يزيل بشكل فعال قيود الذاكرة التي تفرضها الأجهزة الفردية.”