ستساعدك المقالة التالية: يتعمق بحث الذكاء الاصطناعي هذا في حدود وقدرات نماذج اللغة الكبيرة للمحول (LLMs) ، تجريبيًا ونظريًا ، في المهام التركيبية
يعد ChatGPT رائجًا ، ويستخدمه الملايين من الأشخاص يوميًا. بفضل إمكاناته المذهلة لتقليد البشر ، مثل الإجابة على الأسئلة ، وإنشاء محتوى فريد ومبدع ، وتلخيص البيانات النصية الضخمة ، وإكمال الكود ، وتطوير مساعدين افتراضيين مفيدين للغاية ، يجعل ChatGPT حياتنا أسهل. تم تطوير ChatGPT بواسطة OpenAI ، وهو يعتمد على GPT 3.5 (المحول التوليدي قبل التدريب) وبنية المحولات الخاصة بـ GPT 4. GPT 4 ، أحدث إصدار من نماذج اللغة التي أصدرتها OpenAI ، متعدد الوسائط بطبيعته ، أي أنه يأخذ مدخلات في شكل نصوص وصور ، على عكس الإصدارات السابقة. حتى نماذج اللغات الكبيرة الأخرى (LLMs) مثل PaLM و LLaMA و BERT تُستخدم في تطبيقات مجالات مختلفة تشمل الرعاية الصحية والتجارة الإلكترونية والتمويل والتعليم وما إلى ذلك.
سلط فريق من الباحثين الضوء على الفرق بين الأداء المثير للإعجاب لـ LLMs مثل GPT في المهام المعقدة وصراعاتهم مع المهام البسيطة في ورقة بحثية صدرت مؤخرًا. الغوص في قيود وقدرات Transformer LLMs ، أجرى الفريق تجارب على ثلاث مهام تركيبية تمثيلية: الضرب متعدد الأرقام ، وألغاز الشبكة المنطقية ، ومشكلة البرمجة الديناميكية الكلاسيكية. تتضمن هذه المهام تقسيم المشكلات إلى خطوات أصغر والجمع بين تلك الخطوات للتوصل إلى حل دقيق.
بهدف دراسة حدود المحولات في حل المهام التركيبية التي تتطلب تفكيرًا متعدد الخطوات ، اقترح المؤلفون فرضيتين. الأول هو أن المحولات تنجز المهام عن طريق تحويل التفكير الخطي متعدد الخطوات إلى مطابقة المسار ، وبالتالي الاعتماد على مطابقة الأنماط وتعلم الاختصار بدلاً من الفهم الفعلي وتنفيذ القواعد الحسابية الأساسية المطلوبة لتطوير الحلول المناسبة. يتيح هذا النهج تنبؤات سريعة ودقيقة بأنماط متشابهة أثناء التدريب ولكنه يفشل في التعميم على أمثلة معقدة غير شائعة. تنص الفرضية الثانية على أن المحولات قد يكون لها قيود متأصلة أثناء محاولة حل المهام التركيبية عالية التعقيد ذات الأنماط الفريدة. قد تنتشر الأخطاء الحسابية المبكرة وتؤدي إلى أخطاء مركبة خطيرة في خطوات لاحقة ، مما يمنع النماذج من الوصول إلى الحل الصحيح.
صاغ المؤلفون المهام التركيبية على هيئة رسوم بيانية حسابية من أجل التحقيق في الفرضيتين. تحلل هذه الرسوم البيانية عملية حل المشكلات إلى خطوات وظيفية فرعية أصغر وأكثر قابلية للإدارة ، مما يتيح المقاييس المنظمة لتعقيد المشكلة والتعبير اللفظي عن خطوات الحوسبة كتسلسل إدخال لنماذج اللغة. حتى أنهم يستخدمون اكتساب المعلومات لعمل تنبؤات حول الأنماط التي من المحتمل أن تتعلمها النماذج بناءً على توزيع المهام الأساسية دون تشغيل عمليات حسابية كاملة داخل الرسم البياني.
بناءً على النتائج التجريبية ، اقترح المؤلفون أن المحولات تتعامل مع التحديات التركيبية عن طريق تقليل التفكير متعدد الخطوات إلى مطابقة الرسم البياني الفرعي الخطي. لقد قدموا الحجج النظرية القائمة على مشاكل التفكير المجردة متعددة الخطوات ، والتي تسلط الضوء على أنه مع زيادة تعقيد المهمة ، يتدهور أداء المحولات بسرعة. هذا يدل على أن النماذج قد تكون مقيدة بالفعل في قدرتها على التعامل مع المشاكل التركيبية ذات التعقيد الكبير.
في الختام ، تشير النتائج التجريبية والنظرية إلى أنه بدلاً من الفهم الشامل لعمليات التفكير الأساسية ، فإن أداء المحولات مدفوع في الغالب بمطابقة الأنماط ومطابقة الرسم البياني الفرعي ، مما يدعم أيضًا فكرة أن المحولات سيجدون صعوبة متزايدة في القيام بالمهام الصعبة. .
