ستساعدك المقالة التالية: كيف تتبع الألبكة تعليماتك؟ يكتشف باحثو ستانفورد كيف يستخدم نموذج Alpaca AI النماذج السببية والمتغيرات القابلة للتفسير للاستدلال العددي
نماذج اللغات الكبيرة الحديثة (LLMs) قادرة على مجموعة واسعة من الأعمال الرائعة ، بما في ذلك ظهور حل مهام الترميز ، والترجمة بين اللغات ، وإجراء محادثات متعمقة. لذلك ، فإن تأثيرها المجتمعي يتوسع بسرعة حيث تصبح أكثر انتشارًا في حياة الناس اليومية والسلع والخدمات التي يستخدمونها.
توفر نظرية التجريد السببي إطارًا عامًا لتحديد طرق التفسير التي تقيِّم بدقة مدى نجاح نظام سببي معقد (مثل الشبكة العصبية) في تنفيذ نظام سببي قابل للتفسير (مثل خوارزمية رمزية). في الحالات التي تكون فيها الاستجابة “نعم” ، يكون السلوك المتوقع للنموذج أقرب خطوة إلى ضمانه. تزداد مساحة المحاذاة بين المتغيرات في النموذج السببي المفترض والتمثيلات في الشبكة العصبية بشكل كبير مع زيادة حجم النموذج ، مما قد يفسر سبب تطبيق أساليب التفسير هذه فقط على النماذج الصغيرة التي تم ضبطها لمهام محددة. بعض الضمانات القانونية سارية بمجرد العثور على محاذاة مرضية. قد تكون تقنية البحث عن المحاذاة معيبة عندما لا يتم العثور على محاذاة.
تم إحراز تقدم حقيقي في هذه المشكلة بفضل البحث عن المحاذاة الموزعة (DAS). نتيجة لـ DAS ، أصبح من الممكن الآن (1) تعلم المحاذاة بين التمثيلات العصبية الموزعة والمتغيرات السببية عبر النسب المتدرج و (2) الكشف عن الهياكل المنتشرة عبر الخلايا العصبية. بينما تحسن DAS ، فإنه لا يزال يعتمد على بحث القوة الغاشمة على أبعاد التمثيلات العصبية ، مما يحد من قابليتها للتوسع.
يستبدل نظام DAS غير المحدود ، الذي تم تطويره في جامعة ستانفورد ، مكوّن القوة الغاشمة المتبقي في DAS بالمعلمات المكتسبة ، مما يوفر إمكانية شرح المقياس. يستخدم النهج الجديد مبدأ التجريد السببي لتحديد التمثيلات في LLMs المسؤولة عن تأثير سببي معين. باستخدام Boundless DAS ، يفحص الباحثون كيف يستجيب نموذج Alpaca (7B) ، وهو نموذج LLaMA مدرب مسبقًا ، للتعليمات في مسألة منطقية حسابية مباشرة. عند معالجة مشكلة التفكير العددي الأساسية ، وجدوا أن نموذج Alpaca يستخدم نموذجًا سببيًا بمتغيرات وسيطة قابلة للتفسير. ووجدوا أن هذه العمليات السببية مقاومة أيضًا للتغييرات في المدخلات والتدريب. إطار عملهم لاكتشاف الآليات السببية عام ومناسب لـ LLMs ، بما في ذلك مليارات المعلمات.
لديهم أيضًا نموذج سببي يعمل ؛ يستخدم متغيرين منطقيين لاكتشاف ما إذا كانت قيمة الإدخال أكبر من أو تساوي الحدود. يتم استهداف المتغير المنطقي الأول هنا لمحاولات المحاذاة. لمعايرة نموذجهم السببي للمواءمة ، يأخذون عينة من حالتين تدريبيتين ويتبادلون القيمة المنطقية الوسيطة. يتم تبديل عمليات تنشيط الخلايا العصبية المحاذاة المقترحة في وقت واحد بين المثالين. أخيرًا ، يتم تدريب مصفوفة الدوران لجعل الشبكة العصبية تستجيب بشكل معاكس مثل النموذج السببي.
يقوم الفريق بتدريب Boundless DAS على تمثيلات رمزية متعددة الطبقات ومتعددة المواضع لهذه المهمة. يقيس الباحثون مدى جودة أو دقة المحاذاة في الفضاء الجزئي المستدير باستخدام دقة تدخل التبادل (IIA) ، والتي تم اقتراحها في الأعمال السابقة على الملخصات السببية. عندما تكون درجة IIA عالية ، تكون المحاذاة هي الأمثل. يقومون بتوحيد معايير IIA باستخدام أداء المهام باعتباره الحد الأعلى وأداء المصنف الزائف باعتباره الحد الأدنى. تشير النتائج إلى أن هذه المتغيرات المنطقية التي تصف الروابط بين كمية الإدخال والأقواس من المحتمل أن يتم حسابها داخليًا بواسطة نموذج Alpaca.
لا تزال قابلية التوسع للطريقة المقترحة محدودة بحجم الأبعاد المخفية لمساحة البحث. نظرًا لأن مصفوفة الدوران تنمو بشكل كبير مع البعد المخفي ، فإن البحث عبر مجموعة من تمثيلات الرمز في LLMs أمر مستحيل. إنه غير واقعي في العديد من تطبيقات العالم الحقيقي لأنه غالبًا ما يتم إخفاء النماذج السببية عالية المستوى اللازمة للنشاط. تقترح المجموعة أنه ينبغي بذل الجهود لتعلم الرسوم البيانية السببية عالية المستوى باستخدام إما البحث المنفصل القائم على الكشف عن مجريات الأمور أو التحسين الشامل.
