ستساعدك المقالة التالية: تقترح ورقة AI هذه UPRISE: نهج خفيف الوزن ومتعدد الاستخدامات لتحسين أداء اللقطة الصفرية لنماذج لغة كبيرة مختلفة LLM في مهام مختلفة
أظهرت نماذج اللغات الكبيرة مثل GPT-3 و OPT و BLOOM قدرات رائعة في تطبيقات مختلفة. وفقًا لدراسة حديثة ، هناك طريقتان رئيسيتان لتعزيز أدائهم: تحسين قدرة LLM على متابعة المطالبات وإنشاء إجراءات للهندسة السريعة. يعمل ضبط LLM على تغيير أوزانها لتلبية تعليمات محددة وزيادة أداء المهام. يمكن تقييد هذا ، على الرغم من ذلك ، من خلال معالجة الموارد وعدم توفر أوزان النموذج. يتم توفير طريقة مختلفة لتعزيز تعميم المهام بدون طلقة من خلال الضبط متعدد المهام ، والذي يبرر جزئيًا تكلفة الضبط.
ومع ذلك ، نظرًا لأن LLM تتطور دائمًا ، يصبح من الضروري ضبط النماذج الجديدة ، مما يثير أسئلة جدية حول التكلفة الإجمالية للضبط الدقيق. تُستخدم الإشارات الهندسية لتوجيه LLMs المجمدة. يتضمن التصميم الفوري موجهًا هندسيًا للغة الطبيعية في مدخلات المهمة لتدريب LLM على التعلم في السياق أو لتشجيع LLM على العقل. يضيف الضبط السريع موجهًا ناعمًا يمثله معلمات مستمرة لتحسينه. على الرغم من أن هذه التقنيات يمكن أن توفر نتائج رائعة لوظائف معينة ، إلا أنه من غير الواضح ما إذا كانت المطالبات التي تم إنشاؤها لمهمة واحدة يمكن استخدامها لأنواع المهام الأخرى التي لم يتم اكتشافها بعد لأن إعدادات الضربة الصفرية تجعل المصممين الفوريين عمياء.
يعد UPRISE الذي اقترحه باحثو Microsoft حلاً قابلاً للتطبيق ومفيدًا للتطبيقات الواقعية بسبب نموذجها المتقاطع وتعميم المهام المشتركة. في هذه الدراسة ، يقدمون UPRISE ، وهو مسترد خفيف الوزن وقابل للتكيف ، مع الأخذ في الاعتبار إدخال مهمة بدون طلقة ، يقوم بضبط المطالبات من مجموعة بيانات مسبقة الإنشاء تلقائيًا. يتم تدريس المسترد لاستعادة إشارات المهام المختلفة ، كما هو موضح في الشكل 1 ، مما يسمح له بالتعميم على أنواع المهام الأخرى أثناء الاستدلال. علاوة على ذلك ، يوضحون مدى فعالية ترجمة مهارات المهام المتقاطعة من LLM صغير إلى العديد من LLMs ذات المقاييس الأكبر بشكل كبير عن طريق تعديل المسترد باستخدام GPT-Neo-2.7B وتقييم أدائه على BLOOM-7.1B و OPT-66B و GPT3 -175 ب.
تم اكتشاف أن ChatGPT يعاني من مشاكل الهلوسة الرئيسية ، مما يؤدي إلى ردود غير صحيحة من الناحية الواقعية على الرغم من مهاراته الرائعة. يمكن لـ UPRISE حل هذه المشكلة لمهام التحقق من الحقائق عن طريق توجيه النموذج لاستنتاج الاستنتاجات الصحيحة من المعرفة الموجودة مسبقًا. بالإضافة إلى ذلك ، كما يتضح من تجاربهم مع ChatGPT ، يمكن لتقنيتهم تحسين حتى LLMs الأكثر فاعلية.
في الختام ، تشمل مساهماتهم ما يلي:
• يطورون UPRISE ، وهي طريقة بسيطة وقابلة للتكيف لتعزيز أداء LLMs من الصفر في سياقات المهام المتقاطعة وعبر النماذج.
• يكشف تحقيقهم في ChatGPT عن إمكانات UPRISE في تعزيز أداء أقوى LLMs. يتم تعديل UPRISE باستخدام GPT-Neo-2.7B ، ولكن يمكن أن تستفيد أيضًا من LLMs بأحجام أكبر بكثير ، مثل BLOOM-7.1B و OPT-66B و GPT3-175B.
