ستساعدك المقالة التالية: يوفر ورق AI هذا من NVIDIA وصفة لإعادة إنتاج RETRO حتى 9.5 مليار من المعلمات أثناء استرداد نصوص برموز 330B
أظهرت نماذج اللغات الكبيرة ، مثل LMs المقنعة ، و LMs الانحدار التلقائي ، و LMs لوحدة فك الترميز ، BART) ، نتائج متطورة لمشاكل البرمجة اللغوية العصبية المختلفة. من بين هؤلاء ، تُظهر LMs ذات الانحدار التلقائي مثل GPT3 و GPT-4 قدرة تعليمية ملحوظة في السياق وأداء رائعًا لإنشاء نص طويل الشكل. نظرًا لأهميتها ، قام المجتمع بمحاولات كبيرة لتوسيع نطاق LM التوليدي الذاتي مع المزيد من البيانات والمعلمات ، مما أدى إلى إنجازات مهمة في تطبيقات العالم الحقيقي مثل إنتاج النصوص المفتوحة والعديد من المهام النهائية.
تتضمن الأمثلة الناجحة في المجال العام GPT-3 و Gopher و Megatron-Turing و PaLM. لقد كانت LMs ذات الانحدار الذاتي على نطاق واسع ناجحة جدًا ولكن بها العديد من العيوب:
- تطبيقه مكلف بسبب العديد من معلمات النموذج اللازمة لحفظ المعلومات العالمية.
- قد يكون من الصعب الحفاظ على صحة الحقائق ، والتي قد تزود المستخدمين بمعلومات خاطئة.
- يعد تحديث المعرفة النموذجية المكتسبة من خلال التدريب المسبق بالمعلومات الحالية مكلفًا ويؤدي إلى استجابات قديمة.
يقترح سطر معين من الدراسة تعزيز نماذج اللغة مع الاسترجاع لمعالجة المشكلات المذكورة أعلاه. يمكن تضمين الاسترجاع في LMs في مراحل ما قبل التدريب أو الضبط الدقيق.
تعمل معظم الأعمال السابقة على تعزيز BERT أو وحدات LM لفك التشفير مع الاسترجاع أثناء خطوة الضبط الدقيق ، مما يعرض نتائج لتطبيقات البرمجة اللغوية العصبية المكثفة المعرفة. ومع ذلك ، لا يزال تدريب LMs ذات الانحدار الذاتي مع الإنقاذ غير مستكشف إلى حد كبير ، لا سيما بالنظر إلى أداء ChatGPT الملحوظ ، والذي يسلط الضوء على الدور الحاسم لل LMs الانحدار الذاتي. اقترحت RETRO مؤخرًا تدريب LMs ذاتي الانحدار المسبق مع وحدة استرجاع قابلة للتطوير عمليًا إلى التدريب المسبق على نطاق واسع من نقطة الصفر عن طريق استرداد مليارات الرموز وتقليل معلمات النموذج بشكل كبير مع تحقيق ارتباك أقل من GPT التقليدي. كما يسمح لك بتغيير المعرفة الموجودة في LMs عن طريق تغيير قاعدة بيانات الاسترجاع دون إعادة تدريب LMs.
لمعالجة السؤال السابق وملء الفراغ ، أجرى الباحثون في NVIDIA بحثًا مكثفًا على RETRO ، لأنه ، على حد علمهم ، فإن RETRO هو LM الوحيد المعزز بالاسترداد الذاتي الذي يدعم التدريب المسبق على نطاق واسع مع الاسترداد على مجموعات ضخمة قبل التدريب تحتوي على مئات المليارات أو التريليونات من التوكنات. يسلط تحقيقهم الشامل الضوء على الاتجاه الواعد للارتداد الذاتي LMs مع الاسترجاع كنماذج أساس مستقبلية ، حيث أنها تتفوق على نماذج GPT القياسية من حيث الارتباك وجودة إنشاء النص وأداء المهام النهائية ، لا سيما للمهام كثيفة المعرفة مثل المجال المفتوح سؤال وجواب.
يجرون بحثًا تفصيليًا حول LM المعزز بالاسترداد في هذه الورقة للإجابة على السؤال: هل يجب تدريب وحدات LM الخاصة بوحدة فك التشفير فقط مسبقًا مع الاسترجاع؟ إنهم يرون مكاسب مستمرة في جودة إنتاج النص ، وصحة الحقائق ، والسمية المنخفضة ، ودقة المهام النهائية ، لا سيما للوظائف التي تتطلب معرفة مكثفة مثل ضمان الجودة في المجال المفتوح. بالنظر إلى الزيادة بنسبة 25 ٪ في ساعات GPU للتدريب المسبق ، فإنهم يعتقدون أن التدريب المسبق على نماذج اللغة التوليدية مع الاسترجاع يعد مسارًا قابلاً للتطبيق. قاعدة البيانات الكاملة والبيانات مفتوحة المصدر على GitHub.
