ستساعدك المقالة التالية: نموذج جديد لتحرير نماذج التعلم الآلي على أساس العمليات الحسابية على متجهات المهام
أصبح من الشائع بشكل متزايد استخدام التدريب المسبق على نطاق واسع لتطوير النماذج المستخدمة كأساس لأنظمة التعلم الآلي الأكثر تخصصًا. من وجهة نظر عملية ، غالبًا ما يكون من الضروري تغيير هذه النماذج وتحديثها بعد أن يتم تدريبها مسبقًا. الأهداف لمزيد من المعالجة عديدة. على سبيل المثال ، من الأهمية بمكان تعزيز أداء النموذج المدرَّب مسبقًا في مهام محددة ، أو معالجة التحيزات أو السلوك غير المرغوب فيه ، أو محاذاة النموذج مع التفضيلات البشرية ، أو دمج معلومات جديدة.
يطور أحدث عمل لفريق من الباحثين من جامعة واشنطن و Microsoft Research و Allen Institute للذكاء الاصطناعي طريقة ذكية لتحريك سلوك النماذج المدربة مسبقًا بناءً على متجهات المهام ، والتي يتم الحصول عليها عن طريق طرح الأوزان المدربة مسبقًا لنموذج دقيق على المهمة. بتعبير أدق ، يتم تعريف متجهات المهام على أنها الفرق من حيث العنصر بين أوزان النماذج المدربة مسبقًا والنماذج الدقيقة. تحقيقًا لهذه الغاية ، يمكن تطبيق متجهات المهام على أي معلمات نموذجية باستخدام إضافة عنصر الحكمة ومصطلح قياس اختياري. في الورقة ، يتم تحديد شروط القياس باستخدام مجموعات التحقق من الصحة المعلقة.
يوضح المؤلفون أنه يمكن للمستخدمين إجراء عمليات حسابية بسيطة على متجهات المهام هذه لتغيير النماذج ، مثل إبطال المتجه لإزالة السلوكيات غير المرغوب فيها أو إلغاء تعلم المهام أو إضافة متجهات المهام لتحسين النماذج متعددة المهام أو الأداء في مهمة واحدة. كما توضح أيضًا أنه عندما تشكل المهام علاقة تشبيه ، يمكن دمج متجهات المهام لتحسين الأداء في المهام التي تكون فيها البيانات شحيحة.
يوضح المؤلفون أن النهج المتصور يمكن الاعتماد عليه في نسيان السلوك غير المرغوب فيه في مجالي الرؤية والنص. يقومون بتجربة نماذج CLIP الأصلية والمضبوطة بدقة لمجال الرؤية على مجموعات بيانات مختلفة (على سبيل المثال ، السيارات ، EuroSAT ، MNIST ، إلخ). كما هو واضح في الجدول 1 من الورقة ، يعد نفي متجهات المهام طريقة موثوقة لتقليل الأداء في المهمة المستهدفة (حتى 45.8 نقطة مئوية لـ ViT-L) وترك الدقة الأصلية تقريبًا لمهمة التحكم. بالنسبة لمجال اللغة (الجدول 2) ، فقد أظهروا أن نواقل المهام السلبية تقلل من عدد الأجيال السامة لنموذج GPT-2 الكبير بمقدار ستة أضعاف بينما ينتج عنها نموذج بحيرة مماثلة في مهمة تحكم (WikiText-103).
يمكن أن تؤدي إضافة نواقل المهام أيضًا إلى تعزيز النماذج المدربة مسبقًا. في حالة تصنيف الصور ، تؤدي إضافة متجهات المهام من مهمتين إلى تحسين الدقة في كليهما ، مما يؤدي إلى نموذج واحد قادر على المنافسة مع استخدام نموذجين متخصصين دقيقين (الشكل 2). في مجال اللغة (معيار GLUE) ، يوضح المؤلفون أن إضافة متجهات المهام إلى نماذج T5 الأساسية المدربة مسبقًا أفضل من الضبط الدقيق ، حتى لو كانت التحسينات أكثر تواضعًا في هذه الحالة.
أخيرًا ، يسمح إجراء تشبيهات المهام باستخدام متجهات المهام بتحسين الأداء في مهام تعميم المجال والمجموعات السكانية الفرعية مع القليل من البيانات. على سبيل المثال ، للحصول على أداء أفضل على صور نادرة معينة (على سبيل المثال ، أسود في الداخل) ، يمكن للمرء أن يبني متجهًا للمهام عن طريق إضافة الفرق بين متجهات المهام للكلاب في الداخل والخارج. كما هو واضح في الشكل 4 ، تسمح هذه النمذجة بإدخال تحسينات واضحة على المجالات التي يتوفر فيها عدد قليل من الصور.
للتلخيص ، قدم هذا العمل نهجًا جديدًا لتحرير النماذج عن طريق إجراء عمليات حسابية على متجهات المهام. هذه الطريقة فعالة ، ويمكن للمستخدمين بسهولة تجربة تعديلات النماذج المختلفة عن طريق إعادة التدوير ونقل المعرفة من مجموعات واسعة من النماذج الدقيقة المتاحة للجمهور.
