ستساعدك المقالة التالية: قدم باحثون من جامعة تسينغهوا خوارزمية جديدة لتعلم الآلة في إطار نموذج التعلم التلوي
يمكن أن تعزى الإنجازات الحديثة في المهام الخاضعة للإشراف للتعلم العميق إلى توافر كميات كبيرة من بيانات التدريب المسمى. ومع ذلك ، فإن الأمر يتطلب الكثير من الجهد والمال لجمع ملصقات دقيقة. في العديد من السياقات العملية ، يتم إرفاق ملصقات لجزء صغير فقط من بيانات التدريب. يهدف التعلم شبه الخاضع للإشراف (SSL) إلى تعزيز أداء النموذج باستخدام المدخلات المصنفة وغير المصنفة. العديد من مناهج SSL الفعالة ، عند تطبيقها على التعلم العميق ، تتعهد بتنظيم التناسق غير الخاضع للإشراف لاستخدام البيانات غير المسماة.
تقدم الخوارزميات الحديثة القائمة على الاتساق عادةً العديد من المعلمات المفرطة القابلة للتكوين ، على الرغم من أنها تحقق أداءً ممتازًا. للحصول على أداء الخوارزمية الأمثل ، من الشائع ضبط هذه المعلمات المفرطة على القيم المثلى. لسوء الحظ ، غالبًا ما يكون البحث عن المعلمات الفائقة غير موثوق به في العديد من سيناريوهات SSL في العالم الحقيقي ، مثل معالجة الصور الطبية وتصنيف الصور فائقة الطيف والتعرف على حركة مرور الشبكة والتعرف على المستندات. هذا بسبب ندرة البيانات المشروحة ، مما يؤدي إلى تباين كبير عند اعتماد التحقق المتبادل. إن امتلاك أداء خوارزمية حساس لقيم المعلمات الفائقة يجعل هذه المشكلة أكثر إلحاحًا. علاوة على ذلك ، قد تصبح التكلفة الحسابية غير قابلة للإدارة لأحدث خوارزميات التعلم العميق حيث تنمو مساحة البحث بشكل كبير فيما يتعلق بعدد المعلمات المفرطة.
قدم باحثون من جامعة تسينغهوا خوارزمية SSL قائمة على التعلم التلوي تسمى Meta-Semi للاستفادة من البيانات المصنفة بشكل أكبر. تحقق Meta-Semi أداءً متميزًا في العديد من السيناريوهات عن طريق ضبط معلمة مفرطة أخرى.
استلهم الفريق من إدراك أن الشبكة قد يتم تدريبها بنجاح باستخدام الأمثلة غير المشروحة “ذات العلامات الزائفة” بشكل مناسب. على وجه التحديد ، خلال مرحلة التدريب عبر الإنترنت ، يقومون بإنتاج ملصقات شبه ناعمة للبيانات غير المسماة استنادًا إلى تنبؤات الشبكة. بعد ذلك ، يقومون بإزالة العينات ذات الملصقات الزائفة غير الموثوقة أو غير الصحيحة واستخدام البيانات المتبقية لتدريب النموذج. يوضح هذا العمل أن التوزيع الصحيح للبيانات “ذات العلامات الزائفة” يجب أن يكون قابلاً للمقارنة مع البيانات المصنفة. إذا تم تدريب الشبكة مع الأول ، فيجب أيضًا تقليل الخسارة النهائية على الأخير.
لقد حددوا هدف إعادة الوزن التلوي لتقليل الخسارة النهائية على البيانات المصنفة عن طريق اختيار الأوزان الأنسب (تشير الأوزان في جميع أنحاء الورقة دائمًا إلى المعاملات المستخدمة لإعادة وزن كل عينة غير مصنفة بدلاً من الإشارة إلى معلمات الشبكات العصبية). واجه الباحثون صعوبات في الحوسبة عند معالجة هذه المشكلة باستخدام خوارزميات التحسين.
لهذا السبب ، يقترحون صيغة تقريبية يمكن من خلالها اشتقاق محلول مغلق الشكل. من الناحية النظرية ، يوضحون أن كل تكرار تدريبي يحتاج فقط إلى خطوة تدرج ميتا واحدة لتحقيق الحلول التقريبية.
في الختام ، يقترحون نهج ترجيح ديناميكي لإعادة وزن العينات التي كانت تحمل علامات زائفة سابقًا بأوزان 0-1. تظهر النتائج أن هذا النهج يصل في النهاية إلى النقطة الثابتة لوظيفة الخسارة الخاضعة للإشراف. في معايير تصنيف الصور الشائعة (CIFAR-10 و CIFAR-100 و SVHN و STL-10) ، ثبت أن التقنية المقترحة تؤدي أداءً أفضل من الشبكات العميقة الحديثة. بالنسبة لمهام CIFAR-100 و STL-10 SSL الصعبة ، تحصل Meta-Semi على أداء أعلى بكثير من خوارزميات SSL الحديثة مثل ICT و MixMatch وتحصل على أداء أفضل إلى حد ما من CIFAR-10. علاوة على ذلك ، تعد Meta-Semi إضافة مفيدة للنُهج القائمة على الاتساق ؛ يؤدي دمج تنظيم التناسق في الخوارزمية إلى تعزيز الأداء بشكل أكبر.
وفقًا للباحثين ، فإن Meta-Semi يتطلب مزيدًا من الوقت للتدريب هو عيب. إنهم يخططون للنظر في هذه القضية في المستقبل.
تفحص ال ورق و مقالة مرجعية. يذهب كل الفضل في هذا البحث إلى الباحثين في هذا المشروع. أيضا ، لا تنسى الانضمام 15k + ML SubRedditو قناة الخلاف، و النشرة البريد الإلكتروني، حيث نشارك آخر أخبار أبحاث الذكاء الاصطناعي ومشاريع الذكاء الاصطناعي الرائعة والمزيد.
تحقق من https://aitoolsclub.com للعثور على مئات من أدوات الذكاء الاصطناعي الرائعة
