ستساعدك المقالة التالية: بحث جديد للذكاء الاصطناعي من معهد ماساتشوستس للتكنولوجيا يقلل من التباين في تقليل التشويش على مطابقة النقاط ، وتحسين جودة الصورة ، والاستقرار ، وسرعة التدريب في نماذج الانتشار
أنتجت نماذج الانتشار مؤخرًا نتائج رائعة في مهام توليد مختلفة ، بما في ذلك إنشاء الصور وسحب النقاط ثلاثية الأبعاد والمطابقة الجزيئية. المعادلات التفاضلية العشوائية (SDE) هي إطار عمل موحد يمكنه دمج هذه النماذج. تكتسب النماذج معرفة حقول الدرجات المعتمدة على الوقت من خلال مطابقة الدرجات ، والتي توجه لاحقًا SDE العكسي أثناء أخذ العينات التوليدية. يعد انفجار التباين (VE) والحفاظ على التباين (VP) SDE من نماذج الانتشار الشائعة. يقدم EDM أفضل أداء حتى الآن من خلال التوسع في هذه التركيبات. لا يزال من الممكن تحسين طريقة التدريب الحالية لنماذج الانتشار ، على الرغم من تحقيق نتائج تجريبية بارزة.
هدف الحقل المستهدف المستقر (STF) هو تباين عام لهدف تقليل التشويش لمطابقة النتيجة. على وجه الخصوص ، يمكن أن يؤدي التقلب الكبير في أهداف تدريب هدف تقليل الضوضاء (DSM) إلى أداء دون المستوى. يقسمون مجال النقاط إلى ثلاثة أنظمة لفهم سبب هذا التقلب بشكل أفضل. وفقًا لتحقيقاتهم ، تحدث الظاهرة غالبًا في النظام الوسيط ، المحدد بواسطة أوضاع أو نقاط بيانات مختلفة لها تأثير مماثل على الدرجات. بمعنى آخر ، في ظل هذا النظام ، لا يزال يتم تحديد المكان الذي نشأت فيه العينات الصاخبة التي تم إنتاجها خلال العملية المستقبلية. يوضح الشكل 1 (أ) الاختلافات بين DSM وأهداف STF المقترحة.
الشكل 1: أمثلة على أهداف DSM وتناقضات هدف STF المقترح.
في حين أن مصادرها (في المربع الأحمر) مفصولة عن بعضها البعض ، فإن الصور “المدمرة” (في المربع الأزرق) قريبة من بعضها. على الرغم من حقيقة أن النتيجة الحقيقية في التوقع هي المتوسط المرجح لـ vi ، فإن تحديثات التدريب الفردية لهدف DSM لها تباين كبير ، والذي يقلل هدف STF الخاص بنا إلى حد كبير باستخدام دفعة مرجعية كبيرة (المربع الأصفر)
تتمثل الخطة في إضافة دفعة مرجعية ثانية من الأمثلة لاستخدامها كأهداف عند حساب الدرجات الشرطية المرجحة. يقومون بتجميع مساهمة كل مثال في الدُفعة المرجعية باستخدام أخذ العينات ذات الأهمية الطبيعية. على الرغم من أن هذه الطريقة ، خاصة في النظام الوسيط ، يمكن أن تقلل بشكل كبير من تباين أهداف التدريب (الشكل 1 (ب)) ، إلا أنها تقدم بعض التحيز. ومع ذلك ، فقد أظهروا أنه مع زيادة حجم الدُفعة المرجعية ، ينخفض التحيز وتتبع التغاير لأهداف تدريب STF إلى الصفر. من خلال التجارب ، أظهروا كيف أن هدف STF الخاص بهم ، عند إضافته إلى EDM ، ينتج أداءً جديدًا متطورًا على الجيل غير المشروط CIFAR10. درجة FID النهائية بعد 35 تقييمًا للشبكة هي 1.90.
في معظم الحالات ، ترفع STF أيضًا درجات FID / البداية للاختلافات الأخرى في النماذج القائمة على النقاط ، مثل VE و VP SDEs. بالإضافة إلى ذلك ، فإنه يعزز استقرار النماذج المتقاربة القائمة على النقاط في CIFAR-10 و CelebA 642 عبر البذور العشوائية ويساعد في منع تطور الصور الصاخبة في VE. يعمل STF على تسريع تدريب النماذج القائمة على الدرجات مع تحقيق نفس درجات FID أو أعلى (3.6 تسريع لـ VE على CIFAR-10). على حد علمهم ، فإن STF هي الطريقة الأولى لتسريع تدريب نماذج الانتشار. كما أنها توضح التأثير الضار للتباين المفرط مع إظهار فائدة الأداء مع زيادة حجم الدُفعة المرجعية.
فيما يلي ملخص لمساهماتهم:
(1) يميزون الجزء من العملية المتقدمة المعروف باسم المرحلة المتوسطة ، حيث تكون أهداف تعلم الدرجات أكثر قابلية للتغيير
(2) يقترحون مجالًا مستهدفًا معممًا يطابق النتيجة مع هدف ثابت لتوفير أهداف تدريب أكثر اتساقًا
(3) يقومون بفحص سلوك الهدف الجديد وإثبات أنه غير متحيز بشكل مقارب ويقلل من أثر التباين المشترك لأهداف التدريب في المرحلة المتوسطة في ظل ظروف حميدة بواسطة عامل يتعلق بحجم الدُفعة المرجعي
(4) يستخدمون الأدلة التجريبية لدعم الحجج النظرية ويوضحون كيف يعزز هدف STF المقترح وظائف النهج القائم على الدرجات ، والاستقرار ، وكفاءة التدريب.
على وجه الخصوص ، عند إقرانها مع EDM ، تحصل على أحدث درجة FID في معيار CIFAR-10.
