ستساعدك المقالة التالية: الباحثون يجعلون نماذج الانتشار آمنة مرة أخرى
حلت نماذج الانتشار محل شبكات GAN لتصبح الطريقة الواقعية لتوليد الصور على مدار العام الماضي. ومع ذلك ، كانت هناك بعض المفاهيم غير المناسبة الراسخة بعمق مثل العري والعنف والأعمال الفنية المنسوبة بشكل خاطئ والتي أعاقت استخدامها على نطاق واسع -.
وجد الباحثون طريقة لإزالة هذه المفاهيم من “ذاكرة” خوارزميات الانتشار. باستخدام قوة النموذج نفسه لتعديل أوزان الشبكة العصبية ، يمكن للباحثين جعل النماذج تنسى المفاهيم أو الأساليب الفنية أو حتى الأشياء. قد يكون هذا هو الفاصل الذي تحتاجه نماذج الانتشار لاقتحام التبني السائد.
كيف يعمل؟
تصف الورقة ، التي تحمل عنوان “محو المفاهيم من نماذج الانتشار” ، طريقة الضبط الدقيق التي يمكنها تعديل أوزان النموذج لإزالة مفاهيم معينة من الذاكرة. تدعي الطريقة القيام بذلك مع وجود حد أدنى من التداخل مع المفاهيم الأخرى في المساحة الكامنة للنموذج. يمكن أن يكون هذا النهج مفيدًا بعدة طرق ، حيث يتمثل هدفه الأساسي في جعل نماذج الانتشار أكثر أمانًا وخصوصية والتزامًا بقوانين حقوق النشر.
في الورقة ، أظهر الباحثون عينة من هذه الطريقة حيث تمكنوا من إزالة مفهوم “العري” من أوزان النموذج. هذا له فائدة واضحة تتمثل في جعل نماذج الانتشار آمنة لأنواع معينة من حالات الاستخدام ، مثل التعليم ، دون الحاجة إلى إنشاء عوامل تصفية صارمة ونقاط نهاية للاعتدال بعد انتهاء النموذج من التدريب.
بدلاً من إنفاق كميات كبيرة من الوقت والحساب لإعادة تدريب نموذج انتشار ضخم ، يمكن أن يؤدي محو المفاهيم من خلال الضبط الدقيق إلى إنشاء نموذج آمن بكمية قليلة جدًا من الحوسبة. في مفارقة مفارقة ، استخدم الباحثون المعرفة الموسوعية الخاصة بالنماذج ضدهم.
من خلال تجميد أوزان النموذج المدرب مسبقًا واستخدامه للتنبؤ بالضوضاء ، تمكن الباحثون من توجيه النموذج في الاتجاه المعاكس لموجه محظور معين. باستخدام إرشادات خالية من المصنفات ، تمكن الباحثون من تحريك النموذج بعيدًا عن المفهوم المحدد. عندما يتم إجراء هذه العملية بشكل متكرر ، يتحرك النموذج بعيدًا عن الموجه حتى يتعذر على الإخراج احتواء الموجه.
إذا وضعنا في تشبيه ، فإن هذا المفهوم مشابه لمساعدة الطفل على موازنة الدراجة. عندما يتحرك النموذج نحو المفهوم المحظور ، والذي يرتبط بالسقوط في هذا المثال ، يقوم الشخص الذي يقود الدورة (الباحثون) بدفعها إلى نقطة مركزها. عندما يبدأ الطفل (النموذج) ببطء في تعلم التوازن ، يتم محو مفهوم فقدان التوازن (الموجه المحظور) ببطء.
كما هو الحال مع أي طريقة ، هذا أيضًا له بعض القيود. في بعض الحالات التي يكون فيها مفهوم معين موجودًا عبر جزء كبير من مجموعة البيانات ، قد يؤدي محو المفهوم المذكور إلى التداخل مع المفاهيم غير ذات الصلة. ومع ذلك ، يمكن أن يؤدي ذلك إلى خفض نماذج الانتشار إلى شكل أكثر قبولا من الذكاء الاصطناعي التوليدي من خلال معالجة بعض القيود.
هل يمكنه إصلاح الانتشار؟
في الماضي ، اكتشف الباحثون هذا المفهوم من خلال بناء نموذج مختلف تمامًا. يُعرف هذا النموذج باسم Safe Latent Diffusion ، وهو عبارة عن شوكة من الإصدار 1.5 من Stable Diffusion وهو مُدرب على استبعاد الصور التي قد تكون “مسيئة أو مهينة أو مهددة أو قد تسبب القلق بطريقة أخرى”.
على الرغم من نجاح هذه الطريقة ، إلا أن الطريقة الجديدة تعد بأن تكون أسرع وأكثر عملية لأنها لا تتطلب إعادة تدريب مجموعة الوضع بالكامل. يتضمن المسح الانتقائي لبعض المفاهيم من “ذاكرة” الخوارزمية الكثير من التطبيقات بخلاف مجرد إزالة العري.
تُعد إزالة ما يسمى بالمفاهيم المحظورة خطوة كبيرة إلى الأمام لنماذج الانتشار. نظرًا لطبيعة الصندوق الأسود للشبكات العصبية ، لم يكن من الممكن إزالة مثل هذه المفاهيم بأمان من النماذج من قبل بدون معالجة مسبقة واسعة للبيانات لإزالة أي بيانات سيئة. باستخدام هذه الطريقة ، يمكن تعديل الخوارزميات الحديثة التي تستمد الكثير من القيمة من مجموعات البيانات الكبيرة لإزالة المفاهيم دون التقليل من أدائها أو فعاليتها.
يمكن أن يعالج هذا النهج أيضًا عيبًا شائعًا آخر لنماذج الانتشار -. واحدة من أكبر المشاكل التي يواجهها الفنانون مع نماذج الانتشار هي أنهم “يسرقون” الفن و “يعيدون مزجه” دون أي وسيلة لتحديد من يجب أن يُنسب إليه الفضل. مع هذا المفهوم الجديد ، من الممكن إزالة فنان أو نمط فني معين من ذاكرة النموذج تمامًا.
خذ هذا الرسم البياني ، على سبيل المثال. تمكن الباحثون من إزالة الأنماط الفنية لفنسنت فان جوخ وإدوارد مونش ويوهانس فيرمير وهوكوساي من ذاكرة النموذج. نتج عن ذلك إخراج يشبه الصورة الأصلية ، وإن كان بدون أسلوب توقيع الفنان الذي صنعها.
هذا يعالج واحدة من أكبر المشاكل المرتبطة بالنماذج القائمة على الانتشار. عند دمجها مع مشاريع أخرى مثل الإحالة المستقرة ، قد يمهد هذا الأسلوب الطريق لنماذج الانتشار التي لا تسرق العمل الفني.
