ستساعدك المقالة التالية: التحقق من الوجه “الإبداعي” مع شبكات الخصومة التوليدية
اقترحت ورقة بحثية جديدة من جامعة ستانفورد طريقة ناشئة لخداع أنظمة مصادقة الوجه في منصات مثل تطبيقات المواعدة ، باستخدام شبكة الخصومة التوليدية (GAN) لإنشاء صور وجه بديلة تحتوي على نفس معلومات الهوية الأساسية للوجه الحقيقي.
نجحت الطريقة في تجاوز عمليات التحقق من الوجه في تطبيقات المواعدة Tinder و Bumble ، وفي إحدى الحالات تم تمرير وجه (ذكر) مبادل الجنس باعتباره أصيلًا لهوية المصدر (الأنثوية).
المصدر: https://arxiv.org/pdf/2203.15068.pdf
وفقًا للمؤلف ، يمثل العمل المحاولة الأولى لتجاوز التحقق من الوجه باستخدام صور تم إنشاؤها مشبعة بسمات هوية محددة ، ولكنها تحاول تمثيل هوية بديلة أو تم تغييرها بشكل كبير.
تم اختبار هذه التقنية على نظام محلي مخصص للتحقق من الوجه ، ثم أداؤها جيدًا في اختبارات الصندوق الأسود مقابل تطبيقين للتعارف يقومان بالتحقق من الوجه على الصور التي يحمّلها المستخدم.
الجديد ورق يحمل العنوان ، ويأتي من سانجانا ساردا ، الباحثة في قسم الهندسة الكهربائية في جامعة ستانفورد.
التحكم في مساحة الوجه
من خلال “حقن” الميزات الخاصة بالمعرف (أي من الوجوه ، إشارات الطريق، وما إلى ذلك) في الصور المصممة هو عنصر أساسي في الهجمات العدائية، تقترح الدراسة الجديدة شيئًا مختلفًا: أن قطاع الأبحاث القدرة المتزايدة ل يتحكم ستمكن المساحة الكامنة لشبكات GAN في نهاية المطاف من تطوير البنى التي يمكن أن تخلق هويات بديلة لهويات المستخدم – وتمكين بشكل فعال استخراج ميزات الهوية من الصور المتاحة على الويب للمستخدم المطمئن إلى الدخول في “الظل” المصمم هوية.
كان الاتساق والقدرة على التنقل من التحديات الأساسية فيما يتعلق بالمساحة الكامنة لشبكة GAN منذ بداية شبكات الخصومة التوليدية. لا توفر GAN التي استوعبت بنجاح مجموعة من الصور التدريبية في مساحتها الكامنة خريطة سهلة “لدفع” الميزات من فئة إلى أخرى.
في حين أن التقنيات والأدوات مثل تعيين التنشيط لفئة التدرج المرجح (جراد كام) يمكن أن تساعد في إنشاء الاتجاهات الكامنة بين الفئات المحددة ، وتمكين التحولات (انظر الصورة أدناه) ، فإن التحدي الإضافي للتشابك عادة ما يؤدي إلى رحلة “تقريبية” ، مع تحكم دقيق محدود في الانتقال.
الصورة مشتقة من مادة موجودة على https://www.youtube.com/watch؟v=dCKbRCUyop8
إن القدرة على “ تجميد ” الميزات الخاصة بالمعرف وحمايتها أثناء نقلها إلى ترميزات تحويلية في مكان آخر في الفضاء الكامن تجعل من الممكن إنشاء فرد متسق (وحتى متحرك) تتم قراءة هويته بواسطة أنظمة الآلة كشخص آخر.
طريقة
استخدم المؤلف مجموعتي بيانات كأساس للتجارب: مجموعة بيانات مستخدم بشري تتكون من 310 صورة لوجهها تمتد على مدى أربع سنوات ، مع اختلاف الإضاءة والعمر وزوايا الرؤية) ، مع الوجوه المقصوصة المستخرجة عبر كافيه؛ و 108501 صورة متوازنة عرقيا في وجه عادل مجموعة البيانات ، المستخرجة والمقصوصة بالمثل.
تم اشتقاق نموذج التحقق من الوجه المحلي من تطبيق أساسي لـ FaceNet و ديب فيس، مدربة مسبقًا على بداية ConvNet، مع تمثيل كل صورة بواسطة متجه 128 بعدًا.
يستخدم الأسلوب صور الوجه من مجموعة فرعية مدربة من FairFace. من أجل اجتياز التحقق من الوجه ، المسافة المحسوبة التي تسببها الصورة قاعدة فروبينيوس مقابل المستخدم الهدف في قاعدة البيانات. أي صورة أقل من عتبة 0.7 تعادل نفس الهوية ، وإلا فسيتم اعتبار التحقق قد فشل.
تم ضبط نموذج StyleGAN على مجموعة البيانات الشخصية للمؤلف ، مما أدى إلى إنتاج نموذج من شأنه أن يولد اختلافات يمكن التعرف عليها من هويتها ، على الرغم من عدم تطابق أي من هذه الصور التي تم إنشاؤها مع بيانات التدريب. تم تحقيق ذلك بواسطة تجميد أول أربع طبقات في أداة التمييز ، لتجنب فرط تجهيز البيانات وإنتاج مخرجات متنوعة.
على الرغم من الحصول على صور متنوعة باستخدام نموذج StyleGAN الأساسي ، إلا أن الدقة المنخفضة والإخلاص دفعتا إلى محاولة ثانية باستخدام ستارغان V2.0، مما يسمح بتدريب صور البذور على وجه مستهدف.
تم تدريب نموذج StarGAN V2 مسبقًا على مدار 10 ساعات تقريبًا باستخدام مجموعة التحقق من FairFace ، بحجم دفعة من أربعة وحجم تحقق من 8. في النهج الأكثر نجاحًا ، تم استخدام مجموعة البيانات الشخصية للمؤلف كمصدر مع بيانات التدريب مثل مرجع.
تجارب التحقق
تم إنشاء نموذج للتحقق من الوجه بناءً على مجموعة فرعية من 1000 صورة ، بهدف التحقق من صورة عشوائية من المجموعة. تم اختبار الصور التي اجتازت التحقق بنجاح فيما بعد مقابل بطاقة هوية صاحب البلاغ.
كان الهدف من التجارب هو خلق فجوة واسعة قدر الإمكان بين الهوية المرئية المدركة مع الاحتفاظ بالسمات المحددة للهوية المستهدفة. تم تقييم هذا مع مسافة ماهالانوبيس، وهو مقياس يستخدم في معالجة الصور للبحث عن الأنماط والقوالب.
بالنسبة للنموذج التوليدي الأساسي ، تعرض النتائج منخفضة الدقة التي تم الحصول عليها تنوعًا محدودًا ، على الرغم من اجتياز التحقق من الوجه المحلي. أثبت StarGAN V2 أنه أكثر قدرة على إنشاء صور متنوعة قادرة على المصادقة.
استخدمت الصور الثلاثة الأخيرة الموضحة أعلاه مجموعة بيانات وجه المؤلف كمصدر ومرجع ، بينما استخدمت الصور السابقة بيانات التدريب كمرجع ومجموعة بيانات المؤلف كمصدر.
تم اختبار الصور الناتجة مقابل أنظمة التحقق من الوجه لتطبيقات المواعدة Bumble و Tinder ، مع تحديد هوية المؤلف كخط أساس ، وتم التحقق. كما اجتاز جيل “الذكر” من وجه المؤلف عملية التحقق من Bumble ، على الرغم من أنه كان لابد من ضبط الإضاءة في الصورة التي تم إنشاؤها قبل قبولها. لم يقبل Tinder النسخة الذكورية.
خاتمة
هذه تجارب أساسية في إسقاط الهوية ، في سياق التلاعب بالفضاء الكامن لـ GAN ، والذي لا يزال يمثل تحديًا غير عادي في تركيب الصور وأبحاث التزييف العميق. ومع ذلك ، يفتح العمل مفهوم تضمين ميزات محددة للغاية بشكل متسق عبر الهويات المتنوعة ، وإنشاء هويات “بديلة” “تقرأ” كشخص آخر.
