ستساعدك المقالة التالية: تحديد التزييف العميق للمشاهير من مناطق الوجه الخارجي
اقترح تعاون جديد بين Microsoft وجامعة صينية طريقة جديدة لتحديد التزييف العميق للمشاهير ، من خلال الاستفادة من أوجه القصور في تقنيات التزييف العميق الحالية للتعرف على الهويات التي تم “ إسقاطها ” على أشخاص آخرين.
يُطلق على هذا النهج (ICT) ، ويعمل من خلال مقارنة الأجزاء الخارجية من الوجه (الفك ، وعظام الوجنتين ، وخط الشعر ، والعلامات الهامشية الخارجية الأخرى) بالجزء الداخلي من الوجه. يستغل النظام بيانات الصور العامة المتاحة بشكل شائع للأشخاص المشهورين ، مما يحد من فعاليته للمشاهير المشهورين ، الذين تتوفر صورهم بأعداد كبيرة في مجموعات بيانات رؤية الكمبيوتر المتاحة على نطاق واسع ، وعلى الإنترنت.
المصدر: https://arxiv.org/pdf/2203.01318.pdf
كما توضح الصورة أعلاه ، فإن الأساليب الشائعة حاليًا للتزييف العميق مقيدة تمامًا بالموارد ، وتعتمد على الوجوه المضيفة المناسبة (صورة أو مقطع فيديو للشخص الذي سيتم استبدال هويته بالتزييف العميق) لتقليل دليل استبدال الوجه.
على الرغم من أن الطرق المختلفة قد تشمل الجبهة الكاملة وجزءًا كبيرًا من الذقن وعظام الخد ، إلا أن جميعها مقيدة إلى حد ما داخل إطار وجه المضيف.
في الاختبارات ، أثبتت تكنولوجيا المعلومات والاتصالات أنها قادرة على اكتشاف محتوى التزييف العميق في حدود صديقة مزيفة مثل الفيديو منخفض الدقة ، حيث يتدهور محتوى الفيديو بأكمله من خلال أدوات الضغط ، مما يساعد على إخفاء الأدلة المتبقية لعملية التزييف العميق – وهو ظرف يربك العديد من المتنافسين طرق الكشف عن التزييف العميق.
المصدر: https://www.youtube.com/watch؟
ال ورق يحمل العنوان ، ويأتي من تسعة باحثين ينتمون بشكل مختلف إلى جامعة العلوم والتكنولوجيا في الصين ، و Microsoft Research Asia ، و Microsoft Cloud + AI.
فجوة المصداقية
هناك سببان على الأقل وراء وجود خوارزميات مبادلة الوجوه الشائعة مثل ديب فيس لاب و تبديل الوجه إهمال المنطقة الخارجية من هويات الوجه المتبادلة.
أولاً ، يعد تدريب نماذج التزييف العميق مضيعة للوقت وتتسم بالموارد الحرجة ، كما أن اعتماد وجوه / أجسام مضيفة “متوافقة” يحرر دورات GPU وأزمنة للتركيز على المناطق الداخلية غير القابلة للتغيير نسبيًا من الوجه والتي نستخدمها لتمييز الهوية (منذ ذلك الحين) المتغيرات مثل تقلب الوزن والشيخوخة هي الأقل احتمالا لتغيير سمات الوجه الأساسية على المدى القصير).
ثانيًا ، معظم أساليب التزييف العميق (وهذا بالتأكيد هو الحال مع DeepFaceLab ، البرنامج المستخدم من قبل أشهر الممارسين أو سيئي السمعة) لديها قدرة محدودة على تكرار هوامش نهاية الوجه مثل مناطق الخد والفك ، وهي مقيدة بالحقيقة أن المنبع (2017) رمز لم يعالج هذه المشكلة على نطاق واسع.
في الحالات التي لا تتطابق فيها الهويات بشكل جيد ، يجب أن تقوم خوارزمية deepfake “بتلوين” مناطق الخلفية حول الوجه ، وهو ما تفعله بطريقة خرقاء في أحسن الأحوال ، حتى في أيدي أفضل صانعي التزييف العميق ، مثل Ctrl Shift Face، الذي تم استخدام مخرجاته في دراسات الورقة.
المصدر: https://www.youtube.com/watch؟
هذه “ خفة اليد ” ، أو انحراف الانتباه يهرب إلى حد كبير من انتباه الجمهور في القلق الحالي بشأن الواقعية المتزايدة للتزييف العميق ، لأن كلياتنا الحاسمة حول التزييف العميق لا تزال تتطور بعد مرحلة “ الصدمة والرعب ”.
الهويات المنقسمة
تشير الورقة الجديدة إلى أن معظم الطرق السابقة لاكتشاف التزييف العميق تعتمد على القطع الأثرية التي تخون عملية التبادل ، مثل يطرح رأس غير متناسقة و رمش العين، ضمن العديد من التقنيات الأخرى. هذا الأسبوع فقط ، ظهرت ورقة جديدة أخرى للكشف عن التزييف العميق مقترح باستخدام “توقيع” أنواع النماذج المختلفة في إطار عمل FaceSwap للمساعدة في تحديد الفيديو المزيف الذي تم إنشاؤه باستخدامه (انظر الصورة أدناه).
المصدر: https://arxiv.org/pdf/2202.12951.pdf
على النقيض من ذلك ، تخلق بنية تكنولوجيا المعلومات والاتصالات هويتين متداخلتين منفصلتين لشخص ما ، يجب التحقق من كل واحدة قبل أن يتم تحديد الهوية الكاملة على أنها لقطات أو صور “حقيقية”.
يتم تسهيل انقسام الهويات من خلال الرؤية محول، والذي يقوم بإجراء تحديد الوجه قبل تقسيم المناطق التي تم مسحها إلى رموز تنتمي للهويات الداخلية أو الخارجية.
تقول الورقة:
نظرًا لعدم وجود نموذج حالي لبروتوكول التعريف هذا ، فقد ابتكر المؤلفون نوعًا جديدًا من فقدان التناسق يمكن أن يكون بمثابة مقياس للمصداقية. تتم إضافة “الرمز الداخلي” و “الرمز الخارجي” الناتج عن نموذج استخراج الهوية إلى عمليات دمج التصحيح الأكثر تقليدية التي تنتجها أطر تحديد الوجه.
البيانات والتدريب
تم تدريب شبكة تكنولوجيا المعلومات والاتصالات على أبحاث مايكروسوفت MS-Celeb-1M مجموعة البيانات ، التي تحتوي على 10 ملايين صورة لوجه المشاهير تغطي مليون هوية ، بما في ذلك الممثلون والسياسيون والعديد من الأنواع الأخرى من الشخصيات البارزة. وفقًا لإجراءات الطريقة السابقة أشعة سينية للوجه (مبادرة بحثية أخرى من Microsoft) ، يقوم روتين الجيل الوهمي الخاص بتقنية المعلومات والاتصالات بتبادل المناطق الداخلية والخارجية للوجوه المستمدة من مجموعة البيانات هذه من أجل إنشاء مادة يمكن على أساسها اختبار الخوارزمية.
لإجراء هذه المقايضات الداخلية ، تحدد تكنولوجيا المعلومات والاتصالات صورتين في مجموعة البيانات تعرضان أوضاعًا متشابهة للرأس ومعالم الوجه ، وتقوم بإنشاء منطقة قناع للسمات المركزية (التي يمكن إجراء المبادلة فيها) ، وتقوم بإجراء تبديل التزييف العميق باستخدام تصحيح ألوان RGB.
السبب وراء اقتصار تكنولوجيا المعلومات والاتصالات على تحديد المشاهير هو أنها تعتمد (في أكثر أشكالها فعالية) على مجموعة مرجعية جديدة تتضمن نواقل وجه مشتقة من جسم مركزي (في هذه الحالة MS-Celeb-1M ، على الرغم من إمكانية تمديد المرجع إلى الصور المتاحة على الشبكة ، والتي من المحتمل أن تكون موجودة فقط بجودة وكمية كافية لشخصيات عامة معروفة).
تعمل مقاطع مجموعة المتجهات المشتقة هذه كرموز أصالة للتحقق من مناطق الوجه الداخلية والخارجية جنبًا إلى جنب.
لاحظ المؤلفون أن الرموز المميزة التي تم الحصول عليها من هذه الأساليب تمثل ميزات “عالية المستوى” ، مما يؤدي إلى عملية اكتشاف التزييف العميق التي من المرجح أن تنجو من البيئات الصعبة مثل الفيديو منخفض الدقة أو المتدهور بطريقة أخرى.
بشكل حاسم ، تبحث تكنولوجيا المعلومات والاتصالات عن أدلة قائمة على القطع الأثرية ، ولكنها تركز بدلاً من ذلك على طرق التحقق من الهوية التي تتوافق بشكل أكبر مع تقنيات التعرف على الوجه – وهو نهج صعب مع البيانات ذات الحجم المنخفض ، كما هو الحال مع التحقيق في حوادث deepfake الانتقام الإباحية ضد أهداف غير مشهورة.
الاختبارات
تم تدريب تكنولوجيا المعلومات والاتصالات على MS-Celeb-1M ، ثم تم تقسيمها إلى إصدارات بمساعدة مرجعية و “عمياء” من الخوارزمية ، وتم اختبارها مقابل مجموعة من مجموعات البيانات والأساليب المتنافسة. وشملت هذه FaceForensics ++ (FF ++) ، مجموعة بيانات تضم 1000 مقطع فيديو أصلي ومزيف عميق تم إنشاؤه عبر أربع طرق بما في ذلك وجه 2 وجه و FaceSwap. جوجل كشف التزييف العميق (DFD) ، والتي تتألف أيضًا من آلاف مقاطع الفيديو التزييف العميق التي أنشأتها Google ؛ المشاهير DeepFake v1.0 (CD1) ، الذي يضم 408 مقطع فيديو حقيقي و 795 مقطع فيديو مركب قليل التحف ؛ Celeb-DeepFake v2 ، امتداد لـ V1 يحتوي على 590 مقطع فيديو حقيقي و 5639 مقطع فيديو مزيف ؛ والصين 2020 أعمق الطب الشرعي (أعمق).
هذه هي مجموعات البيانات ؛ كانت طرق الكشف في تحديات الاختبار متعدد المهامو MesoInc4و كبسولة، Xception-c0 ، c2 (طريقة مستخدمة في FF ++) ، FWA / DSP-FW من جامعة ألباني ، فرعينو PCL + I2G، ويوفال نيركين طريقة تناقض السياق.
تهدف طرق الكشف المذكورة أعلاه إلى اكتشاف أنواع معينة من التلاعب بالوجه. بالإضافة إلى ذلك ، اختبر مؤلفو الورقة البحثية المزيد من عروض الكشف عن التزييف العميق أشعة سينية للوجه، جامعة ولاية ميشيغان FFDو CNNetection، و باتش الطب الشرعي من MIT CSAIL.
النتائج الأكثر وضوحًا من الاختبار هي أن الطرق المتنافسة تنخفض بشكل كبير في فعاليتها مع انخفاض دقة الفيديو والجودة. نظرًا لأن بعضًا من أشد الاحتمالات لاختراق التزييف العميق لسلطاتنا التمييزية تكمن (ليس على الأقل في الوقت الحالي) في الفيديو غير عالي الدقة أو غير ذلك من حيث الجودة ، فقد تبدو هذه نتيجة مهمة.
في الرسم البياني للنتائج أعلاه ، تشير الخطوط الزرقاء والحمراء إلى مرونة أساليب تكنولوجيا المعلومات والاتصالات لتدهور الصورة في جميع المناطق باستثناء حاجز الطريق للضوضاء الغاوسية (ليس احتمالًا في Zoom ولقطات على غرار كاميرا الويب) ، بينما تنخفض موثوقية الطرق المنافسة.
في جدول النتائج أدناه ، نرى فعالية طرق اكتشاف التزييف العميق المتنوعة على مجموعات البيانات غير المرئية. تشير النتائج الرمادية وعلامة النجمة إلى مقارنة من النتائج المنشورة في الأصل في مشاريع مغلقة المصدر ، والتي لا يمكن التحقق منها خارجيًا. عبر جميع الأطر المماثلة تقريبًا ، تتفوق تكنولوجيا المعلومات والاتصالات على أساليب اكتشاف التزييف العميق المنافسة (الموضحة بالخط العريض) على مجموعات البيانات التي تم اختبارها.
كاختبار إضافي ، قام المؤلفون بتشغيل محتوى من YouTube قناة Deepfaker المشهود Ctrl Shift Face ، ووجدت طرقًا منافسة حققت درجات تحديد أدنى بشكل ملحوظ:
من الجدير بالذكر هنا أن طرق FF ++ (Xception-c23) و FFD ، التي تحقق عددًا قليلاً من أعلى الدرجات عبر بعض بيانات الاختبار في الاختبارات العامة للورقة الجديدة ، تحقق هنا درجة أقل بكثير من تكنولوجيا المعلومات والاتصالات في سياق “العالم الحقيقي” من محتوى التزييف العميق عالي الجهد.
يختتم المؤلفون الورقة على أمل أن توجه نتائجها مجتمع اكتشاف التزييف العميق نحو مبادرات مماثلة تركز على ميزات عالية المستوى يسهل تعميمها ، وبعيدًا عن “الحرب الباردة” لاكتشاف القطع الأثرية ، حيث يتم تجنب أحدث الأساليب بشكل روتيني من خلال التطورات في أطر عمل التزييف العميق ، أو من خلال عوامل أخرى تجعل مثل هذه الأساليب أقل مرونة.
تحقق من الفيديو التكميلي المصاحب أدناه للحصول على مزيد من الأمثلة لتكنولوجيا المعلومات والاتصالات التي تحدد محتوى التزييف العميق الذي غالبًا ما يتفوق على الطرق البديلة.
