ستساعدك المقالة التالية: اذهب ليتل نيرف ؛ أنت حر الآن: أسلوب الذكاء الاصطناعي هذا يحسن قدرة العرض العصبي في لقطات قليلة
أصبح إنشاء عروض ثلاثية الأبعاد عالية الدقة لمشاهد العالم الحقيقي أكثر وأكثر قابلية للتطبيق بفضل التقدم في تطبيقات مجال الإشعاع العصبي (NeRF) مؤخرًا. باستخدام NeRF ، يمكنك نقل مشاهد من العالم الحقيقي إلى عالم افتراضي والحصول على عروض ثلاثية الأبعاد يمكن عرضها من وجهات نظر مختلفة.
NeRF هو نهج قائم على التعلم العميق يمثل المشهد كدالة 5D مستمرة. يقوم بتعيين الإحداثيات ثلاثية الأبعاد واتجاهات العرض لقيم الإشعاع التي تمثل مقدار انتقال الضوء على طول الاتجاه المحدد في نقطة معينة. يتم تقريب وظيفة الإشعاع هذه باستخدام مستشعر متعدد الطبقات (MLP) يتم تدريبه على مجموعة من الصور المدخلة ومعلمات الكاميرا المقابلة.
من خلال التقاط الهندسة ثلاثية الأبعاد الأساسية وإضاءة المشهد ، يمكن لـ NeRF إنشاء مناظر جديدة للمشهد من وجهات نظر عشوائية. بهذه الطريقة ، يمكنك الحصول على استكشاف افتراضي تفاعلي للمشهد. فكر في الأمر مثل مشهد المراوغة في الفيلم الأول.
كما هو الحال مع جميع التقنيات الناشئة ، لا تخلو NeRF من عيوبها. المشكلة الشائعة هي أنه يمكن أن يفرط في وجهات نظر التدريب ، مما يجعله يواجه صعوبات مع توليف عرض جديد عندما لا يتوفر سوى عدد قليل من المدخلات. هذه مشكلة معروفة باسم مشكلة العرض العصبي.
كانت هناك محاولات لمعالجة مشكلة التصيير العصبي قليلة اللقطات. تمت تجربة أساليب التعلم الانتقالي والأساليب الخاضعة للإشراف العميق ، وكانت ناجحة إلى حد ما. ومع ذلك ، تتطلب هذه الأساليب تدريبًا مسبقًا على مجموعات البيانات واسعة النطاق وخطوط أنابيب التدريب المعقدة ، مما يؤدي إلى حساب النفقات العامة.
ماذا لو كانت هناك طريقة لمعالجة هذه المشكلة بشكل أكثر كفاءة؟ ماذا لو تمكنا من تجميع وجهات نظر جديدة حتى مع المدخلات المتفرقة؟ الوقت المناسب لتلبية مجاني.
التردد المنتظم NeRF (FreeNeRF) هو نهج جديد مقترح لمعالجة مشكلة التقديم العصبي قليلة اللقطات. من السهل جدًا إضافته إلى نموذج NeRF عادي ، لأنه لا يتطلب سوى إضافة بضعة أسطر من التعليمات البرمجية. تقدم FreeNeRF مصطلحين تنظيم: تنظيم التردد وتنظيم الانسداد.
يتم استخدام تنظيم التردد لتحقيق الاستقرار في عملية التعلم ومنع فرط التجهيز الكارثي في بداية التدريب. أصبح هذا ممكنًا عن طريق تنظيم نطاقات التردد المرئية لمدخلات NeRF مباشرة. الملاحظة هنا هي أن هناك انخفاضًا كبيرًا في أداء NeRF حيث يتم تقديم مدخلات تردد أعلى للنموذج. يستخدم FreeNeRF تنظيمًا مرئيًا قائمًا على طيف التردد في خطوة وقت التدريب لتجنب الإفراط في النعومة وتقديم معلومات عالية التردد تدريجيًا إلى NeRF.
من ناحية أخرى ، يتم استخدام تنظيم الانسداد لمعاقبة حقول الكثافة القريبة من الكاميرا. تتسبب هذه الحقول في شيء يسمى العوامات ، وهي عبارة عن عيوب أو أخطاء تحدث في الصورة المعروضة عندما لا تتم محاذاة الكائنات بشكل صحيح مع النموذج ثلاثي الأبعاد الأساسي. أهداف تنظيم الانسداد للقضاء على العوامات في NeRF. هذه القطع الأثرية ناتجة عن المناطق الأقل تداخلًا في عروض التدريب ، والتي يصعب تقديرها بسبب المعلومات المحدودة المتاحة. لمعالجة هذا ، يتم معاقبة الحقول الكثيفة بالقرب من الكاميرا.
تجمع FreeNeRF بين هاتين الطريقتين للتنظيم لاقتراح خط أساس بسيط يتفوق على أحدث الأساليب السابقة في مجموعات البيانات المتعددة. لا يضيف أي تكلفة حسابية إضافية تقريبًا. علاوة على ذلك ، فهو خالي من التبعية وخالٍ من النفقات العامة ، مما يجعله حلاً عمليًا وفعالًا لمشكلة العرض العصبي التي لا تتطلب الكثير من اللقطات.
