ستساعدك المقالة التالية: تقدم ورقة AI هذه نهجًا قائمًا على الانتشار ثلاثي الأبعاد لالتقاط NeRF غير الرسمي ، وتحسين القطع الأثرية وتعزيز هندسة المشهد باستخدام أدوات مسبقة ثلاثية الأبعاد محلية و …
غالبًا ما تكون حقول الإشعاع العصبي (NeRFs) التي يتم التقاطها بشكل عرضي أقل جودة من معظم عمليات الصيد المعروضة في مقالات NeRF. الهدف النهائي للمستخدم النموذجي (على سبيل المثال ، الهاوي) الذي يلتقط NeRFs هو في كثير من الأحيان إنشاء مسار طيران من مجموعة مختلفة تمامًا من المشاهدات عن الصور التي تم الحصول عليها لأول مرة. غالبًا ما يُظهر هذا التحول الكبير في وجهة النظر بين طرق عرض التدريب والعرض هندسة غير صحيحة وأعمال فنية عائمة ، كما هو موضح في الشكل 1 أ. من الممارسات القياسية في برامج مثل Polycam1 و Luma2 توجيه المستخدمين لرسم ثلاث دوائر على ثلاثة ارتفاعات مختلفة أثناء التحديق في الداخل في العنصر الذي يثير الاهتمام. تعالج هذه التقنية هذه القطع الأثرية من خلال توجيه المستخدمين أو تشجيعهم على تسجيل صورة أكثر.
ومع ذلك ، يمكن أن تستغرق إجراءات الالتقاط هذه وقتًا طويلاً ، وقد يحتاج المستخدمون إلى إيلاء المزيد من الاهتمام لتعليمات الالتقاط المعقدة لإنتاج التقاط خالٍ من القطع الأثرية. يعد إنشاء تقنيات تمكن عروض NeRF المحسنة خارج التوزيع طريقة أخرى لإزالة آثار NeRF. تم اختبار تحسين أوضاع الكاميرا لمعالجة أوضاع الكاميرا المزعجة ، أو حفلات الزفاف في كل صورة للتعامل مع الاختلافات في التعريض ، أو وظائف الخسارة المرنة لإدارة أدوات الإطباق العابرة في بحث سابق كطرق محتملة لتقليل القطع الأثرية. على الرغم من أن هذه المنهجيات وغيرها تتفوق في الأداء على المعايير التقليدية ، إلا أن معظم المعايير تعتمد على قياس جودة الصورة في الإطارات المعلقة من تسلسل التدريب ، والذي لا يشير في كثير من الأحيان إلى الجودة المرئية من وجهات النظر الجديدة.
يوضح الشكل 1 ج كيف يتدهور نهج Nerfacto مع تضخيم العرض الجديد. في هذه الدراسة ، اقترح باحثون من Google Research و UCB كلاً من (1) تقنية فريدة لاستعادة NeRFs المكتسبة عن طريق الخطأ و (2) طريقة جديدة للحكم على جودة NeRF التي تمثل بدقة أكبر جودة الصورة المقدمة من زوايا غير عادية. سيتم تسجيل فيلمين كجزء من بروتوكول التقييم المقترح: أحدهما لتدريب NeRF والآخر لتقييم عرض الرواية (الشكل 1 ب). يمكنهم حساب مجموعة من المقاييس في المناطق المرئية حيث يتوقعون تسجيل المشهد بشكل صحيح في تسلسل التدريب باستخدام الصور من اللقطة الثانية كحقيقة أرضية (بالإضافة إلى العمق والقواعد المسترجعة من إعادة البناء على جميع الإطارات) .
يسجلون مجموعة بيانات جديدة من 12 مشهدًا ، كل منها بتسلسل كاميرا ، للتدريب والتقييم مع الالتزام بعملية التقييم هذه. يقترحون أيضًا Nerfbusters ، وهي تقنية تهدف إلى تعزيز تماسك السطح ، والقضاء على العوامات ، وإزالة القطع الأثرية الضبابية في تسجيلات NeRF الروتينية. يستخدم نهجهم شبكة انتشار مدربة على بيانات تركيبية ثلاثية الأبعاد للحصول على هندسي محلي ثلاثي الأبعاد مسبقًا ، ويستفيد من ذلك قبل دعم الهندسة الواقعية أثناء تحسين NeRF. الهندسة المحلية أقل تعقيدًا ، وأكثر استقلالية عن الفئة ، وقابلية للتكرار من نظيراتها ثلاثية الأبعاد العالمية ، مما يجعلها مناسبة للمشاهد العشوائية والشبكات ذات النطاق الأصغر (تحاكي شبكة U-Net بسعة 28 ميجا بايت بشكل فعال توزيع جميع تصحيحات السطح الممكنة).
بالنظر إلى هذه البيانات ثلاثية الأبعاد المحلية السابقة التي تعتمد على البيانات ، فإنهم يستخدمون فقدانًا جديدًا غير مشروط لأخذ عينات تقطير درجة الكثافة (DSDS) لتنظيم NeRF. وجدوا أن هذه التقنية تزيل العوائم وتجعل هندسة المشهد أكثر هشاشة. على حد علمهم ، فهم أول من أثبت أن 3D المحلي المكتسب مسبقًا يمكنه تحسين NeRFs. من الناحية التجريبية ، أظهروا أن Nerfbusters يحقق أحدث أداء لالتقاط الصور غير الرسمية مقارنةً بمنظمي الهندسة الآخرين. يقومون بتنفيذ إجراءات التقييم وطريقة Nerfbusters في مستودع Nerfstudio مفتوح المصدر. يمكن العثور على الكود والبيانات على جيثب.
