ستساعدك المقالة التالية: تعرف على OnePose ++: إطار تقدير وضع كائن طلقة واحدة خالٍ من AI Keypoint بدون نماذج CAD
كانت التطورات الأخيرة في الذكاء الاصطناعي (AI) رائعة حقًا ، مع التطورات السريعة في التعلم العميق وتقنيات التعلم الآلي الأخرى التي أدت إلى اختراقات في مجموعة واسعة من التطبيقات. يشير أحد التطبيقات المذكورة إلى تقدير وضع الكائن.
تقدير وضع الكائن هو مجال رؤية الكمبيوتر الذي يهدف إلى تحديد موقع واتجاه الكائنات في صورة أو تسلسل فيديو. إنها مهمة حاسمة للعديد من التطبيقات ، مثل الواقع المعزز ، والروبوتات ، والقيادة الذاتية. يمكن إجراء تقدير وضع الكائن باستخدام مجموعة متنوعة من التقنيات ، بما في ذلك الكشف عن نقطة المفاتيح ثنائية الأبعاد وإعادة الإعمار ثلاثي الأبعاد. الهدف النهائي لتقدير وضع الكائن هو توفير تمثيل غني للكائنات في المشهد ، بما في ذلك موضعها واتجاهها وشكلها وحجمها وملمسها.
يعد تقدير وضع الكائن أمرًا بالغ الأهمية للتفاعلات الغامرة بين الكائن البشري في الواقع المعزز (AR). يتطلب سيناريو AR تقدير الوضع للأشياء المنزلية العشوائية في حياتنا اليومية. ومع ذلك ، فإن معظم الأساليب الحالية تعتمد إما على نماذج CAD عالية الدقة للكائنات أو تتطلب تدريب شبكة منفصلة لكل فئة كائن. تحد الطبيعة الخاصة بمثيل أو فئة هذه الأساليب من قابليتها للتطبيق في تطبيقات العالم الحقيقي.
تم التحقيق في التقنيات الحديثة للتغلب على هذه المشكلات والقيود.
يهدف OnePose إلى تبسيط عملية تقدير وضع الكائن لتطبيقات AR من خلال التخلص من الحاجة إلى نماذج CAD والتدريب الخاص بالفئة. بدلاً من ذلك ، لا يتطلب الأمر سوى تسلسل فيديو مع وضع كائن مشروح. يستخدم OnePose نهجًا قائمًا على مطابقة الميزات يعيد بناء غيوم نقاط الكائنات المتفرقة ، وينشئ مراسلات ثنائية الأبعاد بين نقاط المفاتيح ، ويقدر وضع الكائن. ومع ذلك ، فإن هذه الطريقة تكافح مع الكائنات منخفضة النسيج حيث يصعب إعادة بناء السحب النقطية الكاملة باستخدام بنية مستندة إلى نقطة أساسية من الحركة (SfM) ، مما يؤدي إلى فشل تقدير الوضع.
بناءً على التحديات المذكورة أعلاه ، تم تطوير OnePose ++. يتم عرض هندسته في الشكل أدناه.
يستغل OnePose ++ خط أنابيب مطابق لميزة خالية من نقاط المفاتيح أعلى OnePose للتعامل مع الكائنات منخفضة النسيج. أولاً ، يعيد بناء سحابة نقطة الكائن شبه الكثيفة الصحيحة من الصور المرجعية. ثم يحل وضع الكائن للصور الاختبارية عن طريق إنشاء مراسلات ثنائية الأبعاد ثلاثية الأبعاد بطريقة خشن إلى دقيق.
يتم استغلال نسخة معدلة من طريقة LoFTR لتحقيق مطابقة الميزات. إنها تقنية شبه كثيفة خالية من النقاط الأساسية تؤدي أداءً جيدًا بشكل استثنائي في مطابقة أزواج الصور وتحديد التطابقات في المناطق ذات النسيج المنخفض. يستخدم مراكز الشبكات العادية في الصورة اليسرى كنقاط أساسية ويجد التطابقات الدقيقة للبكسل الفرعي في الصورة اليمنى من خلال عملية تقريبية إلى دقيقة. ومع ذلك ، فإن طبيعة LoFTR المعتمدة على ثنائية العرض تؤدي إلى نقاط رئيسية غير متسقة ومسارات ميزات غير مكتملة. نتيجة لذلك ، لا يمكن استخدام طريقة مطابقة الميزة الخالية من نقاط المفاتيح مباشرةً في OnePose لتقدير وضع الكائن.
للاستفادة من كلتا الطريقتين ، تم تطوير نظام جديد لتكييف تقنية المطابقة الخالية من النقاط الأساسية لتقدير وضعية الكائن في لقطة واحدة. يقترح المؤلفون شبكة مطابقة ثنائية الأبعاد ثنائية الأبعاد متفرقة إلى كثيفة تعمل بكفاءة على إنشاء مراسلات دقيقة ثنائية الأبعاد لتقدير الوضع ، مع الاستفادة الكاملة من التصميم الخالي من النقاط الأساسية للهندسة المعمارية. وبشكل أكثر تحديدًا ، من أجل تكييف LoFTR بشكل أفضل مع SfM ، قاموا بتصميم مخطط دقيق إلى دقيق لإعادة بناء كائن شبه كثيف دقيق وكامل. يتم بعد ذلك تفكيك الهيكل الخشن إلى الدقيق لـ LoFTR ودمجها في خط أنابيب إعادة الإعمار. بالإضافة إلى ذلك ، يتم استخدام الانتباه الذاتي والاهتمام المتبادل لنمذجة التبعيات طويلة المدى المطلوبة للمطابقة القوية ثنائية الأبعاد وثلاثية الأبعاد وتقدير الوضع للكائنات المعقدة في العالم الحقيقي ، والتي تحتوي عادةً على أنماط متكررة أو مناطق منخفضة النسيج.
ملفات تعريف الارتباط غير الضرورية لعرض المحتوى. “data-cli-src =” https://www.youtube.com/embed/x5CL5JfIHzw؟version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ar-US&autohide=2&wmode= شفافة “allowfullscreen =” true “style =” border: 0؛ “sandbox =” allow-scripts allow-same-origin allow-popups allow-offer “>
يقدم الشكل أدناه مقارنة بين النهج المقترح و OnePose.
كان هذا ملخصًا لبرنامج OnePose ++ ، وهو إطار عمل جديد لتقدير وضع الكائنات أحادية الطلقة وخالي من النقاط الأساسية للذكاء الاصطناعي بدون نماذج CAD.
إذا كنت مهتمًا أو ترغب في معرفة المزيد عن إطار العمل هذا ، فيمكنك العثور على رابط للورقة وصفحة المشروع.
