يستخدم باحثو معهد ماساتشوستس للتكنولوجيا وأدوبي الذكاء الاصطناعي لتحديد المواد المتشابهة في الصور

ستساعدك المقالة التالية: يستخدم باحثو معهد ماساتشوستس للتكنولوجيا وأدوبي الذكاء الاصطناعي لتحديد المواد المتشابهة في الصور

يحدد تحديد المواد العناصر الموجودة في المشهد المكونة من نفس المادة. إن معرفة المنتجات المصنوعة من نفس المكونات مفيد للروبوت الذي يجب أن يتلاعب بها أثناء الطهي ، على سبيل المثال. بهذه المعلومات ، سيعرف الروبوت أنه يستخدم نفس القدر من القوة ، سواء كان يلتقط قطعة صغيرة من الزبدة من زاوية مظلمة في المطبخ أو قطعة كاملة من الزبدة من داخل الثلاجة المضاءة ببراعة. تواجه الآلات وقتًا عصيبًا مع هذا نظرًا لأن الطريقة التي يبدو بها شيء ما يمكن تغييرها بشكل كبير من خلال عوامل مثل شكل الجسم والإضاءة.

نجحت جهود الباحثين في MIT و Adobe Research في حل مشكلة قوس المشكلة جزئيًا. لقد ابتكروا طريقة تحدد موقع جميع مثيلات مادة محددة في صورة ، كما يتم تمثيلها بواسطة بكسل محدد من قبل المستخدم ، ويعرضها. تعد خوارزمية التعلم الآلي الخاصة بهم مضمونة لتأثيرات الظلال وتغييرات الإضاءة التي يمكن أن تجعل نفس المادة تبدو مختلفة ، ويعمل النظام بدقة حتى عندما تتغير الكائنات في الحجم والشكل.

على الرغم من أن النظام تم تدريسه باستخدام البيانات “التركيبية” فقط – التي تم إنشاؤها بواسطة جهاز كمبيوتر يتعامل مع البيئات ثلاثية الأبعاد لإنشاء العديد من الصور المختلفة – إلا أنه يعمل بشكل جيد في المواقف الداخلية والخارجية الحقيقية التي لم يسبق لها مثيل من قبل. إذا اختار المستخدم بكسلًا في الإطار الأول ، فقد يتعرف النموذج على الأشياء في الإطارات اللاحقة التي تم إنشاؤها من نفس المادة. يمكن أيضًا تطبيق هذه الطريقة على الأفلام. بالإضافة إلى فائدتها في إدراك المشهد الآلي ، قد تجد هذه التقنية أيضًا مكانًا في برامج تحرير الصور أو الأنظمة الحسابية التي تستخدم إشارات بصرية لاستنتاج خصائص المواد. يمكن أيضًا استخدامه في أنظمة التوصية عبر الإنترنت القائمة على المحتوى.

يصعب على طرق اختيار المواد الحالية تحديد جميع وحدات البكسل التي تمثل نفس المادة بشكل صحيح. تتضمن بعض الأساليب عناصر كاملة فقط ؛ ومع ذلك ، حتى شيء بسيط مثل الكرسي قد يحتوي على مجموعة متنوعة من المكونات المصنوعة من مواد مختلفة. بينما تتطلب تقنيات معينة مجموعة معينة من المواد ، مثل “الخشب” ، توجد آلاف الأنواع المختلفة من الخشب.

باستخدام إستراتيجية التعلم الآلي ، يمكن للباحثين فحص كل بكسل في الصورة في الوقت الفعلي للعثور على أوجه التشابه المادي بين البكسل الذي يختاره المستخدم وبقية الصورة. على سبيل المثال ، يمكن للخوارزمية الخاصة بهم اكتشاف المناطق المتشابهة بشكل صحيح في صورة تحتوي على طاولة وكرسيين ، بافتراض أن سطح الطاولة وأرجل الكرسي من الخشب. كان على الفريق تجاوز بعض العقبات قبل أن يتمكنوا من إنشاء تقنية ذكاء اصطناعي يمكنها تعلم كيفية اختيار المواد ذات الصلة. بادئ ذي بدء ، لم يتمكنوا من تدريب نموذج التعلم الآلي الخاص بهم على أي مجموعة بيانات موجودة مسبقًا لأن أيا منهم لم يقدم مواد ذات ملصقات محببة بما يكفي لاحتياجاتهم. تم تطبيق ما يقرب من 50000 صورة وأكثر من 16000 مادة بشكل عشوائي على كل كائن في مجموعة البيانات الاصطناعية للباحثين للسيناريوهات الداخلية.

تطبيق النموذج

• تحرير الصور: توجد العديد من الخيارات لتعديل الصور الآن حيث قد نختار المكونات اعتمادًا على موادها.
• يتم تقديم المشورة بعد مراجعة معلومات المصدر بعناية. إن العثور على طريقك حول مجموعة بيانات ضخمة عبر الإنترنت ، مثل كتالوج المنتجات ، هو ألم حقيقي. يوضح الباحثون طريقة يمكن من خلالها إدخال بُعد جديد للاستكشاف في مجموعة البيانات: التشابه المادي.

محددات

• لا تتأثر التقنية بالتغييرات في الإضاءة أو المنظور. التعميم على الصور الحقيقية والمواد غير المرئية من مجموعة تدريب البيانات التركيبية بالكامل يمهد الطريق لاستخدامات جديدة.
• يفشل هذا الأسلوب في المناطق التي تكون فيها ظلال المصبوب المباشر قوية بشكل خاص. نظرًا لأن الظلال المستقيمة أغمق كثيرًا من محيطها ، فإنها تنقل القليل نسبيًا عن الموضوع.

اكتشف الفريق في دراستهم أن نموذجهم كان متفوقًا على النماذج الأخرى في التنبؤ بأجزاء الصورة التي تحتوي على نفس المحتوى. عند مقارنة تنبؤات نموذجهم بالحقيقة الأساسية – فإن أجزاء الصورة المصنوعة من نفس المادة وجدوا أنها كانت دقيقة في غضون 92٪ من الوقت.

قد يكون تحسين النموذج لالتقاط ميزات أدق للعناصر في صورة طريقة رائعة لزيادة دقة أسلوبها. تعمل الطريقة المقترحة على توسيع المجموعة المتاحة من أدوات اختيار الصور ، وتبسيط العديد من عمليات التحرير ، وتوفير البيانات الهامة للعمليات اللاحقة مثل اكتشاف المواد والحصول عليها. المساهمات العلمية التي تجعل هذا ممكنًا تشمل ما يلي.

• الطريقة الأولى لاختيار المواد مناسبة للصور الطبيعية ؛ لا يتأثر بالاختلافات في التظليل والهندسة.
• تم تطوير بنية جديدة قائمة على الاستعلام بإلهام من محولات الرؤية لاختيار وحدات البكسل بناءً على مدخلات المستخدم.
• في هذه المجموعة الجديدة الضخمة ، يتم إقران صور HDR الاصطناعية مع تصنيفات المواد الدقيقة لكل بكسل.