ستساعدك المقالة التالية: يقترح الذكاء الاصطناعي في Google LayerNAS الذي يصوغ البحث متعدد الأغراض في العمارة العصبية لتحسين الاندماج
تعمل تقنيات البحث في العمارة العصبية (NAS) على إنشاء بنى نموذجية معقدة عن طريق البحث يدويًا عن جزء أصغر من مساحة النموذج. تم اقتراح خوارزميات NAS مختلفة واكتشفت العديد من هياكل النماذج الفعالة ، بما في ذلك MobileNetV3 و EfficientNet. من خلال إعادة صياغة مشكلة NAS متعددة الأهداف في سياق التحسين التوافقي ، تقلل طريقة LayerNAS بشكل كبير من تعقيد المشكلة. يقلل هذا بشكل كبير من عدد النماذج المرشحة التي يجب البحث عنها ، والحساب المطلوب لعمليات البحث متعددة التجارب ، وتحديد البنى النموذجية التي تعمل بشكل أفضل. تم اكتشاف نماذج ذات دقة أعلى 1 على ImageNet ، أفضل بنسبة تصل إلى 4.9٪ من أحدث البدائل الحالية ، باستخدام مساحة بحث تم إنشاؤها باستخدام العمود الفقري الذي تم الحصول عليه من MobileNetV2 و MobileNetV3.
تم بناء LayerNAS على مساحات بحث تفي بالمعيارين التاليين: يمكن استخدام أحد خيارات النموذج التي تم إنتاجها من خلال البحث في الطبقة السابقة واستخدام خيارات البحث هذه في الطبقة الحالية لبناء نموذج مثالي. إذا كانت الطبقة الحالية تحتوي على قيود FLOP ، فيمكننا تقييد الطبقة السابقة عن طريق خفض FLOPs للطبقة الحالية. في هذه الظروف ، من الممكن البحث خطيًا من الطبقة 1 إلى الطبقة n لأنه من المعروف أن تغيير أي طبقة سابقة بعد العثور على أفضل خيار للطبقة لن يؤدي إلى تحسين أداء النموذج.
يمكن بعد ذلك تجميع المرشحين وفقًا لتكلفتهم ، مما يحد من عدد المرشحين المخزنين لكل طبقة. يتم الاحتفاظ بالنموذج الأكثر دقة فقط عندما يكون لدى نموذجين نفس FLOPs ، بشرط ألا يؤدي ذلك إلى تغيير بنية الطبقات أدناه. يمكّن النهج القائم على التكلفة القائم على الطبقة المرء من تقليل مساحة البحث بشكل كبير أثناء التفكير بدقة في تعقيد الخوارزمية متعدد الحدود. في المقابل ، لإكمال العلاج ، ستزداد مساحة البحث بشكل كبير مع الطبقات لأن النطاق الكامل للخيارات متاح في كل طبقة. تظهر نتائج التقييم التجريبي أنه يمكن العثور على أفضل النماذج ضمن هذه القيود.
يقلل LayerNAS NAS إلى مشكلة تحسين اندماجية من خلال تطبيق نهج التكلفة الطبقية. بعد التدريب على مكون محدد Si ، يمكن حساب التكلفة والمكافأة لكل طبقة i. يشير هذا إلى المشكلة الاندماجية التالية: كيف يمكن للمرء اختيار خيار واحد لكل طبقة مع البقاء ضمن ميزانية التكلفة لتحقيق أفضل مكافأة؟ هناك طرق عديدة للتغلب على هذه المشكلة ، ولكن البرمجة الديناميكية هي واحدة من أسهلها. يتم تقييم المقاييس التالية عند مقارنة خوارزميات NAS: الجودة والاستقرار والكفاءة. يتم تقييم الخوارزمية على مقياس الأداء القياسي NATS-Bench باستخدام 100 عملية تشغيل NAS ومقارنتها بخوارزميات NAS الأخرى مثل البحث العشوائي والتطور المنتظم وتحسين السياسة القريبة. يتم عرض الاختلافات بين خوارزميات البحث هذه للمقاييس الموضحة أعلاه. تم ذكر متوسط تباين الدقة والدقة لكل مقارنة (يشار إلى التباين بواسطة مستطيل مظلل يقابل النطاق الربعي 25٪ إلى 75٪).
لتجنب البحث عن العديد من تصميمات النماذج غير المفيدة ، يصوغ أداء LayerNAS المشكلة بشكل مختلف عن طريق فصل التكلفة والمكافأة. تميل القنوات الأقل في الطبقات السابقة إلى تحسين الأداء في النماذج المرشحة. يوضح هذا كيف تكتشف LayerNAS نماذج أفضل أسرع من الطرق الأخرى لأنها لا تضيع الوقت في النماذج ذات التوزيعات غير المواتية للتكلفة. باستخدام التحسين التوافقي ، والذي يحد بشكل فعال من تعقيد البحث ليكون متعدد الحدود ، تم اقتراح LayerNAS كحل لتحدي NAS متعدد الأهداف.
ابتكر الباحثون طريقة جديدة للعثور على نماذج أفضل للشبكات العصبية تسمى LayerNAS. قارنوا ذلك بالطرق الأخرى ووجدوا أنه يعمل بشكل أفضل. كما استخدموه للعثور على نماذج أفضل لـ MobileNetV2 و MobileNetV3.
