ستساعدك المقالة التالية: تحقيق المرتبة 33 (من 186) في حدود مجال حصاد وكالة ناسا … – نحو الذكاء الاصطناعي
نُشر في الأصل في Towards AI.
الخطوط العريضة
1. بيان المشكلة
2. النهج
3. الوجبات الجاهزة الرئيسية
عرض المشكلة
ناسا Harvest Field Boundary Detection هو تحدٍ للتعلم الآلي تنظمه Zindi.Africa بالتعاون مع NASA Harvest الكائنة في جامعة ماريلاند ومؤسسة Radiant Earth.
وفقًا لبيان المشكلة من Zindi ، تنتج المزارع الصغيرة حوالي 35 ٪ من غذاء العالم ، وتوجد في الغالب في البلدان المنخفضة والمتوسطة الدخل. يسمح رسم خرائط هذه المزارع لصانعي السياسات بتخصيص الموارد ورصد آثار الأحداث المتطرفة على إنتاج الغذاء والأمن الغذائي. لسوء الحظ ، لا تزال هذه الخرائط على المستوى الميداني غير متوفرة في الغالب وفي البلدان المنخفضة والمتوسطة الدخل ، حيث يكون خطر انعدام الأمن الغذائي في أعلى درجاته. الجمع بين التعلم الآلي وبيانات مراقبة الأرض من الأقمار الصناعية مثل بلانيت سكوب كوكبة يمكن أن تساعد في تحسين رسم خرائط الأراضي الزراعية المراقبة الزراعية ، وإدارة مخاطر الكوارث لهذه المزارع الصغيرة.
في هذا التحدي ، يتمثل الهدف في تصميم خوارزميات التعلم الآلي لتصنيف حدود حقول المحاصيل باستخدام الملاحظات متعددة الأطياف. بمعنى آخر ، من المتوقع أن يقوم النموذج الخاص بك بتقسيم أقنعة الحدود بدقة لتحديد المناطق التي يوجد بها حقل محصول مقابل عدم وجود حقل اقتصاص.
يقترب
هذه إلى حد بعيد واحدة من أصعب مشاكل التعلم الآلي التي واجهتها ، إن لم تكن أصعبها. يمكن تفسير ذلك من خلال حقيقة أن هذه هي أول مواجهة رسمية لي مع بيانات الأقمار الصناعية. وعلى الرغم من ذلك ، فقد شرعت في تعلم كل ما يمكن أن أجده فيما يتعلق بهذه المهمة.
البيانات
هنا ، نحن نتعامل مع مشكلة السلاسل الزمنية لصور القمر الصناعي (SITS) الكلاسيكية. يتم توفير السلسلة الزمنية لمدة ستة أشهر. ومع ذلك ، يحق للفرد اختيار مجموعة فرعية من الأشهر للنمذجة.
تتكون البيانات من مجموعة من صور الأقمار الصناعية والملصقات المكسوة بالبلاط في شرائح يصل مجموعها إلى 70 قطعة. تم تحديد موقع إجمالي 1532 من حدود المجال الفردية ووضع تعليقات توضيحية عليها في هذه المربعات السبعين. باستخدام هذه المعلومات ، فإن فرضيتي الأولية هي أن كل قطعة من القطع السبعين ستحتوي على الأقل على حد حقل واحد.
حجم القطار النهائي بعد الانقسام هو 57 شريحة مقابل حجم اختبار مكون من 13 شريحة. تم توفير الملصقات فقط للحقول التي يمكن ترسيمها بالكامل داخل الرقائق.
إليك كيف تبدو بنية الملف لكل شريحة:
- صور القمر الصناعي التي تحتوي على 4 نطاقات [B01, B02, B03, B03] تعيين 6 طوابع زمنية فريدة [2021_03, 2021_04, 2021_08, 2021_10, 2021_11, 2021_12]
- تعيين تسميات نقطية للحقول في مجموعة القطار.
معالجة الصور
في هذا القسم ، سوف نتعمق في خط أنابيب المعالجة المسبقة للصورة وتوسيع نطاقها.
كان الحدس وراء اختياري للمعالجة المسبقة للصور يهدف في المقام الأول إلى إنشاء حدود محددة بشكل ضعيف في الصور لتمكين النماذج من الحصول على تصور مرئي أفضل للحقول وأيضًا لتقديم إجراء تعليمي خاضع للإشراف بشكل أفضل. الهدف النهائي موجه نحو جعل أقنعة الملصقات قابلة للاكتشاف بشكل معقول داخل الصور المقابلة لها.
تم استلهام خط الأنابيب النهائي للمعالجة المسبقة بشكل كبير من الحل الفائز بالمركز الأول لاكتشاف المحاصيل من مسابقة صور الأقمار الصناعية التي نظمتها ورشة عمل CV4A في ICLR 2020. أشجعك على التحقق من ذلك هنا.
يمكن وضع الفكرة في الخطوات التالية:
1. الاستيلاء على حقل
2. تطبيق دالة الجذر التربيعي على حقل لرعاية القيم المتطرفة
3. حساب المتوسط والانحراف المعياري للنتيجة في الخطوة 2
4. توحيد النتيجة في الخطوة 3 لكل قناة. وهكذا ، لكل قناة ، اطرح المتوسط واقسم النتيجة على الانحراف المعياري
# تحميل الأربعة نطاقات للصورة
البلاط = random.choice (train_tiles)
طباعة (بلاط)
bd1 = rio.open (f “{train_source_items} / {dataset_id} _source_train_ {بلاطة} / B01.tif”)
bd1_array = bd1.read (1)
bd2 = rio.open (f “{train_source_items} / {dataset_id} _source_train_ {بلاط} / B02.tif”)
bd2_array = bd2.read (1)
bd3 = rio.open (f “{train_source_items} / {dataset_id} _source_train_ {بلاط} / B03.tif”)
bd3_array = bd3.read (1)
bd4 = rio.open (f “{train_source_items} / {dataset_id} _source_train_ {بلاط} / B04.tif”)
bd4_array = bd4.read (1)
الحقل = np.dstack ((bd4_array ، bd3_array ، bd2_array ، bd1_array))
الحقل = np.sqrt (حقل)
# التوحيد
لـ c في النطاق (field.shape[2]):
يعني = المجال[:, :, c].يقصد()
الأمراض المنقولة جنسياً = الحقل[:, :, c].std ()
مجال[:, :, c] = (المجال[:, :, c] – يعني) / الأمراض المنقولة جنسياً
وهذا كل ما يتطلبه الأمر!
نموذج
النموذج عبارة عن بنية قائمة على Unet باستخدام برنامج Efficientnet-B7 الذي تم اختباره مسبقًا كجهاز تشفير.
والمثير للدهشة أنها قدمت اتساقًا جيدًا فيما يتعلق بمقاييس الخسارة و F1 و Recall عبر كل من مجموعات القطار والتحقق من الصحة.
تم تقسيم البيانات على أساس طريقة التقسيم الطبقي القائم على التقسيم المخصص.
يتم التدريب باستخدام مُحسِّن AdamW بمعدل تعلم 1e-4 وتناقص الوزن 1e-5 ، لمدة 50 حقبة فقط!
الحقيقة هي أنني كنت قد خططت أصلاً للتدريب لمدة 1000 عصر ؛ وكانت تجربتي الأخيرة فقط قبل انتهاء المسابقة. أيضًا ، لم يسمح حسابي بأحجام دُفعات أكبر. ولا يمكن تطبيق أفكار زيادة البيانات الإضافية لأن دفتر ملاحظاتي كان يتعطل مرارًا وتكرارًا مع زيادة خلط البيانات المخصصة فقط.
الماخذ الرئيسية
ملخص تجاربي (فاشلة + ناجحة)
صيغ المشكلة – حاولت النظر إلى المشكلة من زوايا مختلفة. ثم اكتشفت في النهاية أن التجزئة الثنائية قدمت نتائج أفضل باستمرار.
- متعدد الطبقات تجزئة
- تجزئة متعددة التسمية
- تراجع
- تجزئة ثنائية
- تصنيف التسلسل
صور Ablations المعالجة المسبقة
- التطبيع اللوغاريتمي / الجذر التربيعي للنطاقات قبل / بعد التراص
- min-max تطبيع العصابات قبل / بعد التكديس
- مزيج من التطبيع اللوغاريتمي و min-max
- مزيج من الجذر التربيعي والتطبيع الأدنى-الأقصى
- الحد الأدنى الأقصى المستقل ، تسوية الجذر التربيعي واللوغاريتمي قبل / بعد التكديس
أخيرًا ، اكتشفت أن تطبيق تطبيع الجذر التربيعي المستقل (بدون مقياس الحد الأدنى الأقصى) بعد تكديس النطاقات الأربعة في حقل رباعي الأبعاد كان أفضل.
نموذج الاجتثاث
- الأعمدة الأساسية المختلفة للنماذج سابقة التدريب – المتغيرات الصافية الفعالة (B1-B7) و Resnet34 و Resnet50 و Seresnet34 و Eefficientnet B5 + أوزان الطلاب المزعجة و VGG16 و VGG19-bn.
- Resnet34 متعدد المهام مع التجميع القائم على الاهتمام
- إعداد وحدة فك الترميز المخصصة القائمة على التسلسل: برنامج تشفير الصور المدربين مسبقًا (Efficientnet-b5) + وحدة فك ترميز الذاكرة طويلة المدى (LSTM).
- نموذج Unet المتبقي تم تدريبه بأسلوب متعدد المهام
فقدان وظيفة الاجتثاث
- ثنائي Crossentropy
- Crossentropy قاطعة
- خسارة النرد (+/- لكل صورة)
- خسارة تانيموتو وخسارة تانيموتو المزدوجة
- الخسارة المتقاطعة الفئوية الموزونة
- خسارة التحرير والسرد – النرد + التقاطع الثنائي (جربت تكوينات ترجيح مختلفة قبل الهبوط على 0.9 * نرد + 0.1 * bce)
- خسارة مجمّعة – فقدان النرد متعدد الفئات + التقاطع البؤري (وزن 1: 1)
- خسارة لوفاش
محسنون
- Adam، AdamW **، SGD، RMSprop
** – عرضت أفضل النتائج جنبًا إلى جنب مع جدولة الانحدار العشوائي مع عمليات إعادة التشغيل الدافئة
المنظمون
- التلدين لجيب التمام +/- إعادة التشغيل الدافئة
- جدولة الانحدار العشوائي مع عمليات إعادة التشغيل الدافئة **.
** – على الرغم من أن هذا كان أفضل مع المعلمات التي تمت تهيئتها ، لم يتم إجراء المزيد من الضبط.
قياس
- F1 +/- بحث عتبة **
- يتذكر**
- مقياس النرد
- مقياس الدقة
** – كانت مقاييس F1 + Recall هي المقاييس الرئيسية التي تم تقييمها. مع F1 ، عند البحث عن العتبة ، [0.1, 0.2] تم العثور على تحسين نتيجة السيرة الذاتية المحلية فقط وليس النتيجة العامة.
Fold انشقاقات
- تقسيم بسيط للاختبار الطبقي
- مقسم طبقي مخصص مصمم لمهام التجزئة
- ك-Fold الخائن
- فاصل مترابط متعدد العلامات متعدد الطبقات (يُخصص “y” للأقنعة المسطحة (أي 256 * 256 أو 65536 بكسل))
- GroupKFold التقسيم
ما لم يعمل ؟
- بشكل عام ، تم تحديد المدى الذي استكشفت فيه جميع التكوينات التجريبية المذكورة أعلاه بشكل كبير من خلال حسابي والوصول إلى الإنترنت (سيكون من الرائع حقًا إذا كان بإمكاني تجربة المزيد ولكن دون اتصال بالإنترنت ، على جهاز أكثر قوة!).
- كان اتخاذ قرار بإلقاء المهمة على أنها مشاكل تصنيف متعددة الفئات ومتسلسلة أمرًا غير تافه بشكل مؤلم. لقد لاحظت القليل من الاتساق بين التحقق المحلي المتقاطع (وعبر الطيات) والنتيجة العامة ، حتى بعد تبديل مقسم البيانات.
- على وجه الخصوص ، مع الفاصل متعدد العلامات ، كانت النتائج مثيرة للاهتمام ولكنها انعكست بشكل سيء عند التقديم.
- لم تقدم Tanimoto ومتغيرها المزدوج نتائج مرضية من حيث سيناريوهات المخرجات الفردية ومتعددة المهام على حد سواء.
- أدى تجميع لقطة إلى تدهور الأداء.
لقد كان قدرًا كبيرًا من الخبرة التعليمية ، مع العديد من المناطق المجهولة التي يمكن للمرء استكشافها.
رابط إلى الكود الكامل متاح في قائمة المراجع أدناه.
شكرا لقرائتك! التعليقات موضع ترحيب كبير.
مراجع
[1] ناسا تحدي اكتشاف حدود الحصاد الميداني
[2] 2021 NASA Harvest Rwanda Baseline Model
[3] هبوط متدرج عشوائي مع إعادة تشغيل دافئة (SGDR)
[4] الانقسام الطبقي للتجزئة الدلالية
[5] نموذج تصنيف المحاصيل القائم على التعلم المكاني الزماني لصور الأقمار الصناعية
[6] رابط إلى الكود الكامل
تم النشر عبر نحو الذكاء الاصطناعي
