تدريب نموذج التعلم الآلي Azure المتعمق واختباره ونشره … – نحو الذكاء الاصطناعي

ستساعدك المقالة التالية: تدريب نموذج التعلم الآلي Azure المتعمق واختباره ونشره … – نحو الذكاء الاصطناعي

تتكون مساحة العمل من العديد من القطع الأثرية

• إدارة الموارد: يتضمن مثيلات حسابية ومجموعات حسابية.
• الخدمات المرتبطة:

1. مخازن البيانات: هي خدمة لتخزين البيانات المختلفة. على سبيل المثال – تخزين Blob وتخزين الخلية وقاعدة بيانات SQL.
2. حساب الأهداف: هذه هي الآلات التي نشغل فيها نموذجنا ونقوم بالتدريب والاختبار.

1. البيئات
2. التجارب
3. خط انابيب
4. مجموعات البيانات
5. عارضات ازياء
6. نقاط النهاية

يعتمد النطاق الكامل لمساحة العمل على بعض التبعيات ، وستكون هناك سجلات مختلفة ، ودفاتر ملاحظات مختلفة ، وإدخالات للأصول ، وما إلى ذلك ، بالنسبة لهم ، تتطلب مساحة العمل التخزين.

1. حساب Azure Storage: يستخدم لإدارة وعمل مساحة العمل.
2. سجل حاوية Azure: عندما ننشر نموذجنا في مثيلات الإنتاج و Docker.
3. Azure key vault: لتخزين العديد من المفاتيح والمعلومات السرية ومعلومات الخصوصية.
4. رؤى تطبيق Azure: تُستخدم لمراقبة تطبيقات التعلم الآلي الخاصة بنا والمعلومات المختلفة مثل وقت الاستجابة والطلبات وحالات الفشل والأداء وما إلى ذلك.

مفاهيم أساسية

إنها معلومات تتكون في شكل صفوف وأعمدة ، أي مجموعة بيانات. هناك العديد من الطرق في اللازوردية لتحميل / جلب مجموعة البيانات لتجارب التعلم الآلي.

عندما نريد جلب مجموعة البيانات من النظام المحلي ، فإننا نحتاج إلى بعض التخزين حيث يأتي مخزن البيانات في الصورة. مخزن البيانات هو مجرد اتصال بأنواع التخزين المختلفة مثل تخزين الحساب أو قاعدة البيانات أو التحليلات كمخزن بيانات.

Blob ، وتخزين الملفات ، ومستودع البيانات ، و Azure SQL ، و Azure PostgreSQL ، و MySQL ، وطوب Azure Data. هذه مدعومة من قبل نظام اللازوردية.

إنشاء مساحة عمل التعلم الآلي

فيما يلي الخطوات التالية لإنشاء مساحة العمل

1. افتح لوحة المعلومات اللازوردية ، وابحث عن مورد التعلم الآلي ، وانقر فوقه ثم أنشئ. إذا لم يكن لديك حساب azure ، فاتبع الرابط أدناه.

كيفية فتح حساب Azure السحابي باستخدام بطاقة الخصم

عملية بسيطة وسهلة لجميع علماء البيانات

2. املأ جميع المعلومات.

إذا لم يكن هناك اسم مجموعة موارد ، فقم بإنشاء واحدة جديدة. عندما نكتب اسم مساحة العمل ، يتم ملء المعلومات الأخرى مثل قبو المفاتيح وحساب التخزين ورؤية التطبيق تلقائيًا. سنحتفظ بسجل الحاوية على “لا شيء” في الوقت الحالي لأنه مطلوب في وقت النشر.

يمكننا اختيار أي منطقة ، ولكن إذا كان لدينا كمية كبيرة من البيانات ، فيمكننا اختيار أقرب منطقة لنقل البيانات بسرعة.

• في خيار الشبكات ، اختر الوصول العام لممارسة التجربة.
• في الخيار المتقدم ، هناك العديد من الخيارات ، والاحتفاظ بها كما هي ، في تأثير البيانات ، إذا قمنا بتمكينها ، فإننا نخبر Microsoft أن البيانات التي سنقوم بتحميلها حساسة.

3. بعد اجتياز التحقق من الصحة ، انقر فوق إنشاء لإنشاء مساحة العمل. سيتم إنشاء الموارد الأربعة كما هو موضح أدناه.

4. الآن ، انقر فوق الانتقال إلى المورد ، وستفتح لوحة معلومات مساحة العمل مع خيار بدء الاستوديو كما هو موضح أدناه.

في الصورة أعلاه ، يتم استخدام التحكم في الوصول (IAM) لإنشاء المزيد من المستخدمين لاستخدام مساحة العمل هذه.

إطلاق استوديو التعلم الآلي

1. بعد إنشاء مساحة العمل ، حان الوقت لبدء تشغيل ML studio ، وسيبدو كما في الصورة أدناه.

المؤلف في الصورة أعلاه مسؤول عن إجراء تجارب التعلم الآلي وخطوط الأنابيب.

2. قم بإنشاء حساب تخزين جديد لتجنب ملفات أنظمة التخزين الأخرى.

3. الآن ، قم بإنشاء حاوية داخل حساب التخزين هذا.

4. الآن ، قم بإنشاء مخزن بيانات في استوديو ML والذي سيتصل بحساب التخزين الجديد هذا.

5. املأ المعلومات.

للحصول على مفتاح الوصول ، انتقل إلى حساب التخزين الجديد في الخطوة 2 وانسخ المفتاح من خيار مفتاح الوصول ، كما هو موضح أدناه.

الآن ، انقر فوق الزر إنشاء في مخزن البيانات. يتم إنشاء مخزن البيانات وتسجيله مع مساحة العمل مع حساب التخزين.

6. الآن ، قم بتحميل مجموعة البيانات إلى الحاوية التي أنشأناها في حساب التخزين في الخطوة 3.

نتحقق أيضًا من الملف من خلال خيار متصفح التخزين في حساب التخزين.

7. الآن ، قم بإنشاء مجموعة البيانات واختر الملف من مخازن البيانات.

انقر فوق الزر التالي ؛ عندما نختار “من تخزين Azure” ، ستظهر الخيارات الأخرى على الجانب الأيسر. نختار هذا الخيار لأن التخزين لدينا من نوع blob.

الآن ، يمكننا إلغاء تحديد Loan_ID والعمود الجنس في خيار المخطط.

يتم تحميل بياناتنا في مجموعة البيانات.

حساب الموارد

في هذا الموضوع ، سنناقش عناصر الموارد المُدارة ، أي حساب الطبعات ومجموعات الحوسبة التي تأتي في مساحة عمل التعلم الآلي.

هذه مجرد أسماء مختلفة لأجهزة الكمبيوتر والأجهزة الافتراضية. الهدف المحسوب متصل بالخدمات المرتبطة في مساحة العمل.

لماذا نحتاج موارد الحوسبة؟

لأي نمذجة للتعلم الآلي ، نحتاج إلى مورد حسابي لتدريب نموذجنا.

1. حساب المثيل: هو نوع من الآلة / الخادم الافتراضي أو الكمبيوتر المستخدم في الحساب السحابي. إنه ليس جهازًا فقط ولكنه متصل بمساحة العمل وقد تم تكوين Python و R و Docker و Azure ML SDK. يتم إرفاق حساب التخزين الافتراضي أثناء إنشاء مساحة العمل بهذا المثيل مما يعني أنه يمكننا الوصول إلى جميع دفاتر الملاحظات والبيانات الأخرى المخزنة. تستخدم في الغالب في التدريب والاختبار والاستدلال على عملية التطوير. يعني الاستدلال إنشاء نقاط نهاية لخدمات الويب.
2. حساب المجموعات: هو أيضًا مورد مُدار وهو عبارة عن مجموعة من الأجهزة الافتراضية. يمكننا استخدام المجموعات لجميع المؤلفين الثلاثة المثيل أو المصمم أو autoML للتدريب والنشر المحدود.
3. احسب الأهداف: تتكون هذه الحسابات من مجموعات الحوسبة والاستدلال البعيدة / المرفقة.

• حساب عن بعد: الهدف الأساسي للهدف يستخدم للتدريب واختبار النشر. يمكننا استخدام أي أجهزة محلية أو مثيلات حسابية أو أجهزة افتراضية كهدف حسابي. يمكننا أيضًا استخدام الاستدلال الجماعي على المجموعات الحسابية.
• مجموعات الاستدلال: يتم استخدامه لعمل تنبؤات في الوقت الفعلي في الإنتاج باستخدام نموذجنا. يمكن أن تكون خدمة Azure Kubernetes (AKS).

ما هو خط الأنابيب؟

إنها مجرد سلسلة من الاختبارات أو سير العمل من معالجة البيانات إلى النشر.

قد نحتاج إلى إنشاء مثيلات حسابية في وقت عمليات التنظيف والتدريب.

إنشاء خط أنابيب الاستدلال ونشره كخدمة ويب

1. بعد الانتهاء من خط الأنابيب ، يمكننا الحصول على خيار إنشاء خط أنابيب كما هو موضح أدناه:

2. عندما نختار الاستدلال في الوقت الفعلي ، فإن اللازوردية تقوم ببعض التغييرات في خط الأنابيب كما هو موضح أدناه:

3. قمنا ببعض التغييرات في خط الأنابيب كما هو موضح أدناه:

4. انقر الآن على زر الإرسال لتشغيل الاستنتاج في الوقت الفعلي. بعد الانتهاء من الأتمتة ، يمكننا التحقق من النتائج.

لقد حصلنا على الدرجات والاحتمالات أيضًا.

5. لكننا نحتاج فقط إلى تسميات الدرجات في مخرجات خدمة الويب ، لذلك سنحتاج إلى خيار عمود محدد في اللوحة القماشية للحد من المخرجات.

6. لعمل التنبؤات ، نحتاج إلى نشر النموذج في السحابة ، إذا ظهر زر النشر ، ثم قم بتحديث الصفحة بعد إرسال إكمال التشغيل.

ولكن قبل النشر ، نحتاج إلى خدمة Azure Kubernetes Cluster لهذه الحاجة لإنشاء مجموعة استدلالات جديدة من استوديو ML.

اختر تكوين الجهاز الظاهري.

اكتب اسم الكتلة لنقطة النهاية.

انقر الآن على زر إنشاء لإنشاء الكتلة ، وبعد بضع دقائق تكتمل بنجاح.

بعد إنشاء مجموعة الاستدلال ، حان الوقت الآن لنشر النموذج وإنشاء نقاط النهاية.

أعط اسم نقطة النهاية وحدد مجموعة الاستدلال التي تم إنشاؤها حديثًا وانقر فوق زر النشر كما هو موضح أدناه:

بعد بضع دقائق ، اكتمل النشر وفي قسم نقطة النهاية سنرى نقطة النهاية في حالة صحية.

في قسم الاختبار ، يمكننا إجراء التنبؤ بناءً على معلمات الإدخال.

في قسم الاستهلاك ، يمكننا استخدام عنوان URL للنتائج.

خاتمة

تعمل هذه المقالة على مسح سير العمل لخط أنابيب التعلم الآلي في سحابة Azure. الخطوات المهمة هي الاهتمام بالاتصالات والخدمات المرتبطة ببعضها البعض.

اتمنى ان يعجبك المقال تصل إلي على LinkedIn و تويتر.

1. طرق NumPy الأكثر استخدامًا مع بايثون
2. NumPy: الجبر الخطي على الصور
3. مفاهيم التعامل مع الاستثناءات في بايثون
4. الباندا: التعامل مع البيانات الفئوية
5. المعلمات المفرطة: RandomSeachCV و GridSearchCV في التعلم الآلي
6. شرح الانحدار الخطي بالكامل مع بايثون
7. شرح الانحدار اللوجستي بالكامل مع بايثون
8. توزيع البيانات باستخدام Numpy مع Python
9. 40 أكثر الطرق استخداما بجنون في بايثون
10. 20 أكثر طرق اختصارات الباندا القابلة للاستخدام في بايثون