ستساعدك المقالة التالية: خطوط أنابيب Vertex AI للمبتدئين الذين يستخدمون صور Docker المخصصة [Part 2] – نحو الذكاء الاصطناعي
نُشر في الأصل على نحو AI ، الشركة الرائدة في العالم في مجال الذكاء الاصطناعي والأخبار التقنية والإعلام. إذا كنت تقوم ببناء منتج أو خدمة متعلقة بالذكاء الاصطناعي ، فنحن ندعوك للتفكير في أن تصبح راعيًا للذكاء الاصطناعي. في نحو الذكاء الاصطناعي ، نساعد في توسيع نطاق الشركات الناشئة في مجال الذكاء الاصطناعي والتكنولوجيا. دعنا نساعدك على إطلاق التكنولوجيا الخاصة بك للجماهير.
تعلم الآلة ، MLOPS
خطوط أنابيب Vertex AI للمبتدئين الذين يستخدمون صور Docker المخصصة [Part 2]
برنامج تعليمي خطوة بخطوة حول كيفية تكوين صورة Docker المخصصة الخاصة بك
تحفيز
في رسالتي السابقة ، ناقشت عملية كيفية تنفيذ خطوط الأنابيب المخصصة في Vertex AI باستخدام مكونات Kubeflow. لتبسيط الأمر ، ناقشنا حالة استخدام شائعة تسمى ““.
في هذا المنشور ، سأتناول في الغالب إنشاء صور عامل ميناء. الهدف هو شرح كيفية تكوين صور عامل الإرساء المخصص من البداية. سنتابع الخطوات لإنشاء صورة Docker ، متبوعة بكيفية نشر صورة ، وكيفية استخدام الصورة في مكون خط الأنابيب.
شروط الخلفية
قبل المضي قدمًا ، دعنا نوضح بعض المصطلحات التي سنستخدمها.
إذن ما هو عامل الميناء؟ عامل ميناء هي مجرد منصة حاوية مفتوحة تقوم بتعبئة تطبيقك وجميع تبعياته في حاوية. يبسط عملية تطوير التطبيقات وتشغيلها. يساعدك على التحكم في تطبيقك وتشغيله بسهولة من بيئة إلى أخرى.
بناء سحابة هي صورة Google Cloud Platform (GCP) الرسمية ، المنشئ. إنها منصة CI / CD مُدارة بالكامل تمكنك من أتمتة بنياتك.
سجل القطع الأثرية هو مدير حزم مؤتمت بالكامل ومتكامل مع معظم أدوات CI / CD.
نظرة عامة على العمارة ، الجزء 2 (التركيز على المربع الأزرق)
يبدأ إنشاء صورة Docker بإنشاء Dockefile. بعد أن يصبح Dockerfile جاهزًا ، نقوم ببناء الصورة التي تستدعي Dockefile باستخدام GCP Cloud Build وبالتالي دفعها إلى Artifact Registry. يمكن استخدام الصورة بواسطة مكون خط الأنابيب بمجرد توفر الصورة في Artifact Registry.
إعداد البيئة
متطلبات:
- منضدة Vertex AI
- بايثون 3
- مكونات خط أنابيب Kubeflow
- عامل ميناء
لتثبيت مكونات Kubeflow والنظام الأساسي ai واستيراد المكتبات المطلوبة ، يرجى الرجوع إلى إعداد بيئة القسم في رسالتي السابقة.
إنشاء صورة Docker للتدريب
1. DockerFile
قم بإنشاء دليل على طاولة العمل الخاصة بك لحفظ Dockefile وجميع البرامج النصية المطلوبة. في النهاية ، يجب أن يبدو كالتالي:
يحتاج إنشاء كل صورة عامل إرساء إلى ملف Dockerfile (مستند نصي) يحتوي على قائمة الإرشادات التي يجب إنشاؤها. في الواقع ، في Dockerfile ، تنشئ كل تعليمات طبقة جديدة فوق الطبقة السابقة.
من المهم تذكر عدة تعليمات مهمة:
- FROM: يحدد الصورة الأساسية التي ستستخدمها الحاوية.
- WORKDIR: يحدد دليل العمل للحاوية.
- COPY: نسخ الملفات / الدلائل من المضيف إلى حاوية عامل الإرساء.
- RUN: يتيح تنفيذ الأوامر في الحاوية.
يبدأ ملف DockerFile دائمًا بأمر FROM متبوعًا بشكل شائع بمجموعة من الإرشادات. على سبيل المثال ، في حالتنا ، تحدد WORKDIR الدليل الذي سنستخدمه لتطبيقنا. يمكننا نسخ أو عدم نسخ الملفات من الملف المحلي إلى دليل عامل الإرساء باستخدام تعليمات COPY. في حالتنا ، نقوم بنسخ ملف requirements.txt المحلي إلى دليل التطبيق. نستخدم تعليمات RUN لبدء تثبيت مكتبات Python المذكورة في الملف.
على سبيل المثال لدينا ، لدينا مكتبات Pandas و NumPy و scikit-Learn.
الباندا == 1.3.3
numpy == 1.19.5
scikit-Learn == 0.24.2
2. بناء عامل ميناء
بمجرد أن يصبح Dockerfile جاهزًا ، نحتاج إلى بنائه. تحقق من أن لديك في الدليل المحلي الخاص بك كما في المثال أدناه. يحتوي النص البرمجي نفسه على المعلمات العامة لبيئة GCP ، واسم الصورة ، والأمر الخاص ببناء الصورة. لإنشاء صورة عامل الإرساء محليًا ، تحتاج إلى بنائها عن طريق الكتابة في وحدة تحكم Workbench الخاصة بك. Note لتتمكن من تتبع الصورة على GCP ، أوصي بوضع علامات على الصورة باستخدام Project_ID ، والمنطقة.
3. ادفع الصورة إلى Artifact Registry
أولاً ، نحتاج إلى إنشاء مستودع لتطبيقنا في Artifact Registry. يجب أن نذكر تنسيق المستودع ، عامل الميناء في حالتنا ، والمنطقة. انتبه إلى أنه يلزم تسجيلك في سجلات Docker. لذلك نستخدم الأمر للتأكد من أن لديه أوراق الاعتماد المناسبة. أخيرًا ، نقوم بدفع صورة عامل الإرساء المحلي إلى المستودع الذي تم إنشاؤه في Artifact Registry باستخدام الأمر.
يتذكر لتغيير PROJECT_ID في جميع الملفات بمعرّف مشروع GCP الخاص بك.
لا تنس الانتقال إلى GCP Artifact Registry للتحقق من توفر صورتك. انتقل إلى علامة تبويب البحث في GCP:
انقر على Artifact Registry:
إذا كان الأمر كذلك ، فيمكننا استخدامها كصورة أساسية في مكون القطار على النحو التالي:
إنشاء صورة Docker للنشر
يمكننا ببساطة استخدام صورة عامل الإرساء التي تم إنشاؤها مسبقًا. بخلاف ذلك ، يتعين علينا تكرار الخطوات المذكورة أعلاه عن طريق تعديل اسم الصورة من القطار للتنبؤ بجميع البرامج النصية (على سبيل المثال ، أضف مكتبات جديدة في بعد أن تكون الصورة متاحة في سجل Artifact ، أضف عنوان URL على مكون النشر الخاص بك وأعد تشغيل مكون النشر وخط الأنابيب. يرجى التذكير بالرجوع إلى دفتر الملاحظات الذي استخدمته.
لاختبار التنبؤ في الوقت الفعلي ، قم بإدراج جميع النماذج المنشورة. تذكر أن كل خط أنابيب ونموذج له طابع زمني. قم بإدراج معرف نقطة النهاية للنموذج المنشور الأخير وقم بعمل توقع يعطي متجه المثيل. يدعم التنبؤ الافتراضي تنسيق متجه المثيل: [list of features to be predicted].
استئناف
لقد تعلمنا كيفية إنشاء صورة Docker على Workbench Vertex AI المحلي وكيفية استخدامها في خط أنابيب Vertex AI المخصص.
جميع الموارد متاحة على جيثب الخاص بي. في رسالتي التالية ، سأوضح لك كيفية نشر خدمة تنبؤ مخصصة باستخدام Flask.
تم نشر DevOps في الأصل في Towards AI on Medium ، حيث يواصل الأشخاص المحادثة من خلال تسليط الضوء على هذه القصة والرد عليها.
تم النشر عبر نحو الذكاء الاصطناعي
