ستساعدك المقالة التالية: أفضل 10 أدوات لعلوم البيانات مفتوحة المصدر في عام 2022 – نحو الذكاء الاصطناعي
نُشر في الأصل على نحو AI ، الشركة الرائدة في العالم في مجال الذكاء الاصطناعي والأخبار التقنية والإعلام. إذا كنت تقوم ببناء منتج أو خدمة متعلقة بالذكاء الاصطناعي ، فنحن ندعوك للتفكير في أن تصبح راعيًا للذكاء الاصطناعي. في نحو الذكاء الاصطناعي ، نساعد في توسيع نطاق الشركات الناشئة في مجال الذكاء الاصطناعي والتكنولوجيا. دعنا نساعدك على إطلاق التكنولوجيا الخاصة بك للجماهير.
مجموعة من المكتبات التي لديها إبداء الرأي والتي قد ترغب بالتأكيد في مراجعتها
لن أقوم بإدراج Pandas و NumPy و Scikit-Learn و Matplotlib و Seaborn و TensorFlow و PyTorch وما إلى ذلك.
ربما تعرف عن هؤلاء بالفعل. لا حرج في هذه المكتبات. هم بالفعل الحد الأدنى الأساسي لعلوم البيانات باستخدام بيثون.
والإنترنت مليء بالمقالات حول هذه الأدوات – هذه القطعة لن تكون واحدة منها ، أؤكد لك يا صديقي. أيضًا ، لن ندخل في النقاش حول Python vs.
على وجه الخصوص ، ستركز هذه المقالة على المكتبات الصديقة للبيثون الأقل شهرة ولكنها قيمة. بدءًا من جمع البيانات إلى التحليل ونمذجة البيانات وإجراء التجارب ونشر النماذج أخيرًا ، تغطي هذه المكتبات دورة حياة علوم البيانات بأكملها.
بفضل تطوير هذه المكتبات والأدوات ، تضاءل الناس عبر الصناعة وحواجز الدخول في تطوير علم البيانات بشكل كبير.
تساعدك هذه المكتبات في جمع البيانات وتوليفها
في الواقع ، إذا لم تكن لدينا البيانات ، فلن يكون هناك المزيد من الذكاء الاصطناعي أو التعلم الآلي أو علم البيانات. تساعدنا هذه المكتبات في الحصول على بيانات فعلية عبر الويب وإنشاء بيانات تركيبية.
سكرابى هو إطار عمل سريع عالي المستوى للزحف على الويب وتجريف الويب يُستخدم للزحف إلى مواقع الويب واستخراج البيانات المنظمة من صفحاتها. يمكن استخدامه لأغراض مختلفة ، من استخراج البيانات إلى المراقبة والاختبار الآلي.
أتذكر استخدام هذه المكتبة عندما اضطررت إلى استخراج البيانات من مواقع مختلفة لجمع التفاصيل والمراجعات حول المطاعم في المدينة ، وقد أدت المهمة بشكل جيد.
على الرغم من أن Scrapy قد تم تصميمه في الأصل لكشط الويب ، إلا أنه يمكن استخدامه أيضًا لاستخراج البيانات باستخدام واجهات برمجة التطبيقات أو كزاحف ويب للأغراض العامة.
YData Synthetic هو محرك بيانات تركيبية مفتوح المصدر. باستخدام أنواع مختلفة من شبكات الخصومة التوليدية (GANS) ، يتعلم المحرك الأنماط والخصائص الإحصائية للبيانات الأصلية. يمكنه إنشاء عينات لا حصر لها من البيانات التركيبية التي تشبه البيانات الأصلية.
البيانات التركيبية هي بيانات تم إنشاؤها بشكل مصطنع ولا يتم جمعها من أحداث العالم الحقيقي. يقوم بتكرار المكونات الإحصائية للبيانات الفعلية دون احتواء أي معلومات يمكن تحديدها ، مما يضمن خصوصية الأفراد.
بعد أن استخدمت البيانات التركيبية للعديد من حالات الاستخدام أثناء عملي بدوام كامل ، فقد ساهمت شخصيًا في هذا المشروع مفتوح المصدر وأعتقد أن البيانات التركيبية هي الطريقة لتحقيق بيانات عالية الجودة على نطاق واسع مع حماية خصوصية المستخدم.
تساعدك هذه المكتبة على تتبع EDA بسرعة
صدق أو لا تصدق ، البيانات التي جمعتها دائمًا ما تكون فوضوية. نحتاج إلى تقييم جودة البيانات وكشف الرؤى من البيانات.
الوعد التنميط الباندا سهل وبسيط هو – هي يساعد في تتبع تحليل البيانات الاستكشافية بسرعة من خلال فهم البيانات بشكل أسرع.
من خلال إضافة سطرين من التعليمات البرمجية ، يمكنك إنشاء تقرير ملف تعريف لبياناتك لاكتشاف مشكلات البيانات والكشف عن أي رؤى في غضون بضع دقائق باستخدام هذه المكتبة. Pandas-Profiling هو جزء من مجتمع Data-Centric AI ، والذي يمكنك أيضًا الانضمام إليه.
كل مشروع أبدأ ، بمجرد أن أحصل على البيانات معي ، أقوم بتشغيله من خلال التنميط الباندا أولاً لفحص البيانات وتنظيف البيانات واستكشاف البيانات من خلال التقرير الذي تم إنشاؤه.
تساعدك هذه المكتبات على نمذجة البيانات عبر المجالات
بفضل المكتبات المتقدمة التي لدينا ، يقضي علماء البيانات وقتًا أقل في القيام بجزء النموذج. تقوم هذه المكتبات الثلاث بعمل رائع في التعامل مع الخوارزميات المعقدة تحت الغطاء وتقدم لنا واجهات بسيطة لإنجاز المهمة.
PyCaret هي مكتبة تعلم آلي مفتوحة المصدر منخفضة الكود في Python تعمل على أتمتة سير عمل التعلم الآلي.
بالمقارنة مع مكتبات التعلم الآلي الأخرى ، فإن PyCaret هي مكتبة بديلة منخفضة التعليمات البرمجية يمكن استخدامها لاستبدال مئات الأسطر من التعليمات البرمجية ببضعة أسطر فقط.
تحتاج إلى وضع يديك على PyCaret لفهم مدى سهولة بدء نمذجة البيانات في عالم علم البيانات اليوم. أستمر في استخدام هذه الأداة متى أردت العثور على أفضل نموذج للتعلم الآلي للمشكلة المطروحة.
أصبحت معالجة اللغة الطبيعية (NLP) مجالًا متطورًا داخل الذكاء الاصطناعي وتعمل على توفير حلول لمشاكل العمل المختلفة باستخدام روبوتات المحادثة وخدمات الترجمة وأدوات تحليل المشاعر والمزيد.
بينما يمكنك أن تكون في علم البيانات دون الحاجة إلى العمل في البرمجة اللغوية العصبية ، إذا اخترت ذلك ، فإن Spacy هي واحدة من أفضل الأدوات المتاحة للبدء.
سبا هي مكتبة للمعالجة المتقدمة للغات الطبيعية في بايثون وسيثون. يأتي مع خطوط أنابيب مدربة مسبقًا ويدعم حاليًا الترميز والتدريب لأكثر من 60 لغة.
على غرار البرمجة اللغوية العصبية ، تعد رؤية الكمبيوتر مجالًا بارزًا آخر في الذكاء الاصطناعي ويتم استخدامه لحل الكثير من مشاكل العمل ، بدءًا من اكتشاف الصور إلى منع السرقة.
OpenCV (مكتبة رؤية الكمبيوتر مفتوحة المصدر) هي مكتبة مفتوحة المصدر تضم عدة مئات من خوارزميات الرؤية الحاسوبية.
يحمل OpenCV أساسيات معالجة الصور ورؤية الكمبيوتر وهو ضروري إذا اخترت العمل مع البيانات المرئية.
تساعدك هذه المكتبة في إجراء تجارب تعلم الآلة.
إن مفتاح النموذج الأفضل أداءً هو عملية تكرارية لتحسين المقاييس المختارة لمشكلة العمل المطروحة. التجريب هو المكان الذي ينتقل فيه نموذجك من نموذج متوسط إلى نموذج جيد.
MLflow هي منصة مفتوحة المصدر لإدارة دورة حياة تعلم الآلة ، بما في ذلك التجريب ، والتكاثر ، والنشر ، وسجل النموذج المركزي.
في جوهره ، يعد MLflow أكثر من مجرد تتبع للتجربة ، ولكن هذه نقطة بداية جيدة لدمجها في دورة حياة علم البيانات لدينا.
أنا شخصياً ، بعد دمج هذه المكتبة ، وفرت الكثير من الوقت في تتبع وإدارة التجارب والنماذج والنتائج المرتبطة بها.
هذه المكتبات هي صديقك لنشر النماذج
ما الهدف من بناء نماذج التعلم الآلي إذا لم يستخدمها أحد؟ من الضروري التأكد من أن هذه النماذج سهلة الاستخدام.
يُعد إنشاء تطبيق ويب طريقة رائعة لعرض 100٪ من مشروعاتك ، حتى لو كانت مشروعات محببة لسيرتك الذاتية.
انسيابي هي مكتبة Python مفتوحة المصدر تسهل إنشاء ومشاركة تطبيقات ويب مخصصة وجميلة للتعلم الآلي وعلوم البيانات. باستخدام Streamlit ، يمكننا إنشاء تطبيقات بيانات قوية ونشرها في فترة زمنية قصيرة نسبيًا.
Streamlit هي أداة go-to الخاصة بي عندما يُطلب مني إنشاء نماذج أولية سريعة لنماذج Python النصية في تطبيق ويب في غضون ساعات قليلة. المكتبة صديقة لعلماء البايثون والبيانات ، وستكون مرتاحًا لاستخدامها في غضون أيام قليلة.
قارورة هو إطار تطبيق ويب خفيف الوزن لواجهة خادم الويب. إنه مصمم لجعل البدء سريعًا وسهلاً ، مع القدرة على الارتقاء إلى التطبيقات المعقدة.
بعد أن بدأت كملف بسيط حول Werkzeug و Jinja وأصبحت واحدة من أكثر أطر تطبيقات الويب Python شيوعًا
بينما يعد Streamlit رائعًا للنماذج الأولية السريعة ، فإن Flask هو أداة أخرى لتطبيق الويب تساعدك على إنشاء تطبيقات ويب أكثر تعقيدًا وصديقة للإنتاج. عندما يكون هناك مساحة أكبر للتطوير ، أعلم أنه يمكنني الاعتماد على Flask لمساعدتي في تحويل النماذج الخاصة بي إلى تطبيق ويب ، بغض النظر عن مدى تعقيد المتطلبات.
عامل ميناء هي أداة مصممة لإنشاء ونشر وتشغيل التطبيقات باستخدام الحاويات. حاوية عامل الميناء ليست سوى حزمة حزمة من كود التطبيق والمكتبات المطلوبة والاعتمادات الأخرى.
الآن Docker ليس خاصًا بعالم الذكاء الاصطناعي ولكنه أداة قياسية لهندسة البرمجيات وتطوير التطبيقات. كيف تصبح ذات صلة بالذكاء الاصطناعي؟ عندما تنتهي من تنظيف البيانات وتجريبها ووضع نماذج لها وتحويلها إلى تطبيقات ويب ، فقد حان الوقت لحزم التطبيق بشكل مستقل عن بيئة التطوير.
الخطوة الأخيرة قبل نشر التطبيق هي التأكد من أن التطبيقات التي قمت بإنشائها قابلة للتكرار – ويساعدك Docker في ذلك. فيما يلي شرح أكثر تفصيلاً لكيفية استخدام علماء البيانات لقاعدة السفن.
أفكار ختامية
أدرجت هذه المقالة أفضل 10 أدوات لعلوم البيانات عبر دورة حياة علم البيانات. قمنا بالتفصيل حول الميزات الأساسية لكل أداة وكيف أنها مفيدة إذا اخترت استخدامها في مشروعك التالي.
أعلم ما الذي تفكر فيه – ربما استخدمت مكتبة علوم بيانات ممتازة وتتساءل لماذا لم يتم إدراجها في القائمة. المجال واسع ، والنظام الإيكولوجي لعلوم البيانات ينمو بسرعة ، لذلك هناك دائمًا شيء آخر.
اسمحوا لي أن أعرف ما تريد إضافته إلى هذه القائمة في الردود. ولكن إذا لم تكن لديك فرصة لاستخدام أي مما سبق ، فيجب عليك التحقق منها!
نُشرت في الأصل أفضل 10 أدوات لعلوم البيانات مفتوحة المصدر في عام 2022 في Towards AI on Medium ، حيث يواصل الأشخاص المحادثة من خلال تسليط الضوء على هذه القصة والرد عليها.
تم النشر عبر نحو الذكاء الاصطناعي
