ازدهار جديد في الذكاء الاصطناعي؟ لماذا يمكن أن يكون نموذج بلوم عامل تغيير قواعد اللعبة – نحو الذكاء الاصطناعي

ستساعدك المقالة التالية: ازدهار جديد في الذكاء الاصطناعي؟ لماذا يمكن أن يكون نموذج بلوم عامل تغيير قواعد اللعبة – نحو الذكاء الاصطناعي

نُشر في الأصل على نحو AI ، الشركة الرائدة في العالم في مجال الذكاء الاصطناعي والأخبار التقنية والإعلام. إذا كنت تقوم ببناء منتج أو خدمة متعلقة بالذكاء الاصطناعي ، فنحن ندعوك للتفكير في أن تصبح راعيًا للذكاء الاصطناعي. في نحو الذكاء الاصطناعي ، نساعد في توسيع نطاق الشركات الناشئة في مجال الذكاء الاصطناعي والتكنولوجيا. دعنا نساعدك على إطلاق التكنولوجيا الخاصة بك للجماهير.

نحن معتادون الآن على نماذج اللغات الكبيرة ، لماذا هذا مميز جدًا؟

أكبر وأكبر

عندما ظهر BERT ، كان من الواضح تمامًا ما هو المسار الذي اختارته الصناعة لمستقبل مجال معالجة اللغة الطبيعية. كان BERT أول محول جذب الانتباه حقًا ولكن ليس الأخير (للأسف ، يمكننا قول الشيء نفسه بالنسبة لسلسلة الأفلام).

يفتح BERT الطريق إلى BART و RoBERTa ونموذج المحولات الكبيرة الأخرى. أظهر أن كومة طبقات الانتباه الذاتي والمزيد من المعلمات كانت جيدة بشكل مذهل للعديد من المهام (التعرف على الكيانات المسماة ، والترجمة ، والإجابة على الأسئلة ، إلخ …). ثم وصلت في عام 2020 ، دخلت OpenAI بقوة في المنافسة مع GPT-3 (نموذج عملاق بحوالي 175 مليار معلمة). كان الأمر مثيرًا للإعجاب ولكنه ظل على العرش لفترة من الوقت ، حيث أطلقت Google وعدد قليل من الشركات الأخرى عرضًا من النماذج الأكبر فقط. رأينا جوفر (280 مليارًا) و PALM (540 مليارًا) و LaMDA (137 مليارًا). باستثناء شينشيلا (70 مليارًا ، ليست صغيرة جدًا على أي حال) ، كان المبدأ هو نفسه جمع المزيد من البيانات وزيادة عدد المعلمات.

لقد كان سباقا مع عدد قليل من المشاركين. كانت الحقيقة أن BERT أظهر للعالم أن الشركات الرائدة في مجال التكنولوجيا فقط هي التي يمكنها المنافسة في اللعبة. من المقدر أن تكلف GPT3 ما بين 10 إلى 20 مليون دولار فقط للتدريب إذا أخذنا في الاعتبار فاتورة الكهرباء (صورة كم يكلف شراء كل وحدة معالجة الرسومات للتدريب).

جدري التكنولوجيا: حساسية المصدر المفتوح التي تصيب شركة التكنولوجيا.

كان الجميع سعداء بتجربة GPT-3 و GATO و Flamingo و DALL-E و Imagen ، ومع ذلك ، كانت هناك قيود في أفضل الأحوال (وقائمة انتظار طويلة جدًا). OpenAI و Meta و Google و Microsoft مفتوحة المصدر لبعض نماذجها (الأمثلة هي OPT و VPT و Switch المحولات) لكنهم لم يكونوا سعداء بذلك. الحقيقة هي أنه إذا كان لديك الأفضل في الفصل ، فأنت تريد الاحتفاظ به لنفسك. استخدم Google بسهولة BERT والنماذج التالية لتحسين بحث Google ، لكن فقد الحصري عليه شيء آخر.

نعلم جميعًا أهمية المصدر المفتوح (وإذا نسيت ، هناك Linus Torvalds لتتذكره). نحن نستخدمه كل يوم ومن يعرف البرنامج مدى أهمية استخدام مكون مفتوح المصدر. ومع ذلك ، فإن المصدر المفتوح هو إنشاء شركة عقدة ترغب فقط في كسب المال.

لكي نكون منصفين ، حاول EleutherAI و BigScience و Hugging Face كسر الاحتكار وفتح المصدر للعديد من النماذج الرائعة. يقول آدم سميث شيئًا مثل “السوق ينظم شراء نفسه” ، لذلك ترى الآن أن لدينا شركات ستعمل على توفير مصادر مفتوحة وسنحل المشكلة. بالتأكيد ، لدينا قرنان من الخبرة أن ما قاله آدم سميث لم يكن صحيحًا. إذن ، في هذه المرحلة ، لدينا سؤال حول مكان وجود المؤسسات؟

الخير والشر والتحيز

تدريب هذه النماذج الضخمة ليس صديقًا للبيئة. أشارت مقالات مختلفة إلى التأثير البيئي للذكاء الاصطناعي (حتى فوربس لاحظت ذلك ، لذا يمكنك أن تتخيل). إن البصمة الكربونية لتدريب نموذج كبير في البرمجة اللغوية العصبية أمر مثير للإعجاب وفقًا لدراسة أجرتها جامعة ماساتشوستس. علاوة على ذلك ، يتعين علينا التعامل مع التكلفة والعناصر النادرة التي تحتاجها لإنتاج الأجهزة (جميع وحدات معالجة الرسومات).

بالإضافة إلى ذلك ، منذ أن تم نشر word2vec في عام 2013 ، لاحظ شخص ما أن هناك شيئًا غريبًا ، يمكن أن تكون النماذج اللغوية عنصرية وكارهة للنساء. لماذا؟ لأنهم بهدف جمع أكبر قدر ممكن من البيانات ، قاموا في كثير من الأحيان بجمع بيانات مليئة بالقوالب النمطية. على سبيل المثال ، يعد Reddit أحد أكثر المصادر استخدامًا لكشف البيانات ، وقد نشر باحثو King’s College مقالًا أظهر دليلًا على التحيز الجنسي والديني في مجتمعات Reddit. أثار هذا النقد وادعى OpenAI أنه خفف من التحيز في GPT-3. نحن نعلم أن الشركات التي تتحكم في نفسها ليست كافية (تذكر وعود Facebook ضد الأخبار الكاذبة؟). في الواقع ، إذا كانت هذه النماذج ستنتهي في الإنتاج ، فنحن بحاجة إلى إزالة الضرر قدر الإمكان.

ما هو بلوم ؟! لماذا يجب أن أهتم بنموذج آخر قائم على المحولات؟

يحتوي BLOOM (BigScience Language Open-science Open-access Multilingual) على 176 مليار معلمة وتم تدريبه على 1.5 تيرابايت من النص. بالنظر تحت الغطاء ، يفيد موقع الويب أنه يحتوي على 70 طبقة ويستخدم انتباهًا متعدد الرؤوس. حسنًا ، يكفي استخدام المصطلحات التقنية ، ماذا يعني ذلك؟ إنه محول آخر. لماذا خاصة جدا؟

لنبدأ بحقيقة أنه وراء BLOOM يوجد فريق دولي من حوالي 1000 متطوع أكاديمي إلى حد كبير (أكثر من 50 دولة وأكثر من 20 لغة). يشمل المشروع مؤسسات من فرنسا إلى كندا ، ولكن أيضًا شركات مثل Hugging Face.

علاوة على ذلك ، أصدروا ميثاقًا أخلاقيًا ، حيث وصفوا القيمة الأساسية التي ألهمت المشروع. قرروا التمييز بين فئتين القيمة الجوهرية والخارجية. يجدر بنا إنفاق وصف موجز للقيم التي ألهمت المشروع.

القيم الجوهرية:

• الشمولية. يهدف المشروع إلى تجنب أي تمييز.
• تنوع. تم تعريف مشروع BigScience على أنه وسيلة للتنوع ، تغطي العديد من الباحثين من مختلف البلدان والخلفيات.
• قابلية اعادة الأنتاج. كقيمة أساسية ، قرروا العلم المفتوح
• الانفتاح. والتي تم تقسيمها إلى قسم واحد يركز على العملية والآخر متعلق بالنتائج
• مسؤولية. المسؤولية التي وصفوها بأنها فردية وجماعية ، وهي أيضًا مسؤولية اجتماعية وبيئية.

القيم الخارجية:

• إمكانية الوصول. يتم وصفها على أنها مرتبطة بالانفتاح ولكنها ممتدة بهدف أن تكون في متناول الجمهور ويمكن تفسيرها على نطاق أوسع.
• الشفافية. فيما يتعلق بالانفتاح ، تشجع BigScience على الكشف عن المشروع ونشره
• تداخل التخصصات. كان التركيز منذ البداية على ربط التخصصات المختلفة معًا (علوم الكمبيوتر واللغويات وعلم الاجتماع والفلسفة وما إلى ذلك).
• تعدد اللغات. مرتبطين بالقيم المتنوعة ، فقد استهدفوا منذ تصور المشروع تغطية لغات مختلفة أيضًا كوسيلة من وسائل الشمولية

لنبدأ بحقيقة أن هذا الميثاق لم يكن وعدًا غامضًا. أولاً ، تم تدريب النموذج على الحاسوب العملاق Jean Zay الذي يعمل بالطاقة النووية (وهو مصدر طاقة منخفض الكربون). بالإضافة إلى ذلك ، استخدموا الحرارة التي تولدها الأجهزة لأكل المباني في الحرم الجامعي.

وإدراكًا منهم للدروس الماضية ، فقد حاولوا الحد من مخاطر الجمعيات العنصرية أو الجنسية. كيف؟ بما في ذلك الأكاديميين (بما في ذلك علماء الأخلاق وعلماء القانون والفلاسفة) ولكن حتى أرباب العمل من الشركات Facebook أو جوجل. علاوة على ذلك ، بدلاً من مجرد تجريف الويب ، اختاروا 500 مصدر (يناقشون في ورش العمل بما في ذلك مجموعات المجتمع مثل Masakhane ، و LatinX in AI ، و Machine Learning Tokyo). أخبر الباحثون مجلة Nature ، أنه حتى مع كل هذه التحذيرات ، لن يكون النموذج على الأرجح خاليًا من التحيز. ولكن نظرًا لأن الكود ومجموعات البيانات مفتوحة ، فيمكنهم فهم جذور السلوك الضار وتحسينه.

سيكون النموذج مجانيًا للاستخدام وسيكون متاحًا قريبًا من خلال HuggingFace (تم التخطيط له أيضًا لإصدار أصغر وأقل كثافة للأجهزة بالإضافة إلى إصدار موزع على الخادم).

الاستنتاجات

من المحتمل أن تغير نماذج البرمجة اللغوية العصبية (NLP) العالم وسيكون الذكاء الاصطناعي منتشرًا في جميع جوانب حياتنا المستقبلية. ومع ذلك ، فإننا نعلم كيف تكون الاحتكارات مشكلة عندما تكون هناك تقنيات متطورة (تذكر الهاتف؟ كان الإنترنت دون تفكيك الاحتكار مختلفًا تمامًا). حتى الآن ، كانت النماذج اللغوية هواية نادٍ صغير لشركات التكنولوجيا الغنية. BLOOM هو أول جهد للسماح للجميع بالاستفادة من الذكاء الاصطناعي. في المستقبل ، سيكون لدينا chat-bot في كل مكان ونحتاج إلى الوصول إلى نماذج كبيرة للجمهور.

مصادر إضافية

• فضولي لمعرفة المزيد عن الجزء الفني ، إلقاء نظرة هنا وهنا
• هل تريد معرفة المزيد عن نهجهم؟ هنا

إذا وجدت أنه مثير للاهتمام:

يمكنك البحث عن مقالاتي الأخرى ، يمكنك أيضًا يشترك ليتم إخطاري عندما أنشر مقالات ، ويمكنك أيضًا الاتصال بي أو التواصل معي على ينكدين. شكرا لدعمك!

هنا ، هو الرابط إلى مستودع Github الخاص بي حيث أخطط لجمع التعليمات البرمجية والعديد من الموارد المتعلقة بالتعلم الآلي والذكاء الاصطناعي والمزيد.

GitHub – SalvatoreRa / درس تعليمي: دروس حول التعلم الآلي والذكاء الاصطناعي وعلوم البيانات مع شرح الرياضيات والتعليمات البرمجية القابلة لإعادة الاستخدام (بلغتي Python و R)

ازدهار جديد في الذكاء الاصطناعي؟ نُشر نموذج BLOOM Model Can Be a Gamechanger في الأصل في Towards AI on Medium ، حيث يواصل الأشخاص المحادثة من خلال تسليط الضوء على هذه القصة والرد عليها.

تم النشر عبر نحو الذكاء الاصطناعي