ستساعدك المقالة التالية: أعلن معهد ألين للذكاء الاصطناعي عن OLMo: نموذج لغة مفتوحة صنعه العلماء للعلماء
أعلن معهد ألين للذكاء الاصطناعي (AI2) عن تطوير نموذج لغة مفتوح رائد يسمى AI2 OLMo (نموذج اللغة المفتوحة). سيكون OLMo نموذجًا حديثًا للغة التوليدية بمقياس 70 مليار معلمة ، يمكن مقارنته بنماذج اللغات الكبيرة الأخرى. من المتوقع أن ينتهي المشروع بحلول عام 2024. ويهدف إلى تزويد مجتمع البحث بإمكانية الوصول إلى جميع جوانب إنشاء النماذج ، وتعزيز التعاون والنهوض بعلم النماذج اللغوية.
تشترك AI2 مع شركات التكنولوجيا الرائدة ، بما في ذلك AMD و CSC ، لتطوير OLMo. يتضمن التعاون الاستفادة من إمكانات وحدة معالجة الرسومات للحاسوب العملاق LUMI قبل الإكساسكيل الذي يعمل بنظام AMD والمعروف بكفاءته في استخدام الطاقة. من خلال الاستفادة من قوة هذا الكمبيوتر العملاق الصديق للبيئة ، يهدف AI2 إلى إنشاء نموذج لغة فريد ومفتوح يسمح للباحثين بالعمل مباشرة على نماذج اللغة لأول مرة.
يتمثل أحد الجوانب الرئيسية لـ OLMo في انفتاحه وإمكانية الوصول إليه لمجتمع البحث. تخطط AI2 لإتاحة جميع عناصر المشروع بشكل مفتوح ، بما في ذلك البيانات ، والكود ، ومنحنيات التدريب ، ومعايير التقييم ، والاعتبارات الأخلاقية المحيطة بتطوير النموذج. من خلال توفير الشفافية الكاملة ، يعتزم AI2 تمكين الباحثين من البناء على OLMo وتعزيزه ، مما يتيح تقدمًا أسرع وأكثر أمانًا في هذا المجال. الهدف هو تطوير أفضل نموذج للغة المفتوحة على مستوى العالم بشكل تعاوني.
يضمن فريق AI2 أن يصبح OLMo نموذجًا مفتوحًا حقًا يوفر قيمة فريدة لمجتمع أبحاث الذكاء الاصطناعي. سيكون كل مكون تم إنشاؤه لـ OLMo ، بما في ذلك بيانات التدريب ، والرمز ، وأوزان النموذج ، ونقاط التفتيش الوسيطة ، والاغتسالات ، متاحًا بشكل مفتوح وموثق جيدًا وقابل للتكرار ، مع استثناءات قليلة وترخيص مناسب. يجري حاليًا تطوير استراتيجية إطلاق النموذج والتحف الخاصة به. بالإضافة إلى ذلك ، تخطط AI2 لإنشاء عرض وإصدار بيانات تفاعل من المستخدمين الموافقين.
بالتوازي مع تطوير النموذج ، سيتخذ AI2 قرارات لزيادة قابلية استخدام النموذج وكفاءته دون المساس بالأداء. الهدف هو جعل OLMo في متناول مجموعة واسعة من باحثي الذكاء الاصطناعي ، وتعزيز تنوع وجهات النظر وتسريع التحسينات في تطوير نموذج اللغة. يعتزم AI2 أيضًا إنشاء وإصدار مجموعة بيانات تدريب نموذجية مدروسة وموثقة بدقة ، تشمل بيانات ما قبل التدريب وبيانات التعليمات وبيانات التفاعل البشري.
إدراكًا لأهمية الاعتبارات الأخلاقية ، يتخذ AI2 نهجًا عمليًا للأخلاق والانفتاح في جميع أنحاء مشروع OLMo. سيقوم الفريق بتوثيق القرارات والمخاوف والمفاضلات فيما يتعلق بالتأثيرات الأخلاقية والمجتمعية لإنشاء نموذج OLMo وإطلاقه. يعزز AI2 معرفة وفهم الذكاء الاصطناعي من خلال مشاركة التقدم والتحديات والاكتشافات. يشارك الخبراء القانونيون ، الداخليون والخارجيون ، بنشاط في عملية بناء النموذج لتقييم قضايا الخصوصية وحقوق الملكية الفكرية عند نقاط التفتيش المتعددة.
دخلت AI2 في شراكة مع منظمات مثل Surge AI و MosaicML للتعاون في البيانات ورمز التدريب لـ OLMo. تم إنشاء لجنة مراجعة للأخلاقيات تتألف من مستشارين داخليين وخارجيين لتقديم التغذية الراجعة خلال المشروع. سيكون نموذج OLMo وواجهة برمجة التطبيقات بمثابة موارد قيمة للمجتمع الأوسع ، مما يتيح فهمًا ومشاركة أفضل في ثورة الذكاء الاصطناعي التوليدية. ترحب AI2 بالدعم والشراكات من المنظمات المتوافقة مع قيم الذكاء الاصطناعي الخاصة بها لتقنيات الذكاء الاصطناعي القياسية والمعقولة والمسؤولة والمفيدة.
