ستساعدك المقالة التالية: تدرب شركة Google الفرعية 280 مليارًا من Parameter AI Model Gopher
سيطرت الصور على الذكاء الاصطناعي. نماذج لغة الذكاء الاصطناعي هي الحافة التالية للذكاء الاصطناعي.
نموذج اللغة أو منظمة العفو الدولية النموذج هو أداة إحصائية تستخدم للتنبؤ بالكلمات. تحاول نماذج لغة الذكاء الاصطناعي العثور على أنماط في اللغة البشرية. ال نماذج لغة الذكاء الاصطناعي تستخدم للتنبؤ بالكلمة المنطوقة في تسجيل صوتي أيضًا. سيطرت الصور على عالم الذكاء الاصطناعي لمدة أربع سنوات طويلة ونماذج لغة الذكاء الاصطناعي هي الحافة التالية لها الذكاء الاصطناعي. نظرًا لكون اللغة معقدة ، يصعب على المصممين فك رموز نماذج لغة الذكاء الاصطناعي بسلاسة. جوجل قامت الشركة الفرعية DeepMind مؤخرًا بإخراج 280 مليار معامل الذكاء الاصطناعي لمعالجة اللغة الطبيعية (البرمجة اللغوية العصبية) نموذج. يعتمد النموذج على بنية المحولات ويتم تدريبه على مجموعة 10.5 تيرابايت تسمى Massive Text ؛ تفوق غوفر على أحدث ما توصل إليه العلم في 100 مهمة تقييم من أصل 124 مهمة.
قام باحثو Google بتطوير وقياس العديد من التقنيات لتدريب نماذج لغة الذكاء الاصطناعي ، والتي تحتوي على تريليون معلمة. حتى أنهم ذكروا أن نموذج المعلمة 1.6 تريليون الخاص بهم تسارع على نموذج لغة الذكاء الاصطناعي الذي تم إطلاقه مسبقًا (T5-XXL) بمقدار 4 مرات. كجزء من الجهد البحثي العام للذكاء الاصطناعي ، قام فريق شركة Google الفرعية ، فريق DeepMind بتدريب جوفر ، والعديد من النماذج الصغيرة الأخرى لاستكشاف نقاط القوة والضعف في نماذج اللغة الكبيرة أو LLMs. قام الفريق أيضًا بفحص جوفر على عدد كبير من معايير البرمجة اللغوية العصبية ، والتي تشمل الفهم الشامل للغة متعددة المهام (MMLU) ، Big-Bench ، إلخ ، وقارنوا أيضًا Gopher بنماذج مثل GPT-3 ، نموذج لغة AI للارتداد التلقائي مع 175 مليار آلة معلمات التعلم. بعد إصدار Gopher مباشرة ، ابتكرت Google أيضًا نموذج لغة عام أو GLaM ، وهو نموذج لغة AI تزن تريليون وزن يستخدم التباين. تشمل نماذج لغة AI البارزة الأخرى Jurassic-1 ، الذي تم إصداره بواسطة AI21Labs ، ويتألف من 178 مليار معلمة. قدمت شركات مثل Microsoft و NVIDIA أيضًا نموذج Megatron-Turing Natural Language Generation (MT-NLG) مع 530 مليار معلمة مذهلة. في وقت سابق من هذا العام ، ابتكرت Google أيضًا Switch المتحولون ، تقنية بنيت بشكل فريد لتدريب نماذج لغة الذكاء الاصطناعي ، وتتألف من أكثر من تريليون معلمة.
صرح DeepMind التابع لشركة Google أنه في رحلة استكشاف وبناء نماذج لغة جديدة للذكاء الاصطناعي ، قاموا بنجاح بتدريب سلسلة من نماذج لغة المحولات بأحجام مختلفة ، والتي تراوحت بين 44 مليون معلمة إلى 280 مليار معلمة. لقد نجحوا في التحقيق في نقاط القوة والضعف في نماذج لغة الذكاء الاصطناعي ذات الأحجام المختلفة ، وسلطوا الضوء على تلك المجالات التي يمكن أن يستمر فيها الحجم المتزايد للنموذج في تعزيز أدائه ، على سبيل المثال ، في مجالات مثل فهم القراءة ، والتحقق من الحقائق ، وما إلى ذلك. على. من خلال البحث الحي ، تمكن باحثو فريق DeepMind من ملاحظة أن قدرات Gopher تجاوزت جميع نماذج اللغة الحالية لعدد من المهام الرئيسية. يتضمن هذا الفهم الشامل للغة متعددة المهام أو معيار MMLU. بعد البحث الكمي ، وجد أن غوفر مدفوع نحو تفاعل حوار. يمتلك Gopher القدرة على مناقشة بيولوجيا الخلية ويمكنه أيضًا تقديم اقتباس صحيح ، دون أي ضبط دقيق للغة محددة.
