الأخبار التكنولوجية والاستعراضات والنصائح!

يُظهر تقرير الذكاء الاصطناعي الجديد من Google تحسينات البيانات وتوسيع نطاق الرؤى التي مكنت نموذج اللغة الجديد Palm2 الكبير

ستساعدك المقالة التالية: يُظهر تقرير الذكاء الاصطناعي الجديد من Google تحسينات البيانات وتوسيع نطاق الرؤى التي مكنت نموذج اللغة الجديد Palm2 الكبير

لفترة طويلة ، كان التنبؤ بالكلمة التالية هو طريقة الانتقال لتقدير المعلومات اللغوية الموجودة ، مما يجعل نمذجة اللغة منطقة دراسة حيوية. على مدى السنوات القليلة الماضية ، أظهرت نماذج اللغة الكبيرة (LLMs) أداءً رائعًا في التفكير والرياضيات والعلوم ومشكلات اللغة بفضل النطاق الأكبر وبنية المحولات. لعب توسيع حجم النموذج وكمية البيانات أدوارًا حاسمة في هذه الاختراقات. لا تزال معظم LLM ملتزمة بصيغة مجربة وصحيحة ، بما في ذلك الشركات أحادية اللغة بشكل أساسي وهدف نمذجة اللغة.

يقدم بحث Google الأخير PaLM 2 ، وهو نسخة محدثة من نموذج لغة PaLM الذي يشتمل على نماذج جديدة وبيانات وتطورات توسعية. يدمج PaLM 2 مجموعة واسعة من النتائج الجديدة من العديد من مجالات الدراسة ، بما في ذلك:

  • الترشيد عن طريق الحساب: لقد ثبت مؤخرًا أن حجم البيانات مناسب على الأقل مثل حجم النموذج من خلال القياس الأمثل للحوسبة. تكشف هذه الدراسة زيف الحكمة التقليدية القائلة بأنه من الأفضل قياس النموذج ثلاث مرات أسرع من مجموعة البيانات إذا أراد المستخدمون الأداء الأمثل لحساب التدريب الخاص بهم.
  • تحسن مزج مجموعات البيانات: كانت معظم النصوص في النماذج اللغوية الكبيرة سابقة التدريب باللغة الإنجليزية. مع وضع مئات اللغات والمجالات في الاعتبار (مثل البرمجة والرياضيات والنصوص متعددة اللغات المتوازية) ، طور الفريق مزيجًا أكثر تنوعًا ومتعدد اللغات لما قبل التدريب. توضح النتائج أن النماذج الأكثر تعقيدًا يمكن أن تتعامل بشكل فعال مع مجموعات البيانات غير الإنجليزية الأكثر تنوعًا وتوظف إلغاء البيانات المكررة لتقليل الذاكرة دون التأثير سلبًا على القدرة على فهم اللغة الإنجليزية.
  • في الماضي ، اعتمدت LLM عادةً على إما هدف سببي واحد أو هدف خفي. تعتمد بنية النموذج المقترحة على المحول ، والذي ثبت أنه يحسن كل من الهندسة المعمارية والمقاييس الموضوعية. استخدم الباحثون مجموعة متوازنة بعناية من أهداف ما قبل التدريب لتدريب هذا النموذج لفهم مجموعة واسعة من الجوانب اللغوية.

تكشف النتائج أن نماذج PaLM 2 تؤدي أداءً أفضل بكثير من PaLM في مجموعة واسعة من المهام ، مثل توليد اللغة الطبيعية وترجمتها والتفكير المنطقي. على الرغم من أنه يتطلب حوسبة تدريب أكثر من أكبر نموذج PaLM ، إلا أن طراز PaLM 2-L ، وهو الأكبر في عائلة PaLM 2 ، أصغر بكثير. تشير هذه النتائج إلى بدائل لتوسيع النموذج لتحسين الأداء ، مثل اختيار البيانات بعناية ووجود بنية / أهداف فعالة يمكنها إطلاق العنان للأداء. إن وجود نموذج أصغر مع ذلك عالي الجودة يحسن كفاءة الاستدلال ويقلل من تكاليف الخدمة ويفتح الباب أمام استخدام النموذج في المزيد من التطبيقات النهائية ومن قبل المزيد من المستخدمين.

تعد اللغة ، وإنتاج الكود ، وقدرات التفكير الخاصة بـ PaLM 2 عبر اللغات مثيرة للإعجاب. لقد تفوقت على سابقتها في اختبارات الكفاءة اللغوية المتقدمة في البرية بهامش واسع.

من خلال تغيير مجموعة فرعية فقط من التدريب المسبق ، يسمح PaLM 2 بالتحكم في وقت الاستدلال على السمية من خلال رموز التحكم. تم تعزيز بيانات التدريب المسبق لـ PaLM 2 بتسلسلات رمزية جديدة لـ “الكناري” لتسهيل تقييمات الذاكرة عبر اللغات بشكل أفضل. بعد مقارنة PaLM و PaLM 2 ، وجد الباحثون أن الأخيرة لديها معدلات أقل من الحفظ الحرفي. بالنسبة للغات الذيل ، تزيد معدلات الحفظ فوق اللغة الإنجليزية فقط عند تكرار البيانات عدة مرات في جميع النصوص. توضح المجموعة أن PaLM 2 قد عزز قدرات تصنيف السمية متعدد اللغات وتقييم المخاطر والتحيزات المرتبطة بالعديد من التطبيقات المحتملة.

يعتقد الفريق أن التغييرات في البنية والهدف ، بالإضافة إلى التحجيم الإضافي لمعلمات النموذج وحجم مجموعة البيانات وجودتها ، يمكن أن تستمر في إحداث تقدم في تفسير اللغة وتوليدها.