ستساعدك المقالة التالية: Google LaMDA: كيف يعمل نموذج اللغة لتطبيقات الحوار
إن إنشاء Google لنموذج لغة ليس بالأمر الجديد؛ في الواقع، ينضم Google LaMDA إلى أمثال BERT وMUM كوسيلة للآلات لفهم نية المستخدم بشكل أفضل.
لقد بحثت جوجل النماذج المستندة إلى اللغة لعدة سنوات على أمل تدريب نموذج يمكنه إجراء محادثة ثاقبة ومنطقية حول أي موضوع.
وحتى الآن، يبدو أن Google LaMDA هو الأقرب للوصول إلى هذا الإنجاز.
ما هو جوجل لاMDA؟
تم إنشاء LaMDA، وهو اختصار لـ Language Models for Dialog Application، لتمكين البرامج من المشاركة بشكل أفضل في محادثة سلسة وطبيعية.
يعتمد LaMDA على نفس بنية المحولات مثل نماذج اللغات الأخرى مثل BERT وGPT-3.
ومع ذلك، وبفضل تدريبه، يستطيع LaMDA فهم الأسئلة والمحادثات الدقيقة التي تغطي عدة مواضيع مختلفة.
مع النماذج الأخرى، نظرًا لطبيعة المحادثات المفتوحة، قد ينتهي بك الأمر إلى التحدث عن شيء مختلف تمامًا، على الرغم من التركيز في البداية على موضوع واحد.
يمكن أن يؤدي هذا السلوك بسهولة إلى إرباك معظم نماذج المحادثة وبرامج الدردشة الآلية.
خلال إعلان Google I/O العام الماضي، لقد رأينا أن LaMDA تم إنشاؤه للتغلب على هذه المشكلات.
أثبت العرض التوضيحي كيف يمكن للنموذج إجراء محادثة بشكل طبيعي حول موضوع محدد بشكل عشوائي.
على الرغم من تدفق الأسئلة المرتبطة بشكل فضفاض، ظلت المحادثة على المسار الصحيح، وهو أمر مذهل رؤيته.
كيف يعمل لامدا؟
تم بناء LaMDA على شبكة جوجل العصبية مفتوحة المصدر، محولوالتي تستخدم لفهم اللغة الطبيعية.
يتم تدريب النموذج على العثور على أنماط في الجمل، والعلاقات المتبادلة بين الكلمات المختلفة المستخدمة في تلك الجمل، وحتى التنبؤ بالكلمة التي من المحتمل أن تأتي بعد ذلك.
يقوم بذلك من خلال دراسة مجموعات البيانات التي تتكون من حوار بدلاً من مجرد كلمات فردية.
في حين أن نظام الذكاء الاصطناعي للمحادثة يشبه برنامج chatbot، إلا أن هناك بعض الاختلافات الرئيسية بين الاثنين.
على سبيل المثال، يتم تدريب روبوتات الدردشة على مجموعات بيانات محدودة ومحددة ويمكنها إجراء محادثة محدودة فقط بناءً على البيانات والأسئلة الدقيقة التي يتم تدريبها عليها.
من ناحية أخرى، نظرًا لأن LaMDA مدرب على مجموعات بيانات متعددة ومختلفة، فيمكنه إجراء محادثات مفتوحة.
أثناء عملية التدريب، فإنه يلتقط الفروق الدقيقة في الحوار المفتوح ويتكيف معه.
يمكنه الإجابة على أسئلة حول العديد من المواضيع المختلفة، اعتمادًا على تدفق المحادثة.
ولذلك، فهو يمكّن المحادثات التي تشبه التفاعل البشري بشكل أكبر مما يمكن أن توفره برامج الدردشة الآلية في كثير من الأحيان.
كيف يتم تدريب LaMDA؟
أوضحت جوجل أن LaMDA لديها عملية تدريب على مرحلتين، بما في ذلك التدريب المسبق والضبط الدقيق.
في المجمل، تم تدريب النموذج على 1.56 تريليون كلمة مع 137 مليار معلمة.
التدريب قبل
بالنسبة لمرحلة ما قبل التدريب، أنشأ فريق Google مجموعة بيانات مكونة من 1.56 تريليون كلمة من عدة مستندات ويب عامة.
يتم بعد ذلك ترميز مجموعة البيانات هذه (تحويلها إلى سلسلة من الأحرف لتكوين جمل) إلى رموز 2.81T، والتي يتم تدريب النموذج عليها في البداية.
أثناء التدريب المسبق، يستخدم النموذج الموازاة العامة والقابلة للتطوير للتنبؤ بالجزء التالي من المحادثة بناءً على الرموز المميزة السابقة التي شاهدها.
الكون المثالى
تم تدريب LaMDA على أداء مهام التوليد والتصنيف أثناء مرحلة الضبط الدقيق.
بشكل أساسي، يقوم مولد LaMDA، الذي يتنبأ بالجزء التالي من الحوار، بإنشاء العديد من الاستجابات ذات الصلة بناءً على المحادثة ذهابًا وإيابًا.
ستقوم مصنفات LaMDA بعد ذلك بالتنبؤ بدرجات السلامة والجودة لكل استجابة محتملة.
تتم تصفية أي استجابة ذات درجة أمان منخفضة قبل تحديد الاستجابة ذات أعلى الدرجات لمواصلة المحادثة.
تعتمد النتائج على السلامة والحساسية والنوعية والنسب المئوية المثيرة للاهتمام.
والهدف هو ضمان تقديم الاستجابة الأكثر ملاءمة وعالية الجودة والأكثر أمانًا في نهاية المطاف.
الأهداف والمقاييس الرئيسية لـ LaMDA
تم تحديد ثلاثة أهداف رئيسية للنموذج لتوجيه تدريب النموذج.
هذه هي الجودة والسلامة والأرضية.
جودة
يعتمد هذا على ثلاثة أبعاد للتقييم البشري:
- المعقولية.
- النوعية
- مثيرة للاهتمام.
يتم استخدام نقاط الجودة للتأكد من أن الاستجابة منطقية في السياق المستخدم، وأنها خاصة بالسؤال المطروح، وتعتبر ثاقبة بما يكفي لإنشاء حوار أفضل.
أمان
ولضمان السلامة، يتبع النموذج معايير الذكاء الاصطناعي المسؤول. يتم استخدام مجموعة من أهداف السلامة لالتقاط ومراجعة سلوك النموذج.
وهذا يضمن أن الإخراج لا يقدم أي استجابة غير مقصودة ويتجنب أي تحيز.
التأريض
يتم تعريف التأريض على أنه “نسبة الردود التي تحتوي على ادعاءات حول العالم الخارجي.”
ويستخدم هذا للتأكد من أن الإجابات “دقيقة من الناحية الواقعية قدر الإمكان، مما يسمح للمستخدمين بالحكم على صحة الاستجابة بناءً على موثوقية مصدرها”.
تقييم
من خلال عملية مستمرة لقياس التقدم، تتم مراجعة الاستجابات من النموذج المُدرب مسبقًا والنموذج المضبوط والمقيمين البشريين لتقييم الاستجابات مقابل مقاييس الجودة والسلامة والأسس المذكورة أعلاه.
وقد تمكنوا حتى الآن من استنتاج ما يلي:
- تتحسن مقاييس الجودة مع عدد المعلمات.
- تتحسن السلامة مع الضبط الدقيق.
- يتحسن التأريض مع زيادة حجم النموذج.
كيف سيتم استخدام LaMDA؟
على الرغم من أن العمل لا يزال قيد التقدم مع عدم وجود تاريخ إصدار نهائي، فمن المتوقع أن يتم استخدام LaMDA في المستقبل لتحسين تجربة العملاء وتمكين برامج الدردشة الآلية من توفير محادثة أكثر شبهاً بالإنسان.
بالإضافة إلى ذلك، يعد استخدام LaMDA للتنقل في البحث داخل محرك بحث Google احتمالًا حقيقيًا.
آثار LaMDA على تحسين محركات البحث
من خلال التركيز على نماذج اللغة والمحادثة، تقدم Google نظرة ثاقبة لرؤيتها لمستقبل البحث وتسلط الضوء على التحول في كيفية إعداد منتجاتها لتطويرها.
ويعني هذا في النهاية أنه قد يكون هناك تحول في سلوك البحث والطريقة التي يبحث بها المستخدمون عن المنتجات أو المعلومات.
تعمل Google باستمرار على تحسين فهم هدف بحث المستخدمين لضمان حصولهم على النتائج الأكثر فائدة وذات صلة في SERPs.
لا شك أن نموذج LaMDA سيكون أداة رئيسية لفهم الأسئلة التي قد يطرحها الباحثون.
كل هذا يسلط الضوء بشكل أكبر على الحاجة إلى ضمان تحسين المحتوى للبشر بدلاً من محركات البحث.
إن التأكد من أن المحتوى تحادثي ومكتوب مع وضع جمهورك المستهدف في الاعتبار يعني أنه حتى مع تقدم Google، يمكن أن يستمر المحتوى في الأداء الجيد.
من الضروري أيضًا تحديث المحتوى الدائم الخضرة بانتظام لضمان تطوره بمرور الوقت وبقائه ملائمًا.
في ورقة بحثية بعنوان، شارك مهندسو الأبحاث من Google كيف يتصورون أن تطورات الذكاء الاصطناعي مثل LaMDA ستعزز “البحث كمحادثة مع الخبراء”.
لقد شاركوا مثالاً حول سؤال البحث، “ما هي الفوائد والمخاطر الصحية للنبيذ الأحمر؟”
حاليًا، سيعرض Google قائمة مربعات الإجابات التي تحتوي على نقاط نقطية كإجابات على هذا السؤال.
ومع ذلك، يقترحون أنه في المستقبل، قد يكون الرد عبارة عن فقرة تشرح فوائد ومخاطر النبيذ الأحمر، مع روابط للمعلومات المصدرية.
لذلك، سيكون ضمان دعم المحتوى بواسطة مصادر متخصصة أكثر أهمية من أي وقت مضى إذا قام Google LaMDA بإنشاء نتائج بحث في المستقبل.
التغلب على التحديات
كما هو الحال مع أي نموذج للذكاء الاصطناعي، هناك تحديات يجب معالجتها.
ال تحديين رئيسيين يواجه المهندسون Google LaMDA هما الأمان والأرضية.
السلامة – تجنب التحيز
نظرًا لأنه يمكنك سحب الإجابات من أي مكان على الويب، فهناك احتمال أن يؤدي الناتج إلى تضخيم التحيز، مما يعكس المفاهيم التي يتم مشاركتها عبر الإنترنت.
من المهم أن تقع المسؤولية أولاً على عاتق Google LaMDA للتأكد من أنها لا تؤدي إلى نتائج ضارة أو غير متوقعة.
للمساعدة في التغلب على هذه المشكلة، قامت Google بفتح المصادر المستخدمة لتحليل البيانات وتدريبها.
يتيح ذلك لمجموعات متنوعة المشاركة في إنشاء مجموعات البيانات المستخدمة لتدريب النموذج، والمساعدة في تحديد التحيز الحالي، وتقليل مشاركة أي معلومات ضارة أو مضللة.
التأريض الفعلي
ليس من السهل التحقق من موثوقية الإجابات التي تنتجها نماذج الذكاء الاصطناعي، حيث يتم جمع المصادر من جميع أنحاء الويب.
للتغلب على هذا التحدي، يقوم الفريق بتمكين النموذج من استشارة مصادر خارجية متعددة، بما في ذلك أنظمة استرجاع المعلومات وحتى الآلة الحاسبة، لتقديم نتائج دقيقة.
يضمن مقياس التأريض الذي تمت مشاركته سابقًا أيضًا أن تكون الاستجابات مستندة إلى مصادر معروفة. تتم مشاركة هذه المصادر للسماح للمستخدمين بالتحقق من صحة النتائج المقدمة ومنع انتشار المعلومات الخاطئة.
ما الخطوة التالية بالنسبة لـ Google LaMDA؟
تدرك Google بوضوح أن هناك فوائد ومخاطر لنماذج الحوار المفتوح مثل LaMDA، وهي ملتزمة بتحسين السلامة والأساسية لضمان تجربة أكثر موثوقية وغير متحيزة.
يعد تدريب نماذج LaMDA على بيانات مختلفة، بما في ذلك الصور أو مقاطع الفيديو، أمرًا آخر قد نراه في المستقبل.
يؤدي هذا إلى فتح القدرة على التنقل بشكل أكبر على الويب باستخدام مطالبات المحادثة.
الرئيس التنفيذي لشركة جوجل ساندر بيتشاي قال لامدا“نعتقد أن قدرات المحادثة الخاصة بـ LaMDA لديها القدرة على جعل المعلومات والحوسبة أكثر سهولة في الوصول إليها واستخدامها.”
على الرغم من أنه لم يتم تأكيد تاريخ الإطلاق بعد، فلا شك أن نماذج مثل LaMDA ستكون مستقبل Google.
المزيد من الموارد:
