ستساعدك المقالة التالية: Meet Vicuna: برنامج محادثة مفتوح المصدر يحقق جودة ChatGPT بنسبة 90٪ ويستند إلى LLaMA-13B
أصبحت نماذج اللغات الكبيرة مؤخرًا شائعة بشكل كبير وهي في الغالب في العناوين الرئيسية. يعد GPT-4 ، الذي تم إصداره مؤخرًا في مارس 2023 ، أحد أشهر نماذج المحولات. إنها التكنولوجيا الكامنة وراء ChatGPT الشهيرة التي طورتها شركة OpenAI. يمكن لروبوت الدردشة إنشاء معلومات نصية وتقليد البشر في الإجابة على الأسئلة. بعد النجاح الكبير الذي حققته GPT 3.5 ، يعد GPT-4 أحدث معلم في توسيع نطاق التعلم العميق والذكاء الاصطناعي التوليدي.
بخلاف الإصدار السابق ، GPT 3.5 ، الذي يسمح لـ ChatGPT فقط بأخذ المدخلات النصية ، فإن أحدث GPT-4 متعدد الوسائط بطبيعته ، مما يعني أنه يقبل النص والصور كمدخلات. تم إصدار نموذج آخر من هذا القبيل يسمى LLaMA (نموذج Meta AI كبير للغة) بواسطة Meta AI في شهر فبراير 2023. مع معلمات 13B ، ذكر الباحثون وراء تطوير LLaMA كيف أن أداء النموذج في معظم معايير NLP تجاوز 175 B GPT- 3. كان أكبر نموذج منافسًا لأحدث الموديلات مثل PaLM و Chinchilla.
يأتي الآن Vicuna ، وهو برنامج محادثة مفتوح المصدر مزود بمعلمات 13B ، تم تطويره بواسطة فريق من جامعة كاليفورنيا في بيركلي ، و CMU ، وستانفورد ، وجامعة كاليفورنيا في سان دييغو ، وتم تدريبه عن طريق ضبط LLaMA على المحادثات التي يشاركها المستخدم. تم جمع المحادثات من ShareGPT عبر واجهات برمجة التطبيقات العامة. ShareGPT هو امتداد كروم يسمح للمستخدمين بمشاركة محادثاتهم السابقة ChatGPT مع الآخرين بنقرة واحدة فقط. تم إنشاء Vicuna ببساطة عن طريق ضبط النموذج الأساسي لـ LLaMA. لقد استخدمت حوالي 70 ألف محادثة مشتركة من قبل المستخدمين على ShareGPT.
تمت مشاركة رمز التدريب والخدمة والتقييم على https://github.com/lm-sys/FastChat. ذكر الباحثون أنه أثناء جمع بيانات المحادثات ، تم تحويل جزء HTML مرة أخرى إلى لغة markdown. تم إجراء ذلك لتصفية المحادثات التي كانت غير مناسبة أو ذات جودة منخفضة. علاوة على ذلك ، تم تقسيم المحادثات المطولة إلى مقاطع أصغر بحيث تناسب الحد الأقصى لطول السياق للنموذج.
تم بناء النموذج على الجزء العلوي من الألبكة في ستانفورد مع بعض التحسينات مثل –
- تحسين الذاكرة – تمت زيادة الحد الأقصى لطول السياق من 512 في الألبكة إلى 2048 ، مما يزيد من متطلبات ذاكرة وحدة معالجة الرسومات. تمت معالجة استخدام الذاكرة باستخدام نقاط التحقق المتدرجة ووميض الانتباه.
- محادثات متعددة الجولات – تم تعديل عملية التدريب لمراعاة المحادثات متعددة الجولات. يسمح هذا لروبوت المحادثة بالاستجابة بشكل أكثر دقة للمحادثات متعددة الجولات للحصول على تجربة عالية الجودة.
- خفض التكلفة – تم استخدام البقعة المُدارة من SkyPilot لخفض تكاليف التدريب باستخدام مثيلات أرخص مع الاسترداد التلقائي وتبديل المنطقة. ساعد هذا في تدريب طراز 7B مقابل 140 دولارًا ونموذج 13B لحوالي 300 دولار.
قام الفريق الذي يقف وراء LLaMA بتقييم أداء Vicuna باستخدام نموذج GPT-4. حصلت Vicuna على بعض النتائج الرائعة وحققت درجة جودة تزيد عن 90٪ بالمقارنة مع روبوتات الدردشة الشهيرة الأخرى مثل ChatGPT و Google Bard. كان أداؤه أفضل من نماذج روبوتات الدردشة مثل LLaMA و Stanford Alpaca في أكثر من 90٪ من الحالات. تبلغ التكلفة الإجمالية لتدريب Vicuna حوالي 300 دولار ، مما يجعله حلاً جيدًا وفعالًا من حيث التكلفة لتطوير chatbot.
يعد Vicuna-13B تطورًا رائعًا منخفض التكلفة في مجال روبوتات المحادثة. على الرغم من أنه يحتوي على بعض القيود عندما يتعلق الأمر بالمنطق أو الرياضيات ، إلا أنه يمكن أن يكون مفيدًا وواعدًا للاستخدام في المستقبل مع بعض المزيد من البحث والتعديلات.
