ستساعدك المقالة التالية: Finetuning LLaMA على الأوراق الطبية: قابل نموذج PMC-LLaMA-A الذي يحقق أداءً عاليًا في معايير ضمان الجودة الطبية الحيوية
أدى تطوير نماذج اللغة الكبيرة (LLMs) ، مثل ChatGPT و GPT-4 من OpenAI ، إلى إعادة تشكيل الذكاء الاصطناعي في العديد من المجالات ، بما في ذلك معالجة اللغة الطبيعية ورؤية الكمبيوتر ومجال الطب الحيوي. لسوء الحظ ، لا تزال تفاصيل تدريب ChatGPT والبنى النموذجية لمتغيراته غير معروفة. في حين أن LLaMA هو نموذج لغة تأسيسي مفتوح المصدر ، فمن المفترض أن الأداء الضعيف في التطبيقات التي تتطلب معرفة واسعة بالمجال ناتج عن نقص البيانات الخاصة بالمجال خلال مرحلة ما قبل التدريب للنموذج.
تناقش العديد من الدراسات تعديل واستخدام LLMs مفتوحة المصدر لأغراض متخصصة. على سبيل المثال ، ركز Alpaca و Vicuna على توسيع قدرة النموذج على التفاعل من خلال تدريبه بأمثلة على طاعة التعليمات التي تم إنشاؤها تلقائيًا.
اتخذ عمل حديث أجرته جامعة شنغهاي جياو تونغ ومختبر شنغهاي للذكاء الاصطناعي مسارًا مختلفًا عن طريق غرس المعرفة بالمجال في LLaMA واحد تم تدريبه مسبقًا لتوجيه نموذج اللغة التأسيسي نحو مجموعة طبية محددة. يقدمون PMC-LLaMA ، وهو نموذج لغة متاح للجمهور تم تطويره من خلال تحسين LLaMA-7B على 4.8 مليون ورقة أكاديمية طبية. يعتقد الفريق أن المناقشة والاستشارات الطبية ستستفيد أكثر من نموذج اللغة التأسيسي مع التركيز الطبي.
بدأ الفريق بمجموعات بيانات S2ORC ، والتي تحتوي على 81.1 مليون ورقة أكاديمية باللغة الإنجليزية ، وفرزها وفقًا لـ PubMed Central (PMC) -id. لذلك ، فإن ما يقرب من 4.9 مليون ورقة ، بإجمالي أكثر من 75 مليار رمز ، ترتبط ارتباطًا وثيقًا بالمعرفة الطبية. من خلال تحسين هدف التوليد الذاتي ، الذي تم تقديمه لأول مرة في GPT2 ، قاموا بضبط نموذج LLaMA-7B على أوراق PMC هذه المتوفرة مجانًا. إنهم يستخدمون تنسيق البيانات bf16 (Brain Floating Point) ونهج تسريع البيانات المشتركة بالكامل (FSDP) لتسريع عملية التعلم.
يختبر الفريق PMC-LLaMA عن طريق إجراء ثلاثة أنواع مختلفة من الضبط الدقيق لمجموعات بيانات ضمان الجودة الطبية المذكورة أعلاه: الضبط الدقيق الكامل ، والضبط الدقيق للمعلمات ، والضبط الدقيق للبيانات بكفاءة. تظهر نتائج التجارب أن PMC-LLaMA يتفوق على LLaMA والنماذج الأخرى المدربة باستخدام تعليمات LLa-tuned في المجال الطبي عند تعديل التعليمات.
يتمثل أحد أوجه القصور في PMC-LLaMA في أنه لا يمكن العثور على كل رمز مميز في 4.8 مليون ورقة لأنهم دربوا خمس فترات فقط حتى الآن. في المستقبل ، يخططون لتدريب نماذج PMC-LLaMA تدريجيًا بمزيد من المعلمات ، وتدريب PMC-LLaMA باستمرار ، وتحديث النموذج الأساسي على صفحة الوجه المعانقة.
