ستساعدك المقالة التالية: تقترح أبحاث Microsoft BioGPT: نموذج لغة محول إنشائي خاص بالمجال تم تدريبه مسبقًا على الأدب الطبي الحيوي واسع النطاق
مع الاختراقات التكنولوجية الحديثة ، بدأ الباحثون في استخدام العديد من تقنيات التعلم الآلي على وفرة البيانات الطبية الحيوية المتوفرة. لقد ثبت أن استخدام تقنيات مثل التنقيب عن النصوص واستخراج المعرفة في الأدبيات الطبية الحيوية أمر بالغ الأهمية في تطوير أدوية جديدة ، والعلاج السريري ، وأبحاث علم الأمراض ، وما إلى ذلك. يتم نشر عدد متزايد من المنشورات الطبية الحيوية يوميًا بسبب التقدم العلمي المستمر ، مما يستلزم الحاجة المستمرة إلى استخلاص معلومات مفيدة من هذه المادة. هذا هو المكان الذي تلعب فيه النماذج اللغوية المدربة مسبقًا. اكتسب باحثو الطب الحيوي اهتمامًا كبيرًا بنماذج اللغة المدربة مسبقًا نظرًا لفعاليتها الاستثنائية في مجال اللغة الطبيعية العامة.
ومع ذلك ، فإن أداء هذه النماذج عند استخدامها مباشرة في مجال الطب الحيوي لم يكن كافيا. تتفوق النماذج في العديد من المهام البيولوجية التمييزية ، لكن نطاق تطبيقاتها محدود لأنها تفتقر إلى القدرة على الأجيال. لمواجهة هذه المشكلة ، قام الباحثون في الماضي بتدريب نماذجهم مسبقًا على النصوص الطبية الحيوية. من الفرعين الرئيسيين لنماذج اللغة المدربة مسبقًا في مجال اللغة العام – GPT و BERT ومتغيراتهما ؛ تلقى BERT أكبر قدر من الاهتمام في مجال الطب الحيوي. يعد BioBERT و PubMedBERT من أشهر نماذج اللغة المدربة مسبقًا في صناعة الطب الحيوي والتي حققت أداءً فائقًا مقارنة بالنماذج العامة الأخرى المدربة مسبقًا على النص الطبي الحيوي.
ومع ذلك ، فإن غالبية الأبحاث الحالية تستخدم نماذج BERT ، والتي تعد أكثر ملاءمة لمهام الفهم مقارنة بمهام التوليد. بينما أثبتت نماذج GPT أنها بارعة في توليد المهام ، إلا أن أدائها في المجال الطبي الحيوي لم يخضع للتدقيق الكامل. استجابة لبيان المشكلة هذا ، قدم باحثو Microsoft مؤخرًا BioGPT ، وهو نموذج لغة محول خاص بالمجال تم تدريبه مسبقًا على الأدبيات الطبية الحيوية المكثفة. تم تدريب BioGPT مسبقًا على مجموعة هائلة من 15 مليونًا من ملخصات PubMed وهي مبنية على نموذج لغة Transformer. استخدم الباحثون ست مهام بيولوجية في البرمجة اللغوية العصبية لتقييم نموذج اللغة ، وبعضها يشمل الإجابة على الأسئلة ، وتصنيف المستندات ، واستخراج العلاقة من طرف إلى طرف. وفقًا للعديد من التقييمات التجريبية ، يتفوق BioGPT بشكل كبير على النماذج الأساسية البديلة في معظم المهام.
من أجل التدريب المسبق لنموذج لغوي ، تعد مجموعة البيانات عالية الجودة أمرًا بالغ الأهمية. استخدم الباحثون بيانات نصية في المجال من PubMed لتدريب نموذجهم مسبقًا من البداية. يعمل نموذج GPT-2 ، وهو في الأساس وحدة فك ترميز محول ، كأساس لـ BioGPT. ومع ذلك ، بدلاً من استخدام مفردات GPT-2 ، ركز الباحثون على تعلم المفردات في مجموعة البيانات المجمعة داخل المجال باستخدام تشفير زوج البايت. المكون الأساسي لنموذج BioGPT هو طبقة الانتباه متعددة الرؤوس التي تنتج الاستعلام Q والمفتاح K والقيمة V بعد ثلاثة تحويلات خطية. يتم استخدام هذه بعد ذلك لحساب ناتج طبقة الانتباه متعددة الرؤوس ، والتي يتم إرسالها لاحقًا إلى طبقة التغذية الأمامية لإنشاء كتلة محول.
تم تعديل النموذج المدرّب مسبقًا لاحقًا لتكييف المهام النهائية مثل إنشاء النص والإجابة على الأسئلة واستخراج العلاقة من طرف إلى طرف. في حين أن نوع الإدخال لجميع هذه الأنشطة ، أي التسلسلات ، يظل كما هو ، فإن تنسيقات الإخراج تختلف. وبالتالي ، عند تطبيق BioGPT المدربة مسبقًا على هذه المهام ، نظر الباحثون بعناية في تنسيق التسلسل الفوري والهدف. يحقق BioGPT أداءً متطورًا في ثلاث مهام لاستخراج العلاقة من طرف إلى طرف ومهمة واحدة للإجابة على الأسئلة. بالإضافة إلى ذلك ، فإنه يتفوق على GPT-2 في مهمة إنشاء النص من حيث مهارات إنشاء النص الطبي الحيوي. لتكييف BioGPT مع أنشطة المصب الإضافية ، يعتزم فريق بحث Microsoft تدريبه على نطاق أكبر من البيانات الطبية الحيوية في المستقبل. يمكن الاطلاع على التنفيذ الأساسي لـ BioGPT أدناه.
