ستساعدك المقالة التالية: ChatGPT يأخذ NEET ؛ هل ستمر بألوان متطايرة أم فاشلة؟
يُعرف ChatGPT من OpenAI المدعوم من Microsoft بتعدد استخداماته حيث يمكن لروبوت الدردشة التبديل بين إنشاء أكواد معقدة لتأليف الأغاني بسهولة. تمتد قدراتها إلى ما وراء المجالات الأدبية والتقنية ، حيث لديها الآن مجموعة من الإنجازات الأكاديمية الرائعة للتباهي بها.
إلى جانب حصوله على برنامج ماجستير إدارة الأعمال في جامعة بنسلفانيا وامتحان القانون في كلية الحقوق في مينيسوتا ، نجح روبوت الدردشة في اجتياز امتحان الترخيص الطبي للولايات المتحدة (USMLE) دفعة واحدة ، والذي عادة ما يستغرق الأطباء الطموحين ما يقرب من أربع سنوات وأكثر من عامين في الطب السريري تناوب لمسح.
ولكن ، بعد محاولة فاشلة في UPSC ، هدف قررت التحقق من براعة الطب في ChatGPT. هذه المرة ، جربنا اختبار NEET (UG) ، وهو أحد أصعب امتحانات القبول للطامحين للطب ، والتي تتطلب غالبًا أكثر من محاولة واحدة للدخول إلى أفضل كليات الطب في الهند. ظهر 18 لكح طالبًا للامتحان في عام 2022.
هل ChatGPT ناجح أم فشل؟
قمنا باستجواب ChatGPT على جميع الأسئلة الـ 200 من ورقة NEET 2022 المتوفرة عبر الإنترنت. يتكون من 180 سؤالًا متعدد الخيارات (MCQs) من موضوعات الفيزياء والكيمياء والبيولوجيا (علم النبات وعلم الحيوان). لدى NEET أيضًا 20 سؤالًا إضافيًا تسمى “أسئلة المكافأة / التجربة” والتي لا تحمل أي علامات ولكنها مدرجة لتقييم معرفة وفهم المرشحين للموضوع. لذلك ، قمنا باختبار ChatGPT على 200 سؤال.
كل إجابة صحيحة ستجلب لممتحننا أربع علامات ، بينما كل إجابة خاطئة ستكلفها علامة سلبية واحدة. لقد تخطينا 10 أسئلة من الفيزياء و 15 من الكيمياء و 1 من علم الأحياء لأنها كانت تستند إلى الرسوم البيانية والرسوم البيانية.
على الرغم من تدريب ChatGPT على البيانات حتى عام 2021 فقط ، لم يكن هناك أي سؤال في الورقة يستند إلى الشؤون الجارية.
بالنسبة إلى NEET 2022 ، كانت علامة القطع 50٪ للفئة العامة. وتمكن ChatGPT من ذلك فقط مرر NEET بنسبة 50.14٪ (357 من إجمالي 712 في المجموع). حصل على 90/160 في الفيزياء ، 81/156 في الكيمياء و 186/396 في علم الأحياء.
ضعيف للغاية في علم النبات
ChatGPT طالب ضعيف عندما يتعلق الأمر بعلم الأحياء ، وخاصة علم النبات. أجاب على ما يقرب من نصف الأسئلة في علم الأحياء بشكل غير صحيح ، ومعظمها من علم النبات.
كما هو موضح في لقطة الشاشة أعلاه ، أعلاه. لم يستطع الشات بوت الإجابة على السؤال. الجواب ، حسب الإنترنت وورقة الحل ، هو الذرة. ومع ذلك ، إذا قمت بتعديل موجه الأوامر ، فيمكنه إعطاء الإجابة الصحيحة.
لذلك ، كان من الواضح أن الكثير من اللعبة يعتمد على المطالبات. عندما قمنا بتغيير المطالبات في المحاولة الثانية ، يمكن أن يجيب الشات بوت على العديد من الأسئلة بشكل صحيح. في كل مرة قدمت إجابة خاطئة ، كان لديها تحليلها الخاص الذي تم تصحيحه بسهولة ، عند الطلب.
هذا يعيدنا إلى حقيقة أن LLM عرضة للهلوسة. قدمت كل من Google Bard و Microsoft Bing و Meta Galactica ردودًا غير صحيحة أدت إلى انتكاسات كبيرة.
ChatGPT هو طفل متوسط
تعتمد ChatGPT على التوزيع الاحتمالي لأن LLMs هي بطبيعة الحال غير حتمية (تنبؤات الرمز المميز التالي) وليست “مفهومة”. في محادثة مع ديبارغيا داس، مهندس مؤسس في جلين ، على ماجستير في القانون والهلوسة ، قال هدف أن LLMs تكافح مع الرياضيات الأساسية التي تتضمن أعدادًا كبيرة لأنها تركز على توقع الرمز المميز التالي ، بدلاً من حساب الإجابة.
“قد لا تقدم LLM دائمًا معلومات دقيقة لأنها تعتمد على توزيعات احتمالية وقد تتأثر بأمثلة للمعلومات غير الصحيحة. يمكن استخدام تقنيات الاسترجاع المعزز في حل هذه المشكلة ، حيث يولد النموذج إجابات بناءً على معلومات من مصادر ويب موثوقة “.
على عكس روبوتات الدردشة ، يكون الأمر أكثر صعوبة على البشر. يتم تدريب ChatGPT على معامل 175B مذهل ، على عكس الدماغ البشري. تحدثنا إلى العديد من طلاب الطب لفهم لماذا يستغرق الأمر أكثر من عام لكسر NEET. تخيل أنك تجري اختبارًا حيث معدل نجاحك لا يعتمد على ذكائك أو تفكيرك النقدي ، ولكن على قدرتك على حفظ الحقائق ، خاصة في علم الأحياء. هذا هو الواقع الذي يواجهه طلاب الطب الطموحون في الهند لاجتياز اختبار NEET.
انجالي ساركارقال ، طالب الطب في السنة الثالثة في كلية ومستشفى آر جي كار الطبية المرموقة ، كولكاتا ، “إضافة إلى الخطر هو الضغط الذي يأتي مع الإجابة على 180 سؤالًا يدويًا في 180 دقيقة تخصص دقيقة واحدة لكل سؤال. مخطط الإجابة يجعل من إجراء تغييرات لا رجعة فيه. لذا ، بغض النظر عن مدى نجاح ChatGPT في الطب ، فمن المؤكد أنه لا يمكنه التنافس مع الصراعات الحقيقية التي نواجهها “.
يلاحظ Yann Lecun ، رئيس Meta AI ، أن ChatGPT يمكن أن يكون “مفيدًا وممتعًا” ولكنه لا يمكن أن ينافس الذكاء البشري وهو ليس أكثر من وسيلة مساعدة في الكتابة على الأكثر. حتى رئيس أوبن إيه آي ، سام ألتمان ، أقر بأن الشات بوت محدود بشكل لا يصدق ، ولا ينبغي الاعتماد عليه في الاستفسارات الواقعية. لكن OpenAI تعمل باستمرار على تحسينها.
إن ChatGPT محدود بشكل لا يصدق ، ولكنه جيد بما يكفي في بعض الأشياء لخلق انطباع مضلل بالعظمة.
من الخطأ الاعتماد عليها في أي شيء مهم في الوقت الحالي. إنها معاينة للتقدم. لدينا الكثير من العمل الذي يتعين القيام به بشأن المتانة والمصداقية.
– Sam Altman (sama) 11 ديسمبر 2022
لذا ، ماذا لو لم يكن ChatGPT موظفًا حكوميًا في الهند ، فيمكن أن يكون طبيبًا عاديًا بالتأكيد.
