ستساعدك المقالة التالية: هل يعمل نموذج المقطع أي شيء للصور الطبية؟ توضح دراسة الذكاء الاصطناعي هذه
يعد تجزئة الصور ، والذي يتضمن تقسيم الأعضاء والتشوهات والعظام والأشياء الأخرى ، مشكلة رئيسية في تحليل الصور الطبية. حقق التعلم العميق تقدمًا كبيرًا في هذا المجال. إن الطبيعة الباهظة الثمن والمستهلكة للوقت لجمع الصور الطبية وتنظيمها ، لا سيما لأن أخصائيي الأشعة المدربين يجب أن يقدموا في كثير من الأحيان تعليقات توضيحية دقيقة للأقنعة ، مما يجعل من الصعب عمليًا تطوير وتدريب نماذج تجزئة لبيانات ومهام التصوير الطبي الجديدة. يمكن تقليل هذه المشكلات إلى حد كبير من خلال إدخال نماذج الأساس والتعلم من الصفر.
استفاد مجال معالجة اللغة الطبيعية من قدرات التحويل النموذجي للنماذج الأساسية. لأداء التعلم الخاسر على بيانات جديدة تمامًا في سياقات مختلفة ، فإن النماذج الأساسية عبارة عن شبكات عصبية مدربة على كمية كبيرة من البيانات ذات المعرفة المبتكرة والأهداف المحفزة التي لا تتطلب عادةً تسميات تدريب تقليدية خاضعة للإشراف. نموذج Segment Anything Model الذي تم إنشاؤه مؤخرًا هو نموذج أساسي أظهر أداءً رائعًا لتجزئة الصور الصفرية على العديد من مجموعات بيانات الصور الواقعية. اختبره باحثون من جامعة ديوك على مجموعة بيانات للصور الطبية.
استجابة للتعليمات التي يوفرها المستخدم ، فإن نموذج المقطع أي شيء (SAM) يهدف إلى تقسيم كائن مهم في صورة ما. يمكن استخدام نقطة واحدة أو مجموعة من النقاط (بما في ذلك قناع كامل) أو مربع محيط أو نص كموجهات. حتى عندما يكون الطلب غير واضح ، يُطلب من النموذج توفير قناع تجزئة مناسب. الفكرة الرئيسية وراء هذه الطريقة هي أن النموذج يمكنه تقسيم أي كائن مشار إليه لأنه تعلم مفهوم الكائن. نتيجة لذلك ، هناك فرصة جيدة لأن تؤدي بشكل جيد في ظل نظام التعلم بدون طلقة وتكون قادرة على تقسيم الأشياء من الأنواع التي لم يسبق لها مثيل من قبل. استخدم مؤلفو SAM بنية نموذجية معينة ومجموعة بيانات كبيرة بشكل خاص بالإضافة إلى الصياغة القائمة على السرعة للوظيفة ، كما هو موضح في ما يلي.
تم تدريب SAM تدريجيًا أثناء تطوير مجموعة الصور وأقنعة الكائنات المصاحبة (SA-1B). تم إجراء ثلاث عمليات في إنشاء مجموعة البيانات. أولاً ، نقر المعلقون على عناصر في سلسلة من الصور والأقنعة المصقولة يدويًا التي أنتجتها SAM ، والتي تم تدريبها على مجموعات البيانات المفتوحة في ذلك الوقت. ثانيًا ، لتوسيع مجموعة الكائنات ، طُلب من المعلقين تقسيم الأقنعة التي لم تنشئها SAM بثقة. تم إنشاء المجموعة النهائية من الأقنعة تلقائيًا عن طريق اختيار أقنعة واثقة ومستقرة وتزويد نموذج SAM بمجموعة من النقاط المنتشرة في شبكة فوق الصورة.
تم تصميم SAM ليحتاج إلى مطالبة واحدة أو أكثر لإنشاء قناع تجزئة. من الناحية الفنية ، يمكن تشغيل النموذج دون طلب أي عناصر مرئية ، لكنهم لا يتوقعون أن يكون هذا مفيدًا للتصوير الطبي نظرًا لوجود العديد من الأشياء الأخرى في الصورة بالإضافة إلى الشيء الذي يثير الاهتمام. لا يمكن استخدام SAM بنفس الطريقة مثل معظم نماذج التجزئة في التصوير الطبي ، حيث يكون الإدخال مجرد صورة والمخرج عبارة عن قناع تجزئة أو أقنعة تجزئة متعددة للعنصر أو الكائنات المطلوبة. هذا لأن SAM يعتمد على الفوري. يقترحون أن هناك ثلاثة تطبيقات رئيسية لـ SAM في تقسيم الصور الطبية.
يستلزم الأولان تدريب نماذج جديدة ، أو إنشاء أقنعة ، أو شرح البيانات باستخدام نموذج Segment Anything Model نفسه. لا تتضمن هذه الأساليب تعديلات SAM. الطريقة الأخيرة هي تطوير وشحذ نموذج يشبه SAM خصيصًا للصور الطبية. ثم يتم شرح كل استراتيجية. نظرًا لأن SAM لا يزال في مرحلة إثبات المفهوم مع مطالبة تستند إلى النص ، يرجى ملاحظة أنهم لا يقدمون أي تعليقات هنا. الشرح شبه الآلي “الإنسان في الحلقة”. إحدى العقبات الرئيسية التي تحول دون إنشاء نماذج تجزئة في هذا التخصص هي التعليقات التوضيحية البشرية للصور الطبية ، والتي غالبًا ما تستغرق وقتًا ثمينًا للأطباء.
يمكن استخدام SAM كأداة للتعليق التوضيحي بشكل أسرع في هذه الحالة. هناك عدة طرق للقيام بذلك. في السيناريو الأساسي ، يطلب المستخدم البشري SAM ، والذي ينشئ قناعًا قد يقبله المستخدم أو يعدله. قد يتم تحسين هذا بشكل متكرر. يعد وضع “تقسيم كل شيء” خيارًا آخر ، حيث يتلقى SAM تعليمات موزعة بالتساوي فوق الصورة ويقوم بإنشاء أقنعة للعديد من الأشياء التي قد يقوم المستخدم بتسميتها و / أو انتقاءها و / أو تعديلها لاحقًا. هناك العديد من الخيارات بعد ذلك ؛ هذه ليست سوى البداية.
