الأخبار التكنولوجية والاستعراضات والنصائح!

أدوبي و ميتا ديكري إساءة استخدام دراسات المستخدم في أبحاث الرؤية الحاسوبية

ستساعدك المقالة التالية: أدوبي و ميتا ديكري إساءة استخدام دراسات المستخدم في أبحاث الرؤية الحاسوبية

قامت Adobe و Meta ، جنبًا إلى جنب مع جامعة واشنطن ، بنشر انتقادات واسعة النطاق بشأن ما يزعمون أنه إساءة استخدام وإساءة استخدام متزايدة لدراسات المستخدم في أبحاث رؤية الكمبيوتر (CV).

كانت دراسات المستخدم تقتصر عادةً على السكان المحليين أو الطلاب في جميع أنحاء الحرم الجامعي لواحدة أو أكثر من المؤسسات الأكاديمية المشاركة ، ولكنها انتقلت منذ ذلك الحين تقريبًا بالجملة إلى منصات التعهيد الجماعي عبر الإنترنت مثل Amazon الترك الميكانيكية (AMT).

من بين مجموعة واسعة من المظالم ، تؤكد الورقة الجديدة أن المشاريع البحثية تتعرض لضغوط لإنتاج دراسات من قبل مراجعي الأوراق ؛ غالبًا ما يصوغون الدراسات بشكل سيئ ؛ إجراء دراسات حيث لا يدعم منطق المشروع هذا النهج ؛ وغالبًا ما يتم “التلاعب بها” من قِبل عمال الجماهير الساخرين الذين “يكتشفون” الإجابات المطلوبة بدلاً من التفكير حقًا في المشكلة.

الخمسة عشر صفحة بحث، مقالة (بعنوان) الذي يشتمل على الجسم المركزي للمستويات الورقية الجديدة ، والعديد من الانتقادات الأخرى على الطريقة التي قد تكون بها دراسات المستخدم الجماعي في الواقع تقدمًا في القطاعات الفرعية لرؤية الكمبيوتر ، مثل التعرف على الصور وتوليف الصور.

على الرغم من أن الورقة تتناول شريحة أوسع بكثير من القضايا المتعلقة بدراسات المستخدم ، إلا أن أقوى انتقاداتها محجوزة للطريقة التي في دراسات المستخدم (على سبيل المثال ، عندما يتم دفع أجور البشر في دراسات المستخدمين لإصدار أحكام قيمة على – على سبيل المثال – ناتج جديد. خوارزميات تركيب الصور) قد تؤثر سلبًا على القطاع بأكمله.

دعنا نلقي نظرة على مجموعة مختارة من بعض النقاط المركزية.

تفسيرات مثيرة

من بين مجموعة المقترحات البحثية لأولئك الذين ينشرون في قطاع رؤية الكمبيوتر ، التحذير من “تفسير النتائج بعناية”. تستشهد الورقة بمثال واحد من عام 2021 ، عندما أ عمل بحثي جديد الادعاء بأن “الأفراد غير قادرين على تحديد العمل الفني الذي تم إنشاؤه بواسطة الذكاء الاصطناعي بدقة” كان نسج على نطاق واسع في الصحافة الشعبية.

مصادر: بريد يومي (رابط الأرشيف) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

يذكر المؤلفون *:

التعامل مع عمال الحشود الذين يغشون

لا يتم عادةً دفع أجور كبيرة للعاملين في حشد الموارد مقابل جهودهم. نظرًا لأن آفاقهم ضئيلة ، وأفضل إمكاناتهم في الكسب تكون من خلال إكمال حجم كبير من المهام ، فإن العديد منهم ، كما تشير الأبحاث ، يميلون إلى اتخاذ أي “ طريق مختصر ” من شأنه أن يسرع على طول المهمة الحالية حتى يتمكنوا من الانتقال إلى التالي “الحفلة” الثانوية.

تلاحظ الورقة أن العاملين في التعهيد الجماعي ، مثلهم مثل أنظمة التعلم الآلي ، سوف يتعلمون أنماطًا متكررة في دراسات المستخدم التي يصوغها الباحثون ، ويستنتجون ببساطة الإجابة “الصحيحة” أو “المرغوبة” ، بدلاً من إنتاج استجابة عضوية حقيقية للمادة.

تحقيقا لهذه الغاية ، توصي الورقة بإجراء فحوصات على العمال الذين تم تعهيدهم بشكل جماعي ، والمعروف أيضًا باسم “تجارب التحقق من الصحة” أو “الحراس” – وهي أقسام مزيفة من الاختبار مصممة لمعرفة ما إذا كان العامل منتبهًا أو ينقر عشوائيًا أو يتبع ببساطة النموذج الذي استنتجوه بأنفسهم من الاختبارات ، بدلاً من التفكير في اختياراتهم.

يذكر المؤلفون:

التعامل مع الباحثين الذين يغشون

بقصد أو بدون قصد ، يمكن للباحثين أن يكونوا متواطئين في هذا النوع من “الألعاب” ؛ هناك طرق عديدة لهم ، ربما حتى عن غير قصد ، “للإشارة” إلى اختياراتهم المرغوبة لعمال الحشد.

على سبيل المثال ، تلاحظ الورقة ، من خلال اختيار عمال جماعي لديهم ملفات شخصية قد تساعد في الحصول على إجابات “مثالية” في دراسة ما ، مما يثبت فرضية ربما تكون قد فشلت في مجموعة أقل “انتقائية” وأكثر تعسفًا.

العبارات اللغوية هي أيضًا مصدر قلق رئيسي:

هناك طريقة أخرى “للتأثير اللطيف” على المشاركين وهي إخبارهم ، صراحةً أو ضمنيًا ، بأي من الخيارات الممكنة أمامهم هو طريقة المؤلف ، وليس طريقة سابقة أو عينة عشوائية.

تقول الورقة *:

يمكن أن يؤثر تنسيق المهمة في دراسة المستخدم أيضًا على حيادية الدراسة. لاحظ المؤلفون أنه في حالة العرض التقديمي جنبًا إلى جنب ، يتم وضع خط الأساس باستمرار على اليسار (أي “الصورة أ”) وإخراج الخوارزمية الجديدة على اليمين ، يمكن للمشاركين في الدراسة أن يستنتجوا أن “ب” هي ” الخيار الأفضل ، بناءً على افتراضهم المتزايد للنتائج المرجوة من الباحثين.

الأشخاص الخطأ في المنتج الخاطئ

لاحظ المؤلفون في عدة نقاط في الورقة البحثية أن التعهيد الجماعي هو مصدر “عام” أكثر مما كان متوقعًا في العقود السابقة ، عندما أُجبر الباحثون على طلب المساعدة محليًا ، غالبًا من طلاب هيئة التدريس الذين يكملون دخلهم من خلال المشاركة في الدراسة.

إن مطلب المشاركة النشطة يترك مجالًا صغيرًا للعاملين في الحشد المأجور ليكون “ غير مرتبك ” بالمنتج الذي يختبرونه ، ويوصي مؤلفو الورقة البحثية أن الباحثين قبل تطوير واختبار منتج أو خدمة محتملة – وإلا فإن المخاطرة بإنتاج شيء من الصعب جدًا إنشاؤه ، ولكن لا أحد يريد ذلك في الواقع.

تلاحظ الورقة كذلك أنه يجب اختيار المستخدمين الذين من المحتمل أن يستخدموا منتجًا للدراسات ، حتى لو لم يكن من السهل العثور عليهم (أو ، على الأرجح ، رخيصة جدًا).

بدلاً من العودة إلى التوظيف في الحرم الجامعي (والتي قد تكون خطوة إلى الوراء إلى حد ما) ، يقترح المؤلفون أن الباحثين “يجندون المستخدمين في البرية” ، والانخراط مع المجتمعات ذات الصلة.

أخذ العينات كرة الثلج

التماس التعليقات

توصي الورقة أيضًا بالتماس تعليقات نوعية من أولئك الذين شاركوا في دراسات المستخدم ، لأسباب ليس أقلها أن هذا يمكن أن يكشف عن افتراضات خاطئة من جانب الباحثين.

كما هو الحال مع العديد من التوصيات في جميع أنحاء الورقة ، تتضمن هذه التوصية الخاصة مزيدًا من الإنفاق للوقت والمال من جانب الباحثين ، في ثقافة يلاحظ العمل أنها تتخلف عن دراسات المستخدم التعهيد الجماعي والإلزامية عمليًا ، والتي عادة ما تكون عادلة رخيصة الثمن ، والتي تتوافق مع ثقافة ناشئة قائمة على الدراسة والتي تنتقدها الورقة طوال الوقت.

درس أكثر من اللازم

تشير الورقة البحثية إلى أن دراسات المستخدم أصبحت نوعًا من “الحد الأدنى من المتطلبات” في مجتمع رؤية الكمبيوتر قبل الطباعة ، حتى في الحالات التي لا يمكن فيها صياغة دراسة بشكل معقول (على سبيل المثال ، مع فكرة جديدة أو هامشية بحيث لا توجد ” تحليل المثل بالمثل ، والذي قد لا يكون عرضة لأي مقياس معقول يمكن أن يؤدي إلى نتائج ذات مغزى في دراسة المستخدم).

كمثال على “دراسة البلطجة” (وليس عبارة المؤلفين) ، يستشهد الباحثون بحالة ورقة ICLR 2022 التي تم إجراء مراجعات الأقران لها متوفر على الانترنت (لقطة أرشيفية مأخوذة في 24 يونيو 2022 ؛ الرابط مأخوذ مباشرة من الورقة الجديدة) †:

يذكر المؤلفون أنهم رأوا المراجعين والمحررين يفرضون “متطلبات تقييم مرهقة” على الأوراق المقدمة ، بصرف النظر عما إذا كانت هذه التقييمات سيكون لها بالفعل أي معنى أو قيمة.

يغلق المؤلفون الورقة بعبارة مركزية “دعوة للعمل” ، لكي تنظر مجتمعات رؤية الكمبيوتر ورسومات الكمبيوتر بشكل كامل في طلباتهم لدراسات المستخدم ، بدلاً من السماح للثقافة القائمة على الدراسة بالتطور على أنها افتراضية عن ظهر قلب ، على الرغم من “الحافة” الحالات التي قد لا تناسب بعض الأعمال الأكثر إثارة للاهتمام بعضًا من أكثر البحوث ربحًا أو مثمرًا وخطوط أنابيب التقديم.

استنتج المؤلفون: