الغش المعيار المحمول: عندما يوفره بائع SoC كخدمة

يحتوي الغش المعياري على الهاتف المحمول على قصة طويلة تعود بعيدًا عن الصناعة (جيدًا – على الأقل في سنوات صناعة الهواتف الذكية) ، وكانت أيضًا موضوع تغطية مثير للجدل في AnandTech لعدة سنوات حتى الآن.

أتذكر في عام 2013 حيث كنت أخطأت براين وأناند ببعض الخدع التي كانت تقوم بها سامسونج على GPU لشرائح Exynos على Galaxy S4 ، فقط من أجل الشيء الذي سينفجر في تحليل أوسع للممارسة بين العديد من البائعين المحمول في ذلك الوقت – مع إدانتهم جميعًا. في نهاية المطاف ، انتهت قضية Samsung بحكم دعوى قضائية جماعية ناجح بقيمة 13.4 مليون دولار ضد الشركة – مع حقك وتم الاستشهاد بـ AnandTech في ملف المحكمة.

نجح التسمية والتشهير على مدى السنوات التالية ، حيث تخلى البائعون بسرعة عن هذه الأساليب خوفًا من ردة فعل وسائل الإعلام – تفوق السلبيات بكثير على الإيجابيات.

ولكن في السنوات الأخيرة شهدنا عودة كبيرة لهذه الأساليب ، خاصة من البائعين الصينيين. حدث هذا في الغالب لجمهورنا الغربي أكثر هذا لهواوي قبل بضعة أجيال فقط مع آليات تعطل بشكل أساسي الاختناق الحراري للهواتف – مما يسمح بمعايير أكثر تطلبًا بشكل أساسي من خلال حرق SoC إلى أقصى حد حتى الإغلاق الحراري. ساعدت التسمية والتشهير هنا مرة أخرى ، حيث انتقلت الشركة من استخدام آليات غير مرئية إلى شيء أكثر صدقًا وشفافية ، وأقل إشكالية لأجهزة المتابعة.

تكمن المشكلة في أن سوق الموردين الصينيين لا يزال ضخمًا ، ولا يمكننا تشريح كل جهاز وبائع هناك. ظل الغش في المعايير هنا مشكلة حقيقية وممارسة شائعة. كان الأساس المنطقي لشركة Huawei في ذلك الوقت هو أنهم شعروا أنهم بحاجة إلى القيام بذلك لأن الآخرين فعلوا ذلك أيضًا – ولم يرغبوا في فقدان وجههم للمنافسة فيما يتعلق بالقدرة التسويقية للأرقام المعيارية.

ولكن الاختلاف الكبير هنا هو أنه كان هناك دائمًا نوعًا ما من جدار الحماية في تغطيتنا بين ما فعله بائع الجهاز ، وما تمكّنه بائعو الشرائح من القيام به ، وهنا نصل إلى سلوك MediaTek على مدى السنوات القليلة الماضية. في معظم الحالات السابقة ، نلقي باللوم دائمًا على موردي الأجهزة بسبب الغش حيث كانت آلياتهم ومبادرتهم – لم يكن لدينا دليل على التمكين من قبل موردي الشرائح ، على الأقل حتى الآن.

هيليو P95 يتفوق على البعد 1000 لتر ؟!

لفت انتباهي كل شيء عندما تلقيت لأول مرة هاتف Reno3 Pro الجديد من Oppo – النسخة الأوروبية مع مجموعة شرائح Helio P95 من MediaTek. فاجأني الهاتف قليلاً في البداية ، كما هو الحال في معايير الأنظمة مثل PCMark ، فقد كان يثقب فوق وزنه تمامًا وما كنت أتوقعه من فئة Cortex-A75 SoC. أصبحت الأمور أكثر غرابة عندما تلقيت Reno3 الصيني مع MediaTek Dimensity 1000L – شريحة أكثر قوة وأحدث ، ولكنها كانت لسبب ما أسوأ من أداء شقيقها P95. عندما ترى مثل هذه النتائج الغريبة ، تنطلق أجراس الإنذار نظرًا لوجود شيء خاطئ تمامًا.

انتهى الأمر برمته في رحلة أسفل حفرة الأرنب.

الأداء الحقيقي مقابل الأداء الغش
(Oppo Reno3 Pro P95)

بطبيعة الحال ، ولسوء الحظ ، كان رأيي الأول أنه يجب أن يكون هناك نوع من الغش. لقد اتصلنا بأصدقائنا في UL للحصول على نسخة مجهولة من PCMark – كما كانت الفرق الموجودة في الماضي مساعدة كبيرة في ردع سلوك الغش في الصناعة. ولم يكن هناك مفاجأة كبيرة ، فقد اختلفت نسختا المعيار في درجاتهما – لكنني كنت لا أزال أشعر بالذعر من حجم دلتا النتيجة: فرق 30٪ في النتيجة الإجمالية ، مع اختلاف يصل إلى 75٪ في الاختبارات الفرعية المهمة مثل كحمل عمل الكتابة.

بعض المعلومات الأساسية عن PCMark ولماذا نستخدمه: إنه ليس معيارًا حقيقيًا يتم استهدافه عادةً للكشف والغش ، لأنه معيار نظام يحاول أن يمثل أعباء العمل في العالم الحقيقي واستجابة الجهاز. في حين تلعب الأجهزة هنا بالتأكيد دورًا هنا في النتيجة المعيارية ، إلا أنها تتأثر في الغالب بالبرامج والآليات مثل DVFS والجداول الزمنية. هناك أيضًا حقيقة أنه معيار الأداء والبطارية في جهاز واحد – إذا كنت تغش في جانب واحد من الاختبار عن طريق زيادة الأداء ، فأنت فقط تعوق نفسك في اختبار البطارية. وبالتالي ، من غير المألوف أن يتم التلاعب بالمؤشر ، حيث أنك تقوم بإطلاق النار على نفسك في القدم في نفس الوقت.

لدي أيضًا إصدار Snapdragon 765G من Reno3 Pro ، النموذج الصيني للهاتف (في حين أنهما يشتركان في نفس الاسم ، إلا أنهما لا يزالان مختلفين تمامًا). إذا كان Oppo هو سبب هذه الآلية ، فمن المؤكد أن هذا الجهاز سيكتشف ويغش في PCMark. ولكن في الواقع ليس هذا هو الحال: يبدو أن الجهاز يعمل في مقاييس الأداء تمامًا كما يفعل في أي تطبيق آخر.

حفر أكثر قليلاً للحصول على معلومات حول إصدارات MediaTek من Reno3 ، يبدو أن آلية الغش بأكملها كانت تجلس في مرمى البصر للمستخدمين لعدة سنوات:

Reno3 Pro – القائمة البيضاء "الوضع الرياضي"

في ملفات البرامج الثابتة للجهاز ، يوجد ملف power_whitelist_cfg.xml ، الأكثر شيوعًا في مجلدات / vendor / etc في الهواتف. افحص الملف ، نجد أنه من بين ما يبدو أنه قائمة بالتطبيقات الشائعة مع العديد من تعديلات إدارة الطاقة المطبقة عليها ، مع لو وها ، وكذلك قائمة من المعايير المختلفة. نجد معرف APK لـ PCMark ، ونرى أن هناك بعض تلميحات إدارة الطاقة التي تتم تهيئتها له ، أحدها الشائع يسمى "وضع الرياضة".

قائمة المعايير هنا ليست شاملة للغاية ولكنها تحتوي على أكثر المعايير شيوعًا في الصناعة اليوم – GeekBench و AnTuTu و 3DBench و PCMark وبعض أقدمها مثل Quadrant أو المعيار الصيني الشهير 鲁 大师 / Master Lu. هناك أيضًا معيار تخزين مثل AndroBench2 وهو غريب بعض الشيء – مزيد من التفاصيل حول ذلك لاحقًا.

أحدث الإضافات هنا هي عدد كبير من معايير AI بما في ذلك Master Lu AIBench واختبار ZTH AI Benchmark ، وكلاهما نستخدمه بنشاط هنا في AnandTech لتغطية تلك الجوانب من SoCs والأجهزة.

Reno3 Pro – الاستهداف المعياري غير العام

ما صدمني بالفعل هو تضمين نسخة مؤسسية من GFXBench من Kishonti. لم يتم تكوين تلميح طاقة الوضع الرياضي في القائمة ، ولكن من الواضح أنه يغير إعدادات DVFS والحرارة والجدولة الافتراضية عند استخدام التطبيق. هذه علامة حمراء ضخمة لأنه في هذه المرحلة ، نحن لا نتحدث فقط عن قائمة المعايير التي تستهدف المعايير العامة العامة ، ولكن أيضًا المتغيرات التي تستخدم في الواقع من قبل مجموعة صغيرة فقط من الأشخاص – المنشورات الإعلامية مثلنا. هذا شيء يجب وضعه في الاعتبار في وقت لاحق في القطعة.

وضع الرياضة على رينو 3 (الأبعاد 1000 لتر)

الوضع الرياضي في Reno 3 Pro (P95)

إذن ، ما الذي يفعله هذا "الوضع الرياضي" في الواقع؟ أولاً ، يبدو أنه يعمل على إصلاح بعض خصائص DVFS لـ SoC مثل تشغيل وحدة تحكم الذاكرة بأقصى تردد طوال الوقت. يتم أيضًا إعداد المجدول ليكون أكثر قوة في تتبع الحمل – مما يعني أنه من الأسهل على أعباء العمل أن تزيد نوى وحدة المعالجة المركزية في التردد بشكل أسرع وتبقى هناك لفترة أطول من الوقت ، مع تطبيق بعض آليات التعزيز المألوفة.

لست متأكدًا من أن إدخالات _FPS_ تفعل ذلك ، ولكن نظرًا لتسميتها الواضحة ، فإنها تغير شيئًا لتحسين الأرقام المعيارية. الشيء الغريب هنا هو الإدخالات التي تعزز سرعة نظام الملفات على أجهزة F2FS ، ربما لماذا يتم استهداف معايير مثل AndroBench أيضًا.

إنه (في الغالب) جميع أجهزة MediaTek

إليك الركلة الحقيقية على الرغم من ذلك: هذه الملفات ليست موجودة فقط على أجهزة OPPO ، فهي موجودة كثيرًا في عدد كبير من الهواتف من قبل العديد من البائعين عبر الطيف. تمكنت من الحصول على يدي على بعض مقتطفات البرامج الثابتة للأجهزة المختلفة هناك (لم أكن أملك كل هاتف هنا) ، حيث يوجد لكل واحد منها نفس power_whitelist_cfg.xml موجود في قسم البائعين ، مع إدخالات متطابقة قريبة من القوائم المرجعية. إليك تفاصيل:

* حاضر لكن علق عليه

الأمر المذهل هنا هو مجرد مجموعة متنوعة من الأجهزة الموجودة على هذا. أقدم جهاز هنا هو Sony XA1 مع P20 من عام 2016 ، مشيرًا إلى أن هذا ربما كان موجودًا لبعض الوقت. يبدو أن هذا الجهاز يحتوي أيضًا على أقل قائمة "كاملة" من المعايير ، ولا سيما تفتقر إلى اختبارات الذكاء الاصطناعي الأحدث.

حقيقة أن سوني لديها هذا في الملفات هي الأكثر إثارة للقلق حيث يجب أن تكون بائعًا "نظيفًا" ويتجنب مثل هذه الممارسات. ما هو واضح هنا هو أن هذه الآلية ليست نابعة من البائعين الأفراد ، ولكنها تنشأ من MediaTek ومدمجة في BSP من SoC (حزمة دعم المجلس).

Oppo Reno3 Pro (P95) – البرامج الثابتة الجديدة مقابل البرامج الثابتة الأولية (القوائم ذهبت)

ما هو أكثر إثارة للشك في الواقع ونحن محظوظون جدًا هنا من حيث الإمساك بهذا ، هو أن هذه القوائم على ما يبدو في عملية إخفاء. لقد قمت باستخراج الملفات من جهاز Reno3 Pro الخاص بي على برنامجها الثابت الأولي الجاهز. على مدار الأسابيع القليلة الماضية ، قام OPPO بدفع تحديث البرامج الثابتة إلى الهاتف – وعندما تفحصت شيئًا ما مرة أخرى في الملف ، فوجئت برؤية إدخالات المعيار تختفي.

هل تم تعطيل الآلية؟ هل توقفوا عن الغش؟ للاسف لا. لا أعرف إلى أين تم نقل الإدخالات إلى الآن ، ولكن لا يزال الهاتف يشغل إلى حد كبير الوضع الرياضي في المعايير بنفس تعزيز الأداء الكبير. لم تتم إزالة الإدخالات فقط ، بل تم إخفاؤها في مكان آخر.

الوصول إلى MediaTek واستجابتها

لقد كنا قلقين للغاية بشأن كل هذه النتائج ، وتواصلنا مع MediaTek قبل عدة أسابيع. شرحنا النتائج التي توصلنا إليها ، والمخاوف التي لدينا من موردي شركة نفط الجنوب الذين يقدمون هذه الآلية بالفعل. لقد حصلنا أخيراً على رد رسمي منهم ، نقلاً عن ما يلي:

بيان MediaTek لشركة AnandTech

يتبع MediaTek معايير الصناعة المقبولة وهو واثق من أن اختبارات قياس الأداء تمثل بدقة قدرات شرائحنا. نحن نعمل بشكل وثيق مع صانعي الأجهزة العالمية عندما يتعلق الأمر باختبار وقياس الأجهزة التي تعمل بمجموعات شرائحنا ، ولكن في النهاية تتمتع العلامات التجارية بالمرونة لتكوين أجهزتها الخاصة على النحو الذي تراه مناسبًا. تقوم العديد من الشركات بتصميم أجهزة تعمل على أعلى مستويات الأداء الممكنة عند تشغيل اختبارات قياس الأداء لإظهار القدرات الكاملة للشرائح. هذا يكشف ما هي النهاية العليا لقدرات الأداء على أي شرائح معينة.

بالطبع ، في سيناريوهات العالم الحقيقي ، هناك العديد من العوامل التي ستحدد أداء الشرائح. تم تصميم شرائح MediaTek لتحسين الأداء والأداء لتوفير أفضل تجربة مستخدم ممكنة مع زيادة عمر البطارية إلى أقصى حد. إذا كان شخص ما يشغل برنامجًا مكثفًا للحوسبة مثل لعبة متطلبة ، فستتكيف مجموعة الشرائح بذكاء مع أنماط الحوسبة لتقديم أداء مستمر. وهذا يعني أن المستخدم سيشهد مستويات مختلفة من الأداء من تطبيقات مختلفة حيث تدير مجموعة الشرائح بشكل ديناميكي وحدة المعالجة المركزية ووحدة معالجة الرسومات وموارد الذاكرة وفقًا للقوة والأداء المطلوبين للحصول على تجربة مستخدم رائعة. بالإضافة إلى ذلك ، لدى بعض العلامات التجارية أنواع مختلفة من الأوضاع قيد التشغيل في مناطق مختلفة ، لذا قد يختلف أداء الجهاز بناءً على متطلبات السوق الإقليمية.

نعتقد أن عرض الإمكانات الكاملة لمجموعة الشرائح في اختبارات قياس الأداء يتماشى مع ممارسات الشركات الأخرى ويعطي المستهلكين صورة دقيقة عن أداء الجهاز.

البيان مخيّب للآمال بشكل عام ، لكن دعنا نتناول بضع نقاط رئيسية تحاول الشركة إثارتها.

يحاول البيان أن يقول أنه من خلال فرض المقابض القابلة للتكوين المختلفة ، فإن الأرقام المرجعية ستمثل بشكل أفضل قدرات الأجهزة لـ SoC. بمعنى ما ، هذا صحيح في الواقع وكان نقطة نقاش مثيرة للجدل فيما يتعلق بكامل الغش القياسي على مر السنين مع العديد من البائعين. يحدث ذلك فقط عندما يفتح بائع قياس الأداء فجأة حالات أداء غير قابلة للتحقيق في هذه المعايير حيث لم تعد الحجة صالحة. للوهلة الأولى على الأقل ، لا يبدو أن هذا هو الحال بالنسبة لـ MediaTek – على الرغم من أنه ليس لدي معلومات فنية أكثر تفصيلاً حول ما تفعله بعض خيارات التكوين "الوضع الرياضي".

لكن المشكلة في هذه الحجة هي أنها تنهار في مواجهة معايير الغش التي لا تستهدف فقط مكونات الأجهزة الفعلية لـ SoC – مثل كيفية اختبار GeekBench لسرعات وحدة المعالجة المركزية أو كيف تتحقق GFXBench من مدى سرعة وحدة معالجة الرسومات ، ولكن أيضًا المعايير التي تحاول بنشاط أن تكون معايير تجربة المستخدم ، مثل PCMark. هذا هو عبء عمل محاكٍ في العالم الحقيقي يحاول نقل استجابة الهاتف ككل ، وليس فقط مجموعة الشرائح.

حقيقة أن MediaTek يخدع مثل هذا الاختبار يتعارض مباشرة مع فقرته الثانية من مجموعات الشرائح التي تقدم أداءًا محسنًا في العالم الحقيقي. إذا كان هذا هو الحال ، ألن يكون من الأفضل السماح للشرائح والبرامج بإثبات ذلك بصدق؟ ما علاقة معايير تخزين الغش وأنظمة الملفات بقدرات مجموعة الشرائح؟

إن مطالبة MediaTek بالباعة الذين يقدمون أوضاع أداء مخصصة صحيحة. وقد تم تقديم هذا على الأخص ، على الأقل بالنسبة للبائعين مثل Huawei – كنتيجة مباشرة لنا للاتصال بهم على سلوك الغش غير الشفاف الافتراضي لأجهزتهم.

موجه وضع الأداء العالي على أجهزة ممن لهم.

على أجهزة Oppo ، والعديد من أجهزة البائعين الصينية الأخرى ، وضعوا خيار "وضع الأداء العالي" في الإعدادات. يختلف هذا في الواقع قليلاً إلى حد ما عن أوضاع "الأداء العالي" المعتادة التي نستخدمها من البائعين مثل Samsung أو شركة Huawei مؤخرًا ، حيث إن هذا في الأساس هو مجرد مفتاح للحصول على DVFS والأداء القابل للضبط. إنه موجود أيضًا في هواتف Snapdragon ، وقد تحدثنا عنه في مراجعتنا لـ Reno 10x العام الماضي. ينتقل الهاتف بشكل أساسي إلى وضع الطاقة العالية للتخلص من أي محاولة لتحقيق الكفاءة ؛ إنه وضع لا معنى له وغير قابل للاستخدام في حالات الاستخدام كل يوم بخلاف الحصول على درجات عالية.

الشيء هو – نحن نأمل أن يكون المستخدمون المتعلمون ، و MediaTek كبائع SoC – لا يهتمون بأوضاع التشغيل هذه.

ما زلت أعتبرها تسوية جيدة بين توصيل الهواتف في حالة "افتراضية" نزيهة ، وما زلت تعطي الخيار للأشخاص (والمراجعين) هناك لتحقيق أرقام مرجعية عالية غير مقيد إذا كانوا يرغبون في ذلك. الفرق هنا هو شفافية الآلية – تخبرك شركة Oppo على سبيل المثال تمامًا أن جهازك سوف يسخن. من ناحية أخرى ، يتم الكشف عن الكشف القياسي لـ MediaTek.

يشير MediaTek أيضًا إلى "متطلبات السوق" مما يجعلها تفعل ذلك وكونها "معيارًا صناعيًا" ، وللأسف هذا صحيح مرة أخرى ويعالج جوهر المشكلة.

لن تكون هذه الآليات موجودة إذا لم يكن هناك طلب من قبل البائعين لـ MediaTek لتقديم مثل هذه الحلول. من منظور MTK ، إنهم يحاولون فقط تلبية احتياجات العملاء وجعلهم سعداء. هناك سؤال من الذي جاء أولاً بالفعل – هل طورت MTK الاكتشاف من تلقاء نفسها ، أم كان أحد العملاء هو الذي طلبها منه في وقت ما في الماضي؟

نظرًا لعدم وجود أدلة على وجود بائعي SoC آخرين هناك مما يتيح آليات مماثلة لموردي الأجهزة ، فإن الأمر الواضح هو أنه كان على MediaTek أن يبقى بعيدًا عن الفوضى ، لأنهم سيخسرون أكثر مما سيحصلون عليه.

كل ما تم تحقيقه الآن هو الانطباع بأن برنامج شرائح الشركة غير محسن بما يكفي ليكون قادرًا على تقديم أداء وكفاءة متسقين بشكل افتراضي ، حيث يحتاج بدلاً من ذلك إلى دفع يدوي حتى يتمكن من مطابقة توقعاته المعيارية الخاصة بمجموعات الشرائح بشكل صحيح.

لقد فقدت بالتأكيد الكثير من الثقة في الأرقام وبشكل عام فقط كنت أكثر تشككًا في الأرقام القياسية التي أديرها – خاصة في الوقت الذي كنت فيه متحمسًا لرؤية MediaTek تعود إلى النهاية العليا مع Dimension 1000 ( والتي تبدو مجموعة شرائح جيدة جدًا – مراجعة للمتابعة في المستقبل).

مع خروج القطة من الحقيبة ومع وجود الأدلة ، أنا متأكد من أن وسائل الإعلام الأخرى التي يمكنها الوصول إلى المزيد من أجهزة MediaTek ستتمكن من التحقق مما إذا كانت الغش أم لا. عملت الإشارة والتشهير في الماضي لصالح Samsung وغيرها من البائعين ، وعملت على سوء تقدير Huawei قبل بضع سنوات – كلاهما على مسار أكثر صحة الآن. آمل فقط أن MediaTek قادرة على تصحيح مسارها هنا ، واتخاذ الطريق السريع ، وإزالة الآليات – وقول "لا" لعملائها عندما يطلبون مثل هذه الميزة مرة أخرى.