ستساعدك المقالة التالية: ننسى هالاند ، لدينا Wonderkid جديد: أسلوب الذكاء الاصطناعي هذا يدرب روبوت ذو قدمين مع RL عميق لتعليم مهارات كرة القدم الرشيقة
لقد قطعت الروبوتات شوطًا طويلاً منذ نشأتها. لقد تحولوا من آلات آلية بسيطة إلى أشياء شديدة التعقيد وذكية اصطناعية يمكنها الآن تنفيذ مجموعة من المهام المعقدة. اليوم ، أصبحت الروبوتات تشارك بشكل متزايد في حياتنا اليومية ، وقدراتها تتحسن بمرور الوقت. من الروبوتات التي تساعدنا في تنظيف منازلنا إلى تلك التي تساعد في العمليات الجراحية ، يبدو أنه لا يوجد حد لما يمكن أن تحققه هذه الأعاجيب التكنولوجية.
في الواقع ، بدأ بعض الأشخاص في تطوير روابط عاطفية مع رفاقهم الآليين. خذ ، على سبيل المثال ، قصة رجل اشترى مكنسة كهربائية روبوتية وأطلق عليها اسمًا. لقد أصبح مرتبطًا جدًا بصديقه الآلي الصغير لدرجة أنه كان يتحدث معه ، ويثبته على رأسه ، بل ويتركه يعامله. من الآمن أن نقول إن الروبوتات أصبحت بسرعة جزءًا لا يتجزأ من حياتنا ومجتمعنا.
رغم ذلك ، لم ننتهي بعد من الروبوتات. ما زلنا بحاجة إلى تحسين فهمهم للعالم المادي بطريقة مرنة ، وليس فقط بالطريقة الدقيقة التي أخبرناهم بها. كان الذكاء المتجسد هدفًا طويل المدى للباحثين في مجال الذكاء الاصطناعي والروبوتات. الحيوانات والبشر هم سادة أجسادهم ، قادرون على أداء حركات معقدة واستخدام أجسادهم لإحداث نتائج معقدة في العالم. في النهاية ، ما زلنا نحاول محاكاة الطبيعة في بحثنا ، ولدينا طريق طويل لنقطعه لتحقيق هذا المستوى من المرونة في أدواتنا.
في الآونة الأخيرة ، تسارع التقدم في الأساليب القائمة على التعلم في تصميم عوامل مجسدة ذكية ذات قدرات حركية متطورة. لقد كان التعلم المعزز العميق (Deep RL) هو المساهم الرئيسي في هذا التقدم. لقد أثبتت قدرتها على حل مشاكل التحكم الحركية المعقدة للشخصيات المحاكاة ، بما في ذلك التحكم في الجسم بالكامل المدفوع بالإدراك أو السلوكيات متعددة العوامل.
التحدي الأكبر في تطوير عامل متجسد ذكي هو الحاجة إلى أن يكون لديهم مجموعة حركة مرنة. يجب أن يكونوا رشيقين وأن يفهموا بيئتهم. نظرًا لأن البحث ركز على معالجة هذه المشكلة في السنوات الأخيرة ، كانت هناك حاجة إلى طريقة لتقييم مدى جودة أداء النهج المقترحة في هذا السياق. هذا هو السبب في أن الرياضات مثل كرة القدم أصبحت بمثابة اختبار لتطوير سلوكيات معقدة وطويلة الأفق ومتعددة المهارات يمكن تكوينها والتكيف مع السياقات البيئية المختلفة ، وهي آمنة ليتم تنفيذها على روبوتات حقيقية.
تتطلب كرة القدم (كرة القدم لقرائنا الأمريكيين) مجموعة متنوعة من الحركات السريعة والديناميكية للغاية ، بما في ذلك الجري ، والالتفاف ، والخطوة الجانبية ، والركل ، والتمرير ، والتعافي من السقوط ، والتفاعل مع الأشياء ، وغيرها الكثير ، والتي يجب أن تتكون بطرق متنوعة. هذا هو السبب في أنها أفضل طريقة لإظهار مدى تقدم روبوتاتك – حان الوقت لمقابلة نجم العرض ، OP3 كرة القدم ، من DeepMind.
OP3 كرة القدم هو مشروع يهدف إلى تدريب الروبوت على لعب كرة القدم من خلال تكوين مجموعة واسعة من المهارات مثل المشي والركل والتسجيل والدفاع في سلوك استراتيجي طويل المدى. ومع ذلك ، فإن تدريب مثل هذا الروبوت يعد مهمة صعبة لأنه لا يمكن منح مكافأة لتسجيل هدف فقط. لأن القيام بذلك لن يؤدي إلى السلوكيات المرغوبة بسبب تحديات الاستكشاف والتعلم السلوكيات القابلة للتحويل.
لذلك ، وجدت OP3 Soccer طريقة ذكية لمواجهة هذه التحديات. ينقسم التدريب إلى مرحلتين. في المرحلة الأولى ، يتم تدريب سياسات المعلم على مهارتين محددتين: النهوض من الأرض وإحراز الأهداف ضد خصم غير مدرب. في المرحلة الثانية ، تُستخدم سياسات المعلم لتنظيم الوكيل بينما يتعلم اللعب ضد خصوم أقوياء بشكل متزايد. يمكّن استخدام اللعب الذاتي الخصوم من زيادة قوتهم مع تحسن العامل ، مما يؤدي إلى مزيد من التحسين.
لضمان الانتقال السلس من المحاكاة إلى العالم الحقيقي ، تم دمج المجال العشوائي والاضطرابات العشوائية وضوضاء المستشعر والتأخيرات في التدريب في المحاكاة. يمكّن هذا النهج الروبوت من تعلم التكتيكات والاستراتيجيات ، مثل الدفاع عن حركات الخصم وتوقعها.
إجمالي، OP3 كرة القدم يستخدم RL العميق لتجميع مهارات حركية ديناميكية ورشيقة تتكيف مع السياق والتي تتكون من قبل الوكيل بطريقة طبيعية وطلاقة في سلوك معقد طويل الأفق. ظهر سلوك الوكيل من خلال مزيج من إعادة استخدام المهارات والتدريب الشامل مع مكافآت بسيطة في بيئة متعددة الوكلاء. تم تدريب الوكلاء على المحاكاة ونقلوا إلى الروبوت ، مما يدل على أن النقل من محاكاة إلى حقيقية ممكن حتى بالنسبة للروبوتات الصغيرة منخفضة التكلفة.
