الشبكات العصبية التقليدية المتكررة – التعلم المعزز … – نحو الذكاء الاصطناعي

ستساعدك المقالة التالية: الشبكات العصبية التقليدية المتكررة – التعلم المعزز … – نحو الذكاء الاصطناعي

التعلم العميق ، التعلم الآلي

الشبكات العصبية التقليدية المتكررة – التعلم المعزز الجزء 1/3

ستكون هذه المدونة عبارة عن سلسلة من 3 أجزاء حيث سأشرح خوارزميات التعلم المعزز المختلفة ،

الجزء 1: شرح الشبكات العصبية المتكررة التقليدية.
الجزء 2: شرح وحدات GRU.
الجزء 3: شرح LSTMs.

الشبكة العصبية التقليدية المتكررة (RNN):

مقدمة:

الشبكة العصبية المتكررة هي نوع من الشبكات العصبية الاصطناعية (ANN) حيث يتم تغذية ناتج الخطوة السابقة كمدخل في الخطوة الحالية. تُستخدم RNN بشكل أساسي في مشاكل التنبؤ ، ويمكن أن تكون مثل التنبؤ بالطقس أو سعر سهم سوق الأسهم أو التنبؤ بالكلمة التالية في الجملة بالنظر إلى الكلمات السابقة.

كيف يعمل ؟؟

قبل فهم كيفية عمل الشبكة العصبية المتكررة ، دعونا نفهم كيفية حساب الأوزان في RNN. معادلة حساب الأوزان كالتالي:

الأوزان: لفهم يمكننا القول أن هذه هي الأرقام التي عند ضربها في المدخلات تتنبأ بالمخرجات.
معدل التعليم: لنفترض أننا نقترب من تنبؤات دقيقة ، فإن معدل التعلم يخبرنا عن عدد الخطوات التي نتخذها نحو الحل الصحيح خلال كل تكرار.
الانحدار: يخبرنا عن الاتجاه الذي نسير فيه نحو الحل الصحيح.

الحدس لفهم RNN:

دعنا نرى كيف يمكننا ربط الطريقة التي نفكر بها بالطريقة التي تعمل بها RNN ، لنفترض أنك تريد شراء مبرد هواء لمنزلك ، وأنت تقرأ مراجعات المنتج لمبرد الهواء. يمكن أن يكون أحد الأمثلة على المراجعة على النحو التالي:

“” – {1}

وبالتالي ، في أي وقت ، يمكن لعقلنا أن يتذكر كلمات مثل:
“”

الآن إذا استطاع أحد أن يسألك عن المنتج ، ستقول:

“”

الآن دعونا نرى كيف يمكن التعبير عن هذا الحدس رياضيًا في RNN’s.

العمل الرياضي لـ RNN:

في RNN ، للجملة في {1} ، يتم تحويل الكلمات أولاً إلى متجهات يمكن قراءتها آليًا ، ثم تعالج الخوارزمية هذه المتجهات واحدًا تلو الآخر.

دعونا نلقي نظرة على تمثيل RNN.

أين،
“ht” هي الحالة المخفية في الخطوة الزمنية t (يمكن أن يكون هذا المثال في الجملة لدينا مكافئًا لذاكرة الكلمات التي لدينا ، عند تقديم مراجعة للمنتج) ،
‘أ’ هو التنشيط (هنا يشير إلى تنشيط tanh) ،
‘xt’ هو المدخل في ‘ر’ خطوة زمنية،
‘ر’ هي الخطوة الزمنية.

تأخذ الخوارزمية في الاعتبار متجه الإدخال الأول X0 ، وتقوم بمعالجته لإنتاج الحالة المخفية الأولى h0 وهذا يصبح المدخل للطبقة التالية لحساب الحالة المخفية التالية h1 ، وهكذا. وبالتالي فإن الحالة المخفية تعمل كذاكرة شبكة عصبية ، فهي تحتفظ بالبيانات من الخطوة السابقة.

وبالتالي ، فإن صيغة حساب الحالة المخفية بالنظر إلى الإدخال هي كما يلي:

يتم التعبير عن هذا أيضًا بوظيفة التنشيط على النحو التالي ،

أين،
ما هو الوزن في الحالة المخفية السابقة ،
Wxh هو الوزن في الحالة المخفية الحالية ،
BT هو التحيز.

ال تانه تضمن وظيفة التنشيط بقاء متجه القيم من الحالة المخفية بين -1 إلى +1 ، وذلك لأنه بدون وظيفة تنشيط tanh ، يمكن أن تصبح قيم معينة في ناقل الحالة المخفية عالية بشكل فلكي بينما تظل أخرى منخفضة مع انتقال المعلومات إلى الطبقات التالية.

عملية التدريب:

1 – يتم توفير الإدخال في وقت معين للشبكة.
2 – يتم حساب الحالة الحالية للمدخلات الحالية باستخدام الحالة السابقة.
3 – الوضع الحالي ht تصبح الدولة الخفية ح[t-1] للخطوة التالية.
4 – يمكن للمرء حساب العديد من الخطوات الزمنية اعتمادًا على بيان المشكلة والانضمام إلى المعلومات من الحالات السابقة ، ومع ذلك ، فإن هذا يؤدي إلى مشكلة تلاشي / انفجار التدرج ، والذي سيتم شرحه في رسالتي التالية على LSTMs.
5 – بمجرد اكتمال جميع الخطوات الزمنية ، يتم استخدام الحالة المخفية النهائية لحساب الإخراج الحالي.
6 – تتم مقارنة المخرجات الناتجة مع المخرجات الأصلية ويتم احتساب الخطأ.
7 – تم إعادة نشر هذا الخطأ لتحسين الدقة وحساب الأوزان الجديدة. لمعرفة المزيد عن Backpropagation ، يمكنك النقر هنا.

هذا هو عمل RNN ، وهو يعمل بشكل جيد للتسلسلات القصيرة وهو أقل تكلفة من الناحية الحسابية من شبكات الذاكرة طويلة المدى (LSTM) أو شبكات الوحدات المتكررة ذات البوابات (GRU).

تطبيقات الشبكات العصبية المتكررة:

1 – كشف شذوذ السلاسل الزمنية.
2- التأليف الموسيقي.
3 – التنبؤ بالكلمة.
4 – التعرف على العمل البشري.
5 – التنبؤ بالاتجاهات (التنبؤ بالطقس ، التنبؤ بسعر السهم ، إلخ)

آمل أن يمنحك هذا المنشور بعض المعرفة والتحفيز لاستكشاف المزيد من الموضوعات الأخرى للتعلم العميق.

من فضلك شجع مع الخاص بك التصفيق إذا كان هذا على علم.

1 – إذا كنت مهتمًا رؤية الكمبيوتر ، يرجى التحقق من المنشور أدناه حيث شرحت كيف يمكنك تطوير رمز بسيط يمكنه إجراء الطرح في الخلفية:

طرح خلفية OpenCV والموسيقى في خلفية الفيديو

2 – إذا كنت مهتمًا بالفهم الشبكات العصبية الاصطناعية و التكاثر العكسي يرجى مراجعة المنشور أدناه ، حيث شرحت هذه المفاهيم بكلمات بسيطة:

تبسيط الشبكات العصبية الاصطناعية: من الإدراك إلى الانتشار العكسي

تم نشر الشبكات العصبية المتكررة التقليدية – الجزء 1/3 من التعلم المعزز في الأصل في Towards AI on Medium ، حيث يواصل الأشخاص المحادثة من خلال تسليط الضوء على هذه القصة والرد عليها.

تم النشر عبر نحو الذكاء الاصطناعي