مقدمة في الذاكرة طويلة المدى (LSTM) –

ستساعدك المقالة التالية: مقدمة في الذاكرة طويلة المدى (LSTM) –

مقدمة في الذاكرة طويلة المدى (LSTM)

عادة ما يتضمن التنبؤ بالتسلسل في تحديات علوم البيانات استخدام شبكات الذاكرة طويلة المدى (LSTM). يمكن أن تتعلم هذه الأنواع من الشبكات العصبية المتكررة الاعتماد على النظام. أثناء الخطوة الحالية لـ RNN ، يتم استخدام إخراج الخطوة السابقة كمدخل للخطوة الحالية. Hochreiter و Schmidhuber مسؤولان عن إنشاء الذاكرة طويلة المدى. وتناولت مسألة “الاعتماد طويل الأمد” على شبكات RNN ، حيث يتعذر على RNNs التنبؤ بالكلمات المخزنة في الذاكرة طويلة المدى ولكن يمكنها تقديم تنبؤات أكثر دقة بناءً على المعلومات الموجودة في البيانات الحالية. لن يكون لارتفاع الفجوة تأثير إيجابي على أداء RNN. من المعروف أن LSTMs تحتفظ بالمعلومات لفترة طويلة بشكل افتراضي. تُستخدم هذه التقنية في معالجة بيانات السلاسل الزمنية والتنبؤ وكذلك في تصنيف البيانات.

في مجال الذكاء الاصطناعي (AI) والتعلم العميق ، تعد LSTM شبكات ذاكرة طويلة المدى تستخدم الشبكات العصبية الاصطناعية. تحتوي هذه الشبكات على اتصالات تغذية مرتدة بدلاً من الشبكات العصبية القياسية للتغذية الأمامية المعروفة أيضًا باسم الشبكة العصبية المتكررة. ينطبق LSTM على مهام مثل التعرف على خط اليد غير المقسم والمتصل والتعرف على الكلام والترجمة الآلية والتحكم في الروبوت وألعاب الفيديو والرعاية الصحية.

يمكن للشبكات العصبية المتكررة معالجة ليس فقط نقاط البيانات الفردية (مثل الصور) ، ولكن أيضًا تسلسل كامل من البيانات (مثل الكلام أو الفيديو). مع بيانات السلاسل الزمنية ، تعد شبكات الذاكرة طويلة المدى مناسبة تمامًا للتصنيف والمعالجة والتنبؤ بناءً على البيانات ، حيث قد يكون هناك فترات تأخير غير معروفة بين الأحداث المهمة في سلسلة. تم تطوير LSTMs من أجل معالجة مشكلة اختفاء التدرجات التي تتم مواجهتها عند تدريب RNNs التقليدية. إنها الحساسية النسبية لـ LSTM لطول الفجوة ، مما يجعلها متفوقة على RNNs ونماذج Markov المخفية وطرق التعلم المتسلسلة الأخرى في العديد من التطبيقات.

من الممكن نظريًا لـ RNNs الكلاسيكية تتبع التبعيات التعسفية طويلة الأجل في تسلسل المدخلات. مشكلة الفانيليا RNNs هي أنها لا تنطبق لأسباب عملية. على سبيل المثال ، عند تدريب الفانيليا RNN باستخدام التكاثر العكسي ، تميل التدرجات طويلة المدى في شبكات الانتشار الخلفي إلى الاختفاء (أي تقليلها إلى الصفر) أو تنفجر (إنشاء تدرجات لا نهائية) ، اعتمادًا على الحسابات المتضمنة في العملية ، التي تستخدم مجموعة أرقام ذات دقة محدودة. نظرًا لأن وحدات الذاكرة طويلة المدى تسمح أيضًا بتدفق التدرجات دون تغيير ، فمن الممكن جزئيًا حل مشكلة التدرج اللوني التلاشي باستخدام RNNs باستخدام وحدات الذاكرة طويلة المدى. على الرغم من ذلك ، فقد ثبت أن شبكات الذاكرة طويلة المدى لا تزال عرضة لمشكلة التدرج المتفجر.

هيكل LSTM

تتكون الذاكرة طويلة المدى من أربع شبكات عصبية والعديد من كتل الذاكرة أو الخلايا التي تشكل بنية سلسلة. هناك أربعة مكونات في وحدة ذاكرة تقليدية طويلة المدى: خلية وبوابة إدخال وبوابة إخراج وبوابة نسيان. هناك ثلاث بوابات تتحكم في تدفق المعلومات داخل وخارج الخلية ، وتتتبع الخلية القيم خلال فترة زمنية عشوائية. هناك العديد من تطبيقات خوارزميات الذاكرة طويلة المدى في تحليل وتصنيف وتوقع السلاسل الزمنية ذات المدة غير المؤكدة.

بشكل عام ، تتكون بنية الذاكرة طويلة المدى من خلية وبوابة إدخال وبوابة إخراج وبوابة نسيان. تحتفظ هذه الخلية بالقيم على فترات زمنية عشوائية ، وتكون البوابات الثلاثة مسؤولة عن التحكم في تدفق المعلومات داخل وخارج الخلية.

• بوابات الإدخال: تحدد هذه البوابات أي القيم من المدخلات سيتم استخدامها لتغيير الذاكرة. تحدد الدالة السينية ما إذا كان سيتم السماح بمرور قيم 0 أو 1 أم لا. بالإضافة إلى ذلك ، باستخدام دالة tanh ، يمكنك تعيين أوزان للبيانات ، وتحديد أهميتها على مقياس من -1 إلى 1.
• بوابة النسيان: تجد كل التفاصيل التي يجب إزالتها من الكتلة ثم إزالتها. يتم تحديد هذه التفاصيل من خلال وظيفة السيني. لكل رقم في حالة الخلية Ct-1 ، ينظر إلى الحالة السابقة (ht-1) وإدخال المحتوى (Xt) وينتج رقمًا بين 0 (استبعاد) و 1 (تضمين).
• بوابة الإخراج: يتم تحديد إخراج الكتلة من خلال إدخال وذاكرة الكتلة. عند استخدام الدالة السينية ، فإنها تحدد ما إذا كان يجب السماح بمرور القيمة 0 أو 1. بالإضافة إلى ذلك ، تحدد الدالة tanh القيم المسموح لها بالمرور عبر 0 ، 1. أما بالنسبة للدالة tanh ، فإنها تحدد وزنًا للقيم المتوفرة عن طريق تقييم مدى ملاءمتها على مقياس من -1 إلى 1 وضربها في الناتج السيني .

تستخدم الشبكة العصبية المتكررة كتل ذاكرة طويلة المدى لتوفير سياق لكيفية معالجة المدخلات والمخرجات في البرنامج. ويرجع ذلك أساسًا إلى حقيقة أن البرنامج يستخدم بنية تعتمد على عمليات الذاكرة قصيرة المدى من أجل بناء ذاكرة طويلة المدى ، لذلك يشار إلى الوحدة على أنها كتلة ذاكرة طويلة المدى. هناك استخدام مكثف لهذه الأنظمة في معالجة اللغة الطبيعية.

على عكس الشبكة العصبية المتكررة ، حيث يتم تقييم كلمة واحدة أو صوت في سياق الآخرين في سلسلة ، حيث يمكن للذكريات أن تساعد في تصفية أنواع معينة من البيانات وتصنيفها ، تستخدم الشبكة العصبية المتكررة كتلة ذاكرة قصيرة المدى. الذاكرة طويلة المدى هي فكرة معروفة ومستخدمة على نطاق واسع في الشبكات العصبية المتكررة.

شبكات الذاكرة طويلة المدى (LSTM)

تتكون الشبكة العصبية المتكررة من سلسلة من الوحدات المتكررة. في RNNs التقليدية ، سيكون لهذه الوحدة المتكررة بنية بسيطة مثل طبقة tanh واحدة.

يحدث التكرار عندما يصبح إخراج الخطوة الزمنية الحالية هو الإدخال للخطوة الزمنية التالية ، والتي يشار إليها باسم متكرر. خلال كل خطوة من خطوات التسلسل ، لا يفحص النموذج المدخلات الحالية فحسب ، بل يفحص أيضًا المدخلات السابقة أثناء مقارنتها بالإدخال الحالي.

توجد طبقة واحدة في الوحدة النمطية المتكررة لـ RNN التقليدية:

في LSTMs ، تتكون وحدة التكرار من أربع طبقات تتفاعل مع بعضها البعض. في LSTMs ، يتم تمثيل حالة خلية الذاكرة بالخط الأفقي في أعلى الرسم التخطيطي. بعض جوانب الخلية تشبه تلك الموجودة في الحزام الناقل. لا يوجد سوى عدد قليل من التفاعلات الخطية على طول السلسلة بأكملها. من السهل أن تنتقل البيانات إلى أسفلها ببساطة دون تغييرها.

في الذاكرة طويلة المدى ، يمكن حذف المعلومات أو إضافتها إلى حالة الخلية ، والتي يتم التحكم فيها بعناية بواسطة هياكل تسمى البوابات. تسمح البوابة للمعلومات بالمرور بشكل انتقائي. بالإضافة إلى الشبكات العصبية السينية ، فإنها تتميز بالضرب النقطي.

تمثل الأعداد الصحيحة بين 0 و 1 مقدار كل مكون يمكن أن يمر عبر الطبقة السينية. عندما تكون القيمة صفراً ، يجب السماح بمرور “لا شيء” ، بينما عندما تكون القيمة واحدة ، يجب السماح بمرور “كل شيء”. تحتوي نماذج LSTM على ثلاثة من هذه البوابات لحماية وتنظيم حالة الخلية.

دورة LSTM

تنقسم دورة الذاكرة طويلة المدى إلى أربع خطوات ، يتم استخدام بوابة النسيان في إحدى الخطوات لتحديد المعلومات التي يجب نسيانها من خطوة زمنية سابقة. يتم استخدام بوابة الإدخال وتانه لجمع معلومات جديدة لتحديث حالة الخلية. تُستخدم هذه المعلومات لتحديث حالة الخلية. تعد بوابات الإخراج بالإضافة إلى عملية السحق مصدرًا قيمًا للمعلومات.

يتم تلقي إخراج خلية LSTM بواسطة طبقة كثيفة. في مرحلة الإخراج ، يتم تطبيق وظيفة تنشيط softmax بعد الطبقة الكثيفة.

ثنائية الاتجاه LSTMs

. يتم تقديم تسلسل التدريب للأمام وللخلف لشبكتين عصبيتين متكررتين مستقلتين ، وكلاهما مقترن بطبقة إخراج واحدة في الشبكات العصبية المتكررة ثنائية الاتجاه (BRNNs). نتيجة لذلك ، فإن BRNN قادرة على توفير معرفة شاملة ومتسلسلة حول كل نقطة قبل وبعد كل نقطة في تسلسل معين. وبالمثل ، ليست هناك حاجة لتحديد نافذة زمنية محددة (تعتمد على المهمة) أو تأخير الهدف لأن الإنترنت حر في استخدام الكثير أو القليل من هذا السياق حسب حاجته.

RNNs من النوع التقليدي لها عيب كونها قادرة فقط على الاستفادة من السياقات السابقة. يحقق RNN ثنائي الاتجاه (BRNN) هذا عن طريق معالجة البيانات في كلا الاتجاهين باستخدام طبقتين مخفيتين تقومان بتغذية المعلومات إلى نفس طبقة الإخراج في كلا الاتجاهين. من خلال الجمع بين BRNN و LSTM ، تحصل على LSTM ثنائي الاتجاه يسمح لك بالوصول إلى سياق بعيد المدى من كلا اتجاهي الإدخال.

استخدام LSTM

تمتلك LSTM عددًا من التطبيقات المعروفة ، بما في ذلك:

• التحكم في الروبوت
• توقع السلاسل الزمنية
• التعرف على الكلام
• تعلم الإيقاع
• التأليف الموسيقي
• التعرف على خط اليد
• التعرف على عمل الإنسان
• ترجمة لغة الإشارة
• الكشف عن شذوذ السلاسل الزمنية
• العديد من مهام التنبؤ في مجال إدارة عمليات الأعمال
• التنبؤ بمسارات الرعاية الطبية
• الاعراب الدلالي
• تجزئة الكائن المشترك
• إدارة ركاب المطار
• توقعات حركة المرور على المدى القصير
• تصميم الأدوية
• توقع السوق

خاتمة:

شبكات الذاكرة طويلة المدى (LSTM) هي نوع من الشبكات العصبية المتكررة القادرة على تعلم الاعتماد على الترتيب في مشاكل التنبؤ بالتسلسل. سلوك مطلوب في مجالات المشكلات المعقدة مثل الترجمة الآلية والتعرف على الكلام والمزيد. تعد LSTMs إجابة قابلة للتطبيق للمشكلات التي تتضمن التسلسل والسلاسل الزمنية. يمكن حل المشكلات في علم البيانات باستخدام نماذج LSTM.

حتى النماذج البسيطة تتطلب الكثير من الوقت وموارد النظام للتدريب بسبب صعوبة تدريبها. قيود الأجهزة هي الشيء الوحيد الذي يعيق هذا. في RNN التقليدية ، تكمن المشكلة في أنهم قادرون فقط على استخدام سياقات الماضي. هذه BRNNs (RNNs ثنائية الاتجاه) قادرة على القيام بذلك عن طريق معالجة البيانات في كلا الاتجاهين في نفس الوقت.

الإعلانات