ستساعدك المقالة التالية: تعرف على LogAI: مكتبة مفتوحة المصدر مصممة لتحليلات السجلات والاستخبارات
LogAI هي مكتبة مجانية لتحليلات وذكاء السجلات التي تدعم العديد من تحليلات السجلات ومهام الذكاء. إنه متوافق مع تنسيقات سجلات متعددة وله واجهة مستخدم رسومية تفاعلية. يوفر LogAI واجهة نموذجية موحدة للنماذج الإحصائية الشائعة ونماذج السلاسل الزمنية والتعلم العميق ، مما يجعل من السهل قياس خوارزميات التعلم العميق لاكتشاف شذوذ السجل.
تحتوي السجلات التي تم إنشاؤها بواسطة أنظمة الكمبيوتر على معلومات أساسية تساعد المطورين على فهم سلوك النظام وتحديد المشكلات. تقليديًا ، تم إجراء تحليل السجل يدويًا ، لكن تحليل السجل المستند إلى الذكاء الاصطناعي يعمل على أتمتة المهام مثل تحليل السجل والتلخيص والتجميع واكتشاف الشذوذ ، مما يجعل العملية أكثر كفاءة. الأدوار المختلفة في الأوساط الأكاديمية والصناعية لها متطلبات مختلفة لتحليل السجل. على سبيل المثال ، يجب على باحثي التعلم الآلي إجراء اختبارات سريعة على التجارب مقابل مجموعات بيانات السجل العامة وإعادة إنتاج النتائج من مجموعات بحثية أخرى لتطوير خوارزميات تحليل السجل الجديدة. يحتاج علماء البيانات الصناعية إلى تشغيل خوارزميات تحليل السجل الحالية على بيانات السجل الخاصة بهم واختيار أفضل مجموعة خوارزمية وتكوين كحل لتحليل السجل. لسوء الحظ ، لا توجد مكتبات مفتوحة المصدر يمكنها تلبية جميع هذه المتطلبات. لذلك ، تم تقديم LogAI لتلبية هذه الاحتياجات وإجراء تحليل سجل أفضل لمختلف حالات الاستخدام الأكاديمية والصناعية.
يؤدي عدم وجود تحليل سجل شامل قائم على الذكاء الاصطناعي في منصات إدارة السجل إلى خلق تحديات للتحليل الموحد بسبب الحاجة إلى نموذج بيانات سجل موحد ، والتكرار في المعالجة المسبقة ، وآلية إدارة سير العمل. يعد إعادة إنتاج النتائج التجريبية أمرًا صعبًا ، حيث يتطلب أدوات تحليل مخصصة لمختلف تنسيقات ومخططات السجلات. يتم تنفيذ خوارزميات تحليل السجل المختلفة في خطوط أنابيب منفصلة ، مما يزيد من تعقيد إدارة التجارب والمعايير.
يتكون LogAI من مكونين رئيسيين ، وهما مكتبة LogAI الأساسية و LogAI GUI. تسمح وحدة LogAI GUI للمستخدمين بالاتصال بتطبيقات تحليل السجل في المكتبة الأساسية وتصور نتائج التحليل بشكل تفاعلي من خلال واجهة مستخدم رسومية. من ناحية أخرى ، تتكون مكتبة LogAI الأساسية من أربع طبقات متميزة:
ال طبقة البيانات في LogAI يتكون من برامج تحميل البيانات ونموذج بيانات سجل موحد محدد بواسطة OpenTelemetry. كما يوفر العديد من برامج تحميل البيانات لتحويل بيانات السجل الأولية إلى LogRecordObjects بتنسيق موحد.
ال طبقة ما قبل المعالجة ينظف LogAI وتقسيم السجلات باستخدام المعالجات الأولية والقواطع. تقوم المعالجات المسبقة باستخراج الكيانات وفصل السجلات في خطوط منطقية غير منظمة وخصائص السجل المنظم بينما تقوم أجهزة التقسيم بتجميع السجلات في الأحداث لنماذج التعلم الآلي. تتوفر المعالجات الأولية والقواطع المخصصة لمجموعات بيانات محددة مفتوحة السجل ويمكن توسيعها لدعم تنسيقات السجلات الأخرى.
ال طبقة استخراج المعلومات من LogAI يحول سجلات السجل إلى متجهات للتعلم الآلي. يحتوي على أربعة مكونات: المحلل اللغوي للسجلات ، ومتجه السجل ، والمشفِّر الفئوي ، ومستخرج الميزات.
ال طبقة التحليل يحتوي على وحدات لإجراء مهام التحليل ، مع واجهة موحدة لخوارزميات متعددة.
يستخدم LogAI نماذج التعلم العميق مثل CNN و LSTM و Transformer لاكتشاف الشذوذ في السجل ويمكنه قياسها على مجموعات بيانات السجل الشائعة. تظهر النتائج أنه يعمل بشكل متساوٍ أو أفضل من السجل العميق ، مع نموذج LSTM ثنائي الاتجاه خاضع للإشراف يوفر أفضل أداء.
