ستساعدك المقالة التالية: ربط البيانات في الوقت الفعلي عبر تدفقات أحداث البيانات المرتبطة – نحو الذكاء الاصطناعي
يعد تبادل البيانات في الوقت الفعلي عبر المجالات والتطبيقات أمرًا صعبًا ؛ عدم توافق تنسيق البيانات ووقت الاستجابة ومجموعات البيانات القديمة ومشكلات الجودة ونقص البيانات الوصفية والسياق.
باستخدام دفق أحداث البيانات المرتبطة (LDES) ، يمكن مشاركة البيانات بطلاقة بين الأنظمة والمؤسسات المختلفة. وبهذه الطريقة ، يمكن للشركات والمؤسسات التأكد من أن بياناتها منظمة بشكل جيد وقابلة للتشغيل البيني وقابلة للاستهلاك بسهولة بواسطة الأنظمة والخدمات الأخرى. ظهرت LDES كمعيار لتمثيل ومشاركة تدفقات البيانات الحديثة.
يستكشف إثبات المفهوم هذا كيف يمكن لـ LDES تبادل ودمج ثلاث مجموعات مختلفة من البيانات: سجلات العناوين ، والطرود ، ووحدات البناء بافتراض أن المنظمات المختلفة تنشرها.
وبهذه الطريقة ، يمكن للشركات والمؤسسات التأكد من أن بياناتها منظمة بشكل جيد وقابلة للتشغيل البيني وقابلة للاستهلاك بسهولة بواسطة الأنظمة والخدمات الأخرى.
إذا لم تكن معتادًا على دفق أحداث البيانات المرتبطة ، يمكنك العثور على مزيد من المعلومات حوله في هذه المقالة:
شرح تيارات أحداث البيانات المرتبطة في 8 دقائق
ما هو دفق حدث البيانات المرتبط ، وكيف يمكنه مساعدتك في الوصول إلى بياناتك الديناميكية؟
إعداد تدفق حدث البيانات المرتبط
يمكن أخيرًا تحويل كل دفق بيانات إلى دفق حدث بيانات مرتبط مع بعض التحويلات. في هذا المثال ، نبدأ من تدفقات البيانات التي تم إخراجها عبر Apache Kafka.
يتم تكوين تدفق البيانات في Apache Nifi الذي يحول موضوعات كافكا هذه إلى خادم LDES. خادم LDES هو مكون قابل للتكوين يستخدم لاستيعاب وتخزين وتحويل و (إعادة) نشر دفق حدث بيانات مرتبط.
في هذه الحالة ، يتم تحويل تدفقات البيانات من الطرود ووحدات البناء وسجل البيانات من فلاندرز إلى LDES للتبادل والجمع بعد ذلك. جميع هذه LDES لها نفس البنية ، ودائمًا ما تكون متزامنة مع بيانات المصدر ، ويتم تقديمها بتنسيق يمكن قراءته آليًا ، بما في ذلك البيانات الوصفية والعلاقات ، مما يتيح الاكتشاف الآلي وتكامل المعلومات عبر مختلف المجالات والتطبيقات. يوضح الشكل أدناه جزءًا واحدًا من جزء سجل LDES. يدمج سياق البيانات والمعلومات حول المدينة أو البلدية واسم الشارع والعنوان الكامل والموقع.
ربط عدة تدفقات أحداث البيانات المرتبطة
تكمن قيمة مجموعات البيانات المنشورة من خلال مواصفات LDES في سهولة ربط البيانات بين الشركات والمؤسسات عبر الويب. من خلال هذه الإمكانية ، يمكن لمستهلكي البيانات استهلاك مجموعات بيانات مختلفة باستخدام عميل LDES ، مما يتيح نهجًا مبسطًا للوصول إلى مصادر البيانات المتنوعة.
لهذا الغرض ، يتم تخزين تدفقات أحداث البيانات المرتبطة الثلاثة في GraphDB لتسهيل استهلاك البيانات بكفاءة وفعالية.
تدعم GraphDB الاستعلامات والاستدلالات الدلالية المعقدة ، مما يجعل اكتشاف العلاقات المفيدة بين مصادر البيانات المختلفة ممكنًا.
في Github repo هذا ، ستجد ملف عامل إرساء بتكوين GraphDB و Apache NiFi. يتم تكوين تدفق البيانات في Apache NiFi لتحويل تدفقات البيانات هذه إلى GraphDB. ستجد ملف تكوين Apache NiFi يحتوي على تدفق البيانات الضروري.
بمجرد تنفيذ تدفق بيانات Apache NiFi ، سيتدفق أعضاء LDES إلى GraphDB. بعد ذلك ، يمكن الاستعلام عن البيانات عبر سباركل.
GraphDB هي أداة قوية لتخزين بيانات الرسم البياني والاستعلام عنها. ومع ذلك ، فإنه يوفر أيضًا مجموعة من إمكانيات التصور التي تتيح للمستخدمين استكشاف وفهم بياناتهم بطرق جديدة وبديهية. تعد GraphDB واحدة من أكثر ميزات التصور شيوعًا في GraphDB ، والتي توفر عرضًا تفاعليًا للرسم البياني ويسمح للمستخدمين بالتنقل والبحث فيه في الوقت الفعلي. يمكن أن يكون هذا مفيدًا بشكل خاص لفهم العلاقات المعقدة بين الكيانات ، كما هو الحال في الشبكات الاجتماعية أو الأنظمة البيولوجية.
استعلام سباركل
SPARQL هي لغة الاستعلام القياسية والبروتوكول لربط البيانات المفتوحة على الويب أو لثلاثيات RDF. يتيح SPARQL تنفيذ الاستعلامات الدلالية من خلال البيانات ، مما يوفر طريقة مرنة وقوية للبحث عن المعلومات المنظمة وتصفيتها واستردادها.
فيما يلي مثال على استعلام سباركل الذي يعرض ثلاثيات مع معلومات عن الطرود.
PREFIX gebouwregister:
البناء {
؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟؟
صورel prov: createdAtTime؟ ولدت في وقت.
إدراك ns: lokaleIdentificator؟ lokaleIdentificator.
صور ns: naamruimte؟ naamruimte.
أدرك ns: versieIdentificator؟ versieIdentificator.
} أين {
صور gebouwregister: Adresseerbaar٪ 20 عنوان الكائن: 2327687.
اختياري {؟ reasonel rdf: type؟ type.
صورel prov: createdAtTime؟ ولدت في وقت.
إدراك ns: lokaleIdentificator؟ lokaleIdentificator.
صور ns: naamruimte؟ naamruimte.
أدرك ns: versieIdentificator؟ versieIdentificator.}
#؟ reasonel gebouwenregister: Perceel٪ 3Astatus؟ status.}
}
الجمع بين تدفقات البيانات المتعددة عبر دلالاتها
تحتوي تدفقات البيانات الثلاثة على معرفات عناوين فريدة مرتبطة على التوالي بالطرد ، ووحدة البناء ، وتدفقات بيانات التسجيل. من خلال استخدام استعلامات سباركل ، نحن قادرون على ربط تدفقات البيانات هذه بشكل دلالي.
وبهذه الطريقة ، يصبح من الممكن تطوير واجهة برمجة تطبيقات REST التي تسترد RDF التي تحتوي على تفاصيل حول العناوين والطرود ووحدات البناء. باستخدام LDES كتنسيق بيانات وسيط ، تضمن واجهة برمجة التطبيقات هذه أن يظل الإخراج دائمًا متزامنًا مع قاعدة البيانات المصدر.
كود كامل
لتكرار إثبات المفهوم بالكامل (LDES 2 GraphDB) ، يرجى الانتقال إلى مستودع Github هذا. يصف كيفية إعداد GraphDB و Apache NiFi عبر docker ، وبعد ذلك يمكن بدء تدفق البيانات باستخدام ملف إعداد Apache NiFi المرفق.
جيثب – samuvack / ldes-grar
في إثبات المفهوم هذا ، تم تطوير Rest API التي تجعل من الممكن جمع معلومات وحدات البناء و …
إذا كنت تحب ما تقرأه ، فتأكد من ❤️ ذلك – ككاتب ، فهذا يعني العالم. ابق على اتصال من خلال متابعتي كمؤلف.
