تكنولوجيا

استخدام الذكاء الاصطناعي للعثور على الحالات الشاذة المخفية في مجموعات البيانات الضخمة في الوقت الفعلي

انقطاع التيار الكهربائي في الولايات المتحدة

يمكن لتقنية جديدة للتعلم الآلي تحديد الانقطاعات المحتملة لشبكة الطاقة والاختناقات المتتالية ، في الوقت الفعلي.

يمكن أن تحدد تقنية التعلم الآلي الجديدة الانقطاعات المحتملة لشبكة الطاقة أو الاختناقات المرورية المتتالية في الوقت الفعلي.

يمكن أن يكون التعرف على عطل في شبكة الكهرباء الوطنية مثل محاولة العثور على إبرة في كومة قش ضخمة. مئات الآلاف من أجهزة الاستشعار المترابطة الموزعة في جميع أنحاء الولايات المتحدة تلتقط بيانات حول التيار الكهربائي والجهد الكهربائي والمعلومات الهامة الأخرى في الوقت الفعلي ، وغالبًا ما تأخذ سجلات متعددة في الثانية.

الباحثون في معهد ماساتشوستس للتكنولوجيا– صمم IBM Watson AI Lab طريقة فعالة حسابيًا يمكنها تحديد الحالات الشاذة تلقائيًا في تدفقات البيانات في الوقت الفعلي. لقد أثبتوا أن طريقة الذكاء الاصطناعي لديهم ، التي تتعلم نمذجة الترابط لشبكة الطاقة ، أفضل بكثير في اكتشاف هذه المشكلات من بعض التقنيات الشائعة الأخرى.

نظرًا لأن نموذج التعلم الآلي الذي طوروه لا يتطلب بيانات شروحية لشبكة الطاقة للتدريب ، فسيكون من الأسهل تطبيقه في مواقف العالم الحقيقي حيث يصعب غالبًا العثور على مجموعات بيانات ذات علامات عالية الجودة. النموذج مرن أيضًا ويمكن تطبيقه على مواقف أخرى حيث يقوم عدد كبير من أجهزة الاستشعار المترابطة بجمع البيانات والإبلاغ عنها ، مثل أنظمة مراقبة حركة المرور. يمكنه ، على سبيل المثال ، تحديد الاختناقات المرورية أو الكشف عن سلسلة الاختناقات المرورية.

“في حالة شبكة الطاقة ، حاول الأشخاص التقاط البيانات باستخدام الإحصائيات ثم تحديد قواعد الكشف بمعرفة المجال ليقولوا ، على سبيل المثال ، إذا زاد الجهد بنسبة معينة ، فيجب تنبيه مشغل الشبكة. تتطلب مثل هذه الأنظمة المستندة إلى القواعد ، والتي تم تحسينها من خلال تحليل البيانات الإحصائية ، الكثير من العمل والخبرة. نظهر أنه يمكننا أتمتة هذه العملية وكذلك تعلم الأنماط من البيانات باستخدام تقنيات التعلم الآلي المتقدمة ، كما يقول المؤلف الرئيسي جي تشين ، عضو فريق البحث ورئيس مختبر MIT-IBM Watson AI.

المؤلف المشارك هو Enyan Dai ، متدرب في MIT-IBM Watson AI Lab وطالب دراسات عليا في جامعة ولاية بنسلفانيا. سيتم تقديم هذا البحث في المؤتمر الدولي لتمثيل التعلم.

استطلاع احتمالية

بدأ الباحثون بتعريف الشذوذ كحدث له احتمالية منخفضة لحدوثه ، مثل ارتفاع مفاجئ في الجهد. يتعاملون مع بيانات شبكة الطاقة كتوزيع احتمالي ، لذلك إذا كان بإمكانهم تقدير كثافة الاحتمال ، فيمكنهم تحديد قيم الكثافة المنخفضة في مجموعة البيانات. نقاط البيانات الأقل احتمالا للحدوث هي الحالات الشاذة.

تقدير هذه الاحتمالات ليس بالمهمة السهلة ، خاصة وأن كل عينة تلتقط سلاسل زمنية متعددة وكل سلسلة زمنية عبارة عن مجموعة من نقاط البيانات متعددة الأبعاد المسجلة بمرور الوقت. بالإضافة إلى ذلك ، فإن المستشعرات التي تلتقط كل هذه البيانات مشروطة ببعضها البعض ، مما يعني أنها متصلة بتكوين معين وأحيانًا يمكن أن يؤثر أحد المستشعرات على الآخرين.

لتعلم توزيع الاحتمال الشرطي المعقد للبيانات ، استخدم الباحثون نوعًا خاصًا من نموذج التعلم العميق يسمى تدفق التطبيع ، وهو جيد بشكل خاص في تقدير كثافة الاحتمال لعينة.

لقد عززوا نموذج تدفق التطبيع هذا باستخدام نوع من الرسم البياني ، يُعرف باسم شبكة بايزي ، يمكنه التعرف على بنية العلاقة السببية المعقدة بين أجهزة الاستشعار المختلفة. يقول تشين إن هيكل الرسم البياني هذا يسمح للباحثين برؤية الأنماط في البيانات وتقدير الحالات الشاذة بدقة أكبر.

“أجهزة الاستشعار تتفاعل مع بعضها البعض ، ولديها علاقات سببية وتعتمد على بعضها البعض. لذلك نحن بحاجة إلى أن نكون قادرين على ضخ معلومات التبعية هذه في كيفية حساب الاحتمالات ، “كما يقول.

تعمل شبكة Bayesian هذه على تحليل أو تفكيك الاحتمالية المشتركة لبيانات السلاسل الزمنية المتعددة إلى احتمالات شرطية أقل تعقيدًا يسهل تحديدها وتعلمها وتقييمها. يسمح هذا للباحثين بتقدير احتمالية ملاحظة قراءات معينة من أجهزة الاستشعار وتحديد القراءات التي يكون احتمال حدوثها منخفضًا ، مما يعني أنها حالات شاذة.

طريقتهم قوية بشكل خاص لأن هيكل الرسم البياني المعقد هذا لا يحتاج إلى تعريف مقدمًا – يمكن للنموذج تعلم الرسم البياني من تلقاء نفسه دون إشراف.

تقنية قوية

لقد اختبروا هذا الإطار من خلال معرفة مدى قدرته على تحديد الانحرافات في بيانات شبكة الطاقة وبيانات المرور وبيانات نظام المياه. احتوت مجموعات البيانات التي استخدموها للاختبار على حالات شاذة حددها البشر ، لذلك تمكن الباحثون من مقارنة الحالات الشاذة التي تم تحديدها بواسطة نموذجهم مع المشكلات الحقيقية في كل نظام.

تفوق نموذجهم على جميع خطوط الأساس من خلال اكتشاف نسبة أعلى من الانحرافات الحقيقية في كل مجموعة بيانات.

“بالنسبة لخطوط الأساس ، لا يحتوي الكثير منها على هيكل رسومي. هذا يدعم فرضيتنا بشكل كامل. يقول تشين إن فهم علاقات التبعية بين العقد المختلفة في الرسم البياني يساعدنا بالتأكيد.

منهجيتهم مرنة أيضًا. مسلحين بمجموعة كبيرة من البيانات غير المسماة ، يمكنهم ضبط النموذج لعمل تنبؤات شاذة فعالة في مواقف أخرى ، مثل أنماط حركة المرور.

بمجرد نشر النموذج ، سيستمر في التعلم من التدفق المستمر لبيانات المستشعرات الجديدة ، والتكيف مع الانجراف المحتمل في توزيع البيانات وصيانتها الاحكام قال تشين مع مرور الوقت.

على الرغم من أن هذا المشروع بالذات يقترب من نهايته ، إلا أنه يتطلع إلى تطبيق الدروس التي تعلمها على مجالات أخرى من أبحاث التعلم العميق ، وخاصة على الرسوم البيانية.

يمكن أن يستخدم تشين وزملاؤه هذا النهج لتطوير نماذج ترسم علاقات شرطية معقدة أخرى. يريدون أيضًا استكشاف كيف يمكنهم تعلم هذه الأنماط بكفاءة عندما تصبح الرسوم البيانية ضخمة ، ربما مع ملايين أو مليارات العقد المترابطة. وبدلاً من العثور على الحالات الشاذة ، يمكنهم أيضًا استخدام هذا النهج لتحسين دقة التنبؤات بناءً على مجموعات البيانات أو تبسيط تقنيات التصنيف الأخرى.

مرجع: “تدفقات التطبيع المعزز بالرسم البياني لاكتشاف الشذوذ في السلاسل الزمنية المتعددةبواسطة Enyan Dai و Jie Chen.

تم تمويل هذا العمل من قبل MIT-IBM Watson AI Lab ووزارة الطاقة الأمريكية.


Source link

مقالات ذات صلة

أضف تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني.

Back to top button