الكشف عن الشذوذ المستند إلى المحول باستخدام تضمينات تسلسل السجل

جدول الروابط

نبذة مختصرة

1 مقدمة

2 الخلفية والأعمال ذات الصلة

2.1 صياغات مختلفة لمهمة اكتشاف الشذوذ المستندة إلى السجلات

2.2 الإشراف مقابل عدم الإشراف

2.3 المعلومات داخل بيانات السجل

2.4 تجميع النافذة الثابتة

2.5 الأعمال ذات الصلة

3 نهج قابل للتكوين لاكتشاف الشذوذ يعتمد على المحول

3.1 صياغة المشكلة

3.2 تحليل السجل وتضمين السجل

3.3 الترميز الموضعي والزمني

3.4 هيكل النموذج

3.5 التصنيف الثنائي الخاضع للإشراف

4 إعداد التجارب

4.1 مجموعات البيانات

4.2 مقاييس التقييم

4.3 إنشاء تسلسلات سجل بأطوال متفاوتة

4.4 تفاصيل التنفيذ والبيئة التجريبية

5 نتائج التجارب

5.1 السؤال البحثي 1: كيف يعمل نموذج اكتشاف الشذوذ المقترح مقارنة بالخطوط الأساسية؟

5.2 السؤال البحثي 2: ما مدى تأثير المعلومات التسلسلية والزمنية داخل تسلسلات السجل على اكتشاف الشذوذ؟

5.3 السؤال البحثي 3: ما مدى مساهمة الأنواع المختلفة من المعلومات بشكل فردي في اكتشاف الشذوذ؟

6 مناقشة

7 تهديدات الصلاحية

8 الاستنتاجات والمراجع

\

3 نهج قابل للتكوين لاكتشاف الشذوذ يعتمد على المحول

في هذه الدراسة، نقدم طريقة جديدة تعتمد على المحول لاكتشاف الشذوذ. يأخذ النموذج تسلسلات السجل كمدخلات لاكتشاف الشذوذ. يستخدم النموذج نموذج BERT مدرب مسبقًا لتضمين قوالب السجل، مما يتيح تمثيل المعلومات الدلالية داخل رسائل السجل. يتم إدخال هذه التضمينات، جنبًا إلى جنب مع الترميز الموضعي أو الزمني، لاحقًا في نموذج المحول. يتم استخدام المعلومات المجمعة في التوليد اللاحق لتمثيلات مستوى تسلسل السجل، مما يسهل عملية اكتشاف الشذوذ. نصمم نموذجنا ليكون مرنًا: ميزات الإدخال قابلة للتكوين بحيث يمكننا استخدام أو إجراء تجارب مع مجموعات ميزات مختلفة من بيانات السجل. بالإضافة إلى ذلك، تم تصميم النموذج وتدريبه للتعامل مع تسلسلات سجل الإدخال ذات الأطوال المتفاوتة. في هذا القسم، نقدم صياغة مشكلتنا والتصميم التفصيلي لطريقتنا.

\ 3.1 صياغة المشكلة

نتبع الأعمال السابقة [1] لصياغة المهمة كمهمة تصنيف ثنائية، حيث نقوم بتدريب النموذج المقترح لتصنيف تسلسلات السجل إلى شاذة وطبيعية بطريقة خاضعة للإشراف. بالنسبة للعينات المستخدمة في تدريب وتقييم النموذج، نستخدم نهج تجميع مرن لإنشاء تسلسلات سجل بأطوال متفاوتة. يتم تقديم التفاصيل في القسم 4

\ 3.2 تحليل السجل وتضمين السجل

في عملنا، نقوم بتحويل أحداث السجل إلى متجهات رقمية من خلال ترميز قوالب السجل باستخدام نموذج لغة مدرب مسبقًا. للحصول على قوالب السجل، نعتمد على محلل Drain [24]، الذي يستخدم على نطاق واسع ولديه أداء تحليل جيد على معظم مجموعات البيانات العامة [4]. نستخدم نموذج sentence-bert مدرب مسبقًا [25] (أي، all-MiniLML6-v2 [26]) لتضمين قوالب السجل التي تم إنشاؤها بواسطة عملية تحليل السجل. تم تدريب النموذج المدرب مسبقًا بهدف التعلم التباين ويحقق أداءً متطورًا في مختلف مهام معالجة اللغة الطبيعية. نستخدم هذا النموذج المدرب مسبقًا لإنشاء تمثيل يلتقط المعلومات الدلالية لرسائل السجل ويوضح التشابه بين قوالب السجل لنموذج اكتشاف الشذوذ اللاحق. البعد الناتج للنموذج هو 384.

\ 3.3 الترميز الموضعي والزمني

يتبنى نموذج المحول الأصلي [27] ترميزًا موضعيًا لتمكين النموذج من الاستفادة من ترتيب تسلسل الإدخال. نظرًا لأن النموذج لا يحتوي على تكرار ولا التفاف، فإن النماذج ستكون غير مدركة لتسلسل السجل بدون الترميز الموضعي. في حين تشير بعض الدراسات إلى أن نماذج المحول بدون ترميز موضعي صريح تظل تنافسية مع النماذج القياسية عند التعامل مع البيانات التسلسلية [28، 29]، من المهم ملاحظة أن أي تبديل لتسلسل الإدخال سينتج نفس الحالة الداخلية للنموذج. نظرًا لأن المعلومات التسلسلية أو الزمنية قد تكون مؤشرات مهمة للشذوذ داخل تسلسلات السجل، فإن الأعمال السابقة التي تعتمد على نماذج المحول تستخدم الترميز الموضعي القياسي لحقن ترتيب أحداث السجل أو القوالب في التسلسل [11، 12، 21]، بهدف اكتشاف الشذوذ المرتبط بترتيب التنفيذ الخاطئ. ومع ذلك، لاحظنا أنه في تنفيذ نسخة شائع الاستخدام لطريقة تعتمد على المحول [5]، تم في الواقع إغفال الترميز الموضعي. على حد علمنا، لا يوجد عمل حالي قام بترميز المعلومات الزمنية بناءً على الطوابع الزمنية للسجلات لطريقة اكتشاف الشذوذ الخاصة بهم. فعالية استخدام المعلومات التسلسلية أو الزمنية في مهمة اكتشاف الشذوذ غير واضحة.

\ في الطريقة المقترحة، نحاول دمج الترميز التسلسلي والزمني في نموذج المحول واستكشاف أهمية المعلومات التسلسلية والزمنية لاكتشاف الشذوذ. على وجه التحديد، تحتوي طريقتنا المقترحة على متغيرات مختلفة تستخدم تقنيات الترميز التسلسلي أو الزمني التالية. ثم تتم إضافة الترميز إلى تمثيل السجل، والذي يعمل كمدخل لهيكل المحول.

\

3.3.1 ترميز انقضاء الوقت النسبي (RTEE)

نقترح طريقة الترميز الزمني هذه، RTEE، والتي تستبدل ببساطة مؤشر الموضع في الترميز الموضعي بتوقيت كل حدث سجل. نقوم أولاً بحساب انقضاء الوقت وفقًا للطوابع الزمنية لأحداث السجل في تسلسل السجل. بدلاً من استخدام مؤشر تسلسل حدث السجل كموضع للمعادلات الجيبية وجيب التمام، نستخدم انقضاء الوقت النسبي للحدث الأول في تسلسل السجل لاستبدال مؤشر الموضع. يوضح الجدول 1 مثالاً على الفواصل الزمنية في تسلسل السجل. في المثال، لدينا تسلسل سجل يحتوي على 7 أحداث بفترة زمنية تبلغ 7 ثوانٍ. يتم استخدام الوقت المنقضي من الحدث الأول إلى كل حدث في التسلسل لحساب ترميز الوقت للأحداث المقابلة. على غرار الترميز الموضعي، يتم حساب الترميز باستخدام المعادلات 1 المذكورة أعلاه، ولن يتم تحديث الترميز أثناء عملية التدريب.

\

3.4 هيكل النموذج

المحول هو بنية شبكة عصبية تعتمد على آلية الانتباه الذاتي لالتقاط العلاقة بين عناصر الإدخال في تسلسل. تم استخدام النماذج والأطر المعتمدة على المحول في مهمة اكتشاف الشذوذ من قبل العديد من الأعمال السابقة [6، 11، 12، 21]. مستوحاة من الأعمال السابقة، نستخدم نموذجًا يعتمد على مشفر المحول لاكتشاف الشذوذ. نصمم نهجنا لقبول تسلسلات سجل ذات أطوال متفاوتة وإنشاء تمثيلات على مستوى التسلسل. لتحقيق ذلك، استخدمنا بعض الرموز المميزة المحددة في تسلسل سجل الإدخال للنموذج لإنشاء تمثيل تسلسلي وتحديد الرموز المميزة المبطنة ونهاية تسلسل السجل، مستوحاة من تصميم نموذج BERT [31]. في تسلسل سجل الإدخال، استخدمنا الرموز المميزة التالية: يتم وضعها في بداية كل تسلسل للسماح للنموذج بإنشاء معلومات مجمعة للتسلسل بأكمله، تتم إضافتها في نهاية التسلسل للإشارة إلى اكتماله، تستخدم لتمييز الرموز المميزة المقنعة تحت نموذج التدريب ذاتي الإشراف، وتست