基於對比學習實現之自監督式系統日誌異常檢測

Abstract

本研究針對系統日誌異常檢測問題提出了一個創新的二階段訓練框架，先利用日誌的模板（Template）資訊訓練一個基於 Contrastive Learning 的 Transformer 模型，將日誌直接轉換成一個特徵向量的資料點，我們會保證資料點能夠保留事件模板的資訊，並套用在下游的正常日誌之建模任務上，使得我們可以對異常日誌進行檢測。根據本論文的架構設計，我們可以在非監督式的異常檢測任務上獲得平均 94.84 的 F1 Score，比先前的 State-of-the-Art 模型 LogBERT 的表現（89.93）還要更高。文獻中的非監督式學習模型會將日誌轉換為模板後，使用一個 Embedding 層來將模板對應到特徵向量，而本研究會在推論時會直接使用日誌內容轉換為特徵向量，我們會在展示與其他模型的表現比較後，接著討論這個架構設計的合理性。其次，我們將提出一個方法，在推論時使用簡單的嵌入層替換掉 Transformer 模型，這樣的取代能夠大幅增加推論速度，使該論文架構能夠成為線上日誌異常檢測的優秀選擇。

This study proposes an innovative two-stage training framework for the problem of system log anomaly detection. First, we use the template information of the logs to train a Transformer embedder based on Contrastive Learning, directly converting the logs into feature vector data points. We ensure that the data points retain the event template information and apply them to the downstream task of modeling normal logs by training a simple LSTM network, allowing us to detect anomalous logs. According to the framework design in this paper, we achieve an average F1 Score of 94.84 in unsupervised anomaly detection tasks, which is higher than the previous state-of-the-art model LogBERT's performance (89.93). We will discuss our intuition and rationale in depth in the experiment part. Moreover, we propose a method to get rid of the embedder at inference time, making it a competitive option for online log anomaly detection system.