基於知識圖譜之無監督學習日誌異常檢測

Abstract

由於需要大量監控機器狀態，日誌異常檢測已成為熱門的研究課題。然而，以往基於機器學習的方法使用標記數據進行模型訓練，既耗時又有所限制。此外，過去文獻中較少關注基於圖形建構的檢測模型。因此，我們提出了一種基於知識圖譜(Knowledge Graph)的新方法，來學習日誌模板的潛空間，以實現無監督式的模型訓練。知識圖譜能夠學習日誌之間的關係，並透過這些關係來檢測系統異常運作。除此之外，我們進一步結合孤立森林(Isolation Forest)，使模型能夠自動決定閾值。相比於以往的研究，該模型在無監督式日誌異常檢測方面表現良好。 第一章介紹研究主題，並提出研究的理論依據。第二章回顧過去文獻，重點討論日誌檢測方法與知識圖譜，並關注無監督式異常檢測模型的問題。第三章展示研究方法與架構，描述如何利用知識圖譜建構日誌檢測模型，並與孤立森林模型結合。第四章呈現實驗結果，將本研究模型與近年來的最佳模型進行比較，並探討不同參數對模型表現的影響。第五章總結研究結論。

With the huge need for monitoring machine status, log anomaly detection has become a popular research topic. However, previous research on machine learning-based methods uses labeled data for model training, which is time-consuming and limited. We propose a new method based on a knowledge graph to learn the latent space of the log templates without labeled data. This method is further integrated with an isolation forest to automatically decide the threshold. The model shows good performance compared to previous research on unsupervised log anomaly detection models.