基於自監督及迭代標籤估計之預測時資料缺失值處理

Abstract

如何處理測試資料中的缺失值一直是一項備受關注的研究主題。對於學習在完整資料上且沒有做出預防措施的下游模型，我們必須先針對資料進行缺失值的填補才可進行預測。因此，如何學習一個良好的缺失值填補方法以及利用已知下游模型所提供的資訊將會是這項研究主題的關鍵。本論文旨在探討如何運用已知且不可更動的下游分類模型針對有缺失值的表格式資料進行預測。我們提出一項全新的架構，它包含了一個運用自注意力架構的缺失值填補模型以及一項迭代的下游任務標籤估計方法。架構中的缺失值填補模型可以替換成任何已知的模型。透過兩項自監督的學習任務以及從下游模型反饋的資訊，我們的缺失值填補模型在所有的競爭者中達到最佳的效果。我們透過大量的實驗來驗證我們提出的架構不只對於我們所提出的自注意力缺失值填補模型有所幫助，對於所有已知的缺失值填補方法也都可以提供進一步的效能提升。