基於人臉分布規律的搜尋策略優化

Abstract

隨著網路發展、行動裝置的普及和相關社交應用的興盛，全世界 每天有超過數百億的照片上傳至各雲端空間。如此龐大的資料量(Big Data) 意謂著與其相關的任何應用如人臉偵測(Face Detection) 等，都 將負荷十分巨大的運算量。而不同演算法處理單張照片時效能上可 以忽略的些微差異，累積至大尺度(Large-Scale) 資料量時卻可能使得 整體執行時間與耗電成本達到數個量級以上的差距。因此，基於增 進於大尺度資料上實行人臉偵測的整體效率，本論文提出了一利用 大尺度影像，學得關於人臉大小(Face Size) 及位置(Face Location) 的 知識來排序照片中人臉搜尋區域的策略。就人臉偵測而言，在照片 上給定一大小及位置所得之目標區域，即為一可能為人臉的子視窗 (Sub-Window)。過去的研究主要著重於設計特徵(Feature) 及偵測流程 (Detection Process)，對於輸入圖片的偵測方法即在其上窮舉各種可能 之子視窗進行偵測，使得一張照片往往需檢視數百萬以上的子視窗。 而本研究發現，人臉在相片中的分布具有一定模式，意即各個子視窗 含有人臉的機率並非相等。因此，本研究運用關於人臉如何分布的全 域知識(Global Knowledge) 及當前輸入照片關於人臉的區域知識(Local Knowledge) 來模型化各個子視窗出現人臉的可能性並加以排序。使用 者可以針對排序後的子視窗搜尋序列，根據自身對效能的需求，有效 地過濾在序列中排序較後、出現人臉機率較低的子視窗來大幅減少子 視窗偵測運算量。最終實驗顯示，相較過去傳統暴力搜尋的方式─滑 動視窗(Brute-force Sliding Window)，本論文所提出之方法可以在保有 人臉偵測召回率(recall) 百分之九十五的情況下，省下了百分之四十的 子視窗搜尋數，及其對應的偵測運算量。此方法針對輸入端的子視窗 序列作處理，可實施於各人臉偵測系統提升其效能。 關鍵字： 人臉偵測, 子視窗搜尋, 大資料, 大尺度相片, 人臉位置, 人 臉大小, 滑動視窗

With the developments of smart devices and network capabilities, the growths of the photos uploaded in social websites make either the data or the computations of face-related applications become enormously huge. Huge computations imply huge energy consumption that every service provider of face detection wants to effectively reduce for it's economical benefits. Despite the various features and detection processes proposed in previous researches, the selection of search hypotheses (i.e. sub-windows, areas in a photo being face candidates) for the inputs of detectors is basically the form of sliding window, which scans images in a brute-force manner. By observing the patterns of face locations and face sizes in large-scale photos, we incorporate global and local information to formulate the patterns observed, and propose a ranking model for search hypotheses in photos. By constraining the search areas to be the hypotheses with ranking scores above a given threshold, which implies to only search on those with high possibilities of faces, the number of sub-windows examined can be effectively reduced. The experiment shows that 40% of sub-windows can be reduced while maintaining 95% face recall, compared to traditional sliding window. Keywords: face detection, sub-window search, big data, large-scale photos, face location, face size, sliding window