針對語音辨識系統之決策型對抗式攻擊：查詢效率與不可感知性改善

Abstract

近年來，針對自動語音辨識系統的對抗式攻擊（adversarial attack）研究變得至關重要。此類的攻擊通常透過生成精心設計的擾動使得能將隱藏的指令注入到背景聲音信號中。預處理技術顯著影響對抗式攻擊的性能。在對自動語音辨識系統的攻擊當中，基於決策的黑箱（decision-based black-box）攻擊尤其值得注意，因為只需要模型的輸出，使其成為最實際的攻擊情境。在基於決策的攻擊中，攻擊者會重複查詢目標模型，以最小化最佳函數。在這種攻擊框架中，攻擊者所能獲取的有信資訊使查詢效率（query efficiency）成為了一項挑戰，使得擾動之不可感知性的改善更加困難。因此我們提出了qScore，一種基於人類感知的指標，作為目標函數，以增強查詢效率和不可感知性。此外，我們基於引入了基於心理聲學研究的在時間尺度去調整信號的預處理方法，提高攻擊的不可感知性。為了進行實驗，我們從免費資源網站上收集了聲音信號檔案，並使用語音合成生成了指令信號。最終的性能評估分為兩個部分：首先，我們比較了不同目標函數的查詢效率。其次，我們邀請了志願受試者對實驗結果進行評估。實驗結果顯示，qScore平均能在查詢次數減少40.01%的情況下，達到與2-範數可比的信號雜訊比。經過我們提出的時間尺度上調整信號的預處理方法後，我們觀察到平均意見分數（Mean opinion score）有著 2.50 至3.45之顯著提高。實驗結果顯示，我們提出的方法同時改善了對抗式攻擊的查詢效率和不可感知性。

In recent years, research on adversarial attacks against Automatic Speech Recognition (ASR) systems has become critical. Adversarial attacks against ASR systems typically involve the careful generation of audio perturbations which aim to inject hidden commands into background sound signals. Preprocessing techniques significantly impact adversarial attack performance. Among the studies on attacks against ASR systems, decision-based attacks are particularly noteworthy as they only require the output of the model, making them the most practical attack scenario. In decision-based attacks, attackers repeatedly query the target model to minimize the objective function. In such attack framework, the limited information available to attackers poses challenges in query efficiency, making the achievement of imperceptibility in perturbations more difficult. Hence, we propose qScore, a human perception metric, as the objective function to enhance query efficiency and imperceptibility.