個人相片檢索系統之多模式對話使用者介面

Abstract

本論文提出將口語對話系統（Spoken Dialogue System）的觀念技術用在台大語音實驗室的個人相片檢索系統上，目標是利用系統與使用者之間的多模式對話（Multi-modal Dialogue）互動，幫助使用者更方便且快速的找到自己想要的相片。論文中首先嘗試基於規則的對話系統，並參考在主動學習（Active Learning）領域中常用的分數來設計系統規則。接下來用兩種機器學習的方法，第一種是馬可夫決策程序模型（Markov Decision Process），搭配即時動態規劃（Real-time Dynamic Programming）演算法來做模型訓練。實驗比較三種不同主題分類數的系統狀態，分別搭配不同主題分類或相片的系統動作；當使用主題分類作為系統動作時，實驗中還比較隨機挑選相片與用主動學習分數挑選相片兩種方法的結果。第二種是部份觀測馬可夫決策程序模型（Partially Observable Markov Decision Process），並且使用高斯程序（Gaussian Process）來估算策略值函式。實驗也比較三種不同主題分類數的系統狀態與系統動作，並且使用主動學習分數挑選相片。本論文還進一步嘗試增加擴展查詢詞（Query Expansion）的系統動作，並使用在上述兩種方法上，亦即馬可夫決策程序模型和部份觀測馬可夫決策程序模型上。最後我們並實作混合發動（Mixed Initiative）的對話系統，並且發現適當的讓使用者擁有回答問題以外的動作選擇，的確可以讓系統學習得更好。