請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/71746
標題: | 結合仿人耳聽覺定向系統的機器人室內環境導航 Indoor Navigation for a Robot with Humanoid Binaural Auditory Localization |
作者: | Chung-Yuan Chen 陳重源 |
指導教授: | 鄭士康(Shyh-Kang Jeng) |
關鍵字: | 雙耳聽覺,聲源定位,仿生,類神經網路模擬,深度學習,機器人, Binaural Auditory System,Sound Source Localization,Biomimicry,Neural Networks,Nengo,Deep Learning,Robotics,ROS,Turtlebot3, |
出版年 : | 2018 |
學位: | 碩士 |
摘要: | 本論文提出一個具有聽覺功能的機器人系統,能夠在居家室內環境中,透過所提出的仿人類雙耳聽覺訊號處理系統,接收語音或異常聲音,分析擷取出該聲源相對於機器人的相對水平方向,並利用此分析結果引導機器人於室內空間導航,使機器人移動至聲源位置,聽取指令或查看發出異常聲響的位置。本研究可應用於居家環境保全、擴增機器人的聽覺功能等。
本研究中的聽覺訊號處理系統設計,仿效人類聽覺系統的心理聲學及認知神經科學,採用3D列印的耳廓及耳道塑膠模型為收音器,結合雙聲道麥克風擷取採樣,數位化的聲音訊號接著由IPEM Toolbox套件中的Auditory Peripheral Module (APM)模組,模擬耳蝸及其中的毛細胞對於聲音訊號的神經反應。根據人類的聽覺中樞模組(Auditory Central Module,ACM)的神經模型:內側上橄欖(MSO)與外側上橄欖(LSO)分別解析兩聲道之間的時間差(ITD)及強度差(ILD)資訊,由下丘(IC)結合MSO及LSO輸出的資訊。實作上使用Nengo神經網路模擬軟體分別實作MSO、LSO及IC模型,並考量機器人實時連續工作的運作模式,以基於Tensorflow-gpu及Nengo-dl套件的圖形運算單元(GPU)平行化運算技術,改良神經網絡結構、加速網路模擬速度。最後由Keras、Tensorflow-backend機器學習套件建立深度結構化類神經網路模型,以模擬大腦皮質聽覺區的感官整合學習功能;並透過自建資料庫訓練,整合MSO、LSO及IC模型的資訊,分辨七個水平角度的聲源方向判斷。系統整合方面,以ROS為主要系統架構,硬體建置於實體機器人TurtleBot3之上:將以上各軟體模組皆實作為Node程序,可進行模組化開發、數據流串連、動態系統管理。本論文最後包含本聽覺系統的實驗結果分析、比較及討論。 Here we propose a novel robot system which can navigate in indoor environments with spatial cues from the binaural sound. The system receives audio signals with a set of binaural microphones that has a pair of 3-D printed ear mockups for realistically acoustic effect. Afterwards, a series of neural models imitating human's auditory pathway process the sound signal into neural signals of various stages, e.g., cochlea, superior olivary complex, inferior colliculus, and finally primary auditory cortex, extracting the ITD and ILD information of the sound. Meanwhile, the neural models for analog-front-end signal processing are simulated with various biologically plausible, realistic module or neural modeling tools, the IPEM toolbox and the Nengo simulator. The primary auditory cortex which is responsible for inferring the sound source azimuth is modeled with a supervised-learning deep neural network, with Keras and Tensorflow, to mimic the plasticity of the brain auditory cortex. Finally, a navigation planner generates goals based on the proposed intelligence levels and guide the robot base to explore the sound source. In the hardware aspect, the system is implemented on a Turtlebot3 base as the mobile robot and a GPU-accelerated PC for neural network simulations. The design, implementation details, and testing results are revealed, analyzed and discussed. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/71746 |
DOI: | 10.6342/NTU201804376 |
全文授權: | 有償授權 |
顯示於系所單位: | 電信工程學研究所 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-107-1.pdf 目前未授權公開取用 | 5.58 MB | Adobe PDF |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。