一種聲源自主搜尋定位方法
2023-06-06 09:44:36 1
專利名稱：一種聲源自主搜尋定位方法
技術領域：
本發明涉及自動檢測及機器人技術，具體為一種實際的室內環境下，基
於移動機器人的聲源自主搜尋定位方法，國際專利分類號擬為Int.Cl.G01D 21/02 (2006.01)。
背景技術：
隨著各國對國家安全、社會治安等公共事業的高度重視，以防暴、反 恐、消防滅火、排險救援等為特徵的危險作業移動機器人的需求日益凸現。 在工業上，各種危險化學反應釜、危險品儲罐及其管道的檢測與維修機器人 的需求日益增多，尤其是在石化行業，隨著我國石化工業的發展，各類化學 反應容器和輸送管道的洩漏檢測與修補已成為石化工業避免事故的關鍵技 術。但目前存在的突出問題是如何實現移動機器人對可疑物品的準確判斷。 在特殊環境中搜尋並跟蹤特定聲源、獲取與所跟蹤聲源的準確距離、判斷聲 源方向，同時進行聲音的識別以及為打擊武器進行自動瞄準等工作就顯得非 常重要，它對於保障人民的生命財產安全，促進經濟社會的和諧發展具有重 大現實意義。
這方面一個新興的研究及應用方向就是如何將聲源定位、識別與移動機 器人技術相結合，通過移動機器人來搜尋發現聲源，確定聲源位置，並識別 該聲源，即所謂聲源定位和識別的問題。主動搜尋可以有效地彌補傳統方法 (如固定傳感器網絡法、專業人員或經過訓練的動物到洩漏源現場查找等方 法)存在的缺點。 一方面，由於移動機器人的運動性，它相當於組成一個移 動傳感器網絡，相比固定傳感器可以覆蓋更大的範圍，且運動靈活；另一方 面，機器人可被快速開發、維護費用低、且可長時間工作，也不存在人身危 險、注意力時間有限、易疲勞等問題。
目前一般只是針對聲源定位和識別過程中的部分子問題開展相關的科學 研究，並沒有提出一套涉及聲源搜尋定位和識別的完整技術解決方案。現有方法/策略存在的主要問題是l.只根據單一聲音信號對目標進行定
位的方法，例如Yuki TAMAI等人(Yuki TAMAI等，基於128個傳聲器組 成陣列的實時2維聲源定位，IEEE International Workshop on Robot and Human Interactive Communication會議論文集，2004年，65-70 ; Yuki TAMAL Satoshi KAGAMI， Hiroshi MIZOGUCH1, Yutaka AMEMIYA， Koichi anathema, Tachyon TAKANO， Real-Time 2 Dimensional Sound Source Localization by 128-Channel Huge Microphone Array ， Proceedings of the 2004 IEEE International Workshop on Robot and Human Interactive Communication, 2004: 65-70)提出一種用128個傳聲器組成的陣列進行聲源定位的方法。2.只根據 視覺信號進行定位的方法，例如Hideo Morita等，基於支持向量機的室外環 境l"一白勺豐見覺定{立，International Conference Intelligent Robots and Systems, 2005:2965 _ 2970 (Hideo Morita， Michael Hild， JunMmra， Yoshiaki Shirai， View-Based Localization in Outdoor Environments Based on Support Vector Learning, International Conference Intelligent Robots and Systems, 2005:2965 — 2970)。單一的應用視覺定位存在弊端如果聲源在障礙物的後面或機器人 處於黑暗的工作環境中時，單靠視覺是不能夠對聲源進行定位的。3.單一的 對聲音信號進行識別，如Sidney D'Mdlo等， 一個人機通過語音指令交互的 機構，IEEE International Workshop on Robots and Human Interactive Communication, 2005， 184-189 (Sidney D，Mello ， Lee McCauley， James Markham， A Mechanism for Human - Robot Interaction through Informal Voice Commands ， IEEE International Workshop on Robots and Human Interactive Communication, 2005， 184-189)。這些單一的定位技術都存在著一定的缺 陷，如聲音信號定位精度不高，視覺定位易受工作環境影響等。
發明內容
針對現有技術的不足，本發明要解決的技術問題是，設計一種聲源自主 搜尋定位方法。該定位方法基於移動機器人，克服了單一聲音信號易受噪聲 等周圍環境影響，單一視覺定位易受障礙物和光線的影響的定位缺陷，適用 於實際狀況的室內環境，採用機器人聽覺和視覺信息融合的方法，在進行傳 聲器陣列聲源初定位後，可與系統的視覺信號進行融合，進一步準確定位目標
4聲源；並且，在本發明定位方法對目標聲源進行精確定位的同時，還可以實 現對該聲音的特徵識別。
本發明解決所述定位方法技術問題的技術方案是設計一種聲源自主搜 尋定位方法，該定位方法基於移動機器人，包括以下步驟首先，利用傳聲 器陣列對目標聲源初步定位在移動機器人的擬人頭部設置4個傳聲器組成 的陣列，4個傳聲器分別布裝在機器人擬人頭部外廓圓的最大內接正方形的 四個頂點位置上，各傳聲器之間的距離相等，並構成移動機器人的左右耳， 用其分別採集目標聲源兩路聲音信號，該兩路聲音信號經基於時延的數學處 理後，即可得到目標聲源的初步位置；其次，把聽覺定位與視覺定位相融 合即在得到目標聲源的初步位置後，利用方位角度信息水平轉動機器人的 擬人頭部，利用俯仰角信息上下轉動機器人擬人頭部，或者或同時移動機器 人本體，使目標聲源處於機器人的視野範圍內；最後，利用視覺信號對目標 聲源進行精確視覺定位。
本發明所述定位方法的進一步特徵是在所述的採集到目標聲源兩路聲 音信號後，對其中的一路傳聲器聲音信號採用以下步驟處理常規聲音信號
預處理後，提取其MFCC作為特徵參數，採用DTW算法進行識別，並與模板 資料庫中的數據進行匹配，在完成目標聲源定位的同時，實現對該聲源聲音 的特徵識別。
與現有技術相比，本發明具有如下優點
(1) 精度高。本發明綜合運用了基於移動機器人的聽覺和視覺聲源定 位的方法，在利用聽覺實現聲源的初步定位後，再與本系統的視覺部分相結
合，可實現更進一歩的精確定位；
(2) 適用性強。本發明從實際應用出發，綜合考慮了工作環境對機器 人聽覺和視覺各部分的限制問題，不僅有效組合了聽覺和視覺的定位方法， 融合了傳聲器陣列的多路感知信息，而且在精確定位的同時，還能夠識別出 聲源的基本特性。
圖1為本發明聲源自主搜尋定位方法基於移動機器人融合聲覺定位和視 覺定位進行目標聲源精確定位的原理示意圖。
圖2為本發明聲源自主搜尋定位方法設計的傳聲器陣列布裝在移動機器人頭部一種實施例的結構示意圖。
圖3為本發明聲源自主搜尋定位方法採用的聽覺模塊進行目標聲源初定 位的原理示意圖。
圖4為本發明聲源自主搜尋定位方法在聲源初定位後與視覺定位進行融 合定位的原理示意圖。
圖5為本發明聲源自主搜尋定位方法採用的視覺模塊定位進行目標聲源
精確定位的原理示意圖。
圖6為本發明聲源自主搜尋定位方法一種實施例採用的計算機主控程序 原理框圖。
具體實施例方式
下面結合實施例及其附圖詳細敘述本發明。實施例是以本發明技術方案 為前提下進行實施，給出了詳細的實施方式和過程。但本發明權利要求的保 護範圍不限於下述的實施例。
下面根據本發明的技術方案給出本發明的具體實施例
本發明設計的聲源自主搜尋定位方法(簡稱定位方法，參見圖l一6) 基於移動機器人(簡稱機器人)，機器人的擬人頭部上安裝有傳感器陣列和
雙目攝像機。所述雙目攝像機布裝在機器人擬人頭部的雙眼位置上；機器人 擬人頭部可作180度的左右轉動(即360度轉動)。針對不同的實際應用環
境的地面狀況，移動機器人可採用輪式移動機器人、履帶式移動機器人或輪 履複合式移動機器人。
本發明所述定位方法採用以下步驟
首先，利用傳聲器陣列對目標聲源初歩定位。所述傳聲陣列實施例由4 個傳聲器(即M,-M4)組成。4個傳聲器M,-M4分別布裝在機器人擬人頭部外 廓圓(垂直面)的最大內接正方形的四個頂點位置上，各傳聲器之間的距離 相等，構成移動機器人的左右耳朵(參見圖2)。由於聲源到任意兩個傳聲 器的距離不一樣，因此到達時間也不一樣，到達該兩個傳聲器的時間就會有 一個時間延遲。本發明的聽覺模塊定位(參見圖3)就是基於這樣的原理來 設計的。聽覺模塊是指本發明對聲音信號處理的部分。具體說，利用傳聲器 陣列和聲源的位置關係坐標系，求得目標聲源相對傳聲器陣列的位置信息， 包括方位角、俯仰角以及距離值的表達式，計算4個傳聲器中每兩個傳聲器接收到的聲音信號的時間延遲，利用延遲數，和方位角、俯仰角以及距離值 的表達式得到聲源的初步(位置)定位。本發明的移動機器人在其工作環境 中，傳聲器陣列耳朵處於監聽狀態，如果沒有檢測到聲音信號，就把環境噪
聲信號記錄下來，並求得兩路噪聲信號的互功率譜；當檢測到聲音信號時， 經常規數學處理後，即可得到目標聲源的初步位置。所述基於時延的數學處 理包括聲音信號先經過一系列的預處理，包括採樣、濾波、端點檢測、分 幀、加窗、預加重，快速傅立葉變換等，求得兩路聲音信號的互功率譜，並 在其中減去原來環境噪聲的互功率譜，這樣可以得到明顯的聲源信號信息。 初步去掉噪聲的兩聲源信號之間的互功率譜在頻域內給予一定的加權(頻域 加權)，並對信號和噪聲進行白化處理，增強信號中信噪比較高的頻率成
分，從而進一步抑制噪聲的影響，再經過反傅立葉變化(IFFT)轉換到時 域，得到兩聲源信號之間的廣義互相關函數；廣義互相關函數峰值對應兩傳 聲器間的時延，對廣義互相關函數峰值檢測求得時間延遲；得到每個傳聲器 對的時間延遲數據後，代入到通過幾何模型定位法得到的位置參數公式中， 就可以得到目標聲源的初步定位(位置)。實施例實現過程是採集到的聲
音信號通過與傳聲器連接的4路音效卡傳遞給機器人內的PC機，PC機通過依 據上述算法編寫的程序對採集到的聲音信號進行處理。
其次，把聽覺定位與視覺定位相融合。得到目標聲源的初歩定位(位 置)後，利用聲源定位結果中的方位角度信息水平轉動機器人的擬人頭部， 利用聲源定位結果中的俯仰角信息上下轉動機器人擬人頭部，使聲源處於機 器人的視野範圍內。所述方位角和俯仰角兩個數值通過控制系統傳給PMAC 運動控制卡，控制伺服電機帶動機器人的擬人頭部水平旋轉相應的方位角或 /和上下旋轉相應的俯仰角，或者或同時移動機器人本體，以使目標聲源位 於機器人的視野範圍之內，並對準目標聲源，即實現了移動機器人聽覺定位 信息和視覺定位信息的有效融合(參見圖4)。
最後，利用視覺信號對目標聲源進行精確視覺定位。在轉動機器人的頭 部使目標聲源處於機器人的視野範圍後，利用雙目攝像機採集目標聲源信 號，採集到的目標聲源信號傳送給視覺模塊，經其處理(參見圖5)，即可 得到目標聲源的精確位置。所述視覺模塊對採集到的視覺信息進行處理技術 本身為現有技術。所述的視覺模塊處理是指，對雙目攝像機採集的目標聲源 圖像進行去噪預處理，然後利用事先採集、處理好的模板圖像與經過預處理的圖像進行相似度計算，得到相似度最大的區域即立體匹配區域，再對立體
匹配區域進行二值化處理，利用Ca皿y邊緣檢測器獲得目標區域邊緣，通 過形心擬合算法獲得左右圖像的形心，進一歩通過雙目攝像機的左右圖像的 視差關係以及雙目相機的基線尺寸，可獲得該目標聲源中心的三維世界坐 標，即可得到目標聲源的精確視覺定位。
本發明定位方法的計算機主控程序原理框圖設計如下(參見圖6):首 先機器人處於工作空間中，機器人"耳朵"——即傳感器陣列處於監聽狀一 —監聽和判斷是否有聲音信號。如果沒有聲音信號，"耳朵"----直處於監聽 狀態。如果有聲音信號，聲音信號進入聽覺定位模塊進行聽覺定位，得到目 標聲源的初步位置。初步位置數值傳給PMAC運動控制卡控制程序，以控制 機器人的頭部轉動或/和移動機器人本體，使目標聲源位於機器人的視野範 圍之內。調動視覺模塊採集視覺信號進行視覺定位，即可得到精確的聲源位 置。所述的程序依據所述的現有技術或算法編制，本領域技術人員依據所述 原理框圖和現有技術不經創造性勞動即可以具體完成。
本發明所述定位方法的進一步特徵是在所述的採集到目標聲源兩路聲
音信號後，對其中的一路傳聲器聲音信號採用以下歩驟處理聲音信號預處
理，然後提取其MFCC作為特徵參數，採用DTW算法進行識別，並與模板數 據庫中的數據進行匹配，在完成目標聲源定位的同時，實現對該聲源聲音的 特徵識別(簡稱識別方法，參見圖3)。具體做法是，利用本發明所述定位 方法採集到目標聲源信號，並對傳聲器陣列中的一路傳聲器的信號進行預處 理後，採用以下步驟提取其MFCC作為特徵參數，採用DTW算法進行識 別，並與模板資料庫中的數據進行匹配，完成該聲源聲音的識別。所述的聲 源信號預處理包括濾波、預加重、加窗和端點檢測等，其過程同於前述的定 位方法。所述的聲音識別過程包括採用建在人聽覺機理上的MFCC係數作 為其特徵參數，採用DTW算法進行識別(參見圖3)。採用DTW算法主要考 慮的是工作環境的需求，識別的聲音不是很複雜，採用DTW算法既可實現快 速的聲音識別，又可達到精度要求。DTW算法本身為現有技術。
本發明的機器人自主聲源定位和識別方法能夠實時採集環境信息並加以 利用，在實現目標聲源的初步定位後，再與本系統的視覺定位部分相結合， 實現更進一步的精確定位，具有較高的精度和抗幹擾性。本發明利用視覺信 號對聲源定位，能大大提高目標聲源的定位精度。換言之，基於傳感器陣列的聲源定位精度上低於基於雙目視覺的目標定位，存在聲音信號易受外界噪 聲等影響的不足，而視覺定位雖精度較高，但易受障礙物和光線的影響，本 發明聽覺和視覺信息融合的定位方法克服了上述單一信號定位所存在的問 題，很好地實現了實際工作環境(含噪)下聲源目標的精確定位。同時，本 發明聲源定位還可以與識別技術相結合，不僅可以獲得目標聲源在機器人工 作空間的精確位置，而且還能同時了解該聲源的頻率範圍等具體特性，對於 分析機器人的工作任務有很大幫助，例如，便於妥善處理機器人工作環境下 的突發事件等。
本發明未述及之處適用於現有技術。
權利要求
1.一種聲源自主搜尋定位方法，該定位方法基於移動機器人，包括以下步驟首先，利用傳聲器陣列對目標聲源初步定位在移動機器人的擬人頭部設置4個傳聲器組成的陣列，4個傳聲器分別布裝在機器人擬人頭部外廓圓的最大內接正方形的四個頂點位置上，各傳聲器之間的距離相等，並構成移動機器人的左右耳，用其分別採集目標聲源兩路聲音信號，該兩路聲音信號經基於時延的數學處理後，即可得到目標聲源的初步位置；其次，把聽覺定位與視覺定位相融合即在得到目標聲源的初步位置後，利用方位角度信息水平轉動機器人的擬人頭部，利用俯仰角信息上下轉動機器人擬人頭部，或者或同時移動機器人本體，使目標聲源處於機器人的視野範圍內；最後，利用視覺信號對目標聲源進行精確視覺定位。
2. 根據權利要求1所述的聲源自主搜尋定位方法，其特徵在於在所述的採集到目標聲源兩路聲音信號後，對其中的一路傳聲器聲音信號採用以下步驟處理聲音信號預處理，然後提取其MFCC作為特徵參數，採用DTW算 法進行識別，並與模板資料庫中的數據進行匹配，在完成目標聲源定位的同 時，實現對該聲源聲音的特徵識別。
3. 根據權利要求1或2所述的聲源自主搜尋定位方法，其特徵在於在 所述移動機器人可採用輪式移動機器人、履帶式移動機器人或輪履複合式移 動機器人。
全文摘要
本發明涉及一種聲源自主搜尋定位方法。該定位方法基於移動機器人，包括以下步驟首先，利用傳聲器陣列對目標聲源初步定位在移動機器人的擬人頭部設置4個傳聲器組成的陣列，4個傳聲器分別布裝在機器人擬人頭部外廓圓的最大內接正方形的四個頂點位置上，各傳聲器之間的距離相等，並構成移動機器人的左右耳，用其分別採集目標聲源兩路聲音信號，該兩路聲音信號經基於時延的數學處理後，即可得到目標聲源的初步位置；其次，把聽覺定位與視覺定位相融合即在得到目標聲源的初步位置後，利用方位角度信息水平轉動機器人的擬人頭部，利用俯仰角信息上下轉動機器人擬人頭部，或者或同時移動機器人本體，使目標聲源處於機器人的視野範圍內；最後，利用視覺信號對目標聲源進行精確視覺定位。
文檔編號G01S5/00GK101295016SQ200810053508
公開日2008年10月29日 申請日期2008年6月13日 優先權日2008年6月13日
發明者呂曉玲, 孫凌宇, 張小俊, 張明路 申請人:河北工業大學