包括多個音頻傳感器的設備及其操作方法

2023-04-27 17:11:46 3

專利名稱：包括多個音頻傳感器的設備及其操作方法
技術領域：
本發明涉及一種包括諸如麥克風之類的多個音頻傳感器的設備及其操作方法，並且尤其涉及一種配置為使得當多個音頻傳感器中的第一音頻傳感器與設備的用戶接觸時，所述多個傳感器中的第二傳感器與空氣接觸的設備。
背景技術：
行動裝置經常用在聽覺上惡劣的環境(即存在許多背景噪聲的環境)中。除了行動裝置的用戶在雙向通信期間能夠聽到遠端方(far-end party)的問題之外，困難的是獲得代表用戶語音的「乾淨」(即沒有噪聲或噪聲基本上降低)的音頻信號。在捕捉的信噪比(SNR)較小的環境中，在可以利用「樂音」假象(artifact)使近端語音信號(即由行動裝置中的麥克風獲得的信號)失真之前，傳統的語音處理算法僅僅可以執行有限量的噪聲抑制。公知的是，與使用諸如麥克風(即與通過空氣產生聲音的對象相分離的麥克風)之類的空氣-傳導(AC)傳感器獲得的音頻信號相比，使用諸如骨-傳導(BC)或接觸麥克風(即與產生聲音的對象物理接觸的麥克風)之類的接觸傳感器獲得的音頻信號相對不受背景噪聲的影響，因為由BC麥克風所測量的聲音振動是通過用戶的身體傳播，而不是如用普通的AC麥克風那樣通過空氣傳播，所述普通的AC麥克風除了捕捉期望的音頻信號之外也拾取背景噪聲。此外，使用BC麥克風獲得的音頻信號的強度通常比使用AC麥克風獲得的音頻信號的強度高得多。所以，已經考慮將BC麥克風用於可能在嘈雜的環境中使用的設備。圖1示出了在相同嘈雜的環境中使用BC麥克風獲得的音頻信號相對於使用AC麥克風獲得的音頻信號的高SNR特性。在圖1中，縱軸示出了音頻信號的幅值。然而，使用BC麥克風獲得語音的問題在於其質量和清晰度通常比使用AC麥克風獲得的語音的質量和清晰度低得多。清晰度的這種降低一般源自骨頭和組織的濾波特性，其可以嚴重地衰減音頻信 號的高頻成分。使用BC麥克風獲得的語音的質量和清晰度取決於其在用戶上的具體位置。麥克風設置得離在喉嚨和頸部區域周圍的喉頭和聲帶越近，所得到的BC音頻信號的質量和強度越好。此外，由於BC麥克風與產生聲音的對象物理接觸，所以得到的信號與AC音頻信號相比具有更高的SNR，該AC音頻信號也拾取背景噪聲。然而，雖然使用在頸部區域中或在頸部區域周圍設置的BC麥克風獲得的語音將具有高得多的強度，但是信號的清晰度仍將非常低，其歸因於通過在頸部區域中或在頸部區域周圍的骨頭和軟組織對聲門信號進行的濾波以及聲道傳送功能的缺失。使用BC麥克風獲得的音頻信號的特性也取決於BC麥克風的殼體(即它是否與環境中的背景噪聲屏蔽開了)以及用於建立與用戶的身體的接觸而施加至BC麥克風的壓力。所以，已經開發了旨在改進從BC麥克風獲得的語音的清晰度的濾波或語音增強方法，但是這些方法通常需要存在乾淨的語音參考信號，從而構建均衡濾波器以應用於來自BC麥克風的音頻信號，或者需要使用來自AC麥克風的乾淨的音頻信號來訓練特定於用戶的模型。存在旨在使用來自BC麥克風的語音信號的特性來改進從AC麥克風中獲得的語音的清晰度的替代的方法。

發明內容
移動個人應急響應系統(MPERS)包括用戶佩戴的垂飾或類似的設備，其包括用於使用戶能夠在緊急情況下與保健提供者或應急服務聯絡。因為這些設備可能必須用在嘈雜的環境中，期望提供一種給出來自所述用戶的可能的最佳語音的設備，所以已經考慮在這些設備中使用BC麥克風和AC麥克風。然而，因為垂飾可以相對於所述用戶自由地移動(例如，通過轉動)，所以經過一段時間，與用戶接觸的特定麥克風可能改變(即麥克風可能在這一刻是BC麥克風，而在下一刻是AC麥克風)。也可能是，在給定的時刻，沒有麥克風與用戶接觸(即所有的麥克風都是AC麥克風)。這導致在設備2中的隨後的電路處理所述音頻信號從而產生增強後的音頻信號的問題，因為具體的處理操作通常針對特定的(即BC或AC)音頻信號執行。所以，需要一種克服該問題的設備及其操作方法。根據本發明的第一方案，提供了一種操作設備的方法，所述設備包括多個音頻傳感器，並且被配置為使得當 多個音頻傳感器中的第一音頻傳感器與設備的用戶接觸時，多個音頻傳感器中的第二音頻傳感器與空氣接觸，所述方法包括:從多個音頻傳感器獲得代表用戶的語音的相應的音頻信號；以及分析所述相應的音頻信號以確定多個音頻傳感器中的哪一個(若有的話)與設備的用戶接觸。優選地，分析的步驟包括分析每個音頻信號的頻譜特性。更優選地，分析的步驟包括分析所述相應的音頻信號在閾值頻率以上的功率。如果音頻傳感器的相應的音頻信號在所述閾值頻率以上的所述功率比來自另一個音頻傳感器的音頻信號在所述閾值頻率以上的功率小預定量以上，則可以確定所述音頻傳感器與所述設備的所述用戶接觸。在一個具體的實施例中，分析的步驟包括:將N點傅立葉變換應用於每個音頻信號；針對每個經傅立葉變換的音頻信號，確定關於在閾值頻率以下的功率頻譜的信息；根據所確定的信息使來自兩個傳感器的所述經傅立葉變換的音頻信號相對於彼此歸一化；以及比較歸一化的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜，以確定所述多個音頻傳感器中的哪一個音頻傳感器(若有的話)與所述設備的所述用戶接觸。在一種實施方式中，確定信息的步驟包括:針對每個所述經傅立葉變換的音頻信號，確定在所述閾值頻率以下的所述功率頻譜中的最大波峰值；但是在替代的實施方式中，確定信息的步驟包括:針對每個所述經傅立葉變換的音頻信號，對所述閾值頻率以下的所述功率頻譜進行求和。如果音頻傳感器的相應的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜比來自另一個音頻傳感器的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜小預定量以上，則可以確定所述音頻傳感器與所述設備的所述用戶接觸。如果所述經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜相差預定量以下，則可以確定沒有音頻傳感器與所述設備的所述用戶接觸。優選地，所述方法進一步包括以下步驟:將所述音頻信號提供給電路，該電路處理所述音頻信號以根據分析步驟的結果產生代表所述用戶的所述語音的輸出音頻信號。根據本發明的第二方案，提供了一種設備，包括:多個音頻傳感器，布置在所述設備中，使得當所述多個音頻傳感器中的第一音頻傳感器與所述設備的用戶接觸時，所述多個音頻傳感器中的第二音頻傳感器與空氣接觸；以及電路，其被配置為:從所述多個音頻傳感器獲得代表用戶的語音的相應的音頻信號；並且分析所述相應的音頻信號以確定所述多個音頻傳感器中的哪一個音頻傳感器(若有的話)與所述設備的所述用戶接觸。優選地，所述電路被配置為分析所述相應的音頻信號在閾值頻率以上的功率。在具體的實施例中，所述電路被配置為通過以下步驟分析所述相應的音頻信號:將N點傅立葉變換應用於每個音頻信號；針對每個經傅立葉變換的音頻信號，確定關於在閾值頻率以下的功率頻譜的信息；根據所確定的信息使來自兩個傳感器的所述經傅立葉變換的音頻信號相對於彼此歸一化；以及比較歸一化的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜，以確定所述多個音頻傳感器中的哪一個音頻傳感器(若有的話)與所述設備的所述用戶接觸。優選地所述設備進一步包括:處理電路，用於接收所述音頻信號，並且用於處理所述音頻信號以產生代表所述用戶的所述語音的輸出音頻信號。根據本發明的第三方案，提供了一種包括計算機可讀代碼的電腦程式產品，所述計算機可讀代碼被配置為使得:在通過合適的計算機或處理器執行所述計算機可讀代碼時，所述計算機或處理器執行如上所述的方法。


現在將通過參考以下的附圖而僅僅舉例描述本發明的示例性實施例，在所述附圖中:
圖1不出了在相同的嗜雜環境中使用BC麥克風獲得的音頻信號相對於使用AC麥克風獲得的音頻信號的高SNR特性；圖2是包括兩個麥克風的垂飾的框圖；圖3是根據本發明的第一實施例的設備的框圖；圖4A和4B是示出了分別在具有和不具有背景噪聲的情況下從BC麥克風和AC麥克風獲得的信號之間的功率頻譜密度之間的比較的曲線圖；圖5是示出根據本發明的實施例的方法的流程圖；圖6是示出根據本發明的更具體的實施例的方法的流程圖；圖7是示出根據本發明的設備中的BC/AC鑑別器模塊的動作的結果的曲線圖；圖8是根據本發明的第二實施例的設備的框圖；圖9是示出對使用BC麥克風獲得的信號執行語音檢測的結果的曲線圖；圖10示出將語音增強算法應用至使用AC麥克風獲得的信號的結果的曲線圖；圖11是示出根據本發明的在嘈雜和乾淨環境中使用AC麥克風所獲得的信號與所述方法的輸出之間的比較的曲線圖；圖12是示出在圖11中所示的三個信號的功率頻譜密度之間的比較的曲線圖。圖13示出了用於包括兩個麥克風的行動電話的有線免提套件。
具體實施例方式參考圖2，垂飾形式的設備2包括布置在垂飾2的相對側或相對面上的兩個傳感器4、6，使得當兩個傳感器4、6中的一個與用戶接觸時，另一個傳感器與空氣接觸。與用戶接觸的傳感器4、6將充當骨-傳導或接觸傳感器(並提供BC音頻信號)，並且與空氣接觸的傳感器4、6將充當空氣-傳導傳感器(並提供AC音頻信號)。傳感器4、6 —般具有相同的類型和結構。在不出的實施例中，傳感器4、6可以是基於MEMS技術的麥克風。本領域技術人員將理解，傳感器4、6可以用其它類型的傳感器或換能器來實現。設備2可以附接至繩索，從而可以圍繞用戶的頸部佩戴所述設備2。繩索和設備可以布置為使得所述設備當作為垂飾佩戴時具有相對於用戶的身體的預定的取向，以便保證傳感器4、6中的一個傳感器與用戶接觸。此外，所述設備的形狀可以設定為使得該設備是旋轉不變的，從而防止在使用時由於用戶的運動而導致設備取向改變以及所述一個傳感器失去與用戶的接觸。設備的形狀例如可以是矩形。圖3中示出根據本發明的設備2的框圖。如上所述，設備2包括兩個麥克風:第一麥克風4和第二麥克風6，它們設置在設備2中使得當麥克風4、6中的一個與用戶的一部分接觸時，另一個麥克風4、6與空氣接觸。第一麥克風4和第二麥克風6同時地操作(即它們同時捕捉相同的語音)以產生相應的音頻信號(在圖3中標示為Iii1和m2)。將音頻信號提供給鑑別器塊7，所述鑑別器塊7分析音頻信號以確定哪一個(若有的話)對應於BC音頻信號和AC音頻信號。然後，鑑別器塊7將音頻信號輸出至電路8，所述電路8執行處理以改進音頻信號中的語音的質量。處理電路8可以對BC音頻信號和AC音頻信號執行任意公知的語音增強算法，以產生乾淨的(或至少改進的)代表用戶的語音的輸出音頻信號。將所述輸出音頻信號提供給發射機電路10，以用 於經由天線12傳送至另一電子設備(例如行動電話或設備基站)。如果鑑別器塊7確定麥克風4、6都不與用戶的身體接觸，則鑑別器塊7可以將AC音頻信號兩者都輸出至處理電路8，所述處理電路8隨後基於多個AC音頻信號的存在執行替代的語音增強方法(例如波束成形)。公知的是，BC音頻信號中的語音的高頻部分由於傳送介質而衰減(例如在IkHz以上的頻率)，其由圖3中的曲線圖示出，圖3示出了在存在背景擴散白噪聲(圖4A)和不具有背景噪聲(圖4B)的情況下的BC和AC音頻信號的功率頻譜密度的比較。因此可以由鑑別器塊7利用該特性在BC和AC音頻信號之間進行區分。圖5中示出根據本發明的方法的示例性實施例，在步驟101中，使用第一麥克風4和第二麥克風6同時獲得相應的音頻信號，並且將所述音頻信號提供給鑑別器塊7。然後，在步驟103和105中，鑑別器塊7分析每個音頻信號的頻譜特性，並且基於所述頻譜特性檢測第一和第二麥克風4、6中的哪一個(若有的話)與用戶的身體接觸。在一個實施例中，鑑別器塊7分析每個音頻信號在閾值頻率(例如IkHz)以上的頻譜特性。然而，一個困難產生於兩個麥克風4、6可能沒有被校準(即兩個麥克風4、6的頻率響應可能是不同的)的事實。在這種情況下，在繼續進行鑑別器塊7之前可以將校準濾波器應用於麥克風中的一個(未在附圖中示出)。因此，在下文中，可以假設直至一寬頻帶增益所述響應都是相等的，即兩個麥克風的頻率響應具有相同的形態。在以下的操作中，鑑別器塊7比較來自兩個麥克風4、6的音頻信號的頻譜以確定哪一個音頻信號(若有的話)是BC音頻信號。如果麥克風4、6具有不同的頻率響應，則這可以在設備2的產生期間用校準濾波器來修正，所以不同的麥克風響應不影響由鑑別器塊7執行的比較。即使使用了該校準濾波器，仍有必要考慮AC與BC音頻信號之間的一些增益差異，因為除了它們的頻譜特性以外，AC和BC信號的強度是不同的(尤其是頻率在IkHz以上)。因此，鑑別器塊7基於在閾值頻率以下的整體峰值使兩個音頻信號在閾值頻率以上的頻譜歸一化(單純為了區分的目的)，並且比較在閾值頻率以上的頻譜以確定哪一個(若有的話)是BC音頻信號。如果沒有執行該歸一化，則由於BC音頻信號的高強度，可能確定更高頻率的功率在BC音頻信號中仍比在AC音頻信號中高，而實際情況可能並非如此。圖6的流程圖中示出本發明的具體實施例。在下文中，假定已經執行了考慮在麥克風4、6的頻率響應中的差異所需的任意校準，並且假定來自BC麥克風4和AC麥克風6的相應的音頻信號在下文描述的對音頻信號的進一步處理之前使用適當的時延進行時間校準。在步驟111中，使用第一麥克風4和第二麥克風6同時獲得相應的音頻信號，並且將其提供給鑑別器塊7。在步驟113中，鑑別器塊26如下所示將N點(單邊)快速傅立葉變換(FFT)應用於來自每個麥克風4、6的音頻信號:M1 (ω) =FFT Im1 (t)} (I)M2 (ω) =FFT {m2 (t)} (2)在ω=0弧度(rad)和ω =2 Jifs rad之間產生N個頻率窗口，其中，fs是模數轉換器的以赫茲(Hz)為單位的採樣頻率，所述模數轉換器將模擬麥克風信號轉換至數字域。除了包括奈奎斯特頻率Hfs的最初的N/2+1個窗口，剩下的窗口是可以丟棄的。然後，鑑別器塊26使用針對音頻信號的FFT的結`果來計算每個音頻信號的功率頻譜。然後，在步驟115中，鑑別器塊7在閾值頻率ω。以下的頻率窗口中得到功率頻譜的最大波峰值:P1 = max \M,{仍)|一(3)P ^ maxIm2(^)I2(4)
0<ω<ω€並且使用最大峰值來使閾值頻率ω。以上的音頻信號的功率頻譜歸一化。閾值頻率ω。選擇為一頻率，在該頻率以上，BC音頻信號的頻譜通常相對於AC音頻信號被衰減。例如，閾值頻率ω。可以是1kHz。每個頻率窗口包含單一的值，對於功率頻譜而言，所述單一的值是在該窗口中的頻率響應的大小的平方。替代地，在步驟115中，鑑別器塊7可以得到每個音頻信號的在ω。以下的總計的功率頻譜，即:
ωΓ
_2] P1 = Y^M {{ω)\(5)
ω={)
權利要求
1.一種操作設備的方法，所述設備包括多個音頻傳感器，並且被配置為使得當所述多個音頻傳感器中的第一音頻傳感器與所述設備的用戶接觸時，所述多個音頻傳感器中的第二音頻傳感器與空氣接觸，所述方法包括: 從所述多個音頻傳感器獲得代表用戶的語音的相應的音頻信號(101);以及 分析所述相應的音頻信號以確定所述多個音頻傳感器中的哪一個音頻傳感器，若有的話，與所述設備的所述用戶接觸(103、105)。
2.根據權利要求1所述的方法，其中，分析的步驟(103、105)包括分析每個所述音頻信號的頻譜特性。
3.根據權利要求1或2所述的方法，其中，分析的步驟(103、105)包括分析所述相應的音頻信號在閾值頻率以上的功率。
4.根據權利要求3所述的方法，其中，如果音頻傳感器的相應的音頻信號在所述閾值頻率以上的所述功率比來自另一個音頻傳感器的音頻信號在所述閾值頻率以上的功率小預定量以上，則確定所述音頻傳感器與所述設備的所述用戶接觸。
5.根據前述權利要求中的任意一項所述的方法，其中分析的步驟(103，105)包括: 將N點傅立葉變換應用於每個音頻信號(113); 針對每個經傅立葉變換的音頻信號，確定關於在閾值頻率以下的功率頻譜的信息(113)； 根據所確定的信息使來自兩個傳感器的所述經傅立葉變換的音頻信號相對於彼此歸一化(115);以及 比較歸一化的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜，以確定所述多個音頻傳感器中的哪一個音頻傳感器，若有的話，與所述設備的所述用戶接觸(117)。
6.根據權利要求5所述的方法，其中確定信息的步驟包括:針對每個所述經傅立葉變換的音頻信號，確定在所述閾值頻率以下的所述功率頻譜中的最大波峰值(115)。
7.根據權利要求5所述的方法，其中確定信息的步驟包括:針對每個所述經傅立葉變換的音頻信號，對所述閾值頻率以下的所述功率頻譜進行求和(115)。
8.根據權利要求5、6或7所述的方法，其中，如果音頻傳感器的相應的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜比來自另一個音頻傳感器的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜小預定量以上，則確定所述音頻傳感器與所述設備的所述用戶接觸。
9.根據權利要求5、6、7或8所述的方法，其中，如果所述經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜相差預定量以下，則確定沒有音頻傳感器與所述設備的所述用戶接觸。
10.根據前述權利要求中的任意一項所述的方法，進一步包括以下步驟: 將所述音頻信號提供給電路，該電路處理所述音頻信號以根據分析步驟的結果產生代表所述用戶的所述語音的輸出音頻信號。
11.一種設備(2),包括: 多個音頻傳感器(4、6)，其布置在所述設備(2)中，使得當所述多個音頻傳感器(4、6)中的第一音頻傳感器(4、6)與所述設備(2)的用戶接觸時，所述多個音頻傳感器(4、6)中的第二音頻傳感器(4、6)與空氣接觸；以及電路(7),其被配置為: 從所述多個音頻傳感器(4、6)獲得代表用戶的語音的相應的音頻信號；並且 分析所述相應的音頻信號以確定所述多個音頻傳感器(4、6)中的哪一個音頻傳感器，若有的話，與所述設備(2)的所述用戶接觸。
12.根據權利要求11所述的設備(2)，其中，所述電路(7)被配置為分析所述相應的音頻信號在閾值頻率以上的功率。
13.根據權利要求11或12所述的設備(2)，其中，所述電路(7)被配置為通過以下步驟分析所述相應的音頻信號: 將N點傅立葉變換應用於每個音頻信號； 針對每個經傅立葉變換的音頻信號，確定關於在閾值頻率以下的功率頻譜的信息； 根據所確定的信息使來自兩個傳感器的所述經傅立葉變換的音頻信號相對於彼此歸一化；以及 比較歸一化的經傅立葉變換的音頻信號在所述閾值頻率以上的功率頻譜，以確定所述多個音頻傳感器(4、6)中的哪一個音頻傳感器，若有的話，與所述設備(2)的所述用戶接觸。
14.根據權利要求11、12或13所述的設備(2)，進一步包括: 處理電路(8)，用於接收 所述音頻信號，並且用於處理所述音頻信號以產生代表所述用戶的所述語音的輸出音頻信號。
15.一種包括計算機可讀代碼的電腦程式產品，所述計算機可讀代碼被配置為使得:在通過合適的計算機或處理器執行所述計算機可讀代碼時，所述計算機或處理器執行根據權利要求1至10中的任意一項所述的方法。
全文摘要
提供了一種操作設備的方法，所述設備包括多個音頻傳感器並被配置為使得當多個音頻傳感器中的第一音頻傳感器與設備的用戶接觸時，多個音頻傳感器中的第二音頻傳感器與空氣接觸，所述方法包括從多個音頻傳感器獲得代表用戶的語音的相應的音頻信號；以及分析相應的音頻信號以確定多個音頻傳感器中的哪一個(若有的話)與設備的用戶接觸。
文檔編號H04R3/00GK103229517SQ201180056637
公開日2013年7月31日 申請日期2011年11月21日 優先權日2010年11月24日
發明者P·克基基安, W·A·M·A·M·范登敦根 申請人:皇家飛利浦電子股份有限公司