一種回聲消除的非線性處理方法和裝置及電子設備與流程

2023-06-11 19:04:21

本發明實施例涉及音頻信號處理技術，尤其涉及一種回聲消除的非線性處理方法和裝置及電子設備。
背景技術：
：：使用電子設備(例如無線手機)進行通話時，常常會產生聲學回聲現象。此現象是由於電子設備的揚聲器(聽筒或喇叭)發送出的聲音，經過外界傳播(例如空氣、本地設備固體震動、外界牆體反射等)，再由麥克風獲取的信號，稱之為聲學回聲。通話過程中電子設備的使用者也在向麥克風發送正常語音，此時麥克風獲取的語音信號就會是由正常語音和回聲所構成的混合信號。回聲現象必然會對通話質量造成影響，因此需要將其進行消除。圖1所示為現有回聲消除原理的示意圖。電子設備設置有麥克風111和揚聲器110，電子設備中配置的回聲消除裝置主要包括線性處理模塊121和非線性處理模塊122。處於通話狀態中的電子設備接收到來自網絡側的下行語音信號，通過本地揚聲器110將其播放到外界。此時，正在工作的麥克風111錄取的外界聲音信號就會包含兩部分：揚聲器110傳播到空氣中的下行語音信號101產生的回聲102以及使用者的正常通話，即正常語音信號103。正常語音信號103是通話對方期望獲取的正常信號，回聲102對於通信來講是一種幹擾。正常語音信號和回聲共同構成了原始混合上行信號104。回聲消除的目標就是去除回聲102。傳統回聲消除裝置通常包含兩部分：線性處理模塊121和非線性處理模塊122。線性處理模塊通常採用自適應線性濾波器120的形式，建模下行語音信號101和原始混合上行信號104之間的傳遞函數，並持續檢測該傳遞函數來記錄聲學回聲路徑中的變化。自適應線性濾波器120輸出非常接近原始混合上行信號104的回聲102部分。從麥克風111錄取的原始混合上行信號104中減去自適應線性濾波器120的輸出便可降低回聲。但是現有技術存在的缺陷在於，由於自適應線性濾波器120無法完全精確，因此在線性自適應減法運算之後總是存在殘餘回聲，因此需要非線性處理模塊122來進一步降低殘餘回聲，以獲取無幹擾的、乾淨的上行語音信號105。現有非線性處理模塊122的殘餘回聲消除處理，對於自適應線性濾波器120的處理水平依賴性高，造成了產品成本高、回聲消除處理效果差的問題。技術實現要素：本發明提供一種回聲消除的非線性處理方法和裝置及電子設備，以使得回聲消除過程降低對自適應線性濾波水平的依賴性，改善回聲消除效果。第一方面，本發明實施例提供了一種回聲消除的非線性處理方法，包括：自播放下行語音信號之後，將混合上行信號與預估回聲信號進行能量比較；根據能量比較結果從所述混合上行信號中去除回聲。第二方面，本發明實施例還提供了一種回聲消除的非線性處理裝置，包括：能量比較單元，用於自播放下行語音信號之後，將混合上行信號與預估回聲信號進行能量比較；回聲去除單元，用於根據能量比較結果從所述混合上行信號中去除回聲。第三方面，本發明實施例又提供了一種電子設備，包括揚聲器和麥克風，，還包括：回聲消除模塊，所述回聲消除模塊包括線性處理模塊和非線性處理模塊，所述非線性處理模塊採用本發明任意實施例所提供的回聲消除的非線性處理裝置。本發明實施例提供的回聲消除的非線性處理方法和裝置及電子設備，通過判斷正常語音信號和預估回聲信號的能量對比，能夠對線性處理之後的殘餘回聲進行有效消除。並且，對前端的線性處理複雜度要求低，從而降低了整個回聲消除系統的複雜度和實現成本，降低了對設備處理能力的依賴。附圖說明圖1為現有回聲消除原理的示意圖；圖2為本發明實施例所適用的電子設備回聲消除原理示意圖；圖3為本發明實施例一提供的一種回聲消除的非線性處理方法的流程圖；圖4為本發明實施例進行殘餘回聲判斷檢測的原理；圖5為本發明實施例二提供的一種回聲消除的非線性處理方法的流程圖；圖6為本發明實施例三提供的一種回聲消除的非線性處理裝置的結構示意圖；圖7為本發明實施例四提供的一種電子設備的結構示意圖；圖8為本發明實施例進行非線性回聲消除處理過程中的語音信號處理效果示意圖。具體實施方式下面結合附圖和實施例對本發明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用於解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便於描述，附圖中僅示出了與本發明相關的部分而非全部結構。本發明可在此通過功能模塊組件和各種處理步驟進行描述。這些功能模塊可以以任何數量的硬體組件或軟體單元通過配置來實現指定的功能。例如，本發明可以使用各種集成電路元件，如存儲器元件，數位訊號處理單元，邏輯單元，數據表格等，在一個或多個微處理器或其它控制裝置的控制下實現各種功能。此外，本領域技術人員會明白，本發明與任何數據和語音傳輸協議完全兼容，所以在此描述的系統僅僅是本發明的一個示範性應用。在本文中描述的任何具體實現只是為了更好地介紹本發明以及其最佳工作模式，不應該被理解成為對本發明的任何形式的限制。為了簡化起見，傳統的技術如信號處理，數據傳輸，信令，分組交換傳輸，網絡控制，及其它系統功能(以及系統的各個操作部件)可能不會在這裡詳細介紹，但熟練的從業人員應該對它們有足夠的了解。此外，圖中的各種元件之間的連接線是示範性的連接不同組件的功能關係和/或物理連接。應該指出的是，許多替代或附加功能關係或物理連接可以在一個實際的通信系統應用裡實現。首先介紹本發明實施例所適用的電子設備回聲消除原理示意圖，如圖2所示，電子設備設置有麥克風210和揚聲器211，電子設備中配置的回聲消除裝置主要包括線性處理模塊221和非線性處理模塊222。處於通話狀態中的電子設備接收到來自網絡側的下行語音信號205，通過本地揚聲器211將其播放到 外界。此時，正在工作的麥克風210錄取的外界聲音信號就會包含兩部分：揚聲器210傳播到空氣中的下行語音信號205產生的回聲201以及使用者的正常通話，即正常語音信號202。正常語音信號202是通話對方期望獲取的正常信號，回聲201對於通信來講是一種幹擾。正常語音信號202和回聲201共同構成了原始混合上行信號203。回聲消除的目標就是去除回聲203。回聲203首先經過線性處理模塊221進行線性處理，但仍然會有殘餘的回聲203存在於混合上行信號中。混合上行信號再經過非線性處理模塊222進行處理。本發明實施例主要對非線性處理模塊222的處理方式進行處理，而對線性處理模塊221的處理方式並不進行限制。實施例一圖3為本發明實施例一提供的一種回聲消除的非線性處理方法的流程圖，本實施例可適用於對電子設備中的回聲進行消除的情況，且主要涉及非線性處理方式對殘餘回聲的消除。本實施例的方法具體可以由回聲消除的非線性處理裝置來執行，該裝置即可作為電子設備中的非線性處理模塊。該方法具體包括如下步驟：步驟310、自播放下行語音信號之後，將混合上行信號與預估回聲信號進行能量比較；該混合上行信號具體可以是經過回聲線性處理消除後的混合上行信號，其中包括有正常語音信號和殘餘的回聲信號。信號的能量比較優選是在多個時間點進行比較，且具體可以是：將下行語音信號的播放時間作為初始時間點；在初始時間點以及初始時間點後的至少一個設定時間點，將混合上行信號與預估回聲信號進行能量比較。通過後續的原 理介紹可知，在有限的時間點進行能量比較和回聲消除已經能夠滿足殘餘回聲消除的效果要求。步驟320、根據能量比較結果從所述混合上行信號中去除回聲。步驟320具體可以是：如果混合上行信號的能量大於或等於預估回聲信號的能量，則將所述混合上行信號確定為正常語音信號進行保留；如果混合上行信號的能量小於預估回聲信號的能量，則將所述混合上行信號確定為回聲進行去除。實際操作中也可以再結合其他因素來考慮能量比較結果，例如進一步考慮能量差值與至少一個設定閾值之間的關係，進而判斷混合上行信號為回聲，還是為正常語音信號。結合圖4介紹本發明實施例的實現原理如下：圖4示出了本發明實施例進行殘餘回聲判斷檢測的原理。以某一個單一語音信號的回聲檢測為例，圖中橫軸T為時間軸，此處所描述的回聲是經過線性處理之後消除不掉的殘餘回聲。時間點T0作為下行語音信號的播放時間，由於時間差別非常微小，所以播放時間通常就是電子設備接收到原始下行語音信號S0的時間點。信號S0的信號能量為E0，即初始時間點T0時播放的下行語音信號的能量，具體可以根據接收到的下行語音信號的能量以及電子設備揚聲器的擴音參數進行確定。信號S0經過本地電子設備的揚聲器播放後，會經過外界的多種途徑傳播，例如通過空氣、本地電子設備固體震動、外界牆體反射等，由麥克風再次收到的回聲信號和信號S0相比會產生延時和衰減。根據聲音傳播的特性，結合電子設備本身 的硬體特徵(材質、大小尺寸、揚聲器和麥克風的距離等)，可以估計出回聲信號衰減隨時間變化的模型，如圖4中的包絡曲線401所示。例如，通過電子設備硬體本身的傳導速度會相對較快，衰減也小。通過空氣傳輸，再經牆壁反射的傳導速度會相對最弱，衰減最大。在衰減最小的回聲與衰減最大的回聲之間還會中間的衰減回聲，因此，信號S0的回聲會隨著時間的推移而進行變化，主要的變化趨勢是發生衰減。所以，所述預估回聲信號的能量優選是隨著時間發生衰減。可以基於經驗值，或通過調試的方式確定此包絡曲線401代表的能量值，該能量值即作為預估回聲信號的能量。預估在T0之後的T1，T2，…，Tn等各設定時間點，所可能接收到的回聲信號記為S1，S2，…，Sn，各時間點的回聲信號的最大能量預估不超過E1，E2，…，En。因此，可將混合上行信號與預估回聲信號進行能量比較，並根據比較結果確定當前的混合上行信號為殘餘回聲，還是正常語音信號。當然，回聲可能與正常語音信號發生疊加而難以區分。但是實際使用中，一方面通話時通常只有一方在說話，所以發生正常語音信號與回聲重疊發生的機率較小。另一方面，因為已經經過了線性處理過程，所以殘餘回聲的能量相對較小，即使與正常語音信號發生疊加，也不會造成對聽者的過度幹擾。所以採用本實施例的方法可以一定程度上消除殘餘回聲。具體實現時，將預估的回聲衰減時間Tn劃分成預設的時間點，可以按照等間隔劃分，也可以按照其他間隔劃分。Tn的時間間隔和電子設備有關。通常電子設備中對於通話語音信號的處理是以信號幀為單位的，幀長可以是若干音頻PCM採樣數，也可以是若干毫秒的長度。Tn可以是一幀的長度，也可以是多幀的長度。當處理混合上行信號時，在T1時間點，判斷到信號S1能量小於E1，那麼即認為此時的信號S1是S0的殘餘回聲，即將其去除；如果判斷到信號S1能量大於E1，則認為此時的信號S1是正常語音信號，則予以保留。在T2到Tn的各時間點採用同樣的判斷處理。基於通話過程中的實際情況，使用者發出的上行語音能量必定大大超過回聲能量，因此此種判斷檢測機制不會產生誤判而將正常語音消除。因此此種方法可以最大限度的消除乾淨殘餘回聲並保留正常上行語音。優選是，殘餘回聲信號Si(i＝1,2,…,n)的能量Ei(i＝1,2,…,n)可以通過原始下行信號S0的能量E0進行推算，即各設定時間點的預估回聲信號能量按照如下公式確定：Ei＝E0×FACTORi其中，E0為所述初始時間點T0時播放的下行語音信號的能量；i＝1,2,…,n，n為設定時間點的數量；FACTORi為各設定時間點的回聲能量衰減因子，為小於1的小數，可以用浮點數來表示；Ei為i時間點的預估回聲信號能量。其中，所述回聲能量衰減因子可以隨著時間遞減；或，各設定時間點的所述回聲能量衰減因子也可以相同或不同。回聲能量衰減因子能夠反映實際的不同情況的回聲衰減變化過程即可。採用本發明實施例的技術方案，僅需在有限的數個設定時間點，如T1、T2……Tn上檢測若干個信號S1、S2、……、Sn。由揚聲器發出的下行語音信號的回聲傳遞迴到麥克風，所需時間必定是有限的。如果電子設備處於一個較大 的空間，聲音通過外界較遠的地方反射回到麥克風形成的回聲可能所需的時間會較長，但是經過衰減後其能量也會很弱。因此，回聲檢測過程無需覆蓋到Tn之後的時間點，可以認為這個時間之後的回聲信號的能量已經足夠弱小，不會對通話產生影響。在傳統的回聲消除方法中，由於通常使用的非線性處理方法能夠消除的殘餘回聲非常有限，因此必須使用一種複雜度較高、階數較高的自適應濾波器來實現線性處理，也就是通過線性處理將絕大部分回聲消除後，再使用非線性處理來消除較少的殘餘回聲。和傳統非線性回聲消除方法相比，本發明的優勢在於，使用本發明非線性處理方法的回聲消除技術，在線性處理部分不需使用高複雜度的自適應濾波器，即使經過線性處理後的殘餘回聲較多，也可以通過本發明實施例提供的非線性處理技術予以消除。而且本發明實施例的方法通過判斷正常語音信號和預估回聲信號的能量對比，符合人們通話的心理聲學特性，即使殘留有微小回聲也是不會被人察覺、不影響通話過程的，而且會更貼近自然通話效果。本發明實施例提供的非線性處理方法對前端的線性處理複雜度要求低，從而降低了整個回聲消除系統的複雜度和實現成本，降低了對設備處理能力的依賴。雖然本發明實施例提供的非線性處理方法所需要的前端線性處理複雜度可以降低，但是如果前端使用傳統的高複雜度、高階數自適應濾波器來進行線性處理，本發明的非線性處理方法仍然可以被使用，並且不會帶來負面影響。實施例二圖5為本發明實施例二提供的一種回聲消除的非線性處理方法的流程圖， 本實施例以前述實施例為基礎，提供了一優選實例，包括如下步驟：步驟501、在當前時間點T0(t)獲取下行語音信號S0(t)；步驟502、計算下行語音信號S0(t)的能量E0(t)；步驟503、根據能量E0(t)計算預估回聲能量Ei(t)，其中，i＝1、2、……、n；步驟504、判斷是否到達設定時間點Ti(t)，若是，則執行步驟505，若否，則返回執行步驟504；步驟505、獲取當前的混合上行信號，並計算能量Eu；步驟506、判斷能量Eu是否小於當前設定時間點Ti(t)對應的預估回聲能量Ei(t)，若是，則執行步驟507，若否，則執行步驟508；步驟507、將當前混合上行信號確定為殘餘回聲Si(t)，並予以消除，返回步驟504；步驟508、將當前混合上行信號確定為正常語音信號，不作處理，予以保留，返回步驟504。步驟504中，直至所有設定時間點均已到達，則結束信號S0(t)的回聲消除。對於各時間點接收到的下行語音信號，可以採用如上方式進行殘餘回聲消除。每個初始時間點的下行語音信號消除過程所持續的時間視具體電子設備的硬體音頻特性以及其所設定的通用通信場景而確定。例如當電子設備具備一個高靈敏度麥克風時，那麼能夠捕捉較弱的回聲信號，因此需要將消除時間適當延長，反之則縮短。例如此電子設備所設定的通用通話場景是只關注用戶處於一個小於方圓3米的封閉空間內的回聲消除，那麼回聲消除時間只需要考慮到 聲音傳播到3米外的牆體後反彈回的時間。如果超過此時間則認為回聲已經衰減的足夠弱，不會對正常通話造成影響。如果由於回聲消除時間較長而發生各時間點的下行語音信號的回聲消除過程重疊時，則對於某一時間點，多個下行語音信號的預估回聲能量可以進行疊加，以對混合上行信號的能量進行比較。實施例三圖6為本發明實施例三提供的一種回聲消除的非線性處理裝置的結構示意圖，該裝置包括：能量比較單元610和回聲去除單元620。其中，能量比較單元610，用於自播放下行語音信號之後，將混合上行信號與預估回聲信號進行能量比較；回聲去除單元620，用於根據能量比較結果從所述混合上行信號中去除回聲。優選是，所述回聲去除單元620具體用於：如果混合上行信號的能量大於或等於預估回聲信號的能量，則將所述混合上行信號確定為正常語音信號進行保留；如果混合上行信號的能量小於預估回聲信號的能量，則將所述混合上行信號確定為回聲進行去除。所述能量比較單元610具體用於：將下行語音信號的播放時間作為初始時間點；在初始時間點以及初始時間點後的至少一個設定時間點，將混合上行信號與預估回聲信號進行能量比較。各設定時間點的預估回聲信號能量可以按照如下公式確定：Ei＝E0×FACTORi其中，E0為所述初始時間點T0時播放的下行語音信號的能量；i＝1,2,…,n，n為設定時間點的數量；FACTORi為各設定時間點的回聲能量衰減因子，為小於1的小數，所述衰 減因子隨著時間發生遞減；Ei為i時間點的預估回聲信號能量。上述裝置可執行本發明任意實施例所提供的方法，具備執行方法相應的功能模塊和有益效果。實施例四圖7為本發明實施例四提供的一種電子設備的結構示意圖，該電子設備包括揚聲器和麥克風，還包括：回聲消除模塊，所述回聲消除模塊包括線性處理模塊和非線性處理模塊，所述非線性處理模塊採用本發明任意實施例所提供的回聲消除的非線性處理裝置。圖7中的信號傳輸可參考前述圖2及相關介紹。優選是，在本實施例中，非線性處理模塊222設置了非線性處理器(Non-LinearProcessor，簡稱NLP)223和舒適噪聲產生器(ComfortableNoiseGenerator，CNG)224兩個子模塊。非線性處理器實施本發明任意實施例所提供的回聲消除的非線性處理方法。舒適噪聲產生器224進一步為上行語音信號添加了舒適噪音信號。下面結合圖8中的語音信號處理效果，來說明圖7中各功能模塊的作用。首先由麥克風210錄取的原始混合上行信號203經過線性處理模塊211後能夠消除部分回聲，如圖8第一列所示。經過線性處理後的混合上行信號810有三種典型的信號組成：上行語音信號811，線性處理之後的殘餘回聲812以及使用者本地背景噪音813。需要說明的是，本地背景噪音813是經過降噪處理之後的低能量噪音，此類信號屬於舒適噪音，而不是會使人產生煩躁、影響通話或對人身體產生傷害的噪音。圖8中第二列所示為經過非線性處理器處理自後的上行信號820，在NLP消除段822中，已經能夠將殘餘回聲消除得非常乾淨。由於本地背景噪音813和殘餘回聲812的相似特性，非線性處理也會將本地背景噪聲813消除。因此將信號810輸入到圖7中的NLP處理之後，會形成信號820般的波形。僅剩餘上行語音信號821，而NLP消除段822的信號全部被消除了。基於人類語音的特點和通話的習慣，如NLP消除段822般絕對靜音的信號會讓通話感受變得非常不舒服，相當於破壞了正常的語音信號。為了最大限度的保證通話質量，使語音信號貼近自然效果，圖7中的CNG224可以提取經過線性處理的混合上行信號810中的上行語音信號813的信號特性，以此為依據來產生匹配本地背景環境的模擬舒適噪音。如前文所述，舒適噪音是一類特殊的噪音，對保持通話自然性非常重要。CNG224產生的模擬舒適噪音832被添加到NLP消除段822中，形成如模擬舒適噪音添加之後的上行信號830。此時的上行信號830即可以保持最自然、最清晰的狀態。如圖7中所示，回聲201源自於下行語音信號205。回聲和原聲的特性是基本一致的。因此NLP223可獲取原始下行語音信號205，以此來估計回聲201的殘留回聲特性，從而可以更有效更乾淨的除去殘留回聲。本發明主要關注是非線性處理模塊，提出了一種新的非線性處理方法，更有效的去除殘留回聲並最大限度的保持語音的自然度和保持通話的正常性。本發明可以使用在任何音頻採樣率的系統中。任何語音信號的處理都是本發明的應用範圍。本發明可以使用硬體，軟體或它們的組合來實現，也可以用一個計算機系 統或其它處理系統來實現。電腦和其他處理系統有多種形式，包括無線移動手機，平板電腦，筆記本電腦，桌上型電腦等可以進行實時通話的電子設備。前文描述了本發明的各種示範性實施案例，它們應該被理解為只是範例而非限制。因此，本發明的廣度和範圍應該不受上述任何一個示範性實施案例的限制，而只應該按符合下列權利要求及其對應項來界定。注意，上述僅為本發明的較佳實施例及所運用技術原理。本領域技術人員會理解，本發明不限於這裡所述的特定實施例，對本領域技術人員來說能夠進行各種明顯的變化、重新調整和替代而不會脫離本發明的保護範圍。因此，雖然通過以上實施例對本發明進行了較為詳細的說明，但是本發明不僅僅限於以上實施例，在不脫離本發明構思的情況下，還可以包括更多其他等效實施例，而本發明的範圍由所附的權利要求範圍決定。當前第1頁1&nbsp2&nbsp3&nbsp當前第1頁1&nbsp2&nbsp3&nbsp