基於源和室內聲學的概率模型的語音去混響方法和設備的製作方法

2023-12-08 23:14:01 4

專利名稱：基於源和室內聲學的概率模型的語音去混響方法和設備的製作方法
技術領域：
本發明通常涉及用於語音去混響的方法和設備。更具體而言，本發 明涉及基於源和室內聲學的概率模型的語音去混響方法和設備。
背景技術：
以下在本申請中將被引用或標識的所有專利、專利申請、專利公開、 科學文獻等等將在此以其整體被包含作為參考以便更全面地描述本發 明所屬技術領域的狀態。
在普通室內通過遠距離麥克風捕獲的語音信號不可避免地包含混 響，這對於語音信號的感知質量和清晰度具有有害的影響並且使自動語
音識別(ASR)系統的性能降低。當混響時間長於0.5秒時，甚至當使 用已經在匹配的混響條件下被訓練的聲學模型時，不能夠提高識別性 能。這在B. Kingsbury和N. Morgan的"Recognizing reverberant speech with rasta-plp，，( Proc. 1997 IEEE International Conference Acoustic Speech and Signal Processing ( ICASSP-97 ) , Vol.2,第1259—1262 頁，1997年)中被公開。語音信號的去混響無論對於高質量記錄和重放 或對於自動語音識別(ASR)都是必需的。
儘管語音信號的盲去混響仍是有挑戰性的問題，但是近來已經提出 若干技術。已經提出將觀測信號去相關同時在信號的短時間段內保持相 關性的4支術。這由B.W.Gillespie和L. E. Atlas的"Strategies for improving audible quality and speech recognition accuracy of reverberant speech" (Proc. 2003 IEEE International Conference Acoustics, Speech and Signal Processing ( ICASSP-2003 ) ， Vol.1, 第676-679頁，2003年)公開。這還由H. Buchner、 R. Aichner、和 W. Kellemann的 "Trinicon: a versat i le f ramework f or mul t ichannel blind signal processing" (Proc. of the 2004 IEEE International Conference Acoustics, Speech and Signal Processing( ICASSP-2004 ), Vol. III，第889-892頁，2004年5月)公開。
已經提出用於估計和均衡室內的聲響應中的極點的方法。這由T. Hikichi禾口 M. Miyoshi的 "B1 ind algor i thm for calculat ing common poles based on linear prediction" ( Proc. of the 2004 IEEE International Conference on Acoustics ， Speech , and Signal Processing ( ICASSP 2004 ) ， Vol. IV,第89-92頁，2004年5月)公 開。這還由J. R. Hopgood和P丄W. Rayner的 "Blind single channel deconvolution using nonstationary signal processing" ( IEEE Transact ions Speech and Audio process ing， vol. 11, no. 5,第467-488 頁，2003年9月)公開。
而且，已經提出基於語音信號的本質特徵的兩種方法，即在下文中 被稱為HERB的基於調和性的去混響、和在下文中被稱為SBD的基於稀 發u'l"生的去'混響。HERB 由 T. Nakatani禾口 M. Miyoshi 的 "Blind dereverberat ion of single channel speech signal based on harmonic structure" (Proc. ICASSP-2003, vol,l,第92-95頁，2003年4月) 公開。首次出版第2004-274234號的日本未審查專利申請公開了用於 HERB的傳統4支術的一個實例。SBD由K. Kinoshita、 T. Nakatani和 M.Miyoshi 的 "Efficient blind dereverberation framework for automatic speech recognition" (Proc. Interspeech-2005, 2005年 9月)公開。
這些方法廣泛使用源信號的初始估計中的各語音特徵。然後，初始 源信號估計和觀測到的混響信號被 一 起用於估計用於去混響的逆濾波 器，這允許進一步改進源信號估計。為了獲得初始源信號估計，HERB利 用自適應諧波濾波器，以及SBD利用基於最小統計的頻譜相減。在實驗 上已經顯示如果信號足夠長，這些方法大大地提高觀測到的混響信號 的ASR性能。
用於語音去混響的改進設備和/或方法的需要。本發明解決本領域中的 這種需要以及其他需要，這對於本領域普通技術人員來說根據本公開內 容將會變得顯而易見。

發明內容
相應地，本發明的主要目的是提供語音去混響設備。 本發明的另一個目的是提供語音去混響方法。本發明的再 一 個目的是提供將通過計算機執行的用於執行語音去 混響方法的程序。
本發明的又一個目的是提供存儲將通過計算機執行的用於執行語 音去混響方法的程序的存儲介質。
根據本發明的第 一 方面，語音去混響設備包括確定最大化似然函數 的源信號估計的似然最大化單元。參考觀測信號、初始源信號估計、表 示源信號不確定性的第一方差、和表示聲學環境不確定性的第二方差進 行所述確定。
所述似然函數可以優選地基於根據未知參數、丟失數據的第 一 隨機 變量、和觀測數據的第二隨機變量所評估的概率密度函數被定義。參考 源信號估計來定義未知參數。丟失數據的第一隨機變量表示室內傳遞函 數的逆濾波器。參考觀測信號和初始源信號估計來定義觀測數據的第二 隨機變量。
上述似然最大化單元可以優選地使用迭代優化算法來確定源信號 估計。迭代優化算法可以優選地是期望最大化算法。
似然最大化單元可以進一步包括但不限於逆濾波器估計單元、濾波 單元、源信號估計和收斂檢驗單元、以及更新單元。所述逆濾波器估計 單元參考觀測信號、第二方差、以及初始源信號估計和更新的源信號估 計之一計算逆濾波器估計。濾波單元將逆濾波器估計應用於觀測信號， 並且產生濾波信號。源信號估計和收斂檢驗單元參考初始源信號估計、 第一方差、第二方差、和濾波信號計算源信號估計。源信號估計和收斂 檢驗單元進一 步確定是否源信號估計的收斂被獲得。如果源信號估計的 收斂被獲得，所述源信號估計和收斂檢驗單元進一步輸出源信號估計作 為去混響的信號。所述更新單元將源信號估計更新為更新的源信號估 計。如果源信號估計的收斂未被獲得，則所述更新單元進一步提供更新 的源信號估計給逆濾波器估計單元。該更新單元進一步在初始更新步驟 中提供初始源信號估計給逆濾波器估計單元。
似然最大化單元可以進一步包括但不限於第一長時傅立葉變換單
元、LTFS到STFS變換單元、STFS到LTFS變換單元、第二長時傅立葉 變換單元、和短時傅立葉變換單元。第一長時傅立葉變換單元執行波形 觀測信號到變換後的觀測信號的第一長時傅立葉變換。第一長時傅立葉 變換單元進一步將變換後的觀測信號作為觀測信號提供給逆濾波器估計單元和濾波單元。LTFS到STFS變換單元執行濾波信號到變換後的濾 波信號的LTFS到STFS變換。LTFS到STFS變換單元進一步將變換後的 濾波信號作為濾波信號提供給源信號估計和收斂檢驗單元。STFS到LTFS 變換單元執行源信號估計到變換後的源信號估計的STFS到LTFS變換。 如果源信號估計的收斂未被獲得，則STFS到LTFS變換單元進一步將變 換後的源信號估計作為源信號估計提供給更新單元。第二長時傅立葉變 換單元執行波形初始源信號估計到第一變換初始源信號估計的第二長 時傅立葉變換。第二長時傅立葉變換進一步將第一變換初始源信號估計 作為初始源信號估計提供給更新單元。短時傅立葉變換單元執行波形初 始源信號估計到第二變換初始源信號估計的短時傅立葉變換。短時傅立 葉變換單元進一步將第二變換初始源信號估計作為初始源信號估計提 供給源信號估計和收斂檢驗單元。
所述語音去混響設備可以進一步包括但不限於執行源信號估計到 波形源信號估計的逆短時傅立葉變換的逆短時傅立葉變換單元。
所述語音去混響設備可以進一步包括但不限於基於觀測信號產生 初始源信號估計、第一方差、和第二方差的初始化單元。在這種情況下， 初始化單元可以進一步包括但不限於基頻估計單元和源信號不確定性 確定單元。基頻估計單元估計來自變換後的信號的每個短時間幀的基頻 和發聲量度(voicing measure),其中通過，見測信號的短時傅立葉變 換來給定所述變換後的信號。源信號不確定性確定單元基於基頻和發聲 量度確定第一方差。
所述語音去混響設備可以進一步包括4旦不限於初始化單元、和收斂 檢驗單元。初始化單元基於觀測信號產生初始源信號估計、第一方差、 和第二方差。收斂檢驗單元從似然最大化單元接收源信號估計。收斂檢 驗單元確定是否源信號估計的收斂被獲得。如果獲得源信號估計的收 斂，則所述收斂檢驗單元進一步輸出源信號估計作為去混響的信號。如 果未獲得源信號估計的收斂，則收斂檢驗單元進一 步提供源信號估計給 初始化單元以使初始化單元能夠基於該源信號估計產生初始源信號估 計、第一方差、和第二方差。
在最後描述的情況下，初始化單元可以進一步包括但不限於第二短 時傅立葉變換單元、第一選擇單元、基頻估計單元、和自適應諧波濾波 單元。第二短時傅立葉變換單元執行觀測信號到第 一變換觀測信號的第二短時傅立葉變換。第 一選擇單元執行第 一選擇操作以產生第 一選擇輸 出以及第二選擇操作以產生第二選擇輸出。第 一和第二選擇操作是相互 獨立的。當第 一選擇單元接收第 一變換觀測信號的輸入而不接收源信號 估計的任何輸入時，第 一選擇操作用於選擇第 一變換觀測信號作為第一 選擇輸出。當第 一選擇單元接收第 一 變換觀測信號和源信號估計的輸入 時，第一選擇操作還用於選擇第一變換觀測信號和源信號估計之一作為 第 一選擇輸出。當第 一選擇單元接收第 一變換觀測信號的輸入而不接收 源信號估計的任何輸入時，第二選擇操作用於選擇第 一 變換觀測信號作 為第二選擇輸出。當第 一選擇單元接收第 一變換觀測信號和源信號估計 的輸入時，第二選擇操作還用於選擇第一變換觀測信號和源信號估計之 一作為第二選擇輸出。基頻估計單元接收第二選擇輸出。基頻估計單元 還估計來自第二選擇輸出的每個短時間幀的基頻和發聲量度。自適應諧 波濾波單元接收第一選擇輸出、基頻和發聲量度。自適應諧波濾波單元 基於基頻和發聲量度增強第 一選擇輸出的諧波結構以產生初始源信號 估計。
初始化單元可以進一步包括但不限於第三短時傅立葉變換單元、第 二選擇單元、基頻估計單元、和源信號不確定性確定單元。第三短時傅 立葉變換單元執行觀測信號到第二變換觀測信號的第三短時傅立葉變 換。第二選擇單元執行第三選擇操作以產生第三選擇輸出。當第二選擇 單元接收第二變換觀測信號的輸入而不接收源信號估計的任何輸入時， 第三選擇操作用於選擇第二變換觀測信號作為第三選擇輸出。當第二選 擇單元接收第二變換觀測信號和源信號估計的輸入時，第三選擇操作還 用於選擇第二變換觀測信號和源信號估計之一作為第三選擇輸出。基頻 估計單元接收第三選擇輸出。基頻估計單元估計來自第三選擇輸出的每 個短時間幀的基頻和發聲量度。源信號不確定性確定單元基於基頻和發 聲量度確定第一方差。
所述語音去混響設備可以進一步包括但不限於逆短時傅立葉變換 單元，如果獲得源信號估計的收斂，則該逆短時傅立葉變換單元執行源 信號估計S ，J波形源信號估計的逆短時傅立葉變換。
根據本發明的第二方面，語音去混響設備包括確定最大化似然函數 的逆濾波器估計的似然最大化單元。參考觀測信號、初始源信號估計、 表示源信號不確定性的第一方差、和表示聲學環境不確定性的第二方差進^f亍所述確定。
似然函數可以優選地基於根據第一未知參數、第二未知參數、以及 觀測數據的第 一 隨機變量所評估的概率密度函數被定義。參考源信號估 計來定義第一未知參數。參考室內傳遞函數的逆濾波器來定義第二未知 參數。參考觀測信號和初始源信號估計來定義觀測數據的第一隨機變 量。逆濾波器估計是室內傳遞函數的逆濾波器的估計。
似然最大化單元可以優選地使用迭代優化算法來確定逆濾波器估計。
所述語音去混響設備可以進一步包括但不限於將逆濾波器估計應 用於觀測信號並產生源信號估計的逆濾波器應用單元。
該逆濾波器應用單元可以進一步包括但不限於第一逆長時傅立葉 變換單元、和巻積單元。第一逆長時傅立葉變換單元執行逆濾波器估計 到變換後的逆濾波器估計的第一逆長時傅立葉變換。巻積單元接收變換 後的逆濾波器估計和觀測信號。巻積單元將觀測信號與變換後的逆濾波 器估計進行巻積以產生源信號估計。
該逆濾波器應用單元可以進一步包括但不限於第一長時傅立葉變 換單元、第一濾波單元、和第二逆長時傅立葉變換單元。第一長時傅立 葉變換單元執行觀測信號到變換後的觀測信號的第一長時傅立葉變換。 第 一濾波單元將逆濾波器估計應用於變換後的觀測信號。第 一濾波單元 產生濾波源信號估計。第二逆長時傅立葉變換單元執行濾波源信號估計 到源信號估計的第二逆長時傅立葉變換。
似然最大化單元可以進一步包括但不限於逆濾波器估計單元、收斂 檢驗單元、濾波單元、源信號估計單元、和更新單元。逆濾波器估計單 元參考觀測信號、第二方差、以及初始源信號估計和更新的源信號估計 之一計算逆濾波器估計。收斂檢驗單元確定是否逆濾波器估計的收斂被 獲得。如果獲得源信號估計的收斂，收斂;險驗單元進一步輸出逆濾波器 估計作為將對所述觀測信號進行去混響的濾波器。如果未獲得源信號估 計的收斂，濾波單元從收斂檢驗單元接收逆濾波器估計。濾波單元進一 步將逆濾波器估計應用於觀測信號。濾波單元進一步產生濾波信號。源 信號估計單元參考初始源信號估計、第一方差、第二方差、和濾波信號 計算源信號估計。更新單元將源信號估計更新為更新的源信號估計。更 新單元進一步在初始更新步驟中提供初始源信號估計給逆濾波估計單元。更新單元進一 步在除初始更新步驟之外的更新步驟中提供更新的源 信號估計給逆濾波器估計單元。
似然最大化單元可以進一步包括但不限於第二長時傅立葉變換單
元、LTFS到STFS變換單元、STFS到LTFS變換單元、第三長時傅立葉 變換單元、和短時傅立葉變換單元。第二長時傅立葉變換單元執行波形 觀測信號到變換後的觀測信號的第二長時傅立葉變換。第二長時傅立葉 變換單元進一步將變換後的觀測信號作為觀測信號提供給逆濾波器估 計單元和濾波單元。LTFS到STFS變換單元執行濾波信號到變換後的濾 波信號的LTFS到STFS變換。LTFS到STFS變換單元進一步將變換後的 濾波信號作為濾波信號提供給源信號估計單元。STFS到LTFS變換單元 執行源信號估計到變換後的源信號估計的STFS到LTFS變換。STFS到 LTFS變換單元進一步將變換後的源信號估計作為源信號估計提供給更 新單元。第三長時傅立葉變換單元執行波形初始源信號估計到第一變換 初始源信號估計的第三長時傅立葉變換。第三長時傅立葉變換單元進一 步將第一變換初始源信號估計作為初始源信號估計提供給更新單元。短 時傅立葉變換單元執行波形初始源信號估計到第二變換初始源信號估 計的短時傅立葉變換。短時傅立葉變換單元進一步將第二變換初始源信 號估計作為初始源信號估計提供給源信號估計單元。
所述語音去混響設備可以進一步包括但不限於基於觀測信號產生 初始源信號估計、第一方差、和第二方差的初始化單元。
所述初始化單元可以進一步包括但不限於基頻估計單元、和源信號 不確定性確定單元。基頻估計單元估計來自變換後的信號的每個短時間 幀的基頻和發聲量度，其中通過觀測信號的短時傅立葉變換來給定所述 變換後的信號。源信號不確定性確定單元基於基頻和發聲量度確定第一 方差。
根據本發明的第三方面，語音去混響方法包括確定最大化似然函數 的源信號估計。參考觀測信號、初始源信號估計、表示源信號不確定性 的第一方差、和表示聲學環境不確定性的第二方差進行所述確定。
所述似然函數可以優選地基於根據未知參數、丟失數據的第 一隨機 變量、和觀測數據的第二隨機變量所評估的概率密度函數被定義。參考 源信號估計來定義未知參數。丟失數據的第一隨機變量表示室內傳遞函 數的逆濾波器。參考觀測信號和初始源信號估計來定義觀測數據的第二隨機變量。
可以優選地使用迭代優化算法來確定源信號估計。該迭代優化算法 可以優選地是期望最大化算法。
用於確定源信號估計的過程可以進一步包括但不限於以下過程。參 考觀測信號、第二方差、以及初始源信號估計和更新的源信號估計之一 計算逆濾波器估計。將該逆濾波器估計應用於觀測信號，以產生濾波信 號。參考初始源信號估計、第一方差、第二方差、和濾波信號來計算所 述源信號估計。確定是否源信號估計的收斂被獲得。如果獲得源信號估 計的收斂，則輸出源信號估計作為去混響的信號。如果未獲得源信號估 計的收斂，則將源信號估計更新為更新的源信號估計。
用於確定源信號估計的過程可以進 一 步包括但不限於以下過程。執 行第 一長時傅立葉變換以將波形觀測信號變換為變換後的觀測信號。執
行LTFS到STFS變換以將濾波信號變換為變換後的濾波信號。如果未獲 得源信號估計的收斂，則執行STFS到LTFS變換以將源信號估計變換為 變換後的源信號估計。執行第二長時傅立葉變換以將波形初始源信號估 計變換為第 一 變換初始源信號估計。執行短時傅立葉變換以將波形初始 源信號估計變換為第二變換初始源信號估計。
所述語音去混響方法可以進 一 步包括但不限於執行源信號估計到 波形源信號估計的逆短時傅立葉變換。
所述語音去混響方法可以進 一 步包括但不限於基於觀測信號產生 初始源信號估計、第一方差、和第二方差。
在最後描述的情況下，產生初始源信號估計、第一方差、和第二方 差可以進 一 步包括但不限於以下過程。估計來自變換後的信號的每個短 時間幀的基頻和發聲量度，其中通過觀測信號的短時傅立葉變換來給定 所述變換後的信號。基於所述基頻和發聲量度確定第一方差。
所述語音去混響方法可以進一步包括但不限於以下過程。基於觀測 信號產生初始源信號估計、第一方差、和第二方差。確定是否源信號估 計的收斂被獲得。如果獲得源信號估計的收斂，則輸出源信號估計作為 去混響的信號。如果未獲得源信號估計的收斂，則該過程將返回產生初 始源信號估計、第一方差、和第二方差。
在最後描述的情況下，產生初始源信號估計、第一方差、和第二方 差可以進一步包括但不限於以下過程。執行第二短時傅立葉變換以將觀測信號變換為第 一 變換觀測信號。執行第 一選擇操作以產生第 一選擇輸 出。當接收第 一 變換觀測信號的輸入而不接收源信號估計的任何輸入 時，第一選擇操作用於選擇第一變換觀測信號作為第一選擇輸出。當接 收笫 一 變換觀測信號和源信號估計的輸入時，第 一 選擇操作用於選擇第 一變換觀測信號和源信號估計之一作為第一選擇輸出。執行第二選擇操 作以產生第二選擇輸出。當接收第 一變換觀測信號的輸入而不接收源信 號估計的任何輸入時，第二選擇操作用於選擇第 一 變換觀測信號作為第 二選擇輸出。當接收第一變換觀測信號和源信號估計的輸入時，第二選 擇操作用於選擇第 一 變換觀測信號和源信號估計之一作為第二選擇輸 出。估計來自第二選擇輸出的每個短時間幀的基頻和發聲量度。基於基 頻和發聲量度增強第 一選擇輸出的諧波結構以產生初始源信號估計。
產生初始源信號估計、第一方差、和第二方差可以進一步包括但不 限於以下過程。執行第三短時傅立葉變換以將觀測信號變換為第二變換 觀測信號。執行第三選擇操作以產生第三選擇輸出。當接收第二變換觀 測信號的輸入而不接收源信號估計的任何輸入時，第三選擇操作用於選 擇第二變換觀測信號作為第三選擇輸出。當接收第二變換觀測信號和源 信號估計的輸入時，第三選擇操作用於選擇第二變換觀測信號和源信號 估計之一作為第三選擇輸出。估計來自第三選擇輸出的每個短時間幀的 基頻和發聲量度。基於所述基頻和發聲量度確定第一方差。
所述語音去混響方法可以進一步包括但不限於如果獲得源信號估 計的收斂，貝'j執行源信號估計至lj波形源信號估計的逆短時傅立葉變換。
根據本發明的第四方面，語音去混響方法包括確定最大化似然函數 的逆濾波器估計。參考觀測信號、初始源信號估計、表示源信號不確定 性的第一方差、和表示聲學環境不確定性的第二方差進行所述確定。
所述似然函數可以優選地基於根據第 一 未知參數、第二未知參數、 觀測數據的第 一 隨機變量所評估的概率密度函數被定義。參考源信號估 計來定義第一未知參數。參考室內傳遞函數的逆濾波器來定義第二未知 參數。參考觀測信號和初始源信號估計來定義觀測數據的第一隨機變 量。逆濾波器估計是室內傳遞函數的逆濾波器的估計。
可以優選地使用迭代優化算法來確定逆濾波器估計。
所述語音去混響方法可以進一步包括但不限於將逆濾波器估計應 用於觀測信號以產生源信號估計。在一種情況下，最後描述的用於將逆濾波器估計應用於觀測信號的 過程可以進一步包括但不限於以下過程。執行第 一逆長時傅立葉變換以 將逆濾波器估計變換為變換後的逆濾波器估計。將觀測信號與變換後的 逆濾波器估計進行巻積以產生源信號估計。
在另一種情況下，最後描述的用於將逆濾波器估計應用於觀測信號 的過程可以進一步包括但不限於以下過程。執行笫 一長時傅立葉變換以 將觀測信號變換為變換後的觀測信號。將逆濾波器估計應用於變換後的 觀測信號以產生濾波源信號估計。執行第二逆長時傅立葉變換以將濾波 源信號估計變換為源信號估計。
在再一種情況下，確定逆濾波器估計可以進一步包括但不限於以下 過程。參考觀測信號、第二方差、以及初始源信號估計和更新的源信號 估計之一計算逆濾波器估計。確定是否逆濾波器估計的收斂被獲得。如 果獲得源信號估計的收斂，則輸出逆濾波器估計作為將對所述觀效'J信號 進行去混響的濾波器。如果未獲得源信號估計的收斂，則將逆濾波器估 計應用於觀測信號以產生濾波信號。參考初始源信號估計、第一方差、 第二方差、和濾波信號計算源信號估計。將源信號估計更新為更新的源 信號估計。
在最後描述的情況下，用於確定逆濾波器估計的過程可以進一步包 括但不限於以下過程。執行第二長時傅立葉變換以將波形觀測信號變換
為變換後的觀測信號。執行LTFS到STFS變換以將濾波信號變換為變換 後的濾波信號。執行STFS到LTFS變換以將源信號估計變換為變換後的 源信號估計。執行第三長時傅立葉變換以將波形初始源信號估計變換為 第 一 變換初始源信號估計。執行短時傅立葉變換以將波形初始源信號估 計變換為第二變換初始源信號估計。
所述語音去混響方法可以進一步包括但不限於基於觀測信號產生 初始源信號估計、笫一方差、和第二方差。
在一種情況下，最後描述的用於產生初始源信號估計、第一方差、 和第二方差的過程可以進一步包括但不限於以下過程。估計來自變換後 的信號的每個短時間幀的基頻和發聲量度，其中通過觀測信號的短時傅 立葉變換來給定所述變換後的信號。基於所述基頻和發聲量度確定第一 方差。
根據本發明的第五方面，要通過計算機執行的用於執行語音去混響方法的程序，所述方法包括確定最大化似然函數的源信號估計。參考觀 測信號、初始源信號估計、表示源信號不確定性的第一方差、和表示聲 學環境不確定性的第二方差進行所述確定。
根據本發明的第六方面，要通過計算機執行的用於執行語音去混響 方法的程序，所述方法包括確定最大化似然函數的逆濾波器估計。參考 觀測信號、初始源信號估計、表示源信號不確定性的第一方差、和表示 聲學環境不確定性的第二方差進行所述確定。
根據本發明的第七方面，存儲介質存儲要通過計算機執行的用於執 行語音去混響方法的程序，所述方法包括確定最大化似然函數的源信號 估計。參考觀測信號、初始源信號估計、表示源信號不確定性的第一方 差、和表示聲學環境不確定性的第二方差進行所述確定。
根據本發明的第八方面，存儲介質存儲要通過計算機執行的用於執 行語音去混響方法的程序，所述方法包括確定最大化似然函數的逆濾波 器估計。參考觀測信號、初始源信號估計、表示源信號不確定性的第一 方差、和表示聲學環境不確定性的第二方差進行所述確定。
根據以下結合附圖進行的詳細描述，本發明的這些和其他目的、特 徵、方面和優點對於本領域普通技術人員來說將會變得顯而易見，所述 附示本發明的實施例。


現在參考形成本原始公開內容的一部分的附圖
圖1是圖示在本發明的第 一 實施例中基於源和室內聲學的概率模型 的語音去混響設備的方框圖2是圖示包括在圖1中所示的語音去混響設備中的似然最大化單 元的配置的方框圖3A是圖示包括在圖2中所示的似然最大化單元中的STFS到LTFS 變換單元的配置的方框圖3B是圖示包括在圖2中所示的似然最大化單元中的LTFS到STFS 變換單元的配置的方框圖4A是圖示包括在圖2中所示的似然最大化單元中的長時傅立葉 變換單元的配置的方框圖4B是圖示包括在圖3B中所示的LTFS到STFS變換單元中的逆長時傅立葉變換單元的配置的方框圖5A是圖示包括在圖3B中所示的LTFS到STFS變換單元中的短時 傅立葉變換單元的配置的方框圖5B是圖示包括在圖3A中所示的STFS到LTFS變換單元中的逆短
時傅立葉變換單元的配置的方框圖6是圖示包括在圖1中所示的初始化單元中的初始源信號估計單 元的配置的方框圖7是圖示包括在圖1中所示的初始化單元中的源信號不確定性確 定單元的配置的方框圖8是圖示包括在圖1中所示的初始化單元中的聲學環境不確定性 確定單元的配置的方框圖9是圖示根據本發明第二實施例的另 一種語音去混響設備的配置 的方框圖IO是圖示包括在圖9中所示的初始化單元中的修改的初始源信 號估計單元的配置的方框圖11是圖示包括在圖9中所示的初始化單元中的修改的源信號不 確定性確定單元的配置的方框圖12是圖示根據本發明第三實施例的又一種語音去混響設備的配 置的方框圖13是圖示包括在圖12中所示的語音去混響設備中的似然最大化
單元的配置的方框圖14是圖示包括在圖12中所示的語音去混響設備中的逆濾波器應
用單元的配置的方框圖15是圖示包括在圖12中所示的語音去混響設備中的另一個逆濾
波器應用單元的配置的方框圖16A圖示當女人說話時在RT60=1. 0秒的能量衰減曲線； 圖16B圖示當女人說話時在RT60-0. 5秒的能量衰減曲線； 圖16C圖示當女人說話時在RT60=0. 2秒的能量衰減曲線； 圖16D圖示當女人說話時在RT60=0. 1秒的能量衰減曲線； 圖16E圖示當男人說話時在RT60=1. O秒的能量衰減曲線； 圖16F圖示當男人說話時在RT60=0. 5秒的能量衰減曲線； 圖16G圖示當男人說話時在RT60-0. 2秒的能量衰減曲線；以及圖16H圖示當男人說話時在RT60-0. 1秒的能量衰減曲線。
具體實施例方式
根據本發明的一個方面，提供單聲道語音去混響方法，其中源信號 和室內聲學的特徵通過概率密度函數(pdf )表示以及通過最大化基於 概率密度函數(pdf )定義的似然函數來估計源信號。基於兩種基本語 音信號特徵、即調和性和稀疏性，兩種類型的概率密度函數(pdf)被 引入用於源信號，同時基於逆濾波操作來定義室內聲學的概率密度函數 (pdf )。期望最大化(EM)算法被用於有效地解決最大似然問題。所 產生的算法通過經由期望最大化(EM)迭代將其源信號特徵與室內聲學 特徵結合來精心製作僅僅基於其源信號特徵所給定的初始源信號估計。 用去混響脈衝響應的能量衰減曲線來顯示本方法的有效性。
儘管上述的HERB和SBD在獲得去混響濾波器中有效地利用語音信 號特徵，但是它們並不提供能夠優化其性能的分析構架。根據本發明的 一個方面，上述的HERB和SBD被重新用公式表示為最大似然(ML)估 計問題，其中源信號被確定為在給定觀測信號的情況下最大化似然函數 的信號。為此目的，兩個概率密度函數(pdf )被引入用於初始源信號 估計和去混響濾波器，以便基於期望最大化(EM)算法最大化似然函數。 實驗結果顯示在給定相同數量的觀測信號的情況下在去混響脈衝響應 的能量衰減曲線方面能夠進一步提高HERB和SBD的性能。以下描述將 針對在本發明的一個方面中使用的傅立葉頻i普。
短時傅立葉頻i普和長時傅立葉頻譜
本發明的一個方面將合併有關考慮源特性的語音信號特徵和有關 考慮混響效果的室內聲學特徵的信息。大約幾十毫秒的短時間幀的相繼 應用對於分析這樣的隨時間變化的語音特徵可能是有用的，而通常可能 需要大約幾千毫秒的相對長的時間幀來計算室內聲學特徵。本發明的一 個方面將引入基於這兩種分析幀的兩種類型的傅立葉頻譜、即在下文中 被稱為"STFS"的短時傅立葉頻譜和在下文中^^皮稱為"LTFS"的長時傅 立葉頻譜。STFS和LTFS中的各頻率分量通過具有尾標的符號被 表示為《、以及通過另一個不具有尾標的符號被表示為A、其中、r的/ 是用於LTFS的長時間幀的索引，yT是用於LTFS的頻率索引，《、的/是包括用於STFS的短時間幀的長時間幀的索引，&、的m是包括在長時 間幀中的短時間幀的索引，以及力(^的A:是用於STFS的頻率索引。短時 間幀能夠被視為長時間幀的組成部分。所以，STFS中的頻率分量具有兩 個下標/和w。兩個頻譜4皮如下定義
formula see original document page 26(1)
其中s[n]是數位化波形信號，/V3和g[n]、 ^"和K、以及"w和"分別是 窗函數、離散傅立葉變換(DFT)點的數量、和用於STFS和LTFS的時 間索引。設置"故和"之間的關係為對於m= 0到A/-1, ^-々+抓，其 中t是相繼的短時間幀之間的幀移。此外，引入以下歸一化條件
ff[n
=& E:- mT〗，
其中ST是整數常量。利用該條件，在STFS 以下方程，其中
(3)
其中re/2j^X^。定義逆操作，通過LSJ' }來表示，該逆操作將由^,W'/所 表示的在長時間幀/的一組LTFS倉"t.'(A:、 1 -〖)變換為在短時間幀附 和頻率索引々的STFS倉(bin):
(2)
,4二和LTFS, ",r之間保持formula see original document page 27(4)
通過級聯逆長時傅立葉變換和短時傅立葉變換能夠實現這種變換。
顯然，lsm{'}是線性操作符。
信號的三種類型的表示、即波形數位化信號、短時傅立葉頻譜
(STFS)和長時傅立葉頻譜(LTFS)包含相同的信息，並且能夠使用已 知的變換在無任何主要信息丟失的情況下從一種類型被變換到另一種類型。
源和室內聲學的概率模型 定義以下術語
《"觀測到的混響信號的STFS 氣"。'未知源信號的STFS ^U:初始源信號估計的STFS 払V:未知逆濾波器的LTFS ^-4)
formula see original document page 27(5)
假設《"、^i、、 ^ii和^分別是隨機過程X&、 S^、》^和1^'的
實現，以及苟力'是根據觀測信號基於語音信號的特徵、諸如調和性和稀 疏性而給定的。
在以下描述的本發明的 一 個實施例中，*%》或巧,'被作為未知參數處 理，A、被作為丟失數據的第一隨機變量處理，以及'^^或^*'被作為第
二隨機變量的 一 部分處理，和或^'被作為第二隨機變量的另 一 部分 處理。
假設針對 一 定的持續時間給定和,以及給定 4'')M其中(.h表示在頻率索引k的STFS倉的時間系列。
在此情況下，假設語音通過估計最大化在每個頻率索引A定義的似然函
數的源信號能夠去混響0fc =. argi^xbgp(4 1^ft):
6fc ' . '
- argmaxl(;)g / p;[卿，4"》IQfc)麵'，
(6)
其中^-(S^k ^M《:"fe以及&'-^是LTFS倉的頻率索引。^:的上述方 程中的積分是對的實部和虛部的簡單二重積分。未被觀測的逆濾波 器被作為上述似然函數中的丟失數據處理並通過積分被排斥 (marginalize)。為了分析該函數，進一步假設在給定W&h的情況 下，"&H以及(-《^和^聯合事件在統計上是獨立的。在此情況下，上 述方程(6)中的/K^"^^》能夠被如下分成兩個函數
p(卿,a le"=' (4i; j.* X偽(「i j* 一".
前者是與室內聲學有關的概率密度函數(pdf )，即在給定源信號 的情況下觀測信號和逆濾波器的聯合概率密度函數(pdf)。後者是與 由初始估計提供的信息有關的另一個概率密度函數(pdf ),即在給定 源信號的情況下初始源信號估計的概率密度函數(Pdf )。第二分量能 夠被解釋為在給定真實源信號的情況下語音特徵的概率存在。它們將分 別在下文中被稱為"聲學概率密度函數(聲學pdf )，，以及"源概率密 度函數(源pdf)"。理想地，逆傳遞函數'W^將^"'變換成"f,即 Wjta^'-"t'。但是，在實際的聲學環境中，該方程由於諸如不足夠的逆
濾波器長度和室內傳遞函數的波動這樣的原因而可能包含 一 定誤差 4 =**'.*"-W。所以，聲學pdf能夠被認為是這種誤差的概率密度函數 (pdf),如順'"-C'冊類似地，源概率密度函數(源 pdf )能夠被認為是誤差《lt 《i'或者源信號和基於特徵的信號之 差的另一個概率密度函數(pdf ),如/^^^l^"Hs浩)俯"'。為了簡化
起見，假設這些誤差是在給定^g》h的情況下順序地獨立的隨機過程。 ，支設上述兩個誤差過程的實部和虛部以相同的方差相互獨立並且能夠 單獨地通過具有零平均值的高斯隨機過程被建模。利用這些假設，誤差概率密度函數(誤差pdf )被表示為
gMefc} -綴},
-^f '
(8)
其中^i)'和"&分別是兩個概率密度函數(pdf )的方差，在下文中被稱 為聲學環境不確定性和源信號不確定性。假設這兩個值是基於語音信號 和室內聲學的特徵被給定的。
EM算法的說明
期望最大化(EM)算法是找到最大化包括丟失數據的給定似然函數 的一糹且參數的4尤4b方法。這通過A. P. Dempster、N. M. Laird、和D. B. Rubin 在"maximum 1 ikel ihood from incorporate data via the EM a Igor i thm，' (Journal of the Royal Statistical Society, Series B, 39 ( 1 ): 1-38, 1977年)中被公開。通常，似然函數被表示為
鵬-
- ,ppT-T，Y-鵬勿，
(9.)
其中H' l納表示在參數集 被給定並且X和Y是隨機變量的條件下隨機變 量的概率密度函數(pdf ) 。 X-x意味著x作為關於X的觀測數據被給 定。在上述似然函數中，假設Y未被觀測到，被稱為丟失數據，因此利 用Y排斥概率密度函數(pdf )。通過找到最大化似然函數的參數集極— 的實現能夠求解最大似然問題。
根據期望最大化(EM)算法，利用輔助函數${剰的的期望步驟 (E-step)和最大化步驟(M-step)被分別定義為formula see original document page 30 (10)
其中在上述方程(IO)的標記為"E-step"的上面方程中的，.柳是在@=0 為固定的條件下的期望函數，其被更具體地定義為所述方程在E-step 中的第二行。似然函數"^被顯示為通過經由期望步驟(E-step)和最 大化步驟(M-step)的一次迭代利用€>=^更新 =^進行增加，其中在期 望步驟(E-step)中計算"0問，而在最大化步驟(M-step)中獲得最大 化m0購的0^ 。最大似然問題的解通過重複所述迭代獲得。
基於EM算法的解
求解^的上述方程(6 )的 一種有效方式是使用上述期望最大化(EM )
算法。利用這種方法，為了語音去混響，利用輔助函數e詠i粉的期望步
驟(E-step)和最大化步驟(M-step)淨皮分別定義為
其中假設^是以下隨機過程的實現
根據EM算法，對數似然logpM"陶通過利用經由EM迭代獲得的^更 新&而增加，並且通過重複所述迭代收斂到平穩點解。
解
取代直接計算E-step和M-step,由於2(^陶-5他陶在相同的&具 有其最大值如"匈傷〗，因此它被分析。在2卿陶-2腳粉的某種排列之後 並且僅僅提取包含^的項，從而獲得以下函數。formula see original document page 31 其中
(12)
其中"一意味著複數共軛。應該注意&最大化^{0*|叫並且也最大化
組％稱，％產生並且也產生e卿陶^e的陶。最大化
^0俏^U的^r能夠通過以S&對它求微分、將它設置成零、以及求解所 產生的聯立方程而獲得。但是，獲得該解的計算成本相當高，這是因為 需要針對每個/和A求解具有M個未知變量的該方程。
替代地，為了以更有效的方式最大化上述方程(12)的^(&l似， 引入以下假設。通過基於上述方程(3)對構成LTFS倉的STFS倉的冪 求和，能夠近似LTFS倉的冪，即
formula see original document page 31(13),
利用這種假設，通過上述方程(12 )給定的&{@&峰}能夠被重寫為
formula see original document page 31
(14)
通過對上述方程求微分並將它設置成零，能夠如下針對通過上述方 程(11)的M-step所給定的《獲得封閉形式解formula see original document page 32(15)
討論
利用這種方法，通過依次重複地計算由上述方程(12)給定的&.以 及由上述方程(15)給定的S&來實現去混響。
上述方程(12)中的&'對應於在給定初始源信號估計為&,y和觀測 信號為^U'的情況下通過傳統HERB和SBD方法獲得的去混響濾波器。
上述方程(15)通過初始源信號估計^^和通過將^y乘以^獲得的
源估計的加權平均來更新所述源估計。根據源信號不確定性和聲學環境 不確定性來確定權重。換而言之， 一次EM迭代通過集成基於源和室內 聲學特性獲得的兩種類型的源估計來精心製作源估計。
從不同的觀點來看，能夠將通過上述方程(12)計算的逆濾波器估 計W^^視為最大化如下在《'是固定的條件下所定義的似然函數的逆
濾波器估計，formula see original document page 32(16)
其中採用與上述方程(8)相同的定義用於上述似然函數中的概率密度 函數(pdf )。另外，通過上述方程(15)計算的源信號估計^-《也在 逆濾波器估計&'是固定的條件下最大化上述似然函數。所以，通過分 別重複地計算上述方程(12)和(15),能夠獲得最大化上述似然函數 的逆濾波器估計袋*'和源信號估計茗。換而言之，通過這種迭代優化算 法，能夠計算最大化上述似然函數的逆濾波器估計效*'。
現在將參考附圖描述本發明的所選擇的實施例。對於本領域普通技 術人員來說根據本公開內容將顯而易見的是，本發明的實施例的以下描 述僅僅被提供用於說明而不是用於限制如通過所附的權利要求及其等 同物定義的本發明的目的。
第一實施例圖1是圖示根據本發明的第一實施例的、基於源和室內聲學的概率 模型的語音去混響設備的方框圖。能夠通過一組功能單元來實現語音去
混響設備10000，該組功能單元協作用於接收觀測信號x[n]的輸入並產 生波形信號？["的輸出。功能單元中的每一個都可以包括被構造和/或被 編程用於執行預定功能的硬體和/或軟體。術語"被適配"和"被配置" 被用於描述被構造和/或被編程用於執行一個或多個期望功能的硬體和 /或軟體。語音去混響設備100Q0能夠例如通過計算機或處理器來實現。 語音去混響設備IOOOG執行語音去混響操作。語音去混響方法能夠通過 要由計算機執行的程序來實現。
語音去混響i殳備10000可以典型地包^"初始化單元1000、似然最大 化單元2000和逆短時傅立葉變換單元4000。初始化單元1000可以被適 配用於接收能夠是數位化波形信號的觀測信號x[n],其中n是樣本索 引。數位化波形信號x[n]可以包含具有未知混響程度的語音信號。通過 諸如一個或多個麥克風的設備能夠捕獲該語音信號。初始化單元1000 可以被適配用於從觀測信號提取與源信號和聲學環境有關的初始源信 號估計和不確定性。初始化單元1000還可以:故適配用於用爿^式表達初 始源信號估計、源信號不確定性和聲學環境不確定性的表示。針對所有 索引/、 m、 A和yr,這些表示被列舉為是數位化波形初始源信號估計的 *、是表示源信號不確定性的方差或離差的W-、以及是表示聲學環境 不確定性的方差或離差的c^。即，初始化單元1000可以被適配用於接 收數位化波形信號x[n]的輸入作為觀測信號並產生數位化波形初始源 信號估計刷、表示源信號不確定性的方差或離差《k以及表示聲學環 境不確定性的方差或離差A、
似然最大化單元2000可以與初始化單元1000協作。即，似然最大 化單元2000可以被適配用於從初始化單元1000接收數位化波形初始源
信號估計糹W的輸入、源信號不確定性ff^、和聲學環境不確定性o^。似
然最大化單元2000還可以被適配用於接收數位化波形觀測信號x[n]的 另一個輸入作為觀測信號。眷〗是數位化波形初始源信號估計。"JS是表 示源信號不確定性的第一方差。"^是表示聲學環境不確定性的笫二方 差。似然最大化單元2000還可以;故適配用於確定最大化似然函數的源 信號估計《，其中參考數位化波形觀測信號x[n]、數位化波形初始源信 號估計^]、表示源信號不確定性的第一方差"fS、以及表示聲學環境不確定性的第二方差W 來進行所述確定。通常，可以基於概率密度函數 來定義似然函數，該概率密度函數根據參考源信號估計所定義的未知參 數、表示室內傳遞函數的逆濾波器的丟失數據的第一隨機變量、和參考 觀測信號和初始源信號估計所定義的觀測數據的第二隨機變量進行評 估。使用迭代優化算法來執行源信號估計A的確定。
迭代優化算法的典型實例可以包括但不限於上述期望最大化算法。 在一個實例中，似然最大化單元2000可以:被適配用於針對所有A搜索 源信號《-fc2^,並估計最大化如下定義的似然函數的源信號
其中f - $>a j是此刻的短時觀測《工和初始源信號估計d的聯
合事件。已經參考上述方程(6)描述了該函數的細節。因此，似然最 大化單元2000可以—皮適配用於確定並輸出最大化所述似然函數的源信 號估計《二。
逆短時傅立葉變換單元4000可以與似然最大化單元2000協作。即， 逆短時傅立葉變換單元4000可以被適配用於從似然最大化單元2000接
收最大化似然函數的源信號估計的輸入。逆短時傅立葉變換單元
4000還可以被適配用於將源信號估計《&變換成數位化波形信號^]並輸 出該數位化波形信號W《
似然最大化單元2000能夠通過相互協作以確定並輸出最大化似然 函數的源信號估計^^的一組子功能單元來實現。圖2是圖示圖1中所 示的似然最大化單元2000的配置的方框圖。在一種情況下，似然最大 化單元2000還可以包括長時傅立葉變換單元2100、更新單元"00、STFS 到LTFS變換單元2300、逆濾波器估計單元2400、濾波單元"00、 LTFS 到STFS變換單元2600、源信號估計和收斂檢-驗單元2700、短時傅立葉 變換單元2800、以及長時傅立葉變換單元2900。這些單元協作以繼續 執行迭代操作，直到已經確定最大化似然函數的源信號估計為止。
長時傅立葉變換單元210(H皮適配用於/人初始化單元IOOO接收數字 化波形觀測信號x[n]作為觀測信號。長時傅立葉變換單元2100還糹皮適 配用於執行數位化波形觀測信號x[n]到作為長期傅立葉頻譜(LTFS)的 變換後的觀測信號"^'的長時傅立葉變換。短時傅立葉變換單元2800 -故適配用於從初始化單元1000接收數字 化初始源信號估計;["〗。短時傅立葉變換單元2800被適配用於執行數字 化波形初始源信號估計*1到初始源信號估計苟二f的短時傅立葉變換。
長時傅立葉變換單元290(H皮適配用於從初始化單元IOOO接收數字 化波形初始源信號估計豐]。長時傅立葉變換單元2900被適配用於執行 數位化波形初始源信號估計到初始源信號估計的長時傅立葉變 換。
更新單元"0G與長時傅立葉變換單元2900和STFS到LTFS變換單 元2300協作。更新單元2200被適配用於在迭代的初始步驟中從長時傅 立葉變換單元2900接收初始源信號估計^,並且還被適配用於用源信號 估計《.代替feA。更新單元2200此外糹皮適配用於發送更新的源信號估計 4'給逆濾波器估計單元2400。更新單元2200還被適配用於在迭代的隨 後步驟中從STFS到LTFS變換單元2300接收源信號估計l.，並且用於 用源信號估計&,代替^丄。更新單元2200還被適配用於發送更新的源信 號估計《'給逆濾波器估計單元2400。
逆濾波器估計單元2400與長時傅立葉變換單元2100、更新單元 2200和初始化單元1 000協作。逆濾波器估計單元2400 一皮適配用於從長 時傅立葉變換單元2100接收觀測信號&^。逆濾波器估計單元2400還 被適配用於從更新單元2200接收更新的源信號估計《'。逆濾波器估計 單元2400還^皮適配用於從初始化單元1000接收表示聲學環境不確定性 的第二方差《 '。逆濾波器估計單元2400進一步被適配用於根據上述方 程(12)基於觀測信號&w、更新的源信號估計&和表示聲學環境不確
何
定性的第二方差A》'來計算逆濾波器估計巧'。逆濾波器估計單元2400進 一步被適配用於輸出逆濾波器估計^'。
濾波單元"0G與長時傅立葉變換單元21G0和逆濾波器估計單元 2400協作。濾波單元2500被適配用於從長時傅立葉變換單元2100接收 )f見測信號巧》。濾波單元2500還糹皮適配用於乂人逆濾波器估計單元2400 接收逆濾波器估ij;^。濾波單元2500還被il配用於將觀測信號、w應用 於逆濾波器估計巧'以產生濾波源信號估計$》'。將觀測信號、w應用於 逆濾波器估計的濾波過程的，型實例可以包括但不限於計算觀測信 號*"'和逆濾波器估計&的乘積^;A。在這種情況下，通過觀測信號^' 和逆濾波器估計^的乘積來給定濾波源信號估計5,。LTFS到STFS變換單元2600與濾波單元2500協作。LTFS到STFS 變換單元2600被適配用於從濾波單元2500接收濾波源信號估計^'。 LTFS到STFS變換單元2600進一步被適配用於執行濾波源信號估計^'到 變換後的濾波源信號估計^Sit的LTFS到STFS變換。當濾波過程是計算 觀測信號-"'和逆濾波器估計、^1的乘積^i"M'時，LTFS到STFS變換單元 2600進一步被適配用於執行乘積變換後的信號LS、」fe^化的 LTFS到STFS變換。在這種情況下，乘積^^W表示濾波源信號估計^', 以及變換後的信號Lsw fe'^ U表示變換後的濾波源信號估計^fi*'。
源信號估計和收斂糹企^驗單元2700與LTFS到STFS變換單元2600、 短時傅立葉變換單元2800、以及初始化單元1000協作。源信號估計和 收斂檢驗單元2700被適配用於從LTFS到STFS變換單元2600接收變換 後的濾波源信號估計S^。源信號估計和收斂檢驗單元2700還被適配用 於從初始化單元1000接收表示源信號不確定性的第一方差《i和表示聲 學環境不確定性的第二方差"ffi。源信號估計和收斂檢驗單元2700還被 適配用於從短時傅立葉變換單元2800接收初始源信號估計苟二。源信號 估計和收斂檢驗單元2700進一步被適配用於基於變換後的濾波源信號 估計《&、表示源信號不確定性的第一方差Wju表示聲學環境不確定性 的第二方差"3:和初始源信號估計^e估計源信號？Z麼，其中根據上述方
程(15)進行所述估計。
源信號估計和收斂檢驗單元2700此外被適配用於例如通過比較當 前已經被估計的源信號估計的當前值和之前已經被估計的源信號估 計《5的前一值以及檢驗是否當前值偏離前一值小於 一定的預定量來確 定迭代過程的收斂狀態。如果源信號估計和收斂檢驗單元2700確認源 信號估計《^的當前值偏離其前一值小於一定的預定量，那麼源信號估 計和收斂檢驗單元2700識別出已經獲得源信號估計、W的收斂。如果源 信號估計和收斂檢驗單元2700確認源信號估計S&的當前值偏離其前一 值不小於一定的預定量，那麼源信號估計和收斂檢驗單元2700識別出 還未獲得源信號估計的收斂。
作為修改有可能的是當迭代次數達到 一定的預定值時終止迭代過 程。即，源信號估計和收斂檢驗單元2700已經確認迭代次數達到一定 的預定值，於是源信號估計和收斂檢驗單元2700識別出已經獲得源信 號估計7&的收斂。如果源信號估計和收斂檢驗單元2700已經確認已經獲得源信號估計SS》的收斂，那麼源信號估計和收斂檢驗單元2700向逆 短時傅立葉變換單元4 0 0 0提供源信號估計作為第 一 輸出。如果源信 號估計和收斂檢驗單元2700已經確認還未獲得源信號估計DS的收斂， 那麼源信號估計和收斂4全-驗單元2700向STFS到LTFS變換單元2300提 供源信號估計《5作為第二輸出。
STFS到LTFS變換單元2300與源信號估計和收斂檢驗單元2700協 作。STFS到LTFS變換單元2300被適配用於從源信號估計和收斂檢驗單 元2700接收源信號估計^2i。STFS到LTFS變換單元2300被適配用於執 行源信號估計《!^到變換後的源信號估計1*的STFS到LTFS變換。
在迭代操作的隨後步驟中，更新單元2200從STFS到LTFS變換單 元2300接收所述源信號估計^u'，並用源信號估計&代替fc'L,以及發 送更新的源信號估計《'給逆濾波器估計單元2400。
上述迭代過程將被繼續，直到源信號估計和收斂檢驗單元2700已 經確認源信號估計？&的收斂已經被獲得。在迭代的初始舟驟中，更新 的源信號估計《'是從長時傅立葉變換單元2Q0f)提供的feA。在迭代的 第二或隨後步驟中，更新的源信號估計^是feA。
如果源信號估計和收斂檢驗單元2700已經確認已經獲得源信號估 計實^的收斂，那麼源信號估計和收斂檢驗單元2700向逆短時傅立葉變 換單元4000提供源信號估計^/作為第一輸出。逆短時傅立葉變換單元 4000可以被適配用千將源信號估計^麼'變換成數位化波形信號7 W並輸 出該數位化波形信號？["。
將參考圖2描述似然最大化單元2000的操作。
在迭代的初始步驟中，將數位化波形觀測信號x[n]從初始化單元 1000提供給長時傅立葉變換單元2100。由長時傅立葉變換單元2100執 行長時傅立葉變換以便數位化波形觀測信號x[n]被變換成作為長期傅 立葉頻譜(LTFS)的變換後的觀測信號'V。數位化波形初始源信號估計 》["]從初始化單元10 G 0 #:提供給短時傅立葉變換單元2 8 0 0和長時傅立葉 變換單元2900。由短時傅立葉變換單元2800執行短時傅立葉變換以便 將數位化波形初始源信號估計趕"j變換成初始源信號估計fh 。由長時傅 立葉變換單元2900執行長時傅立葉變換以便將數位化波形初始源信號 估計l"j:變換成初始源信號估計^^'。
從長時傅立葉變換單元2900提供初始源信號估計^^'給更新單元2200。通過更新單元2200用源信號估計^代替初始源信號估計fei'。 然後從更新單元2200提供初始源信號估計《,K4給逆濾波器估計單元 2400。觀測信號《^'從長時傅立葉變換單元21Q0被提供給逆濾波器估計 單元2400。表示聲學環境不確定性的第二方差4!從初始化單元1000被 提供給逆濾波器估計單元2400。逆濾波器估計單元2400基於觀測信號 艮t 、初始源信號估計《.、以及表示聲學環境不確定性的第二方差°S計 算逆濾波器估計&',其中根據上述方程(12)進行所述計算。
逆濾波器估計&'從逆濾波器估計單元2400被提供給濾波單元 2500。觀測信號"w進一步從長時傅立葉變換單元21Q0被提供給濾波單 元2500。濾波單元2500將逆濾波器估計^*應用於) 見測信號"^以產生 濾波源信號估計^'.。將觀測信號*^應用於逆濾波器估計遇'的濾波過 程的典型實例可以用於計算觀測信號^.和逆濾波器估計的乘積
^，％'。在這種情況下，通過觀測信號^""和逆濾波器估計^'的乘積^^:'
來給定濾波源信號估計^'、。
從濾波單元2500提供濾波源信號估計l'給LTFS到STFS變換單元 2600。由LTFS到STFS變換單元2600執行LTFS到STFS變換以便濾波 源信號估計？W被變換成變換後的濾波源信號估計^^。當濾波過程用於 計算觀測信號^'和逆濾波器估計&'的乘積^W時，乘積'^""'被變換 成變換後的信號^"f^vlj。
從LTFS到STFS變換單元2600提供變換後的濾波源信號估計^，fe'給 源信號估計和收斂檢驗單元2700。從初始化單元10QQ提供表示源信號 不確定性的第一方差《夂和表示聲學環境不確定性的笫二方差^給源信 號估計和收斂檢驗單元2700。從短時傅立葉變換單元2800提供初始源 信號估計萄二給源信號估計和收斂檢驗單元2700。源信號估計和收斂檢 驗單元2700基於變換後的濾波源信號估計sw'、表示源信號不確定性的 第一方差《V、表示聲學環境不確定性的第二方差"ffi和初始源信號估計
萄i計算源信號估計《&,其中根據上述方程(15)進行所述估計。
在迭我的初始步驟中，從源信號估計和收斂檢驗單元"OO提供源 信號估計給STFS到LTFS變換單元2300以便將源信號估計變換 成變換後的源信號估計l'。從STFS到LTFS變換單元2300提供變換後 的源信號估計l'給更新單元2200。更新單元2200用源信號估計&代替 變換後的源信號估計^L。從更新單元2200提供更新的源信號估計^.給逆濾波器估計單元2400。
在迭代的第二或隨後步驟中，從更新單元2200提供源信號估計 《'-fcL給逆濾波器估計單元2400。觀測信號巧A'也從長時傅立葉變換單 元2100被提供給逆濾波器估計單元2400。從初始化單元IOOO提供表示 聲學環境不確定性的第二方差^!給逆濾波器估計單元2400。逆濾波器 估計單元2400基於觀測信號；％'、更新的源信號估計《^fc丄、和表示聲 學環境不確定性的第二方差計算更新的逆濾波器估計^ ,其中根據 上述方程(12 )進行所述計算。
從逆濾波器估計單元2 4 0 G提供更新的逆濾波器估計給濾波單元 2500。觀測信號3^，進一步被從長時傅立葉變換單元2100提供給濾波單 元2500。濾波單元250二將7見測信號^A'應用於更新的逆濾波器估計^V 以產生濾波源信號估計 W 。
從濾波單元2500提供更新的濾波源信號估計l"給LTFS到STFS變 換單元2600。 LTFS到STFS變換單元2600執行LTFS到STFS變換以便 將更新的濾波源信號估計^^變換成變換後的濾波源信號估計5^。
從LTFS到STFS變換單元2600提供更新的濾波源信號估計萄i給源 信號估計和收斂檢驗單元2700。還從初始化單元1GQ0提供表示源信號
不確定性的第一方差45和表示聲學環境不確定性的第二方差°^給源 信號估計和收斂檢驗單元27GG。從短時傅立葉變換單元2800提供更新 的初始源信號估計苟i給源信號估計和收斂檢驗單元2700。源信號估計
—</、
和收斂檢驗單元2700基於變換後的濾波源信號估計麼、表示源信號不 確定性的第 一方差《S-和表示聲學環境不確定性的第二方差°1 和初始
4rt W
源信號估計^:*計算源信號估計^".*，其中根據上述方程(15)進行所 述估計。比較當前已經被估計的源信號估計？Sfr的當前值與之前已經被 估計的源信號估計S&.的前一值。源信號估計和收斂檢驗單元2700驗證 是否當前值偏離前一值小於一定的預定量。
如果源信號估計和收斂檢驗單元2700確認源信號估計然 的當前 值偏離其前一值小於一定的預定量，那麼源信號估計和收斂檢驗單元 2700識別出已經獲得源信號估計S^的收斂。源信號估計《&作為第一輸 出從源信號估計和收斂檢^^單元2700 ;故提供給逆短時傅立葉變換單元 4000。逆短時傅立葉變換單元4000將源信號估計^St變換成數位化波形 源信號估計 M。如果源信號估計和收斂檢驗單元2700確認源信號估計&w的當前
值不偏離其前一值小於一定的預定量，那麼源信號估計和收斂檢驗單元
2700識別出還未獲得源信號估計？i的收斂。從源信號估計和收斂檢驗 單元2700提供源信號估計"厶給STFS到LTFS變換單元2300以便將源 信號估計巧變換成變換後的源信號估計^'。從STFS到LTFS變換單元 2300提供變換後的源信號估計^'給更新單元2200。更新單元2200用源 信號估計《'代替變換後的源信號估計^i.。從更新單元2200提供更新的 源信號估計《'給逆濾波器估計單元2400。
作為修改有可能的是當迭代次數達到 一定的預定值時終止迭代過 程。即，已經通過源信號估計和收斂檢驗單元2700確認迭代次數達到 一定的預定值，那麼源信號估計和收斂檢驗單元2700識別出已經獲得 源信號估計巧!1'的收斂。如果已經通過源信號估計和收斂檢驗單元2700 確認已經獲得源信號估計^Sfr.的收斂，那麼源信號估計巧&作為第 一 輸 出從源信號估計和收斂檢驗單元2700被提供給逆短時傅立葉變換單元 4000。如果已經通過源信號估計和收斂^^瞼單元2700確認還未獲得源 信號估計？/麼的收斂，那麼源信號估計 &作為第二輸出從源信號估計和 收斂檢驗單元2700被提供給STFS到LTFS變換單元"00以便然後將源 信號估計《^變換成變換後的源信號估計^。進一步用源信號估計《'代 替變換後的源信號估計l。
上述迭代過程將被繼續，直到通過源信號估計和收斂檢驗單元2700 已經確認已經獲得源信號估計《2t的收斂。在迭代的初始步驟中，更新 的源信號估計《'是從長時傅立葉變換單元2900提供的。在迭代的第二或 隨後步驟中，更新的源信號估計&是fc、L。
如果已經通過源信號估計和收斂檢驗單元2700確認已經獲得源信 號估計S^.的收斂，那麼源信號估計《St作為第 一輸出從源信號估計和 收斂檢驗單元2700被提供給逆短時傅立葉變換單元4Q0Q。逆短時傅立 葉變換單元4000將源信號估計？/麼變換成數位化波形源信號估計^W並 輸出該數位化波形源信號估計^"]。
圖3A是圖示在圖2中所示的STFS到LTFS變換單元"00的配置的 方框圖。STFS到LTFS變換單元2300可以包括逆短時傅立葉變換單元 2310和長時傅立葉變換單元2320。逆短時傅立葉變換單元2M0與源信 號估計和收斂檢驗單元2700協作。逆短時傅立葉變換單元2310被適配用於從源信號估計和收斂檢驗單元2700接收源信號估計^"。逆短時傅 立葉變換單元2310進一步被適配用於將源信號估計萄&變換成作為輸 出的數位化波形源信號估計^"J 。
長時傅立葉變換單元2320與逆短時傅立葉變換單元2310協作。長 時傅立葉變換單元2320被適配用於從逆短時傅立葉變換單元2310接收 數位化波形源信號估計永]。長時傅立葉變換單元2320進一步被適配用 於將數位化波形源信號估計^"!變換成作為輸出的變換後的源信號估計

圖3B是圖示在圖2中所示的LTFS到STFS變換單元2600的配置的 方框圖。LTFS到STFS變換單元2600可以包括逆長時傅立葉變換單元 2610和短時傅立葉變換單元2620。逆長時傅立葉變換單元2610與濾波 單元2500協作。逆長時傅立葉變換單元2610被適配用於從濾波單元 2500接收濾波源信號估計&，。逆長時傅立葉變換單元261Q進一步;f皮適 配用於將濾波源信號估計^，變換成作為輸出的數位化波形濾波源信號 估計補1]。
短時傅立葉變換單元2620與逆長時傅立葉變換單元2610協作。短 時傅立葉變換單元2620被適配用於從逆長時傅立葉變換單元2610接收 數位化波形濾波源信號估計y["〗。短時傅立葉變換單元2620進一步被適 配用於將數位化波形濾波源信號估計變換成作為輸出的變換後的濾 波源信號估計-i。
圖4A是圖示圖2中所示的長時傅立葉變換單元2100的配置的方框 圖。長時傅立葉變換單元2100可以包括開窗單元2110和離散傅立葉變 換單元2120。開窗單元2100被適配用於接收數位化波形觀測信號x [n]。 開窗單元2100進一步被適配用於如以下所給定的那樣將分析窗函數 g [n]重複地應用於數位化波形觀測信號x [n]:
formula see original document page 41
其中"/是長時間幀/所開始的樣本索引。開窗單元211(H皮適配用於針對 所有/產生分段波形觀測信號x,[n]。
離散傅立葉變換單元2120與開窗單元2110協作。離散傅立葉變換 單元2120被適配用於從開窗單元2110接收分段波形觀測信號x;[n]。離散傅立葉變換單元2120進一步被適配用於執行分段波形信號x,[n]中的 每一個到變換後的觀測信號^a'的如下給定的K點離散傅立葉變換
圖4B是圖示圖3B中所示的逆長時4粵立葉變4奐單元2610的配置的 方框圖。逆長時傅立葉變換單元2610可以包括逆離散傅立葉變換單元 2612以及重疊相加合成單元2614。逆離散傅立葉變換單元2612與濾波 單元2500協作。逆離散傅立葉變換單元2612被適配用於接收濾波源信 號估計^'。逆離散傅立葉變換單元2612進一步被適配用於應用濾波源 信號估計^的每個幀到作為如下所給定的輸出的分段波形濾波源信號 估計4"]的相應逆離散傅立葉變換
重疊相加合成單元2614與逆離散傅立葉變換單元2612協作。重疊 相加合成單元2614被適配用於從逆離散傅立葉變換單元"U接收分段 波形濾波源信號估計4"〗。重疊相加合成單元2614進一步被適配用於根 據重疊相加合成技術利用重疊相加合成窗""]針對所有/連接或合成分 段波形濾波源信號估計SW ，以便獲得如下給定的數位化波形濾波源信號 估計f["l。
圖5A是圖示在圖3B中所示的短時傅立葉變換單元2620的配置的 方框圖。短時傅立葉變換單元2620可以包括開窗單元26"和離散傅立 葉變換單元2624。開窗單元2622與逆長時傅立葉變換單元"10協作。 開窗單元2622被適配用於從逆長時傅立葉變換單元2610接收數位化波 形濾波源信號估計 ["]。開窗單元2622進一步被適配用於將分析窗函數 以窗偏移r重複地應用於數位化波形濾波源信號估計+]以便產生如
下給定的分段濾波源信號估計。其中巧w是時間幀所開始的樣本索引。針對所有/和w，開窗單元2622 產生分段波形濾波源信號估計^["1 。
離散傅立葉變換單元2624與開窗單元2622協作。離散傅立葉變換 單元2624被適配用於從開窗單元2622接收分段波形濾波源信號估計 l[n],。離散傅立葉變換單元2624進一步被適配用於執行分段波形濾波 源信號估計巧> ["〗中的每 一 個到如下給定的變換後的濾波源信號估計《、 的Kw點離散傅立葉變換。
圖5B是圖示在圖3A中所示的逆短時傅立葉變換單元2310的配置 的方框圖。逆短時傅立葉變換單元2310可以包括逆離散傅立葉變換單 元2312和重疊相加合成單元2314。逆離散傅立葉變換單元2312與源信 號估計和收斂檢驗單元2700協作。逆離散傅立葉變換單元2312被適配 用於從源信號估計和收斂檢驗單元2700接收源信號估計？fflt。逆離散傅 立葉變換單元2312進一步被適配用於將相應的逆離散傅立葉變換應用 於源信號估計巧"的每個幀並產生如下給定的分段波形源信號估計 葛》]。
formula see original document page 43
重疊相加合成單元2314與逆離散傅立葉變換單元2312協作。重疊 相加合成單元2314被適配用於從逆離散傅立葉變換單元2312接收分段 波形源信號估計；M。重疊相加合成單元2314進一步被適配用於針對 所有/和w基於重疊相加合成技術利用合成窗rt]連接或合成分段波 形源信號估計以便獲得如下給定的數位化波形源信號估計。
formula see original document page 43
初始化單元1000被適配用於執行三個操作，即初始源信號估計、源信號不確定性確定和聲學環境不確定性確定。如上所述，初始化單元
1000被適配用於接收數位化波形觀測信號x[n]並產生表示源信號不確 定性的第一方差^S、表示聲學環境不確定性的第二方差0^以及數字 化波形初始源信號估計3"。詳細地，初始化單元1000 一皮適配用於執行 初始源信號估計，該估計根據數位化波形觀測信號x[n]產生數位化波形 初始源信號估計《"]。初始化單元1000進一步被適配用於執行源信號不 確定性確定，該確定根據數位化波形觀測信號x[n]產生表示源信號不確 定性的第一方差crgj。初始化單元1000此外被適配用於執行聲學環境不 確定性確定，該確定根據數位化波形觀測信號x[n]產生表示聲學環境不 確定性的第二方差ag。
初始化單元1000可以包括三個功能子單元，即執行初始源信號估 計的初始源信號估計單元1100、執行源信號不確定性確定的源信號不確 定性確定單元1200、以及執行聲學環境不確定性確定的聲學環境不確定 性確定單元1300。圖6是圖示包括在圖1中所示的初始化單元1000中 的初始源信號估計單元1100的配置的方框圖。圖7是圖示包括在圖1 中所示的初始化單元1000中的源信號不確定性確定單元UOO的配置的 方框圖。圖8是圖示包括在圖1中所示的初始化單元1 000中的聲學環 境不確定性確定單元1300的配置的方框圖。
參考圖6,初始源信號估計單元1100可以進一步包括短時傅立葉變 換單元1110、基頻估計單元120和自適應諧波濾波單元1130。短時傅 立葉變換單元1110被適配用於接收數位化波形觀測信號x[n]。短時傅 立葉變換單元1110被適配用於執行數位化波形觀測信號x[n]到作為輸 出的變換後的觀測信號《、的短時傅立葉變換。
基頻估計單元1120與短時傅立葉變換單元1110協作。基頻估計單 元1120被適配用於從短時傅立葉變換單元1110接收變換後的觀測信號
。基頻估計單元1120進一步被適配用於估計來自變換後的觀測信號 ^^的每個短時間幀的基頻力一和發聲量度力，《 。
自適應諧波濾波單元11 3G與短時傅立葉變換單元1110和基頻估計 單元1120協作。自適應諧波濾波單元1130被適配用於從短時傅立葉變 換單元111Q接收變換後的觀測信號-S,A。自適應諧波濾波單元1130還 被適配用於從基頻估計單元1120接收基頻/^和發聲量度巧,、自適應諧 波濾波單元1130還被適配用於基於基頻/'. 和發聲量度巧.《增強《、.的諧波結構以便諧波結構的增強產生所得到的數位化波形初始源信號估計
;W作為專命出。本實例的過牙呈流禾呈在由Tomohiro Nakatani、 Masato Miyoshi和Keisuke Kinoshita在Speech Enhancement ( (Benesty, J.Makino, S,,和Chen, J. Eds ) ， Chapterll,第247 — 270頁，2005 年春)中發表的"Single Microphone Blind Dereverberation，， 中被詳 細公開。
參考圖7,源信號不確定性確定單元1200可以進一步包括短時傅立 葉變換單元1110、基頻估計單元1120和源信號不確定性確定子單元 1140。短時傅立葉變換單元1110被適配用於接收數位化波形觀測信號 x[n]。短時傅立葉變換單元1110被適配用於執行數位化波形觀測信號 x [n]到作為輸出的變換後的觀測信號的短時傅立葉變換。
基頻估計單元1120與短時傅立葉變換單元111G協作。基頻估計單 元1120被適配用於從短時傅立葉變換單元1110接收變換後的觀測信號 -&。基頻估計單元1120進一步被適配用於估計來自變換後的觀測信號 4的每個短時間幀的基頻/"'和發聲量度氣w 。
源信號不確定性確定子單元1140與基頻估計單元1120協作。源信 號不確定性確定子單元1140被適配用於從基頻估計單元1120接收基頻 ^和發聲量度^'。源信號不確定性確定子單元1140進一步被適配用於 根據基頻"^和發聲量度^"'確定表示源信號不確定性的第一方差^^。如 下給定表示源信號不確定性的第 一 方差O 。
°W 一
CO
v,,, 一^
l邁m
ifv ^^並iLi是諧波頻率 :if.v,,w > &並且&不是諧波頻率
(n)
其中G(u)是被定義為例如具有某些正的常量"a"和"b"的G(^-e,'-"的 歸一化函數，並且諧波頻率意味著用於基頻及其倍數之一的頻率索引。 參考圖8,聲學環境不確定性確定單元1300可以包括聲學環境不確 定性確定子單元1150。聲學環境不確定性確定子單元1150被適配用於 接收數位化波形觀測信號x[n]。聲學環境不確定性確定子單元1150進 一步被適配用於產生表示聲學環境不確定性的第二方差"g。在一種典型情況下，對於所有/和r來說，第二方差巧V能夠是常量，即如在圖8 中所示，。,fc—1。
所述混響信號能夠通過修改的包括執行反饋過程的反饋迴路的語
音去混響設備20000更有效地去混響。根據反饋過程的流程，通過利用 反饋迴路迭代相同的處理流程，能夠提高源信號估計《"的質量。儘管 只有數位化波形觀測信號x[n]在初始步驟中被用作流程的輸入，但是已 經被包含在前 一 步驟中的源信號估計7&也在隨後的步驟中被用作輸 入。更優選的是使用源信號估計^i而不是使用觀測信號x [n]來對源概 率密度函數(源pdf )的參數趕2>和化\進行估計。
第二實施例
圖9是圖示根據本發明的第二實施例進一步包括反饋迴路的另 一語 音去混響設備的配置的方框圖。修改的語音去混響設備20000可以包括 初始化單元10G0、似然最大化單元20GG、收斂檢-驗單元3000、和逆短 時傅立葉變換單元4000。初始化單元1000、似然最大化單元2000和逆 短時傅立葉變換單元4000的配置和操作如上所述。在本實施例中，在 似然最大化單元2000和逆短時傅立葉變換單元4000之間附加地引入收 斂檢驗單元3000以便收斂檢驗單元3000檢驗已經從似然最大化單元 2000輸出的源信號估計 &的收斂。如果收斂檢驗單元3000識別出已經 獲得源信號估計 &的收斂，那麼收斂檢驗單元3000發送源信號估計 & 給逆短時傅立葉變換單元4000。如果收斂檢驗單元3000識別出還未獲 得源信號估計《i的收斂，那麼收斂檢驗單元3000發送源信號估計^二給 初始化單元1000。以下描述將聚焦於第二實施例與第一實施例的差異。
收斂檢^r單元3000與初始化單元1000和似然最大化單元2000協 作。收斂檢驗單元3000被適配用於從似然最大化單元2000接收源信號 估計s'^。收斂檢驗單元3000進一步被適配用於例如通過驗證是否源信 號估計的當前更新的值偏離源信號估計《&的前 一 值小於 一 定的預 定量來確定迭代過程的收斂狀態。如果收斂檢驗單元3000確認源信號 估計巧i的當前更新的值偏離源信號估計的前 一 值小於 一 定的預定 量，那麼收斂檢驗單元3000識別出已經獲得源信號估計S'U的收斂。如 果收斂檢^r單元3000確認源信號估計^"的當前更新的值不偏離源信號 估計V^的前一值小於一定的預定量，那麼收斂檢^r單元3000識別出還未獲得源信號估計的收斂。
作為修改有可能的是當反饋或迭代次數達到一定的預定值時終止
所述反饋過程。當收斂檢驗單元3000已經確認源信號估計巧A的收斂已 經被獲得時，那麼收斂檢驗單元3000發送源信號估計《、給逆短時傅立 葉變換單元4000。如果收斂檢驗單元3000已經確認還未獲得源信號估 計5麼的收斂，那麼收斂檢驗單元3000將源信號估計巧"乍為輸出提供給 初始化單元1000以執行上述迭代的進一步的步驟。
收斂檢驗單元3000提供反饋迴路給初始化單元1000。即，初始化 單元1000與收斂檢驗單元1000協作。因此，初始化單元1000需要適 配於反饋迴路。根據第一實施例，初始化單元1000包括初始源信號估 計單元1100、源信號不確定性確定單元1200、和聲學環境不確定性確 定單元1300。根據第二實施例，修改的初始化單元1000包括修改的初 始源信號估計單元1400、修改的源信號不確定性確定單元l500、和聲 學環境不確定性確定單元1300。以下描述將聚焦於修改的初始源信號估 計單元1400、和修改的源信號不確定性確定單元1500。
圖IO是圖示包括在圖9中所示的初始化單元1000中的》務改的初始 源信號估計單元1400的配置的方框圖。修改的初始源信號估計單元 1400可以進一步包括短時傅立葉變換單元1110、基頻估計單元1H0、 自適應諧波濾波單元1130、和信號切換單元1160。信號切換單元1160 的增加能夠提高數位化波形初始源信號估計#"1的精度。
短時傅立葉變換單元1110被適配用於接收數位化波形觀測信號 x[n]。短時傅立葉變換單元1110被適配用於執行數位化波形觀測信號 x [ n ]到作為輸出的變換後的觀測信號巧V的短時傅立葉變換。信號切換 單元1160與短時傅立葉變換單元1110和收斂檢-驗單元3000協作。信 號切換單元1160:故適配用於從短時傅立葉變換單元1110接收變換後的 觀測信號《V信號切換單元116G被適配用於從收斂檢驗單元3GQ0接收 源信號估計？《*。信號切換單元1160被適配用於執行第一選擇操作以產 生第一輸出。信號切換單元1160還被適配用於執行第二選擇操作以產 生第二輸出。第一和第二選擇操作是相互獨立的。第一選擇操作是用於 選擇變換後的觀測信號-!^和源信號估計S&之一。在一種情況下，第一 選擇操作可以用於在除了一個或多個限制步驟之外的迭代的所有步驟
中選擇變換後的觀測信號《、。例如，第一選擇操作可以是用於在除了迭代的最後 一個或兩個步驟之外的迭代的所有步驟中選擇變換後的觀 測信號Xgjfc以及僅僅在最後 一個或兩個步驟中選擇源信號估計宛i。在一
種情況下，第二選擇操作可以是用於在除初始步驟之外的迭代的所有步
驟中選擇源信號估計&、在迭代的初始步驟中，信號切換單元1160僅
接收變換後的觀測信號《、並選擇變換後的觀測信號《V更優選的是就 基頻力>和發聲量度氣w兩者的估計而言使用源信號估計SS^而不使用變
換後的觀測信號g&。
信號切換單元1160執行第一選擇操作並產生第一輸出。信號切換 單元1160執行第二選擇操作並產生第二輸出。
基頻估計單元1120與信號切換單元1160協作。基頻估計單元1120 被適配用於從信號切換單元1160接收第二輸出。即，基頻估計單元1U0 被適配用於在迭代的初始或第一步驟中從信號切換單元1160接收變換 後的觀測信號^》以及在迭代的第二或隨後步驟中從信號切換單元1160 接收源信號估計3^。基頻估計單元1120進一步被適配用於基於變換後 的觀測信號4、或源信號估計《麼估計每個短時間幀的基頻在-及其發聲量 度l。
自適應諧波濾波單元1130與信號切換單元1160和基頻估計單元 1120協作。自適應諧波濾波單元1130被適配用於從信號切換單元1160 接收第一輸出以及還從基頻估計單元1120接收基頻力,"和發聲量度乃，m。 即，自適應諧波濾波單元1130被適配用於在除迭代的最後一個或兩個 步驟之外的迭代的所有步驟中從信號切換單元1160接收變換後的觀測 信號-l。自適應諧波濾波單元1130還被適配用於在迭代的最後一個或 兩個步驟中從信號切換單元1160接收源信號估計巧S。自適應諧波濾波 單元1130還被適配用於在迭代的所有步驟中從基頻估計單元1U0接收 基頻^和發聲量度％。自適應諧波濾波單元1130還被適配用於基於基
頻Am和發聲量度^增強觀測信號^，i或源信號估計7&的諧波結構。增強
操作產生估計精度被提高的數位化波形初始源信號估計^。
如上所述，更優選的是就基頻A"和發聲量度V/，w兩者的估計而言基頻
估計單元1120使用源信號估計 /工而不是使用觀測信號4^。因此在迭代 的第二或隨後步驟中提供源信號估計S;^而不是觀測信號^&給基頻估計 單元1120能夠改善數位化波形初始源信號估計糹M的估計。
在某些情況下，可能更適合於將自適應諧波濾波器應用於源信號估計然!t而不是觀測信號以便獲得數位化波形初始源信號估計豐〗的較
佳估計。去混響步驟的一次迭代可能將一定的特殊失真添加到源信號估
計力#中以及當將自適應諧波濾波器應用於源信號估計^丄時，該失真被 直接繼承到數位化波形初始源信號估計羋]。另外，這種失真可能通過迭 代的去混響步驟被累積到源信號估計巧A中。為了避免失真的這種累積，
有效的是信號切換單元1160被適配用於除了在迭代結束之前的最後一 個步驟或最後幾個步驟中之外將觀測信號《"提供給自適應諧波濾波單 元1130,在所述迭代中使源信號估計《麼的估計精確。
圖ll是圖示包括在圖9中所示的初始化單元1 000中的修改的源信 號不確定性確定單元1500的配置的方框圖。修改的源信號不確定性確 定單元1500可以進一步包括短時傅立葉變換單元1112、基頻估計單元 1122、源信號不確定性確定子單元1140和信號切換單元1162。信號切 換單元1162的增加能夠改善源信號不確定性c忍的估計。根據第二實施 例，似然最大化單元2000的配置與在第一實施例中描述的配置相同。
短時傅立葉變換單元1112被適配用於接收數位化波形觀測信號 x[n]。短時傅立葉變換單元1112被適配用於執行數位化波形觀測信號 x [n]到作為輸出的變換後的觀測信號的短時傅立葉變換。信號切換 單元1162與短時傅立葉變換單元1110和收斂檢驗單元3000協作。信 號切換單元1162被適配用於從短時傅立葉變換單元1110接收變換後的 觀測信號》仏。信號切換單元1162被適配用於從收斂檢驗單元3000接收 源信號估計《&。信號切換單元1162被適配用於執行第一選擇操作以產 生第 一輸出。第 一 選擇操作是用於選擇變換後的觀測信號《,t和源信號 估計《之一。在一種情況下，第一選擇操作可以是用於在除了迭代的 初始步驟之外的迭代的所有步驟中選擇源信號估計？& 。在迭代的初始步 驟中，信號切換單元1162僅接收變換後的觀測信號^!、*並選擇變換後的 觀測信號《、。更優選的是就基頻^和發聲量度巧,《兩者的估計而言使用 源信號估計％!t而不使用變換後的觀測信號《。
基頻估計單元1122與信號切換單元1162協作。基頻估計單元1122 被適配用於從信號切換單元1162接收笫一輸出。即，基頻估計單元1122 被適配用於在迭代的初始步驟中接收變換後的觀測信號《'以及在除迭 代的初始步驟之外的迭代的所有步驟中接收源信號估計。基頻估計 單元1122進一步被適配用於估計每個短時間幀的基頻力"及其發聲量度VU 。參考變換後的觀測信號《、或源信號估計^進行所述估計。
源信號不確定性確定單元1140與基頻估計單元1122協作。源信號 不確定性確定單元1140糹支適配用於從基頻估計單元1122接收基頻力"和 發聲量度"M。源信號不確定性確定單元1140進一步被適配用於確定源 信號不確定性《i'。如上所述，更優選的是就基頻/&和發聲量度""兩者
W W
的估計而言使用源信號估計力A而不使用觀測信號^丄。 第三實施例
圖12是圖示根據本發明的第三實施例基於源和室內聲學的概率模 型的語音去混響設備的配置的方框圖。語音去混響設備30000能夠通過 一組功能單元來實現，這些功能單元協作用於接收觀測信號x[n]的輸入 並產生數位化波形源信號估計 M或濾波源信號估計制的輸出。語音去 混響設備3GG0Q能夠例如通過計算機或處理器來實現。語音去混響設備 30000執行語音去混響操作。語音去混響方法能夠通過要由計算機執行 的程序來實現。
語音去混響設備30000典型地可以包括上述初始化單元1000、上述 似然最大化單元2000-1和逆濾波器應用單元5000。初始化單元1000可 以被適配用於接收數位化波形觀測信號x [n]。數位化波形觀測信號x [n] 可以包含具有未知混響程度的語音信號。通過諸如一個或多個麥克風的 設備能夠捕獲該語音信號。初始化單元1000可以一皮適配用於從觀測信 號提取與源信號和聲學環境有關的初始源信號估計和不確定性。初始化 單元1000還可以一皮適配用於用爿^式表達初始源信號估計、源信號不確 定性和聲學環境不確定性的表示。針對所有索引/、 m、 A和F，這些表 示被列舉為是數位化波形初始源信號估計的^]、是表示源信號不確定性
的方差或離差的一S 、以及是表示聲學環境不確定性的方差或離差的 力!。即，初始化單元1000可以被適配用於接收數位化波形信號x[n]的
輸入作為觀測信號並產生數位化波形初始源信號估計嗣、表示源信號不 確定性的方差或離差0^、以及表示聲學環境不確定性的方差或離差4^。 似然最大化單元2000-1可以與初始化單元1000協作。即，似然最 大化單元2000-1可以被適配用於從初始化單元1000接收數位化波形初
始源信號估計^]、源信號不確定性<::"和聲學環境不確定性"ff的輸入。
似然最大化單元2000-1還可以被適配用於接收數位化波形觀測信號x [n]的另 一個輸入作為觀測信號。趕"]是數位化波形初始源信號估計。 °^'是表示源信號不確定性的第一方差。""是表示聲學環境不確定性的 第二方差。似然最大化單元2000-1還可以;故適配用於確定最大化似然 函數的逆濾波器估計^，其中參考數位化波形觀測信號x[n]、數位化 波形初始源信號估計*]、表示源信號不確定性的第一方差力S、以及表 示聲學環境不確定性的第二方差<^進行所述確定。通常，可以基於概率
密度函數定義似然函數，該概率密度函數根據第一未知參數、第二未知 參數、和觀測數據的第一隨機變量進行評估。參考源信號估計定義所述 第一未知參數。參考室內傳遞函數的逆濾波器定義第二未知參數。參考 觀測信號和初始源信號估計定義觀測數據的笫一隨機變量。逆濾波器估 計是室內傳遞函數的逆濾波器的估計。使用迭代優化算法來執行逆濾波 器估計A'的確定。
迭代優化算法可以在不使用上述期望最大化算法的情況下進行組 織。例如，能夠獲得逆濾波器估計&，和源信號估計《作為最大化如下定 義的似然函數的逆濾波器估計和源信號估計
(16)
能夠通過緊接著的迭代算法最大化該似然函數。 第一步驟是設置初始值為《-《。
第二步驟是計算在《固定的條件下最大化似然函數的逆濾波器估計
第三步驟是計算在巧,固定的條件下最大化似然函數的源信號估計
《-《。
第四步驟是重複上述第二和第三步驟，直到迭代的收斂被確認為止。
當與上述方程(8)相同的定義被用於上述似然函數中的概率密度 函數(pdf )時，容易地顯示出能夠分別通過上述方程(l2)和(l5) 獲得上述第二步驟中的逆濾波器估計A.和上述第三步驟中的源信號估 計《。通過檢驗是否逆濾波器估計^的當前獲得的值和逆濾波器估計％ 的之前獲得的值之差小於預定的閾值，可以完成第四步驟中的上述收斂確認。最後，該觀測信號可以通過將在上述第二步驟中獲得的逆濾波器 估計A.應用於觀測信號來去混響。
逆濾波器應用單元5000可以與似然最大化單元2000-1協作。即， 逆濾波器應用單元5000可以被適配用於從似然最大化單元2000-1接收 最大化似然函數(16)的逆濾波器估計&'的輸入。逆濾波器應用單元 5000還可以被適配用於接收數位化波形觀測信號x[n]。逆濾波器應用 單元5000還可以糹皮適配用於將逆濾波器估計巧應用於數位化波形觀測 信號x[n]以便產生恢復後的數位化波形源信號估計咖]或濾波數位化波 形源信號估計《"]。
在某一情況下，逆濾波器應用單元5000可以被適配用於將長時傅 立葉變換應用於數位化波形觀測信號x [ n ]以產生變換後的觀測信號 。逆濾波器應用單元5000可以進一步被適配用於將每個幀中的變換 後的觀測信號巧"乘以逆濾波器估計以產生濾波源信號估計& ^'^'。 逆濾波器應用單元5000可以進一步^皮適配用於將逆長時傅立葉變換應 用於濾波源信號估計&， = 以產生濾波數位化波形源信號估計嗣。
在另一情況下，逆濾波器應用單元5000可以被適配用於將逆長時
傅立葉變換應用於逆濾波器估計以產生數位化波形逆濾波器估計
《"]。逆濾波器應用單元5000可以被適配用於將數位化波形觀測信號 x[n]與數位化波形逆濾波器估計對"進行巻積以產生恢復後的數位化波
形源信號估計永]-5l4rt-M]河"'〗。
似然最大化單元2000-1能夠通過相互協作以確定並輸出最大化所 述似然函數的逆濾波器估計&的一組子功能單元來實現。圖13是圖示 在圖12中所示的似然最大化單元2000-1的配置的方框圖。在一種情況 下，似然最大化單元2000-1可以進一步包括上述長時傅立葉變換單元 2100、上述更新單元2200、上述STFS到LTFS變換單元2300、上述逆 濾波器估計單元2400、上述濾波單元2500、LTFS到STFS變換單元2600、 源信號估計單元2710、收斂檢驗單元2720、上述短時傅立葉變換單元 2800、以及上述長時傅立葉變換單元2900。這些單元協作以繼續執行迭 代操作，直到最大化似然函數的逆濾波器估計已經被確定為止。
長時傅立葉變換單元2100被適配用於從初始化單元1000接收數字 化波形觀測信號x[n]作為觀測信號。長時傅立葉變換單元2100還被適 配用於執行數位化波形觀測信號x[n]到作為長期傅立葉頻譜(LTFS)的變換後的觀測信號A》'的長時傅立葉變換。
短時傅立葉變換單元280(H皮適配用於從初始化單元IOGG接收數字 化波形初始源信號估計《"L短時傅立葉變換單元2800被適配用於執行 數位化波形初始源信號估計到初始源信號估計糹。、4的短時傅立葉變換。
長時傅立葉變換單元2900 一皮適配用於從初始化單元1000接收數字 化波形初始源信號估計豐]。長時傅立葉變換單元2900被適配用於執行 數位化波形初始源信號估計s["〗到初始源信號估計的長時傅立葉變換。
更新單元2200與長時傅立葉變換單元2900和STFS到LTFS變換單 元2300協作。更新單元2200 一皮適配用於在迭代的初始步驟中從長時傅 立葉變換單元2 9 0 0接收初始源信號估計l'以及進 一 步— 皮適配用於用源 信號估計4代替k4。更新單元2200此外被適配用於發送更新的源信號 估計《'給逆濾波器估計單元2400。更新單元2200還被適配用於在迭代 的隨後步驟中從STFS到LTFS變換單元2300接收源信號估計^',以及 用源信號估計《'代替k4。更新單元2200還被適配用於發送更新的源信 號估計《'給逆濾波器估計單元2400。
逆濾波器估計單元2400與長時傅立葉變換單元2100、更新單元 2200和初始化單元1000協作。逆濾波器估計單元2400糹皮適配用於/人長 時傅立葉變換單元2100接收觀測信號"a'。逆濾波器估計單元2400還 被適配用於從更新單元2200接收更新的源信號估計《'。逆濾波器估計 單元2400還被適配用於從初始化單元1000接收表示聲學環境不確定性 的第二方差affi。逆濾波器估計單元2400還被適配用於根據上述方程 (12)基於觀測信號&'、更新的源4t號估計&、和表示聲學環境不確定 性的第二方差flj計算逆濾波器j古計^'。逆濾波器估計單元2400進一步 被適配用於輸出逆濾波器估計^'。
收斂檢驗單元2720與逆濾波器估計單元2400協作。收斂檢驗單元 2720被適配用於從逆濾波器估計單元2400接收逆濾波器估計^。收斂 檢驗單元2720被適配用於例如通過比較當前已經被估計的逆濾波器估 計仏'的當前值與之前已經;故估計的逆濾波器估計環*，的前一值以及檢-瞼 是否所述當前值偏離前一值小於一定的預定量來確定迭代過程的收斂 狀態。如果收斂檢驗單元2720確認逆濾波器估計^的當前值偏離其前一值小於一定的預定量，那麼收斂檢驗單元2720識別出已經獲得逆濾 波器估計&的收斂。如果收斂檢驗單元2720確認逆濾波器估計^:'的當 前值偏離其前一值不小於一定的預定量，那麼收斂檢驗單元2720識別 出還未獲得逆濾波器估計^的收斂。
作為修改有可能的是當迭代次數達到一定的預定值時終止所述迭 代過程。即，收斂檢驗單元2720已經確認迭代次數達到一定的預定值， 那麼收斂檢驗單元2720識別出已經獲得逆濾波器估計^'的收斂。如果 收斂檢驗單元2720已經確認已經獲得逆濾波器估計的收斂，那麼收 斂檢驗單元2720將逆濾波器估計&'作為第一輸出提供給逆濾波器應用 單元5000。如果收斂檢驗單元2720已經確定還未獲得逆濾波器估計&' 的收斂，那麼收斂檢驗單元2720將逆濾波器估計^，作為第二輸出提供 給濾波單元2500。
濾波單元2500與長時傅立葉變換單元2100和收斂檢驗單元2720 協作。濾波單元25G0;故適配用於從長時傅立葉變換單元2100接收觀測 信號""'。濾波單元2500還被適配用於從收斂檢驗單元2720接收逆濾 波器估計&'。濾波單元2500還被適配用於將觀測信號巧，i'，應用於逆濾波 器估計^t'以產生濾波源信號估計。
用於將觀測信號應用於逆濾波器估計A'的濾波過程的典型實例 可以包括但不限於計算觀測信號^，*.和逆濾波器^計^的乘積環—;,r。在 這種情況下，通過觀測信號A，ft，和逆濾波器估計巧"的乘積^""'來給定濾 波源信號估計^'。
LTFS到STFS變換單元2600與濾波單元2500協作。LTFS到STFS 變換單元2600被適配用於從濾波單元2500接收濾波源信號估計Sy。 LTFS到STFS變換單元2600進一步被適配用於執行濾波源信號估計&到 變換後的濾波源信號估計《二的LTFS到STFS變換。當濾波過程是計算 觀測信號^*'和逆濾波器估計^'的乘積％.^.時，LTFS到STFS變換單元 2600進一步被適配用於執行乘積^""'到變換後的信號LS^fe'x"'it的LTFS 到STFS變換。在這種情況下，乘積巧'&'表示濾波源信號估計^'以及變 換後的信號ls"^，U表示變換後的濾波源信號估計《麼。
源信號估計單元2710與LTFS到STFS變換單元2600、短時傅立葉 變換單元2800、以及初始化單元IOOO協作。源信號估計單元2710被適 配用於從LTFS到STFS變換單元2 6 0 0接收變換後的濾波源信號估計。源信號估計單元2710還#:適配用於從初始化單元1000接收表示源信號
不確定性的第一方差"&以及表示聲學環境不確定性的第二方差^ 。源
信號估計單元271Q還被適配用於從短時傅立葉變換單元28G0接收初始 源信號估計舒-。源信號估計單元2710還被適配用於基於變換後的濾波 源信號估計《i、表示源信號不確定性的第一方差0^、表示聲學環境不 確定性的第二方差《以及初始源信號估計苟3 ^估計源信號Sff *',其中根 據上述方程(15 )進行所述估計。
STFS到LTFS變換單元2300與源信號估計單元2710協作。STFS到 LTFS變換單元2300被適配用於從源信號估計單元2710接收源信號估計 Sgh STFS到LTFS變換單元2300被適配用於執行源信號估計《麼到變換 後的源信號估計5t，的STFS到LTFS變換。
在迭代操作的隨後步驟中，更新單元2200從STFS到LTFS變換單 元2300接收源信號估計7"'，並且用源信號估計《，代替fe，i.以及發送更 新的源信號估計《'給逆濾波器估計單元2400。在迭代的初始步驟中，更 新的源信號估計4是從長時傅立葉變換羊元"00提供的fe,t,。在迭代的 第二或隨後步驟中，更新的源信號估計^是H。
將參考圖13描述似然最大化單元2000-1的操作。
在迭代的初始步驟中，提供數位化波形觀測信號x[n]給長時傅立葉 變換單元2100。長時傅立葉變換單元2100執行長時傅立葉變換以便將 數位化波形觀測信號x[n]變換成變換後的觀測信號巧』'作為長期傅立葉 頻譜(LTFS)。將數位化波形初始源信號估計《》]從初始化單元IOOO提 供給短時傅立葉變換單元28QG和長時傅立葉變換單元2900。短時傅立 葉變換單元2800執行短時傅立葉變換以便將數位化波形初始源信號估 計4"變換成初始源信號估計《"。長時傅立葉變換單元2900執行長時 傅立葉變換以便將數位化波形初始源信號估計*變換成初始源信號估 計。
從長時傅立葉變換單元2900提供初始源信號估計^'給更新單元 2200。更新單元2200用源信號估計《'代替初始源信號估計fc.i.。然後將 初始源信號估計^-fei4'從更新單元2200提供給逆濾波器估計單元 2400。從長時傅立葉變換單元21GQ提供觀測信號x議給逆濾波器估計單 元2400。從初始化單元1000提供表示聲學環境不確定性的第二方差7沒 給逆濾波器估計單元2400。逆濾波器估計單元240G基於觀測信號i'a'、初始源信號估計《'、和表示聲學環境不確定性的第二方差W 計算逆濾
波器估計^',其中根據上述方程(12)進行所述計算。
從逆濾波器估計單元2400提供逆濾波器估計&.給收斂檢驗單元 2720。收斂4企驗單元2720進行迭代過程的收斂狀態的確定。例如，通 過比較當前已經被估計的逆濾波器估計％.的當前值與之前已經被估計 的逆濾波器估計&'的前一值來進行所述確定。收斂檢驗單元2720檢驗 是否當前值偏離前一值小於一定的預定量。如果收斂檢驗單元2720確 認逆濾波器估計A,的當前值偏離其前一值小於一定的預定量，那麼收斂 檢驗單元2720識別出已經獲得逆濾波器估計A,的收斂。如果收斂檢驗 單元2720確認逆濾波器估計&的當前值偏離其前一值不小於一定的預 定量，那麼收斂檢驗單元2720識別出還未獲得逆濾波器估計^'的收斂。
如果已經獲得逆濾波器估計A,的收斂，那麼從收斂檢驗單元2720 提供逆濾波器估計^給逆濾波器應用單元5000。如果還未獲得逆濾波器 估計逸'的收斂，那麼從收斂檢驗單元2720提供逆濾波器估計巧'給濾波 單元2500。觀測信號^.*'進一步從長時傅立葉變換單元2100被提供給濾 波單元2500。濾波單元2500將逆濾波器估計諑應用於觀測信號"^以產 生濾波源信號估計。用於將觀測信號應用於逆濾波器估計的濾 波過程的典型實例可以是計算觀測信號和逆濾波器估計^的乘積 iA"U，。在這種情況下，通過觀測信號"W和逆濾波器估計的乘積迅^V 來給定濾波源信號估計5^ 。
從濾波單元2500提供濾波源信號估計^'給LTFS到STFS變換單元 2600。 LTFS到STFS變換單元2600執行LTFS到STFS變換以便將濾波源 信號估計'1''變換成變換後的濾多源信號估計5& 。當所述濾波過程是計 算觀測信號巧^'和逆濾波器估計^'的乘積&"w時，該乘積^""'被變換成 變換後的信號^"tfe U。
從LTFS到STFS變換單元2600提供變換後的濾波源信號估計《^給 源信號估計單元2710。從初始化單元1000提供表示源信號不確定性的 笫一方差《^和表示聲學環境不確定性的第二方差°§給源信號估計單 元2710。從短時傅立葉變換單元2800提供初始源信號估計斧^給源信號 估計單元2710。源信號估計單元2710基於變換後的濾波源信號估計苟丄、 表示源信號不確定性的第一方差<、和表示聲學環境不確定性的笫二 方差力〗以及初始源信號估計5&計算源信號估計,其中根據上述方程(15)進行所述估計。
從源信號估計單元2710提供源信號估計？&給STFS到LTFS變換單 元2300以便將源信號估計苟^變換成變換後的源信號估計^:'。從STFS 到LTFS變換單元2300提供所述變換後的源信號估計《f給更新單元 2200。更新單元2200用源信號估計^代替變換後的源信號估計H。從 更新單元2200提供更新的源信號估計&給逆濾波器估計單元2400。
在迭代的第二或隨後步驟中，從更新單元"00提供源信號估計 ^-fci給逆濾波器估計單元2400。還將觀測信號^t'從長時傅立葉變換 單元21GG提供給逆濾波器估計單元2400。從初始化單元1Q00提供表示 聲學環境不確定性的第二方差^S給逆濾波器估計單元2400。逆濾波器 估計單元2400基於觀測信號、,、更新的源信號估計&H^i、和表示聲 學環境不確定性的第二方差<計算更新的逆濾波器估計^',其中根據上 述方程(12)進行所述計算。
從逆濾波器估計單元2400提供更新的逆濾波器估計％給收斂檢驗 單元2720。收斂檢驗單元2720進行對迭代過程的收斂狀態的確定。
上述迭代過程將被繼續，直到收斂檢^r單元2720已經確認逆濾波 器估計&，的收斂已經被獲得為止。
圖14是圖示在圖12中所示的逆濾波器應用單元5000的配置的方 框圖。逆濾波器應用單元5000的典型實例可以包括但不限於逆長時傅 立葉變換單元5100和巻積單元5200。逆長時傅立葉變換單元MOO與似 然最大化單元2000-1協作。逆長時傅立葉變^單元MOO被適配用於從 似然最大化單元2Q00-1接收逆濾波器估計^'。長時傅立葉變換單元 5100進一步被適配用於執行逆濾波器估計&"到數位化波形逆濾波器估 計 〗的逆長時傅立葉變換。
巻積單元5200與逆長時傅立葉變換單元5100協作。巻積單元"00 被適配用於從逆長時傅立葉變換單元5100接收數位化波形逆濾波器估 計4 j。巻積單元5200還^皮適配用於接收數位化波形觀測信號x[n]。巻 積單元5200還淨皮適配用於^丸行巻積過程以將數位化波形觀測信號x[n] 與數位化波形逆濾波器估計對"]進行巻積以產生恢復後的數位化波形源 信號估計刷=E^ -作為去混響的信號。
圖15是圖示在圖12中所示的逆濾波器應用單元5000的配置的方 框圖。逆濾波器應用單元5000的典型實例可以包括^f旦不限於長時傅立葉變換單元5300、濾波單元5400、以及逆長時傅立葉變換單元5500。 長時傅立葉變換單元5300被適配用於接收數位化波形觀測信號x[n]。 長時傅立葉變換單元5300被適配用於執行數位化波形觀測信號x[n]到 變換後的觀測信號&的長時傅立葉變換。
濾波單元5400與長時傅立葉變換單元5300和似然最大化單元 2000-1協作。濾波單元5400:故適配用於從長時傅立葉變換單元53G0接 收變換後的觀測信號^'。濾波單元5400還被適配用於從似然最大化單 元2000-1接收逆濾波器估計&。濾波單元5400進一步被適配用於將逆 濾波器估計^應用於變換後的觀測信號以產生濾波源信號估計 al'V。將逆濾波器估計 應用於變換後的觀測信號X/,可以通過將每 個幀中的變換後的觀測信號^"'乘以逆濾波器估計^'來進行。 .、逆長時傅立葉變換單元5:00與濾波單元、540:協:。逆長時，立p:
長時傅立葉變換單元5500被適配用於執行濾波源信號估計^^到作為去 混響的信號的濾波數位化波形源信號估計？ ["l的逆長時傅立葉變換。
試驗
藉助於確認本方法的性能執行了簡單的試驗。如由Tomohiro Nakatani和Masato Miyoshi 的 "Blind dereverberation of single channel speech signal based on harmonic struture'， ( Proc. ICASSP -2003, vol.1,第92 - 95頁，2003年4月)詳細公開的，以0. 1秒、 0. 2秒、0. 5秒、和1. 0秒的RT60時間採用了單詞話語(word utterances ) 的相同的源信號以及相同的脈衝響應。通過將源信號與脈沖響應進行巻 積來合成觀測信號。準備了與用於HERB和SBD相同的兩種類型的初始
源信號估計，即苟二 =巧>&》和苟:1-對4^.}，其中瑪')和^'》分別是用於
HERB的諧波濾波器和用於SBD的噪聲減小濾波器。相對於發聲量度W t 確定源信號不確定性，其中該發聲量度和HERB —起被用於判定觀測信 號的每個短時間幀的語音狀態。根據該量度，當對於固定的閾值5， ^>3時，幀被確定為有聲(voiced)。特別是，<$在試驗中被確定為<T"r〉 一<
'4^^^} if化,附> S並且A是諧波頻率，
if'W m > 5並且fc不是諧波頻率,
00
(17)
其中G~是被定義成G~ - 的非線性歸 一化函數。另 一方面，g被 設置成常量值l。結果，當G^中的u從O移動到1時，上述方程(15) 中的衫^的權重變成從0到1變化的S形函數。對於每個試"瞼，EM步驟 被迭代了四次。另外，還引入了具有反饋迴路的重複估計方案。採用對 應於42ms的K"^504、對應於10. 9s的〖=130800、對應於lms的t = 12、 以及12kHz採樣頻率作為分析條件。
能量衰減曲線
圖12A到12H顯示使用女人和男人所說的IOO單詞觀測信號在利用 和不利用EM算法的情況下室內脈衝響應和通過HERB和SBD去混響的脈 衝響應的能量衰減曲線。圖12A圖示當女人說話時在RT60=1. 0秒的能 量衰減曲線。圖12B圖示當女人說話時在RT60=0. 5秒的能量衰減曲線。 圖12C圖示當女人說話時在RT60=0. 2秒的能量衰減曲線。圖12D圖示 當女人說話時在RT60=0. 1秒的能量衰減曲線。圖12E圖示當男人說話 時在RT604. O秒的能量衰減曲線。圖12F圖示當男人說話時在RT60-0. 5 秒的能量衰減曲線。圖12G圖示當男人說話時在RT60=0. 2秒的能量衰 減曲線。圖12H圖示當男人說話時在RT60=0. 1秒的能量衰減曲線。圖 12A到12H清楚地表明EM算法能夠利用HERB和SBD有效地減小混響能 量。
相應地，如上所述，本發明的一個方面針對新的去混響方法，其中 源信號和室內聲學的特徵藉助高斯概率密度函數(pdf )來表示，以及 源信號被估計為最大化基於這些概率密度函數(pdf)所定義的似然函 數的信號。迭代優化算法被用於有效地解決這種優化問題。試驗結果顯 示出就去混響脈衝響應的能量衰減曲線而言，本方法能夠大大地提高基 於語音信號特徵的兩種去混響方法、即HERB和SBD的性能。由於HERB 和SBD在提高在混響環境中捕獲的語音信號的ASR性能方面是有效的， 所以本方法能夠利用較少的觀測信號提高性能。儘管以上已經描述和圖示了本發明的優選實施例，但是應該理解這 些優選實施例是本發明的示例並且不應被認為是限制性的。在不背離本 發明的精神或範圍的情況下能夠進行添加、省略、替換、和其他修改。 因此，本發明不應該被認為是受上述描述限制，而是僅僅受所附的權利 要求書的範圍限制。
權利要求
1. 一種語音去混響設備，包括確定最大化似然函數的源信號估計的似然最大化單元，其中參考觀測信號、初始源信號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性的第二方差進行所述確定。
2. 根據權利要求1所述的語音去混響設備，其中所述似然函數基 於根據未知參數、丟失數據的笫一隨機變量、和觀測數據的第二隨機變 量所評估的概率密度函數被定義，其中參考源信號估計來定義所述未知 參數，丟失數據的第一隨機變量表示室內傳遞函數的逆濾波器，以及參 考觀測信號和初始源信號估計來定義觀測數據的第二隨機變量。
3. 根據權利要求2所述的語音去混響設備，其中所述似然最大化 單元使用迭代優化算法來確定源信號估計。
4. 根據權利要求3所述的語音去混響設備，其中所述迭代優化算 法是期望最大化算法。
5. 根據權利要求1所述的語音去混響設備，其中所述似然最大化 單元進一步包括逆濾波器估計單元，其參考觀測信號、第二方差、以及初始源信號 估計和更新的源信號估計之一來計算逆濾波器估計；濾波單元，其將逆濾波器估計應用於觀測信號並產生濾波信號；源信號估計和收斂檢驗單元，其參考初始源信號估計、第一方差、 第二方差、和濾波信號來計算源信號估計，所述源信號估計和收斂檢驗 單元進一 步確定是否源信號估計的收斂被獲得，如果源信號估計的收斂 被獲得，所述源信號估計和收斂檢驗單元進一步輸出源信號估計作為去 混響的信號；以及更新單元，其將所述源信號估計更新為更新的源信號估計，如果源 信號估計的收斂未被獲得，所述更新單元進一步提供更新的源信號估計 給逆濾波器估計單元，以及所述更新單元在初始更新步驟中進一步提供 所述初始源信號估計給逆濾波器估計單元。
6. 根據權利要求5所述的語音去混響設備，其中所述似然最大化 單元進一步包括第一長時傅立葉變換單元，其執行波形觀測信號到變換後的觀測信 號的第一長時傅立葉變換，該第一長時傅立葉變換單元進一步將變換後的觀測信號作為觀測信號提供給逆濾波器估計單元和濾波單元；LTFS到STFS變換單元，其執行濾波信號到變換後的濾波信號的LTFS到STFS變換，該LTFS到STFS變換單元進一步將變換後的濾波信號作為濾波信號提供給源信號估計和收斂檢驗單元；STFS到LTFS變換單元，其執行源信號估計到變換後的源信號估計的STFS到LTFS變換，如果源信號估計的收斂未^皮獲得，該STFS到LTFS變換單元進一步將變換後的源信號估計作為源信號估計提供給更新單元；第二長時傅立葉變換單元，其執行波形初始源信號估計到第一變換 初始源信號估計的第二長時傅立葉變換，該第二長時傅立葉變換進一步 將第一變換初始源信號估計作為初始源信號估計提供給更新單元；以及短時傅立葉變換單元，其執行波形初始源信號估計到第二變換初始 源信號估計的短時傅立葉變換，該短時傅立葉變換單元進一步將第二變 換初始源信號估計作為初始源信號估計提供給源信號估計和收斂檢驗 單元。
7. 根據權利要求1所述的語音去混響設備，進一步包括執行源信號估計到波形源信號估計的逆短時傅立葉變換的逆短時 4專立葉變4灸單元。
8. 根據權利要求1所述的語音去混響設備，進一步包括 基於觀測信號產生初始源信號估計、第一方差、和第二方差的初始化單元。
9. 根據權利要求8所述的語音去混響設備，其中所述初始化單元 進一步包括基頻估計單元，其估計來自變換後的信號的每個短時間幀的基頻和 發聲量度，其中通過觀測信號的短時傅立葉變換來給定所述變換後的信 號；以及源信號不確定性確定單元，其基於所述基頻和發聲量度確定第一方差。
10. 根據權利要求1所述的語音去混響設備，進一步包括 初始化單元，其基於觀測信號產生初始源信號估計、第一方差、和第二方差；和收斂檢驗單元，其從似然最大化單元接收源信號估計，該收斂檢驗單元確定是否源信號估計的收斂被獲得，如果獲得源信號估計的收斂， 則所述收斂檢驗單元進一步輸出源信號估計作為去混響的信號，並且如 果未獲得源信號估計的收斂，則所述收斂檢驗單元進一步提供源信號估 計給初始化單元以使初始化單元能夠基於該源信號估計產生初始源信 號估計、第一方差、和第二方差。
11. 根據權利要求10所述的語音去混響設備，其中所述初始化單元進一步包括第二短時傅立葉變換單元，其執行觀測信號到第 一變換觀測信號的第二短時傅立葉變換；第 一選擇單元，其執行第 一選擇操作以產生第 一選擇輸出以及第二 選擇操作以產生第二選擇輸出，第一和笫二選擇操作是相互獨立的，當所述第一選擇單元接收第一變換觀測信號的輸入而不接收源信號估計 的任何輸入時，第 一選擇操作用於選擇第 一變換觀測信號作為第 一選擇 輸出，而當所述第一選擇單元接收第一變換觀測信號和源信號估計的輸 入時，第 一選擇操作用於選擇第 一 變換觀測信號和源信號估計之一作為 第一選擇輸出，當所述第 一選擇單元接收第 一變換觀測信號的輸入而不 接收源信號估計的任何輸入時，第二選擇操作用於選擇第 一 變換觀測信 號作為第二選擇輸出，而當所述第 一選擇單元接收第 一變換觀測信號和 源信號估計的輸入時，第二選擇操作用於選擇第 一變換觀測信號和源信 號估計之一作為第二選擇輸出；基頻估計單元，其接收第二選擇輸出並估計來自第二選擇輸出的每 個短時間幀的基頻和發聲量度；以及自適應諧波濾波單元，其接收第一選擇輸出、基頻和發聲量度，該 自適應諧波濾波單元基於基頻和發聲量度增強第 一選擇輸出的諧波結 構以產生初始源信號估計。
12. 根據權利要求10所述的語音去混響設備，其中所述初始化單 元進一步包括第三短時傅立葉變換單元，其執行觀測信號到第二變換觀測信號的 第三短時傅立葉變換；第二選擇單元，其執行笫三選擇操作以產生第三選擇輸出，當所迷 第二選擇單元接收第二變換觀測信號的輸入而不接收源信號估計的任 何輸入時，第三選擇操作用於選擇第二變換觀測信號作為第三選擇輸出，而當所述第二選擇單元接收第二變換觀測信號和源信號估計的輸入 時，第三選擇操作用於選擇第二變換觀測信號和源信號估計之一作為第三選擇輸出；基頻估計單元，其接收第三選擇輸出並估計來自第三選擇輸出的每 個短時間幀的基頻和發聲量度；以及源信號不確定性確定單元，其基於基頻和發聲量度確定第一方差。
13. 根據權利要求10所述的語音去混響設備，進一步包括 逆短時傅立葉變換單元，如果獲得源信號估計的收斂，則所述逆短時傅立葉變換單元執行源信號估計到波形源信號估計的逆短時傅立葉 變換。
14. 一種語音去混響設備，包括確定最大化似然函數的逆濾波器估計的似然最大化單元，其中參考 觀測信號、初始源信號估計、表示源信號不確定性的第一方差、和表示 聲學環境不確定性的第二方差進行所述確定。
15. 根據權利要求14所述的語音去混響設備，其中所述似然函數 基於根據第一未知參數、第二未知參數、以及觀測數據的第一隨機變量 所評估的概率密度函數被定義，其中參考源信號估計來定義第一未知參 數，參考室內傳遞函數的逆濾波器來定義第二未知參數，參考觀測信號 和初始源信號估計來定義觀測數據的第一隨機變量，逆濾波器估計是室 內傳遞函數的逆濾波器的估計。
16. 根據權利要求15所述的語音去混響設備，其中所述似然最大 化單元使用迭代優化算法來確定逆濾波器估計。
17. 根據權利要求14所述的語音去混響設備，進一步包括將逆濾波器估計應用於觀測信號並產生源信號估計的逆濾波器應 用單元。
18. 根據權利要求17所述的語音去混響設備，其中所述逆濾波器 估計應用單元進一步包括第一逆長時傅立葉變換單元，其執行逆濾波器估計到變換後的逆濾波器估計的笫一逆長時傅立葉變換；以及巻積單元，其接收變換後的逆濾波器估計和觀測信號，以及將觀測 信號與變換後的逆濾波器估計進行巻積以產生源信號估計。
19. 根據權利要求17所述的語音去混響設備，其中所述逆濾波器應用單元進一步包括第 一長時傅立葉變換單元，其執行觀測信號到變換後的觀測信號的 第一長時傅立葉變換；第一濾波單元，其將逆濾波器估計應用於變換後的觀測信號，以及 產生濾波源信號估計；和第二逆長時傅立葉變換單元，其執行濾波源信號估計到源信號估計 的第二逆長時傅立葉變換。
20. 根據權利要求14所述的語音去混響設備，其中所述似然最大 化單元進一步包括逆濾波器估計單元，其參考觀測信號、第二方差、以及初始源信號 估計和更新的源信號估計之一計算逆濾波器估計；收斂檢驗單元，其確定是否逆濾波器估計的收斂被獲得，如果獲得 源信號估計的收斂，該收斂檢驗單元進一步輸出逆濾波器估計作為將要 對所述觀測信號進行去混響的濾波器，濾波單元，如果未獲得源信號估計的收斂，該濾波單元從所述收斂 檢驗單元接收逆濾波器估計，該濾波單元進一步將逆濾波器估計應用於 觀測信號並產生濾波信號；源信號估計單元，其參考初始源信號估計、第一方差、第二方差、 和濾波信號計算源信號估計；更新單元，其將源信號估計更新為更新的源信號估計，該更新單元 進一步在初始更新步驟中提供初始源信號估計給逆濾波器估計單元，該 更新單元進一步在除初始更新步驟之外的更新步驟中提供更新的源信 號估計給逆濾波器估計單元。
21. 根據權利要求20所述的語音去混響設備，其中所述似然最大 化單元進一步包括第二長時傅立葉變換單元，其執行波形觀測信號到變換後的觀測信 號的第二長時傅立葉變換，該第二長時傅立葉變換單元進一步將變換後 的觀效'J信號作為觀觀'j信號提供給逆濾波器估計單元和濾波單元；LTFS到STFS變換單元，其執行濾波信號到變換後的濾波信號的 LTFS到STFS變換，該LTFS到STFS變換單元進一步將變換後的濾波信 號作為濾波信號提供給源信號估計單元；STFS到LTFS變換單元，其執行源信號估計到變換後的源信號估計的STFS到LTFS變換，該STFS到LTFS變換單元進一步將變換後的源信 號估計作為源信號估計提供給更新單元；第三長時傅立葉變換單元，其執行波形初始源信號估計到第 一 變換 初始源信號估計的第三長時傅立葉變換，該第三長時傅立葉變換單元進一步將笫一變換初始源信號估計作為初始源信號估計提供給更新單元； 以及短時傅立葉變換單元，其執行波形初始源信號估計到第二變換初始 源信號估計的短時傅立葉變換，該短時傅立葉變換單元進一步將第二變 換初始源信號估計作為初始源信號估計提供給源信號估計單元。
22. 根據權利要求14所述的語音去混響設備，進一步包括 基於觀測信號產生初始源信號估計、第一方差、和第二方差的初始化單元。
23. 根據權利要求22所述的語音去混響設備，其中所述初始化單 元進一步包括基頻估計單元，其估計來自變換後的信號的每個短時間幀的基頻和 發聲量度，其中通過觀測信號的短時傅立葉變換來給定所述變換後的信 號；以及源信號不確定性確定單元，其基於基頻和發聲量度確定第一方差。
24. —種語音去混響方法，包括確定最大化似然函數的源信號估計，其中參考觀測信號、初始源信 號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性的 第二方差進行所述確定。
25. 根據權利要求24所述的語音去混響方法，其中所述似然函數 基於根據未知參數、丟失數據的第一隨機變量、和觀測數據的第二隨機 變量所評估的概率密度函數被定義，其中參考源信號估計來定義未知參 數，丟失數據的第一隨機變量表示室內傳遞函數的逆濾波器，參考觀測 信號和初始源信號估計來定義觀測數據的第二隨機變量。
26. 根據權利要求25所述的語音去混響方法，其中使用迭代優化 算法來確定源信號估計。
27. 根據權利要求26所述的語音去混響方法，其中所述迭代優化 算法是期望最大化算法。
28. 根據權利要求24所述的語音去混響方法，其中確定源信號估計進一步包括參考觀測信號、第二方差、以及初始源信號估計和更新的源信號估計之一計算逆濾波器估計；將逆濾波器估計應用於觀測信號，以產生濾波信號； 參考初始源信號估計、第一方差、第二方差、和濾波信號計算源信號估計；確定是否源信號估計的收斂被獲得；如果獲得源信號估計的收斂，U 'J輸出源信號估計作為去混響的信 號；以及如果未獲得源信號估計的收斂，則將源信號估計更新為更新的源信 號估計。
29. 根據權利要求28所述的語音去混響方法，其中確定源信號估 計進一步包括執行波形觀測信號到變換後的觀測信號的第一長時傅立葉變換；執行濾波信號到變換後的濾波信號的LTFS到STFS變換；如果未獲得源信號估計的收斂，執行源信號估計到變換後的源信號估計的STFS到LTFS變換；執行波形初始源信號估計到第一變換初始源信號估計的第二長時傅立葉變換；以及執行波形初始源信號估計到第二變換初始源信號估計的短時傅立葉變換。
30. 根據權利要求24所述的語音去混響方法，進一步包括 執行源信號估計至ij波形源信號估計的逆短時傅立葉變換。
31. 根據權利要求24所述的語音去混響方法，進一步包括 基於觀測信號產生初始源信號估計、第一方差、和第二方差。
32. 根據權利要求31所述的語音去混響方法，其中產生初始源信 號估計、第一方差、和第二方差進一步包括估計來自變換後的信號的每個短時間幀的基頻和發聲量度，其中通 過觀測信號的短時傅立葉變換來給定所述變換後的信號；以及 基於所述基頻和發聲量度確定第一方差。
33. 根據權利要求24所述的語音去混響方法，進一步包括 基於觀測信號產生初始源信號估計、第一方差、和第二方差；確定是否源信號估計的收斂被獲得；如果獲得源信號估計的收斂，則輸出源信號估計作為去混響的信號；以及如果未獲得源信號估計的收斂，則返回到產生初始源信號估計、第 一方差、和第二方差。
34. 根據權利要求33所述的語音去混響方法，其中產生初始源信 號估計、第一方差、和第二方差進一步包括執行觀測信號到第 一 變換觀測信號的第二短時傅立葉變換； 執行第 一選擇操作以產生第 一選擇輸出，當接收第 一變換觀測信號 的輸入而不接收源信號估計的任何輸入時，第 一選擇操作用於選擇第一 變換觀測信號作為第一選擇輸出，當接收第一變換觀測信號和源信號估 計的輸入時，第一選擇操作用於選擇第一變換觀測信號和源信號估計之 一作為第一選擇輸出；執行第二選擇操作以產生第二選擇輸出，當接收第 一變換觀測信號 的輸入而不接收源信號估計的任何輸入時，第二選擇操作用於選擇第一 變換觀測信號作為第二選擇輸出，當接收第 一 變換觀測信號和源信號估 計的輸入時，第二選擇操作用於選擇第一變換觀測信號和源信號估計之 一作為第二選擇輸出；估計來自第二選擇輸出的每個短時間幀的基頻和發聲量度；以及 基於基頻和發聲量度增強第 一 選擇輸出的諧波結構以產生初始源 信號估計。
35. 根據權利要求33所述的語音去混響方法，其中產生初始源信 號估計、第一方差、和第二方差進一步包括執行觀測信號到第二變換觀測信號的第三短時傅立葉變換；執行第三選擇操作以產生第三選擇輸出，當接收第二變換觀測信號 的輸入而不接收源信號估計的任何輸入時，第三選擇操作用於選擇第二 變換觀測信號作為第三選擇輸出，當接收第二變換觀測信號和源信號估 計的輸入時，第三選擇操作用於選擇第二變換觀測信號和源信號估計之 一作為第三選擇輸出；估計來自第三選擇輸出的每個短時間幀的基頻和發聲量度；以及基於所述基頻和發聲量度確定第一方差。
36. 根據權利要求33所述的語音去混響方法，進一步包括如果獲得源信號估計的收斂，則執行源信號估計到波形源信號估計 的逆4豆時〗專立葉變^灸。
37. —種語音去混響方法，包括確定最大化似然函數的逆濾波器估計，其中參考觀測信號、初始源 信號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性 的第二方差進行所述確定。
38. 根據權利要求37所述的語音去混響方法，其中所述似然函數 基於根據第一未知參數、笫二未知參數、和觀測數據的第一隨機變量所 評估的概率密度函數被定義，其中參考源信號估計來定義第一未知參 數，參考室內傳遞函數的逆濾波器來定義第二未知參數，以及參考觀測 信號和初始源信號估計來定義觀測數據的第一隨機變量，所述逆濾波器 估計是室內傳遞函數的逆濾波器的估計。
39. 根據權利要求38所述的語音去混響方法，其中使用迭代優化 算法來確定逆濾波器估計。
40. 根據權利要求37所迷的語音去混響方法，進一步包括 將逆濾波器估計應用於觀測信號以產生源信號估計。
41. 根據權利要求40所述的語音去混響方法，其中將逆濾波器估 計應用於觀測信號進一步包括執行逆濾波器估計到變換後的逆濾波器估計的第一逆長時傅立葉 變換；以及將觀測信號與變換後的逆濾波器估計進行巻積以產生源信號估計。
42. 根據權利要求40所述的語音去混響方法，其中將逆濾波器估計 應用於觀測信號進一步包括執行觀測信號到變換後的觀測信號的第一長時傅立葉變換； 將逆濾波器估計應用於變換後的觀測信號以產生濾波源信號估計；以及執行濾波源信號估計到源信號估計的第二逆長時傅立葉變換。
43. 根據權利要求37所述的語音去混響方法，其中確定逆濾波器 估計進一步包括參考觀測信號、第二方差、以及初始源信號估計和更新的源信號估 計之一計算逆濾波器估計；確定是否逆濾波器估計的收斂被獲得；如果獲得源信號估計的收斂，則輸出逆濾波器估計作為將要對所述 觀測信號進行去混響的濾波器；如果未獲得源信號估計的收斂，則將逆濾波器估計應用於觀測信號以產生濾波信號；參考初始源信號估計、第一方差、第二方差、和濾波信號計算源信 號估計；以及將源信號估計更新為更新的源信號估計。
44. 根據權利要求43所述的語音去混響方法，其中確定逆濾波器 估計進一步包括執行波形觀領'H言號到變換後的觀測信號的第二長時傅立葉變換； 執行濾波信號到變換後的濾波信號的LTFS到STFS變換； 執行源信號估計到變換後的源信號估計的STFS到LTFS變換； 執行波形初始源信號估計到第一變換初始源信號估計的第三長時傅立葉變換；以及執行波形初始源信號估計到第二變換初始源信號估計的短時傅立葉變換。
45. 根據權利要求37所述的語音去混響方法，進一步包括 基於觀測信號產生初始源信號估計、第一方差、和第二方差。
46. 根據權利要求45所述的語音去混響方法，其中產生初始源信 號估計、第一方差、和第二方差進一步包括估計來自變換後的信號的每個短時間幀的基頻和發聲量度，其中通 過觀測信號的短時傅立葉變換來給定所述變換後的信號；以及 基於所述基頻和發聲量度確定第一方差。
47. —種程序，該程序要通過計算機來執行以執行語音去混響方法， 該方法包括確定最大化似然函數的源信號估計，其中參考觀測信號、初始源信 號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性的 第二方差進行所述確定。
48. —種程序，該程序要通過計算機來執行以執行語音去混響方法， 該方法包4舌確定最大化似然函數的逆濾波器估計，其中參考觀測信號、初始源 信號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性的笫二方差進行所述確定。
49. 一種存儲介質，其存儲要通過計算機來執行以執行語音去混響 方法的程序，該方法包4舌確定最大化似然函數的源信號估計，其中參考觀測信號、初始源信 號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性的 第二方差進行所述確定。
50. —種存儲介質，其存儲要通過計算機來執行以執行語音去混響 方法的程序，該方法包括確定最大化似然函數的逆濾波器估計，其中參考觀測信號、初始源 信號估計、表示源信號不確定性的第一方差、和表示聲學環境不確定性 的第二方差進行所述確定。
全文摘要
通過接受用於初始化(1000)的觀測信號以及執行包括傅立葉變換(4000)的似然最大化(2000)來實現語音去混響。
文檔編號G10L21/02GK101416237SQ200680054124
公開日2009年4月22日 申請日期2006年5月1日 優先權日2006年5月1日
發明者中谷智廣, 莊炳湟 申請人:日本電信電話株式會社;喬治亞科技研究公司