基於自然言語理解的語音情感識別方法
2023-12-05 04:29:31 1
專利名稱：基於自然言語理解的語音情感識別方法
技術領域：
本發明屬於語音情感識別技術領域。具體涉及一種基於自然言語理解的語音情感識別方法。
背景技術：
隨著計算機網絡通信技術和多媒體技術的飛速發展，人機互動技術已逐步成為人工智慧領域一個非常重要的方面，尤其是數字娛樂的興起、智能家電的逐步普及以及計算 機的日趨泛化，使得人機互動的自然性與智能性顯得很重要。而情感信息的處理是提高人機互動能力的一個重要課題，因此如何提高人機互動中語音情感識別技術對用戶的情緒狀態變化的適應能力日益迫切，使用戶帶有情感的語音信息能夠被計算機正確地識別，進而提高人機互動的自然性與智能性。語音情感識別是一項通過對語音信號的感知和分析，剝離出情感表達的聲學特徵，進而識別出說話者所處的情感狀態的技術。近十幾年來，語音情感識別技術已取得一定的發展，但仍面臨一個巨大的挑戰怎樣讓計算機更好的理解語音中的情感信息。語音情感信號的多樣性導致情感類型的劃分不一致，由於人類的情感是相當複雜的，不同文化背景中的不同情感所代表的意思也很多樣化。目前情感語音庫的建立(林奕琳，韋崗，楊康才.語音情感識別的研究進展.電路與系統學報，2007年第12卷第I期)主要是通過專業錄音演員模擬的情感語音，但是這種模擬的情感語音不能真實、準確地反映普通人在某種情感時的真實信息。因此，語音情感識別的自然性有待進一步提高。結合音質特徵和韻律特徵的語音情感識別(張石清，趙知勁，雷必成，楊廣映.結合音質特徵和韻律特徵的語音情感識別.電路與系統學報，2009年第14卷第4期)把語音音質特徵和韻律特徵參數相結合，取得的情感平均正確識別率比單獨使用韻律特徵參數要高，但卻沒有考慮到說話者的講話內容，情感語音中語音與情感特徵的關聯度不高，導致不能對語音情感信號進行整體的理解。綜上所述，現有語音情感識別中存在以下問題語音情感識別的自然性不強；情感語音中語音與情感特徵的關聯度不高，導致不能對語音情感信號進行整體的理解。因此，如何在自然言語理解的基礎上對帶情感的語音信號進行識別，進一步提高計算機識別的自然性和智能性是一個非常值得研究的課題。
發明內容
本發明旨在克服現有技術的缺陷，目的是提供一種基於自然言語理解的語音情感識別方法。該方法不僅對語音情感識別的自然性強，且情感語音中語音與情感特徵的關聯度高，能對語音情感信號進行整體的理解，提高語音情感信號的識別率。為了實現上述目的，本發明採用的技術方案是首先通過麥克風進行語音情感信號採集，對所採集的語音情感信號進行預處理和特徵提取，再通過句法情感分析計算所採集的語音情感信號的失真程度，求出情感特徵向量；然後分別進入訓練階段和識別階段，最後將自然言語理解後的情感特徵向量與情感語音庫中的情感特徵向量進行模式匹配，得出識別結果。所述訓練階段是先採用情感歸類對情感特徵向量進行分類，再進行模型訓練，然後建立情感語音庫；所述識別階段是採用語義分析和語用學分析對情感特徵向量進行自
然言語理解。在上述技術方案中
所述的句法情感分析是通過概率統計分析或分類器融合的方法對特徵提取後的語音情感信號中的情感詞語進行分析。其中概率統計分析是先用聚類分析的統計分析方法或主成分分析的統計分析方 法分析各類特徵提取後的語音情感信號的語音特徵變化情況，再根據語音特徵變化情況計算特徵提取後的語音情感信號的失真程度，求出各類情感特徵向量；分類器融合是先用貝葉斯分類器組合或最大概率類別判別法對各類特徵提取後的語音情感信號的特徵進行數據融合，再根據數據融合的結果計算特徵提取後的語音情感信號的失真程度，求出各類情感特徵向量。所述的情感歸類是基於語法規則的方法或基於情感關鍵詞定位的方法對不同情感關鍵詞的情感特徵向量進行分類。其中基於語法規則的方法是結合輸入的主語、動詞、人稱和時態信息對情感特徵向量進行分類，對分類後的情感特徵向量建立情感語音庫；基於情感關鍵詞定位的方法是根據用戶需要逐個提取與情感關鍵詞相關的特徵詞集，然後根據所提取的特徵詞集計算兩兩的句內共現率，最後選擇權重最大的特徵詞作為所需要的關鍵詞。所述的自然言語理解是通過語義分析和語用學分析對各類情感特徵向量進行自然目語理解。其中語義分析是先從語義層次對根據句法情感分析所獲得的各類情感特徵向量進行分析，將用戶的需求用計算機可理解的形式描述出來，再設定含語義信息的詞語的權重值，然後將用戶興趣主題與設定的權重值進行匹配計算；語用學分析是根據句法情感分析所獲得的各類情感特徵向量從語境層對特徵提取後的語音情感信號進行自然言語理解，依據語用學規則，根據上下文語境判斷語音情感的變化。由於採用上述技術方案，本發明全面考慮了語音情感識別中語義和情感之間的聯繫，從模型和言語兩個層面應對情感變化引起的語音變化，增強對帶有情感詞彙的語音信號的識別能力。模型層面對情感變化規律採用情感歸類對情感特徵向量進行分類，通過情感的分類降低了情感語音庫建立的複雜度；言語層面通過語義分析和語用學分析的手段，將語音情感特徵向量進行自然言語理解，提高了情感語音中語音與情感特徵的關聯度，實現了對語音情感信號的整體理解，從而提高了對語音情感信號的識別率。因此，本發明不僅對語音情感識別的自然性強，且情感語音中語音與情感特徵的關聯度高，能對語音情感信號進行整體的理解，提高了對語音情感信號的識別率。本發明可廣泛用於人機互動系統、自動遠程電話服務中心、遠程教育和刑事偵查中的測謊儀領域。
圖I是本發明的一種基於自然言語理解的語音情感識別方法框圖。
具體實施例方式下面結合附圖和具體實施例對本發明作進一步的描述
一種基於自然言語理解的語音情感識別方法。該方法如圖I所示首先通過麥克風進行語音情感信號採集，對所採集的語音情感信號進行預處理和特徵提取，預處理包括採樣與量化、預加重、分幀與加窗；特徵提取，包括提取語音持續時間、基音頻率、能量(振幅)的韻律特徵和共振峰參數、MEL頻率倒譜係數的音質特徵。再通過句法情感分析計算所採集的語音情感信號的失真程度，求出情感特徵向量；然後分別進入訓練階段和識別階段，最後將自然言語理解後的情感特徵向量與情感語音庫中的情感特徵向量進行模式匹配，得出識別結果。所述訓練階段是先採用情感歸類對情感特徵向量進行分類，再進行模型訓練，然 後建立情感語音庫；所述識別階段是採用語義分析和語用學分析對情感特徵向量進行自
然言語理解。在本具體實施方式
中
所述的句法情感分析是通過概率統計分析或分類器融合的方法對特徵提取後的語音情感信號中的情感詞語進行分析。其中概率統計分析是先用聚類分析的統計分析方法或主成分分析的統計分析方法分析各類特徵提取後的語音情感信號的語音特徵變化情況，再根據語音特徵變化情況計算特徵提取後的語音情感信號的失真程度，求出各類情感特徵向量；分類器融合是先用貝葉斯分類器組合或最大概率類別判別法對各類特徵提取後的語音情感信號的特徵進行數據融合，再根據數據融合的結果計算特徵提取後的語音情感信號的失真程度，求出各類情感特徵向量。所述的情感歸類是基於語法規則的方法或基於情感關鍵詞定位的方法對不同情感關鍵詞的情感特徵向量進行分類。其中基於語法規則的方法是結合輸入的主語、動詞、人稱和時態信息對情感特徵向量進行分類，對分類後的情感特徵向量建立情感語音庫；基於情感關鍵詞定位的方法是根據用戶需要逐個提取與情感關鍵詞相關的特徵詞集，然後根據所提取的特徵詞集計算兩兩的句內共現率，最後選擇權重最大的特徵詞作為所需要的關鍵詞。所述的自然言語理解是通過語義分析和語用學分析對各類情感特徵向量進行自然目語理解。其中語義分析是先從語義層次對根據句法情感分析所獲得的各類情感特徵向量進行分析，將用戶的需求用計算機可理解的形式描述出來，再設定含語義信息的詞語的權重值，然後將用戶興趣主題與設定的權重值進行匹配計算；語用學分析是根據句法情感分析所獲得的各類情感特徵向量從語境層對特徵提取後的語音情感信號進行自然言語理解，依據語用學規則，根據上下文語境判斷語音情感的變化。本發明全面考慮了語音情感識別中語義和情感之間的聯繫，從模型和言語兩個層面應對情感變化引起的語音變化，增強對帶有情感詞彙的語音信號的識別能力。模型層面對情感變化規律採用情感歸類對情感特徵向量進行分類，通過情感的分類降低了情感語音庫建立的複雜度；言語層面通過語義分析和語用學分析的手段，將語音情感特徵向量進行自然言語理解，提高了情感語音中語音與情感特徵的關聯度，實現了對語音情感信號的整體理解，從而提高了對語音情感信號的識別率。因此，本具體實施方式
不僅對語音情感識別的自然性強，且情感語音中語音與情感特徵的關聯度高，能對語音情感信號進行整體的理解，提高了對語音情感信號的識別率。本具體實施方式
可廣泛用於人機互動系統、自動遠程電話服務中心、遠程教育和刑事偵查中的測謊儀領域。
上述實施例用來解釋本發明，而不是對本發明進行限制，在本發明的精神和權利要求的保護範圍內，對本發明做出的任何修改和改變，都落入本發明的保護範圍內。
權利要求
1.一種基於自然言語理解的語音情感識別方法，其特徵在於首先通過麥克風進行語音情感信號採集，對所採集的語音情感信號進行預處理和特徵提取，再通過句法情感分析計算所採集的語音情感信號的失真程度，求出情感特徵向量；然後分別進入訓練階段和識別階段，最後將自然言語理解後的情感特徵向量與情感語音庫中的情感特徵向量進行模式匹配，得出識別結果； 所述訓練階段是先採用情感歸類對情感特徵向量進行分類，再進行模型訓練，然後建立情感語音庫；所述識別階段是採用語義分析和語用學分析對情感特徵向量進行自然言語理解。
2.根據權利要求I所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的句法情感分析是通過概率統計分析或分類器融合的方法對特徵提取後的語音情感信號中的情感詞語進行分析。
3.根據權利要求I所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的情感歸類是基於語法規則的方法或基於情感關鍵詞定位的方法對不同情感關鍵詞的情感特徵向量進行分類。
4.根據權利要求I所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的自然言語理解是通過語義分析和語用學分析對各類情感特徵向量進行自然言語理解。
5.根據權利要求2所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的概率統計分析是先用聚類分析的統計分析方法或主成分分析的統計分析方法分析各類特徵提取後的語音情感信號的語音特徵變化情況，再根據語音特徵變化情況計算特徵提取後的語音情感信號的失真程度，求出各類情感特徵向量。
6.根據權利要求2所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的分類器融合是先用貝葉斯分類器組合或最大概率類別判別法對各類特徵提取後的語音情感信號的特徵進行數據融合，再根據數據融合的結果計算特徵提取後的語音情感信號的失真程度，求出各類情感特徵向量。
7.根據權利要求3所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的基於語法規則的方法是結合輸入的主語、動詞、人稱和時態信息對情感特徵向量進行分類，對分類後的情感特徵向量建立情感語音庫。
8.根據權利要求3所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的基於情感關鍵詞定位的方法是根據用戶需要逐個提取與情感關鍵詞相關的特徵詞集，然後根據所提取的特徵詞集計算兩兩的句內共現率，最後選擇權重最大的特徵詞作為所需要的關鍵詞。
9.根據權利要求4所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的語義分析是先從語義層次對根據句法情感分析所獲得的各類情感特徵向量進行分析，將用戶的需求用計算機可理解的形式描述出來，再設定含語義信息的詞語的權重值，然後將用戶興趣主題與設定的權重值進行匹配計算。
10.根據權利要求4所述的基於自然言語理解的語音情感識別方法，其特徵在於所述的語用學分析是根據句法情感分析所獲得的各類情感特徵向量從語境層對特徵提取後的語音情感信號進行自然言語理解，依據語用學規則，根據上下文語境判斷語音情感的變化。
全文摘要
本發明涉及一種基於自然言語理解的語音情感識別方法。其技術方案是首先通過麥克風進行語音情感信號採集，對所採集的語音情感信號進行預處理和特徵提取，再通過句法情感分析計算所採集的語音情感信號的失真程度，求出情感特徵向量；然後分別進入訓練階段和識別階段，最後將自然言語理解後的情感特徵向量與情感語音庫中的情感特徵向量進行模式匹配，得出識別結果。其中訓練階段是先採用情感歸類對情感特徵向量進行分類，再進行模型訓練，然後建立情感語音庫；識別階段是採用語義分析和語用學分析對情感特徵向量進行自然言語理解。本發明不僅對語音情感識別的自然性強，且能對語音情感信號進行整體的理解，提高了對語音情感信號的識別率。
文檔編號G10L15/02GK102723078SQ201210226989
公開日2012年10月10日 申請日期2012年7月3日 優先權日2012年7月3日
發明者吳懷宇, 杜釗君, 羅鳴 申請人:武漢科技大學