一種基於情感數據場的連續語音情感預測算法
2023-12-05 04:25:26
一種基於情感數據場的連續語音情感預測算法
【專利摘要】本發明公開了一種基於情感數據場的連續語音情感預測算法，首先根據數據場理論，利用情感數據場中勢函數建立不同語音情感特徵向量之間的聯繫；其次，在短時間上選取多個語音情感特徵向量，用群體智能算法在情感數據場中研究各語音情感特徵向量的變化趨勢，將這種變化趨勢作為語音情感的識別結果。實驗表明，本發明的方法可以有效的解決語音情感識別中存在的情感跟蹤延遲問題並有效預測說話人情感的變化。
【專利說明】一種基於情感數據場的連續語音情感預測算法
【技術領域】
[0001] 本發明涉及一種語音情感預測方法，特別涉及一種對情感變化連續語音的基於情 感數據場的情感預測算法。
【背景技術】
[0002] 語音情感識別是人機智能化交互的一個重要研究領域，已有許多研究機構致力於 該領域的研究。然而目前語音情感識別處理的對象往往局限於語料庫中已分割好的短句， 例如丹麥情感語音資料庫（DES)、柏林情感語音資料庫等，並且對語料庫的語音情感識別已 經能夠獲得比較高的識別率。但是在現實生活中，人們的情感表達和狀態是一個連續變化 的過程。實用語音情感識別系統要求處理的對象應該是未分割成短句的實時採集的連續情 感語音。例如在電話服務中心，實用語音情感識別系統要能夠預測和識別服務人員的情緒 變化，預防對客戶的不友好態度；航天、航空等特殊領域需要實時識別操作人員情感狀態的 變化，避免不必要的事故發生等。目前傳統的語音情感識別方法都是孤立地考慮統計特徵 的情感特徵向量，存在情感跟蹤延遲或者不能及時識別情感的變化的問題，故無法實現對 連續語音的情感預測。
【發明內容】
[0003] 要解決的技術問題：針對現有技術的不足，本發明提出一種基於情感數據場的連 續語音情感預測算法，解決現有技術的語音情感識別方法對連續語音的情感預測存跟蹤延 遲，無法實現對連續語音進行情感預測。
[0004] 技術方案：為解決上述技術問題，本發明採用以下技術方案：
[0005] -種基於情感數據場的連續語音情感預測算法，獲取訓練樣本的語音情感特徵 向量，利用語音情感特徵向量作為數據構成情感數據場以形成語音情感特徵空間，情感數 據場中的勢函數建立起不同語音情感特徵向量之間的聯繫；在進行情感預測時，等間隔的 對測試樣本採集語音情感特徵向量，判斷語音情感是否發生變化，若未發生變化則返回重 新獲取下一時刻的語音情感特徵向量並判斷，若語音情感發生變化則等間隔的選取語音情 感特徵向量，利用TSP蟻群算法中的多個螞蟻分別一一對應模擬選取出來的多個語音情感 特徵向量，利用TSP蟻群算法中的多個城市分別一一對應模擬多個語音情感的類型，在情 感數據場中計算每種語音情感的類型在選取出來的多個情感特徵向量處產生的勢值大小， 選擇勢值中最大的一個所對應的語音情感的類型即為預測語音情感變化後的情感類型。
[0006] 具體的，在本發明中，包括順序執行的以下步驟：
[0007] (1)、建立情感數據場
[0008] 首先求取訓練樣本中類屬於各種情感類別的語音情感特徵向量，將這些語音情感 特徵向量進行特徵規範化後作為數據點構成情感數據場，其中類屬於不同情感類別的數據 點分布在情感數據場中不同的區域，然後建立情感數據場中的勢函數，則情感數據場中任 一語音情感特徵向量X的位勢即勢函數值如下
[0009]
【權利要求】
1. 一種基於情感數據場的連續語音情感預測算法，其特徵在於：獲取訓練樣本的語 音情感特徵向量，利用語音情感特徵向量作為數據構成情感數據場以形成語音情感特徵空 間，情感數據場中的勢函數建立起不同語音情感特徵向量之間的聯繫；在進行情感預測時， 等間隔的對測試樣本採集語音情感特徵向量，判斷語音情感是否發生變化，若未發生變化 則返回重新獲取下一時刻的語音情感特徵向量並判斷，若語音情感發生變化則等間隔的選 取語音情感特徵向量，利用TSP蟻群算法中的多個螞蟻分別一一對應模擬選取出來的多個 語音情感特徵向量，利用TSP蟻群算法中的多個城市分別一一對應模擬多個語音情感的類 型，在情感數據場中計算每種語音情感的類型在選取出來的多個情感特徵向量處產生的勢 值大小，選擇勢值中最大的一個所對應的語音情感的類型即為預測語音情感變化後的情感 類型。
2. 根據權利要求1所述的一種基於情感數據場的連續語音情感預測算法，其特徵在 於：包括順序執行的以下步驟： (1) 、建立情感數據場 首先求取訓練樣本中屬於各種情感類別的語音情感特徵向量，將這些語音情感特徵向 量進行特徵規範化後作為數據點構成情感數據場，其中屬於不同情感類別的數據點分布在 情感數據場中不同的區域，然後建立情感數據場中的勢函數，則情感數據場中任一語音情 感特徵向量X的位勢即勢函數值如下
式中D表示同類情感訓練樣本的語音情感特徵向量的集合； f (x, Xi) = exp {- (x-Xi)τ Σ(x-x^ } 其中： Σ表示訓練樣本的語音情感特徵向量組成的協方差矩陣，Σ =E[X-E(X)][X-E(X)T]; T表示轉置矩陣； X表示待求位勢的樣本的語音情感特徵向量； Xi表示訓練樣本i的語音情感特徵向量； (2) 、利用情感數據場對情感變化的語音進行預測和識別 步驟2-1、進行預測和識別時，依據已建立的情感數據場判別當前時刻的語音情感類 型，將判斷結果作為基本情感，基本情感的中心為; 步驟2-2、確定對測試樣本的分析間隔，然後在預測和識別情感的時刻開始之前的Is 或者2s內等間隔採集語音情感特徵向量； 步驟2-3、利用情感數據場判別語音情感是否發生變化，具體方法如下：當預測和識別 情感的時刻，屬於第i類情感的語音情感特徵向量X滿足X > R( ω i，DO，則判斷預測和識 別情感的時刻的語音情感相對於基本情感發生語音情感變化， 其中，
上述不等式中，表達式
>表示第i類情感的樣本Di中位勢值最小的樣 本點，表達式，表示第i類情感的樣本Di中距離基本情感的中心％最遠樣 本點； 步驟2-4、若判定為連續的語音情感，則返回步驟2-1 ; 若判定為語音情感發生變化，則進入步驟2-5 ; 步驟2-5、預測變化後的語音情感 利用TSP蟻群算法中的螞蟻模擬步驟2-2中採集到的語音情感特徵向量，利用TSP蟻 群算法中的城市模擬語音情感的類型，在情感數據場中根據式：
計算每種 語音情感的類型在選取出來的語音情感特徵向量處產生的勢值大小，選擇勢值中最大的一 個所對應的語音情感的類型即為預測語音情感變化後的情感類型。
3. 根據權利要求2所述的一種基於情感數據場的連續語音情感預測算法，其特徵在 於：語音情感特徵向量的求取過程包括以下步驟： 首先提取基頻、均方根短時能量、過零率、諧波信噪比以及1-12維LFPC係數共16個短 時特徵； 然後求取這16個短時特徵的一階倒數； 最後求取16個短時特徵及其一階倒數的統計量，所述統計量包括均值、最大值、最小 值、方差、偏斜度、峭度、波動範圍、線性回歸係數的斜率、偏置及均方誤差共10類，共得到 320個語音情感特徵向量。
4. 根據權利要求3所述的一種基於情感數據場的連續語音情感預測算法，其特徵在 於：對320個語音情感特徵向量的性能根據最大相關最小冗餘算法進行等級排列，選擇前 10個語音情感特徵向量並進行特徵規範化後作為數據點構成情感數據場。
【文檔編號】G10L25/63GK104050963SQ201410283309
【公開日】2014年9月17日 申請日期:2014年6月23日 優先權日:2014年6月23日
【發明者】查誠, 黃程韋, 趙力 申請人:東南大學