一種在通話過程中判斷對方情緒的方法及移動終端的製作方法

2023-12-01 04:53:51

專利名稱：一種在通話過程中判斷對方情緒的方法及移動終端的製作方法
技術領域：
本發明涉及通信領域，尤其涉及一種在通話過程中判斷對方情緒的方法及移動終
丄山順。
背景技術：
現有的移動終端，一般只能通過使用者的感覺器官來主觀的判斷通話對方用戶的 情緒，在這種情況下，己方用戶可能不善於判斷對方情緒或沒有關注對方情緒變化，從而在 通話過程中，當對方用戶的情緒因為通話內容、說話方式等因素而發生變化時，己方用戶不 能及時發現對方用戶的情緒變化，並據此調整通話內容或說話的方式，這樣就可能會影響 雙方通話的氣氛，甚至會導致雙方的矛盾或加深矛盾等。

發明內容
鑑於上述現有技術所存在的問題，本發明實施例提供了一種在通話過程中判斷對 方情緒的方法及移動終端，在通話過程中從對方用戶的語音或視頻信息中提取情緒相關的 特徵信息，實時的檢測通話對方用戶的情緒變化並給己方用戶做出提示，以便己方用戶及 時調整或選擇適當的通話內容或說話方式，以避免不友好的通話氛圍。 為了解決現有技術存在的問題，本發明實施例提供了一種在通話過程中判斷對方
情緒的方法，用於移動終端中，包括 採集對方用戶語音數據或視頻數據； 從採集到的語音數據或視頻數據中提取情緒特徵信息，並分析判斷對方用戶當前 情緒狀態； 將所述對方用戶當前情緒狀態顯示在己方移動終端顯示設備上。
相應的，本發明實施例還提供了一種移動終端，包括 語音或視頻信息採集模塊，用於在通話過程中採集對方用戶的語音數據或視頻數 據； 情緒特徵信息提取模塊，與所述語音或視頻信息採集模塊相連，用於從採集到的 語音數據或視頻數據中提取情緒特徵信息； 分析判斷模塊，用於根據所述情緒特徵信息提取模塊提取的情緒特徵信息分析判 斷對方用戶當前情緒狀態，得出判斷結果； 顯示模塊，與所述分析判斷模塊相連，用於將所述分析判斷模塊得出的判斷結果 顯示於己方移動終端顯示設備上。 實施本發明實施例，通過採集對方用戶語音數據或視頻數據；從採集到的語音數 據或視頻數據中提取情緒特徵信息，並分析判斷對方用戶當前情緒狀態；將所述對方用戶 當前情緒狀態顯示在己方移動終端顯示設備上。實時給己方用戶提示對方用戶的情緒變 化，以便己方用戶及時調整或選擇適當的通話內容或說話方式，以避免不友好的通話氛圍。


為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可 以根據這些附圖獲得其他的附圖。
圖1是本發明實施例在通話過程中判斷對方情緒的方法的流程圖；
圖2是本發明實施例移動終端結構示意圖；
圖3是圖2中分析判斷模塊的結構示意圖。
具體實施例方式
本發明實施例提供了一種在通話過程中判斷對方情緒的方法及移動終端，在通話 過程中從對方用戶的語音或視頻信息中提取情緒相關的特徵信息，實時的檢測通話對方用 戶的情緒變化並給己方用戶做出提示，以便己方用戶及時調整或選擇適當的通話內容或說 話方式，以避免不友好的通話氛圍。 通過採集語音數據判斷對方用戶的情緒時，通常根據對方通話者的聲強、語速、音 高以及語調等信息加以判斷。因為情緒是一個時間較長的過程，可以以句子為單位來提取 以上特徵。聲強是檢測到的聲音的能量強度，通常通話者在處於憤怒或者恐懼等狀態時聲 音的平均強度會增加；語速的快慢可以反映出通話者的情緒狀態偏向快樂還是難過；通話 過程中的各種停頓也可以用來分析情緒，如語句之間的長時間停頓可能反映出說話者處於 難過或氣憤的狀態，單詞或短語之間的停頓可能反映了一種猶豫的狀態；音高是頻率相關 的參數通過檢測音高的下限、音頻及平均基頻也可以判斷出部分情緒偏向。將提取到的各 種參數同預設的判別標準進行比較，比如聲強，我們可以設定在聲強某些範圍之內代表偏 向某種情緒，對各個特徵項判別完成後再進行綜合判斷，如果各個特徵項得出的結果都是 或者大部分是偏向某種情緒則認為該用戶處於該情緒，從而判斷出對方通話者的當前情緒 狀態。通過採集視頻數據判斷對方用戶的情緒時，可以通過檢測視頻圖像中的臉部相關特 徵，如嘴唇和眉毛的彎曲方向及弧度，嘴巴、眼睛、鼻子的張開程度等各種臉部特徵並加以 分析可以判斷通話者的情緒，比如現在很多攝像頭都有笑臉識別的功能就是表情識別的一 種。移動終端判斷出對方用戶的情緒狀態後，以文字或圖像表情的方式顯示於移動終端顯 示設備，並通過提示音或震動以提示己方用戶，以便己方用戶及時調整或選擇適當的通話 內容或說話方式，以避免不友好的通話氛圍。
下面結合附圖詳細說明本發明的實施例。 參見圖l，為本發明實施例在通話過程中判斷對方情緒的方法的流程圖，包括
步驟101 :採集對方用戶語音數據或視頻數據，該採集步驟為實時採集，這樣才能 實現實時檢測對方用戶情緒狀態。 步驟102 :從採集到的語音數據或視頻數據中提取情緒特徵信息，並分析判斷對
方用戶當前情緒狀態。其中，情緒特徵信息可以根據需要採集多種音頻數據或視頻數據中
的情緒特徵；根據特徵判斷情緒時也可以通過多種方式，如特徵匹配來進行判斷。
如，本步驟可分為如下幾個步驟順序進行 A :從採集到的語音數據或視頻數據中提取情緒特徵信息；
5
在一個具體實施例中，當從語音數據中提取情緒特徵信息時，所述情緒特徵信息 包括聲強、語速、音高、語調等多種信息中的一種或多種，通常情況下需要多種信息結合才 能比較準確的判斷對方情緒；當從視頻數據中提取情緒特徵信息時，所述情緒特徵信息包 括視頻圖像中的臉部相關特徵，如嘴唇、眉毛、眼睛的張開程度等各種臉部特徵，比如人在 笑的時候眼睛的張開角度會變小一些，嘴唇的彎曲弧度也不一樣，憤怒時眼睛張開的角度 會大一些等。從採集到的語音數據或視頻數據中提取情緒特徵信息，需在移動終端中預先 確定是採集哪幾個特徵信息，比如在從語音數據中提取情緒特徵信息時，可規定只採集聲 強、語速、音高、語調四種特徵信息。 B :將提取到的各情緒特徵信息，分別與移動終端中預設的與相應情緒特徵信息對 應的判別標準進行比較，一一得出判斷結果； 如在一個具體實施例中，在移動終端存儲器中，需預先設置與採集的各特徵信息 對應的判別標準，所述判別標準是通過收集大量的不同人在不同情緒時的語音樣本，通過 對這些樣本進行分析形成的。如從語音數據中提取情緒特徵信息時，規定了採集聲強、語 速、音高、語調四種特徵信息，那麼在存儲器中，需要預先設定某個特徵信息的某個範圍代 表偏向某種情緒。如通過大量分析後，可設定聲強在a b範圍內為愉快，在b c範圍內 為憤怒，在c d範圍為恐懼，用同樣的方式可設定語速、音高、語調的某範圍對應的某種情 緒，設定好所有範圍對應的情緒後，存儲於存儲器內作為判別標準。當從採集到的語音數據 或視頻數據中提取情緒特徵信息後，將提取到的各情緒特徵信息，分別與移動終端中預設 的與相應情緒特徵信息對應的判別標準進行比較，一一得出判斷結果，例如可將提取到的 當前對方用戶聲強與預設標準範圍a b範圍、b c範圍、c d範圍相比較，得出當前 對方用戶聲強所處範圍，若當前聲強處於c d範圍，則根據存儲器內預存的判別標準可得 出第一判斷結果為恐懼，其他提取到的各情緒特徵信息按照同樣原理與對應的判別標準進 行對比，一一得出判斷結果。 C :將各判斷結果進行統計分析，判斷出對方用戶當前情緒狀態。 在B步驟中，各情緒特徵信息與對應的判別標準進行對比，一一得出判斷結果後，
還需要將各判別結果進行分析判斷，如果各情緒特徵信息對於的判斷結果都是或者大部分
是偏向某種情緒則可判斷出該用戶處於該情緒。該分析判斷也需要經過大量樣本進行分析
來設定，例如，假設提取的情緒特徵信息為5種，那麼在B步驟中會得出5個判斷結果，若預
設偏向某種情緒的判斷結果數量大於等於3，則判斷出該用戶處於該情緒。當然這只是一種
最簡單的舉例，在實際應用中會有多種多樣的情況，那麼統計分析標準可以根據實際需求
由移動終端廠家設定。 步驟103 :將所述對方用戶當前情緒狀態顯示在己方移動終端顯示設備上。
判斷出對方用戶當前情緒狀態後，將情緒狀態通過文字、圖像表情或其他方式顯 示在移動終端顯示設備上，當然移動終端中需要預設各種情緒同顯示結果的對應關係，假 設設定高興對應符號~_~，傷心對應符號-(，則判斷出對方用戶當前情緒狀態為高興時， 則可以在移動終端中顯示符號。顯示方式可以為文字、圖片表情、符號等多種方式，上面 僅為簡單舉例。當在步驟102中判斷出對方用戶情緒狀態發生變化時，將所述對方用戶當 前情緒狀態顯示在己方移動終端的同時，可發出提示音或震動以提示已方用戶。
參見圖2，為本發明實施例移動終端結構示意圖，包括語音或視頻信息採集模塊1、情緒特徵信息提取模塊2、分析判斷模塊3和顯示模塊4 ; 所述語音或視頻信息採集模塊l，用於在通話過程中採集對方用戶的語音數據或 視頻數據； 所述情緒特徵信息提取模塊2，與所述語音或視頻信息採集模塊1相連，用於從採 集到的語音數據或視頻數據中提取情緒特徵信息；當從語音數據中提取情緒特徵信息時， 所述情緒特徵信息包括聲強、語速、音高、語調等多種信息中的一種或多種，通常情況下需 要多種信息結合才能比較準確的判斷對方情緒；當從視頻數據中提取情緒特徵信息時，所 述情緒特徵信息包括視頻圖像中的臉部相關特徵，如嘴唇、眉毛、眼睛的張開程度等各種臉 部特徵，比如人在笑的時候眼睛的張開角度會變小一些，嘴唇的彎曲弧度也不一樣，憤怒時 眼睛張開的角度會大一些等。從採集到的語音數據或視頻數據中提取情緒特徵信息，需在 移動終端中預先確定是採集哪幾個特徵信息，比如在從語音數據中提取情緒特徵信息時， 可規定只採集聲強、語速、音高、語調四種特徵信息。 所述分析判斷模塊3，用於根據所述情緒特徵信息提取模塊2提取的情緒特徵信 息分析判斷對方用戶當前情緒狀態，得出判斷結果。 所述顯示模塊4，與所述分析判斷模塊3相連，用於將所述分析判斷模塊3得出的 判斷結果顯示於己方移動終端顯示設備上，具體的顯示方式可以通過文字或圖像表情的方 式進行顯示。移動終端中需要預設各種情緒同顯示結果的對應關係，假設設定高興對應符 號~_~，傷心對應符號-(，則判斷出對方用戶當前情緒狀態為高興時，則可以在移動終端 中顯示符號'_'。顯示方式可以為文字、圖片表情、符號等多種方式，上面僅為簡單舉例。
所述移動終端還包括存儲單元5，用於存儲預設的情緒特徵信息對應的判別標 準，供分析判斷模塊3調用，以使分析判斷模塊3能根據所述情緒特徵信息提取模塊2提取 的情緒特徵信息及所述存儲模塊5中存儲的判別標準，判斷對方當前情緒。所述判別標準 是通過收集大量的不同人在不同情緒時的語音樣本，通過對這些樣本進行分析形成的。如 從語音數據中提取情緒特徵信息時，規定了採集聲強、語速、音高、語調四種特徵信息，那麼 在存儲器中，需要預先設定某個特徵信息的某個範圍代表偏向某種情緒。如通過大量分析 後，可設定聲強在a b範圍內為愉快，在b c範圍內為憤怒，在c d範圍為恐懼，用
同樣的方式可設定語速、音高、語調的某範圍對應的某種情緒，設定好所有範圍對應的情緒 後，可通過對應關係表或其他方式存儲於存儲器內作為判別標準。 所述移動終端還包括情緒變化提示模塊6，用於在所述分析判斷模塊3判斷出對
方用戶情緒狀態發生變化時，發出提示音或震動以提示已方用戶。 在本實施例中，所述分析判斷模塊3的具體結構可參見圖3。 參見圖3，為圖2中分析判斷模塊3的結構示意圖，所述分析判斷模塊3包括特徵 對比單元31和統計分析單元32，所述特徵對比單元31分別與所述情緒特徵信息提取模塊 2和所述存儲模塊5相連，用於將所述情緒特徵信息提取模塊2提取到的各情緒特徵信息， 分別與所述存儲模塊5中預設的與相應情緒特徵信息對應的判別標準進行比較， 一一得出 判斷結果，例如，可將提取到的當前對方用戶聲強與存儲器內預存的判別標準範圍a b 範圍、b c範圍、c d範圍相比較，得出當前對方用戶聲強所處範圍，若當前聲強處於 c d範圍，則根據存儲器內預存的判別標準可得出第一判斷結果為恐懼，其他提取到的各 情緒特徵信息按照同樣原理與對應的判別標準進行對比，一一得出判斷結果。所述統計分析單元32，與所述特徵對比單元31相連，將所述特徵對比單元得出的各判斷結果進行統計
分析，判斷出對方用戶當前情緒狀態。如果各情緒特徵信息對於的判斷結果都是或者大部
分是偏向某種情緒則可判斷出該用戶處於該情緒。該分析判斷也需要經過大量樣本進行分
析來設定，例如，假設提取的情緒特徵信息為五種，那麼在B步驟中會得出五個判斷結果，
若預設偏向某種情緒的判斷結果數量大於等於三，則判斷出該用戶處於該情緒。當然這隻
是一種最簡單的舉例，在實際應用中會有多種多樣的情況，那麼統計分析標準可以根據實
際需求由移動終端廠家設定。當所述分析判斷模塊3為圖3中所示的結構時，所述顯示模
塊4和所述情緒特徵提示模塊6均與所述分析判斷模塊3中的統計分析單元32相連。 本發明實施例提供的移動終端能夠在通話過程中分析對方用戶情緒狀態，並提示
己方用戶，該功能不能保證每個用戶都喜歡，因此，在設計該功能時，需考慮用戶選擇權，在
移動終端中可設計開啟和關閉入口，讓移動終端用戶自行選擇是否開啟該功能。 實施本發明實施例，通過採集對方用戶語音數據或視頻數據；從採集到的語音數
據或視頻數據中提取情緒特徵信息，並分析判斷對方用戶當前情緒狀態；將所述對方用戶
當前情緒狀態顯示在己方移動終端顯示設備上。實時給己方用戶提示對方用戶的情緒變
化，以便己方用戶及時調整或選擇適當的通話內容或說話方式，以避免不友好的通話氛圍。 以上所揭露的僅為本發明一種較佳實施例而已，當然不能以此來限定本發明之權
利範圍，因此依本發明權利要求所作的等同變化，仍屬本發明所涵蓋的範圍。 通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到本發明可藉助
軟體加必需的硬體平臺的方式來實現，當然也可以全部通過硬體來實施。基於這樣的理解，
本發明的技術方案對背景技術做出貢獻的全部或者部分可以以軟體產品的形式體現出來，
該計算機軟體產品可以存儲在存儲介質中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使
得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例
或者實施例的某些部分所述的方法。
權利要求
一種在通話過程中判斷對方情緒的方法，用於移動終端中，其特徵在於，包括採集對方用戶語音數據或視頻數據；從採集到的語音數據或視頻數據中提取情緒特徵信息，並分析判斷對方用戶當前情緒狀態；將所述對方用戶當前情緒狀態顯示在己方移動終端顯示設備上。
2. 如權利要求1所述的方法，其特徵在於，所述從採集到的語音數據或視頻數據中提 取情緒特徵信息，並分析判斷對方用戶當前情緒狀態包括從採集到的語音數據或視頻數據中提取情緒特徵信息；將提取到的各情緒特徵信息，分別與移動終端中預設的與相應情緒特徵信息對應的判 別標準進行比較，一一得出判斷結果；將各判斷結果進行統計分析，判斷出對方用戶當前情緒狀態。
3. 如權利要求1或2所述的方法，其特徵在於，當判斷出對方用戶情緒狀態發生變化 時，將所述對方用戶當前情緒狀態顯示在己方移動終端顯示設備的同時，發出提示音或震 動以提示已方用戶。
4. 如權利要求3所述的方法，其特徵在於，所述將所述對方用戶當前情緒狀態顯示在 己方移動終端顯示設備上可通過文字或圖像表情的方式進行顯示。
5. 如權利要求4所述的方法，其特徵在於，所述從採集到的語音數據或視頻數據中提取情緒特徵信息步驟中當從語音數據中提取情緒特徵信息時，所述情緒特徵信息包括聲強、語速、音高、語調 中的一種或多種；當從視頻數據中提取情緒特徵信息時，所述情緒特徵信息包括臉部特徵，所述臉部特 徵包括嘴唇、眉毛中的至少一個的彎曲方向及弧度，和/或眼睛、嘴巴、鼻子中的一個或多 個的張開程度。
6. —種移動終端，其特徵在於，包括語音或視頻信息採集模塊，用於在通話過程中採集對方用戶的語音數據或視頻數據；情緒特徵信息提取模塊，與所述語音或視頻信息採集模塊相連，用於從採集到的語音 數據或視頻數據中提取情緒特徵信息；分析判斷模塊，用於根據所述情緒特徵信息提取模塊提取的情緒特徵信息分析判斷對 方用戶當前情緒狀態，得出判斷結果；顯示模塊，與所述分析判斷模塊相連，用於將所述分析判斷模塊得出的判斷結果顯示 於己方移動終端顯示設備上。
7. 如權利要求6所述的移動終端，其特徵在於，還包括存儲模塊，與所述分析判斷模塊相連，用於存儲預設的情緒特徵信息對應的判別標準。
8. 如權利要求7所述的移動終端，其特徵在於，所述分析判斷模塊包括 特徵對比單元，分別與所述情緒特徵信息提取模塊和所述存儲模塊相連，用於將所述情緒特徵信息提取模塊提取到的各情緒特徵信息，分別與所述存儲模塊中預設的與相應情 緒特徵信息對應的判別標準進行比較， 一一得出判斷結果；統計分析單元，與所述特徵對比單元相連，將所述特徵對比單元得出的各判斷結果進 行統計分析，判斷出對方用戶當前情緒狀態。
9. 如權利要求6至8任一項所述的移動終端，其特徵在於，所述移動終端還包括 情緒變化提示模塊，與所述分析判斷模塊相連，用於在所述分析判斷模塊判斷出對方用戶情緒狀態發生變化時，發出提示音或震動以提示已方用戶。
10. 如權利要求9所述移動終端，其特徵在於，所述顯示模塊還用於將所述分析判斷模 塊得出的判斷結果通過文字或圖像表情的方式顯示於己方移動終端顯示設備上。
全文摘要
本發明提供了一種在通話過程中判斷對方情緒的方法，用於移動終端中，通過採集對方用戶語音數據或視頻數據；從採集到的語音數據或視頻數據中提取情緒特徵信息，並分析判斷對方用戶當前情緒狀態；將所述對方用戶當前情緒狀態顯示在己方移動終端顯示設備上。同時，本發明還提供了一種移動終端，實時給己方用戶提示對方用戶的情緒變化，以便己方用戶及時調整或選擇適當的通話內容或說話方式，以避免不友好的通話氛圍。
文檔編號G10L15/02GK101789990SQ20091021410
公開日2010年7月28日 申請日期2009年12月23日 優先權日2009年12月23日
發明者王強, 陳維山 申請人:宇龍計算機通信科技(深圳)有限公司