基於客戶語音情感的客服服務質量評價方法及系統與流程

2023-07-13 03:07:51 2

本發明涉及語音數據處理
技術領域：
，特別涉及一種基於客戶語音情感的客服服務質量評價方法及系統。
背景技術：
：在現代生活中，每天我們都會接到大量的推銷電話，內容覆蓋股票、貸款、房產等內容，背後都是有公司提供callcenter服務。這些公司每天生成大量的客服錄音文件，為了考核客服人員，一般需要另外僱傭質檢人員手工聽取錄音文件。然而，質檢人員往往只是抽查部分錄音，既浪費人力又容易遺漏有用信息。事實上，如何能夠從錄音文件中分析出客戶的情感變化，以評價客服的服務質量是一種能夠實現自動考核克服的有用方法。現有的技術中，目前的情感識別研究還是基於單個人的說話錄音，比如台州學院的趙小明和張石清提出的專利「基於壓縮感知的魯棒性語音情感識別方法」，江蘇大學提出的專利「非特定人語音情感識別方法及系統」等，都沒有考慮對話中一個人的情感和另外一個人存在著某種關係。因此，並不適用於考核客服人員的服務質量。技術實現要素：本發明的目的在於提供一種基於客戶語音情感的客服服務質量評價方法及系統，以解決現有的客服評價方法需依賴人工檢測所造成的效率較低、有效性較差的問題。為實現上述目的，本發明提供了一種基於客戶語音情感的客服服務質量評價方法，包括以下步驟：獲取錄音文件並提取得到其中的客戶錄音；對所述客戶錄音進行處理得到代表客戶初期情緒和最終情緒的語音片段；根據初期情緒和最終情緒的語音片段的情感差異評價對應的客服的服務質量。較佳地，具體包括：將所述客戶錄音分隔得到不含雜音的語音片段序列；然後從所述語音片段序列中選出代表客戶初期情緒和最終情緒的語音片段。較佳地，獲取錄音文件後，還包括分割出客服錄音及客戶錄音後，截取客服錄音的一個片段，識別客服身份。較佳地，截取客服錄音的一個片段後，提取其中的mfcc特徵，利用高斯模型識別客服身份。較佳地，將客戶錄音分隔得到語音片段序列的過程包括：s21：根據客戶錄音的頻率及強度的不同，標註有聲語音片段和靜音語音片段；s22：從所述客戶錄音中分隔出有聲語音片段；s23：識別出所述有聲語音片段中的雜音片段並刪除；s24：將剩餘的有聲語音片段對應的數據組合作為所述語音片段序列。較佳地，進一步包括：獲取所述語音片段序列中每個語音片段的時長；則初期情緒的語音片段的選取方法為：選取所述語音片段序列中的前k個語音片段作為代表客戶初期情緒的語音片段，該k個語音片段滿足：k個語音片段的時長總和小於等於t，當所述語音片段序列中的第一個語音片段時長大於t時，則將第一個語音片段作為代表客戶初期情緒的語音片段；最終情緒的語音片段的選取方法為：選取所述語音片段序列中的後l個語音片段作為代表客戶最終情緒的語音片段，該l個語音片段滿足：l個語音片段的時長總和小於等於t，當所述語音片段序列中的最後一個語音片段時長大於t時，則將該最後一個語音片段作為代表客戶最終情緒的語音片段；其中，k、l均為正整數，t為預設的語音時長閾值。較佳地，進一步包括：分別提取所述初期情緒和最終情緒的語音片段的聲學特徵，並採用情感識別算法分析所述聲學特徵，得到客戶的初期情感特徵和最終情感特徵。較佳地，進一步包括：為所述初期情感特徵和最終情感特徵分別賦予情感權值，得到初期情感值rs和最終情感值ts，採用(ts-rs)作為情感差異來評價對應的客服的服務質量。較佳地，還包括獲取基本情感分類表，並在所述基本情感分類表中查找所述初期情感特徵和最終情感特徵分別對應的預設權值，將預設權值作為情感權值分別對應賦予給所述初期情感特徵和最終情感特徵。本發明還提供了一種基於客戶語音情感的客服服務質量評價系統，包括：錄音文件預處理模塊，用於獲取錄音文件並提取得到其中的客戶錄音；語音片段提取模塊，用於獲取所述客戶錄音並處理得到代表客戶初期情緒和最終情緒的語音片段；服務質量評價模塊，用於根據初期情緒和最終情緒的語音片段進行分析，得到兩者的情感差異以評價對應的客服的服務質量。本發明具有以下有益效果：通過對錄音文件中對話的語音進行分離，再使用單個人(客戶)的情感識別算法，從對話錄音中解析出客戶的情感序列，通過分析情感序列的情感的變化程度來評價客服的服務質量，實現自動進行客服的服務質量的評價。附圖說明圖1為本發明方法基本流程圖；圖2為一優選實施例提供的基於客戶語音情感的客服服務質量評價方法流程圖；圖3為具體實施例的原始錄音文件數據波形圖；圖4為具體實施例獲取的客服錄音的數據波形圖；圖5為具體實施例提取的客服錄音的片段的數據波形圖；圖6為優選實施例將提取的片段的客戶錄音分隔得到語音片段序列的流程圖；圖7為優選實施例中處理後得到的客戶語音對應的語音片段序列；圖8為進一步優選實施例中對錄音片段提取聲學特徵的結構示意圖；圖9為優選實施例基於客戶語音情感的客服服務質量評價系統組成圖。具體實施方式以下將結合本發明的附圖，對本發明實施例中的技術方案進行清楚、完整的描述和討論，顯然，這裡所描述的僅僅是本發明的一部分實例，並不是全部的實例，基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明的保護範圍。為了便於對本發明實施例的理解，下面將結合附圖以具體實施例為例作進一步的解釋說明，且各個實施例不構成對本發明實施例的限定。本實施例提供了一種基於客戶語音情感的客服服務質量評價方法，如圖1所示，該方法包括以下步驟：a.獲取錄音文件並提取得到其中的客戶錄音；b.對客戶錄音進行處理得到代表客戶初期情緒和最終情緒的語音片段；c.根據初期情緒和最終情緒的語音片段的情感差異評價對應的客服的服務質量。該方法不需要手工聽取錄音，可完全自動進行評價客服質量；且服務質量評價綜合考慮最終結果和服務難度(具體通過最終情緒與初期情緒的差異的大小即可判斷客戶情緒的變化，通過初期情緒即可有效地判斷服務難度)，因而評價方法更為客觀。在一優選實施例中，上述過程進一步包括將所述客戶錄音分隔得到不含雜音的語音片段序列；然後從上述語音片段序列中選出代表客戶初期情緒和最終情緒的語音片段。這個過程可以剔除錄音文件中的非客戶聲音的雜音，進而提高後續進行情感分析的準確度。在另一優選實施例中，獲取錄音文件後，還包括分割出客服錄音及客戶錄音後，截取客服錄音的一個片段，識別客服身份。通過自動識別客服的身份，進而方便對後續該客服的服務質量進行評價。進一步的，如圖2所示，本實施例的一種優選實施例中，上述方法具體地包括以下步驟：s1：獲取錄音文件，並分割出客服錄音及客戶錄音；s2：截取客服錄音的一個片段，識別客服身份，以及將客戶錄音分隔得到語音片段序列；s3：從所述語音片段序列中選出代表客戶初期情緒和最終情緒的語音片段；s4：識別代表客戶初期情緒和最終情緒的語音片段的情感特徵，獲得客戶初期情感特徵和最終情感特徵；s5：根據初期情感特徵和最終情感特徵的差異評價對應的客服的服務質量。其中，這裡的步驟s2中，識別客服身份與分隔得到語音片段序列兩個過程可以先後進行也可同時進行，可根據方法具體應用時的需要而自定義設置。此外，識別客服身份的過程也可在其他實施例中單獨完成，而不必整合在步驟s2中。本實施例的方法通過首先根據錄音文件中不同的人物而分割出客服錄音及客戶錄音，再對客戶錄音進行情緒的識別、判斷及分析，實現了充分考慮對話中一個人的情感與另外一個人存在關係的情況下的對客戶情感變化的分析。並基於客戶初期情感和最終情感進行比較，通過兩者的差異來評價對應的客服的服務質量，這種方式實現了基於情感變化的自動的客服服務質量評價，進而實現了全面的、系統的、不依賴人工的客服服務質量評價，避免了傳統需依賴人工進行客服服務質量評價的不全面性。此外，通過結合語音情感的數據特徵，還可以進行海量數據的對比分析，對客服服務質量的整體有效提升提供了有益的輔助手段。下面以對一個錄音文件進行處理以評估客服的服務質量為例，對上述方法做進一步的詳細說明(其中，各步驟的具體內容可獨立於上述方法組成互相獨立的多個優選實施例)：首先，執行步驟s1，讀取獲取錄音文件(如圖3所示)，並分割出該錄音文件中的客服錄音及客戶錄音。具體地：錄音文件由兩個通道組成，分別對應客服錄音或客戶錄音。採用語音學軟體能夠分別獲取通道1(channel1)及通道2(channel2)對應的語音文件，本實施例中，設通道1對應的語音文件為客服語音，通道2對應的語音文件為客戶錄音。如圖3中所示，這裡採用praat軟體抽取得到通道1的語音文件及通道2的語音文件，其中，通道1的語音文件即為客服錄音，通道2的語音文件即為客戶錄音。當然，在其他的實施例中，也可設通道1對應的語音文件為客戶錄音，而通道2對應的語音文件為客服語音。因而，不同的通道與不同的語音文件的對應關係取決於實際的錄音系統的通道設置形式。然後，執行步驟s2，截取客服錄音的一個片段，參見圖4所示，為本實施例中所提取的客服錄音中的一個片段(該片段參見圖4中虛線標註的第一個語音片段)，通過提取該片段中的mfcc特徵，利用高斯模型即可識別客服身份。這裡的mfcc是指梅爾倒譜係數(mel-scalefrequencycepstralcoefficients，簡稱mfcc)，其為在mel標度頻率域提取出來的倒譜參數，mel標度描述了人耳頻率的非線性特性。而本實施例中，採用高斯模型識別客服身份具體包括以下兩個階段：訓練階段和預測階段。在訓練階段，對於帶有標籤的錄音片段，採用工具(比如praat)讀取mfcc特徵，得到一個p*l矩陣，p不妨設為12，l是幀的數目。在行方向計算平均值後，每個錄音片段得到一個p維數組，和標籤一起作為訓練樣本。然後，混合高斯模型(gmm)對所有訓練樣本的概率密度分布進行期望最大化估計，而估計採用的模型是k個高斯模型的加權和，每個高斯模型就代表了一個類。在預測階段，類似的取得語音片斷的mfcc平均值後，分別在k個高斯模型上投影，就會分別得到在各個類上的概率，然後選取概率最大的類作為判決結果。不同的判決結果對應不同的客服，根據判決結果即可識別客服身份。同時，還需要將客戶錄音分隔得到語音片段序列，具體地，由於客戶錄音是由聲音片段和靜音片段組成，而聲音片段中還包括鈴聲片段、環境噪聲片段等不屬於客戶聲音的雜音片段，未分隔的客戶錄音數據參見圖5所示。則參見圖6所示，本步驟中將上述的客戶錄音分隔得到語音片段序列的過程具體包括：s21：根據客戶錄音的頻率及強度的不同，標註出有聲語音片段和靜音語音片段；s22：從所述客戶錄音中分隔出有聲語音片段；s23：識別出所述有聲語音片段中的雜音片段並刪除；s24：將剩餘的有聲語音片段對應的數據組合作為所述語音片段序列。其中，根據圖6中的數據，步驟s21中標註的有聲語音片段和靜音語音片段的數據具體如下(第一行為數據類型，其餘為數據具體內容)：根據上述數據中的標籤類型，剔除靜音的語音片段的數據後，即可從所述客戶錄音中分隔出有聲語音片段。然後，應用說話人識別算法，識別出說話人的語音片段，並篩出說話人的語音片段，即可進一步的識別並剔除鈴聲片段、環境噪聲片段等不屬於客戶聲音的雜音片段。說話人識別算法參考上述的高斯模型識別人員的方法，其中，在預測階段，先把語音片斷轉化為代表mfcc特徵的p*l矩陣，然後取平均值得到p維數組。然後分別在k個高斯模型上投影，就會分別得到在各個類上的概率，然後選取概率最大的類作為判決結果。根據判決結果即可識別說話人。剔除了雜音片段後，將剩餘的有聲語音片段對應的數據組合作為語音片段序列，例如，如圖7所示的語音片段，本實施例剔除雜音後，對應的客戶語音內容為：「我聽不清楚，你說的什麼意思呢，你說？」得到上述的語音片段序列後，再執行步驟s3，從所述語音片段序列中選出代表客戶初期情緒和最終情緒的語音片段。具體地，對於客戶語音片段序列，其由多個語音片斷組成，語音片斷序列可以用向量表示，例如:s＝，其中sx代表第x個語音片斷的開始時間，ex代表第x個語音片斷的結束時間，n代表序列總的片斷數。則本步驟進一步包括：首先獲取所述語音片段序列中每個語音片段的時長，例如，(s1,e1)的時長為(e1-s1)，對應地，(sn,en)的時長為(en-sn)，其餘片段以此類推。則初期情緒的語音片段的選取方法為：選取語音片段序列中的前k個語音片段作為代表客戶初期情緒的語音片段，該k個語音片段需滿足：k個語音片段的時長總和小於等於t。定義客戶初期情緒的語音片段為sstart，這裡的t值預設為3秒，則對應的，sstart＝，且需滿足(e1-s1)+(e2-s2)+…+(ek-sk)<＝3秒，然後合併該k個語音片斷成為一個更大的語音片斷作為初期情緒的語音片段為sstart。當所述語音片段序列中的第一個語音片段時長大於t時，e1-s1>3秒，則將第一個語音片段作為代表客戶初期情緒的語音片段，此時＝。同理，最終情緒的語音片段的選取方法為：選取語音片段序列中的後l個語音片段作為代表客戶最終情緒的語音片段，該l個語音片段滿足：l個語音片段的時長總和小於等於t。定義最終情緒的語音片段為send，且這裡的t的取值也為3秒，其中，l＝n-m+1，則有send＝，且(em-sm)+(em+1-sm+1)+…+(en-sn)<＝3秒，然後合併該l個語音片斷成為一個更大的語音片斷作為最終情緒的語音片段為send。同樣地，當上述的語音片段序列中的最後一個語音片段時長大於t時，即當en-sn>3秒時，則將該最後一個語音片段作為代表客戶最終情緒的語音片段，此時有＝。其中，上述的k、l、m均為正整數，而t為預設的語音時長閾值，t值還可以為4s、2s或其他值，其值的大小可根據不同實施例或應用場景而適應性改變，不限制為上述的3秒。得到上述的代表客戶初期情緒和最終情緒的語音片段後，再執行步驟s4，對得到的語音片段進行處理，以識別代表客戶初期情緒和最終情緒的語音片段的情感特徵，進而獲得客戶初期情感特徵和最終情感特徵。處理的過程進一步的包括以下內容：首先，獲取代表客戶的初期情緒的語音片段和代表客戶的最終情緒的語音片段，也即上述的及對應的錄音片段。然後分別提取初期情緒和最終情緒的語音片段的聲學特徵，這裡的聲學特徵包括但不限於mfcc、頻幅微擾及/或振幅微擾中的一種或多種的組合。最後，採用情感識別算法分析得到的聲學特徵，從而得到客戶的初期情感特徵和最終情感特徵。如圖8所示，為praat處理得到的包含了12個特徵的mfcc圖，該12個特徵在3.264秒內在頻率微擾和振幅微擾方面(其中這裡的頻率微擾和振幅微擾並不是mfcc直接的映射，而是一種變化趨勢)，分別表現為為：jitter(頻率微擾):local(局部):2.147％local,absolute(局部，絕對):105.810e-6秒rap(拍擊):0.914％ppq5(間期係數5):0.844％ddp(周期二次差):2.743％shimmer(振幅微擾):local(局部):10.935％local,db(局部，分貝):1.041apq3(間期係數3):3.762％apq5(間期係數5):4.877％apq11(間期係數11):9.804％ddp(周期二次差):11.285％。對於每個聲音片段，通過分析上述的特徵，然後應用hmm(hiddenmarkovmodel)作為識別器，即可對應地識別出及中所隱藏的情感。最後，再執行步驟s5，根據初期情感特徵和最終情感特徵的差異評價對應的客服的服務質量，具體地，本步驟進一步包括：為所述初期情感特徵和最終情感特徵分別賦予情感權值，得到初期情感值rs和最終情感值ts，採用(ts-rs)作為差異來評價對應的客服的服務質量。本步驟中還包括獲取基本情感分類表，並在基本情感分類表中查找初期情感特徵和最終情感特徵分別對應的預設權值，將預設權值作為情感權值分別對應賦予給初期情感特徵和最終情感特徵。由於現有技術中對基本情感的定義有所區別，本實施例中以美國心理學家ekman提出的6大基本情感為例對上述的基本情感分類表的定義進行說明，其中，6大基本情感包括憤怒、厭惡、害怕、高興、悲傷、驚奇，再加上中性情感，共有7大情感。預先根據需要指定每個情感具有對應的權值，，其中，正數代表正面情感，負數代表負面情感，具體參見下表1的內容所示：表1基本情感分類及對應權值情感權值憤怒-2厭惡-2害怕-1悲傷-1中性0高興2驚奇1那麼，上述處理得到的客戶初期情感特徵和最終情感特徵即可轉化為rs和ts，進而可以用(ts-rs)代表客服服務質量的高低。這裡的ts越高，代表服務質量越高；反而服務質量越低。而rs代表著服務難度，rs越高，意味著客服需要更多的耐心和更專業的能力去服務客戶；反之，服務要求則偏低。當然，在其他優選實施例中，上述的情感分類及權值賦予可根據需要採取其他形式，上表僅為本發明方法的一種執行示例，根據需要作出的其他的情感分類或權值賦予方法用於解決本發明技術問題的，均包含在本發明範圍內。此外，應當理解，本發明方法中各個步驟中的具體細節均分別為圖1所示方法流程的優選實施例，各個步驟的具體實現方案之間可相互結合，也可分別作為附圖1對應方案的優選實施方案而作為彼此獨立的獨立實施例，並不必須限定於上述的實施例的陳述方式。這種差值對客服的服務質量評價時考慮了客戶初期的情緒及最終情緒與初期情緒間的差異，進而對服務質量進行評價時，更加科學和有效。在本發明的另一個實施例中，還提供了基於客戶語音情感的客服服務質量評價系統，該系統如圖9所示，具體包括：錄音文件預處理模塊901，用於獲取錄音文件並提取得到其中的客戶錄音；語音片段提取模塊902，用於獲取所述客戶錄音並處理得到代表客戶初期情緒和最終情緒的語音片段；服務質量評價模塊903，用於根據初期情緒和最終情緒的語音片段進行分析，得到兩者的情感差異以評價對應的客服的服務質量。進一步的，上述的錄音文件預處理模塊901還包括客服身份識別單元，用於在錄音文件預處理模塊901獲取錄音文件後，分割錄音文件得到客服錄音及客戶錄音後截取客服錄音的一個片段，識別客服身份。具體可通過提取其中的mfcc特徵，利用高斯模型識別客服身份進一步的，上述的語音片段提取模塊902還包括客戶語音識別模塊、雜音剔除模塊及語音片段提取模塊。其中，客戶語音識別模塊用於識別和提取有聲語音片段，並從所述有聲語音片段中提取客戶語音對應的片段；雜音剔除模塊用於根據提取得到的客戶語音片段而剔除雜音片段得到語音片段序列，如鈴音，環境噪聲等；語音片段提取模塊用於從語音片段序列中選出代表客戶初期情緒和最終情緒的語音片段。進一步的，上述的服務質量評價模塊903還包括：情感特徵提取模塊、情感賦值模塊及服務質量評價模塊。其中，情感特徵提取模塊用於提取初期情緒和最終情緒的語音片段的聲學特徵並進行分析，得到客戶的初期情感特徵和最終情感特徵；情感賦值模塊用於根據基本情感分類表為初期情感特徵和最終情感特徵進行賦值；服務質量評價模塊用於根據初期情感特徵和最終情感特徵的值所代表的情感差異評價對應的客服的服務質量。當然，上述系統的各個組成模塊中的具體工作細節可參考上述方法對應的各個實施例的具體細節，此處不再贅述。以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何本領域的技術人員在本發明揭露的技術範圍內，特別是基於本發明方法，通過對話錄音進行評價服務質量的設備或軟體方法等均屬於本發明的保護範圍，此外，本領域技術人員在本發明的啟發下對本發明所做的變形或替換，也都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述的權利要求的保護範圍為準。當前第1頁12