對話主觀質量測試工具的製作方法

2023-09-22 20:17:00

專利名稱：對話主觀質量測試工具的製作方法
技術領域：
本發明涉及話音質量評估，更具體地，涉及針對語音通信系統的話音質量評估的對話測試。
背景技術：
作為在無線/有線電信網絡中穩定進步的部分，系統的語音和話音質量評估在過去的幾年得到極大的重視。它聚焦於與評估通過電信系統的語音和話音的聽覺質量相關的過程。單詞「評估」在這裡指針對一個或多個標準的系統性能的測量。實際上，隨著新的電信技術的到來，諸如通過IP(網際網路協議)、ATM(異步傳輸模式)、FR(幀中繼)、PSTN(公共電話交換網絡)、ISDN(綜合服務數字網)、行動網路(GSM、 WiMAX,UMTS等)、或任何混合組合(IP、ATM、FR、PSTN、ISDN、行動網路)之類的語音通信系統的多樣性已經造成諸如分組丟失、非穩定噪聲、話音失真、網絡抖動等之類的話音質量的各種降級因素。因此，已經開發了針對語音質量評估的各種裝置，從而可靠地測量整體話音質量和特定的降級因素。「話音質量」在這裡指所感覺的與所期望的相比較的感知和判斷過程，換言之，話音質量指面對面的模仿和通過語音通信系統所聽到的之間的差異。可以通過諸如「極好」、「良好」、「一般」、「不好」、「差」之類的描述符或通過每個降級因素或全部的數值來進行定義。

發明內容
一些實施例提供了用於調節針對話音質量評估的受控對話方法的方法和設備。一些實施例提供了在只有一個人的對話上下文中用於主觀話音質量評估的方法和設備。一些實施例提供了使端用戶能夠在沒有第二人的對話上下文中評估語音通信系統的話音質量的方法和設備。—些實施例提供了話音識別的利用和用於語音通信系統的話音質量評估的話音產生工具。各種實施例涉及用於評估通信網絡的節點之間的對話話音質量的方法，包括-通過通信網絡，在用戶終端處的用戶和虛擬主體系統之間建立語音通信會話，所述虛擬主體系統以及用戶終端與所述通信網絡相連接，所述用戶終端使用戶能夠通過語音與所述虛擬主體系統進行通信；-在所述會話期間，充當與所述虛擬主體系統進行語音對話的對話方，其中，所述虛擬主體系統裝配有話音產生模塊，用於在所述會話期間實現講話；以及語音識別模塊， 用於在所述會話期間實現對用戶話音的解譯；以及-基於所述會話期間的語音對話，評估通信網絡上的話音質量，所述評估由用戶執行。各種實施例涉及用於測試通信網絡的節點之間的對話話音質量的設備，包括
-虛擬主體系統，裝配有話音識別模塊和話音產生模塊，並被配置用於響應於用戶通過與所述通信網絡相連的遠程用戶終端開始與所述虛擬主體系統進行通信會話，作為收聽者和說話者參與與用戶的語音對話。-其中所述虛擬主體系統被配置用於識別話音評估測試，以輔助遠程用戶基於與所述虛擬主體系統的語音對話，估計所述通信網絡上的對話質量。有利地，用戶可以評估話音質量或話音質量對連接的所選條件的依賴性。


圖1是示出了語音通信系統的框圖，其中可以執行對話測試方法的各種實施例。圖2是示出了根據本發明的對話上下文中話音質量評估的步驟的流程圖。儘管附圖和具體實施方式
描述了一些實施例，但是本發明可以有其它的形式，並不限於附圖和具體實施方式
中描述的這些。
具體實施例方式可以根據話音質量度量將針對這種話音質量評估的方法分為兩大類。第一個主觀方法是基於請參與者在不同類型和/或數量的降級的情況下測試電信系統，並以記數法對相應的話音質量進行打分。為了減小單個參與者造成的主觀效果，可以平均參與者的打分。這會產生廣泛用作主觀度量的平均意見得分(MOS)。此外，話音質量感知取決於將參與者置於其中的上下文，S卩，收聽上下文、說話上下文、或對話上下文。在收聽測試中，參與者收聽根據不同類型和/或數量的降級製作的直播或錄播的音頻信號。然後，參與者建立他所感知和他/她所希望的之間的關係。作為針對收聽測試中話音質量評估的標準，可以考慮話音失真(產生人類說話者不能明白的聲音的自然話音波形的變形)、活躍狀態與完全狀態的噪聲比(說話時的級別與不說話時的噪聲比之比)。 值得注意的是，可以考慮諸如音量和可懂度的其它質量標準。這裡，可懂度意味著話音的可理解度，即允許說話者的聽力和理解力滿足收聽者。國際電信聯盟(ITU)在推薦P. 800中詳細描述如何進行該測試，以及如何標註話音質量。作為話音質量記數的示例，可以提及絕對分類比率(ACR)方法以及降級分類比率(DCR)方法。在說話測試中，一個參與者必須在語音通信系統的一端說話，以及另一個參與者收聽從語音通信系統的另一端傳來的話音。然後，每個參與者意識到是否存在可感知的回聲(說話者的話音信號以足夠的能量和時延反射回來源，以使其像話音一樣可聽到和可感知)、以及遠處的說話者是否容易被聽到、易於被理解以及能夠檢測清晰度的細微差別。作為示例性示例，參與者可以利用在ITU的推薦P. 800中定義的方法之一來評估所測試的條件。在對話測試中，每對參與者通過測試中的語音通信系統進行對話。除了在收聽和說話上下文中所遇到的條件，對話測試可以包括(用戶停止說話的時間與用戶聽到響應的時間之間的不尋常的長時間暫停所造成的)對話節奏的中斷、以及雙向通信中的話音降級。短暫的對話測試場景已經由ITU(P. 800以及ITU-T P. 805)為了該目的而創建。不像以上描述的主觀方法，第二類使用客觀度量，以及通過使用參考模型(插入方法)或通過監測降級的業務量(非插入方法)而依賴於計算話音失真。作為插入方法的示例，人們可以提及 PAQM、PSQM、PSQM+MNB、PAMS, PEAQ, TOSQA, T0SQA2100、EMBSD,以及 PESQ。非插入方法可以用於直播網絡中的話音質量評估。ITU-T E模型是最廣泛使用的非插入語音質量評估方法。在所有這些技術中，屬於第二類的技術既不消耗時間，也不消耗成本。然而，就精確度而言，它們的結果通常需要由主觀的方法進行驗證或確認。此外，它們不能估計對話上下文中的語音質量。另外，在一些條件下穩健的客觀度量不必要在其它條件下具有相同的性能。相反地，主觀方法精確地執行，因為由人類主體給出質量評估。更具體地，對話測試考慮所有的降級因素，以及綜合主觀方法的所有上下文。因此，從話音質量評估的角度來看，由於以下原因，對話測試看起來是以上引用的方法中最有意思的工具-測試環境反映電信系統的具體使用(具體地，幾乎所有的電信技術實現對話上下文，即雙向通信)；-由於對話方法受到收聽方法中遇到的降級、說話方法中遇到的降級、以及影響對話(雙向通信)的交互性的降級的影響，可以對更廣範圍的質量標準進行聯合評估。-所述測試允許以直接的方式獲得用戶的感知，因為響應來自將使用語音通信系統的人。因此，對話測試是用於話音質量評估的最可靠的媒介物。然而，這種主觀方法的優勢被以下相抵-這種測試所需要的時間，因為它們需要整個對話期間對話方中的每一個都有空；-成本，因為它們在直播語音通信網絡上進行操作；-在語音通信系統的對話信道的端點處的對話方的可用性；-話音質量評估是路徑相關的，且如果兩個接入點之間的路徑改變，則典型地應該再次進行測試。這些缺點將在以下常用的示例中更顯而易見。語音通信服務的質量已變成演進的在線商務的重要問題。實際上，正如商品的提供者或消費者所感知的，話音通信質量必須滿足特定的質量等級，從而可以正確地進行交易。作為示例性示例，通過使用語音輸入/輸出的固定或行動電話上的商業交易的擴展在進行任何金融交易或傳遞任何保密數據之前需要精確地對話測試。想要在直播廣播事件(例如直播電視或廣播節目)中參與語音通信系統(VoIP、 VoATM、VoFR、PSTN)的遠處的用戶可以通過首先參與對話測試來進行，從而在任何直播插入之前評估話音質量。如果被呼叫的人沒空，則幾個移動電信運營商不考慮話音質量，提出邀請呼叫者在音調信號之後留下語音消息的服務。該步驟會導致由於話音失真或高噪聲電平而造成的不能理解的語音消息。作為非限制性示例，在與對話方相關的路徑中的大量的中間網絡節點的情況下， 或複雜的中間語音呼叫數據處理(編碼、交織等)的情況下，或通過網絡設備損壞(電磁噪聲、網絡資源不可用、異機種網絡)的情況下，話音質量會降級。因而，電信和數據運營商和製造商必須有規律地評估話音質量，從而保持它們的客戶滿意度。結果，對話測試針對通信系統的話音質量評估是可靠的。但是，上文中所提到的它們的缺點影響它們的適合性。可以在圖1中示出的數據通信系統中執行這裡描述的方法的各種實施例。-通信網絡1，例如ISDN、PSTN和/或網際網路網絡或支持至少語音通信服務的任何協同網絡；-實現通信網絡1上的至少語音通信的用戶終端2。作為非限制性示例，用戶終端 1可以包括移動或固定電話、PDA(個人數字助理)、或配置用於通過分組交換網絡(VoIP、 VoATM等)進行通信的任何其它電話。-與通信網絡1連接的伺服器3。作為非限制性示例，伺服器3可以是用戶終端2；-虛擬主體系統4；-用於語音音頻數據調度和傳輸的聲音或電子音頻接口5。聲音或電子音頻接口 5起到伺服器3和虛擬主體系統4之間的控制和通信接口的作用。虛擬主體系統4包括-能夠解釋話音的話音識別模塊41；-話音產生器42;-控制模塊43，可以模擬不同的話音降級因素和/或遠程控制用戶終端2和/或遠程控制通信網絡1。虛擬主體系統4在所估計的通信上下文下必須具有響應時間和比率方面的特定性能。響應時間指虛擬主體系統4應答其通信者所花費的時間。這包括通信這所說的話音識別時間，以及產生響應所需的時間。經常地，話音識別時間花費大部分的響應時間。一般表示為百分比的話音識別率指話音識別模塊41識別來自接口 5的所接收的話音的能力。根據REC ITU G. 114，如果響應時間超過300ms (或等同地，150ms的最大傳輸單向延遲)，則不再確保對話中的交互性。針對話音識別模塊41的話音識別的最大時間應該基本上低於針對交互式對話的語音通信系統所允許的預選最大單向延遲。NUANCE公司所生產和銷售的語音識別模塊NUANCE8. 5揭示了大約20ms的單詞識別時間和大約50ms的單句識別時間(自然語言理解)。因而，具有這些類型的話音識別模塊的虛擬主體系統4的實施例將能夠滿足REC ITU-T G. 114的時間約束。與150ms相比，具有較少響應時間的話音識別模塊41平緩地保持對話中的交互性。此外，響應時間獨立於通過話音質量評估檢測其影響的降級因素。話音識別模塊41的響應時間和通過語音通信網絡1上的連結用戶終端2和伺服器3的通信路徑的傳輸時間之比影響話音質量評估。該比越低，話音識別對評估的影響就越小。不考慮通過連結用戶終端2和伺服器3的通信路徑的傳輸時間，具有大約Ims或更少的響應時間的話音識別模塊41應該適合這裡描述的許多實施例。在話音質量評估期間，話音識別比率優選地高，例如至少90%的比率以及優選地大約100%的比率(不考慮降級因素)，從而防止虛擬主體系統4和使用用戶終端2的人之間的受控對話中的中斷。話音識別模塊也應該具有低的響應時間。尤其是，模塊的響應時間應該足夠低，從而虛擬主體系統4以不會可察覺地降低與人的語音對話的交互性的方式，控制與人類對話方的語音對話。有利地，Alcatel-Lucent公司關於語音識別模塊NUANCE 8. 5進行的先進的研究(Docman Document η ° 3EU_29000_0045_UUZZA，"Etude du temps de reponse du CCivr 4625associe au module de reconnaissance vocale Nuance 8. 5，，, Docman Document n° 3EU_29000_0031_UUZZB, "Rapport d' etude de la relation entre taux de reconnaissance vocale Nuance et note PESQ sur architecture OXE IP Basic Link Gateway-Gateway en reseau IP perturbe")總結出，以針對句子大約100%的識別率，針對不同的IP損害(隨機和猝發損失達12%、抖動達200ms、以及耦合損失和抖動)是不敏感的。在話音識別模塊41是語音識別模塊NUANCE 8. 5或在時延和識別率方面具有類似性能或更好性能的任何其它等同產品的實施例中，不考慮通過連結虛擬主體系統4和用戶終端2的通信路徑的傳輸時間，虛擬主體系統4可以直接取代傳統測試中的人。話音產生器42包括-能夠將任何文本轉換為口語單詞的文本至話音產生器(TTS)；和/或-語音音頻文件產生器。在通信網絡1的兩個節點之間的連接的不同條件下的話音質量評估的情況下，控制模塊43允許改變第一節點(用戶終端幻和第二節點(伺服器幻之間的通信連接的一個或多個條件，從而用戶終端2的用戶可以針對不同的連接條件評估對話話音的質量。控制模塊43能夠針對所建立的語音對話同時或單獨地模擬不同降級因素的效果。例如，控制模塊43允許添加具有不同電平的噪聲、應用話音失真、模擬回聲等。控制模塊43能夠例如通過改變語音編碼，遠程控制用戶終端2和/或通信網絡1。網絡1上的用戶終端2和虛擬主體系統4之間的評估對話可以是適合的受控對話，換言之，可以從預定的短對話測試(SCT)場景中進行選擇。這種對話稱為受控對話，因為它們不是用戶之間的自由或自發對話。已經在文獻(ITU-RecP. 805, ffiegelmann-1997, Μθ! Ιθ _2000 ^ 中描述了不同類型的短對話測試(SCT)場景，其中對話方具有它們各自的角色。相應的測試場景代表諸如預定飛機票、訂購披薩餅等之類的實際生活的電話場景。短對話測試場景導致短持續時間的自然和均衡的對話。短對話測試場景允許包括在經典對話中的所有階段(即，包括對話參與者導致的中斷的聽、說、和雙向通信階段)的重新創建。也可以在文獻中區分更加不切實際的對話測試場景，如在電話上玩遊戲，儘可能快地讀取隨機數字(Kitawaki和ltoh-1991)。使用遊戲(play)具有更容易地建立識別模塊41的優勢，然而，需要相互中斷的預期實現。在REC ITU-T P. 805中定義的交互式短對話場景的使用需要具有複雜語法的語音識別模塊的實施方式，以及優選地具有自然發生的中斷的實施方式。虛擬主體系統4稱為「虛擬」是因為主體4是扮演傳統對話測試中第二個人的角色的機器。有利地，可以通過實現語音激活檢測(VAD)模塊(沒有在附圖中示出)，在虛擬主體系統4側管理人和虛擬主體系統4之間的中斷。語音激活檢測可以容易地在接口 5上實現，以檢測當前幀(輸入/輸出)是正在接收話音的間隔，還是應該傳送話音的間隔，並相應地控制虛擬主體4 (轉發、靜音等)。可以通過使用用戶終端2的人主觀地進行話音質量評估。當然，該評估可以表示為諸如「極好」、「良好」、「一般」、「不好」、「差」之類的分類主觀描述符，或將數值分配給主觀描述符中的每個，或表達關於所用系統的整體印象和滿意度。此外，該對話測試可以評估整體的話音質量或每降級因素的話音質量。現在參照圖2，可以如以下實現話音質量評估-在用戶終端2和伺服器3之間建立(10)語音通信會話。可以通過用戶終端2或伺服器3直接或間接地發起該會話；-發起00)虛擬主體系統4和用戶終端2的用戶之間的語音對話。語音對話發起允許從遊戲列表或短對話測試場景列表中選擇語音對話場景。它也允許定義將會評估對話話音的連接條件。-根據所選擇的對話場景和連接條件，進行(30)用戶終端2的用戶和虛擬主體系統4之間的語音對話；-通過用戶終端2的用戶，評估00)語音對話內的話音質量。可以在語音對話期間、在語音對話結束時、或兩者完成話音質量的評估。-附加步驟(50)可以添加至前述步驟，以及可以包括基於話音質量評估結果的任何行為，例如轉發通信會話，關閉通信會話等。通過定義默認對話場景和/或默認連接條件，可以跳過發起OO)語音對話的步
馬聚ο在語音對話發起OO)期間，虛擬主體可以邀請用戶終端2的用戶從對話場景的預定列表中選擇對話場景，以及從連接條件的預定列表中選擇一個或多個連接條件。對話場景的預定列表可以包括短對話測試(SCT)場景、播放場景或屬性。該屬性要傳送到用戶，從而由其評估語音對話期間屬性的值。一旦發起語音通信會話，話音識別模塊41根據所選擇的連接條件配置控制模塊 43。在另一個實施例中，不需要應用連接條件。在這種情況下，控制模塊43是被動的。當用戶終端2的用戶在語音對話中說話時，將他的話音引導至話音識別模塊41進行解譯。通過話音識別模塊41對用戶終端2的用戶的話音的識別啟動話音產生器42 (話音音頻文件產生器或文本至話音產生器)來產生連結至控制模塊43所模擬的連接條件下所識別的用戶話音的話音。
8
權利要求
1.一種用於評估通信網絡(1)的節點之間的對話話音質量的方法，包括-經由通信網絡(1)，在用戶終端( 處的用戶和虛擬主體系統(4)之間建立語音通信會話，所述虛擬主體系統(4)以及用戶終端( 與所述通信網絡(1)相連接，所述用戶終端使用戶能夠通過語音與所述虛擬主體系統(4)進行通信；-在所述會話期間，充當與所述虛擬主體系統(4)進行語音對話的對話方，其中，所述虛擬主體系統裝配有話音產生模塊(42)，用於在所述會話期間實現講話；以及語音識別模塊(41)，用於在所述會話期間實現對用戶話音的解譯；以及-基於所述會話期間的語音對話，評估通信網絡上的話音質量，所述評估由用戶執行。
2.如權利要求1所述的方法，其中由描述符和/或數值來表示對話音質量的評估。
3.如權利要求1所述的方法，其中所述話音對話是預定對話測試場景。
4.如權利要求1或3所述的方法，其中所述語音對話是短對話測試(SCT)場景或遊戲場景。
5.一種用於測試通信網絡(1)的節點之間的話音質量的方法，包括-經由通信網絡建立與遠程終端( 處的用戶的語音通信會話，所述通信會話在虛擬主體系統⑷和遠程終端⑵處的用戶之間，所述虛擬主體系統⑷以及用戶終端⑵與所述通信網絡(1)相連接；-在所述會話期間，參與與用戶的語音對話，由虛擬主體系統(4)來執行參與行為，所述虛擬主體系統裝配有話音產生模塊0 和語音識別模塊(41)，從而虛擬主體系統(4)能夠作為對話參與者進行操作；以及-其中所述虛擬主體系統被配置為輔助用戶評估所述通信網絡上的對話話音質量。
6.如權利要求5所述的方法，其中所述虛擬主體系統不評估對話期間的話音質量。
7.如權利要求5所述的方法，其中所述虛擬主體系統將屬性列表傳送至用戶，從而用戶能夠評估在語音對話期間的屬性值。
8.如權利要求5所述的方法，其中所述虛擬主體系統被配置為改變所述會話期間通信連接的一個或多個條件，從而用戶能夠針對不同的連接條件來估計對話話音的質量。
9.一種用於測試通信網絡(1)的節點之間的對話話音質量的設備，包括-虛擬主體系統G)，裝配有話音識別模塊Gl)和話音產生模塊(42)，以及被配置為 響應於用戶經由與所述通信網絡連接的遠程用戶終端開始與所述虛擬主體系統(4)進行通信會話，作為收聽者和說話者參與與用戶的語音對話。-其中所述虛擬主體系統被配置為識別話音評估測試，以輔助遠程用戶基於與所述虛擬主體系統(4)的語音對話，估計所述通信網絡上的對話質量。
10.如權利要求9所述的設備，其中所述虛擬主體系統不能評估對話期間的話音質量。
11.如權利要求9所述的設備，其中所述虛擬主體系統被配置為將屬性列表傳送至用戶，從而用戶能夠評估語音對話期間的屬性值。
12.如權利要求9所述的設備，其中所述虛擬主體系統被配置為改變所述會話期間通信連接的一個或多個條件，從而用戶能夠針對不同的連接條件來估計對話話音的質量。
13.如權利要求9所述的設備，其中所述話音識別模塊具有至少90%的話音識別率，以及足夠短的、基本不減少語音對話中的所感知的交互性的響應時間。
全文摘要
一種用於評估通信網絡(1)的節點之間的對話話音質量的方法，包括經由通信網絡(1)，在用戶終端(2)處的用戶和虛擬主體系統(4)之間建立語音通信會話，所述虛擬主體系統(4)以及用戶終端(2)與所述通信網絡(1)相連接，所述用戶終端使用戶能夠通過語音與所述虛擬主體系統(4)進行通信；在所述會話期間，作為與所述虛擬主體系統(4)進行語音對話的對話方，所述虛擬主體系統裝配有話音產生模塊(42)，用於在所述會話期間實現講話；以及語音識別模塊(41)，用於在所述會話期間實現對用戶話音的解譯；以及基於所述會話期間的語音對話，評估通信網絡上的話音質量，所述評估通過用戶執行。
文檔編號H04M3/22GK102239519SQ200980148404
公開日2011年11月9日 申請日期2009年11月24日 優先權日2008年12月5日
發明者尼古拉斯·川考特 申請人:阿爾卡特朗訊