用於與用戶執行對話通信的系統的方法
2023-10-23 16:46:22 3
專利名稱：用於與用戶執行對話通信的系統的方法
技術領域：
本發明涉及一種用於與用戶執行對話通信的系統的方法。通過分析用戶的語音信號來產生並向用戶呈現語義項的一個候選列表。根據預定義的準則來執行與候選列表中語義項之一相關聯的動作，除非用戶從候選列表中選擇一個不同的語義項。本發明進一步涉及到一種用在與用戶執行對話通信的系統中的對話設備。
在本領域內已普遍接受語音識別從未達到100％的精度。因此，處理錯誤與不確定性的方法是一個重要的研究領域。可用的方法由相關系統的使用場景來決定。
僅語音對話的系統，類似基於電話的系統，主要使用澄清問題以及隱式的或顯式的驗證。主要用來將任意文本口述到字處理器中的系統可以提供從語音識別器遞送的候選列表得到的備選項，其中顯示器顯示該轉換後的文本。在此過程中產生了一組備選項，該備選項通常以樹狀圖形式表示，但可以被轉換為一個可能的字序列的列表。這就是通常所稱的n-最佳候選列表。一個口述系統可以顯示字的候選列表或者一個字序列的一部分，其中不同備選項之間的相似度足夠高，這樣用戶可以通過鍵盤命令來選擇最佳備選項。然而，這些系統卻不適合與用戶以交互的方式進行通信。
對於多模式口頭對話系統，即通過語音和一種附加模態控制的系統，執行用戶命令的結果通常以候選列表的形式顯示出來。例如，由話音控制的電子節目指南顯示了關於查詢的最好結果。對於具有巨大詞彙和非常簡單的對話結構的特定應用，類似在汽車導航系統中輸入目的地來進行路線規劃，在顯示器上顯示候選列表。現有技術的多模式口頭對話系統的問題在於候選列表是僅有的可能反應，它不可能基於該候選列表而繼續通信。由於缺少用戶與系統之間的交互通信，所以通信變得對用戶非常不友好。
本發明的目的是通過提供交互式的且用戶友好的方法和設備來執行與用戶的對話通信，從而解決上述問題。
按照一個方面，本發明涉及一種與用戶執行對話通信的系統的方法，該方法包括以下步驟
-記錄包括動作的請求的語音信號，該動作要由上述系統執行，其中上述語音信號由上述用戶產生，-使用語音識別來分析上述記錄的語音信號，並將上述分析結果與系統中定義的預定義語義項進行比較，其中每個上述語義項都與一個動作相關聯，-根據上述比較來產生一個候選列表，其中上述候選列表標識了從上述預定義的語義項中選出的有限數量的語義項，-向上述用戶呈現上述候選列表，以及-執行與上述候選列表中上述語義項之一相關聯的動作，該動作根據預定義的準則選出，除非上述用戶從上述候選列表中選擇了一個不同的語義項。
因此，候選列表在用戶與系統間提供了延續的交互通信，這使得通信對用戶非常友好。此外，由於限制了用戶可選擇的語義項，錯誤糾正的可能性得到了大幅提高。舉例而言，如果用戶請求包括播放一首特定歌曲，但是沒有找到與這首歌曲的精確匹配，那麼顯示一個與被請求歌曲相匹配，即發音相似達到特定的預定義級別的歌曲列表。在這種情況下，用戶可能會根據被顯示的候選列表做出糾正。因為用戶的選擇僅僅基於候選列表，因此這大大降低了錯誤的風險。在另一個示例中，用戶的請求可能包括播放滾石樂隊(Rolling Stones)的一些東西。在這種情況下，產生的候選列表可能包括了滾石樂隊的所有歌曲。因此用戶可以根據上述候選列表選擇一首歌曲，即滾石樂隊的歌曲，或者系統在用戶沒有響應所顯示候選列表的情況下隨機地選擇一首歌曲。
在一個實施方案中，上述呈現的候選列表中的語義項包括了基於與用戶請求的不同匹配的各種可信度。
因此，當將該候選列表呈現給用戶的時候，與上述語義項相關聯的各種動作也可以以分選的形式呈現給用戶。例如第一個候選項是最佳匹配於用戶請求的候選項，第二個候選項是次最佳的候選項，等等。
在一個實施方案中，當將上述候選列表呈現給用戶時，上述候選列表中具有最高可信度的語義項被自動選中。
因此，用戶僅需要在具有最高可信度的候選項非正確候選項的情況下選擇一個語義項。所以上述候選列表的實際使用就被最小化了，因為很可能具有最高可信度的語義項就是正確選項。例如，用戶可能請求一個音樂自動點唱機來播放一首歌曲。在這種情況下，可能的候選列表包括與被請求歌曲具有相似發音(例如用戶的語音信號)的一首或多首歌曲。與被請求歌曲發音最接近的歌曲，即最佳匹配的那一首歌曲，因此可能是具有最高可信度的備選項。顯然，如果用戶僅僅需要在例如10％的情況下做出糾正的話，那麼通信會被大幅改善。
在一個實施方案中，如果用戶沒有選擇上述候選列表中的任何語義項，那麼上述候選列表中具有最高可信度的語義項被自動選中。
因此，沉默與贊成是一樣的。當用戶看到或聽到(這取決於候選列表是如何呈現的)具有最高可信度的備選項是正確的選項時，他/她不必做任何類型的確認。這又再次最小化了上述候選列表的實際使用。
在一個實施方案中，上述可能的候選列表在一個預定義的時間間隔內呈現給用戶。
因此，不必為用戶呈現該候選列表達一個長的時間周期，且因此系統與用戶之間的交互也變得更延續。在前一實施方案中提到如果用戶沒有響應的話，一個語義項就被自動選中，舉例而言包括在例如5秒後自動選中它，即用戶有5秒去選擇另一個語義項。
在一個實施方案中，呈現上述候選列表給用戶包括向用戶顯示上述候選列表。
因此，提供了一種方便的備選方案來將候選列表呈現給用戶。更優選地，自動檢查是否有顯示器存在。如果存在顯示器則可能使用該顯示器。
在一個實施方案中，將上述可能的候選列表呈現給用戶包括給用戶播放上述可能的候選列表。
因此，不需要顯示器來給用戶呈現候選列表。如果系統包括一個汽車導航系統，那麼這是一個非常大的益處，在這裡用戶可以在駕駛過程中與系統進行交互。
在又一方面，本發明涉及一種計算機可讀介質，其中存儲的指令使處理單元執行上述方法。
按照另一方面，本發明涉及一種要用在與用戶執行對話通信的系統中的對話設備，該對話設備包括-一個記錄器，用於記錄包括動作的請求的語音信號，該動作要由上述系統執行，其中上述語音信號由上述用戶產生，
-一個語音識別器，用於使用語音識別來分析上述記錄的語音信號，並將上述分析結果與系統中定義的預定義語義項進行比較，其中每個語義項都與一個動作相關聯，其中根據上述比較來產生一個候選列表，上述候選列表標識了從上述預定義的語義項中選出的有限數量的語義項，-用於將上述候選列表呈現給用戶的裝置，以及-用於執行與上述候選列表中上述語義項之一相關聯的動作的裝置，該動作要根據預定義的準則而選出，除非上述用戶從上述候選列表中選擇了一個不同的語義項。
因此，提供了一個可以與各種系統相集成的對用戶友好的設備，該設備改善了上述用戶與系統間的對話通信。
在一個實施方案中，用於將上述候選列表呈現給上述用戶的裝置包括一個顯示器。
更優選地，該設備適合於檢查一個顯示器是否存在，以及基於此而檢查是否應該向用戶顯示它。例如，該顯示器可被配備以一個觸控螢幕等等，使得在必要時用戶可以通過點擊來執行糾正。
在一個實施方案中，用於將上述候選列表呈現給上述用戶的裝置包括一個聲學設備。
因此，當例如顯示器不存在時，候選列表可以被大聲地播放給用戶。當然，系統可以同時被配備以顯示器和聲學設備，並且用戶可以命令該系統以對話的方式進行通信(例如因為用戶正在駕駛)，或者通過上述顯示器來通信。
下面將結合附圖，詳細地描述本發明且尤其是其優選實施方案，在附圖中，
圖1以圖形方式例示了根據本發明的用戶與系統之間的對話通信，圖2例示了用於與用戶執行對話通信的系統的方法的一個實施方案流程圖，圖3顯示了一個系統的示例，該系統包括了一個用於與用戶執行對話通信的對話設備，以及圖4顯示了根據本發明的一個對話設備，該對話設備被用在與用戶執行對話通信的系統中。
圖1以圖形方式例示了根據本發明的用戶105與系統101之間的對話通信。包括動作的請求的語音信號107由用戶產生並由系統101記錄，該動作要由上述系統101執行。通過使用語音識別而對語音信號進行分析，並將分析結果與系統101中定義的預定義語義項103進行比較。這些語義項可以是要被系統執行的動作，例如在系統101是音樂自動點唱機的情況下要播放不同的歌曲。分析可能包括在用戶請求的發音與預定義語義項103之間尋找匹配。根據該分析而產生一個候選列表109，該候選列表包括有限數量的語義項，例如111、113，它們符合與預定義語義項103的匹配準則。舉例而言，匹配準則可以包括所有的、有超過80％的可能性是正確匹配的匹配，這些匹配被認為是可能的候選項。這個候選列表109被呈現給用戶105，且與候選列表中語義項111、103之一相關聯的動作根據預定義準則被執行，除非用戶105從上述候選列表中選擇了一個不同的語義項。例如，預定義準則可包括自動選擇與具有最佳匹配的語義項相關聯的動作，即具有最高可信度的動作。
圖2顯示了用於與用戶執行對話通信的系統的方法的一個實施方案流程圖。在這個實施方案中，用戶的語音信號或用戶輸入(U_I)201包括要由上述系統執行的動作的請求，該語音信號或者用戶輸入由語音識別器處理，該語音識別器根據與該系統中預定義語義項的最佳匹配來產生一個或多個備選項或者一個候選列表(C_L)203。例如，用戶的語音信號可以包括讓音樂自動點唱機播放由Pink Floyd演唱的「wish youwere here(希望你在這裡)」的請求。根據用戶的語音信號(U_I)201，系統構造一個候選列表，該候選列表按照與系統中預定義的語義項最佳匹配的次序排序，並且自動以最佳候選項(S_O)205開始所期望的操作，即播放與標題「wish you were here」最佳匹配的候選項。如果候選列表僅包括這一個候選項(O_C？)207，那麼系統的正常操作將會繼續，例如，在設備是一個音樂自動點唱機時，正常顯示會繼續進行(E)217。
如果候選列表包括一個以上的候選項(O_C？)207，則通過例如給識別語法裝載候選條目(L_R_G)209，而將一個候選列表呈現(P_C_L)111給用戶。該候選列表可以例如包括一個具有相似發音的藝術家列表。候選列表可能被顯示達某一預定義的時間周期，因此用戶有機會選擇另一個候選條目，且由此執行糾正。但是，如果在預定義的時間周期(T_O)213內用戶沒有響應，則假定具有最佳匹配的候選項是正確的，例如，nr.l.列出的候選項。在兩種情況下，帶有候選條目的識別語法被卸載(U_R_G)215，且正常的顯示會繼續進行(E)217。
在一個實施方案中，如果在一個要形成的操作，例如播放一首歌曲的操作中，一個候選項具有非常高的可信度，則該請求被立即啟動，即該歌曲被播放，而不再提示具有低得多的可信度的可能候選列表。然而，如果該歌曲不正確，那麼用戶可以通過例如再次重複標題來表明此情況。這優選地將由該設備通過向用戶再提示可能的候選列表而進行響應。
在一個實施方案中，該候選列表被呈現，儘管候選列表中只含有一個合理的備選項。這是要提供有關設備對用戶輸入的解譯的反饋。舉例而言，如果設備與自動點唱機集成在一起，那麼在歌曲被播放的同時，歌曲名也被顯示出來。
在一個實施方案中，該設備適合為該用戶顯示可尋址項。例如，在用戶的輸入是要播放滾石樂隊的一些東西的情況中，候選列表包括滾石樂隊的所有(或者部分)歌曲。
在一個實施方案中，用戶通過說出一個可選的候選項的名字、或者通過直接或由其在列表中的位置(例如「數字2」)命名想要的可選候選項來選擇一個候選條目。在後一情形中，語音識別器可能對數字是魯棒的。
在一個實施方案中，用戶通過使用一種指示形式(modality)，例如觸控螢幕、遙控等，來選擇一個候選條目。
在一個實施方案中，最佳候選項可能由於用戶將不使用它而被排除在識別詞彙之外以便進行糾正，並且它不能被誤解為其它候選項。例如，用戶說「播放甲殼蟲樂隊(Beatles)的一些東西」，而設備將這個用戶輸入理解成「播放老鷹樂隊(Eagles)的一些東西」。當用戶注意到錯誤並重述「播放甲殼蟲樂隊的一些東西」時，該設備會排除老鷹樂隊，因為它在第一次時不正確。因此，對可能的候選項的選擇就減少了一個候選項，即老鷹樂隊。
在一個實施方案中，設備向用戶傳達哪些可尋址的條目是已知的。例如，在一個音樂自動點唱機的應用中，用戶不知道一首歌曲的正確名字，例如用戶說「Sergeant Peppers」，但是資料庫包括「SergeantPepper’s lonely heart」。因此，設備或者將這一個候選項建議給用戶，或者它立刻開始播放此歌曲。
圖3顯示了系統的示例，該系統包括了一個用於與用戶執行對話通信的對話設備。用戶301可以與具有對話設備的電視303進行交互。當設備感測到監視器存在時，它可能自動地使用該監視器與用戶301進行交互，由此可激活且在電視監視器上顯示一個候選列表，以及在一段時間後，例如5秒後，撤消(deactivate)該候選列表。當然，也可以通過對話來進行交互。例如，默認地，電視303在用戶301和對話設備之間進行交互期間被關閉。此外，如果用戶301在交互期間遇到問題，例如，因為環境噪聲級別突然增加，或者系統內的一個新應用被首次使用，那麼用戶301可以打開電視303並可獲得有關該設備理解什麼的反饋以及選擇想要的備選項的可能性。
對話設備也可以與一臺計算機或者一個「家庭對話系統」305或類似的適合與用戶301以類似人類的方式進行交互的系統集成在一起。在這一示例中，進一步使用例如照相機的附加傳感器來作為一個交互代理。此外，對話設備可以集成到任何種類的行動裝置307、觸摸墊板等等中。使用該設備的應用的另一個例子是汽車導航系統309。在所有這些情形中，對話設備適合於感測與用戶進行交互的方式，即是通過對話還是獨白。
圖4顯示了根據本發明的一個對話設備400，該對話設備要用在與用戶105執行對話通信的系統101中，其中對話設備400包括記錄器(Rec)401、語音識別器(S_R)402、顯示設備(Disp)403和/或聲學設備(Ac_D)404以及處理器(P)405。
記錄器(Rec)401記錄來自用戶105的語音信號107，其中該語音信號107可例如包括讓音樂自動點唱機播放一首歌曲的請求。然後，語音識別器(S_R)402使用語音識別來分析記錄的語音信號107，並將上述來自分析的結果與系統101中定義的以及/或預存儲的預定義語義項103進行比較。如果分析結果包括多個可能的候選備選項，則基於與系統101中預定義語義項103的最佳匹配來產生一個候選列表。然後，顯示設備(Disp)403和/或聲學設備(Ac_D)404將候選列表109呈現給上述用戶105。這可以通過例如在電視監視器上顯示該候選列表、或通過向用戶播放它來完成。這典型地是候選列表包括一個以上候選項的情況。
處理器(P)405可以例如被預先編程，因此在預定義的時間後它自動選擇最佳匹配的候選項，例如，nr.l.列出的候選項要被播放。此外，在候選列表僅包括一個候選項的情況下，系統的正常操作繼續，例如，在設備是一個音樂自動點唱機的情況下，候選項被自動播放。
值得指出的是，上述實施方案是舉例說明而不是限制本發明，本領域技術人員在不脫離所附權利要求範圍的情況下將能夠設計出多種替代實施方案。在權利要求中，任何置於括號間的參考符號都不應解釋為限制權利要求。單詞「包括」並不排除權利要求中記載之外的其它元件和步驟的存在。本發明可藉助包含幾個不同元件的硬體以及藉助一個合適編程的計算機來實現。在枚舉了幾個裝置的設備權利要求中，這些裝置中的幾個裝置可以由同一個硬體項來體現。僅僅是某些措施在一些互不相同的從屬權利要求中記載的事實並不表示不能使用這些措施的組合來獲益。
權利要求
1.一種用於與用戶(105)執行對話通信的系統(101)的方法，該方法包括如下步驟記錄包括動作的請求的語音信號(107)，該動作要由上述系統執行，其中上述語音信號(107)由上述用戶(105)產生，使用語音識別來分析上述記錄的語音信號，並將上述分析結果與系統(101)中定義的預定義語義項(103)進行比較，其中每個上述語義項(103)都與一個動作相關聯，根據上述比較產生一個候選列表(109)，其中上述候選列表(109)標識了從上述預定義的語義項(103)中選出的有限數量的語義項(111，113)向上述用戶(105)呈現上述候選列表(109)，以及執行與上述候選列表(109)中上述語義項(111，113)之一相關聯的動作，該動作根據預定義的準則選出，除非上述用戶(105)從上述候選列表(109)中選擇了一個不同的語義項。
2.根據權利要求1的方法，其中上述被呈現的候選列表(109)中的上述語義項(111，113)包括基於用戶請求的不同匹配的各種可信度。
3.根據權利要求1或2的方法，其中當將上述候選列表(109)呈現給用戶(105)時，來自上述候選列表(109)中的具有最高可信度的語義項(111，113)被自動選中。
4.根據權利要求1至3中任何一項的方法，其中如果用戶(105)沒有從上述候選列表(109)中選擇任何語義項，則來自上述候選列表(109)中具有最高可信度的語義項(111，113)被自動選中。
5.根據權利要求1至4中任何一項的方法，其中上述候選列表(109)呈現給用戶達一個預定義的時間間隔。
6.根據權利要求1至5中任何一項的方法，其中呈現上述候選列表(109)給用戶(105)包括顯示上述候選列表(109)給用戶(105)。
7.根據權利要求1至6中任何一項的方法，其中呈現上述候選列表(109)給用戶(105)包括播放上述候選列表(109)給用戶(105)。
8.一種計算機可讀介質，其中存儲的指令使處理單元執行方法1至7。
9.一種用在與用戶(105)執行對話通信的系統(101)中的對話設備(400)，包括-一個記錄器(401)，用於記錄包括動作的請求的語音信號(107)，該動作要由上述系統(101)執行，其中上述語音信號(107)由上述用戶(105)產生，-一個語音識別器(402)，用於使用語音識別來分析上述記錄的語音信號(107)，並將上述分析結果與系統(101)中定義的預定義語義項(103)進行比較，其中上述每個語義項(103)都與一個動作相關聯，其中根據上述比較來產生一個候選列表(109)，上述候選列表(109)標識了從上述預定義的語義項(103)中選出的有限數量的語義項(111，113)，-用於將上述候選列表(109)呈現給上述用戶(105)的裝置(403，404)，以及-用於執行與上述候選列表(109)中上述語義項(111，113)之一相關聯的動作的裝置(405)，該動作要根據預定義的準則選出，除非上述用戶(105)從上述候選列表(109)中選擇了一個不同的語義項。
10.根據權利要求9的對話設備，其中將上述候選列表(109)呈現給上述用戶(105)的上述裝置包括一個顯示器(403)。
11.根據權利要求9的對話設備，其中將上述候選列表(109)呈現給上述用戶(105)的上述裝置包括一個聲學設備(404)。
全文摘要
本發明涉及一種用於與用戶(105)執行對話通信的系統(101)的方法。用戶的語音信號(107)被記錄並進行分析，該語音信號包括對要由系統(101)執行的動作的請求。分析的結果與系統(101)中定義的預定義語義項(103)進行比較，其中每個語義項都與一個動作相關聯。根據上述比較來產生並向用戶(105)呈現一個候選列表(109)，這個列表標識了從預定義的語義項(103)中選出的有限數量的語義項(111，113)。與候選列表(109)中語義項之一相關聯的動作根據預定義的準則被執行，除非用戶(105)從候選列表(109)中選擇一個不同的語義項。
文檔編號G10L15/22GK1993732SQ200580026667
公開日2007年7月4日 申請日期2005年7月27日 優先權日2004年8月6日
發明者T·波特勒, H·肖爾, F·薩森謝德特, J·F·馬施納 申請人:皇家飛利浦電子股份有限公司