交互伺服器及其控制方法和交互系統的製作方法

2023-10-10 21:58:19

交互伺服器及其控制方法和交互系統的製作方法
【專利摘要】提供一種交互伺服器及其控制方法和交互系統。所述交互伺服器包括：通信器，與顯示設備進行通信來接收第一發音信號；存儲裝置，存儲在接收到第一發音信號之前從顯示設備接收的第二發音信號的發音歷史信息；提取器，從接收的第一發音信號提取發音元素；控制器，基於存儲在存儲裝置中的發音歷史信息和提取的發音元素中的至少一個產生響應信息，並將所述響應信息發送到顯示設備。因此，交互伺服器針對關於用戶的各種發音，理解用戶的意圖，以根據意圖產生響應信息，並將響應信息發送到顯示設備。
【專利說明】交互伺服器及其控制方法和交互系統
[0001]本申請要求於2013年I月7日提交到韓國知識產權局的第10-2013-0001829號韓國專利申請的優先權，其公開通過引用全部合併於此。
【技術領域】
[0002]與示例性實施例一致的設備、方法和系統總體涉及提供一種交互伺服器及其控制方法和交互系統，更具體地講，涉及提供一種提供與用戶的各種發音相應的響應信息的交互伺服器及其控制方法和交互系統。
【背景技術】
[0003]一般地，在交互式系統中能夠識別語言的顯示設備收集用戶的發音，並將收集的發音發送到通過網絡連接的外部伺服器。當外部伺服器接收到發音時，外部伺服器對發音進行解析來理解用戶的意圖，產生與發音相應的響應信息，並將響應信息發送到顯示設備。因此，顯示設備執行與用戶的發音相應的功能，或基於從外部伺服器接收的響應信息，提供與用戶的發音相應的信息。
[0004]然而，傳統的交互系統在解析用戶的發音和基於解析結果理解用戶的意圖方面存在限制。例如，在用戶的清楚發音(如，「顯示第一內容」)的情況下，外部伺服器對發音進行解析，以正確地理解用戶的意圖，產生與發音相應的響應信息，並將響應信息發送到顯示設備。因此，顯示設備基於響應信息顯示由用戶請求的第一內容。
[0005]然而，在用戶的模糊發音(如，「顯示這個」)的情況下，外部伺服器無法從模糊發音清楚地理解用戶的意圖。換句話說，交互系統僅針對預定義的發音理解用戶的意圖，並執行與預定義的發音相應的操作，或提供與預定義的發音相應的信息，從而限制了用戶的發音。

【發明內容】

[0006]示例性實施例至少解決上述問題和/或缺點以及上面未描述的其他缺點。此外，示例性實施例不需要克服上述缺點，並且示例性實施例可以不克服上面描述的任何問題。
[0007]示例性實施例提供一種交互伺服器、所述交互伺服器的控制方法和交互系統，其中，交互伺服器在交互系統中執行與用戶的各種發音相應的操作。
[0008]根據示例性實施例的一方面，提供一種交互伺服器，包括:通信器，被構造為與設備進行通信來接收第一發音信號；存儲裝置，被構造為存儲在接收到第一發音信號之前從所述設備接收的第二發音信號的發音歷史信息；提取器，被構造為從接收的第一發音信號提取發音元素；控制器，被構造為基於存儲在存儲裝置中的發音歷史信息和提取的發音元素之中的至少一個來產生響應信息，並將所述響應信息發送到所述設備。
[0009]如果分別與提取的發音元素相應的執行語言和命令被存儲在存儲裝置中，則控制器可將分別與發音元素相應的執行語言和命令進行組合來產生響應信息。如果分別與提取的發音元素相應的執行語言和命令未被存儲在存儲裝置中，則控制器可基於存儲在存儲裝置中的發音歷史信息，估計分別與提取的發音元素相應的執行語言和命令，並將估計的執行語言和命令進行組合來產生響應信息。
[0010]第一發音信號可包括第一發音元素和第二發音元素。如果分別與提取的發音元素相應的執行語言和命令未被存儲在存儲裝置中，則控制器可獲取在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息，並將獲取的發音歷史信息內的與第一發音元素相應的執行語言和與第二發音元素相應的命令估計為與第一發音信號相應的執行語目和命令。
[0011]如果存儲在存儲裝置中的發音歷史信息不包括在基於接收到第二發音信號的時間的預設時間內存儲的發音歷史信息，則控制器可以不產生響應信息。
[0012]如果第一發音信號不包括第一發音元素和第二發音元素中的至少一個，則控制器可根據在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息，產生與第二發音信號相應的響應信息。
[0013]交互伺服器可還包括:語音處理器，被構造為將接收的第一語音信號轉換為文本信息。
[0014]根據示例性實施例的另一方面，提供一種控制交互伺服器的方法。所述方法可包括:從設備接收第一發音信號；從接收的第一發音信號提取發音元素；基於存儲的發音歷史信息和提取的發音元素之中的至少一個來產生響應信息；將產生的響應信息發送到所述設備。存儲的發音歷史信息可以是在接收到第一發音信號之前基於從所述設備接收的第二發音信號產生的信息。
[0015]所述方法可還包括:確定分別與提取的發音元素相應的執行語言和命令是否存在。如果分別與發音元素相應的執行語言和命令存在，則分別與發音元素相應的執行語言和命令可被組合來產生響應信息，並且如果分別與發音元素相應的執行語言和命令不存在，則與提取的發音元素相應的執行語言和命令可基於存儲的發音歷史信息被估計並可被組合來產生響應信息。
[0016]第一發音信號可包括第一發音元素和第二發音元素。如果分別與發音元素相應的執行語言和命令不存在，則可獲取在基於接收到第二發音的時間的預設時間範圍內存儲的發音歷史信息，並且獲取的發音歷史信息內的與第一發音元素相應的執行語言和與第二發音元素相應的命令可被估計為與第一發音信號相應的執行語言和命令。
[0017]如果發音歷史信息不包括在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息，則可以不產生響應信息。
[0018]如果第一發音信號可不包括第一發音元素和第二發音元素中的至少一個，則可根據在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息產生與第一發音信號相應的響應信息。
[0019]所述方法可還包括:將接收的第一發音信號轉換為文字信息。
[0020]根據示例性實施例的另一方面，提供一種交互系統，包括:設備，如果輸入了用戶的發音，則執行與輸入的發音相應的功能；交互伺服器，如果從所述設備接收到第一語音信號，則從第一發音信號提取發音元素，基於存儲的發音歷史信息和提取的發音元素中的至少一個來產生響應信息，將所述響應信息發送到所述設備。所述設備可基於從交互伺服器接收的響應信息，執行與用戶的意圖相應的功能。
[0021]如果分別與提取的發音元素相應的執行語言和命令存在，則交互伺服器可基於分別與發音元素相應的執行語言和命令，產生響應信息，並且如果分別與提取的發音元素相應的執行語言和命令不存在，則交互伺服器基於存儲的發音歷史信息估計分別與提取的發音元素相應的執行語言和命令，並將估計的執行語言和命令進行組合來產生響應信息。
[0022]根據不例性實施例的一方面,上面提及的時間可與第一發音信號和第二發音信號的發音之間的時間差相關。根據另一示例性實施例的一方面，上面提及的設備可以是顯示設備。
[0023]根據示例性實施例的另一方面，第一發音信號可由第一用戶發出，發音歷史信息可與第二用戶的發音輸入相關。
[0024]根據本總體發明構思的各種示例性實施例，在交互系統中，交互伺服器可針對用戶的各種發音理解用戶的意圖，產生各種發音的響應信息，並將所述響應信息發送到顯示設備。
【專利附圖】

【附圖說明】
[0025]通過參照附圖對特定示例性實施例進行描述，以上和/或其他方面將更加清楚，其中:
[0026]圖1是示出根據本總體發明構思的示例性實施例的提供適用於用戶的發音的響應信息的交互系統的示圖；
[0027]圖2是示出根據本總體發明構思的另一示例性實施例的提供適用於用戶的發音的響應信息的交互系統的示圖；
[0028]圖3是示出根據本總體發明構思的示例性實施例的交互伺服器的框圖；
[0029]圖4是示出根據本總體發明構思的示例性實施例的基於顯示在顯示設備的屏幕上的對象的顯示狀態產生發音信息的方法的示圖；
[0030]圖5是示出根據本總體發明構思的示例性實施例的顯示設備的框圖；
[0031]圖6是示出根據本總體發明構思的示例性實施例的控制交互伺服器的方法的流程圖；
[0032]圖7是示出根據本總體發明構思的示例性實施例的通過交互伺服器產生響應信息的方法的流程圖。
【具體實施方式】
[0033]參照附圖更詳細地描述示例性實施例。
[0034]在下面的描述中，即使在不同的附圖中，相同的附圖標號也被用於相同的元件。提供在描述中被定義的內容(諸如詳細的結構和元件)以幫助對示例性實施例的全面的理解。因此，明顯的是，在沒有那些明確定義的內容的情況下，示例性實施例能被執行。並且，因為公知的功能或結構會以不必要的細節模糊本示例性實施例，所以不對其進行詳細描述。
[0035]圖1是示出根據本總體發明構思的示例性實施例的提供適用於用戶的發音的響應信息的交互系統的示圖。
[0036]參照圖1，根據本示例性實施例的交互系統包括顯示設備100和交互伺服器200。
[0037]顯示設備100可被實現為上網的各種類型的電子設備，諸如，智能TV、諸如智慧型電話的可攜式電話、桌上型PC、筆記本PC、導航系統等。如果用戶的發音被輸入，則顯示設備100執行與用戶的發音相應的操作。詳細地，顯示設備100輸出與用戶的發音相應的響應信息，或執行與用戶的發音相應的功能。換句話說，顯示設備10對輸入的發音進行解析，來確定輸入的發音是否可內部執行，並根據確定結果執行與輸入的發音相應的功能，或基於從交互伺服器200接收的響應信息執行操作。
[0038]例如，如果發音「調高音量」被輸入，則顯示設備100基於與輸入的發音相應的預存控制信息條中的一個來調整音量。
[0039]作為另一示例，如果發音「今天天氣如何？ 」被輸入，則顯示設備100將輸入的發音的發音信號發送到交互伺服器200。這裡，所述發音可以是模擬信號。因此，顯示設備100將作為模擬信號的發音轉換為數位訊號(以下稱為「發音」)並將所述數位訊號發送到交互伺服器200。顯示設備100基於從交互伺服器200接收的響應信息，將今天天氣的結果輸出為語音或文本格式圖像。
[0040]作為另一示例，如果發音「顯示〇〇〇(內容名稱)」被輸入，則顯示設備100將輸入的發音發送到交互伺服器200。如果從交互伺服器200接收到響應信息，則顯示設備100基於接收的響應信息顯示「〇〇〇(內容名稱)」的搜索列表。這裡，搜索列表可包括每個劇集的內容信息。因此，用戶檢查顯示在搜索列表上的劇集的內容信息，以做出用於選擇用戶想觀看的劇集的〇〇〇(內容名稱)的發音。例如，用戶做出「顯示第一個」的發音，以觀看與顯示在搜索列表上的內容信息中的第一個相應的「〇〇〇(內容名稱)」。因此，顯示設備100接收發音「顯示第一個」，並將發音「顯示第一個」發送到交互伺服器200。如果從交互伺服器200接收到與所述發音相應的響應信息，則顯示設備100從內容提供伺服器300接收與第一內容信息相應的「〇〇〇(內容名稱)」，並基於接收的響應信息顯示「〇〇〇(內容名稱)」。[0041]交互伺服器200基於從顯示設備100接收的用戶的發音，來提供適用於用戶的意圖的響應信息。詳細地，如果從顯示設備100接收到用戶的發音，則交互伺服器200從接收的發音提取發音元素，並基於提取的發音元素產生並發送與用戶的發音相關的響應信息。如上所述，從顯示設備100接收的用戶的發音可以是數位訊號。因此，如果接收到被轉換為數位訊號的發音，則交互伺服器200將發音產生為文本信息，對所述文本信息進行解析來提取發音元素，並基於提取的發音元素來產生與用戶的發音相應的響應信息。從被轉換為數位訊號的發音產生文本信息是公知技術，從而這裡將省略對其的詳細描述。
[0042]發音元素是用於執行用戶請求的操作的用戶的發音的核心關鍵字，並被分類為根據域、用戶動作和特徵而提取的發音元素。如上所述，如果針對用戶的發音「今天天氣如何？ 」產生了文本信息，則交互伺服器200提取發音元素「今天」、「天氣」和「如何」。交互伺服器200將發音元素「今天」和「天氣」分類為特徵(以下稱為待執行的對象)的發音元素(以下稱為第一發音元素)，並將發音元素「如何？ 」分類為用戶動作(以下稱為執行命令)的發音元素(以下稱為第二發音元素)。交互伺服器200基於提取的發音元素將域的發音元素(以下稱為第三發音元素)分類為屬於網絡搜索域。當從用戶的發音的文本信息分類出第一發音元素至第三發音元素時，從提供各種類型的內容的外部伺服器400將天氣信息提供給交互伺服器200，並且交互伺服器200產生包括天氣信息的響應信息，並將響應信息發送到顯示設備100。因此，顯示設備100基於從交互伺服器200接收的響應信息通過語音和文本中的至少一個來顯示關於今天天氣的信息。[0043]如果發音「選擇第一個」的文本信息被產生，則交互伺服器200從產生的文本信息提取第一發音元素「第一個」和第二發音元素「選擇」。如果第一發音元素和第二發音元素被提取，則交互伺服器200基於提取的第一發音元素和第二發音元素來確定是否產生適合用戶的意圖的響應信息。根據示例性實施例，交互伺服器200可根據與提取的第一發音元素和第二發音元素相應的信息是否存在於資料庫(DB)中，來確定是否產生適合用戶的意圖的響應信息。這裡，與第一發音元素和第二發音元素相應的信息可以是分別與第一發音元素相應的執行語言和與第二發音元素相應的命令。因此，交互伺服器200確定分別與第一發音元素和第二發音元素相應的執行語言和命令是否存在於DB中。如果確定與第一發音元素和第二發音元素相應的信息不存在於DB中，則交互伺服器200基於就在發音「選擇第一個」被接收之前存儲的發音歷史信息和提取的第一發音元素和第二發音元素中的一個來產生響應信息，並將所述響應信息發送到顯示設備100。例如，可就在接收到發音「選擇第一個」之前接收到發音「搜索〇〇〇(內容名稱)」，並且關於發音「〇〇〇(內容名稱)」的發音歷史信息可被存儲。因此，交互伺服器200基於先前的發音歷史信息產生與「〇〇〇(內容名稱)」的內容執行相關的響應信息，並將響應信息發送到顯示設備100。因此，顯示設備100基於從交互伺服器200接收的響應信息來顯示「〇〇〇(內容名稱)」的第一內容。
[0044]交互伺服器200可包括第一伺服器10和第二伺服器20，其中，所述第一伺服器10將被轉換為數位訊號的用戶的發音產生為文本信息，所述第二伺服器20產生與被產生為文本信息的發音相應的響應信息。現在將詳細描述通過顯示設備100和第一伺服器10以及第二伺服器20提供適合用戶的發音的響應信息的交互系統。
[0045]圖2是示出根據本總體發明構思的另一示例性實施例的提供適合用戶的發音的響應信息的交互系統的 示圖。
[0046]如圖2中所示，如果從用戶輸入了發音，則顯示設備100將輸入的發音轉換為數位訊號，並將所述數位訊號發送到第一伺服器10。如果接收到被轉換為數位訊號的發音，則第一伺服器10根據存儲的各種發音的特定模式產生用戶的發音的文本信息，並將文本信息發送到顯示設備100。
[0047]顯示設備100從第一伺服器10接收用戶的發音的文本信息，並將用戶的發音的文本信息發送到第二伺服器20。第二伺服器20接收用戶的發音的文本信息，並對接收的文本信息進行解析以提取發音元素，基於提取的發音元素產生用於執行與用戶的發音相應的操作的響應信息，並將響應信息發送到顯示設備100。
[0048]已簡要地示意性描述了在包括顯示設備100和交互伺服器200的交互系統中提供與用戶的發音相應的響應信息的操作。現在將詳細描述顯示設備100的元件和交互伺服器200的元件。
[0049]圖3是示出根據本總體發明構思的示例性實施例的交互伺服器200的框圖。
[0050]參照圖3，交互伺服器200包括通信器210、語音處理器220、存儲裝置230、提取器240和控制器250。
[0051]通信器210與提供用戶的發音的顯示設備100進行通信。具體地，通信器210接收發音的數位訊號(以下稱為發音)，其中，所述發音包括指示待執行對象的第一發音元素和指示執行命令的第二發音元素。這裡，指示待執行對象的第一發音元素是被分類為用戶的發音中的特徵的發音元素。另外，指示執行命令的第二發音元素是被分類為用戶的發音中的用戶動作的發音元素。例如，在發音「搜索動作電影」中，「動作」可以是被分類為特徵的第一發音元素，「搜索」可以是分類為用戶動作的第二發音元素。
[0052]如果如上所述包括第一發音元素和第二發音元素的發音被接收到，則語音處理器220將接收的發音轉換為文本信息。根據示例性實施例，語音處理器220可通過使用語音到文本(STT)算法將接收的用戶的發音轉換為文本。然而，本總體發明構思不限於此，並且因此，通信器210可從顯示設備100接收用戶的發音的文本信息。在這種情況下，顯示設備100從語音識別設備(未示出)(諸如第一伺服器10)接收用戶的發音的文本信息，並將用戶的發音的文本信息發送到交互伺服器200。因此，通信器210從顯示設備100接收用戶的發音的文本信息。如果從顯示設備100接收到用戶的發音的文本信息，則可省略語音處理器220的配置。
[0053]如果用戶的發音被轉換為文本信息，或者用戶的發音的文本信息被從顯示設備100接收，則提取器240從被轉換為文本信息的發音提取發音元素。如上所述，提取器240可從被轉換為文本信息的發音提取指示特徵的第一發音元素和指示執行命令的第二發音元素。
[0054]如上述示例中，提取器240可從發音「搜索動作電影」提取第一發音元素「動作」和「電影」以及第二發音元素「搜索」。作為另一示例，提取器240可從發音「執行這個」提取第一發音元素「這個」和第二發音元素「執行」。
[0055]如果如上所述的發音元素被提取，則控制器250基於存儲在存儲裝置230中的發音歷史信息和提取的發音元素產生響應信息，並將產生的響應信息發送到顯示設備100。這裡，存儲裝置230是存儲操作交互伺服器200所需的各種類型的程序的存儲介質，並可被實現為存儲器、硬碟驅動器(HDD)等。例如，存儲裝置230可包括存儲用於執行控制器250的操作的程序的只讀存儲器(ROM)、臨時存儲根據控制器250的操作的執行而產生的數據的隨機存取存儲器(RAM)等。存儲裝置230可還包括存儲各種類型的參考數據的電可擦除和可編程ROM(EEROM)。具體地，存儲裝置230存儲從顯示設置100接收的發音的發音歷史信息。這裡，發音歷史信息指基於在從顯示設備100接收到當前發音之前所接收的發音而產生的信息。詳細地，存儲裝置230存儲發音歷史信息，所述發音歷史信息包括從接收自顯示設備100的發音所產生的文本信息、關於當接收到相應的發音時的時間信息、基於相應的發音產生的響應信息和關於當產生所述響應信息時的時間信息中的至少一個。
[0056]因此，控制器250基於在接收到當前發音之前存儲在存儲裝置230中的先前發音歷史信息和從接收的發音所提取的發音元素中的至少一個來產生響應信息，並將響應信息發送到顯示設備100。詳細地，控制器250確定與由提取器240提取的發音元素相應的信息是否存在於存儲裝置230中。如果確定與提取的發音元素相應的信息存在於存儲裝置230中，貝1J控制器250基於與提取的發音兀素相應的信息產生響應信息。這裡,與提取的發音兀素相應的信息可包括與指示待執行的對象的第一發音元素相應的執行語言和與指示執行命令的第二發音元素相應的命令中的至少一個。執行語言和命令可被存儲在存儲裝置230中。換句話說，存儲裝置230可還包括根據第一發音元素定義的執行語言和根據第二發音元素定義的命令。例如，間接指示待執行對象「這個」的第一發音元素可被定義為執行語言「$這個$」。間接指示待執行對象「下一個」的第一發音元素可被定義為執行語言「$下一個$」。間接指示待執行對象「第三個」的第一發音元素可被定義為執行語言「$第三個$」。直接指示待執行對象如「〇〇〇(內容名稱)」的第一發音元素可被定義為執行語言「$ OOO(內容名稱)$」。基於直接指示待執行對象的第一發音元素和提供與發音相應的響應信息的執行區域，指示執行命令的第二發音元素可被分類為內容搜索、內容推薦、裝置功能執行、裝置用戶界面(UI)控制和網絡搜索。可根據分類的類型定義命令。因此，如果發音元素被從用戶的發音提取，則控制器250確定與提取的發音元素相應的執行語言和命令是否已被存儲在存儲裝置230中。如果確定與提取的語音元素相應的執行語言和命令已被存儲在存儲裝置230中，則控制器250獲取與提取的發音元素相應的執行語言和命令，並將獲取的執行語言和命令進行組合以產生響應信息。
[0057]例如，提取器240可從發音「搜索〇〇〇(內容名稱)」提取第一發音元素「〇〇〇(內容名稱)」和第二發音元素「搜索」。如果第一發音元素和第二發音元素被從發音「搜索〇〇〇(內容名稱)」提取，則控制器250基於提取的第一發音元素確定執行區域是內容。控制器250還參照存儲在存儲裝置230中的根據第一發音元素定義的執行語言，獲取與第一發音元素「〇〇〇(內容名稱)」相應的執行語言「 $〇〇〇(內容名稱)$」。控制器250基於確定為內容的執行區域來確定第二發音元素「搜索」的類型與內容搜索相關。因此，控制器250從存儲在存儲裝置230中的根據第二發音元素定義的命令獲取與內容搜索相應的命令「content^earch (內容搜索)」。控制器250將分別與第一發音元素和第二發音元素相應的執行語言「$〇〇〇(內容名稱)$」和命令「content_search」進行組合，來產生執行命令腳本「content^earch ($〇〇〇(內容名稱)$)」。如果執行命令腳本被產生，則控制器250將包括產生的執行命令腳本的響應信息發送到顯示設備100。因此，顯示設備100基於包括在從交互伺服器200接 收的響應信息中的執行命令腳本，從內容提供伺服器300接收「〇〇〇(內容名稱)」的劇集的內容信息，並在屏幕上顯示劇集的接收的內容信息的內容列表。
[0058]然而，本總體發明構思不限於此，從而控制器250可基於執行命令腳本「content_search ($〇〇〇(內容名稱)$)」，從存儲在存儲裝置230中的電子節目指南(EPG)獲取「〇〇〇(內容名稱)」的劇集的內容信息,或可從外部伺服器400接收內容信息，並將內容信息發送到顯示設備100。
[0059]作為另一示例，提取器240可從發音「進行就寢時間預訂」提取第一發音元素「就寢時間預訂」和第二發音元素「進行」。如果第一發音元素和第二發音元素被從發音「進行就寢時間預訂」提取，則控制器250基於提取的第一發音元素確定執行區域是裝置控制。控制器250還參照存儲在存儲裝置230中的根據第一發音元素定義的執行語言，獲取與第一發音元素「就寢時間預訂」相應的執行語言「$就寢時間預訂$」。控制器250基於被確定為裝置控制的執行區域，確定第二發音元素「進行」的類型與裝置功能執行相應。因此，控制器250從存儲在存儲裝置230中的根據第二發音元素定義的命令獲取與裝置功能執行相應的命令「devidexecute (裝置執行)」。控制器250將分別與第一發音元素和第二發音元素相應的執行語言「$就寢時間預訂$」和命令「device_execute」進行組合，來產生執行命令腳本「device_execute ($就寢時間預訂$)」。如果產生了執行命令腳本，則控制器250將包括產生的執行命令腳本的響應信息發送到顯示設備100。因此，顯示設備100基於從交互伺服器200接收的響應信息的執行命令腳本來設置就寢時間預訂，並通過語音和文本中的至少一個來輸出顯示已設置了就寢時間預訂的通知消息。[0060]作為另一示例，如果包括發音「選擇第一個」和執行信息的發音信息被接收到，則提取器240從發音「選擇第一個」提取第一發音元素「第一個」和第二發音元素「選擇」。如果第一發音元素和第二發音元素被從發音「選擇第一個」提取，則控制器250參照存儲在存儲裝置230中的根據第一發音元素定義的執行語言，獲取與第一發音元素「第一個」相應的執行語言「$第一個$」。控制器250基於接收的發音信息的執行信息確定執行區域是裝置UI控制，並基於確定的執行區域確定第二發音元素「選擇」的類型與裝置UI控制相應。因此，控制器250從存儲在存儲裝置230中的根據第二發音元素定義的命令獲取與裝置UI控制相應的命令「deVice_select (裝置選擇)」。如果獲取了與第一發音元素「第一個」相應的執行語言「$第一個$」，則控制器250基於從顯示設備100接收的發音信息的執行信息，將執行語言轉換為與獲取的執行語言「$第一個$」相應的執行語言。控制器250將從獲取的執行語言「$第一個$」轉換的執行語言與命令進行組合來產生執行命令腳本。
[0061]現在將描述如上述示例中的將發音和包括執行信息的發音信息從顯示設備100發送到交互伺服器200的操作和基於交互伺服器200中的從顯示設備100接收的發音信息產生響應信息的操作。
[0062]圖4是示出根據本總體發明構思的示例性實施例的基於顯示在顯示設備的屏幕上的對象的顯示狀態產生發音信息的方法的示圖。
[0063]如圖4中所示，顯示設備100通過用戶請求的頻道接收並顯示第一內容30。顯示設備100還基於用戶命令在屏幕上顯示用戶請求的第二內容的內容列表40。直到現在已廣播的第二內容的劇集的內容信息41至45被顯示在內容列表40上。顯示設備100基於預設優先級將標識信息分配給顯示在內容列表40上的內容信息41至45。當如上所述第一內容30和第二內容的內容列表40被顯示在屏幕上時，用戶參照顯示在內容列表40上的內容信息41至45，做出發音以觀看與特定劇集相應的第二內容。例如，用戶做出發音「選擇第三個」以觀看與第三劇集的內容信息43相應的第二內容。如果輸入了這樣的發音，則顯示設備100基於先前發音的輸入時間，確定當前輸入的發音是否在預設時間內被輸入。如果確定當前輸入的發音在預設時間內被輸入，則顯示設備100將發音「選擇第三個」發送給交互伺服器200。如果確定當前輸入的發音沒有在預定時間內被輸入，則顯示設備100將發音「選擇第三個」和發音信息發送到交互伺服器200，其中，發音信息包括分別分配給顯示在內容列表40上的劇集的內容信息41至45的標識信息(上述執行信息)。
[0064]如果如上所述發音信息被接收到，則提取器240從接收的發音信息的發音提取第一發音元素「第三個」和第二發音元素「選擇」。如果第一發音元素和第二發音元素被提取，則控制器250確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令是否已被存儲在存儲裝置230中。如上所述，存儲裝置230可存儲分別根據第一發音元素和第二發音元素定義的執行語言和命令。因此，控制器250參照存儲在存儲裝置230中的根據第一發音元素定義的執行語言，獲取與第一發音元素「第三個」相應的執行語言「$第三個$」。控制器250基於接收的發音信息的標識信息確定執行區域是裝置UI控制，並基於確定的執行區域確定第二發音元素「選擇」的類型是裝置UI控制。因此，控制器250從存儲在存儲裝置230中的根據第二發音元素定義的命令獲取與裝置UI控制相應的命令「device_select」。如果獲取了與第一發音元素「第三個」相應的執行語言「$第三個$」，則控制器250基於包括在從顯示設備100接收的發音信息中的標識信息，將執行語言轉換為與獲取的執行語言「$第三個$」相應的執行語言。例如，如果與執行語言「$第三個$」相應的內容信息43的標識信息是「#3」，則控制器250可將執行語言「$第三個$」轉換為從獲取的執行語言「$第三個$」轉換的執行語言「#3」。控制器250將執行語言「#3」和命令「deVice_select」進行組合來產生執行命令腳本「device_select (#3)」，並將包括執行命令腳本「device_select (#3)」的響應信息發送到顯示設備100。因此，顯示設備100基於包括在從交互伺服器200接收的響應信息中的執行命令腳本，從內容提供伺服器300接收並顯示與內容信息43相應的劇集的第二內容。
[0065]如果如上所述存在與從用戶的發音提取的發音元素相應的執行語言和命令，則控制器250基於與發音元素相應的執行語言和命令，產生與用戶的意圖相應的響應信息。
[0066]如果不存在與從用戶的發音提取的發音元素相應的執行語言和命令，則控制器250基於存儲在存儲裝置230中的發音歷史信息估計與提取的發音元素相應的執行語言和命令。控制器250將估計的執行語言和命令進行組合來產生適合用戶的意圖的響應信息。
[0067]根據示例性實施例，如果不存在與提取的發音元素(例如，第一發音元素和第二發音元素)相應的執行語言和命令，則控制器250從存儲在存儲裝置230中的發音歷史信息獲取在基於接收到當前發音的時間的預設時間範圍內存儲的發音歷史信息。控制器250將獲取的發音歷史信息內的與第一發音元素相應的執行語言和與第二發音元素相應的命令估計為與接收的發音相應的執行語言和命令。如果在存儲在存儲裝置230中的發音歷史信息之中，未基於接收到當前發音的時間存儲在預設時間範圍內存儲的發音歷史信息，則控制器250不產生響應信息。
[0068]如上所述，存儲裝置230可存儲發音歷史信息，其中，所述發音歷史信息包括從接收自顯示設備100的發音而產生的文本信息、關於當接收到相應的發音時的時間信息、基於相應的發音產生的響應信息和關於當產生響應信息時的時間信息中的至少一個。因此，如果分別與從當前接收的發音提取的第一發音元素和第二發音元素相應的執行語言和命令中的至少一個未被存儲在存儲裝置230中，則控制器250基於存儲在存儲裝置230中的發音歷史信息估計分別與第一發音元素和第二發音元素相應的執行語言和命令。
[0069]例如，提取器240可從發音「選擇第一個」提取第一發音元素「第一個」和第二發音元素「選擇」。如果如上所述第一發音元素和第二發音元素被提取，則控制器250確定分別與第一發音元素和第二發音元素相應的執行語言和命令是否已被存儲在存儲裝置230中。詳細地，控制器250參照存儲在存儲裝置230中的根據第一發音元素定義的執行語言，獲取與發音元素「第一個」相應的執行語言「$第一個$ 」。控制器250確定是否可能基於第一發音元素確定執行區域。如果確定不可能從第一發音元素「第一個」確定執行區域，則控制器250不從存儲裝置230獲取與第二發音元素「選擇」相應的命令，其中，所述存儲裝置230存儲根據第二發音元素定義的命令。因此，控制器250從發音「選擇第一個」確定用於提供發音的服務的執行區域和執行命令不清楚。根據確定結果，控制器250確定在存儲在存儲裝置230中的發音歷史信息之中，在基於接收到發音「選擇第一個」的時間的預設時間範圍內的發音歷史信息是否被存儲。換句話說，控制器250確定發音「選擇第一個」的接收時間和存儲在存儲裝置230中的發音歷史信息之中的最新的先前發音歷史信息之間的時間差是否屬於預設時間範圍。如果確定最新的先前發音歷史信息不屬於預設時間範圍，則控制器250不產生關於發音「選擇第一個」的響應信息。如果確定最新的先前發音歷史信息屬於預設時間範圍，則提取器240從包括在最新的先前發音歷史信息中的發音的文本信息提取第
一發音元素和第二發音元素。
[0070]例如，如果包括在先前發音歷史信息中的發音是「搜索「〇〇〇(內容名稱)」」，則提取器240提取第一發音元素「〇〇〇(內容名稱)」和第二發音元素「搜索」。控制器250基於從先前發音歷史信息的發音提取的第一發音兀素「〇〇〇(內容名稱)」，將第一發音兀素「第一個」估計為第一發音元素「〇〇〇(內容名稱)」。控制器250基於估計的第一發音元素確定執行區域是裝置Π控制，並從存儲在存儲裝置230中的根據第二發音元素定義的命令獲取與裝置UI控制相應的命令「device_select」。控制器250將與獲取的第一發音元素相應的執行語言「$第一個$」和與第二發音元素相應的命令「deVice_select」進行組合來產生執行命令腳本「device_select ($第一個$)」。控制器250將包括產生的執行命令腳本的響應信息發送到顯示設備100。因此，顯示設備100基於從交互伺服器200接收的響應信息通過語音和文字中的至少一個，來輸出響應消息「你已選擇了第一內容」。顯示設備100還基於響應信息的執行命令腳本從內容提供伺服器300接收第一內容，並顯示第一內容。[0071]根據另一示例性實施例，如果接收的發音不包括第一發音元素和第二發音元素中的至少一個，則控制器250可基於存儲在存儲裝置230中的發音歷史信息之中的在基於接收到發音的時間的預設時間範圍內存儲的發音歷史信息，產生響應信息。
[0072]例如，提取器240沒有從發音「是」提取到第一發音元素和第二發音元素。在這種情況下，控制器250確定發音「是」不清楚，並從存儲在存儲裝置230中的發音歷史信息獲取基於接收到發音「是」的時間的預設時間範圍內存儲的先前發音歷史信息。例如，如果包括在獲取的先前發音歷史信息中的發音是「關閉TV」，則控制器250提取第一發音元素「TV」和第二發音元素「關閉」。控制器250基於提取的第一發音元素和第二發音元素將當前接收的發音「是」估計為「確認」。因此，控制器250基於從先前發音歷史信息提取的第一發音元素「TV」確定執行區域是裝置控制。控制器250參照存儲在存儲裝置230中的根據第一發音元素定義的執行語音，獲得與第一發音元素「TV」相應的執行語言「$TV$」。控制器250基於被確定為裝置控制的執行區域確定第二發音元素「關閉」的類型是裝置功能執行。因此，控制器250從存儲在存儲裝置230中的根據第二發音元素定義的命令獲取與裝置功能執行相應的命令。控制器250從獲取的與裝置功能執行相應的命令獲取與電源控制相應的命令「device_execute_turen off (裝置執行關閉)」。控制器250將與第一發音元素相應的執行語言「$TV$」和與第二發音元素相應的命令「devicejxecutejuren off」進行組合來產生執行命令腳本「device_execute_turen off ($TV$)」。如果產生了執行命令腳本,貝丨J控制器250將包括產生的執行命令腳本的響應信息發送到顯示設備100。因此，顯示設備100基於包括在從交互伺服器200接收的響應信息中的執行命令腳本，關閉TV。
[0073]已詳細描述了根據本發明總體構思的交互伺服器200的元件。現在將詳細描述接收用戶的發音的顯示設備100的元件。
[0074]圖5是示出根據本總體發明構思的示例性實施例的顯示設備100的框圖。
[0075]參照圖5，顯示設備100包括輸入裝置110、通信器120、顯示裝置130、控制器140和存儲裝置150。
[0076]輸入裝置110從用戶接收發音。詳細地，如果輸入了用戶的模擬發音，則輸入裝置110對用戶的輸入模擬發音進行採樣來將模擬發音轉換為數位訊號。這裡，如果用戶的輸入發音包括噪聲(例如，空調聲音、清潔器聲音等)，則輸入裝置110從用戶的發音去除噪聲，並隨後將已去除噪聲的用戶的發音轉換為數位訊號。輸入裝置110還接收各種類型的用戶控制，並將各種類型的用戶控制發送到控制器130。在這種情況下，輸入裝置110通過觸摸面板、鍵盤(包括各種類型的功能鍵、數字鍵、專用鍵、字母鍵等)或觸控螢幕接收用戶控制命令。
[0077]通信器120將通過輸入裝置110輸入的用戶的發音發送到伺服器設備(以下稱為交互伺服器)，並接收與發送的發音相應的響應信息。這裡，通信器120可包括各種類型的通信模塊，諸如，近場通信(NFC)模塊(未示出)、無線通信模塊(未示出)等。這裡，NFC模塊(未示出)與交互伺服器200和提供內容的外部伺服器(未示出)進行通信，並可以是藍牙通信模塊、Zigbee通信模塊等。這裡，交互伺服器200和外部伺服器被放置在近場中。無線通信模塊根據無線通信協議(諸如，WiF1、電氣和電子工程師協會(IEEE)等)連接到外部網絡，以執行通信。無線通信模塊可還包括根據各種類型的移動通信標準(諸如，第三代(3G)、第三代合作夥伴計劃(3GPP)、長期演進(LTE)等)接入移動通信網絡以執行通信的移動通信模塊。
[0078]顯示裝置130可被實現為液晶顯示器(IXD)、有機發光顯示器(0LED)、等離子顯示面板(PDP)等，來通過顯示設備100提供各種類型的顯示屏幕。具體地，顯示裝置130基於從交互伺服器200接收的響應信息，顯示與用戶的發音相應的內容或內容信息。[0079]控制器140控制顯示設備100的元件。具體地，如果包括通過組合執行語言和命令而產生的執行命令腳本的響應消息被從交互伺服器200接收到，則控制器140基於包括在接收的響應信息中的執行命令腳本執行操作。
[0080]如果如上述示例中用戶的發音「搜索〇〇〇(內容名稱)」被從交互伺服器200接收至|J，則控制器140基於接收的響應信息的執行命令腳本，通過通信器120從內容提供伺服器300接收「〇〇〇(內容名稱)」的劇集的內容信息，並通過顯示裝置130在屏幕上顯示劇集的內容信息的內容列表。詳細地，從交互伺服器200接收的響應信息可包括執行命令腳本「content_search ($〇〇〇(內容名稱)$)」。因此,控制器140對執行命令腳本「content_search ($〇〇〇(內容名稱)$)」進行解析來分類為執行語言「$〇〇〇(內容名稱)$」和命令「content^earch」。如果如上所述從執行命令腳本分類出執行語言和命令，則控制器140基於分類的執行語言控制顯示裝置130從內容提供伺服器300接收「〇〇〇(內容名稱)」的劇集的內容信息，並在屏幕上顯示劇集的內容信息的內容列表。然而，本總體發明構思不限於此，因此通信器120可從交互伺服器200接收包括「〇〇〇(內容名稱)」的劇集的內容信息的響應信息。在這種情況下，控制器140可通過顯示裝置130在屏幕上顯示包括在從交互伺服器200接收的響應信息中的「〇〇〇(內容名稱)」的劇集的內容信息。
[0081]如果如另一上述示例關於用戶的發音「進行就寢時間預訂」的響應信息被從交互伺服器200接收到，則控制器140基於包括在接收的響應信息中的執行命令腳本自動將就寢時間預訂設置為預設時間。詳細地，從交互伺服器200接收的響應信息可包括執行命令腳本「device_execute ($就寢時間預訂$)」。因此,控制器140對執行命令腳本「device_execute ($就寢時間預訂$)」進行解析來分類為執行語言「$就寢時間預訂$」和命令「裝置執行」。如果從執行命令腳本分類出執行語言和命令，則控制器140基於分類的執行語言自動將就寢時間預訂設置為預設時間。如果如上所述自動設置就寢時間預訂，則控制器140基於接收的響應信息通過顯示裝置130在屏幕上輸出文本格式通知消息「已完全設置就寢時間預訂」。
[0082]如圖4中所示，顯示裝置130可根據控制器140的控制命令通過用戶請求的頻道接收並顯示第一內容30。顯示裝置130可基於用戶命令在屏幕上顯示用戶請求的第二內容的內容列表40。如果如上所述包括第二內容的劇集的內容信息41至45的內容列表40被顯示在屏幕上，則控制器140可基於預設優先級將標識信息分配給劇集的內容信息41至45中的每一個。如果第一內容30和第二內容的內容列表40被顯示在屏幕上，則可從用戶輸入用於觀看與特定劇集相應的第二內容的發音。例如，用戶可做出發音「選擇第三個」來觀看與第三劇集的內容信息43相應的第二內容。如果此發音被輸入，則控制器140確定發音「選擇第三個」的發音歷史信息是否已被存儲在存儲裝置150中。這裡，發音歷史信息可包括從先前用戶輸入的發音和關於當相應的發音被輸入時的時間信息。如果確定發音歷史信息已被存儲在存儲裝置150中，則控制器140將包括發音「選擇第三個」的發音信息和分配給劇集的內容信息41至45的標識信息發送到交互伺服器200。
[0083]如果確定發音歷史信息已存儲在存儲裝置150中，則控制器140基於包括在存儲的發音歷史信息中的時間信息，獲取最新的發音歷史信息。控制器140基於包括在獲取的發音歷史信息中的時間信息，確定發音「選擇第三個」是否已在預設時間內被輸入。如果確定發音「選擇第三個」已在預設時間內被輸入，則控制器140通過通信器120將發音「選擇第三個」發送到交互伺服器200。如果確定發音「選擇第三個」在預設時間內未被輸入，則控制器140將包括發音「選擇第三個」的發音信息和分配給顯示在內容列表40上的劇集的內容信息41至45的標識信息(上述執行信息)發送到交互伺服器200。
[0084]如果關於發音「選擇第三個」的響應信息被從交互伺服器200接收到，則控制器140基於包括在接收的響應信息中的執行命令腳本，從內容提供伺服器300接收與第三劇集的內容信息43相應的第二內容，並通過顯示裝置130顯示第二內容。
[0085]已詳細描述了識別用戶的發音並基於與識別的發音相應的響應信息執行操作的顯示設備100的元件。現在將詳細描述控制提供與用戶的發音相應的響應信息的交互伺服器200的方法，以及控制基於響應信息執行操作的顯示設備100的方法。
[0086]圖6是示出根據本總體發明構思的示例性實施例的控制交互伺服器的方法的流程圖。
[0087]參照圖6，在操作S610，交互伺服器200從顯示設備100接收發音信號(以下稱為發音)。這裡，用戶的發音是從模擬語音信號轉換為數位訊號的語音信號。在操作S620，交互伺服器200將接收的發音轉換為文本信息。根據示例性實施例，交互伺服器200可通過使用STT算法將用戶的發音轉換為文本。然而，本總體發明構思不限於此，因此交互伺服器200可從顯示設備100接收用戶的發音的文本信息。在這種情況下，顯示設備100從自動語音識別(ASR)伺服器(諸如，第一伺服器10)接收用戶的發音的文本信息，並將所述文本信息發送到交互伺服器200。因此，交互伺服器200可從顯示設備100接收用戶的發音的文本信息。
[0088]如果用戶的發音被轉換為文本信息或從顯示設備100接收到用戶的發音的文本信息，則在操作S630，交互伺服器200從轉換為文本信息的發音提取發音元素。換句話說，交互伺服器200從轉換為文本信息的發音提取指示特徵的第一發音元素和指示執行命令的第二發音元素。如果提取出第一發音元素和第二發音元素中的至少一個，則在操作S640，交互伺服器200確定是否可能基於提取的發音元素產生適合用戶的意圖的響應信息。如果在操作S640確定不可能基於提取的發音元素產生響應信息，則交互伺服器200不從用戶的發音產生響應信息。如果在操作S640確定可能基於提取的發音元素產生響應信息，則在操作S650,交互伺服器200從用戶的發音產生響應信息。在操作S660,交互伺服器200將響應信息發送到顯示設備100。
[0089]詳細地，如果從用戶的發音提取出第一發音元素和第二發音元素，則交互伺服器200確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令是否已被存儲。這裡，第一發音元素是指示特徵的發音元素，第二發音元素是指示執行命令的發音元素。因此，交互伺服器200確定與指示特徵的第一發音元素相應的執行語言和與指示執行命令的第二發音元素相應的命令是否已被存儲。如果確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令已被存儲，則交互伺服器200將分別與提取的第一發音元素和第二發音元素相應的執行語言和命令進行組合來產生執行命令腳本。如果確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令未被存儲，則交互伺服器200確定是否可能基於存儲的發音歷史信息估計分別與提取的第一發音元素和第二發音元素相應的執行語言和命令。如果確定可能基於存儲的發音歷史信息估計分別與提取的第一發音元素和第二發音元素相應的執行語言和命令，則交互伺服器200將估計的執行語言和命令進行組合來產生執行命令腳本。如果確定不可能基於存儲的發音歷史信息估計分別與提取的第一發音元素和第二發音元素相應的執行語言和命令，則交互伺服器200不產生用戶的發音的響應信息。如上所述，交互伺服器200確定是否可能基於從用戶的發音提取的發音元素和存儲的發音歷史信息產生用戶的發音的響應信息，並根據確定結果將產生的響應信息發送到顯示設備100。
[0090]現在將參照圖7詳細描述在交互伺服器200中基於從用戶的發音提取的發音元素和存儲的發音歷史信息產生響應信息的方法。
[0091]圖7是示出根據本總體發明構思的示例性實施例的在交互伺服器中產生響應信息的方法的流程圖。
[0092]參照圖7，通過上述操作620，用戶的發音被轉換為文本信息或者轉換為文本信息的發音被從顯示設備100接收到。如果如上所述用戶的發音被轉換為文本信息或被接收至|J，則交互伺服器200從轉換為文本信息的發音提取發音元素。如果提取出發音元素，則在操作S710，交互伺服器200對提取的發音元素進行解析來確定發音元素是否包括指示特徵的第一發音元素和指示執行命令的第二發音元素。如果在S710確定提取的發音元素不包括第一發音元素和第二發音元素中的至少一個，則交互伺服器200通過操作S740確定先前發音歷史信息是否已被存儲，將稍後對其進行描述。
[0093]如果從用戶的發音提取出第一發音元素和第二發音元素，則在操作S720，交互伺服器200確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令是否存在。如果在操作S720確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令存在，則在操作730，交互伺服器200將分別與提取的第一發音元素和第二發音元素相應的執行語言和命令進行組合來產生響應信息。如果在操作S720確定分別與提取的第一發音元素和第二發音元素相應的執行語言和命令不存在，則在操作S740，交互伺服器200確定發音的發音歷史信息是否在接收到用戶的發音之前存在。如果在操作S740確定發音歷史信息不存在，則交互伺服器200不產生關於用戶的發音的響應信息。如果在操作S740確定發音歷史信息存在，則在操作S750，交互伺服器200獲取在基於接收到用戶的發音的時間的預設時間範圍內存儲的發音歷史信息。在操作S760，交互伺服器200將獲取的發音歷史信息內的與從用戶的發音提取的第一發音元素相應的執行語言和與從用戶的發音提取的第二發音元素相應的命令估計為的與用戶的發音相應的執行語言和命令。如果如上所述從用戶的發音提取執行語言和命令，則在操作S770，交互伺服器200將估計的執行語言和命令進行組合來產生響應信息。
[0094]現在將描述如果從用戶的發音提取的發音元素不包括第一發音元素和第二發音元素中的至少一個，則在交互伺服器200中產生用戶的發音的響應信息的方法。
[0095]例如，交互伺服器200沒有從發音「是」提取第一發音元素和第二發音元素。在這種情況下，交互伺服器200確定發音「是」不清楚並從存儲的發音歷史信息獲取在基於接收到發音「是」的時間的預設時間範圍內存儲的先前發音歷史信息。例如，如果包括在獲取的先前發音歷史信息中的發音是「關閉TV」，則交互伺服器200提取第一發音元素「TV」和第二發音元素「關閉」。交互伺服器200基於提取的第一發音元素和第二發音元素將當前接收的發音「是」估計為「確認」。因此，交互伺服器200基於從先前發音歷史信息提取的第一發音元素「TV」確定執行區域是裝置控制。交互伺服器200參照根據存儲的第一發音元素而定義的執行語言來獲取與第一發音元素「TV」相應的執行語言「$TV$」。交互伺服器200基於被確定為裝置控制的 執行區域，確定第二發音元素「關閉」的類型與裝置功能執行相關。因此，交互伺服器200從根據存儲的第二發音元素而定義的命令來獲取與裝置功能執行相應的命令。交互伺服器200從獲取的與裝置功能執行相應的命令獲取與電源控制相應的命令「devicejxecutejuren off」。交互伺服器200將執行語言「$TV$ 」和第二發音元素相應的命令「device_execute_turen off」進行組合來產生執行命令腳本「device_execute_turen ofT($TV$)」。如果如上所述產生執行命令腳本，則交互伺服器200產生包括產生的執行命令腳本的響應信息。
[0096]現在將描述如果分別與從用戶的發音提取的第一發音元素和第二發音元素相應的執行語言和命令存在，則在交互伺服器200中產生用戶的發音的響應信息的方法。
[0097]如果輸入了發音「搜索〇〇〇(內容名稱)」，則交互伺服器200從發音「搜索〇〇〇(內容名稱)」提取第一發音元素「〇〇〇(內容名稱)」和第二發音元素「搜索」。如果如上所述提取了第一發音元素和第二發音元素，則交互伺服器200基於提取的第一發音元素確定執行區域是內容。交互伺服器200從根據存儲的第一發音元素定義的命令提取與第一發音元素「〇〇〇(內容名稱)」相應的執行語言「$〇〇〇(內容名稱)$」。交互伺服器200基於被確定為內容的執行區域，確定第二發音元素「搜索」的類型與內容搜索相關。因此，交互伺服器200從根據存儲的第二發音元素定義的命令獲取與內容搜索相應的命令「content_search，，。
[0098]如果如上所述獲取了分別與第一發音元素和第二發音元素相應的執行語言和命令，則交互伺服器200將執行語言「$〇〇〇(內容名稱)丨」和命令「⑶社的七^冊代^』進行組合來產生執行命令腳本「content_searCh ($〇〇〇(內容名稱)$)」。如果產生了執行命令腳本，則交互伺服器200產生包括產生的執行命令腳本的響應信息。[0099]現在將描述如果分別與從用戶的發音提取的第一發音元素和第二發音元素相應的執行語言和命令不存在，則在交互伺服器200中產生用戶的發音的響應信息的方法。
[0100]例如，交互伺服器200可從發音「選擇第一個」提取第一發音元素「第一個」和第二發音元素「選擇」。如果如上所述提取了第一發音元素和第二發音元素，則交互伺服器200確定分別與第一發音元素和第二發音元素相應的執行語言和命令是否已被存儲。詳細地，交互伺服器200參照根據存儲的第一發音元素定義的執行語言，獲取與第一發音元素「第一個」相應的執行語言「$第一個$」。交互伺服器200確定是否可能基於提取的第一發音元素確定執行區域。如果確定不可能基於第一發音元素「第一個」確定執行區域，則交互伺服器200不從根據存儲的第二發音元素定義的命令獲取與第二發音元素「選擇」相應的命令。因此，交互伺服器200從發音「選擇第一個」確定用於提供發音的服務的執行區域和執行命令不清楚。根據確定結果，交互伺服器200確定存儲的發音歷史信息是否包括在基於發音「選擇第一個」的時間的預設時間範圍內存儲的發音歷史信息。換句話說，交互伺服器200確定發音「選擇第一個」和存儲的發音歷史信息之中的最新存儲的先前發音歷史信息的時間之間的時間差是否屬於預設時間範圍。如果確定發音「選擇第一個」和存儲的發音歷史信息之中的最新存儲的先前發音歷史信息的時間之間的時間差不屬於預設時間範圍，則交互伺服器200不產生發音「選擇第一個」的響應信息。如果確定最新存儲的先前發音歷史信息屬於預設時間範圍，則交互伺服器200從包括在先前發音歷史信息中的發音的文本信息提取第一發音元素和第二發音元素。
[0101]例如，如果包括在先前發音歷史信息中的發音是「〇〇〇(內容名稱)」，則交互伺服器200提取第一發音元素「〇〇〇(內容名稱)」和第二發音元素「搜索」。交互伺服器200基於從包括在先前發音歷史信息中的發音提取的第一發音元素和第二發音元素中的第一發音元素「〇〇〇(內容名稱)」，將第一發音元素「第一個」估計為第一發音元素「〇〇〇(內容名稱)」。交互伺服器200基於估計的第一發音元素，確定執行區域是裝置UI控制，並從根據存儲的第二發音元素定義的命令獲取與裝置Π控制相應的命令「deViCe_SeleCt」。交互伺服器200將與獲取的第一發音元素相應的執行語言「$第一個$」和與第二發音元素相應的命令「device_select」進行組合來產生執行命令腳本「device_select ($第一個$)」。如果產生了執行命令腳本，則交互伺服器200產生包括產生的執行命令腳本的響應信息。
[0102]如上所述，根據本總體發明構思的交互伺服器200對用戶的發音進行解析來理解用戶的意圖，並確定是否可能基於理解的用戶的發音意圖產生響應信息。如果確定不可能基於用戶的發音意圖產生響應信息，則交互伺服器200基於用戶的先前發音產生用戶的當前發音的響應信息。因此，用戶按照用戶希望表達的方式來做出發音，而無需被限於特定發音，以被提供發音的服務。
[0103]上述示例性實施例和優點僅是示例性的，並且不應被解釋為限制性的。本教導可容易地應用於其它類型的設備。此外，示例性實施例的描述意是說明，而不是限制權利要求的範圍，並且許多替換、修改和變化對與本領域技術人員而言將是清楚的。
【權利要求】
1.一種交互伺服器,包括: 通信器，被構造為與設備進行通信來接收第一發音信號； 存儲裝置，被構造為存儲在接收到第一發音信號之前從所述設備接收的第二發音信號的發音歷史信息； 提取器，被構造為從接收的第一發音信號提取發音元素； 控制器，被構造為基於存儲在存儲裝置中的發音歷史信息和提取的發音元素之中的至少一個來產生響應信息，並將所述響應信息發送到所述設備。
2.如權利要求1所述的交互伺服器，其中， 如果分別與提取的發音元素相應的執行語言和命令被存儲在存儲裝置中，則控制器將分別與發音元素相應的執行語言和命令進行組合來產生響應信息； 如果分別與提取的發音元素相應的執行語言和命令未被存儲在存儲裝置中，則控制器基於存儲在存儲裝置中的發音歷史信息，估計分別與提取的發音元素相應的執行語言和命令，並將估計的執行語言和命令進行組合來產生響應信息。
3.如權利要求2所述的交互伺服器，其中: 第一發音信號包括第一發音兀素和第二發音兀素； 如果分別與提取的發音元素相應的執行語言和命令未被存儲在存儲裝置中，則控制器獲取在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息，並將獲取的發音歷史信息內的與第一發音元素相應的執行語言和與第二發音元素相應的命令估計為與第一發音信號相應的執行語言和命令。
4.如權利要求3所述的交互伺服器，其中，如果存儲在存儲裝置中的發音歷史信息不包括在基於接收到第二發音信號的時間的預設時間內存儲的發音歷史信息，則控制器不產生響應信息。
5.如權利要求3所述的交互伺服器,其中，如果第一發音信號不包括第一發音兀素和第二發音元素中的至少一個，則控制器根據在基於接收到第二發音信號的時間的預設時間內存儲的發音歷史信息，產生與第二發音信號相應的響應信息。
6.如權利要求1所述的交互伺服器，還包括: 語音處理器，被構造為將接收的第一語音信號轉換為文本信息。
7.—種控制交互伺服器的方法，所述方法包括: 從設備接收第一發音信號； 從接收的第一發音信號提取發音元素； 基於存儲的發音歷史信息和提取的發音兀素之中的至少一個來產生響應信息； 將產生的響應信息發送到所述設備， 其中，存儲的發音歷史信息是在接收到第一發音信號之前基於從所述設備接收的第二發音信號產生的信息。
8.如權利要求7所述的方法，還包括: 確定分別與提取的發音元素相應的執行語言和命令是否存在， 其中，如果分別與提取的發音元素相應的執行語言和命令存在，則分別與發音元素相應的執行語言和命令被組合來產生響應信息，並且如果分別與發音元素相應的執行語言和命令不存在，則與提取的發音元素相應的執行語言和命令基於存儲的發音歷史信息被估計並被組合來產生響應信息。
9.如權利要求8所述的方法，其中: 第一發音信號包括第一發音兀素和第二發音兀素； 如果分別與發音元素相應的執行語言和命令不存在，則獲取在基於接收到第二發音的時間的預設時間範圍內存儲的發音歷史信息，並且獲取的發音歷史信息內的與第一發音元素相應的執行語言和與第二發音元素相應的命令被估計為與第一發音信號相應的執行語H和命令。
10.如權利要求9所述的方法，其中，如果發音歷史信息不包括在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息，則不產生響應信息。
11.如權利要求9所述的方法，其中，如果第一發音信號不包括第一發音元素和第二發音元素中的至少一個，則根據在基於接收到第二發音信號的時間的預設時間範圍內存儲的發音歷史信息產生與第一發音信號相應的響應信息。
12.如權利要求7所述的方法，還包括: 將接收的第一發音信號轉換為文字信息。
【文檔編號】G06F3/0487GK103914234SQ201410006748
【公開日】2014年7月9日 申請日期:2014年1月7日 優先權日:2013年1月7日
【發明者】鄭知惠, 李清宰, 李蕙汀, 申容旭 申請人:三星電子株式會社