顯示設備、控制顯示設備的方法、伺服器以及控制伺服器的方法

2023-05-25 16:22:06

顯示設備、控制顯示設備的方法、伺服器以及控制伺服器的方法
【專利摘要】本發明公開了一種顯示設備。該顯示設備包括：語音收集單元，配置為收集用戶的語音；第一通信單元，向第一伺服器發送用戶語音，並且從第一伺服器接收與用戶語音相對應的文本信息；第二通信單元，向第二伺服器發送接收到的文本信息，並且接收與文本信息相對應的響應信息；輸出單元，基於響應信息，輸出與用戶語音相對應的響應消息；以及控制單元，當再次收集到具有相同話語意圖的用戶語音時，控制輸出單元輸出與對應於先前收集到的用戶語音的響應消息有區別的響應消息。
【專利說明】顯示設備、控制顯示設備的方法、伺服器以及控制伺服器的方法
[0001]相關申請的交叉參考
[0002]本申請要求2012年6月15日向韓國知識產權局遞交的韓國專利申請N0.10-2012-0064500的優先權，其全部公開內容通過引用合併於此。
【技術領域】
[0003]根據示例實施例的方法和設備涉及顯示設備、控制顯示設備的方法、對話型系統，更具體地，涉及與伺服器互連並且根據用戶的語音而受控的顯示設備，控制顯示設備的方法、伺服器以及控制伺服器的方法。
【背景技術】
[0004]由於電子技術的發展，各種類型的顯示設備得以開發和配銷，顯示設備具有多種功能。最近，電視與網際網路連接以提供網際網路服務，並且用戶能夠通過這樣的電視觀看大量數字廣播頻道。
[0005]同時，正在開發使用語音識別的技術來更方便和直觀地控制顯示設備的技術。具體地，電視能夠執行識別用戶語音的功能，並且執行諸如音量控制和改變頻道等與用戶語音相對應的功能。
[0006]然而，識別用戶語音的傳統顯示設備僅提供與識別的語音相對應的功能，並而不通過與用戶的對話提供交互信息，這成為一種限制。

【發明內容】

[0007]示例實施例的一個方面涉及可以與外部伺服器互連並且支持與用戶對話的顯示設備，控制顯示設備的方法、伺服器、以及控制伺服器的方法。
[0008]根據示例實施例，一種顯示設備可以包括:語音收集單元，收集用戶的語音；第一通信單元，向第一伺服器發送語音，並且從第一伺服器接收與語音相對應的文本信息；第二通信單元，向第二伺服器發送接收到的文本信息，並且接收與文本信息相對應的響應信息；輸出單元，基於響應信息，輸出與語音相對應的響應消息；以及控制單元，當再次收集到與先前收集的用戶語音具有相同話語意圖的用戶語音時，控制輸出單元輸出第二響應消息，第二響應消息與對應於先前收集的用戶語音的第一響應消息有區別。
[0009]這裡，第二伺服器可以分析文本信息，以確定語音中包括的話語意圖，並且向顯示設備發送與確定的話語意圖相對應的響應信息。
[0010]此外，當依次接收的第一文本信息和第二文本信息中包括的話語意圖相同時，第二伺服器可以產生與第二文本信息相對應的第二響應消息，以與對應於第一文本信息的第一響應信息有區別，並且向顯不設備發送產生的第二響應信息。
[0011]此外，控制單元可以基於與第二文本信息相對應的第二響應信息，控制輸出單元將與再次接收到的用戶語音相對應的響應消息作為為語音和文本中的至少一種輸出。[0012]此外，控制單元可以基於與第二文本信息相對應的第二響應信息，控制輸出單元將從顯不設備輸出的內容的音頻音量輸出為相對低於作為響應消息輸出的語音的音量。
[0013]此外，控制單元可以基於與第二文本信息相對應的第二響應信息，將與再次接收到的用戶語音相對應的響應消息作為其中預定關鍵詞被加重的文本輸出。
[0014]同時，根據示例實施例，一種與顯示設備互連的伺服器可以包括:通信單元，接收與顯示設備中收集的用戶語音相對應的文本信息；以及控制單元，配置為分析文本信息以確定語音中包括的話語意圖，並且控制通信單元向顯示設備發送與確定的話語意圖相對應的響應信息，其中，當第一文本信息和第二文本信息中包括的話語意圖相同時，控制單元產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區另IJ，並且向顯示設備發送產生的第二響應信息。
[0015]這裡，顯示設備可以基於響應信息，將與語音相對應的響應消息作為語音和文本中的至少一種輸出。
[0016]此外，控制單元可以產生與第一文本信息相對應的第一響應信息，使得顯示設備將響應消息作為語音和文本之一輸出，並且當依次接收到第一文本信息和第二文本信息時，產生與第二文本信息相對應的第二響應信息，使得顯不設備將響應消息作為語音和文本之一輸出。
[0017]此外，當依次接收到第一文本信息和第二文本信息時，控制單元可以產生與第二文本信息相對應的第二響應信息，使得從顯示設備輸出的內容的音頻音量低於作為響應消息輸出的語音的音量。
[0018]此外，當依次接收到第一文本信息和第二文本信息時，控制單元可以產生與第一文本信息相對應的第一響應信息，使得顯不設備將響應消息作為文本輸出，並且產生與第二文本信息相對應的第二響應信息，使得顯示設備將第二響應消息作為其中關鍵詞被加重的文本輸出。
[0019]同時，根據示例實施例，一種顯示設備的控制方法可以包括:收集用戶語音；向第一伺服器發送語音，並從第一伺服器接收與語音相對應的文本信息；向第二伺服器發送接收到的文本信息，並且接收與文本信息相對應的響應信息；並且當再次收集到與先前收集的用戶語音具有相同話語意圖的用戶語音時，基於響應信息輸出第二響應消息，第二響應消息與對應於先前收集的用戶語音的第一響應消息有區別。
[0020]這裡，第二伺服器可以分析文本信息，並且確定用戶語音中包括的話語意圖，並且向顯示設備發送與確定的話語意圖相對應的響應信息。
[0021]此外，當依次接收的第一文本信息和第二文本信息中包括的話語意圖相同時，第二伺服器可以產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區別，並且向顯不設備發送產生的第二響應信息。
[0022]此外，所述輸出可以包括:基於與第二文本信息相對應的第二響應信息，將與再次接收到的用戶語音相對應的響應消息作為語音和文本中的至少一種輸出。
[0023]此外，所述輸出可以包括:基於與第二文本信息相對應的第二響應信息，輸出從顯不設備輸出的內容的音頻音量，該音頻音量低於作為響應消息輸出的語音的音量。
[0024]此外，所述輸出可以包括:基於與第二文本信息相對應的第二響應信息，將與再次接收到的用戶語音相對應的第二響應消息作為其中關鍵詞被加重的文本輸出。[0025]同時，根據示例實施例，一種與顯示設備互連的伺服器的控制方法可以包括:接收與在顯示設備中收集的用戶語音相對應的文本信息；分析文本信息並確定語音數據中包括的話語意圖；並且當第一文本信息和第二文本信息中包括的話語意圖相同時，產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區別，並且向顯示設備發送產生的與第二文本信息相對應的第二響應信息。
[0026]這裡，顯示設備可以基於產生的第二響應信息，將與語音相對應的響應消息作為語音和文本中的至少一種輸出。
[0027]此外，所述發送可以包括:當依次接收到第一文本信息和第二文本信息時，產生與第一文本信息相對應的第一響應信息，使得顯示設備將響應消息作為語音和文本中的至少一種輸出，並且產生與第二文本信息相對應的第二響應信息，使得顯不設備將響應消息作為語音和文本中的至少一種輸出。
[0028]此外，所述發送可以包括:當依次接收到第一文本信息和第二文本信息時，產生與第二文本信息相對應的第二響應信息，使得從顯不設備輸出的內容的音頻音量低於作為響應消息輸出的語音的音量。
[0029]此外，所述發送可以包括:當依次接收到第一文本信息和第二文本信息時，產生與第一文本信息相對應的第一響應信息，使得顯不設備將響應消息作為文本輸出，並且產生與第二文本信息相對應的第二響應信息，使得顯示設備將第二響應消息作為其中關鍵詞被加重的文本輸出。
[0030]根據另一示例實施例，提供了一種顯示設備，包括:語音收集單元，收集語音；通信單元，向第一伺服器發送語音，並且從第一伺服器接收與語音相對應的文本信息，向第二伺服器發送接收到的文本信息，並且接收與文本信息相對應的響應信息；輸出單元，基於響應信息，輸出與語音相對應的響應消息；以及控制單元，配置為當收集到與先前收集的用戶語音具有相同話語意圖的語音時，控制輸出單元輸出第二響應消息，第二響應消息與對應於先前收集的語音的第一響應消息有區別。
[0031]根據另一示例實施例，提供了一種與顯示設備交互的伺服器，該伺服器包括:通信單元，接收分別與第一語音和第二語音相對應的第一文本信息和第二文本信息；以及控制單元，配置為分析第一文本信息和第二文本信息，以確定第一語音和第二語音中包括的話語意圖，並且控制通信單元向顯示設備發送與確定的話語意圖相對應的響應信息，其中，當第一文本信息和第二文本信息中包括的話語意圖相同時，控制單元產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區別，並且向顯不設備發送產生的第二響應信息。
[0032]根據示例實施例，提供了一種顯示設備的控制方法，該控制方法包括:收集第一語音並且隨後收集第二語音；向第一伺服器發送第一語音，向第一伺服器發送第二語音，並從第一伺服器接收分別與第一語音和第二語音相對應的第一文本信息和第二文本信息；向第二伺服器發送接收到的第一文本信息和第二文本信息，並且接收分別與第一文本信息和第二文本信息相對應的第一響應信息和第二響應信息；並且當第二語音與先前收集的第一語音具有相同的話語意圖時，基於第二響應信息輸出第二響應消息，第二響應消息與對應於先前收集的第一語音的第一響應消息有區別。
[0033]根據又一示例實施例，提供了一種顯示設備的控制方法，該控制方法包括:收集第一語音並且隨後收集第二語音；向第一伺服器發送第一語音，向第一伺服器發送第二語音，並從第一伺服器接收分別與第一語音和第二語音相對應的第一文本信息和第二文本信息；向第二伺服器發送接收到的第一文本信息和第二文本信息，並且接收分別與第一文本信息和第二文本信息相對應的第一響應信息和第二響應信息；並且當第二語音與先前收集的第一語音具有相同的話語意圖時，基於第二響應信息輸出第二響應消息，第二響應消息與對應於先前收集的第一語音的第一響應消息有區別。
[0034]根據上述各個示例實施例，能夠提供一種顯示設備，支持與用戶對話，提高用戶的便利性。此外，在再次收集到具有相同話語意圖的用戶語音的情況下，顯示設備可以輸出與先前不同的關於用戶語音的響應消息，從而增強了用戶的理解
【專利附圖】

【附圖說明】
[0035]參照附圖，示例實施例的以上和/或其他方面更加顯而易見，在附圖中:
[0036]圖1是用於說明根據示例實施例的對話型系統的視圖；
[0037]圖2是用於說明圖1中示出的對話型系統的每個操作的時序圖；
[0038]圖3是用於說明圖1中示出的顯示設備的配置的框圖；
[0039]圖4是用於說明圖3中示出的顯示設備的詳細配置的框圖；
[0040]圖5是用於說明圖1中示出的第一伺服器的配置的框圖；
[0041]圖6是用於說明圖6中示出的第二伺服器的配置的框圖；
[0042]圖7是用於說明圖6中示出的第二伺服器的詳細配置的框圖；
[0043]圖8至10是用於說明根據示例實施例的對話型系統的操作的視圖；
[0044]圖11是用於說明根據示例實施例的控制顯示設備的方法的流程圖；以及
[0045]圖12是用於說明根據示例實施例的控制與顯示設備互連的伺服器的方法的流程圖。
【具體實施方式】
[0046]在下文中，參照附圖更詳細地描述特定示例實施例。
[0047]在以下描述中，當相同的元件在不同附圖中示出時相同的附圖標記用於相同的元件。提供說明書中定義的事物(例如詳細構造和元件)以有助於全面理解示例實施例。然而，沒有這些具體定義的事物也可以執行示例實施例。同樣，由於公知的功能或元件可能以不必要的細節模糊示例實施例，因此不對其進行詳細描述。
[0048]圖1是用於說明根據示例實施例的對話型系統的視圖。如圖1所示，對話型系統包括顯示設備100、第一伺服器200和第二伺服器300。顯示設備100可以是如圖1所示的智能電視，但這僅是一個示例，因此顯示設備可以實現為多種電子設備，例如智慧型電話之類的行動電話、臺式個人計算機(PC)、筆記本電腦和導航設備等。
[0049]同時，遙控器(未示出)可以控制顯示設備100。例如，如果顯示設備100由電視來實現，則可以根據從遙控器(未示出)接收到的控制信號執行諸如電源開/關、頻道改變和音量調節等操作。
[0050]顯示設備100向第一伺服器200發送收集的用戶語音。用戶的「語音」可以包括語音數據、用戶的有聲語句，用戶的有聲提問，用戶的有聲聲音等。當從顯示設備100接收到用戶語音時，第一伺服器200將接收到的用戶語音轉換成文本信息(或文本)，並且向顯示設備100發送文本信息。
[0051]此外，顯示設備100向第二伺服器300發送從第一伺服器200接收到的文本信息。當從顯示設備100接收到文本信息時，第二伺服器300產生與接收到的文本信息相對應的響應信息，並且向顯示設備100發送產生的響應信息。
[0052]顯示設備100可以基於從第二伺服器300接收到的響應信息執行多種操作。例如，顯示設備100可以輸出與用戶語音相對應的響應消息。這裡，可以將響應信息輸出為語音和文本中的至少一種。更具體地，當輸入詢問廣播節目的廣播時間的用戶語音時，顯示設備100可以將對應廣播節目的廣播時間輸出為語音或文本，或二者的組合。
[0053]此外，顯示設備100可以執行與用戶語音相對應的功能。例如，當輸入針對改變頻道的用戶語音時，顯示設備100可以選擇並顯示對應的頻道。在這種情況下，顯示設備100可以連同對應頻道一起提供與對應功能相對應的響應消息。在上述示例中，顯示設備可以將與改變後的頻道有關的信息或示出了頻道改變已完成的消息，作為至少語音或文本輸出。
[0054]具體地，當再次收集到具有相同話語意圖的用戶語音時，顯示設備100可以輸出與對應於先前收集的用戶語音的響應消息有區別的響應消息。即，在上述示例中，在輸入詢問廣播節目的廣播時間的用戶語音，然後再次輸入詢問相同廣播節目的廣播時間的用戶語音的情況下，顯示設備100可以通過多種方法以與之前不同的形式輸出對應節目的廣播時間。
[0055]圖2是用於說明圖1中示出的對話型系統的每個操作的時序圖。
[0056]根據圖2，顯示設備100收集用戶語音(Sll)，並且向第一伺服器發送收集到的用戶語音(S12)。更具體地，當發起用於收集用戶語音的模式時，顯示設備100可以收集在預定距離內用戶發出的用戶語音，並且向第一伺服器200發送收集到的語音。
[0057]為此，顯示設備100可以具有用於接收用戶發出的語音的麥克風。在這種情況下，麥克風可以實現為以一體形式置於顯示設備100內，或者可以與顯示設備100分離。在與顯示設備100分離地設置麥克風的情況下，麥克風可以按照以下形式來實現:可以由用戶握持，或者放置在桌子上並且經由有線或無線與顯示設備100連接。
[0058]第一伺服器200將從顯示設備100收集到的用戶語音轉換成文本信息(S13)。更具體地，第一伺服器200可以實現STT(語音到文本)算法，將從顯示設備100接收到的用戶語音轉換成文本信息。此外，第一伺服器200向顯不設備100發送文本信息(S14)。
[0059]顯示設備100向第二伺服器300發送從第一伺服器200接收到的文本信息(S15)。
[0060]當從顯示設備100接收到文本信息時，第二伺服器300產生與文本信息相對應的響應信息(S16)，並且向顯示設備100發送響應信息(S17)。
[0061]這裡，響應信息包括用於在顯示設備100中輸出響應消息的響應消息信息。響應消息是與顯示設備100中收集到的用戶語音相對應的回答，並且響應消息信息可以是從顯示設備100輸出的以文本格式表達的關於用戶語音的響應消息。相應地，顯示設備100可以基於響應消息信息，將與用戶語音相對應的響應消息作為語音和文本中的至少一種輸出。此外，響應信息還可以包括用於執行與用戶語音相對應的功能的控制命令。
[0062]同時，顯示設備100基於接收到的響應信息執行與用戶語音相對應的操作(S18)。[0063]更具體地，顯示設備100可以基於響應信息中包括的響應消息信息輸出與用戶語音相對應的響應消息。即，當從第二伺服器300接收到具有文本形式的響應消息信息時，顯示設備100可以使用TTS (文本到語音)算法來將文本轉換成語音並輸出結果，或者配置UI (用戶界面)屏幕以包括形成響應消息信息的文本，並且輸出結果。
[0064]例如，在顯示設備中收集到表達「000(廣播節目)什麼時間播出？」的用戶語音的情況下，第二伺服器300可以向顯示設備100發送表達「在星期六下午7點」的文本格式響應消息信息。相應地，顯示設備100可以將表達「在星期六下午7點」的響應消息作為語音和文本中的至少一種輸出。
[0065]此外，根據響應信息中包括的控制命令，顯示設備100可以控制執行與用戶語音相對應的功能。例如，在收集到表達「在顯示設備100中記錄000(廣播節目)」的用戶語音的情況下，第二伺服器300可以向顯示設備100發送用於執行「000」預約記錄功能的控制命令。相應地，顯示設備100可以執行對應廣播節目的預約記錄功能。
[0066]在這種情況下，響應信息還可以包括與顯示設備100中執行的功能相對應的響應消息信息。例如，在上述示例中，能夠連同控制命令一起向顯示設備100發送表達「已經預約了記錄000」的文本格式響應消息信息，並且顯示設備100可以將表達「已經預約了記錄000」的響應消息作為語音和文本中的至少一種輸出，同時執行預約的記錄功能。
[0067]當再次收集到用戶語音時(S19)，顯示設備向第一伺服器200發送再次收集到的用戶語音(S20)，並且第一伺服器200將從顯示設備接收到的用戶語音轉換成文本信息(S21)。
[0068]接著，當第一伺服器向顯示設備100發送文本信息時(S22)，顯示設備100向第二伺服器300發送接收到的文本信息。
[0069]當從顯示設備100接收到文本信息時，第二伺服器300產生與文本信息相對應的響應信息(S24)，並且向顯示設備100發送產生的文本信息(S25)。
[0070]這裡，在當前接收到的文本信息中包括的用戶話語意圖與先前接收到的文本信息中包括的用戶話語意圖不同時，第二伺服器300按照相同方法產生響應信息，並且向顯示設備100發送結果。
[0071]然而，在當前接收到的文本信息中包括的用戶話語意圖與先前接收到的文本信息中包括的用戶話語意圖相同時，第二伺服器300產生對應於當前接收到的文本信息的響應信息，以與先前產生的響應信息有區別，並且向顯示設備100發送產生的響應信息。
[0072]例如，在輸入表達「馬上要播出的節目名是什麼？ 」的用戶語音，然後輸入具有相同話語意圖的用戶語音的情況下，具有相同話語意圖的用戶語音包括與之前相同的用戶語音(例如「馬上要播出的節目名是什麼？ 」)、以及可以引起與之前相同的回答的用戶語音(例如，「你說什麼？ 」或「你能再說一遍嗎？ 」)。
[0073]在這種情況下，第二伺服器300可以產生響應信息，使得在顯示設備100中作為語音或文本輸出表達「你請求的廣播節目名是000 (廣播節目)」的響應消息，或者產生響應信息，使得將表達「你請求的廣播節目名是000(廣播節目)」的響應消息作為其中廣播節目名被加重的文本來輸出。此外，在顯示設備100中正播放內容的情況下，第二伺服器300可以產生控制命令，該控制命令使從顯不設備100輸出的內容的音頻音量低於作為響應消息輸出的語音音量。[0074]顯示設備100基於響應信息執行與用戶語音相對應的操作(S26)。在再次收集到具有相同話語意圖的用戶語音的情況下，與當前用戶語音相對應的響應消息可以按照多種形式輸出，以與對應於先前用戶語音的響應消息相區分。
[0075]更具體地，顯示設備100可以將響應消息作為語音或文本輸出，或者作為其中預定關鍵詞被加重的文本輸出，或者輸出比從顯示設備100輸出的內容的音頻音量高的響應消息的語音音量。
[0076]圖3是用於說明圖1中示出的顯示設備的配置的框圖。根據圖3，顯示設備100包括語音收集單元110、第一通信單元120、第二通信單元130、輸出單元140和控制單元150。
[0077]語音收集單元110收集用戶語音。例如，語音收集單元110可以實現為用於收集用戶語音的麥克風，並且可以以一體形式設置在顯示設備100內，或者與顯示設備100分離。在語音收集單元110與顯示設備分離的情況下，語音收集單元110可以實現為由用戶握持，或者放置在桌子上並且可以通過有線或無線網絡與顯示設備100連接，以向顯示設備100發送收集到的用戶語音。
[0078]此外，語音收集單元110可以確定收集到的用戶語音是否是用戶發出的語音，並從語音中濾除噪聲(例如，空調聲、清潔聲、音樂聲等)。
[0079]同時，語音收集單元110可以確定收集到的用戶語音是否是用戶發出的語音。當輸入模擬用戶語音時，語音收集單元110對模擬用戶語音進行採樣，並且將用戶語音轉換成數位訊號。語音收集單元110計算經轉換的數位訊號的能量，並且確定數位訊號的能量是否大於等於預設值。
[0080]當確定數位訊號的能量大於等於預設值時，語音收集單元110去除噪聲並發生去除了噪聲的語音。噪聲分量是可能在家庭環境中發生的突發噪聲，例如空調聲、清潔聲或音樂聲。當確定數位訊號的能量小於預設值時，語音收集單元110不對數位訊號執行處理，並且等待另一輸入。相應地，整個音頻處理過程不會由除了用戶語音以外的其他聲音激活，使得可以防止不必要的功耗。
[0081]第一通信單元120執行與第一伺服器(圖1中的200)的通信。更具體地，第一通信單元120可以向第一伺服器200發送用戶語音，並且從第一伺服器200接收與用戶語音相對應的文本信息。
[0082]第二通信單元130執行與第二伺服器(圖1中的300)的通信。更具體地，第二通信單元130可以向第二伺服器300發送接收到的文本信息，並且從第二伺服器300接收與文本信息相對應的響應信息。
[0083]為此，第一通信單元120和第二通信單元130可以使用多種通信方法執行與第一伺服器200和第二伺服器300的通信。例如，第一通信單元120和第二通信單元130可以使用有線/無線LAN(區域網)、WAN、乙太網、藍牙、Zigbee, USB (通用串行總線)、IEEE1394、WiFi等執行與第一伺服器200和第二伺服器300的通信。這樣，第一通信單元120和第二通信單元120可以包括與每種通信方法相對應的晶片或輸入埠等。例如，當基於有線LAN方法執行通信時，第一通信單元120和第二通信單元130可以包括有線LAN卡(未示出)和輸入埠(未示出)。
[0084]在上述示例實施例中，顯示設備100具有附加的通信單元120、130來執行與第一伺服器200和第二伺服器300的通信，但是這僅是一個示例。即，顯然顯示設備100可以通過一個通信模塊與第一伺服器200和第二伺服器300通信。
[0085]輸出單元140可以基於響應信息輸出與用戶語音相對應的響應消息。更具體地，輸出單元140可以將響應消息輸出為語音或文本中的至少一種形式，為此，輸出單元140可以具有顯示單元(未示出)和音頻輸出單元(未示出)。
[0086]更具體地，顯示單元(未示出)可以實現為液晶顯示器(LCD)、有機發光顯示器(OLED)或等離子顯示面板(PDP)，並且提供可以通過顯示設備100提供的多種顯示屏幕。具體地，顯示單元(未示出)可以將與用戶語音相對應的響應消息顯示為文本或圖像。
[0087]這裡，顯示單元(未示出)可以實現為觸控螢幕形式，其形成具有觸摸板的多層結構，並且觸控螢幕可以配置為檢測觸摸輸入位置、區域和觸摸輸入壓力。
[0088]同時，音頻輸出單元(未示出)可以實現為輸出埠或揚聲器，並且將與用戶語音相對應的響應消息輸出為語音。
[0089]控制單元150控制顯示設備100的總體操作。更具體地,控制單元150可以控制第一通信單元130通過語音收集單元120收集用戶語音，並且向第一伺服器200發送收集到的用戶語音。此外，控制單元150可以控制第一通信單元120接收與用戶語音相對應的文本消息。此外，控制單元150可以控制第二通信單元130向第二伺服器300發送接收到的文本信息，並且從第二伺服器300接收與文本信息相對應的響應信息。此外，當從第二伺服器300接收到與文本信息相對應的響應信息時，控制單元150可以基於響應信息控制輸出單元140輸出與用戶語音相對應的響應消息。
[0090]這裡，響應信息可以包括用於輸出響應消息的響應消息信息。響應消息信息是顯示設備中輸出的以文本格式表達的關於用戶語音的響應消息，並且可以通過輸出單元140將與用戶語音相對應的響應消息輸出為語音或文本中的至少一種形式。
[0091]更具體地，控制單元150可以使用TTS引擎將文本格式響應消息信息轉換成語音，並且通過輸出單元140輸出結果。這裡，TTS引擎是用於將文本轉換成語音的模塊，並且可以使用傳統TTS算法將文本轉換成語音。此外，控制單元150可以配置Π屏幕以包括形成響應消息信息的文本，並且通過輸出單元140輸出。
[0092]例如，當實現為電視的顯示設備100收集到用戶語音「讓我知道最流行的節目」時，第二伺服器300可以向顯示設備100發送文本形式的「最流行的節目是000(廣播節目)」。在這種情況下，控制單元150可以將「最流行的節目是000 (廣播節目)」轉換成語音，並且通過輸出單元140輸出語音，或者可以控制以配置Π屏幕，從而包括文本「最流行的節目是000(廣播節目)」，並且通過輸出單元140輸出UI屏幕。
[0093]這樣，控制單元150輸出與用戶語音相對應的響應消息而不執行顯示設備中的附加功能的情況可以包括，執行在顯示設備100中不可以執行的功能的意圖、或者提出需要回答的問題的情況。
[0094]例如，在顯示設備100實現為智能電視並且輸入表達「呼叫XXX」的用戶語音，而智能電視不提供視頻電話功能的情況下，控制單元150可以基於從第二伺服器300接收到的響應消息信息，通過輸出單元140將表達「不能提供該功能」的響應消息作為語音和文本中的至少一種輸出，而不執行附加功能。此外，當顯示設備100實現為智能電視並且輸入表達「告訴我目前最流行節目的名稱」時，控制單元150可以基於從第二伺服器300接收的響應消息信息，將表達「最流行節目是000 (廣播節目)」的響應消息作為語音和文本中的至少一種輸出。
[0095]同時，響應信息還可以包括用於控制顯示設備100的功能的控制命令。這裡，控制命令可以包括用於執行顯示設備100可執行的功能之中與用戶語音相對應的功能的命令。相應地，控制單元150可以根據顯示設備100的產品類型，控制顯示設備100的每個元件執行可以在顯示設備100中執行的特定功能。例如，當實現為電視的顯示設備100收集到「調高音量」作為用戶語音時，伺服器200可以向顯示設備100發送用於調高顯示設備100的音量的控制命令。在這種情況下，控制單元150可以基於控制命令，增大通過輸出單元140輸出的音頻音量。然而，這僅是一個示例。控制單元150可以控制顯示設備100的每個部件，使得可以根據收集的用戶語音執行諸如電源開/關、頻道改變和音量調節等各種操作。
[0096]此外，響應信息可以包括與根據用於控制顯示設備的功能的控制命令來執行的特定功能相關的響應消息信息。在這種情況下，控制單元150可以根據控制命令執行功能，並且通過輸出單元140輸出將相關的響應消息輸出為語音和文本中的至少一種。
[0097]例如，當用戶語音包括用於執行在顯示設備100中可執行的功能的表達時，控制單元150可以根據從第二伺服器300接收到的控制命令執行用戶期望的功能，並且基於響應消息信息將與所執行功能相關的消息輸出為語音和文本中的至少一種。例如，當顯示設備100實現為智能電視並且輸入表達「將頻道變到頻道11」的用戶語音時，控制單元150可以根據用於變到頻道11的控制命令來選擇頻道11，並且基於響應消息信息，通過輸出單元140將表達「頻道已經變到頻道11」或「已完成頻道改變」的響應消息輸出為語音和文本中的至少一種。
[0098]同時，當再次收集到具有相同話語意圖的用戶語音時，控制單元150可以控制輸出單元140輸出與對應於先前收集的用戶語音的響應消息有區別的響應消息。
[0099]這裡，具有相同話語意圖的用戶語音可以包括與先前收集到的用戶語音相同的用戶語音、以及用於引起與先前收集的用戶語音具有相同回答的用戶語音。例如，如果先前收集到的用戶語音表達「當前正播出的節目何時結束？」，則具有相同話語意圖的用戶語音可以包括「當前正廣播的節目何時結束？」，這是與先前用戶語音中所表達的提問實質上相同的提問，或者關於話語，可以包括例如「什麼？ 」或「再說一次」等可以引起與先前用戶語音具有相同回答的用戶語音。
[0100]S卩，當再次收集到與先前收集的用戶語音具有相同意圖的語音時，控制單元150可以輸出與針對先前收集的用戶語音而輸出的響應消息不同的、關於當前收集到的用戶語音的響應消息。
[0101]在下文中，轉換成文本的先前收集的用戶語音應當稱作第一文本信息，並且轉換成文本的之後收集的用戶語音應當稱作第二文本信息。
[0102]在這種情況下，第一文本信息和第二文本信息可以是在已轉換了顯示設備100中依次收集到的語音情況下的文本。即，在顯示設備中收集到用戶語音並輸出與收集到的用戶語音相對應的響應消息，並且在此之後收集到的用戶語音具有相同話語意圖的情況下，被轉換成文本的依次接收到的每個用戶語音可以是第一文本信息和第二文本信息。
[0103]然而，第一文本信息和第二文本信息可以不必限於轉換成文本的依次收集到的語音。即，當接收到與先前收集的用戶語音相同的用戶語音時，即使該對應的用戶語音不是依次接收的，該用戶語音也可以視為具有相同話語意圖的用戶語音，並且因此轉換成文本的每個用戶語音都可以是第一和第二文本信息。
[0104]同時，控制單元150可以基於與第二文本信息相對應的響應信息，通過輸出單元140將與再次收集到的用戶語音相對應的響應消息輸出為語音或文本。
[0105]即，當接收到與第一文本信息相對應的響應消息信息並且將與先前收集到的用戶語音相對應的響應消息輸出為語音或文本時，控制單元150可以從第二伺服器300接收與第二文本信息相對應的響應消息信息，並且將與當前收集到的用戶語音相對應的響應消息信息輸出為語音或文本。
[0106]例如，在先前收集到的用戶語音表達「當前正播出的節目名是什麼？ 」的情況下，控制單元150可以基於從第二伺服器300接收到的響應消息信息，通過輸出單元140將表達「你詢問的節目名是000 (廣播節目)」的響應消息輸出為語音輸出。接著，當接收到諸如「當前正播出的節目名是什麼？ 」等用戶語音或與先前收集的用戶語音具有相同話語意圖的用戶語音(例如，「什麼？ 」或「再說一次」)時，控制單元150可以基於從第二伺服器300接收到的控制命令和響應消息信息，通過輸出單元140將諸如「你詢問的節目名是000(廣播節目)」等響應消息輸出為語音輸出。這裡，控制命令可以是使在顯示設備100中作為語音或文本輸出響應消息的命令。
[0107]此外，控制單元150可以基於與第二文本信息相對應的響應信息，控制輸出單元140輸出的顯示設備100中輸出的內容的音頻音量比作為響應消息輸出的語音的音量低。這裡，內容可以包括廣播內容和多種多媒體內容等。
[0108]更具體地，控制單元150可以基於從第二伺服器300接收到的控制命令，將內容的音量降低到預定級別，或者將作為語音輸出的響應消息的音量提高到預定級別，以與內容的音頻相比相對高地輸出作為響應消息輸出的語音的音量。這樣，控制單元150可以調節內容或響應消息的音量，以便與內容的音頻音量相比相對高地輸出作為響應消息輸出的語音的音量。此外，控制單元150可以調節作為響應消息輸出的語音的音量和內容的音頻音量二者。例如，控制單元150可以將內容的音量降低到預定級別，並且以比預定級別高的級別輸出作為響應消息輸出的語音。
[0109]此外，控制單元150可以基於與第二文本消息相對應的響應消息，將與再次接收到的用戶語音相對應的響應消息作為其中預定關鍵詞被加重的文本輸出。
[0110]這裡，加重的關鍵詞可以根據用戶的話語意圖而不同。例如，如果用戶的話語意圖是詢問特定廣播節目的名稱，則控制單元150會加重並輸出該廣播節目的名稱，而如果用戶的話語意圖是詢問特定廣播節目的開始時間，則控制單元150會加重並輸出節目的開始時間。
[0111]例如，在之後收集到的用戶語音是「當前正播出的節目的結束時間是何時？ 」的情況下，控制單元150會基於從第二伺服器300接收到的響應消息信息，通過輸出單元140輸出表達「你詢問的節目結束時間是XX:XX」，其中「XX:XX」部分被加重。
[0112]然而，這僅是一個示例，因此控制單元150可以根據多種方法將預定關鍵詞與其他文本相區分。即，控制單元150可以較大尺寸顯示關鍵詞，或者改變顏色並輸出關鍵詞。
[0113]同時，在上述示例實施例中，從第二伺服器300發送的響應消息信息具有文本格式，但是這僅是一個示例。即，響應消息信息可以是形成在顯示設備100中輸出的響應消息的語音數據本身，或者是形成對應響應消息的語音數據的一部分，或者是用於使用顯示設備100中預儲的語音或文本來輸出對應響應消息的控制信號。
[0114]相應地，控制單元150可以考慮到響應消息信息的類型來輸出響應消息。更具體地，當接收到形成響應消息的語音數據本身時，控制單元150可以按照輸出單元140中可輸出的形式處理對應的數據並輸出。
[0115]同時，當接收到用於輸出響應消息的控制信號時，控制單元150可以在預存數據中搜索與控制信號匹配的數據，按照可輸出的形式處理搜索到的語音或文本數據，並且通過輸出單元140輸出。為此，顯示設備可以存儲用於提供與執行功能相關的響應消息的語音或文本數據，或者與請求提供信息相關的語音或文本數據等。例如，顯示設備可以完整語句形式存儲數據(例如，「已完成頻道改變」)，或者存儲形成語句的一些數據(例如，「改變到頻道...。在這種情況下，可以從第二伺服器300接收完成對應語句的頻道編號。
[0116]圖4是用於說明圖3中示出的顯示設備的詳細配置的框圖。根據圖4，除了圖3中示出的元件以外，顯示設備100還可以包括輸入單元160、存儲單元170、接收單元180和信號處理單元190。在圖4中示出的元件之中，與圖3中的元件重複的元件具有相同功能，並因此省略其詳細描述。
[0117]輸入單元160是用於接收多種用戶操控並且向控制單元150發送輸入的輸入裝置，並且可以實現為輸入面板。這裡，輸入面板可以按照多種方式配置，例如觸摸板，或者具有數字鍵、特殊鍵、字母鍵的鍵區，或者觸控螢幕。不僅如此，輸入單元160還可以實現為IR接收單元(未示出)，接收從遙控器發送的遙控信號來控制顯示設備100。
[0118]同時，輸入單元160可以接收用於控制顯示設備100的功能的多種用戶操控。例如，在顯示設備100實現為智能電視的情況下，輸入單元160可以接收用於控制智能電視的功能(例如電源開/關，頻道改變以及音量改變等)的用戶操控。在這種情況下，控制單元150可以控制其他元件來執行與通過輸入單元160輸入的用戶操控相對應的多種功能。例如，當輸入電源關閉命令時，控制單元150可以阻止向每個元件供電，並且當輸入頻道改變時，控制單元150可以控制接收單元180選擇根據用戶操控所選的頻道。
[0119]具體地，輸入單元160接收用於打開收集用戶語音的語音識別模式的用戶操控。例如，輸入單元160連同顯示單元一起實現為觸控螢幕形式，並且顯示用於接收語音識別模式的對象(例如，圖標)。同時，輸入單元160還可以具有用於接收語音識別模式的附加按鈕。當通過輸入單元160輸入打開語音識別模式的用戶操控時，控制單元150可以收集預定距離內發出的用戶語音。此外，控制單元150可以通過和第一伺服器200和第二伺服器300通信接收與收集到的用戶語音相對應的響應信息，以輸出響應消息或者控制執行特定功能。
[0120]存儲單元170可以是存儲了用於操作顯示設備100所需的多種程序的存儲介質，並且可以實現為存儲器和HDD (硬碟驅動)等。例如，存儲單元170可以具有ROM和RAM，ROM存儲用於執行控制單元150的操作的程序，RAM臨時存儲根據控制單元150的操作執行的數據。此外，存儲單元170還可以具有用於存儲多種參考數據的電可擦除可編程ROM (EEPROM)。
[0121]具體地，存儲單元170可以將與用戶語音相對應的多種響應消息預存儲為語音或文本數據。相應地，控制單元150可以從存儲單元170中讀取與從第二伺服器300接收到的響應消息信息(具體地，控制信號)相對應的語音或文本數據，並且通過音頻輸出單元142或顯示單元141輸出。在這種情況下，控制單元150可以對語音數據執行諸如解碼等信號處理，對經解碼的語音數據進行放大，並且通過音頻輸出單元142輸出，以及可以配置Π屏幕以包括形成文本數據的文本，並且通過顯示單元140輸出。儘管在上述示例實施例中，控制單元150對從存儲單元170讀取的語音和文本數據執行信號處理，但是控制單元150也可以控制信號處理單元對語音和文本數據執行信號處理。
[0122]接收單元180接收多種內容。具體地，接收單元180從廣播站或web伺服器接收內容，廣播站使用廣播網絡發送廣播節目內容，web伺服器使用網際網路發送內容文件。此外，接收單元180可以從設置在顯示設備100內或與顯示設備100相連的多種記錄介質播放器接收內容。記錄介質播放器是指播放在多種類型的記錄介質(例如，壓縮盤(⑶)、數字萬能盤(DVD)、硬碟、藍光碟、記憶卡和通用串行總線(USB)存儲器等)中存儲的內容的設備。
[0123]在從廣播站接收內容的示例實施例中，接收單元180可以實現為包括諸如調諧器(未示出)、解調器(未示出)和均衡器(未示出)等元件的結構。另一方面，在從諸如web伺服器等源接收內容的示例實施例中，接收單元180可以實現為網絡接口卡(未示出)。另夕卜，在從多種記錄介質播放器接收內容的示例實施例中，接收單元180可以實現為與記錄介質播放器相連的接口單元(未示出)。這樣，接收單元180可以根據示例實施例實現為多種形式。
[0124]信號處理單元190執行對內容的信號處理，使得通過接收單元180接收的內容可以通過輸出單元140輸出。
[0125]更具體地，信號處理單元190可以對內容中包括的視頻信號執行諸如解碼、縮放和幀率轉換等操作，並且將視頻信號轉換成從顯示單元141可輸出的形式。此外，信號處理單元190可以對內容中包括的音頻信號執行諸如解碼等信號處理，並且將音頻信號轉換成從音頻輸出單元142可輸出的形式。
[0126]圖5是用於說明圖1中示出的第一伺服器的配置的框圖。如圖5中所示，第一伺服器200包括通信單元210和控制單元220。
[0127]通信單元210執行與顯示設備100的通信。更具體地，通信單元210可以從顯示設備100接收用戶語音，並且向顯示設備100發送與用戶語音相對應的文本信息。為此，通信單元210可以包括多種通信模塊。
[0128]控制單元220控制第一伺服器200的總體操作。具體地，當從顯示設備100接收到用戶語音時，控制單元220產生與用戶語音相對應的文本信息，並且控制通信單元210向顯示設備100發送產生的文本信息。
[0129]更具體地，控制單元220使用STT(語音到文本)引擎來產生與用戶語音相對應的文本信息。這裡，STT引擎是用於將語音信號轉換成文本的模塊，並且STT可以使用多種STT算法將用戶語音轉換成文本。
[0130]例如，控制單元220檢測用戶發出的語音的開始和結束，並且確定語音段。更具體地，控制單元220可以計算接收到的語音信號的能量，根據計算的能量對語音信號的能量級別進行分類，並且通過動態規劃檢測語音段。此外，控制單元220可以在檢測到的語音段內檢測作為基於聲學模塊的最小語音單位的音素，以產生音素數據，並且對產生的音素數據應用HMM概率(隱馬爾可夫模型)來將用戶語音轉換成文本。
[0131]圖6是用於說明圖6中示出的第二伺服器的配置的框圖。如圖6中所示，第二伺服器300包括通信單元310和控制單元330。
[0132]通信單元310接收與顯示設備100中收集到的用戶語音相對應的文本信息。此外，通信單元310可以向顯示設備100發送與通信單元310接收到的文本信息相對應的響應信息。
[0133]為此，通信單元310可以包括用於執行與顯示設備100的通信的多種通信模塊。
[0134]此外，通信單元310可以通過網際網路網絡執行與web伺服器(未示出)的通信，並且向web伺服器發送多種搜索關鍵詞，以相應地接收web搜索結果。這裡，搜索關鍵詞可以包括在web中可搜索的多種關鍵詞，例如，天氣相關關鍵詞(例如，區域名稱、溫度、降雨概率等)以及內容相關關鍵詞(例如，電影名、電影開場數據、歌手等)，並且多種搜索關鍵詞可以預存儲在第二伺服器300中。
[0135]控制單元320控制第二伺服器300的總體操作。具體地,控制單元320可以控制，使得產生與接收到的文本信息相對應的響應信息，並且通過通信單元310向顯示設備100發送產生的響應信息。更具體地，控制單元320可以對文本信息進行分析，以確定用戶語音中包括的話語意圖，並且控制通信單元310向顯示設備100發送與確定的話語意圖相對應的響應信息。
[0136]為此，控制單元320可以檢測其中存在與所接收文本匹配的對話模式的語料資料庫(corpus database)，並且確定用戶語音所屬的服務域。這裡，可以根據包括了用戶發出語音的主題，將服務域分類為「廣播」、「V0D」、「應用管理」、「設備管理」、「信息(天氣、股票、新聞等)」等。然而，這僅是一個示例，根據其他多種主題來分類服務域。
[0137]此外，將語料資料庫按照服務域來提供，以存儲每個服務域的對話模式。這裡，語料資料庫可以實現為存儲示例語句和對應的回覆。即，第二伺服器300可以針對每個服務域存儲多個示例語句以及每個語句的回覆。此外，第二伺服器300可以給每個語句加上(tag)用於解釋示例語句和針對語句的期望回復的信息，並且存儲該信息。
[0138]例如，在第二伺服器300具有關於廣播服務域的第一語料資料庫以及關於天氣服務域的第二語料資料庫的情況下，第一語料資料庫可以存儲可以在廣播服務域中會發生的多種對話模式。
[0139]例如，假定在廣播服務域中存儲示例語句「節目什麼時間開始？ 」的情況。
[0140]在這種情況下，第二伺服器300可以給對應語句加上信息，以解釋諸如「節目什麼時間開始？ 」等語句，並且存儲該信息。具體地，第二伺服器300可以給對應語句加上以下信息:語句「節目什麼時間開始？ 」之中的「節目」表示廣播節目，「什麼時間開始」是詢問播出時間，「 ? 」表示疑問句，並且第二伺服器300存儲該信息。
[0141]此外，第二伺服器300可以給對應語句加上針對「節目什麼時間開始？ 」的回覆。具體地，第二伺服器300可以加上「你希望知道哪個節目」作為回復並且存儲。
[0142]然而，這僅是一個示例，第二伺服器300可以存儲語句「000(廣播節目名)什麼時間開始？ 」，並且給對應語句加上用於解釋該語句的信息以及該對應語句的回覆，並存儲。
[0143]具體地，關於諸如「000(廣播節目名)什麼時間開始？ 」等語句，第二伺服器300可以給對應語句加上以下信息:「000(廣播節目名)」表示廣播節目，「什麼時間」是詢問播出時間，「？ 」表示疑問句，並第二伺服器300存儲該信息。此外，第二伺服器300可以給對應語句加上以下信息:與廣播節目相關的字詞出現在諸如「什麼時間？ 」等語句中，並第二伺服器300存儲該信息。這裡，與廣播節目相關的字詞可以包括廣播節目名、演員和製片人。
[0144]此外，第二伺服器300可以給對應語句加上針對「000(廣播節目名)什麼時間開始？」的回覆，並存儲。具體地，存儲單元320可以給「000(廣播節目名)什麼時間開始？」加上「你詢問的〈廣播節目名 > 的播出時間是〈播出時間 >」作為回復，並存儲。
[0145]這樣，第二伺服器300可以存儲廣播服務域中的多種會話模式。
[0146]此外，第二語料資料庫可以存儲在天氣服務域中會出現的對話模式。
[0147]例如，假定在天氣服務域中存儲「000(地區名)的天氣如何？ 」的情況。
[0148]在這種情況下，第二伺服器300可以給對應的語句加上信息以解釋諸如「000(地區名)的天氣如何？」等語句，並且存儲該信息。具體地，第二伺服器300可以給對應語句加上以下信息:「000(地區名)的天氣如何？ 」中的「000(地區名)」表示地區名，「天氣如何」是詢問天氣，「 ？ 」表示疑問句，並且存儲單元210存儲該信息。
[0149]此外，第二伺服器300可以給對應語句加上針對「000(地區名)的天氣如何？ 」的回覆，並存儲。具體地，第二伺服器300可以給000(地區名)的天氣如何？」加上「你希望知道溫度嗎？ 」作為回復，並存儲。
[0150]然而，這僅是一個示例，第二伺服器300可以存儲語句「000(地區名)的天氣如何？ 」，並且可以給對應語句加上用於解釋對應語句的信息、以及「000(地區名)的溫度是〈溫度〉」作為回復，並存儲。
[0151]這樣，第二伺服器300可以存儲在天氣服務域中的多種會話模式。
[0152]在以上示例實施例中，描述了存儲單元中存儲的示例語句和對應回復。然而，這僅是一個示例，並且每個服務域中可以存儲不同示例語句和對應回復。
[0153]在這種情況下，當從顯示設備100接收到文本「節目什麼時間開始？ 」時，控制單元320可以確定顯示設備100中收集到的用戶語音屬於廣播服務域，並且當從顯示設備100接收到文本「000(地區名)的天氣如何？ 」時，控制單元320可以確定顯示設備100中收集到的用戶語音屬於天氣服務域。即，控制單元320可以將接收到的文本與每個服務域中存儲的語句相比較，並且將與接收文本匹配的語句所屬的服務域確定為包括用戶語音的服務域。
[0154]接著，控制單元基於用戶語音所屬的服務域，從用戶語音中提取對話行為(dialogue act)、主要動作(main action)和要素單元(component slot)。例如，控制單元320可以使用最大熵分類器(MaxEnt)在用戶語音中提取對話行為和主要動作，並且使用條件隨機場(CRF)來提取要素單元。然而，不限於此，能夠使用已經公知的各種方法來提取對話行為、主要動作和要素單元。例如，控制單元320可以使用向與用戶語音匹配的語句添加的信息，來從用戶語音中提取對話行為、主要動作和要素單元。
[0155]這裡，基於與語句類型相關的分類準則，對話行為表示目標語句是陳述、請求、疑問提問或是否提問。主要動作是語義信息，在特定域中表示通過對話目標話語期望的動作。例如，在廣播服務域中，主要動作可以包括電視開/關、節目搜索、節目時間搜索和節目預約等。要素單元是與話語中示出的特定域有關的單獨信息，即，用於指定特定域中期望行為的含義的附加信息。例如，廣播服務域中的要素單元可以包括流派、節目名、開始時間、頻道名和男演員/女演員名等。
[0156]此外，控制單元320可以使用提取的對話行為、主要動作和要素單元來確定用戶語音的話語意圖，產生與確定的話語意圖相對應的響應信息，並且向顯示設備100發送產生的響應信息。
[0157]這裡，響應信息包括與用戶語音相對應的響應消息信息。響應消息信息是與顯示設備100中輸出的用戶語音有關的文本格式的響應消息，並且顯示設備100可以基於從伺服器200接收到的響應消息信息，輸出與用戶語音相對應的響應消息。
[0158]更具體地，控制單元320可以從語料資料庫中提取針對所確定的話語的回答，並且將提取的回答轉換成文本，以產生響應消息信息。
[0159]例如，在從顯示設備100接收到被轉換成文本的用戶語音「000(廣播節目名)什麼時間開始？ 」的情況下，控制單元320對其中存在與用戶語音匹配的對話模式的語料資料庫進行搜索，並且確定用戶語音「000什麼時間開始？ 」包括在廣播服務域中。
[0160]此外，通過對話行為，控制單元320確定語音的語句類型是「提問」，並且通過主要動作和要素單元，控制單元320確定用戶期望的是「000」的「節目開始時間」。因此，控制單元320可以確定用戶語音中包括的話語意圖是「詢問」 「000」的「節目開始時間」。
[0161]接著，響應於「詢問」 「000」的「節目開始時間」的話語意圖，控制單元320可以從廣播服務域的語料資料庫中提取回答「你請求的000開始時間是...」。即，控制單元320可以從廣播服務域的語料資料庫中搜索與「000(廣播節目名)什麼時間開始？ 」匹配的回覆，並且提取「000的節目開始時間是」作為回復。
[0162]在這種情況下，控制單元320可以使用電子節目指南(EPG)信息來搜索「000」的播出開始時間，並且產生響應消息信息以發送給顯示設備100。
[0163]作為另一示例，在從顯示設備100接收到被轉換成文本的表達「首爾的溫度如何」的用戶語音的情況下，控制單元320可以對其中存在與用戶語音匹配的對話模式的語料資料庫進行搜索，並且確定表達「首爾的天氣如何？ 」的用戶語音包括在天氣服務域中。
[0164]此外，控制單元320通過對話行為確定對應語音的語句類型是「提問類型」，並且通過主要動作和要素單元確定語音意在獲知「首爾」的「天氣」。因此，控制單元320可以確定用戶語音中包括的話語意圖是「詢問」 「首爾」的「天氣」。
[0165]接著，響應於「詢問」 「首爾」的「天氣」的話語意圖，控制單元320從天氣服務域的語料資料庫中提取回答「你請求的首爾天氣是...」。在這種情況下，控制單元320可以從用戶語音中提取預存的關鍵詞，並且控制通信單元320向伺服器發送提取的關鍵詞，以接收與對應的關鍵詞相關的搜索信息。即，控制單元320可以從用戶語音中提取「首爾」和「溫度」作為關鍵詞，向web伺服器發送關鍵詞，從web伺服器接收與首爾的溫度有關的搜索結果，並且向顯示設備100發送響應消息信息「你請求的首爾溫度是23°C」。
[0166]同時，在顯示設備100存儲響應消息的一些語句數據的情況下，控制單元320可以向顯示設備100發送用於完成對應語句的一些文本。
[0167]例如，在從顯示設備100接收到被轉換成文本的表達「將頻道變到O」的用戶語音的情況下，控制單元320可以確定對應語音的話語意圖是「請求」 「頻道變到」 「O」。
[0168]相應地，控制單元320可以產生用於在顯示設備100執行頻道變到「O」的控制命令，並且向顯示設備100發送控制命令。這裡，在顯示設備100存儲諸如「頻道已經變到」等文本數據的情況下，控制單元320可以控制，使得產生「O」作為發送到顯示設備100的響應消息信息，以在顯示設備100中輸出表達「頻道已經變到O」的響應消息。在這種情況下，控制單元320可以向顯示設備100發送用於輸出顯示設備中預存儲的語音數據的附加控制信號。
[0169]此外，響應信息還可以包括用於控制顯示設備100的功能的控制命令。即，控制單元320可以產生控制命令，使得與用戶的話語意圖相對應的功能可以在顯示設備100中執行。
[0170]為此，第二伺服器300可以預存儲與用戶的話語意圖相對應的控制命令。例如，在用戶的話語意圖是頻道改變的情況下，第二伺服器300匹配用於改變顯示設備100的頻道的控制命令並存儲該控制命令，並且在用戶的話語意圖是預約記錄的情況下，第二伺服器300匹配用於在顯示設備100中執行特定節目的預約記錄功能的控制命令，並且存儲該控制命令。
[0171]例如，在從顯示設備100接收到被轉換成文本的表達「預約000(廣播節目)」的用戶語音的情況下，控制單元320可以對其中存在與用戶語音匹配的對話模式的語料資料庫進行搜索，並且確定用戶語音「預約000」包括在廣播服務域中。
[0172]此外，通過對話行為，控制單元320確定對應語音是與「請求」相關的語句類型，並且通過主要動作和要素單元，控制單元320確定用戶期望關於「000」的「節目預約」。因此，控制單元320可以確定用戶語音中包括的話語意圖是「請求」 「000」 「節目預約」。
[0173]接著，控制單元320可以檢測與請求「000」 「節目預約」的話語意圖相對應的控制命令，並且產生用於在顯示設備100中執行「000」預約記錄的功能的控制命令。在這種情況下，響應於「請求」 「000」 「節目預約」的話語意圖，控制單元320可以從廣播服務域的語料資料庫中提取響應消息信息「已經預約了記錄000」，並且向顯示設備100發送該響應消息信息。
[0174]此外，控制單元320可以通過使用向與接收到的文本匹配的語句添加的信息來確定用戶的話語意圖。
[0175]例如，假定從顯示設備100接收到文本「節目000(節目名)什麼時間開始？ 」的情況。
[0176]在這種情況下，控制單元320可以確定接收到的文本屬於廣播服務域，並且使用向「節目000(節目名)什麼時間開始？ 」(這是廣播服務域中與接收到的文本匹配的語句)添加的信息，從用戶語音中提取對話行為、主要動作和要素單元，以找出用戶語音的話語意圖。
[0177]S卩，作為用於解釋「節目000 (節目名)什麼時間開始？ 」的信息，添加了信息:「 000 (節目名)」表示廣播節目，「什麼時間」是詢問播出時間，並且「？」表示疑問句。相應地，基於該信息，控制單元320可以確定接收到的文本「節目000 (節目名)什麼時間開始？ 」的對話行為是疑問語句，主要動作是詢問播出時間，並且要素單元是000(節目名)。相應地，控制單元320可以確定用戶語音的話語意圖是詢問「000(節目名)的「播出時間」。此夕卜，響應於「詢問」 「000」的「節目開始時間」的話語意圖，控制單元320可以從廣播服務域的語料資料庫中提取「000的開始時間是〈播出時間>」。
[0178]在這種情況下，控制單元320可以通過填完搜索到的回覆中包括的空白，來產生完整形式的語句。
[0179]例如，控制單元320可以通過在空白中寫入「000(節目名)」來使回復「〈空白(廣播節目名)> 的播出時間是〈播出時間 >」完整。此外，控制單元320可以使用EPG(電子節目指南)搜索「000(節目名)」的播出時間，並且在另一空白〈播出時間 > 中寫入搜索到的播出時間。相應地，控制單元320可以使用完整語句「000(節目名)的播出時間是星期六7點」來產生與用戶語音相對應的響應消息信息，並且向顯示設備100發送產生的響應消息信息。
[0180]相應地，顯示設備100可以基於從第二伺服器300接收到的響應消息信息，以語音或文本形式輸出「000(節目名)的播出時間是星期六7點」。
[0181]同時，當不能確定當前接收到的用戶語音中包括的用戶話語意圖時，控制單元320可以參考先前接收到的用戶語音，並且確定當前接收到的用戶語音的話語意圖。即，控制單元320可以將當前接收到的用戶語音與語料資料庫中存儲的對話模式相比較，來確定當前接收到的用戶語音是否是對話模式中的初始用戶話語，並且如果確定當前接收到的用戶語音不是初始用戶話語，則控制單元320可以參考先前接收到的用戶語音，並且確定當前接收到的用戶語音的話語意圖。
[0182]例如，在輸入用戶語音「000(廣播節目)什麼時間播出？」，然後輸入用戶語音「什麼時間？ 」的情況下，當確定用戶語音「什麼時間？ 」不是廣播服務域中的初始用戶話語時，控制單元320基於先前接收到的用戶語音「000什麼時間播出？」來確定「什麼時間？ 」的話
語意圖。
[0183]S卩，為了確定無法從中提取要素單元的用戶語音「什麼時間？ 」的話語意圖，控制單元320可以使用先前接收到的用戶語音中包括的「000」，確定「什麼時間？ 」的話語意圖是「詢問」 「000」的「節目開始時間」。
[0184]同時，當第一和第二文本信息中的話語意圖相同時，控制單元320可以產生與第二文本信息相對應的響應信息，以與對應於第一文本信息的響應信息有區別，並且向顯不設備100發送產生的響應信息。
[0185]S卩，在控制單元320產生與從顯示設備100接收到的文本信息相對應的響應信息並向顯示設備100發送產生的響應信息之後，如果接收到與先前接收到的文本信息具有相同話語意圖的文本信息，控制單元320可以產生與當前接收到的文本信息對應的響應信息，以與先前接收到的文本信息的響應信息有區別。
[0186]更具體地，當依次接收到包括相同話語意圖的第一和第二文本信息時，控制單元320可以產生與第一文本信息相對應的響應信息，使得在顯示設備100中將該響應消息輸出為語音或文本，並且產生與第二文本信息相對應的響應信息，使得在顯示設備100將該響應信息輸出為語音或文本。
[0187]為此，當產生與第二文本信息相對應的響應信息並且向顯示設備100發送產生的響應信息時，控制單元320可以產生用於使在顯示設備100中將響應消息輸出為語音和文本二者的控制命令，並且向顯示設備100發送控制命令。
[0188]此外，當依次接收到具有相同話語意圖的第一和第二文本信息時，控制單元320可以產生與第二文本信息對應的響應信息，使得顯示設備100中輸出的內容的音頻音量相對低於作為響應消息輸出的語音的音量。
[0189]為此，當產生與第二文本信息相對應的響應信息並向顯示設備100發送產生的響應信息時，控制單元320可以產生用於將作為響應消息輸出的語音的音量提高到預定級別的控制命令，並向顯示設備100發送控制命令。此外，控制單元320可以產生用於將內容音量降低到預定級別並且將作為響應消息輸出的語音的音量調節到比內容的音頻音量高的預定級別的控制命令，並且向顯示設備100發送該控制命令。
[0190]此外，當依次接收到具有相同話語意圖的第一和第二文本信息時，控制單元320可以產生與第一文本信息相對應的響應信息，使得在顯不設備100中將響應消息輸出為文本，並且產生與第二文本相對應的響應信息，使得在顯示設備100將響應消息輸出為具有被加重的預定關鍵詞的文本。
[0191]為此，當在顯示設備100中輸出與第二文本信息相對應的響應消息時，控制單元320可以產生用於在形成響應消息的文本中加重關鍵詞的控制命令，其中關鍵詞是針對話語意圖的核心回答，並且是響應於用戶的話語意圖而被搜索的信息，控制單元320可以向顯示設備100發送該控制命令。
[0192]例如，當文本信息中包括的用戶話語意圖是「詢問」 「000」的「節目開始時間」時，控制單元320向顯示設備100發送文本形式的「星期六7點開始」。這裡控制單元還可以向顯示設備100發送用於加重「星期六7點」的控制命令，「星期六7點鐘」是針對用戶話語意圖的核心回答。
[0193]圖7是用於說明圖6中示出的第二伺服器的詳細配置的框圖。根據圖7，除了圖6中示出的部件以外，第二伺服器300還包括存儲單元330。圖7中與圖6中示出的部件重複的部件具有相同功能，並因此省略對其詳細描述。
[0194]存儲單元330存儲用於產生響應信息的多種信息。更具體地，存儲單元330具有針對每個服務域的語料資料庫，來存儲每個服務域的對話模式。此外，存儲單元330可以匹配每個用戶話語意圖的控制命令，並且存儲控制命令。
[0195]同時，分離地提供圖1至圖7中的第一伺服器200和第二伺服器300，但這僅是一個示例。即，第一伺服器200和第二伺服器300可以實現為一個伺服器。在這種情況下，顯示設備100可以不接收與用戶語音相對應的文本信息。在實現為一體的伺服器(未示出)中將用戶語音轉換成文本，基於轉換的文本產生與用戶語音相對應的響應信息並且向顯示設備100發送。
[0196]圖8至10是用於說明根據示例實施例的對話型系統的操作的視圖。
[0197]例如，如圖8(a)中，在觀看廣播節目的用戶620發出「000 (廣播節目)什麼時間播出？ 」的情況下，顯示設備610可以通過與第一和第二伺服器(未示出)的互連操作，將與收集到的「000什麼時間播出？」相對應的響應消息作為語音輸出。S卩，如圖8的(a)中，顯示設備610可以從第二伺服器接收響應消息信息，並且響應於用戶語音「000什麼時間播出？ 」將表達「在星期二下午6點播出」的響應消息作為語音數據輸出。
[0198]接著，在再次收集到具有相同話語意圖的用戶語音的情況下，顯示設備610可以將與當前接收到的用戶語音有關的響應消息作為語音數據或文本輸出，使得該響應消息與關於先前接收到的用戶語音的響應消息有區別。例如，如圖8(b)中，當顯示設備610再次收集到表達「000什麼時間播出？」的用戶620的語音時，顯示設備610可以基於從第二伺服器接收到的響應信息，響應於再次收集到的「000什麼時間播出？」輸出「在星期二下午6點」。
[0199]否則，如圖9(a)中，在觀看廣播節目的用戶720發出「000(廣播節目)什麼時間播出？ 」的情況下，顯示設備710可以通過與第一和第二伺服器(未示出)的互連操作，將與收集到的「000什麼時間播出？ 」相對應的響應消息作為語音數據輸出。S卩，如圖9(a)中，顯示設備710可以從第二伺服器接收響應消息信息，並且響應於關於「000什麼時間播出？」的用戶語音，將響應消息「在星期二下午6點」作為語音數據輸出。
[0200]接著，在再次收集到具有相同話語意圖的用戶語音的情況下，顯示設備710可以調節顯示設備710中輸出的音頻音量，以與先前接收到的用戶語音的響應消息有區別。例如，如圖9(b)中，在顯示設備710再次收集到表達「000什麼時間播出？」的用戶720的語音的情況下，顯示設備710可以降低廣播節目的音頻音量「Vroom」，並且以比廣播節目的音頻音量高的音量，將響應消息「在星期二下午6點」作為語音輸出。然而，這僅是一個示例，因此還能夠將節目的音頻音量「Vroom」降低到預定級別，或者將「在星期二下午6點」的音量提高到預定級別。
[0201]否則，如圖10(a)中，在觀看廣播節目的用戶820發出「000 (廣播節目)什麼時間播出？ 」的情況下，顯示設備810可以通過與第一和第二伺服器(未示出)的互連操作輸出與收集到的「000什麼時間播出？」相對應的響應消息。S卩，如圖1(a)中，顯示設備810可以從第二伺服器接收響應消息信息，並且響應於用戶語音表達「000什麼時間播出？」將「在星期二下午6點」作為文本輸出。
[0202]接著，當再次收集到具有相同話語意圖的用戶語音時，顯示設備810可以改變根據當前接收到的用戶語音而輸出的文本中預定關鍵詞的顯示格式，並輸出結果，以與先前接收到的用戶語音有區別。例如，如圖10(b)中，當再次收集到用戶820的語音表達「000什麼時間播出？ 」時，顯示設備810可以基於從第二伺服器接收到的響應信息，在「在星期二下午6點」中加重「星期二下午6點」。儘管在上述視圖中加重預定關鍵詞，但是這僅是一個示例。即，顯示設備810可以增大「星期二下午6點」的尺寸以大於其他文本，或者改變其顏色，並顯示結果。
[0203]圖11是用於說明根據示例實施例的控制顯示設備的方法的流程圖。
[0204]首先，收集用戶語音(S910)。更具體地，可以通過與顯示設備以一體形式形成的或分開形成的麥克風來收集用戶語音。
[0205]接著，向第一伺服器發送用戶語音，並且從第一伺服器接收與用戶語音相對應的文本信息(S920)。並且，向第二伺服器發送接收到的文本信息，並且接收與文本信息相對應的響應信息(S930)。即，第二伺服器可以分析文本信息，確定用戶語音中包括的話語意圖，並且向顯示設備發送與確定的話語意圖相對應的響應信息。
[0206]當再次收集到具有相同話語意圖的用戶語音時，基於響應信息輸出與對應於先前收集到的用戶語音的響應消息有區別的響應消息(S940)。
[0207]更具體地，當依次接收到的第一和第二文本信息中的話語意圖相同時，第二伺服器可以產生與第二文本信息相對應的響應信息，以與對應於第一文本信息的響應信息有區另IJ，並且向顯示設備發送產生的響應信息。
[0208]相應地，能夠基於與第二文本信息相對應的響應信息，將與再次收集到的用戶語音相對應的響應消息作為語音或文本輸出。
[0209]此外，能夠基於與第二文本信息相對應的響應信息，將顯示設備中輸出的內容的音頻音量輸出為相對低於作為響應消息輸出的語音的音量。此外，能夠基於與第二文本信息相對應的響應信息，將與再次收集到的用戶語音相對應的響應消息作為其中預定關鍵詞被加重的文本輸出。
[0210]圖12是用於說明根據示例實施例的控制與顯示設備互連的伺服器的方法的流程圖。
[0211]首先，接收與顯示設備中收集的用戶語音相對應的文本信息(S1010)。
[0212]接著，分析文本信息以確定用戶語音中包括的話語意圖(S1020)。在這種情況下，顯示設備可以基於響應信息將與用戶語音相對應的響應消息作為語音和文本中的至少一種輸出。
[0213]這裡，當第一和第二文本信息中包括的話語意圖相同時，產生與第二文本信息相對應的響應信息，以與對應於第一文本信息的響應信息有區別，並且向顯不設備發送(S1030)。
[0214]更具體地，當依次接收第一和第二文本信息時，顯示設備可以產生與第一文本信息相對應的響應信息，以將響應信息作為語音或文本輸出，並且產生與第二文本信息相對應的響應信息，以將響應消息作為語音或文本輸出。
[0215]此外，當依次接收到第一和第二文本信息時，顯示設備可以產生與第二文本信息相對應的響應信息，使得顯不設備中輸出的內容的音頻音量相對低於作為響應消息輸出的
語音的音量。
[0216]此外，當依次接收到第一和第二文本信息時，顯示設備可以產生與第一文本信息相對應的響應信息，使得在顯示設備中將響應信息作為文本輸出，並且產生與第二文本信息相對應的響應信息，使得將響應消息作為其中預定關鍵詞被加重的文本輸出。
[0217]此外，可以提供一種非暫時計算機可讀介質，其中，存儲了用於執行根據本公開的控制顯示設備和伺服器的方法的程序。
[0218]非暫時計算機可讀介質不是短時間存儲數據的介質，例如，寄存器、高速緩存和存儲器等，而是半永久地存儲數據並且能夠通過設備讀取的介質。更具體地，上述各種應用或程序可以存儲在非暫時計算機可讀介質中，例如，壓縮盤、DVD、硬碟、藍光碟、USB、記憶卡和ROM。
[0219]此外，在示出了顯示設備和伺服器的上述框圖中，存在總線，而且可以通過總線實現顯示設備中的每個部件與伺服器之間的通信。此外，每個設備還可以包括執行上述各個步驟的處理器，例如，CPU和微處理器等。
[0220]儘管已示出和描述了本發明的一些實施例，但是本領域技術人員應當理解，在不脫離本發明的原理和精神的情況下，可以對本實施例做出改變，本發明的範圍由所附權利要求及其等同物限定。
【權利要求】
1.一種顯示設備，包括: 語音收集單元，配置為收集用戶的語音； 第一通信單元，向第一伺服器發送語音，並且從第一伺服器接收與語音相對應的文本信息； 第二通信單元，向第二伺服器發送接收到的文本信息，並且接收與文本信息相對應的響應信息； 輸出單兀，基於響應信息，輸出與語音相對應的響應消息；以及 控制單元，配置為當再次收集到與先前收集的用戶語音具有相同話語意圖的用戶語音時，控制輸出單元輸出第二響應消息，第二響應消息與對應於先前收集的用戶語音的第一響應消息有區別。
2.根據權利要求1所述的顯示設備，其中，第二伺服器分析文本信息以確定語音中包括的話語意圖，並且向顯示設備發送與所確定的話語意圖相對應的響應信息。
3.根據權利要求2所述的顯示設備，其中，當依次接收到的第一文本信息和第二文本信息中包括的話語意圖相同時，第二伺服器產生與第二文本信息相對應的第二響應消息，以與對應於第一文本信息的第一響應信息有區別,並且向顯不設備發送產生的第二響應信肩、O
4.根據權利要求3所述的顯示設備，其中，控制單元基於與第二文本信息相對應的第二響應信息，控制輸出單元將與再次接收到的用戶語音相對應的響應消息作為語音和文本中的至少一種輸出。
5.根據權利要求3所述 的顯示設備，其中，控制單元基於與第二文本信息相對應的第二響應信息，控制輸出單兀將從顯不設備輸出的內容的音頻音量輸出為相對低於作為響應消息輸出的語音的音量。
6.根據權利要求3所述的顯示設備，其中，控制單元基於與第二文本信息相對應的第二響應信息，將與再次接收到的用戶語音相對應的響應消息輸出為文本，在該文本中預定關鍵詞被加重。
7.—種與顯示設備互連的伺服器，所述伺服器包括: 通信單元，接收與顯示設備中收集的用戶語音相對應的文本信息；以及 控制單元，配置為分析文本信息以確定語音中包括的話語意圖，並且控制通信單元向顯示設備發送與所確定的話語意圖相對應的響應信息，其中，當第一文本信息和第二文本信息中包括的話語意圖相同時，控制單元產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區別，並且向顯不設備發送產生的第二響應信肩、O
8.根據權利要求7所述的伺服器，其中，顯示設備基於響應信息，將與語音相對應的響應消息作為語音和文本中的至少一種輸出。
9.根據權利要求8所述的伺服器,其中,控制單兀產生與第一文本信息相對應的第一響應信息，使得顯示設備將響應消息作為語音和文本之一輸出，並且當依次接收到第一文本信息和第二文本信息時，控制單元產生與第二文本信息相對應的第二響應信息，使得顯不設備將響應消息作為語音和文本之一輸出。
10.根據權利要求8所述的伺服器，其中，當依次接收到第一文本信息和第二文本信息時，控制單元產生與第二文本信息相對應的第二響應信息，使得從顯示設備輸出的內容的音頻音量低於作為響應消息輸出的語音的音量。
11.根據權利要求8所述的伺服器，其中，當依次接收到第一文本信息和第二文本信息時，控制單兀產生與第一文本信息相對應的第一響應信息，使得顯不設備將響應消息作為文本輸出，並且產生與第二文本信息相對應的第二響應信息，使得顯示設備將第二響應消息作為其中關鍵詞被加重的文本輸出。
12.—種顯示設備的控制方法，所述控制方法包括: 收集用戶的語音； 向第一伺服器發送語音，並從第一伺服器接收與語音相對應的文本信息； 向第二伺服器發送接收到的文本信息，並接收與文本信息相對應的響應信息；並且 當再次收集到與先前收集的用戶語音具有相同話語意圖的用戶語音時，基於響應信息輸出第二響應消息，第二響應消息與對應於先前收集的用戶語音的第一響應消息有區別。
13.根據權利要求12所述的控制方法，其中，第二伺服器分析文本信息，確定用戶語音中包括的話語意圖，並且向顯示設備發送與所確定的話語意圖相對應的響應信息。
14.根據權利要求13所述的控制方法，其中，當依次接收到的第一文本信息和第二文本信息中包括的話語意圖相同時，第二伺服器產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區別，並且向顯不設備發送產生的第二響應信息。
15.一種與顯示設備互連的伺服器的控制方法，所述控制方法包括: 接收與在顯示設備中收集的用戶`語音數據相對應的文本信息； 分析文本信息並確定語音數據中包括的話語意圖；並且 當第一文本信息和第二文本信息中包括的話語意圖相同時，產生與第二文本信息相對應的第二響應信息，以與對應於第一文本信息的第一響應信息有區別，並且向顯不設備發送產生的第二響應信息。
【文檔編號】H04N21/472GK103517119SQ201310235028
【公開日】2014年1月15日 申請日期:2013年6月14日 優先權日:2012年6月15日
【發明者】尹勝一, 金基錫, 趙成吉, 許惠賢 申請人:三星電子株式會社