終端設備的語音交互方法和使用該方法的終端設備的製作方法
2023-10-07 17:38:04 4
終端設備的語音交互方法和使用該方法的終端設備的製作方法
【專利摘要】提供了一種終端設備的語音交互方法和使用該方法的終端設備，所述終端設備包括位於作業系統和應用程式之間的中間層，所述語音交互方法包括：由中間層接收用戶從語音輸入設備輸入的語音指令的語音信息，並將接收的語音信息轉換為文本信息；對文本信息進行語義分析以提取出用戶的語音指令中的操作信息和實體信息，並根據操作信息得到對終端設備的指令；根據對終端設備的指令調用終端設備的底層API，並將操作信息和實體信息提供給相應的應用程式以對應用程式執行相應的操作。
【專利說明】終端設備的語音交互方法和使用該方法的終端設備
【技術領域】
[0001]本發明涉及語音識別控制技術，更具體地說，涉及一種利用位於終端設備的作業系統和應用程式之間的中間層來實現對於終端設備的語音交互的方法及其終端設備。
【背景技術】
[0002]在當前的終端設備中，語音識別已經成為了一種常用技術。傳統的語音輸入設備大多以接收被動的語音信號為主，通過其與行動裝置的連接，使用者可以方便地接收到來自手機的來電信號並進行信號的傳輸。而隨著現代技術的發展，人們的交流方式和行為越來越不集中於電話和簡訊。尤其是隨著3G網絡和智慧型手機的普及，使得人們的交流方式更加的多樣化，而目前的語音輸入設備(例如，帶有話筒的耳機)在與諸如智慧型手機的終端設備的結合上，並沒有很好的滿足人們在移動過程中進行信息傳遞的需求。
[0003]另外，現有的基於語音識別來控制終端設備的技術通常需要專門為語音交互的應用程式開發與該語音交互應用程式與其它應用程式的接口，因此只能實現對固定的應用程式的調用和控制。這對終端設備的語音交互帶來了很多的不方便。例如，蘋果公司的1s系統上的Siri語音助手僅能實現對諸如簡訊息、郵件等固定的應用程式的調用，而無法實現與用戶自行安裝的應用程式的交互。
【發明內容】
[0004]本發明的目的在於，不需要針對終端設備的硬體以及終端設備上的應用程式做任何的修改，僅通過採用運行在終端設備的作業系統之上的中間層來完全屏蔽設備上的應用程式和語音輸入設備之間的聯繫，從而能夠直接通過語音來控制現有的終端設備(如手機、平板、車載GPS等)的各種功能或者與終端設備的所有可用應用程式進行交互。
[0005]根據本發明的一方面，提供了一種用於終端設備的語音交互方法，所述終端設備包括位於作業系統和應用程式之間的中間層，所述語音交互方法包括:(a)由中間層接收用戶從語音輸入設備輸入的語音指令的語音信息，並將接收的語音信息轉換為文本信息；
(b)對文本信息進行語義分析以提取出用戶的語音指令中的操作信息和實體信息，並根據操作信息得到對終端設備的指令；(C)根據對終端設備的指令調用終端設備的底層API，並將操作信息和實體信息提供給相應的應用程式以對應用程式執行相應的操作。
[0006]根據本發明的一方面，語音交互方法還包括:(d)如果應用程式在執行操作之後返回了文本信息，則將返回的文本信息轉換為語音信息，並將語音信息提供給語音輸出設備。
[0007]根據本發明的一方面，語音交互方法的步驟(C)還包括:將得到的操作信息和實體信息轉換為用於模擬用戶對終端設備的操作的指令。
[0008]根據本發明的一方面，語音輸入設備和語音輸出設備集成在與終端設備連接的藍牙耳機中。
[0009]根據本發明的一方面，中間層屏蔽語音輸入設備與應用程式之間的聯繫。
[0010]根據本發明的另一方面，還提供了一種用於語音交互的終端設備，所述終端設備包括位於作業系統和應用程式之間的中間層模塊，所述中間層模塊包括:語音識別模塊，接收用戶從語音輸入設備輸入的語音指令的語音信息，並將接收的語音信息轉換為文本信息；語義分析模塊，對文本信息進行語義分析以提取出用戶的語音指令中的操作信息和實體信息，並根據操作信息得到對終端設備的指令；語音控制模塊，根據對終端設備的指令調用終端設備的底層API，並將操作信息和實體信息提供給相應的應用程式以對應用程式執行相應的操作。
[0011]根據本發明的另一方面，所述中間層模塊還包括:語音轉換模塊，如果應用程式在執行操作之後返回了文本信息，則將返回的文本信息轉換為語音信息，並將語音信息提供給語音輸出設備。
[0012]根據本發明的另一方面，語音控制模塊還將得到的操作信息和實體信息轉換為用於模擬用戶對終端設備的操作的指令。
[0013]根據本發明的另一方面，語音輸入設備和語音輸出設備集成在與終端設備連接的藍牙耳機中。
[0014]根據本發明的另一方面，所述中間層模塊屏蔽語音輸入設備與應用程式之間的聯繫O
【專利附圖】
【附圖說明】
[0015]通過下面結合附圖進行的描述，本發明的上述和其他目的和特點將會變得更加清楚，其中:
[0016]圖1是示出根據本發明實施例的終端設備的系統架構示意圖；
[0017]圖2是示出根據本發明實施例的圖1中的中間層模塊的詳細配置示意圖；
[0018]圖3是示出根據本發明實施例的語音交互方法的流程圖。
【具體實施方式】
[0019]下面提供參照附圖進行的描述以有助於全面理解如權利要求及其等同物所限定的本發明的示例性實施例。所述描述包括各種詳細的細節以有助於理解，而這些描述將被認為僅為示例性的。因此，本領域的普通技術人員將意識到在不脫離本發明的範圍和精神的情況下可做出在此描述的各種改變和變型。另外，為了清晰和簡潔，可省略對公知功能和構造的描述。
[0020]圖1是示出本發明實施例的終端設備的系統架構示意圖。
[0021]如圖1所示，根據本發明實施例的終端設備100的系統架構包括:作業系統110、中間層120和應用程式130。
[0022]終端設備100可通過諸如帶有話筒的藍牙耳機的語音輸入設備來接收用戶的語音信號。在接收到語音信號輸入之後，終端設備100的作業系統110控制相應的模塊將語音信號轉換為在數位化的語音信息，並將語音信息提供給位於作業系統110和應用程式130之間的中間層120。中間層120集成在作業系統110的底層功能中，其可以完全屏蔽應用程式與語音輸入設備之間的聯繫，並可以模擬用戶的操作和應用交互。中間層120對接收到的語音信息進行語音識別，從而將接收到的語音信息轉換為文本信息。接下來，中間層120對文本信息進行自然語言處理和語義理解，從文本信息中得到用戶用語音表達的操作信息和實體信息。例如，如果從用戶接收到的語音信息中識別出用戶發出了語音指令「跟小李發短息，說我晚上不回家吃飯了」，則通過自然語言處理，中間層120可得到如下信息「啟動簡訊模塊，給收件人『小李』發簡訊，簡訊內容為:我晚上不回家吃飯了」。這裡，「啟動簡訊模塊」可表示操作信息，收件人『小李』以及簡訊內容「我晚上不回家吃飯了」可表示實體信息。當然，中間層120還可以通過擴展處理的模塊，進行更多的底層設備應用的控制，例如，可閱讀未讀郵件、查看天氣信息等。
[0023]接下來，中間層120根據操作信息所涉及到的應用程式來調用終端設備100中相應的底層API接口，並將操作信息和實體信息提供給終端設備100的應用程式130。或者，中間層120可將得到的操作信息和實體信息轉換為用於模擬用戶行為的操作的指令，從而對終端設備100的其它功能進行控制或者對終端設備100進行相應的操作。例如，可將「提高音量」的語音指令轉換為用戶對音量+鍵的行為操作的指令。通過以上處理，可以實現對終端設備100上的不同應用程式或其它基本功能的控制。
[0024]另外，如果應用程式130在運行的過程中返回了與用戶進行交互的交互信息，則中間層120將返回的交互信息轉換為語音，並將轉換的語音提供給作業系統110，並由作業系統110的相應模塊將轉換後的語音提供到聲音輸出設備。例如，作業系統110的藍牙耳機模塊可將轉換的語音發送給藍牙耳機，從而用戶可聽到返回的交互信息。
[0025]下面將參照圖2來詳細說明根據本發明實施例的圖1中的中間層120模塊的詳細配置。
[0026]如圖2所示，中間層模塊120包括語音識別模塊121、語義分析模塊122、語音控制模塊123以及語音轉換模塊124。當然，以上的模塊可以劃分為更多的模塊或者組合為更少的模塊。
[0027]當接收到語音信息時，語音識別模塊121將用戶語音轉換為文本信息。可採用現有的任何語音識別技術來將語音轉換為文本信息。可選地，語音識別模塊121可控制終端設備100與用戶進行二次交互確認來降低誤識別帶來的錯誤指令。
[0028]接下來，語義分析模塊122分析文本信息，從而將文本信息翻譯為操作信息和實體信息。具體地，語義分析模塊122對文本信息進行分詞和詞性標註，通過詞條的特徵信息和規則，先將文本信息劃分為操作信息部分和實體信息部分。然後，語義分析模塊122將操作信息部分解碼翻譯為對於終端設備100的操作指令。
[0029]語音控制模塊123根據語義分析模塊122翻譯的操作指令來調用底層API，從而打開與操作指令相應的應用程式。或者，語音控制模塊123根據翻譯的操作指令來模擬用戶操作行為，從而對終端設備100進行模擬的操作。
[0030]另外，如果應用程式130返回了文字信息，則語音轉換模塊124將返回的文字信息轉換為語音信息，並通過調用作業系統110的相應模塊來將轉換的語音信息提供給語音輸出設備。例如，作業系統110可通過調用藍牙模塊將轉換後的語音信息提供給藍牙耳機。
[0031]下面將結合具體示例來說明以上的中間層120的操作。例如，如果用戶在開車的過程中收到新浪微博發來的微博的通知。這時候，作業系統110將通知以聲音和畫面的形式發送給用戶，以提醒用戶。這種提醒的方式在大多數終端設備中已經實現。
[0032]用戶在得到提醒之後決定查看這條微博並進行反饋。此時，用戶通過藍牙耳機上的話筒發出語音指令「查看通知信息」。中間層120在接收到該語音信息之後，語音識別模塊121對這條語音信息進行識別，從而得到「查看通知信息」的文本信息。接下來，語義分析模塊122使用分詞標註來對文本信息進行分析。例如，分詞標註能夠識別出動詞「查看」和動詞的受體「通知信息」，同時根據上一次發生信息交互的應用程式(即，新浪微博)，語義分析模塊122可以判斷出用戶的需求是「查看」[動作]「新浪微博」[應用程式]的「通知信息」[客體]。然後，語音控制模塊123調用終端設備100的作業系統底層的API打開新浪微博。這樣，用戶可在終端設備上查看剛剛接收到的新浪微博的通知信息。
[0033]可選地，語音轉換模塊124還可從應用程式得到通知信息的文本信息，並將文本信息轉換為語音信息，並通過作業系統110的負責藍牙耳機的模塊將語音信息發送到藍牙耳機。這樣，用戶可從藍牙耳機中聽到自己想要查看的通知信息，而不用自己主動在終端上查看通知信息。與當前已經存在的語音助手類的應用程式最大的區別是不需要對當前存在的應用程式做接口調用，直接從底層就可以和其他應用進行交互，具有很大的擴展性。
[0034]下面將參照圖3對根據本發明實施例的語音交互方法的流程進行說明。
[0035]首先，在步驟S301，由位於作業系統110和應用程式130之間的中間層120來接收用戶從語音輸入設備輸入的語音指令的語音信息。
[0036]接下來，在步驟S303，中間層120將接收的語音信息轉換為文本信息。然後，在步驟S305，中間層120對文本信息進行語義分析以提取出用戶的語音指令中的操作信息和實體信息，並根據操作信息得到對終端設備的指令。
[0037]接下來，在步驟S307，中間層120根據對終端設備的指令調用終端設備的底層API以操作相關的應用程式，並將操作信息和實體信息提供給相應的應用程式。或者，中間層120還可將得到的操作信息和實體信息轉換為用於模擬用戶對終端設備的操作的指令。
[0038]可選地，如果應用程式在執行操作之後返回了文本信息，則在步驟S309中間層120將返回的文本信息轉換為語音信息，並將語音信息提供給語音輸出設備。
[0039]通過本發明，用戶可以借用語音輸入設備控制行動裝置的應用程式，滿足在移動過程中不適合查看手機屏幕時的使用場景。除此之外，對於無法正常使用一些設備的盲人，也提供了一種僅僅通過語音的方式和設備進行交互的方法。另外，本發明的技術方案不僅擴充了目前終端設備的語音交互功能，由於終端設備可通過中間層對語音指令進行轉碼，因此，可利用語音對運行在終端設備上的各種應用程式和功能進行控制和交互。
[0040]根據本發明的方法可被記錄在包括執行由計算機實現的各種操作的程序指令的計算機可讀介質中。介質也可以只包括程序指令或者包括與程序指令相結合的數據文件、數據結構等。計算機可讀介質的例子包括磁介質(例如硬碟、軟盤和磁帶)；光學介質(例如CD-ROM和DVD);磁光介質(例如，光碟)；以及特別配製用於存儲並執行程序指令的硬體裝置(例如，只讀存儲器(ROM)、隨機存取存儲器(RAM)、快閃記憶體等)。介質也可以是包括傳輸規定程序指令、數據結構等的信號的載波的傳輸介質(例如光學線或金屬線、波導等)。程序指令的例子包括例如由編譯器產生的機器碼和包含可使用解釋器由計算機執行的高級代碼的文件。
[0041]儘管已經參照本發明的示例性實施例具體顯示和描述了本發明，但是本領域的技術人員應該理解，在不脫離由權利要求限定的本發明的精神和範圍的情況下，可以對其進行形式和細節上的各種改變。
【權利要求】
1.一種用於終端設備的語音交互方法，其特徵在於所述終端設備包括位於作業系統和應用程式之間的中間層，所述語音交互方法包括: (a)由中間層接收用戶從語音輸入設備輸入的語音指令的語音信息，並將接收的語音信息轉換為文本信息； (b)對文本信息進行語義分析以提取出用戶的語音指令中的操作信息和實體信息，並根據操作信息得到對終端設備的指令； (c)根據對終端設備的指令調用終端設備的底層API，並將操作信息和實體信息提供給相應的應用程式以對應用程式執行相應的操作。
2.如權利要求1所述的語音交互方法，還包括: (d)如果應用程式在執行操作之後返回了文本信息，則將返回的文本信息轉換為語音信息，並將語音信息提供給語音輸出設備。
3.如權利要求1所述的語音交互方法，其中，步驟(c)還包括:將得到的操作信息和實體信息轉換為用於模擬用戶對終端設備的操作的指令。
4.如權利要求1所述的語音交互方法，其中，語音輸入設備和語音輸出設備集成在與終端設備連接的藍牙耳機中。
5.如權利要求1所述的語音交互方法，其中，中間層屏蔽語音輸入設備與應用程式之間的聯繫。
6.一種用於語音交互的終端設備，其特徵在於所述終端設備包括位於作業系統和應用程式之間的中間層模塊，所述中間層模塊包括: 語音識別模塊，接收用戶從語音輸入設備輸入的語音指令的語音信息，並將接收的語音信息轉換為文本信息； 語義分析模塊，對文本信息進行語義分析以提取出用戶的語音指令中的操作信息和實體信息，並根據操作信息得到對終端設備的指令； 語音控制模塊，根據對終端設備的指令調用終端設備的底層API，並將操作信息和實體信息提供給相應的應用程式以對應用程式執行相應的操作。
7.如權利要求6所述的終端設備，所述中間層模塊還包括:語音轉換模塊，如果應用程式在執行操作之後返回了文本信息，則將返回的文本信息轉換為語音信息，並將語音信息提供給語音輸出設備。
8.如權利要求6所述的終端設備，其中，語音控制模塊還將得到的操作信息和實體信息轉換為用於模擬用戶對終端設備的操作的指令。
9.如權利要求6所述的終端設備，其中，語音輸入設備和語音輸出設備集成在與終端設備連接的藍牙耳機中。
10.如權利要求6所述的終端設備，其中，所述中間層模塊屏蔽語音輸入設備與應用程式之間的聯繫。
【文檔編號】G10L15/28GK104050966SQ201310078337
【公開日】2014年9月17日 申請日期:2013年3月12日 優先權日:2013年3月12日
【發明者】張肖男, 陳龍 申請人:百度國際科技（深圳）有限公司