具有語音識別功能的計算機作業系統的製作方法
2023-04-23 13:09:56 3
專利名稱：具有語音識別功能的計算機作業系統的製作方法
技術領域：
本發明涉及具有語音識別功能的計算機作業系統。
隨著計算機和計算設備在全社會的激增，越來越多的注意力轉向代替傳統鍵盤的數據輸入方法。許多電腦程式具有語音識別功能，這些電腦程式中的大多數都是「應用程式」，也就是說，這些程序的功能和操作是為特定的目的而專門設計的。例如，聽寫就是一種眾所周知的應用程式，該應用程式接受某個用戶的語音作為輸入並響應用戶的語音輸入，以類似字處理程序的方式使文本輸入到某個文檔中。語音識別應用程式的另一個例子也許是控制某個設備的一個項目的控制程序，例如，在免提無線電話中撥電話號碼。在這樣的一種應用程式中，用戶可能說出所要撥的數字，然後例如可能說出命令「發送」，使得蜂窩式無線電話撥出所說的數字。這些都是特定語音識別應用程式的例子。
在1990年8月的Computer雜誌第23卷第8期第50-60頁，由C.Schmandt、M.S.Acherman和D.Hindus所寫的「用語音輸入強化視窗系統」一文中介紹了用於控制視窗導航任務的一種語音識別應用程式。名為「X Speak」的應用程式是X視窗系統的語音界面，在該應用程式中，單詞和視窗相關。說出一個視窗的名字，就能使之移到計算機屏幕的前面，並將光標移入該視窗中。X Speak應用程式假定某些功能一般分配給滑鼠。各種命令被描述，例如「create」表示啟動一個應用程式，「recall」表示將某個視窗重新放在視窗堆棧的頂端，而「hide」則表示將某個視窗放在視窗堆棧底部。還有重新確定視窗大小和位置的命令等等。該論文的作者承認，使用視窗導航任務應用程式的任何人機接口效率是有限的或不存在的。
現有語音識別應用程式的缺點是缺乏靈活性。在典型的語音識別應用程式中，都有和該應用程式相關的可識別單詞的詞彙表。識別器企圖從該詞彙表中識別單詞。識別不在該詞彙表中的單詞的技術也可以被提供。詞彙表可以被擴充或替換，以便修改對該用戶的識別操作的性能。
在X Speak應用程式的情況下，該應用程式是和某個作業系統相關的一個工具，有一組可以被識別的專用命令，這組可用的命令被預編程到應用程式中。這樣做缺乏靈活性而且不能很好適應現代的多種應用程式個人計算機和類似的設備，在這些設備中新的應用程式經常被裝入，而且許多應用程式可以相繼運行。
希望能有一種更好的語音識別界面，至少能部分地代替數據和命令的鍵盤輸入和滑鼠的屏幕導航。
微軟公司的一個語音應用程式設計界面(SAPI)為那些希望使其應用程式具有語音功能的應用開發人員提供了更大的靈活性，該界面允許通用語音搜尋引擎識別不同應用程式的命令。但沒有提供到非當前應用程式的語音引導，或沒有提供處理多種具有語音功能的應用程式。也沒有提供識別用於還沒有被激活的或第一次運行的應用程式的命令。
希望能有這樣的一種語音界面，能夠引導語音到多種應用程式或新安裝但還沒有操作的應用程式。
還有一個問題，語音可以包含作業系統命令(例如「使視窗最小化」，「關閉視窗」)和應用程式導向語音命令(例如「開始聽寫」)，以及應用程式導向內容(例如「給jones先生的備忘錄」)。需要確定語音的最合適目標，不進行識別就不容易做到。最好設計為語音可以被導向的潛在任務。為此，需要為該任務專用的一個詞彙表和語言模型(或其等價物)。
圖1表示一典型的個人計算機，具有顯示在屏幕上的多個應用程式的圖標，適合於實現本發明。
圖2是根據本發明的一組電腦程式的一個框圖。
圖3是說明本發明一個替換實施例的處理流程圖。
圖4是本發明一個實施例的處理流程圖，該實施例是圖3實施例的替換。
圖5是一個硬體示意框圖，進一步說明圖4的實施例。
現在描述一種結構，其中具有語音識別能力的多個應用程式有機會指示作業系統，給定的語音輸入是否對該單個的應用程式有用。這種結構有一個優點，一個應用程式比作業系統更適合於決定某種語音是否和該應用程式有關。可以更好地確定該語音是否應該被導向作業系統或導向某個特定的應用程式。
所示計算機10具有屏幕12，該屏幕上顯示各種圖標和視窗。所示計算機具有圖標14，代表位於計算機10中的一個硬碟驅動器，以及第一應用程式圖標16，代表存儲在計算機10中的第一應用程式，還有第二應用程式圖標18，代表存儲在計算機10中的第二應用程式。第一應用程式取名「App A」，第二應用程式取名「AppB」。在屏幕12上顯示的還有第一視窗20和第二視窗22。第一視窗20為「焦點上的」意思是指其正在前臺並且是當前激活的視窗。第二視窗22為「焦點外的」，意思是指其正在後臺。為了便於描述，將考慮這樣的例子，其中，第一視窗20是App A的一個輸入/輸出界面視窗，而第二視窗則是App B的輸入/輸出用戶界面。
在典型的現有技術的操作中，視窗20是通過將滑鼠移到圖標16上並且雙擊該圖標來建立的。同樣，第二視窗22也是通過將滑鼠移到圖標18上並雙擊該圖標來建立的。對某個圖標雙擊導致該圖標所代表的應用程式被調用或者「被發射」。此後，單擊該圖標或其對應的視窗，使得該視窗進入焦點。當然，也可以是多個視窗對應一個應用程式。
圖1所示有一個話筒40，可以接收語音命令作為語音輸入。語音命令可以使得操作在App A或App B中執行。語音輸入可以使得文本或其他的信息被輸入到由App A或App B建立的文件中。本發明將解決這樣的問題，確定語音命令或語音輸入應該被導向哪一個應用程式。
現在看圖2，該圖給出了一組電腦程式，包括作業系統30，第一應用程式32和第二應用程式34以及音素網絡發生器36。這組電腦程式被裝入位於計算機10中的微處理器38。通過模-數轉換器39連接到該處理器38的是話筒40。另外，連接到微處理器38的還有存儲器42，該存儲器可以是隨機訪問存儲器，但最好是只讀存儲器。存在存儲器42中的是第一和第二詞彙表44和46以及第一和第二語言模型48和50，分別連接第一和第二應用程式32和34。
音素網絡發生器36最好是一個上下文相關(CD)的音素網絡發生器，正如Sreeram Balakrishnan等1997年11月26日遞交的共同未決專利申請中所描述的，名稱為「用於對語音信息編碼的上下文相關網絡」，被轉讓給和本專利申請相同的受讓人並在此被引用。另外，音素網絡發生器36也可以是上下文無關。
現在看微處理器38中程序實現的細節，音素網絡發生器36包含輸入60，它連接到模-數轉換器39。特徵提取程序模塊62連接輸入60，並且(最好是一個維特比解碼器的)程序模塊64連接特徵提取程序模塊62。解碼器64有一個輸出通過作業系統30的應用程式界面(API)35分別連接第一和第二應用程式32和34。
第一應用程式32有一個檢索功能框33，能夠調用第一詞彙表44和第一語言模型48。第二應用程式34也有一個檢索功能框37，能夠調用第二詞彙表46和第二語言模型50。每個詞彙表具有潛在的需要由相關應用程式識別的字詞或字符。每個語言模型具有該應用程式通常用到的字詞或字詞、字母或字符的組合。可能有(並且的確一般都是這樣)對兩個應用程式都通用的字詞或字符。
下面將考慮這樣的例子，其中App A是「Netscape」，而App B則是WisdomPenTM。第一詞彙表44中有幾個對瀏覽器有用的命令，例如「start」，「open」，「go back」，「search」，「home」和「Netscape」，第二詞彙表46中也有幾個對手寫識別器有用的命令，例如「start」，「open」，「next character」，「phrase」，「edit」，「WisdomPen」等。注意，詞組合「start Netscape」對第一詞彙表44是唯一的，而「startWisdomPen」對第二詞彙表46也是唯一的。即使這些詞組合不是唯一的，注意到第一語言模型48給詞組合「start Netscape」一個高可能性的得分，而給詞組合「start WisdomPen」低可能性得分。而且也注意到，第二語言模型50給詞組合「start WisdomPen」高可能性得分，而給詞組合「start Netscape」低可能性得分。
在操作中，用戶對話筒40發出一個命令，其語音在A/D轉換器39中被數位化，並且在特徵提取程序模塊62中被提取特徵。解碼器64從被提取的特徵和輸出(在API35上)數據中產生CD音素網絡，對於某個給定的音素，這些數據代表前面和後面音素的標識，當前音素的標識，當前音素的持續時間和得分(或少數其他音素的得分)。如此產生的CD網絡被同時送到(或被拾取)應用程式32和34的檢索功能框33和37。利用詞彙表44和46中的數據以及語言模型48和50，功能框33和37中的每一個提供其識別操作的結果，至少包括識別的「得分」或「可信度」。應用程式32和34分別通過API輸出71和72將這些得分傳遞到作業系統30中的判優器70。判優器70根據輸入語音決定多個應用中的哪一個將要動作。
判優器70按照其最簡單的形式確定提供最高識別得分的應用程式將接收輸入語音並且據此動作。
因此，例如，如果輸入語音為「goback」或「start Netscape」，判優器70將通過控制輸出73通知應用程式A根據輸入語音動作，並且也將通過控制輸出74通知應用程式B忽略輸入語音。另一方面，如果輸入語音是「start WisdomPen」或「edit」，將是應用程式B被允許根據該輸入動作。響應該輸入的動作可能包括啟動該應用程式，將該應用程式的視窗帶到前臺，改變應用程式中的模式，將數據輸入到該應用程式中的某個文件，或者其他的操作。
在一種更先進的形式中，判優器70是上下文相關的，例如，賦予焦點上的應用程式比焦點外的應用程式更高的優先級。在識別中必須超出一個更高的可信度閾值才能將輸入語音導向焦點外的應用程式，而一個較低的可信度閾值就允許輸入語音被導向當前的應用程式。另外，判優器70區分命令和輸入數據，或者區分不同類型的命令。例如，如果具有高可信度標識符(例如「Netscape」和「WisdomPen」)，一組基本命令(「start」，「open」，「quit」)比其他命令或輸入更容易被判優器70導向焦點外的應用程式(即，具有較低的可信度)。為了做到這一點這組基本命令可以被存儲在判優器70中。
就這樣，應用程式32和34(以及其他的應用程式)中的每一個都向作業系統30提出一個請求，作業系統30根據輸入的語音進行判優，並且允許優於其他應用程式的應用程式接收輸入的語音並據此動作。
因此，已經介紹的處理器38包含用於接收語音命令的輸入60，帶有判優器70的作業系統30，以及在作業系統控制下的一個、二個或更多的應用程式32、34。應用程式在模塊上獨立於作業系統。每個應用程式都有一個語音識別器33、37，用於識別語音命令並且向判優器70提供識別信息71、72，表示語音識別器識別語音命令的能力。
識別信息最好依賴應用程式的詞彙表44和語言模型48。
計算機操作的一種方法也已經被描述，該方法包括輸入語音命令；將被輸入的語音命令和與該應用程式相關的語音命令的表示進行比較，以便提供識別結果；將識別結果提供給作業系統；並且取決於識別結果，有選擇地允許該應用程式根據語音命令動作。
該方法最好進一步包括，與作業系統聯合，產生表示語音命令的音素網絡，並且將音素網絡遞交給應用程式。該音素網絡最好是上下文有關的音素網絡。
在該最佳實施例中，被輸入的語音命令與第一和第二識別結果相關的語音命令的表示進行比較，並且有選擇允許的步驟包括根據勝過其他應用程式的結果允許第一和第二應用程式中的一個執行動作，作為第一和第二應用程式的當前運行模式的一個函數。
另外，所描述的數據存儲介質包括這樣的一些指令和數據，當被裝入通用處理器時，使得處理器包括用於接收數位化語音的一個輸出；產生音素標識信息的音素發生器；和第一和第二應用程式接口的界面；以及一個判優器。該界面被設計來將音素標識信息傳遞到第一和第二應用程式，並且將識別信息從第一和第二應用程式傳遞到判優器，而判優器則被設計來根據識別信息在第一和第二應用程式之間判優，並且根據所接收的數位化語音來控制第一和第二應用程式中被選擇的一個。
第一和第二應用程式已經被描述為最好分別包含第一和第二詞彙表，並且分別包含第一和第二語言模型，這樣，給定的數位化語音命令從第一和第二應用程式導致不同的識別信息。
另外介紹的將應用程式安裝在計算機中的方法包括對作業系統註冊該應用程式；從應用程式中提取所選擇的命令及其語音表示；並且將這些命令和語音表示遞交給搜尋引擎的詞彙表。
現在看圖3，該圖說明了一種結構，允許在應用程式第一次運行之前識別特定於某個應用程式的輸入語音命令。
作業系統30，以及第一和第二應用程式32和34被說明。應用程式通過語音應用程式設計界面102連接搜尋引擎104。應用程式32和34分別帶有詞彙表110和120(與圖2中的詞彙表44和46等同或作為其中的一部分)。在該例子中詞彙表110中有詞彙「Netscape」，而詞彙表120中有詞彙「Huibi」，該詞是「WisdomPen」的中文名。
搜尋引擎104有一個激活的詞彙表106，該表包括許多普通命令，例如「start」、「open」、「quit」，也有詞「Netscape」，該詞或預編程進入搜尋引擎詞彙表106(是一個普遍使用的詞)，或已經在應用程式32較早的操作中從詞彙表110中提供給詞彙表106。反之，詞「Huibi」不是一個很常用的詞，因此不可能通過正常操作在詞彙表106中提供。
安裝程序130被用來安裝應用程式B。在安裝時，程序130對作業系統30註冊應用程式B，並且在同時，從詞彙表120中提取詞彙及其音素網絡等價物，並且將這些詞彙和音素網絡等價物插入搜尋引擎詞彙表106。
這樣，當第一次說出命令「start Huibi」時，這個命令被搜尋引擎104所識別。搜尋引擎104能夠使得作業系統30啟動應用程式34。
應用程式32和34在模塊結構上是互相獨立的。這樣做有很大優點，這些應用程式中的任何一個或者可以被刪除，或者可以被替換，而不會影響系統的操作。另外，還可以進一步增加其他的應用程式。每次加上一個應用程式(或者替換一個應用程式)，新的應用程式有其自己的作業系統詞彙表，該表在安裝時被傳遞給作業系統，使得作業系統能夠檢索出與該應用程式有關的命令。這是在現有結構上的一個顯著改進，而不需要用新的語音命令等來更新作業系統本身，也不需要訓練作業系統或擴充任何和語音識別器36相關的詞彙表，使得系統能夠被擴充或者被升級。第一和第二應用程式中的任何一個可以被刪除而不會降低其他應用程式的性能。
本發明的一個進一步實施例是圖3實施例的代替，並且是圖2實施例的互補或增強，由圖4和圖5說明。
現在看圖4，這是為第一識別器200(稱為識別器A)和第二識別器202(稱為識別器B)提供的軟體替換結構。這些識別器是小應用程式，是在微處理器38啟動時由作業系統30發射的。這些識別器獨立於應用程式A和B，但被應用程式A和B按下述的方式調用。附加在識別器A上的是一個包含基本詞彙的小詞彙表210，與圖3的詞彙表110相似。附加在識別器B上的是基本詞彙的第二詞彙表220，與圖3的詞彙表120相似。
在操作中，作業系統30使得識別器A和B在微處理器38啟動時被發射。這意味著識別器A和B從非易失性存儲器，例如硬碟，被傳送到計算機10的隨機存取存儲器中。應用程式A和B不需要在這個時候被發射。由於語音被輸入到話筒40中，其語音表示(例如三重音網絡表示)由作業系統30提供給識別器A和B。這些識別器根據分別存在詞彙表210和220中作為語音表示的關鍵字，繼續檢索已接收到的輸入語音的語音表示。識別器A和B繼續提供計分給作業系統30，說明輸入語音和存在各自詞彙表210和220中的關鍵字之間的相關程度。作業系統30中的判優器70(見圖2)比較這些計分，並且決定應用程式A和B中的一個是否應該被發射。因此，例如，如果在話筒40接收到詞「open Netscape」，識別器A將為該命令提交一個高的計分，而識別器B則遞交一個較低的計分。識別器A為命令「open Netscape」遞交的計分將是足夠高的(例如超過某個預定的閾值)，使得判優器70能夠確定詞「openNetscape」就是發射應用程式32的命令(而不是，例如對某個其他應用程式的某些輸入文本)。
一旦作出這樣的決定，作業系統30發射應用程式A。發射或初始化應用程式A使得該應用程式從非易失性存儲器被傳送到隨機存取存儲器，並且應用程式A成為完全功能化的並開始利用微處理器38的處理能力。同時，應用程式B繼續單獨駐留在非易失性存儲器中並且不使用任何處理能力。
一旦被發射，應用程式A繼續使用識別器A(通過鏈路202)，對從話筒40傳遞過來並以應用程式A為目標的內容執行識別操作。這時，應用程式A還可以有效地補充該識別器正在使用的詞彙表，並且可以引進語言的模型化特徵，這些工作在應用程式A發射之前不需要做。換句話說，當識別器A正在搜索關鍵字時，識別器A要求最小的語言模型化能力，而當應用程式A被發射時，識別器A所用的語言模型化能力得到顯著增加。
類似地，當識別器B對某個命令或存在詞彙表220中的詞彙組向作業系統30遞交一個較高的計分時，作業系統30將發射應用程式B。
採用一種完全類似的方式，識別器A和B可以對例如「quitNetscape」或「Huibi」這樣的命令向作業系統遞交一個較高的計分，一旦作業系統30可以識別這些命令，就可以導致相應的應用程式A和B被關閉。
現在看圖5，應用程式A和B以及識別器A和B以其在計算機10中的啟動模式被說明。圖5說明一個硬碟驅動器或其他非易失性存儲器300，以及隨機存取存儲器310，二者都連接到處理器38。駐留在非易失性存儲器300中的有應用程式32和34以及小識別器200和202。另外在非易失性存儲器300中的還有啟動程序320。
當處理器38啟動時，根據預先預設設置，處理器在非易失性存儲器300中查找其啟動程序並且找到啟動程序320。啟動程序320使得識別器200和202通過處理器38被裝入隨機存取存儲器310。駐留在隨機存取存儲器310中的這些識別器被表示為識別器200』和202』。應用程式32和34這時還沒有被裝入隨機存取存儲器310中並且沒有佔用有價值的存儲空間。同樣，它們也沒有利用處理器38的處理器能力。應用程式A和B要比它們各自的識別器200和202大得多，因此，將識別器裝入隨機存取存儲器而不裝入全部應用程式是可以容許的。當識別器200』和202，中的一個為與該識別器的應用程式有關的命令提供一個較高的計分時，處理器38使得該應用程式從非易失性存儲器300被傳送到隨機存取存儲器310中。
這裡僅通過示例給出上述的最佳實施例，本領域中普通技術人員可以在不離開本發明的精神和範圍的前提下修改其細節。
權利要求
1.一種處理器，包括接收語音命令的輸入裝置；具有判優器的作業系統；以及在作業系統控制下的至少一個應用程式，並且在程序模塊上獨立於作業系統，該應用程式包括語音識別器，用於識別語音命令，並且為判優器提供表示語音識別器識別該語音命令的能力的識別信息。
2.權利要求1的處理器，其中至少一個應用程式包含一個詞典和語言模型，並且其中，識別信息與該詞典和語言模型有關。
3.一種具有作業系統和至少一個應用程式的計算機的操作方法，包括輸入語音命令；比較被輸入的語音命令和與該應用程式有關的語音命令的表示，以便提供識別結果；提供識別結果給作業系統；並且取決於識別結果有選擇地允許應用程式根據語音命令執行動作。
4.權利要求3的方法，進一步包含，結合作業系統，產生表示語音命令的音素網絡，並且將該音素網絡遞交給應用程式。
5.權利要求4的方法，其中的音素網絡是上下文相關的音素網絡。
6.權利要求3的方法，其中，被輸入的語音命令同時和與第一和第二應用程式相關的語音命令的表示進行比較，以便提供第一和第二識別結果。
7.權利要求6的方法，其中，有選擇允許的步驟包括允許第一和第二應用程式中的一個根據其勝於第一和第二應用程式中另一個的結果執行動作。
8.權利要求7的方法，其中，有選擇允許的步驟包括在第一和第二應用程式之間判優，作為第一和第二應用程式的當前操作模式的一個功能。
9.權利要求6的方法，進一步包括，結合作業系統，產生表示語音命令的音素網絡並且將該音素網絡傳遞給第一和第二應用程式。
10.權利要求9的方法，其中的音素網絡是上下文有關的音素網絡。
11.一種在計算機中安裝應用程式的方法，包括在作業系統上註冊該應用程式；從應用程式中提取被選擇的命令及其語音表示；並且將命令和語音表示傳遞給搜尋引擎的詞彙表。
12.一種計算機操作的方法，包括調用與第一應用程式有關而還沒有被調用的第一識別器；調用與第二應用程式有關而還沒有被調用的第二識別器；接收一個語音命令；在第一和第二識別器中執行對該語音命令的識別，以便提供第一和第二識別結果；在第一和第二識別結果之間判優；並且根據判優步驟的結果，調用第一和第二應用程式中的一個。
13.權利要求12的方法，其中，當第一應用程式被調用時，第一識別器對第一應用程式執行語音識別，而當第二應用被調用時第二識別器對第二應用程式執行語音識別。
全文摘要
具有語音識別工具(36)以及第一和第二應用程式(32和34)的一種計算機作業系統。該作業系統(30)從與控制字有關的第一和第二應用程式中接收信息以便控制這些應用程式。信息被說明作為詞彙表A(74)和詞彙表B(76)。語音識別工具(36)被設計來從第一和第二應用程式中接收信息,並且執行與在輸入端(60)上接收到的數位化語音的比較。根據接收到的數位化語音來控制應用程式(32和34)中被選擇的一個。
文檔編號G06F9/44GK1262762SQ99800423
公開日2000年8月9日 申請日期1999年3月11日 優先權日1998年4月1日
發明者斯裡拉姆·巴拉克裡什南 申請人:摩託羅拉公司