語音識別的文本輸入的視覺確認的製作方法

2023-07-07 03:51:01

語音識別的文本輸入的視覺確認的製作方法
【專利摘要】一種計算設備從用戶接收音頻輸入。該計算設備基於該音頻輸入確定一系列詞。該計算設備輸出一個或多個替代符號以顯示。該一個或多個替代符號對應於該系列詞的至少一部分。響應於確定該音頻輸入的接收已經完成，該計算設備輸出包括該系列詞的字母數字字符來替換一個或多個替代符號以顯示。
【專利說明】語音識別的文本輸入的視覺確認

【背景技術】
[0001]一些計算設備(例如，行動電話)被配置有話音到文本功能以便將所講的語言轉換為書寫形式。例如，計算設備能夠被配置有能夠接收音頻輸入(例如，用戶的語音)並且基於該音頻輸入確定文本內容(例如，313消息或電子郵件)的話音到文本功能。
[0002]通常，計算設備將來自所講出的詞的音頻輸入接收到計算設備的麥克風中。在用戶講話時，計算設備能夠識別該音頻輸入中所講的詞。計算設備隨後能夠輸出所識別的詞以便進行顯示(例如，在計算設備的屏幕上當前的技術可以允許計算設備近乎實時地執行話音到文本的轉換並且向用戶提供幾乎即時反饋。
[0003]然而，用戶可能在他們完成講話之前由於觀看顯示在屏幕上的講話文本的近乎實時的文本轉換而分神一特別是在計算設備已經出現轉譯錯誤時。例如，如果計算設備沒有正確識別並且顯示了不正確的詞，則用戶可能會在一句話中間暫停講話而嘗試回退和丨或以其它方式糾正該錯誤。這樣的講話暫停可能會導致更多轉譯錯誤，因為計算設備會依賴自然講話的模式來執行話音到文本的轉換，並且依賴於詞上下文來自動執行轉譯錯誤糾正。


【發明內容】

[0004]在一個實施例中，本公開涉及一種方法。該方法可以包括由計算設備接收音頻輸入。該方法可以進一步包括由計算設備基於該音頻輸入確定一系列詞。此外，該方法可以包括由計算設備輸出一個或多個替代符號以便進行顯示，其中該一個或多個替代符號對應於該系列詞的至少一部分。響應於確定該音頻輸入的接收已經完成，該方法可以進一步包括由計算設備輸出替換一個或多個替代符號的包括該系列詞的字母數字字符以便進行顯示。
[0005]在另一個示例中，本公開涉及一種計算機可讀存儲介質。該計算機可讀存儲介質可以包括指令，該指令在被計算設備的至少一個處理器執行時接收音頻輸入。該指令在被執行時進一步使得該計算設備的至少一個處理器基於該音頻輸入確定一系列詞。該指令在被執行時進一步使得該計算設備的至少一個處理器輸出一個或多個替代符號以便進行顯示。該一個或多個替代符號可以對應於該系列詞的至少一部分。該操作可以進一步包括確定該音頻輸入已經結束。響應於確定該音頻輸入的接收已經完成，該指令在被執行時可以進一步使得該計算設備的至少一個處理器輸出替換一個或多個替代符號的包括該系列詞的字母數字字符以便進行顯示。
[0006]在另一個示例中，本公開涉及一種計算設備。該計算設備可以包括被配置為接收音頻輸入的一個或多個處理器。該一個或多個處理器進一步被配置為基於該音頻輸入確定一系列詞。該一個或多個處理器進一步被配置為輸出一個或多個替代符號以便進行顯示。該一個或多個替代符號可以對應於該系列詞的至少一部分。響應於確定該音頻輸入的接收已經完成，該一個或多個處理器進一步被配置為輸出替換一個或多個替代符號的包括該系列詞的字母數字字符以便進行顯示。
[0007]一個或多個示例的細節在附圖和以下的描述中給出。本公開的其它特徵、目標和優勢將從該描述和附圖以及權利要求而是顯而易見的。

【專利附圖】

【附圖說明】
[0008]圖1是圖示示例計算設備的概念圖。
[0009]圖2是圖示計算設備的示例配置的框圖。
[0010]圖3是圖示計算設備的示例操作的概念圖。
[0011]圖4是圖示計算設備的示例操作的流程圖。
[0012]圖5是圖示具有內嵌轉譯錯誤糾正的計算設備的示例操作的流程圖。
[0013]圖6是圖示計算設備可以輸出以便進行顯示的用戶界面的多個示例的框圖。
[0014]圖7是圖示計算設備可以輸出以便進行顯示的另外示例用戶界面的框圖。
[0015]圖8是圖示計算設備可以輸出以便進行顯示的另外經放大的示例用戶界面的框圖。

【具體實施方式】
[0016]圖1是圖示示例計算設備10的概念圖。在圖1的示例中，計算設備10是智慧型電話。然而，在其它示例中，計算設備10可以是蜂窩電話、個人數字助理膝上計算機、平板計算機、可攜式遊戲設備、可攜式媒體播放器、電子書閱讀器、手錶、或者另一種類型的可攜式或移動計算設備。此外，在其它示例中，計算設備10可以是非可攜式計算設備，諸如臺式計算機、路線電話或電視機。
[0017]在圖1的示例中，計算設備10輸出用戶界面164和168(統稱為「用戶界面16」〉以便在屏幕14進行顯示。計算設備10還包括用於接收音頻輸入(例如，來自用戶的話音)的麥克風12。
[0018]計算設備10的屏幕14包括存在敏感顯示器。屏幕14可以包括被配置為接收來自計算設備10的用戶或其它用戶的觸摸用戶輸入的觸控螢幕。屏幕14可以包括以下中的一個或多個:液晶顯示器仏⑶)、點矩陣顯示器、發光二極體([￡0)顯示器、有機發光二極體
(0120)顯示器、電子墨水、或者能夠向計算設備10的用戶提供可視信息以及用於接收來自用戶的觸覺輸入的類似的單色或彩色顯示器。屏幕14可以呈現與計算設備10所提供的功能相關的用戶界面(例如，用戶界面…)。例如，屏幕14可以呈現各種功能和應用，例如包括電子郵件客戶端、文本消息客戶端以及存儲在計算設備10上的地址簿。在另一個示例中，屏幕14可以呈現與計算設備10的功能和操作相關的選項的菜單，上述選項諸如屏幕亮度以及其它可配置的行動電話設置。
[0019]用戶界面16可以包括在屏幕14的多個位置呈現的用於從用戶接收觸覺輸入或者向用戶提供圖形輸出的圖形元素。例如，用戶界面16可以包括作為針對用戶的圖形輸出而在屏幕14呈現的字符串。該字符串可以形成用戶所編寫的電子郵件或313文本消息的主體。通過在用戶界面16內包括消息主體，在由計算設備10發送該消息之前，計算設備可以向用戶提供該消息不包括文本錯誤的視覺確認(例如反饋)。
[0020]麥克風12可以接收音頻輸入(例如，來自用戶的話音^在圖1中，麥克風12被布置在計算設備10的屏幕14下方。然而，在其它示例中，麥克風12可以被布置在計算設備10的另一個適當位置以便接收可聽輸入。
[0021]計算設備10可以利用話音至文本系統。例如，計算設備10可以被配置為接收來自用戶的輸入並且將該音頻輸入所表示的詞作為文本輸出(例如，以便在屏幕14進行顯示)。以這種方式，用戶可以利用計算設備10 口述而不是鍵入消息。例如，圖1示出了計算設備10，其接收由用戶向計算設備10的麥克風12中所講出的包括所講詞的音頻輸入「011(1 7011冊1x11 1:116職1116 1已8七1:116 110118VIII」。典型的話音至文本系統可以將包括這些所講的詞的音頻輸入轉譯為由字母數字字符的串所表示的一系列詞。然而，依據本公開的技術，不同於向用戶界面16八輸出字母數字字符的串，計算設備10可以向用戶界面16八輸出一個或多個替代符號來替換該字母字符的串。該替代符號可以基於數字、大小和方位而類似於該字母數字字符的串。來自該一個或多個替代符號的每個替代符號可以對應於該系列詞中的不同字母數字字符。
[0022]該替代符號可以提供音頻輸入的話音轉譯已經進行或者正在沒有表現出任何潛在轉譯錯誤的情況下進行的指示。輸出替代符號可以使得從用戶接收的音頻輸入中的話音暫停最小化並且可以有助於確保用戶在接收到音頻輸入時自然地講話。通過幫助確保用戶自然地講出音頻捕捉，話音至文本系統可以執行更為有效的轉譯並且因此可以消耗更少的處理資源。
[0023]在確定音頻輸入的接收已經完成時，計算設備10可以利用表示該系列詞的字母數字字符(如圖1中被描述為用戶界面168)來替換用戶界面16八中的替代符號。
[0024]如圖1中所描繪的並且依據本公開的技術，計算設備10可以接收音頻輸入並且至少部分基於該音頻輸入確定一系列詞。計算設備10可以輸出一個或多個替代符號(例如，在屏幕14)以便進行顯示。該替代符號可以對應於該系列詞的至少一部分。例如，每個替代符號可以對應於該系列詞中的不同字母數字字符。
[0025]在另一個示例中，除了至少部分基於音頻輸入確定一系列詞之外，計算設備10可以至少部分基於音頻輸入確定波形。該波形可以包括形狀。來自該系列詞的每個詞可以對應于波形的一部分。波形的每個部分的形狀可以對應於來自該系列詞的每個詞並且該形狀可以從被輸出以便進行顯示的替代符號可見。例如，該波形可以將音頻輸入的音頻參數(例如，音量、音調、音高等)表示為與隨時間變化的參數相關聯的數值。當在屏幕14進行呈現時，該替代符號可以描繪波形的形狀。更具體地，當在屏幕14進行呈現時，該替代符號可以描繪該波形中與每個詞相對應的每個部分的形狀。在屏幕14輸出替代符號可以使一系列詞不可讀。響應於確定音頻輸入的接收已經完成，計算設備10可以輸出替換一個或多個替代符號的包括該系列詞的字母數字字符以便進行顯示(例如，在屏幕14)。
[0026]圖2是圖示計算設備10的示例配置的框圖。圖2僅圖示了計算設備10的一個特定示例，並且計算設備10的許多其它示例配置是可能的。如圖2的具體示例中所示，計算設備10包括一個或多個處理器30、一個或多個輸入設備34、一個或多個輸出設備36、以及一個或多個存儲設備40。在該示例中，計算設備10的存儲設備40還包括話音至文本模塊24、文本至符號模塊36和錯誤檢查模塊28。通信信道38可以對組件30、34、36、40、24、26和28中的每一個進行互連以便進行組件之間的通信(物理地、通信地和/或操作地)。在一些示例中，通信信道38可以包括系統總線、網絡連接、進程間通信數據結構、或者任意其它用於傳輸數據的方法。
[0027]一個或多個處理器30可以在計算設備10內實施功能和/或執行指令。例如，處理器30可以對存儲在存儲設備40中的執行話音至文本模塊24的功能的指令進行處理。
[0028]計算設備10內的一個或多個存儲設備40可以存儲用於在計算設備10的操作期間使用的所需信息。在一些示例中，存儲設備40的主要目的是短期而非長期的計算機可讀存儲介質。計算設備10上的存儲設備40可以是易失性存儲器，並且因此在斷電的情況下不保存所存儲的內容。易失性存儲器的示例包括隨機存取存儲器(狀的、動態隨機存取存儲器(0狀的、靜態隨機存取存儲器(3狀的、以及本領域已知的其它形式的易失性存儲器。存儲設備40可以進一步被配置用於作為非易失性存儲器空間的信息的長期存儲並且在開/關機循環之後保留信息。非易失性存儲器配置的示例包括磁性硬碟、光碟、軟盤、快閃記憶體、或者為電可編程存儲器(即如的或電可擦除可編程存儲器的形式。在一些示例中，計算設備10上的處理器30讀取並執行存儲設備40所存儲的指令。此外，在計算設備10上運行的話音至文本模塊24、文本至符號模塊36和錯誤檢查模塊28可以存儲在程序執行期間存儲設備40內的信息。
[0029]計算設備10可以包含一個或多個計算設備10用來經由觸覺、音頻或視頻反饋接收來自用戶的輸入的輸入設備34。在一個示例中，計算設備10的輸入設備34包括存在敏感屏幕、觸摸敏感屏幕、滑鼠、鍵盤、語音響應系統、視頻相機、麥克風或者用於檢測來自人或機器的命令的任意其它類型的設備。輸入設備34可以包括圖1的屏幕14和麥克風12。
[0030]計算設備10可以包含一個或多個計算設備10用來經由觸覺、音頻或視頻刺激提供輸出的輸出設備36。在一個示例中，計算設備10的輸出設備36包括存在敏感屏幕、音效卡、視頻圖形適配卡或者用於將信號轉換為人或機器能夠理解的適當形式的其它類型的設備。輸出設備36的另外示例包括揚聲器、陰極射線管(⑶」監視器、液晶顯示器([⑶)或者能夠向用戶和/或機器生成可理解輸出的任意其它類型的設備。輸出設備36可以包括圖1的屏幕14。
[0031]存儲設備40可以存儲與話音至文本模塊24、文本至符號模塊36和錯誤檢查模塊28相關聯的程序指令和/或數據。例如，文本至符號模塊36可以包括使得計算設備10的處理器30執行在本公開中所描述的一個或多個操作和動作的指令。
[0032]依據本公開的技術，計算設備10可以在輸入設備34接收音頻輸入(例如，計算設備10可以在圖1的麥克風12接收音頻輸入)。該音頻輸入可以表示電子郵件、313文本消息、即時消息或者構成文檔主體的電子詞部分的口述。當接收到音頻輸入的指示時，輸入設備34可以將與該音頻輸入相關聯的數據通過內部通信信道38傳送至計算設備10的話音至文本模塊24。
[0033]當接收到與音頻輸入相關聯的數據時，話音至文本模塊24可以執行話音轉譯功能並且基於該音頻輸入確定一系列詞。該系列詞可以包括一個或多個字母數字字符。例如，話音至文本模塊24可以利用隱馬爾科夫模型(目〉、動態時間規整(011)、神經網絡或者本領域已知的其中模型基於可聽話音輸出文本的任意其它已知話音至文本轉譯模型來執行基於統計的話音至文本轉譯。在將音頻輸入轉譯為一系列詞之後，話音至文本模塊24可以將包括該系列詞的一個或多個字母數字字符輸出至文本至符號模塊26。
[0034]雖然如以上所描述的，計算設備10可以利用本地處理器30來基於音頻輸入確定一系列詞，但是本公開的另一個示例可以利用遠程計算設備來執行這些話音至文本轉譯功能。例如，計算設備10可以將音頻輸入傳送至遠程計算設備(未示出)並且從遠程計算設備接收基於該音頻輸入的系列詞(以及相對應的字母數字字符)。遠程計算設備的示例可以包括個人計算機、膝上計算機、手持計算機、工作站、數據存儲系統、超級計算機、大型計算機、常規冊13伺服器、專用媒體伺服器或者其它類型的計算設備，包括但並不局限於以上所提到的計算設備10的示例。換句話說，話音至文本模塊24可以在遠程計算設備上遠程執行，從計算設備10接收與音頻輸入相關聯的數據並且代表計算設備10對音頻數據進行轉譯。
[0035]當從話音至文本模塊24接收到與該系列詞相關聯的一個或多個字母數字字符時，文本至符號模塊26可以確定與該系列詞的至少一部分相對應的一個或多個替代符號。文本至符號模塊26可以將該一個或多個替代符號傳送至輸出設備36。輸出設備36輸出該一個或多個替代符號以便進行顯示。例如，輸出設備36可以將一個或多個替代符號作為圖1的屏幕14處的用戶界面16八的一部分進行輸出以便進行顯示。
[0036]話音至文本模塊24可以確定音頻輸入的接收已經完成並且向文本至符號模塊26通知音頻輸入的接收已經完成。響應於接收到音頻輸入的接收已經完成的通知，文本至符號模塊26可以將從話音至文本模塊24原始接收的一個或多個字母數字字符傳送至輸出設備36。當接收到一個或多個字母數字字符時，輸出設備36可以輸出替換該替代符號的一個或多個字母數字符號以便進行顯示。例如，輸出設備36可以將一個或多個字母數字字符作為圖1的屏幕14處的用戶界面168的一部分輸出以便進行顯示。
[0037]計算設備10可以在接收音頻輸入期間輸出一個或多個替代符號以便進行顯示。例如，輸入設備34可以在計算設備10對音頻輸入進行處理的同時利用緩衝器來捕捉並臨時存儲與音頻輸入相關聯的數據。通過以這種方式利用緩衝器，話音至文本模塊24、文本至符號模塊26以及輸出設備36可以執行以上所描述的操作以在首次接收到音頻輸入的開頭之後近似實時地轉譯並顯示替代符號。該緩衝器可以允許計算設備10在確定音頻輸入的接收已經完成之前對該音頻輸入的一部分進行處理。換句話說，計算設備10可以在輸入設備34接收到音頻輸入的部分之後對該部分進行處理而並不等待用戶完成講出該音頻輸入。以這種方式配置計算設備10可以有助於確保用戶儘可能自然地講出音頻輸入(例如，沒有疑慮)。
[0038]計算設備10可以包括文本至符號模塊26，除了以上所描述的能力之外，其可選地可以響應於接收到指示替代符號被輸出來字母數字符號的輸入(例如，在輸入設備34)而將一個或多個替代符號發送至輸出設備36。
[0039]例如，在預設模式中，計算設備10可以在話音至文本的轉譯期間顯示字母數字字符。用戶界面16可以包括在屏幕14所顯示的選項，當其被選擇時向計算設備10指示在話音至文本轉譯期間顯示替代符號。計算設備10可以在輸入設備34接收對應於該選項的選擇的用戶輸入的指示。文本至符號模塊26可以從輸入設備34接收該選項並且至少部分基於用戶輸入的指示對計算設備10進行配置以輸出替代符號來代替字母數字字符。換句話說，代替在話音至文本轉譯期間向輸出設備36發送字母數字字符，文本至符號模塊26可以向輸出設備36發送替代符號。
[0040]計算設備10可以依賴於話音至文本模塊24來確定已經完成了音頻輸入的接收以便由文本至符號模塊26觸發響應以如以上所描述的向輸出設備36傳送一個或多個字母數字字符。話音至文本模塊24可以通過接收在存在敏感屏幕所檢測到的手勢輸入的指示來確定音頻輸入的接收已經完成。例如，當完成講出音頻輸入時，輸入設備34可以接收在存在敏感屏幕(例如，圖1的屏幕14)的一個位置接收的手勢輸入的指示。計算設備10可以接收該手勢輸入的指示並且可以將與該手勢輸入相關聯的數據傳送至話音至文本模塊24。話音至文本模塊24可以將與該手勢輸入相關聯的數據解釋為表明音頻輸入的接收已經完成。因此，話音至文本模塊24可以觸發由文本至符號模塊26作出響應以輸出字母數字字符來替換替代符號。
[0041]計算設備10的話音至文本模塊24可以通過確定沒有在其間檢測到話音的時間量來確定音頻輸入的接收已經完成，並且響應於確定該時間量滿足閾值而確定音頻輸入的接收已經完成。例如，話音至文本模塊24可以確定音頻輸入的分段，其指示靜音音頻(例如，缺少話音音頻)的分段。話音至文本模塊24可以確定該靜音音頻的分段流逝了一段時間。該段時間可以超過話音至文本模塊24所設置的閾值以便指示音頻輸入的接收已經完成(例如，1.5秒至10秒以這種方式，話音至文本模塊24可以識別用戶(例如，圖1的用戶)何時停止講話。
[0042]除了在音頻輸入的接收已經完成的時候之外，計算設備10的話音至文本模塊24可以確定顯示字母數字字符來替換替代符號的適當時間。例如，話音至文本模塊24可以確定自從計算設備開始接收音頻輸入起已經流逝了一段時間。響應於確定該段時間滿足閾值，話音至文本模塊24可以輸出字母數字字符的至少一部分來替換一個或多個替代符號的至少一部分以便進行顯示(例如，在圖1的屏幕14〉。例如，在接收很長的電子郵件口述(例如，包括多個句子)的音頻輸入期間，計算設備10可以確定音頻輸入跨越滿足時間閾值的足夠長的持續時間。話音至文本模塊24可以輸出與該電子郵件口述的第一部分相關聯的字母數字字符的至少一部分來替換與該電子郵件的第一部分相關聯的一個或多個替代符號的至少一部分，同時繼續接收該電子郵件口述的其餘部分，這可以不導致用戶的講話不自然。
[0043]計算設備10的話音至文本模塊24可以識別出音頻輸入中的字母、數字、首字母縮寫、縮寫形式和詞。話音至文本模塊24還可以識別出字母、數字和詞的上下文並且可以識別句子。話音至文本模塊24從音頻輸入轉譯輸出的字母數字字符的類型可以包括字母、數字或標點符號。
[0044]計算設備10的話音至文本模塊24可以將每個字母數字字符轉譯為大寫字母和小寫字母。計算設備10的文本至符號模塊26可以確定包括一系列詞的字母數字字符包括大寫和小寫字母數字符號。文本至符號模塊26可以確定一個或多個替代符號中對應於大寫字母數字字符的每一個與來自一個或多個替代符號中對應於小寫字母數字符號的每一個替代符號不同。例如，文本至符號模塊26可以從話音至文本模塊24接收具有大寫和小寫指示的一個或多個字母數字字符。基於該指示，文本至符號模塊26可以對每個大寫字母數字字符輸出一個替代符號並且對每個小寫字母數字字符輸出不同的替代符號。
[0045]計算設備10的文本至符號模塊26可以從一個或多個替代符號生成不同類型的替代符號，包括矩形、圓形、星形、星號、線段以及其它類型的形狀和符號。以下詳細描述的圖6圖示了替代符號的一些不同示例。
[0046]計算設備10的文本至符號模塊26可以確定來自一個或多個替代符號中的每個替代符號具有尺寸。該尺寸可以包括高度、寬度和半徑中的至少一個。來自一個或多個替代符號中的對應於大寫字母數字字符的每個替代符號的尺寸可以超過來自一個或多個替代符號中的對應於小寫字母數字字符的每個替代符號的尺寸。例如，文本至符號模塊26可以對大寫字母「0」向輸出設備36傳送一個替代符號並且對小寫字母「4」傳送不同的替代符號。輸出設備36可以在屏幕14針對字母「0」和「4」呈現兩個替代符號。對應於大寫字母「0」的替代符號可以看上去比對應於小寫字母「4」的替代符號具有更高的高度。
[0047]計算設備10的文本至符號模塊26可以將一個或多個替代符號中對應於大寫字母數字字符的每個替代符號表示為一個或多個替代符號中對應於小寫字母數字字符的至少兩個替代符號。例如，文本至符號模塊26可以對大寫字母「0」向輸出設備36傳送一個替代符號並且對小寫字母「01」傳送不同的替代符號。輸出設備36可以在圖1中的屏幕14呈現針對字母「0」和「4」的替代符號。對應於大寫字母「0」的替代符號在屏幕14上可以表現為兩個重疊的對應於小寫字母「4」的符號
[0048]在另一個示例中，除了基於音頻輸入確定一系列詞之外，計算設備10可以至少部分地基於該音頻輸入確定波形。該波形可以具有形狀。該波形的形狀(即該波形的波峰和波谷的高度和寬度)可以基於隨時間針對與音頻輸入相關聯的一個或多個音頻參數的變化而改變。例如，計算設備10的麥克風12可以捕捉音頻輸入。該音頻輸入可以包含音量水平、音調、音高或者在用戶講出一系列詞時隨時間變化的其它特性。來自該系列詞中的每個詞可以對應於該波形的一部分。來自一個或多個替代符號中的每個替代符號的形狀可以反映該波形中對應於來自該系列詞的每個詞的每個部分的形狀。換句話說，該波形的一部分可以對應於用戶所講出的每個詞，並且由文本至符號模塊24在音頻輸入的捕捉期間所輸出以便進行在屏幕14進行顯示的替代符號可以描繪該波形的每個部分的形狀。以下更為詳細描述的圖7描繪了顯示具有音頻輸入的波形的形狀的替代符號的計算設備的一個示例。
[0049]圖3是圖示計算設備的示例操作的概念圖。如關於圖2所討論的，計算設備10可以包括錯誤檢查模塊28。在另一個示例中，就像以上關於話音至模塊24可以處於遠程計算設備上並在其上執行的示例那樣，遠程計算設備可以執行錯誤檢查模塊28的功能。錯誤檢查模塊28可以自動(即沒有來自用戶或機器的人工介入)執行文本至話音模塊24輸出的詞或字母數字字符的轉譯錯誤校驗。轉譯錯誤檢查可以包括識別文本至話音模塊24產生的錯誤的功能。轉譯錯誤可以包括拼寫錯誤、語法錯誤或者詞選擇錯誤(例如，基於話音至文本模塊24之前和後續所識別的上下文或周邊詞替換同義詞)。
[0050]如圖3所示，計算設備10可以基於音頻輸入300的第一分段確定第一詞。響應於基於音頻輸入300的第一分段確定了第一詞，計算設備10的錯誤檢查模塊28可以基於音頻輸入300的第二分段確定第二詞以替換第一詞。響應於確定了第二詞，錯誤檢查模塊28可以利用與第二詞相對應的至少一個不同替代符號來替換與第一詞相對應的至少一個替代符號。
[0051]例如，話音至文本模塊24可以基於音頻輸入300輸出字母數字字符310 (例如，如以上在圖2下所討論的)。在該示例中，話音至文本模塊24所接收的音頻輸入表示所講出的詞8^0111(1 13117訪6匕'」的音頻，並且話音至文本模塊24所輸出的字母數字字符 310 表不字符串「3界6 8110111(1 137 訪67，『6'」。
[0052]除了接收話音至文本模塊24輸出的字母數字字符310的文本至符號模塊26之夕卜，錯誤檢查模塊28也可以接收字母數字字符310。文本至符號模塊26可以輸出替代符號320以便在屏幕進行顯示(例如，如以上在圖2下所討論的錯誤檢查模塊28可以接收字母數字字符310並且確定第一詞「祝6」出現了轉譯錯誤。錯誤檢查模塊28可以利用第二詞「1011」替換第一詞「祝6」。錯誤檢查模塊28可以對字母數字字符310的其餘分段執行後續的類似檢查，基於音頻輸入300的後續分段識別並修正音頻輸入300中較早分段中的轉譯錯誤，直至錯誤檢查模塊28輸出字母數字字符330 「丫011 8110111(1 4'」。
[0053]話音至文本模塊24可以從錯誤檢查模塊28接收字母數字字符330並且向文本至符號模塊26輸出字母數字字符340。文本至符號模塊26可以識別出字母數字字符340表示音頻輸入300中已經被作為替代符號320所顯示的分段。文本至符號模塊26可以利用替代符號350替換替代符號320並且最終利用替代符號360替換替代符號350。
[0054]使用錯誤檢查模塊28，計算設備10可以使用統計語言模型來執行轉譯錯誤檢測和轉譯錯誤校正。音頻輸入可以包括第一分段以及在第一分段之後接收的第二分段。計算設備10可以基於音頻輸入的第二分段確定一個或多個詞。計算設備10可以至少部分地基於該一個或多個詞來確定基於音頻輸入的第一分段的第一詞的概率以及基於音頻輸入的第一分段的第二詞的概率。響應於確定第二詞的概率超過第一詞的概率，計算設備10可以輸出對應於第二詞的字母數字符號的替代符號的不同群組來替換對應於第一詞的字母數字符號的一個或多個替代符號。
[0055]第一詞的概率可以基於第一詞位於包括該系列詞的詞序列中的語言模型概率，並且第二詞的概率可以基於第二詞位於包括該系列詞的詞序列中的語言模型概率。例如，錯誤檢查模塊28可以包括語言模型，其使用11-取^111語言模型和辭典來確定詞位於詞序列(例如，句子)中的概率。或者換句話說，該語言模型確定詞位於特定詞序列之前、跟隨特定詞序列或者位於特定詞序列之內的概率。
[0056]例如，如以上所描述的，計算設備10可以輸出對應於來自音頻輸入300的初始詞的替代符號320以便進行顯示。至少部分地基於從音頻輸入300的後續分段確定的一個或多個詞，錯誤檢查模塊28可以確定基於第一分段確定第一詞的概率以及基於第一分段確定第二詞的概率。響應於錯誤檢查模塊28確定第二詞的概率超過第一詞的概率，錯誤檢查模塊28可以使得計算設備10輸出對應於第二詞的字母數字符號的替代符號350以便進行顯示來替換對應於第一詞的字母數字符號的替代符號320。
[0057]除了顯示替代符號和基於所檢測的轉譯錯誤更新替代符號之外，計算設備10的文本至符號模塊26可以改變所更新的替代符號的顏色以在屏幕14上指示計算設備10校正了轉譯錯誤。換句話說，對應於(例如，在錯誤檢查模塊28進行校正之前的)第一詞的至少一個替代符號可以包括第一顏色，而對應於(例如，在錯誤檢查模塊28進行校正之後的)第二詞的至少一個不同替代符號可以包括不同於第一顏色的第二顏色。
[0058]例如，計算設備10可以以藍色顯示所有原始的替代符號，包括對應於與轉譯錯誤相關聯的詞的替代符號。在對轉譯錯誤進行校正的過程中，計算設備10可以以紅色顯示對應於與針對轉譯錯誤的校正相關聯的詞的替代符號。
[0059]繼續圖3的示例，文本至符號模塊26可以以藍色顯示替代符號320。在更新之後，文本至符號模塊26可以以紅色顯示表示被錯誤檢查模塊28所校正的詞(例如，
「1x17」和「訪611'」)的替代符號360，而繼續以藍色顯示其它的替代符號360。
[0060]文本至符號模塊26可以在屏幕上校正轉譯並更新替代符號，同時繼續接收音頻輸入。換句話說，利用對應於第二詞的至少一個不同替代符號替換對應於第一詞的至少一個替代符號可以在計算設備接收音頻輸入時進行。例如，在計算設備10繼續接收音頻輸入時，計算設備10可以利用對應於與轉譯校正相關聯的詞的替代符號替換對應於與轉譯錯誤相關聯的詞的替代符號。
[0061]在接收音頻輸入的開頭之後，話音至文本模塊24可以進行轉譯並且錯誤檢查模塊28可以更新字母數字字符310，而並不等待用戶完成講出音頻輸入300的其餘部分。以這種方式對計算設備10進行配置可以確保用戶儘可能自然地講出音頻輸入300(例如，沒有疑慮)並且還可以確保轉譯在顯示字母數字字符來替換替代符號之後是準確的。
[0062]圖4是圖示計算設備的示例操作的流程圖。圖4的步驟可以由諸如圖2所示的計算設備10的計算設備的一個或多個處理器來執行。出於說明的目的，在下文中在圖1、2和3的計算設備10的上下文內對圖4進行描述。
[0063]計算設備10可以接收音頻輸入(400)。例如，計算設備10可以在麥克風12接收來自用戶的電子郵件的口述。計算設備10可以基於音頻輸入確定一系列詞(410).例如，計算設備10的話音至文本模塊24可以基於音頻輸入輸出一個或多個字母數字字符，其中該字母數字字符表示組成所口述的電子郵件的文本的該系列詞。計算設備10可以輸出與該系列詞的至少一部分相對應的一個或多個替代符號以便進行顯示(420).例如，為了促進音頻輸入(例如，電子郵件口述)的自然話音模式，計算設備10的文本至符號模塊26可以顯示一個或多個替代符號來替代由話音至文本模塊24所確定的一個或多個字母數字字符。計算設備10可以確定音頻輸入的接收已經完成(430^例如，話音至文本模塊24可以檢測音頻輸入內的長暫停(例如，音頻輸入中無法檢測到話音的三秒鐘)並且基於該長暫停確定音頻輸入的接收已經完成。響應於確定音頻輸入的接收已經完成，計算設備10可以輸出替換替代符號的包括該系列詞的字母數字字符以便進行顯示(440)。例如，響應於確定音頻輸入(例如，電子郵件口述)的接收已經完成，計算設備10的文本至符號模塊26可以顯示從話音至文本模塊24輸出的字母數字字符(即，電子郵件口述的轉譯)來替換替代符號。
[0064]圖5是圖示具有內嵌轉譯錯誤校正的計算設備的示例操作的流程圖。圖5的步驟可以由諸如圖2所示的計算設備10的計算設備的一個或多個處理器來執行。僅出於說明的目的，在下文中在圖1、2和3的計算設備10的上下文內對圖5進行描述。
[0065]如關於圖4所描述的，計算設備10可以接收音頻輸入(例如，電子郵件口述)，基於該音頻輸入確定一個或多個字母數字字符，並且輸出均對應於不同字母數字字符的一個或多個替代符號以便進行顯示。計算設備10可以基於音頻輸入的第一分段確定第一詞(500)。例如，計算設備10的錯誤檢查模塊28可以接收從話音至文本模塊24所輸入的音頻輸入轉譯的一個或多個字母數字符號。錯誤檢查模塊28可以確定一個或多個字母數字符號的一部分(例如，音頻輸入的一部分)所表示的第一詞。
[0066]計算設備10可以基於音頻輸入的第二分段確定第二詞以替換第一詞(510)。例如，錯誤校驗模塊28可以基於從話音至文本模塊24接收的一個或多個字母數字字符的之前和後續部分來識別第一詞中的轉譯錯誤。
[0067]計算設備10可以利用對應於第二詞的至少一個替代符號替換對應於第一詞的至少一個替代符號(520)0例如，話音至文本模塊24可以從錯誤檢查模塊28接收到對一個或多個字母數字字符的校正。基於該校正，話音至文本模塊24可以對輸出至文本至符號模塊26的一個或多個字母數字字符進行更新。文本至符號模塊26可以檢測對一個或多個字符的更新並且可以利用對應於該校正的替代符號替換對應於轉譯錯誤的替代符號。
[0068]圖6是圖示計算設備可以輸出以便進行顯示的用戶界面的多個示例的框圖。在圖6的示例中，用戶界面60八至60？表示計算設備10可以在所接收的如「01(1 70111:116職1116 1&81: 111^111: ？ 1116 110118 ￡11--}? 1111.」的音頻輸入的轉譯期間可以顯示的替代符號的各種示例。
[0069]用戶界面60八圖示了計算設備10將圓圈或點顯示為替代符號的示例。用戶界面608圖示了計算設備10將星形或星號顯示為替代符號的示例。用戶界面60(:圖示了計算設備10將圓圈或點顯示為替代符號並且通過顯示對應於小寫字母數字字符的兩個垂直對準的替代符號來指示對應於大寫字母數字字符的替代符號的示例。
[0070]用戶界面600圖示了計算設備10將矩形或線段顯示為替代符號並且通過改變替代符號的寬度來指示對應於大寫字母數字字符的替代符號的示例。用戶界面602圖示了計算設備10將圓圈或點顯示為替代符號並且通過改變替代符號的半徑來指示對應於大寫字母數字字符的替代符號的示例。用戶界面60？圖示了計算設備10將矩形或線段顯示為替代符號並且通過改變替代符號的高度來指示對應於大寫字母數字字符的替代符號的示例。
[0071]圖7是圖示計算設備10可以輸出以便進行顯示的另外的示例用戶界面的框圖。在圖7的示例中，用戶界面72八至72(:表示計算設備可以在被計算設備所捕捉並且被轉譯為「01(1 7011 冊1x11 1:116 職 1116 1&81:？ 1116 110118^111.」的音頻輸入 70 的轉譯期間可以輸出以便進行顯示的替代符號的各種示例。在圖7的示例中，音頻輸入70除了表示一系列詞之外還表示具有形狀的波形。該形狀可以將與音頻輸入相關聯的音頻參數或變量指示為隨時間變化的參數或變量。用戶界面72八至72(:描繪了計算設備10如何隨時間利用替代符號呈現對應於該音頻輸入的每個詞的波形部分。類似於呈現替代符號以表示該系列詞中的每個字母數字字符的計算設備10(圖6所示)，計算設備10可以以波形形狀而不是實際的字母數字字符來呈現符號以潛在地確保用戶在口述期間自然地講話。
[0072]圖8是圖示計算設備10可以輸出以便進行顯示的另外的經放大的示例用戶界面的框圖。除了視圖82八和828以放大視圖示出了用戶界面80八和808之外，圖8的示例類似於圖7的示例。視圖82八和828描繪了計算設備10可以如何對在其識別了音頻輸入中的每個詞之後顯示的替代符號所描繪的波形的形狀進行轉換。如以上所討論的，替代符號原本可以反映音頻輸入所表示的波形的形狀。然而，當計算設備10識別音頻輸入中的每個詞時，計算設備10可以基於其最終在屏幕上顯示的字母數字字符的高度和寬度對替代符號所描繪的波形的形狀進行適配。
[0073]計算設備10可以對對應於每個詞的波形的每個部分的形狀進行拉伸，從而替代符號所描繪的波形的每個部分的寬度與每個詞呈現在屏幕上時的寬度相匹配。同樣，計算設備10可以對對應於每個詞的波形的每個部分的形狀進行拉伸或收縮，從而替代符號所描繪的波形的高度與每個詞在屏幕上呈現時的高度相當。在該示例中，在屏幕呈現的替代符號描繪了音頻輸入所表示的波形的形狀以及每個詞的字母數字字符。
[0074]例如，視圖82八中的替代符號可以對應於視圖828中的字母數字字符「01(1」。視圖82八中的替代符號可以描繪與音頻輸入相關聯的波形的形狀。在顯示字母數字字符「01(1」之前，計算設備10可以對該替代符號進行拉伸或收縮而使得視圖82八中的替代符號與示圖828中所示的字母數字字符「01(1」在屏幕上跨越相同的寬度和高度。以這種方式拉伸和/或收縮替代符號可以提供從描繪音頻輸入所表示的波形到顯示系列詞的轉換。該轉換可以確保顯示通知但是不會使得用戶在計算設備10對音頻輸入進行轉譯時分神。
[0075]可能存在替代符號以及用於在大寫和小寫表示之間進行區分的方法的許多其它變化形式。在一個或多個示例中，所描述的功能可以以硬體、軟體、固件或者其任意組合來實施。如果以軟體來實施，則該功能可以作為一個或多個指令或代碼而存儲在計算機可讀介質上或者通過其進行傳送並且由基於硬體的處理單元執行。計算機可讀介質可以包括計算機可讀存儲介質，其對應於諸如數據存儲介質的有形介質，或者是包括促成電腦程式例如根據通信協議從一個地方傳輸至另一個地方的任意介質的通信介質。以這種方式，計算機可讀介質通常可以對應於(1)有形的計算機可讀存儲介質，其是非瞬態的，或者(2)諸如信號或載波的通信介質。數據存儲介質可以是能夠由一個或多個計算機或者一個或多個處理器訪問以獲取指令、代碼和/或數據結構以便實施本公開中所描述的技術的任意可用介質。電腦程式產品可以包括計算機可讀介質。
[0076]作為示例而非限制，這樣的計算機可讀存儲介質可以包括狀1、如1、22？如1、0)-801或者其它光碟存儲、磁碟存儲或者其它磁性存儲設備、快閃記憶體，或者任意其它能夠被用來以指令或數據結構的形式存儲所期望程序代碼並且能夠被計算機訪問的介質。而且，任意連接都被適當稱之為計算機可讀介質。例如，如果指令使用同軸線纜、光纖線纜、雙絞線、數字訂戶線路(01)、或者諸如紅外、無線電和微波的無線技術從網站、伺服器或者其它遠程源進行傳送，則該同軸線纜、光纖線纜、雙絞線、01、或者諸如紅外、無線電和微波的無線技術包括在介質的定義之內。然而，應當理解的是，計算機可讀存儲介質和數據存儲介質不包括連接、載波、信號或者其它瞬態介質，而是指代非瞬態的有形存儲介質。如這裡所使用的磁碟或碟片包括緊緻盤(⑶〉、雷射盤、光碟、數字多功能盤(070)、軟盤和藍光碟，其中磁碟通常磁性地再現數據，而碟片則利用雷射光學地再現數據。以上的組合也應當被包括在計算機可讀介質的範圍內。
[0077]指令可以由一個或多個處理器來執行，諸如一個或多個數位訊號處理器(039)、通用微處理器、專用集成電路0310、現場可編程邏輯陣列(衝以)或者其它等同的集成或離散邏輯電路。因此，如這裡所使用的術語「處理器」可以是指任意的以上結構或者任意其它適於實施這裡所描述的技術的結構。此外，在一些方面，這裡所描述的功能可以在專用硬體和/或軟體模塊內提供。而且，該技術可以完全以一個或多個電路或邏輯部件來實施。
[0078]本公開的技術可以以各種設備或裝置來實施，包括無線手機、集成電路(10或者X的集合(例如，晶片組各種組件、模塊或單元在本公開中描述是為了強調被配置為執行所公開的技術的設備的功能方面，而並非必然要求由不同硬體單元來實施。相反，如以上所描述的，各個單元可以被組合在硬體單元中或者由交互操作的硬體單元的集合結合適當軟體和/或固件來提供，上述硬體單元包括如以上所描述的一個或多個處理器。
[0079]已經對各個示例進行了描述。這些和其它示例都處於所附權利要求的範圍之內。
【權利要求】
1.一種方法，包括: 在計算設備處接收音頻輸入； 由所述計算設備基於所述音頻輸入確定一系列詞，所述一系列詞包括一個或多個字母數字字符； 由所述計算設備輸出一個或多個替代符號以顯示，其中所述一個或多個替代符號對應於所述一系列詞的至少一部分，並且其中所述一個或多個替代符號中的每一個對應於所述一個或多個字母數字字符中的相應字母數字字符；以及 響應於確定所述音頻輸入的接收已經完成，由所述計算設備輸出所述一個或多個字母數字字符來替換所述一個或多個替代符號以顯示。
2.根據權利要求1所述的方法，其中輸出所述一個或多個替代符號發生在接收所述音頻輸入期間。
3.根據權利要求1所述的方法，進一步包括: 由所述計算設備至少部分地基於所述音頻輸入確定具有形狀的波形，其中來自所述一系列詞中的每個詞對應於所述波形的一部分，並且其中來自所述一個或多個替代符號的每個替代符號的形狀反映所述波形中與來自所述一系列詞的每個詞相對應的每個部分的形狀。
4.根據權利要求1所述的方法，其中確定所述一系列詞進一步包括: 由所述計算設備向遠程計算設備傳送所述音頻輸入；以及 在所述計算設備處並且從所述遠程計算設備接收基於所述音頻輸入的所述一系列詞。
5.根據權利要求1所述的方法，進一步包括: 由所述計算設備接收用戶輸入的指示；以及 由所述計算設備至少部分地基於所述用戶輸入的指示對所述計算設備進行配置以輸出替代符號來替換字母數字字符。
6.根據權利要求1所述的方法，其中確定所述音頻輸入的接收已經完成包括: 由所述計算設備接收在存在敏感屏幕處檢測到手勢輸入的指示。
7.根據權利要求1所述的方法，其中確定所述音頻輸入的接收已經完成包括: 由所述計算設備確定沒有檢測到話音的時間量；以及 響應於確定所述時間量滿足閾值而確定所述音頻輸入的接收已經完成。
8.根據權利要求1所述的方法，進一步包括: 由所述計算設備確定自從所述計算設備開始接收所述音頻輸入起已經流逝了一段時間；以及 響應於確定所述一段時間滿足閾值，由所述計算設備輸出所述一個或多個字母數字字符的至少一部分替換所述一個或多個替代符號的至少一部分以顯示。
9.根據權利要求1所述的方法，其中來自所述一個或多個替代符號的每個替代符號對應於所述一系列詞中的不同字母數字字符。
10.根據權利要求1所述的方法，其中: 所述一個或多個字母數字字符中的每一個是大寫或小寫的字母數字字符，以及來自所述一個或多個替代符號中的對應於大寫字母數字字符的每個替代符號與來自所述一個或多個替代符號中的對應於小寫字母數字字符的每個替代符號不同。
11.根據權利要求10所述的方法，其中: 來自所述一個或多個替代符號的每個替代符號具有尺寸，所述尺寸包括長度、高度、寬度和半徑中的至少一個，以及 來自所述一個或多個替代符號中的對應於大寫字母數字字符的每個替代符號的尺寸超過來自所述一個或多個替代符號中的對應於小寫字母數字字符的每個替代符號的尺寸。
12.根據權利要求10所述的方法，其中來自所述一個或多個替代符號中的對應於大寫字母數字字符的每個替代符號由來自所述一個或多個替代符號中的對應於小寫字母數字字符的至少兩個替代符號表示。
13.根據權利要求1所述的方法，其中來自所述一個或多個替代符號中的每個替代符號為矩形、圓形、星形、星號或線段。
14.根據權利要求1所述的方法，進一步包括: 響應於基於所述音頻輸入的第一分段確定第一詞，由所述計算設備基於所述音頻輸入的第二分段確定第二詞以替換所述第一詞；以及 響應於確定所述第二詞，由所述計算設備利用對應於所述第二詞的至少一個不同替代符號替換對應於所述第一詞的至少一個替代符號。
15.根據權利要求14所述的方法，其中對應於所述第一詞的所述至少一個替代符號包括第一顏色並且對應於所述第二詞的所述至少一個不同替代符號包括不同於所述第一顏色的第二顏色。
16.根據權利要求14所述的方法，其中在所述計算設備接收所述音頻輸入的同時利用對應於所述第二詞的所述至少一個不同替代符號替換對應於所述第一詞的所述至少一個替代符號。
17.根據權利要求1所述的方法，其中所述音頻輸入包括第一分段以及在所述第一分段之後接收的第二分段，所述方法進一步包括: 由所述計算設備基於所述音頻輸入的第二分段確定一個或多個詞； 由所述計算設備至少部分地基於所述一個或多個詞確定基於所述音頻輸入的第一分段的第一詞的概率以及基於所述音頻輸入的第二分段的第二詞的概率；以及 響應於確定所述第二詞的概率超過所述第一詞的概率，由所述計算設備輸出對應於所述第二詞的字母數字符號的一組不同的替代符號，來替換對應於所述第一詞的字母數字符號的所述一個或多個替代符號。
18.根據權利要求1所述的方法，其中所述第一詞的概率基於所述第一詞位於包括所述一系列詞的詞序列中的語言模型概率，並且所述第二詞的概率基於所述第二詞位於包括所述一系列詞的詞序列中的語言模型概率。
19.一種包括指令的計算機可讀存儲介質，所述指令在被執行時使得計算設備的至少一個處理器: 接收音頻輸入； 基於所述音頻輸入確定一系列詞，所述一系列詞包括一個或多個字母數字字符； 輸出一個或多個替代符號以顯示，其中所述一個或多個替代符號對應於所述一系列詞的至少一部分，並且其中所述一個或多個替代符號中的每一個對應於所述一個或多個字母數字字符中的相應字母數字字符；以及 響應於確定所述音頻輸入的接收已經完成，輸出所述一個或多個字母數字字符來替換所述一個或多個替代符號以顯示。
20.—種包括一個或多個處理器的計算設備，所述一個或多個處理器被配置為: 接收音頻輸入； 基於所述音頻輸入確定一系列詞，所述一系列詞包括一個或多個字母數字字符； 輸出一個或多個替代符號以顯示，其中所述一個或多個替代符號對應於所述一系列詞的至少一部分，並且其中所述一個或多個替代符號中的每一個對應於所述一個或多個字母數字字符中的相應字母數字字符；以及 響應於確定所述音頻輸入的接收已經完成，輸出所述一個或多個字母數字字符來替換所述一個或多個替代符號以顯示。
【文檔編號】G06F3/01GK104412219SQ201380033856
【公開日】2015年3月11日 申請日期:2013年6月21日 優先權日:2012年6月25日
【發明者】安德魯·斯圖爾特, 彼得·恩古, 亞歷山大·法貝格, 馬蒂亞斯·貢薩洛·杜阿爾特, 丹尼爾·馬克·賈坦·希普拉科夫, 比約恩·埃裡克·布林格特, 理察·扎雷克·科恩, 盧卡·扎諾林, 帕維爾·彼得裡卡, 彼得·約翰·霍奇森, 西蒙·蒂克納, 亨裡克·彭哈 申請人:谷歌公司