一種輸入顯示方法
2023-05-25 04:12:21 1
專利名稱：一種輸入顯示方法
技術領域：
本發明涉及計算機輸入輸出領域，特別涉及一種輸入顯示方法及系統。
背景技術：
隨著標準鍵盤的使用時間越來越長，越來越多的用戶採用盲打的方式進行信息輸 入，不過即使是盲打技巧很高的用戶，不時地看一下鍵盤，以便確認按鍵的位置也是不可缺 少的。 對於普通的臺式計算機和筆記本計算機，當屏幕需要升高到較高的位置或鍵盤放 置的位置較低時，用戶的視覺焦點在注視屏幕和注視鍵盤間切換將會非常不便；而對於一 些特殊顯示設備，比如頭戴式顯示器，用戶的視覺焦點幾乎不能在注視屏幕和注視鍵盤間 切換。
發明內容
本發明的目的在於提供一種輸入顯示方法及系統，以解決現有技術中視覺焦點無
法方便地在注視屏幕和注視鍵盤間切換的問題。 為解決上述技術問題，本發明提供如下技術方案 —方面，提供了一種輸入顯示方法，包括如下步驟 接收輸入信息； 處理所述輸入信息為第一顯示信息；
採集所述輸入信息的輸入動作圖像；
處理所述輸入動作圖像為第二顯示信息； 以第一時間間隔顯示所述第一顯示信息和所述第二顯示信息，所述第一時間間隔 小於或等於第一閾值，所述第一閾值是可以識別所述輸入信息和所述輸入動作圖像的對應 關係的最大時間間隔值。 優選的，所述第一時間間隔為零，即同時顯示所述第一顯示信息和所述第二顯示 信息。 優選的，所述顯示第一顯示信息和所述第二顯示信息是重疊顯示，所述重疊可以 是部分重疊也可以是完全重疊。 優選的，所述顯示第一顯示信息和所述第二顯示信息是分區域顯示，所述分區域
可以是同一個顯示裝置的分區域顯示，也可以是在多個顯示裝置分別顯示。 優選的，所述接受輸入信息步驟前，還包括採集初始顯示圖像，所述初始顯示信
息是指在所述輸入動作前的輸入區域的圖像；顯示所述初始顯示信息。 優選的，在所述採集初始顯示圖像前還包括步驟激活所述初始顯示圖像的採集 設備。 優選的，所述激活初始顯示信息採集設備步驟具體為拍攝第一輸入設備圖像； 比較所述第一輸入設備圖像與預置的輸入設備原始圖像；如果差異大於第二閾值，則激活初始顯示信息採集。 優選的，所述第二顯示信息顯示時，停止所述初始顯示信息的顯示。 優選的，所述顯示所述第一顯示信息和所述第二顯示信息步驟後，還包括步驟結
束所述第二顯示信息的顯示。 優選的，所述結束所述第二顯示信息的顯示步驟具體為檢測無輸入動作時間； 比較所述無輸入動作時間是否大於第三閾值；如果大於所述第三閾值，結束所述第二顯示 信息的顯示。 優選的，所述結束所述第二顯示信息的顯示步驟具體為拍攝第二輸入設備圖像； 比較所述第二輸入設備圖像與預置的輸入設備原始圖像；如果圖像一致，結束所述第二顯 示信息的顯示。 由以上本發明提供的技術方案可見，本發明中的輸入顯示方法由於採用了拍攝輸 入動作圖像，併疊加顯示的方式，克服了輸入動作和正常顯示無法兼顧的問題，進而達到了 只注視顯示設備，既可以直接看到輸入的信息，還可以看到手指操作鍵盤的過程，減少用戶 視覺焦點的切換過程，提高輸入效率；並且通過虛擬鍵盤的透視和突出顯示相關鍵，可以給 用戶更好的操作體驗。
圖1是本發明輸入顯示方法的第一實施例的流程圖； 圖2是本發明輸入顯示方法的第二實施例的流程圖； 圖3是本發明輸入顯示方法的效果示意圖； 圖4(a)是本發明輸入顯示方法的效果示意圖； 圖4(b)是本發明輸入顯示方法的效果示意圖； 圖5是本發明輸入顯示方法的第三實施例的流程具體實施例方式
為了使本技術領域的人員更好地理解本發明方案，並使本發明的上述目的、特徵 和優點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。
本發明輸入顯示方法的第一實施例流程如圖1所示
步驟S102，接收輸入信息； 步驟S104，處理所述輸入信息為第一顯示信息；
步驟S106，採集所述輸入信息的輸入動作圖像；
步驟S108，處理所述輸入動作圖像為第二顯示信息； 步驟SllO，以第一時間間隔顯示所述第一顯示信息和所述第二顯示信息，所述第 一時間間隔小於或等於第一閾值，所述第一閾值是可以識別所述輸入信息和所述輸入動作 圖像的對應關係的最大時間間隔值。 本發明輸入顯示方法的第二實施例流程如圖2所示 步驟S202，採集輸入區域初始圖像； 攝像頭啟動拍攝，採集並獲得輸入區域的初始圖像。 步驟S204，處理所述輸入區域的初始圖像為初始顯示信息；
5
將獲得的所述輸入區域的初始圖像處理成系統支持顯示的圖片信息。
步驟S206，顯示所述初始顯示信息； 將所述初始顯示信息在顯示器上顯示出來，如果是單屏幕顯示器，初始顯示信息 將疊加在顯示器原有顯示的圖像上，顯示時通過所述初始顯示信息的顯示區域的位置調 整，或者所述初始顯示信息的窗口透明度調整，以達到不影響原有顯示圖像的顯示目的；
針對單屏幕顯示器，還可以採用分屏顯示的方法，將顯示器按照預先設定的方式 將整個顯示區域分為兩個子顯示區域，所述初始顯示信息固定的顯示在其中一個子顯示區 域中顯示。 如果是多屏幕顯示器，比如頭戴式顯示器，可以將所述初始顯示信息在其中一個 顯示器上單獨的顯示。 步驟S208，實時更新所述初始顯示信息； 攝像頭實時拍攝輸入區域圖像，實時更新所述初始顯示信息，即使輸入區域沒有
鍵盤敲擊動作發生也同樣進行更新。 步驟S210，接收輸入信息； 用戶通過敲擊鍵盤輸入信息。 步驟S212，處理所述輸入信息為第一顯示信息； 當用戶希望顯示通過敲擊鍵盤輸入按鍵直接對應信息時，所述處理為調用系統按 鍵信息碼錶，將被敲擊按鍵直接對應的信息直接發送給系統，即將敲擊鍵盤輸入的信息處 理為系統支持顯示的字符信息； 當用戶希望通過敲擊鍵盤輸入非按鍵直接對應信息時，所述處理為調用應用軟體 的按鍵信息關係表，將被敲擊按鍵對應的輸入信息發送給系統。
步驟S214，採集輸入動作圖像； 當鍵盤開始有敲擊時，攝像頭持續採集在鍵盤上的用戶手部輸入動作圖像，如圖3 所示。 步驟S216，處理所述輸入動作圖像為第二顯示信息； 將攝像頭實時拍攝的手部輸入動作圖像組或視頻，轉化為系統支持顯示的真實圖 片信息組或系統支持顯示的真實視頻信息； 或者將手部輸入動作圖像，轉化成示意圖片信息組或示意視頻信息，示意信息可 以是動畫信息或是模擬信息。如果是顯示示意信息，系統還可以針對示意信息進行調整，以 進一步提升用戶使用感受。 比如將用戶剛剛敲擊過的按鍵示意信息用突出顯示的方式顯示，或者顯示被遮擋
的鍵盤信息可以採用提取輸入動作中的用戶的手的圖像輪廓，並且只顯示輪廓，從而可以
顯示被遮擋的按鍵的示意圖像信息，其中被遮擋的按鍵是通過與原始鍵盤圖像信息比較獲
得的；還可以採用，將用戶的手的圖像的透明度，從而可以顯示被遮擋的按鍵的示意圖像信
息，其中被遮擋的按鍵同樣是通過與原始鍵盤圖像信息比較獲得的。 步驟S218，顯示所述第一顯示信息和所述第二顯示信息； 將所述第一顯示信息和所述第二顯示信息在顯示器上同時顯示出來，並取消所述 初始顯示信息的顯示，可以採用讓所述第二顯示信息代替所述初始顯示信息的方式，也可 以取消所述初始顯示信息後，採用其他顯示方式顯示所述第二顯示信息。
6
比如所述初始顯示信息，以顯示區域的1/16在顯示器固定區域顯示，當有輸入發 生，即所述第二顯示信息需要顯示時，關閉所述初始顯示信息，將所述第二顯示信息以顯示 區域的1/4在顯示器固定區域顯示。 如果是單屏幕顯示器，所述第二顯示信息將疊加在所述第一顯示信息上，顯示時 通過所述初始顯示信息的顯示區域的位置調整，或者所述初始顯示信息的窗口透明度調 整，以達到互不影響的顯示目的，如4(a)所示。 針對單屏幕顯示器，還可以採用分屏顯示的方法，將顯示器按照預先設定的方式 將整個顯示區域分為兩個子顯示區域，所述第一顯示信息和所述第二顯示信息固定的顯示 在兩個子顯示區域中。 如果是多屏幕顯示器，比如頭戴式顯示器，可以將所述第一顯示信息和所述第二 顯示信息在分別的顯示器上單獨的顯示，如圖4(b)所示。 另外，所述第一顯示信息和所述第二顯示信息可以是同時顯示，也可以是依次顯
示(可以所述第一顯示信息先顯示，也可以所述第二顯示信息先顯示)。如果是依次顯示，
顯示時間差需要滿足一定條件，所述條件為小於或等於預設閾值，比如1秒。 所述閾值是需要滿足用戶可以清楚的識別所述第一顯示信息和所述第二顯示信
息的對應關係的時間間隔，可以理解為在用戶輸入新的動作前，需要完成所述第一顯示信
息和所述第二顯示信息的顯示。 步驟S220，結束所述第二顯示信息的顯示； 用戶完成輸入，停止鍵盤敲擊輸入，檢測停止輸入時間大於預設的時間，比如5
秒，停止所述第二顯示信息的顯示，恢復所述初始顯示信息的顯示。
本發明輸入顯示方法的第三實施例流程如圖5所示
步驟S502，激活輸入動作初始圖像採集； 檢測到用戶將手放在鍵盤上，攝像頭被激活輸入動作初始圖像採集。 檢測方式可以是在鍵盤中安裝壓力傳感器，一旦檢測到壓力變化即發出激活指令
激活攝像頭，從而準備進行輸入動作圖像的採集； 檢測方式也可以通過攝像頭採集的圖像來判斷，攝像頭位於鍵盤上方，定時或實
時拍攝鍵盤的圖像，並與預先存儲的鍵盤圖像比較，如果發現圖像的差異超過第一閾值，比
如10%，並且存在圖像差異時間超過第二閾值，比如2秒，即發出激活指令激活攝像頭，從
而準備進行輸入動作圖像的採集。 步驟S504，採集輸入動作初始圖像； 接收到攝像頭激活命令後，攝像頭啟動拍攝，採集並獲得輸入動作初始圖像。
步驟S506，處理所述初始圖像為初始顯示信息； 將獲得的所述輸入動作第一位置圖像處理成系統支持顯示的圖片信息。 步驟S508，顯示所述初始顯示信息； 將所述初始顯示信息在顯示器上顯示出來。 步驟S510，接收輸入信息； 用戶通過敲擊鍵盤輸入信息。 步驟S512，處理所述輸入信息為第一顯示信息； 當用戶希望通過敲擊鍵盤輸入按鍵直接對應信息時，所述處理為調用系統按鍵信息碼錶，將被敲擊按鍵直接對應的信息直接發送給系統，即將敲擊鍵盤輸入的信息處理為系統支持顯示的字符信息； 當用戶希望通過敲擊鍵盤輸入非按鍵直接對應信息時，所述處理為調用應用軟體的按鍵信息關係表，將被敲擊按鍵對應的輸入信息發送給系統。
步驟S514，採集所述輸入信息的輸入動作圖像； 當鍵盤開始有敲擊時，攝像頭持續採集在鍵盤上的用戶手部輸入動作圖像。
步驟S516，處理所述輸入動作圖像為第二顯示信息； 將攝像頭實時拍攝的手部輸入動作圖像，轉化為系統支持顯示的真實圖片信息組或系統支持顯示的真實視頻信息；或者將手部輸入動作圖像，轉化成示意圖片信息或示意視頻信息。 步驟S51S，顯示所述第一顯示信息和所述第二顯示信息； 將所述第一顯示信息和第二顯示信息在顯示器上同時顯示出來，並取消所述初始顯示信息的顯示。 步驟S520，暫停所述第二顯示信息的顯示； 當檢測到無手部輸入動作後，暫停所述第二顯示信息的顯示，檢測方式可以是無鍵盤敲擊，只保留最後無敲擊的手部位置圖像顯示。
步驟S522，結束所述第二顯示信息的顯示； 檢測到用戶將手離開鍵盤區域，關閉所述第二顯示信息的顯示，只顯示所述第一
顯示信息。檢測方式可以是在鍵盤中安裝壓力傳感器，一旦檢測到壓力消失就結束；檢測方
式也可以通過攝像頭採集的圖像來判斷，攝像頭位於鍵盤上方，定時或實時拍攝鍵盤的圖
像，並與預先存儲的原始鍵盤圖像比較，如果發現當前圖像與原始鍵盤圖像一致，並且存在
圖像一致時間超過第二閾值，比如2秒，即結束所述第二顯示信息的顯示。 本領域普通技術人員可以理解實現上述事實來方法中的全部或部分步驟是可以
通過程序來指令相關的硬體來完成，所述的程序可以存儲於一計算機所可讀取存儲介質
中，該程序在執行時，包括如下步驟接收輸入信息；處理所述輸入信息為第一顯示信息；
採集所述輸入信息的輸入動作圖像；處理所述輸入動作圖像為第二顯示信息；顯示所述第
一顯示信息和所述第二顯示信息，所述的存儲介質，如R0M/RAM、磁碟、光碟等。 以上所述的本發明實施方式，並不構成對本發明保護範圍的限定。任何在本發明
的精神和原則之內所作的修改、等同替換和改進等，均應包含在本發明的保護範圍之內。
8
權利要求
一種輸入顯示方法，其特徵在於，包括如下步驟接收輸入信息；處理所述輸入信息為第一顯示信息；採集所述輸入信息的輸入動作圖像；處理所述輸入動作圖像為第二顯示信息；以第一時間間隔顯示所述第一顯示信息和所述第二顯示信息，所述第一時間間隔小於或等於第一閾值，所述第一閾值是可以識別所述輸入信息和所述輸入動作圖像的對應關係的最大時間間隔值。
2. 如權利要求1所述的輸入顯示方法，其特徵在於，所述第一時間間隔為零，即同時顯 示所述第一顯示信息和所述第二顯示信息。
3. 如權利要求l所述的輸入顯示方法，其特徵在於，所述顯示第一顯示信息和所述第二顯示信息是重疊顯示，所述重疊可以是部分重疊也 可以是完全重疊。
4. 如權利要求l所述的輸入顯示方法，其特徵在於，所述顯示第一顯示信息和所述第二顯示信息是分區域顯示，所述分區域可以是同一個 顯示裝置的分區域顯示，也可以是在多個顯示裝置分別顯示。
5. 如權利1所述的輸入顯示方法，其特徵在於，所述接受輸入信息步驟前，還包括 採集初始顯示圖像，所述初始顯示信息是指在所述輸入動作前的輸入區域的圖像； 顯示所述初始顯示信息。
6. 如權利5所述的輸入顯示方法，其特徵在於，在所述採集初始顯示圖像前還包括步驟激活所述初始顯示圖像的採集設備。
7. 如權利要求6所述的輸入顯示方法，其特徵在於，所述激活初始顯示信息採集設備 步驟具體為拍攝第一輸入設備圖像；比較所述第一輸入設備圖像與預置的輸入設備原始圖像； 如果差異大於第二閾值，則激活初始顯示信息採集。
8. 如權利要求5所述的輸入顯示方法，其特徵在於，所述第二顯示信息顯示時，停止所 述初始顯示信息的顯示。
9. 如權利要求1所述的輸入顯示方法，其特徵在於，所述顯示所述第一顯示信息和所 述第二顯示信息步驟後，還包括步驟結束所述第二顯示信息的顯示。
10. 如權利要求9所述的輸入顯示方法，其特徵在於，所述結束所述第二顯示信息的顯 示步驟具體為檢測無輸入動作時間；比較所述無輸入動作時間是否大於第三閾值； 如果大於所述第三閾值，結束所述第二顯示信息的顯示。
11. 如權利要求9所述的輸入顯示方法，其特徵在於，所述結束所述第二顯示信息的顯 示步驟具體為拍攝第二輸入設備圖像；比較所述第二輸入設備圖像與預置的輸入設備原始圖像； 如果圖像一致，結束所述第二顯示信息的顯示。
全文摘要
一種輸入顯示方法，接收輸入信息；處理所述輸入信息為第一顯示信息；採集所述輸入信息的輸入動作圖像；處理所述輸入動作圖像為第二顯示信息；以第一時間間隔顯示所述第一顯示信息和所述第二顯示信息，所述第一時間間隔小於或等於第一閾值，所述第一閾值是可以識別所述輸入信息和所述輸入動作圖像的對應關係的最大時間間隔值。從而達到了只注視顯示設備，既可以直接看到輸入的信息，還可以看到手指操作鍵盤的過程，減少用戶視覺焦點的切換過程，提高輸入效率。
文檔編號G06F3/01GK101719014SQ200810223910
公開日2010年6月2日 申請日期2008年10月9日 優先權日2008年10月9日
發明者侯紫峰 申請人:聯想(北京)有限公司