一種電子信息設備的操作方法及系統的製作方法

2023-08-06 07:42:36 5

專利名稱：一種電子信息設備的操作方法及系統的製作方法
技術領域：
本發明涉及三維圖像處理及圖像映射技術領域，具體涉及一種電子信息設備的操作方法及系統。
背景技術：
人觀察2D/3D顯示的系統界面，在不通過任何傳感裝置，也不接觸主機的情況下， 通過攝像頭或者景深傳感器，將人所處場景的2D/3D信息映射到顯示屏上，在顯示屏的鏡像指示下，對系統進行準確的隔空操作。類似的有非接觸式顯示系統，用戶能通過將手指或指示器移向圖像的所選擇部分來與顯示的圖像交互，對顯示區域內出現的人的手部進行動態監測和識別，對手部進行識別，使用者可以不接觸任何物體而控制系統。針對現有的非觸控螢幕作業系統，手在操作時不清楚自己手部處在顯示屏的位置， 只能通過手部的移動，去尋找要顯示屏上要操作的目標(操作圖標、軟鍵盤按鈕)，這種操作模式用戶不能精確的找到操作位置，給操作帶來了一定困難。

發明內容
有鑑於此，本發明所要解決的技術問題是提供一種電子信息設備的操作方法及系統，操作者可看到自己手部或者肢體的操作位置，使得操作更加精確。本發明實施例提供一種電子信息設備的操作方法，包括 確定操作點在系統顯示界面的坐標；
採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，將所獲得的圖像數據以鏡像形式通過顯示屏輸出；
計算肢體映射在顯示屏中的鏡像點坐標；
識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則系統進行該肢體動作響應操作，否則不響應。本發明實施例提供的一種基於立體視覺的操作顯示系統，包括 操作點定位單元，確定操作點在系統顯示界面的坐標；
操作信息採集單元，採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，並輸出所獲得的圖像數據；
坐標映射單元，計算肢體映射在顯示屏中的鏡像點坐標；
識別單元，識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則指示系統進行該肢體動作響應操作，否則不響應；
顯示單元，用於顯示包含操作者肢體圖像信息的視頻輸出信號。本發明基於鏡像顯示技術和機器視覺技術，將顯示屏上圖像坐標和人的肢體在空間中的坐標對應，在2D/3D顯示情況下，使用戶可以在顯示屏上看到自己相對與屏幕的操作位置，從而實現準確的隔空操作。
本發明在2D/3D顯示中，通過肢體動作對2D/3D顯示的系統進行操作，將攝像頭拍攝到的場景映射到顯示屏上，使用戶可以實時的看到自己手部和肢體所處的位置，當用戶想操作時，可以根據肢體在顯示屏的移動，來操作控制系統，而用戶本身並不需要接觸任何設備，但是能精確的，實時的控制系統。本發明與這些專利的區別是在2D/3D顯示的技術下，利用機器視覺技術，實現了不通過任何輸入設備，也不需要觸摸到主機，且將攝像頭或者景深傳感器拍攝到圖像映射到顯示屏上，使用戶面對顯示器可以直接更直觀的看清楚自己所處的環境，而現有技術雖然也是屬於非接觸式操作，但是用戶在顯示屏上不能看到自己手部或者肢體的操作位置， 本發明在鏡像指引下，對2D/3D顯示的作業系統進行操作，更加精確，更加靈活的實現了人機互動，有益於用戶的操作體驗。


圖1為本發明提供的非接觸式作業系統的原理示意圖； 圖2為本發明提供的一種電子信息設備的操作方法流程圖； 圖3為本發明實施例提供的非接觸式操作方法流程圖4為本發明實施例中攝像頭空間坐標系與鏡像坐標系之間的關係示意圖； 圖5為本發明實施例中的顯示界面為二維2D時的原理示意圖； 圖6為本發明實施例中的顯示界面為三維3D時的原理示意圖； 圖7為本發明實施例中的3D顯示光學原理示意圖8 (a)和圖8 (b)為本發明實施例中的3D顯示系統雙目視覺距離傳感器模型圖； 圖9為本發明提供的基於立體視覺的操作顯示系統的架構示意圖。
具體實施例方式鑑於現有技術中存在的不足，本發明提供一種電子信息設備的操作方法及操作顯示系統，可在2D/3D顯示系統中，通過肢體動作對2D/3D顯示的系統進行操作，將攝像頭或者景深傳感器拍攝到的場景映射到顯示屏上，使操作者可以實時的看到自己手部和肢體所處的位置，當需要操作時，可以根據肢體在顯示屏的移動進行操作控制，而操作者本身並不需要接觸任何設備，但是可以精確地，實時進行操作控制。參照圖1及圖2，本發明一種電子信息設備的操作方法，包括如下步驟 S201，確定操作點在系統顯示界面的坐標；
S202，採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，將所獲得的圖像數據以鏡像形式通過顯示屏輸出；
S203，計算肢體映射在顯示屏中的鏡像點坐標；
S204，識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則系統進行該肢體動作響應操作，否則不響應。步驟S201中所述確定操作點在系統顯示界面的坐標，在本發明實施例中具體包括
若系統的顯示界面為二維2D，則以顯示器的左上角為空間原點，顯示界面為XOY 二維坐標平面，得到系統操作界面中操作點在顯示器二維平面坐標D (X，y)；或若系統的顯示界面為三維3D，則以顯示器的左上角為空間原點，顯示界面為XYZ三維立體圖像，顯示器為XOY面，垂直顯示器方向為Z軸，得到系統操作界面中操作點三維空間中的坐標D (X，y, ζ)。步驟S202中所述採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，將所獲得的圖像數據以鏡像形式通過顯示屏輸出，在本發明實施例中具體包括
當操作者在顯示界面鏡像指引下移動手部或肢體時，計算出肢體運動時的空間坐標， 不斷更新肢體在顯示界面中的映射坐標，在顯示界面實時顯示手部或肢體的位置。步驟S203中，所述計算肢體映射在顯示屏中的鏡像坐標，在本發明實施例中具體包括
若系統的顯示界面為二維2D，攝像頭採集到的圖像映射到顯示屏上，以平面形式呈現， 以顯示器的左上角為空間原點，顯示界面為坐標平面，計算手或肢體相對於原點的位置，實時的得到手或肢體坐標P (x，y)；
若系統的顯示界面為三維3D，圖像以三維立體形式呈現，基於所確定的操作點坐標D(x，y，ζ)和操作時肢體相對於攝像頭的空間坐標P(x，y，ζ)，根據攝像頭和顯示界面的位置關係，將P點轉換到和D點相同的坐標系下，得到在同一坐標系下的鏡像點坐標 P (χ, y, ζ)。步驟S204中所述識別肢體動作並判斷肢體鏡像點與操作點是否對應，在本發明實施例中具體包括
若系統的顯示界面為二維2D，則檢測手部或肢體的位置映射在顯示界面上的2 D坐標和顯示界面上操作點坐標是否重合，若重合，則判定肢體鏡像坐標與操作點坐標對應；
若系統的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點，若操作點坐標D和鏡像點坐標P』重合，則判定肢體鏡像坐標與操作點坐標對應。為使本發明的原理、特性和優點，下面結合具體實施例對本發明進行詳細描述。參照圖1和圖3，本發明實施例中提供的一種電子信息設備的操作方法，包括如下步驟
S301.確定操作點在顯示器的坐標；
對於2D顯示界面，以顯示器的左上角為空間原點0，顯示器面為X O Y平面，可以得到系統操作界面中操作點在顯示器二維平面坐標D (X，y)。對於3D顯示系統，通過3D顯示原理，以顯示器的左上角為空間原點0，顯示器面為X O Y平面，垂直顯示器方向為Z軸，可以得到系統操作界面中操作點三維空間中的坐標D(x，y, ζ)。S302.通過採集設備獲得空間坐標信息和圖像數據。操作者看到2D/3D顯示屏操作界面，通過肢體動作對看到的界面進行操作，並用攝像頭(包括單目攝像頭，雙目攝像頭，景深傳感器等)採集肢體動作。S303.將採集的圖像數據以鏡像形式通過顯示屏輸出。通過顯示屏用戶看到自己所處場景，當用戶在顯示器中鏡像指引下移動手部或肢體時，顯示器可以實時顯示手部或肢體的位置，並對它進行動作識別，同時計算出肢體運動時的空間坐標，不斷更新肢體在顯示器中的映射坐標。S30.計算肢體在顯示器中的坐標。對於2 D顯示器，攝像頭採集到的圖像映射到顯示屏上，以平面形式呈現，以顯示器的左上角為空間原點0，顯示器面為X O Y平面，因此只需計算肢體相對於原點O的位置，實時的得到肢體坐標P (x, y)。
對於3 D顯示系統，通過計算出了操作點坐標D(x，y，z)的和人做動作時的肢體相當於攝像頭的空間坐標P (x, y, ζ)，由於坐標D和P不是在同一坐標系下，根據攝像頭和顯示器的位置關係，將P點轉換到和D點相同的坐標系下，得到在同一坐標系下的P』 (x, y, ζ)。 具體坐標轉換方式如下
由於攝像頭空間坐標系與鏡像坐標系不是同一個坐標系，需要將攝像頭空間坐標映射到鏡像坐標系下，設攝像頭空間坐標原點與鏡像坐標原點0距離為1，即在以0為原點的空間坐標系的X軸上，其光軸與X軸垂直，與X O Y平面夾角為θ，P (x, y, ζ)與光軸夾角為
4，與XOY平面夾角為，兩空間坐標關係如圖4所示。 計算肢體坐標時，以左攝像頭光軸為Z軸，那麼設肢體坐標點為P(X，y, ζ),則將廣轉換到以0為原點的空間坐標系下的Ρ』，計算公式如下所示
^=arctan — ζ
嚴1
χ = -x+l
1 y = ^y2-^z2 Cosff2(1)
ζ 二 ^Jy2 +ζ2 sin &2
S305.利用識別技術判斷出人的肢體動作，識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則系統進行該肢體動作響應操作，否則不響應。對於2D顯示系統，肢體的位置映射在顯示器上的2 D坐標和顯示器上操作點坐標重合後，作業系統作出響應。對於3 D顯示系統，此動作需要觸碰到在三維空間某一位置的操作點，若D和P』兩點重合，說明此動作在空間中觸碰到視覺上三維顯示的操作點，但並非觸到顯示器本身，此時作業系統進行動作響應，否則不響應。在上述方法流程中，通過攝像頭採集數據，將操作者所處的空間的坐標映射到顯示器，並在顯示器上顯示鏡像，操作者可以觀察顯示器中的鏡像，在鏡像指引，移動手部或肢體去操作顯示器上操作點，人體任何部分始終不用接觸顯示器，也不用藉助其它的傳感裝置，僅僅在空間中系統界面顯示區域進行運動，就可實現對系統準確操作，即基於鏡像顯示技術實現的操作方法。本發明的一實施例中，系統的顯示界面為二維2D，採集2D數據且顯示2D圖像。參照圖5，操作者站在顯示屏前，攝像頭拍攝到用戶，將採集的數據以鏡像形式映射到顯示界面上，鋪滿整個顯示屏，按鈕R是操作點，以顯示器左上角為原點，顯示器為坐標平面，計算按鈕R坐標D (x, y)；
當用戶有需要操作時，在空間移動自己手或者肢體時，可以在顯示屏上，看到自己肢體或者手部移動的位置，使用戶更清楚自己所做的動作，並且實時的計算手在顯示器屏幕上的位置坐標P(X，y)，如圖5所示，當用戶想要去觸發按鈕R時，用戶只需要觀察顯示屏上的手，當顯示屏上的手移動到按鈕R處，P點和D點重合，用戶準確的觸發按鈕，而不需要憑空的在空間中去尋找按鈕的位置。本發明的另一實施案例中，系統的顯示界面為三維3D，採集3D數據且顯示3D圖像。參照圖6，用戶站在顯示器前，利用3D眼鏡或者其它技術看到在空間顯示的操作界面對於系統操作界面，該系統利用3D顯示技術，將系統操作界面在三維空間中顯示。3D 顯示技術就是利用一系列的光學方法，使人的左右眼產生視差從而接收不同的畫面，在大腦形成3D立體效果。人雙眼能同時看同一方向，但是眼間距離約65mm，因此不能瞄上同一直線，在一定範圍內雙眼看到的圖像有差異。如圖7所示，左右眼分別看到左眼圖和右眼圖，那麼視線在中間會有一個交點，在這個交叉處，視覺上會形成兩圖合成的立體圖像，這樣大腦將兩幅圖合成為一個在交點處立體圖。通過3D顯示原理，以顯示器的左上角為空間原點0，顯示器面為X O Y平面，垂直顯示器方向為Z軸，可以得到系統操作界面中操作點在三維空間中的坐標D(x，y, ζ)。用戶想要對界面操作，在空間中移動手，就可以從3 D顯示屏上看到自己手移動的方向和位置，當在顯示屏上看到手移動到按鈕R處時，去點擊按鈕R，處於顯示器處的兩個攝像機對手運動進行採集，判斷是手指點擊動作後，通過式(2)計算出手指的3D坐標P。 其次，人看到三維顯示的立體操作界面，並通過肢體動作對看到的界面進行操作。用雙目攝像頭採集的肢體動作。並對它進行動作識別，同時計算出肢體在運動中的3D坐標。如圖8所示，兩臺焦距為f的攝像機平行放置，光軸之間的距離為T,圖8 (a)中的兩個矩形分辨表示左右攝像機的成像平面，O1和Or為左右攝像機的焦點，對於場景中的任意一點Λ在左右攝像機成像平面上的成像點分別為A和凡，它們在成像平面上的成像坐標 (圖像坐標)為/和Ζ，則視差定義為d = X1 - Xr，如圖8 (b)所示。以圖8中的左攝像機焦點O1為原點，O1Or所在直線為X軸，左攝像機光軸為Z軸， 垂直於XZ軸的為Y軸，則P點在O1坐標系中的坐標可以按照公式(2)計算
α , h 絲 Z^(2)
d d d
通過上述步驟已計算出了操作點D(x，y，z)的坐標和人做動作時的肢體坐標 P(x, Y, ζ),由於兩個坐標不是在同一坐標系下，根據左攝像頭和顯示器的位置關係，將P點轉換到和D點相同的坐標系下，得到在同一坐標系下的P』 (x, y, ζ)。利用識別技術判斷出人的肢體動作，此動作需要觸碰到在三維空間某一位置的操作點，若D和P』兩點重合，說明此動作在空間中觸碰到視覺上三維顯示的操作點，但並非觸到顯示器本身，此時作業系統進行動作響應，否則不響應。參照圖9，本發明還提供一種基於立體視覺的操作顯示系統900，包括 操作點定位單元910，確定操作點在系統顯示界面的坐標；
操作信息採集單元920，採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，並輸出所獲得的圖像數據；
坐標映射單元930，計算肢體映射在顯示屏中的鏡像點坐標；
顯示單元940，用於顯示包含操作者肢體圖像信息的視頻輸出信號；
識別單元950，識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則指示系
8統進行該肢體動作響應操作，否則不響應。在具體實施例中，坐標映射單元930包括
三維坐標計算模塊，用於計算操作者手部的鏡像點三維3D坐標；基於所確定的操作點坐標D(x，y, ζ)和操作時肢體相對於攝像頭的空間坐標P (x，y, ζ)，根據攝像頭和顯示界面的位置關係，將P點轉換到和D點相同的坐標系下，得到在同一坐標系下的鏡像點坐標 P (χ, y, ζ)。具體實施例中識別單元950，具體包括
三維坐標檢測模塊，用於檢測比較操作點坐標D和鏡像點坐標P』重合是否重合； 若系統的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點，若操作點坐標D和鏡像點坐標P』重合，則判定肢體鏡像坐標與操作點坐標對應。該系統的操作方法與前述實施例基本相同，在此不再贅述。綜上所述，本發明基於鏡像顯示技術和機器視覺技術，將顯示屏上圖像坐標和人的肢體在空間中的坐標對應，在2D/3D顯示情況下，使用戶可以在顯示屏上看到自己相對與屏幕的操作位置，從而實現準確的隔空操作。本發明在2D/3D顯示中，通過肢體動作對2D/3D顯示的系統進行操作，將攝像頭拍攝到的場景映射到顯示屏上，使用戶可以實時的看到自己手部和肢體所處的位置，當用戶想操作時，可以根據肢體在顯示屏的移動，來操作控制系統，而用戶本身並不需要接觸任何設備，但是能精確的，實時的控制系統。本發明與這些專利的區別是在2D/3D顯示的技術下，利用機器視覺技術，實現了不通過任何輸入設備，也不需要觸摸到主機，且將攝像頭或者景深傳感器拍攝到圖像映射到顯示屏上，使用戶面對顯示器可以直接更直觀的看清楚自己所處的環境，而現有技術雖然也是屬於非接觸式操作，但是用戶在顯示屏上不能看到自己手部或者肢體的操作位置， 本發明在鏡像指引下，對2D/3D顯示的作業系統進行操作，更加精確，更加靈活的實現了人機互動，有益於用戶的操作體驗。結合本文的實施例所描述的方法可直接體現為硬體、由處理器執行的軟體模塊或其組合。軟體模塊可以位於RAM存儲器、快閃記憶體、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、移動磁碟、CD-ROM或者本領域熟知的任何其它形式的存儲介質中。一種示例性的存儲介質連接至處理器，從而使處理器能夠從該存儲介質讀取信息，且可向該存儲介質寫入信息。當然，存儲介質也可以是處理器的組成部分。處理器和存儲介質可以位於ASIC 中。該ASIC可以位於用戶終端中。當然，處理器和存儲介質也可以作為分立組件存在於用戶終端中。對於軟體實現，本申請中描述的技術可用執行本申請所述功能的模塊(例如，過程、函數等)來實現。這些軟體代碼可以存儲在存儲器單元並由處理器執行。存儲器單元可以實現在處理器內，也可以實現在處理器外，在後一種情況下，它經由各種手段以通信方式耦合到處理器，這些都是本領域中所公知的。本發明雖然以較佳實施例公開如上，但其並不是用來限定本發明，任何本領域技術人員在不脫離本發明的精神和範圍內，都可以做出可能的變動和修改，因此本發明的保護範圍應當以本發明權利要求所界定的範圍為準。
權利要求
1.一種電子信息設備的操作方法，其特徵在於，包括 確定操作點在系統顯示界面的坐標；採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，將所獲得的圖像數據以鏡像形式通過顯示屏輸出；計算肢體映射在顯示屏中的鏡像點坐標；識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則系統進行該肢體動作響應操作，否則不響應。
2.如權利要求1所述的操作方法，其特徵在於，所述確定操作點在系統顯示界面的坐標，具體包括若系統的顯示界面為二維2D，則以顯示器的左上角為空間原點，顯示界面為XOY 二維坐標平面，得到系統操作界面中操作點在顯示器二維平面坐標D (X，y)；或若系統的顯示界面為三維3D，則以顯示器的左上角為空間原點，顯示界面為XYZ三維立體圖像，顯示器為XOY面，垂直顯示器方向為Z軸，得到系統操作界面中操作點三維空間中的坐標D (χ, y, ζ)。
3.如權利要求1所述的操作方法，其特徵在於，所述採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，將所獲得的圖像數據以鏡像形式通過顯示屏輸出，具體包括當操作者移動肢體時，計算出肢體運動時的空間坐標，不斷更新肢體在顯示界面中的映射坐標，在顯示界面實時顯示肢體的位置。
4.如權利要求1所述的操作方法，其特徵在於，所述計算肢體映射在顯示屏中的鏡像坐標，具體包括若系統的顯示界面為二維2D，攝像頭採集到的圖像映射到顯示屏上，以平面鏡像形式呈現，以顯示器的左上角為空間原點，顯示界面為坐標平面，計算手或肢體相對於原點的位置，實時的得到手或肢體坐標P (x，y)；若系統的顯示界面為三維3D，以立體鏡像形式呈現，基於所確定的操作點坐標 D(x, y, ζ)和操作時肢體相對於攝像頭的空間坐標P(x，y，ζ)，根據攝像頭和顯示界面的位置關係，將P點轉換到和々點相同的坐標系下，得到在同一坐標系下的肢體鏡像點坐標 P (χ, y, ζ)。
5.如權利要求1所述的操作方法，其特徵在於，所述識別肢體動作並判斷肢體鏡像點與操作點是否對應，具體包括若系統的顯示界面為二維2D，則檢測手部或肢體的位置映射在顯示界面上的2 D坐標和顯示界面上操作點坐標是否重合，若重合，則判定肢體鏡像坐標與操作點坐標對應；若系統的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點，若操作點坐標D和鏡像點坐標P』重合，則判定肢體鏡像坐標與操作點坐標對應。
6.一種基於立體視覺的操作顯示系統，其特徵在於，包括 操作點定位單元，確定操作點在系統顯示界面的坐標；操作信息採集單元，採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，並輸出所獲得的圖像數據；坐標映射單元，計算肢體映射在顯示屏中的鏡像點坐標； 顯示單元，用於顯示包含操作者肢體圖像信息的視頻輸出信號；識別單元，識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則指示系統進行該肢體動作響應操作，否則不響應。
7.權利要求6所述的操作顯示系統，其特徵在於，所述坐標映射單元包括三維坐標計算模塊，用於計算操作者手部的鏡像點三維3D坐標；基於所確定的操作點坐標D(x，y, ζ)和操作時肢體相對於攝像頭的空間坐標P (x，y, ζ)，根據攝像頭和顯示界面的位置關係，將P點轉換到和々點相同的坐標系下，得到在同一坐標系下的鏡像點坐標 P (χ, y, ζ)。
8.如權利要求6所述的操作顯示系統，其特徵在於，所述識別單元，具體包括 三維坐標檢測模塊，用於檢測比較操作點坐標D和鏡像點坐標P』重合是否重合； 若系統的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點，若操作點坐標D和鏡像點坐標P』重合，則判定肢體鏡像坐標與操作點坐標對應。
全文摘要
本發明公開了一種電子信息設備的操作方法，包括確定操作點在系統顯示界面的坐標；採集操作者肢體動作信息獲得其空間坐標信息和圖像數據，將所獲得的圖像數據以鏡像形式通過顯示屏輸出；計算肢體映射在顯示屏中的鏡像點坐標；識別肢體動作並判斷肢體鏡像點與操作點是否對應？若對應，則系統進行該肢體動作響應操作，否則不響應。另外還提供相應到的基於立體視覺的操作顯示系統。本發明基於鏡像顯示技術和機器視覺技術，將顯示屏上圖像坐標和人的肢體在空間中的坐標對應，在2D/3D顯示情況下，使用戶可以在顯示屏上看到自己相對與屏幕的操作位置，從而實現準確的隔空操作。
文檔編號G06F3/01GK102508548SQ20111035167
公開日2012年6月20日 申請日期2011年11月8日 優先權日2011年11月8日
發明者王嘉, 程懿遠, 鮑東山 申請人:北京新岸線網絡技術有限公司