一種手勢識別控制裝置及控制方法
2023-05-25 17:04:51
專利名稱：一種手勢識別控制裝置及控制方法
技術領域：
本發明涉及攝像頭識別定位的裝置，尤其涉及一種手勢識別控制裝置及控制方法。
背景技術：
3D顯示技術是一種新型的顯示手段，其目的是為了克服現有的平面顯示器只能顯示2D的現狀，目前市面上已經有了多種3D顯示技術，包括偏振式顯示方式，快門式的顯示方式，但其基本原理是一樣的即:人眼觀察物體所產生的立體感是由於左眼和右眼的觀測角度不同，導致所看到的畫面不同，大腦對這兩幅有一定差異的畫面進行合成，從而產生的。而3D顯示器則是讓用戶的左眼和右眼在顯示器上能看到不同的畫面模擬人的視角，使得用戶感覺到畫面擁有立體感。但是，這些畫面的內容都是固定的，即不會根據用戶視角的變化而作出對應的變化。例如:3D顯示器顯示了一個正對著屏幕的正方體，這時用戶從正面看過去，是一個正方形，當用戶從別的角度看顯示器時，看到的也是正方體正面的正方形。而在現實中，用戶應該會看到正方形的側面。這樣將使得立體感減弱，並且這樣的畫面會讓用戶感覺到不夠真實，對應地大腦的潛意識會對這樣的畫面作出排斥，使得用戶在長時間觀看3D畫面後，會有暈眩感。因此，急需一種可以根據用戶視角的變化而改變顯示內容的3D顯示方案，從而能克服固定畫面的3D顯示方案的各個缺點。於此同時，市面上也有各種不同的手勢控制方案，例如電容式觸屏，它可以在二維的平面上感應用戶手指的觸控，或者裝有傳感器的手套，它可以在三維的空間中得到用戶的手勢，以此實現類似「隔空取物」的效果。但是電容式觸屏只能感應二維觸控，而裝有傳感器的手套又需要佩戴後才能在三維空間中得到用戶的手勢，使得使用起來不夠方便。因此，急需一種可以不需要佩戴相關設備就可以在三維空間中進行手勢控制的方案。而目前為止，市面上3D顯示的內容無法直接用手在三維空間中進行操控，而三維空間中的手勢控制方案又只能對二維的顯示畫面進行操控並不直觀。現有的手勢識別系統和操作手段主要有以下兩種:1.採用傳感器方式，利用帶手套，手握設備等方式實現定位，手勢識別。但是這個方案需要手握設備或者帶著手套，很難完成一些高級的手勢控制和識別。2.採用普通攝像頭方式，利用正對的攝像頭，來進行手勢識別。但是這個方案精度較差，無法獲得較為精確的景深數據，同時對於暗部條件來說識別有一定的局限性，當照度較低的時候，攝像頭輸出的噪聲較高，無法輸出清晰的圖像，從而降低了精確程度。總之，現有的方案有其局限性，適用場景單一，無法應對較為複雜的現實應用。
發明內容
本發明的目的在於克服上述存在的不足和缺陷，提供一種手勢識別控制裝置及控制方法，它是通過兩組攝像頭組精確定位判斷每個指關節的動作，位置，方向，從而實現精確控制和識別。
本發明的目的是通過如下技術方案實現的:本發明包括支架，其特徵是在所述的支架的上端固定有上攝像頭、在上攝像頭的下方固定有下攝像頭，在下攝像頭的下方固定有3D顯示器；所述的上攝像頭和下攝像頭輸出端與電腦的視頻輸入端連接，電腦的視頻輸出端與3D顯示器的視頻輸入端連接，電腦上的軟體將處理過的圖像傳送到3D顯示器中。所述的下攝像頭和顯示器固定在一起。所述的上攝像頭的鏡頭自上而下放置，用於拍攝用戶手部動作，下攝像頭的鏡頭水平放置，用於定位用戶眼球位置。所述的上攝像頭和下攝像頭是景深攝像頭。本發明一種手勢識別控制方法，其特徵是包括手勢識別和3D畫面渲染，還包括如下步驟:
a、利用追蹤人眼位置的攝像頭傳遞來的深度圖像，經算法處理後，得到人眼相對顯示器的位置；
b、通過步驟a渲染出左、右眼所看到的畫面，將畫面數據傳遞到3D顯示器上，由3D顯不器輸出；
C、將手勢深度攝像頭傳遞來的手勢深度圖像信息，經過算法處理，得到手指和手掌在圖像中的位置，再經過坐標變換，轉換為手指相對顯示器的位置信息；
d、通過步驟C觸發相關的手勢事件，讓用戶的手指和3D顯示器中的虛擬的3D元素進行交互。所述的手勢識別流程包括如下步驟:
(1)讀取深度信息:從用於追蹤手勢的攝像頭中讀取深度信息；
(2)分離背景:將深度信息中採集到的背景部分去掉，只保留手的部分；
(3)邊緣查找:分離出背景後，就可以將手的輪廓描繪出來；
(4)手掌查找:從輪廓中識別出手掌；
(5)指尖查找:根據識別出的手掌，在邊緣識別出手指尖；
(6)手勢分類識別器:根據手掌的運動和手指的運動，來識別出用戶當前的手勢；
(7)手勢信息:根據手勢分類識別器識別出來的，最終用於操作的手勢信息。所述的3D畫面渲染流程包括如下步驟:
(O獲取人眼位置信息:從人眼追蹤攝像頭中獲取人眼相對於屏幕的位置信息；
(2)生成視圖矩陣:以人眼與屏幕中心兩點產生一條直線，即視線，以此產生視圖矩
陣；
(3)生成投影矩陣:根據人眼所在的與屏幕的相對位置，以及視圖矩陣，產生投影矩陣；以這種方式產生的投影矩陣更加真實，屏幕中的顯示內容會根據人眼的位置做調整，讓用戶感受更加真實的體驗，以這種方式產生的投影矩陣更加真實，屏幕中的顯示內容會根據人眼的位置做調整，讓用戶感受更加真實的體驗；
(4)獲取手勢操作數據:利用人眼追蹤攝像頭中獲取到的手勢信息，產生操作方案以及操作程序，例如當手指接近屏幕到一定程度的時候判定為點擊，兩個手指拉開表示放大，手指從頂部拉到底部為關閉窗口等；
(5)生成窗口圖像數據:通過視圖矩陣，投影矩陣以及手勢操作數據等，對程序中的內容作出調整後，生成最終渲染數據並寫入緩衝區，等待渲染； (6)渲染到屏幕:將緩衝區中的內容顯示到屏幕上。本發明通過兩個方向的攝像頭組(上方，下方)，來進行定位和手勢識別。結構簡單，成本低，識別精度高，可以應用於暗光條件和對於識別精度敏感且不願意使用傳感器來進行識別的場景。本發明與傳統的手勢識別系統相比，具有以下優點:1.識別精度高，且不需要手上安裝外部設備。2.可以在暗部條件使用，並且能夠構建更加精確的三維定位和景深信息，使誤判降低，將3D顯示技術和手勢識別技術結合到一起，實現完整的3D用戶界面與互動。
圖1是本發明一種手勢識別控制裝置主視圖。圖2是本發明一種手勢識別控制裝置側視圖。圖3是本發明一種手勢識別控制裝置工作原理方框圖。圖4是本發明一種手勢識別控制方法中的手勢識別流程圖。圖5是本發明一種手勢識別控制方法中的3D畫面渲染流程圖。
具體實施例方式下面結合附圖對本發明作進一步說明，但不是對本發明範圍的限制。如圖1、2、3所示，本發明一種手勢識別控制裝置，包括支架5，其特徵是在所述的支架5的上端固定有上攝像頭1、在上攝像頭I的下方固定有下攝像頭2，在下攝像頭2的下方固定有3D顯示器3 ;所述的上攝像頭I和下攝像頭2輸出端與電腦4的視頻輸入端連接，電腦4的視頻輸出端與3D顯示器3的視頻輸入端連接，電腦4上的軟體將處理過的圖像傳送到3D顯示器3中。所述的下攝像頭2和顯示器(3)固定在一起。所述的上攝像頭I的鏡頭自上而下放置，下攝像頭2的鏡頭水平放置。所述的上攝像頭I和下攝像頭2是景深攝像頭。本發明一種手勢識別控制方法，其特徵是包括手勢識別和3D畫面渲染，還包括如下步驟:
a、利用追蹤人眼位置的攝像頭傳遞來的深度圖像，經算法處理後，得到人眼相對顯示器的位置；
b、通過步驟a渲染出左、右眼所看到的畫面，將畫面數據傳遞到3D顯示器上，由3D顯不器輸出；
C、將手勢深度攝像頭傳遞來的手勢深度圖像信息，經過算法處理，得到手指和手掌在圖像中的位置，再經過坐標變換，轉換為手指相對顯示器的位置信息；
d、通過步驟C觸發相關的手勢事件，讓用戶的手指和3D顯示器中的虛擬的3D元素進行交互。所述的手勢識別流程包括如下步驟:
(O讀取深度信息:從用於追蹤手勢的攝像頭中讀取深度信息；
(2)分離背景:將深度信息中採集到的背景部分去掉，只保留手的部分； (3)邊緣查找:分離出背景後，就可以將手的輪廓描繪出來；
(4)手掌查找:從輪廓中識別出手掌；
(5)指尖查找:根據識別出的手掌，在邊緣識別出手指尖；
(6)手勢分類識別器:根據手掌的運動和手指的運動，來識別出用戶當前的手勢；
(7)手勢信息:根據手勢分類識別器識別出來的，最終用於操作的手勢信息。所述的3D畫面渲染流程包括如下步驟:
(O獲取人眼位置信息:從人眼追蹤攝像頭中獲取人眼相對於屏幕的位置信息；
(2)生成視圖矩陣:以人眼與屏幕中心兩點產生一條直線，即視線，以此產生視圖矩
陣；
(3)生成投影矩陣:根據人眼所在的與屏幕的相對位置，以及視圖矩陣，產生投影矩陣；以這種方式產生的投影矩陣更加真實，屏幕中的顯示內容會根據人眼的位置做調整，讓用戶感受更加真實的體驗，以這種方式產生的投影矩陣更加真實，屏幕中的顯示內容會根據人眼的位置做調整，讓用戶感受更加真實的體驗；
(4)獲取手勢操作數據:利用人眼追蹤攝像頭中獲取到的手勢信息，產生操作方案以及操作程序，例如當手指接近屏幕到一定程度的時候判定為點擊，兩個手指拉開表示放大，手指從頂部拉到底部為關閉窗口等；
(5)生成窗口圖像數據:通過視圖矩陣，投影矩陣以及手勢操作數據等，對程序中的內容作出調整後，生成最終渲染數據並寫入緩衝區，等待渲染；
(6)渲染到屏幕:將緩衝區中的內容顯示到屏幕上。上攝像頭I用於採集手指的圖像信息，並轉換成手指的三維虛擬坐標。下攝像頭2用於追蹤眼球，並轉換成雙眼的三維虛擬坐標，用於跟蹤用戶的視線變換，使得用戶從不同角度看3D顯示器3的時候，可以讓3D顯示器3中顯示出三維畫面，根據人眼的位置不同，而做出變化，使3D畫面能適應人眼移動，讓人眼在不同位置看到不同的畫面。上攝像頭I和下攝像頭2配合，只要用一臺3D顯示器。上攝像頭I和下攝像頭2配合，可以將手指的虛擬坐標和3D顯示器3的顯示內容結合起來，讓手指在不接觸屏幕表面的情況下，識別手指經過的虛擬坐標，使手指能操作3D虛擬按鈕，以及一系列操作例如滑動，點擊，等等。本發明的創新點在於實現一種低成本的、全新的三維人機互動方式，它是通過用於檢測手勢的攝像頭即上攝像頭I來得到手指相對顯示器的位置，再通過人眼追蹤攝像頭即下攝像頭2來得到人眼相對顯示器的位置，最後將虛擬的物體通過3D顯示器顯示出來，讓人可以感覺到該虛擬的物體確實出現在顯示器的前方，並且可以用手與虛擬物體進行交互，如拖動，觸碰等等。相比於傳統的單純顯示3D內容的方案，提供了可交互的特性。而相比於單純的手勢控制方案，又具有了更佳的直觀性。本發明包括用於檢測手勢的攝像頭，用於追蹤人眼位置的攝像頭，以及用於顯示3D畫面的3D顯示器。所述的攝像頭所採集的數據為被拍攝物體到攝像頭的距離信息(又稱深度信息)，深度信息可以是通過雙攝像頭的三角測距方式，其原理為將兩個攝像頭採集到的畫面在橫軸方向上進行匹配，然後將匹配到的圖像在兩個攝像頭中位置的不同，來測算出該物體到攝像頭的距離；或者光編碼(Light Coding)方式，其原理為將近紅外雷射經過毛玻璃後投射到物體上，此時會在物體上呈現出各種不同分布的紅外波段的光斑，通過在不同距離對光斑進行標定，以此來得到物體到攝像頭的距離；或者光飛行時間測量(Time offlight)的方式，其原理是測量發出的光脈衝從發射後到到達目標再反射到攝像頭所經過的時間來得到物體到攝像頭的距離。所述的3D顯示器為可以在同一個平面位置上，顯示出提供給人的兩隻眼睛不同畫面的裝置，比如液晶快門3D顯示器其原理為交錯顯示左眼和右眼所顯示的畫面，同時用戶所佩戴的3D眼鏡會根據顯示器傳遞來的信號，分別開關左邊或右邊的液晶鏡片，使得同一時刻只有一隻眼睛能看到顯示器上對應的畫面，它的優點是解析度不會有損失，缺點是因為液晶快門的不斷開關，會讓人感覺到閃爍，並且容易導致眼睛疲勞；偏振式3D顯示器，其原理為隔行調整面板上的像素所發出的光線的偏振方向，使得奇數行的像素和偶數行的像素所發出的光線有各自的偏振方向，這樣用戶在戴了 3D眼鏡後，一隻眼睛只能看到奇數行的像素，另一隻眼睛則只能看到偶數行的像素，以此看到不同的畫面，它的優點是不會讓人感到閃爍，但缺點是解析度會損失一半。或3D偏振式投影，其原理為兩臺投影加上偏振片之後，將不同方向的偏振光投射在相同的位置。本發明利用追蹤人眼位置的攝像頭傳遞來的深度圖像，經算法處理後，得到人眼相對顯示器的位置。以此渲染出左、右眼所看到的畫面，將畫面數據傳遞到3D顯示器上，由3D顯示器輸出。同時，將手勢深度攝像頭傳遞來的手勢深度圖像信息，經過算法處理，得到手指和手掌在圖像中的位置，再經過坐標變換，轉換為手指相對顯示器的位置信息。從而觸發相關的手勢事件，讓用戶的手指和3D顯示器中的虛擬的3D元素進行交互。這裝置由三個主要部件和一個支架組成，主要部件分別是兩個深度攝像頭和一個3D顯示器，其中一個向下拍攝的深度攝像頭負責獲取手勢信息，向前拍攝的深度攝像頭負責得到人眼的位置信息，3D顯示器負責顯示3D畫面，並且它通過獲取你看顯示器的角度，來得出最合適的輸出畫面。簡單說你從不同的角度去看顯示器，都會感覺到要顯示在屏幕前方的虛擬物體一直懸浮在屏幕前方固定不動。換作是傳統的3D顯示器，它顯示的是一個固定的左右眼畫面，用本發明這個顯示器，當你從不同的角度去看的時候，會感覺到要顯示在屏幕前方的虛擬物體會跟著你視角的變換而相對顯示器移動，顯得不夠真實。而當實現了最佳輸出畫面後，當你去嘗試觸碰所顯示的虛擬物體的時候，你的手相對屏幕的位置和虛擬物體相對屏幕的虛擬位置是相同的，這時候通過獲取手勢信息的攝像頭就可以確定你想觸碰的虛擬物體，你就可以操作這個虛擬物體，比如拖動，抓取等等操作，並且你會從視覺上感覺你確實在用手直接接觸這個虛擬的物體。以上是本發明的優選實施方式，凡依上述構思所作的相類似改變，理應屬於本發明的涵蓋內容。
權利要求
1.一種手勢識別控制裝置，包括支架(5)，其特徵是在所述的支架(5)的上端固定有上攝像頭(I)、在上攝像頭(I)的下方固定有下攝像頭(2)，在下攝像頭(2)的下方固定有3D顯示器(3);所述的上攝像頭(I)和下攝像頭(2)輸出端與電腦(4)的視頻輸入端連接，電腦(4)的視頻輸出端與3D顯示器(3)的視頻輸入端連接，電腦(4)上的軟體將處理過的圖像傳送到3D顯示器(3)中。
2.根據權利要求1所述的一種手勢識別控制裝置，其特徵是所述的下攝像頭(2)和顯不器(3)固定在一起。
3.根據權利要求2所述的一種手勢識別控制裝置，其特徵是所述的上攝像頭(I)的鏡頭自上而下放置，下攝像頭(2)的鏡頭水平放置。
4.根據權利要求1-3中任一項所述的一種手勢識別控制裝置，其特徵是所述的上攝像頭(I)和下攝像頭(2)是景深攝像頭。
5.一種手勢識別控制方法，其特徵是包括手勢識別和3D畫面渲染，還包括如下步驟: a、利用追蹤人眼位置的攝像頭傳遞來的深度圖像，經算法處理後，得到人眼相對顯示器的位置； b、通過步驟a渲染出左、右眼所看到的畫面，將畫面數據傳遞到3D顯示器上，由3D顯不器輸出； C、將手勢深度攝像頭傳遞來的手勢深度圖像信息，經過算法處理，得到手指和手掌在圖像中的位置，再經過坐標變換，轉換為手指相對顯示器的位置信息； d、通過步驟C觸發相關的手勢事件，讓用戶的手指和3D顯示器中的虛擬的3D元素進行交互。
6.根據權利要求5所述的一 種手勢識別控制方法，其特徵是所述的手勢識別流程包括如下步驟: (1)讀取深度信息:從用於追蹤手勢的攝像頭中讀取深度信息； (2)分離背景:將深度信息中採集到的背景部分去掉，只保留手的部分； (3)邊緣查找:分離出背景後，就可以將手的輪廓描繪出來； (4)手掌查找:從輪廓中識別出手掌； (5)指尖查找:根據識別出的手掌，在邊緣識別出手指尖； (6)手勢分類識別器:根據手掌的運動和手指的運動，來識別出用戶當前的手勢； (7)手勢信息:根據手勢分類識別器識別出來的，最終用於操作的手勢信息。
7.根據權利要求6所述的一種手勢識別控制方法，其特徵是所述的3D畫面渲染流程包括如下步驟: (O獲取人眼位置信息:從人眼追蹤攝像頭中獲取人眼相對於屏幕的位置信息； (2)生成視圖矩陣:以人眼與屏幕中心兩點產生一條直線，即視線，以此產生視圖矩陣； (3)生成投影矩陣:根據人眼所在的與屏幕的相對位置，以及視圖矩陣，產生投影矩陣；以這種方式產生的投影矩陣更加真實，屏幕中的顯示內容會根據人眼的位置做調整，讓用戶感受更加真實的體驗； (4)獲取手勢操作數據:利用人眼追蹤攝像頭中獲取到的手勢信息，產生操作方案以及操作程序；(5)生成窗口圖像數據:通過視圖矩陣，投影矩陣以及手勢操作數據等，對程序中的內容作出調整後，生成最終渲染數據並寫入緩衝區，等待渲染； (6)渲染到屏幕:將緩 衝區中的內容顯示到屏幕上。
全文摘要
本發明涉及一種手勢識別控制裝置及控制方法。在支架的上端固定有上攝像頭、在上攝像頭的下方固定有下攝像頭，在下攝像頭的下方固定有3D顯示器；上攝像頭和下攝像頭輸出端與電腦的視頻輸入端連接，電腦的視頻輸出端與3D顯示器的視頻輸入端連接，電腦上的軟體將處理過的圖像傳送到3D顯示器中，本發明的一種手勢識別控制方法，包括手勢識別和3D畫面渲染等步驟，本發明通過兩個方向的攝像頭組(上方，下方)，來進行定位和手勢識別，結構簡單，成本低，識別精度高，可以應用於暗光條件和對於識別精度敏感且不願意使用傳感器來進行識別的場景。
文檔編號G06F3/01GK103176605SQ20131009936
公開日2013年6月26日 申請日期2013年3月27日 優先權日2013年3月27日
發明者劉仁俊, 葛卓琛, 林成凡, 金勇輝, 張家珩, 謝楷, 肖瀟 申請人:劉仁俊, 葛卓琛