基於投影屏幕的多點觸控檢測方法及多點觸控系統的製作方法
2023-05-24 21:50:51
專利名稱：基於投影屏幕的多點觸控檢測方法及多點觸控系統的製作方法
技術領域：
本發明涉及人機互動技術領域，特別涉及一種基於投影屏幕的多點觸控檢測方法及多點觸控系統。
背景技術：
人們渴望隨時隨地與數字世界進行溝通，因此伴隨電子產品微型化的趨勢，智慧型手機、平板電腦等移動可攜式數字產品受到了消費者的青睞。手機、移動電腦的體積越來越小，性能越來越高、功能越來越多。如今大量的傳感器，例如加速度計、陀螺儀、圖像傳感器等已經廣泛的應用於智慧型手機、平板電腦中。隨著微電子技術的高速發展，可以預計將會有越來越多的傳感器嵌入到智慧型手機、平板電腦等可攜式微型設備中。
如今的電子產品多採用LED顯示器、CRT顯示器、液晶顯示屏(IXD)等作為顯示設備，採用物理鍵盤、觸控面板(Touch Panel)等作為輸入設備，從而實現人機互動。前面提到的電子產品的微型化從本質上並不希望看到人機互動界面的微型化。人機互動界面的小型化在很多應用環境中只會影響人機互動的便捷性、舒適性——比如，人們更願意在物理鍵盤上打字、更願意在大屏幕的顯示器上瀏覽信息。因此人機互動的便捷性、舒適性要求輸入設備適合人手操作、顯示界面適合信息瀏覽。這與電子產品的微型化成為了一對矛盾。而採用現有的人機互動方式，電子產品的微型化必然會導致交互界面的小型化。例如，現在的手機尺寸過小，導致顯示屏幕小，不適合人觀察，鍵盤太小，也非常不方便用戶操作。
為了克服傳統輸入輸出設備的缺陷，近年來出現了一些新的人機互動系統。專利 CN 101881921A、專利CN 102063618A以及專利US 2011/0197147A1中採用投影裝置顯示圖像，然後通過投影平面上的手勢實現人機互動——系統中定義若干手勢，每種手勢與指令相對應，存儲在指令資料庫中。比如，利用手勢可以實現比如翻頁、放大、縮小等操作。該系統最大的缺陷是手勢定義的指令數量有限。一方面，指令數的增加必然會加大用戶的學習難度，很難被普通用戶接受；另外一方面，即使指令數量增加到一定程度也很難實現字符、 數字輸入的功能。最近，賽路恩公司推出了一款鐳射虛擬鍵盤(VKB)。該產品採用雷射在桌面上投影出一個虛擬鍵盤，紅外傳感器判斷手指是否敲擊鍵盤。該產品投影出的鍵盤圖像色彩單調，也只能完成字符、數字輸入的功能，而不能實現色彩豐富圖形界面投影與操作。發明內容
(一)要解決的技術問題
本發明要解決的技術問題是如何實現微型移動可攜式設備的方便、舒適、快速、 準確以及穩定的人機互動。
( 二 )技術方案
為解決上述技術問題，本發明提供了一種基於投影屏幕的多點觸控檢測方法，包括以下步驟
Sl 測定投影平面、計算所述投影平面參數，並對所述投影平面進行背景模型訓4練，形成背景圖像；
S2:向投影平面投影圖形界面後並判斷是否開始監測觸控操作，若沒有觸控操作， 則繼續監測；
S3 採集觸控操作的圖像s ；
S4:依據所述背景圖像對步驟S3中採集的圖像s進行背景分割，提取出前景圖像， 該前景圖像中至少包括了指尖、手掌、手臂以及各自形成的陰影；
S5 從前景圖像中提取出指尖，濾除手掌、手臂以及相應的陰影；
S6 根據提取出的指尖的三維信息判斷接觸點；
S7:如果指尖與投影平面接觸，那麼判定為一次有效的觸控操作，並返回接觸點的位置坐標。
其中，所述步驟Sl中的平面參數計算包括如下步驟
採用結構光方法檢測出投影平面上N個點，N >=3，非N點共線，在圖像傳感器坐標系的坐標(Xi Yi Zi)T，i = 1，2···，Ν，當N= 3時，通過如下公式計算平面參數
否則，通過最小二乘法估計投影平面參數，其中α、β、Y為所述投影平面的方程係數，滿足平面方程α χ+ β y+ Υ ζ = 1。
其中，所述步驟S4中分割背景圖像的方式為遍歷圖像s中每一個像素點，將偏離背景圖像統計均值大於第一門限值的像素判斷為前景圖像；將偏離背景圖像統計均值小於第二門限值的像素判定為背景圖像，根據該像素值更新背景圖像；偏離在第一門限值和第二門限值之間的像素判定為背景圖像，但不更新背景圖像，所述第一門限值大於所述第二門限值。
其中，所述步驟S4中，在遍歷之前通過投影圖像四個角的坐標計算採集圖像平面上對應的四個坐標，以確定在圖像s中的投影圖像的區域，遍歷時只遍歷圖像s中的投影圖像所在區域。
其中，所述步驟S5具體包括
(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；
(2)若為前景圖像，則判斷是否為陰影，如果該像素點為陰影，結束對該像素點的處理，否則斷定所述像素點為指尖；
(3)按上述(1)42)遍歷圖像s的每一個像素點。
其中，所述步驟S5具體包括
(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；
(2)若為前景圖像，則判斷是否為陰影，如果所述像素點為陰影，則結束對所述像素點的處理；
(3)計算所述像素點的像素斜率；
(4)判斷同一斜率上是否有陰影點，如果與所述像素點相同斜率上存在陰影點，則斷定所述像素點所在區域不與投影屏幕接觸，結束對該像素點的處理，否則斷定所述像素點為指尖；
(5)按上述(1)-(4)遍歷圖像s的每一個像素點。
其中，所述步驟S6具體包括
將結構光投影到指尖區域，並捕獲失真的結構光圖案；
查找指尖區域中投影結構光圖像與失真結構光圖案的像素點映射關係；
計算指尖到投影平面的距離，通過結構光的方法得到指尖在圖像傳感器坐標系的坐標為(Xi Yi Zi)T，那麼指尖與投影平面之間的距離為
權利要求
1.一種基於投影屏幕的多點觸控檢測方法，其特徵在於，包括以下步驟51測定投影平面、計算所述投影平面參數，並對所述投影平面進行背景模型訓練，形成背景圖像；52向投影平面投影圖形界面後並判斷是否開始監測觸控操作，若沒有觸控操作，則繼續監測；S3:採集觸控操作的圖像s;S4:依據所述背景圖像對步驟S3中採集的圖像s進行背景分割，提取出前景圖像，該前景圖像中至少包括了指尖、手掌、手臂以及各自形成的陰影；55從前景圖像中提取出指尖，濾除手掌、手臂以及相應的陰影；56根據提取出的指尖的三維信息判斷接觸點；57如果指尖與投影平面接觸，那麼判定為一次有效的觸控操作，並返回接觸點的位置坐標。
2.如權利要求1所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟Sl 中的平面參數計算包括如下步驟採用結構光方法檢測出投影平面上N個點，N >= 3，非N點共線，在圖像傳感器坐標系的坐標(Xi Yi Zi)T，i = 1，2···，Ν，當N= 3時，通過如下公式計算平面參數
3.如權利要求1所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟S4 中分割背景圖像的方式為遍歷圖像s中每一個像素點，將偏離背景圖像統計均值大於第一門限值的像素判斷為前景圖像；將偏離背景圖像統計均值小於第二門限值的像素判定為背景圖像，根據該像素值更新背景圖像；偏離在第一門限值和第二門限值之間的像素判定為背景圖像，但不更新背景圖像，所述第一門限值大於所述第二門限值。
4.如權利要求3所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟S4 中，在遍歷之前通過投影圖像四個角的坐標計算採集圖像平面上對應的四個坐標，以確定在圖像s中的投影圖像的區域，遍歷時只遍歷圖像s中的投影圖像所在區域。
5.如權利要求1所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟S5 具體包括(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；(2)若為前景圖像，則判斷是否為陰影，如果該像素點為陰影，結束對該像素點的處理， 否則斷定所述像素點為指尖；(3)按上述(1)42)遍歷圖像s的每一個像素點。
6.如權利要求1所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟S5 具體包括(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；(2)若為前景圖像，則判斷是否為陰影，如果所述像素點為陰影，則結束對所述像素點的處理；(3)計算所述像素點的像素斜率；(4)判斷同一斜率上是否有陰影點，如果與所述像素點相同斜率上存在陰影點，則斷定所述像素點所在區域不與投影屏幕接觸，結束對該像素點的處理，否則斷定所述像素點為指尖；(5)按上述(1)44)遍歷圖像s的每一個像素點。
7.如權利要求1所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟S6 具體包括將結構光投影到指尖區域，並捕獲失真的結構光圖案； 查找指尖區域中投影結構光圖像與失真結構光圖案的像素點映射關係； 計算指尖到投影平面的距離，通過結構光的方法得到指尖在圖像傳感器坐標系的坐標為(Xi Yi Zi)T，那麼指尖與投影平面之間的距離為 ,axi +Pyj+Yzi , = —ι判斷接觸點，如果Cli > thresholcLl，則指尖不與投影平面接觸，否則指尖與投影平面接觸，其中，threshold_l為預定閾值。
8.如權利要求1所述的基於投影屏幕的多點觸控檢測方法，其特徵在於，所述步驟S6 具體包括向指尖區域投影結構光條紋，並捕獲結構光圖像；檢測捕獲結構光圖像中條紋上邊緣像素橫坐標X1和下邊緣像素橫坐標& ； 計算條紋中心ip; 判斷指尖是否與投影平面接觸，如果 xc< threshold—2，那麼斷定指尖與投影平面接觸，其中^為指尖中心橫坐標，threshold_2為預定閾值。
9.一種基於投影屏幕的多點觸控系統，包括投影儀、圖像傳感器、I/O埠、輸入設備、存儲設備及中央控制器，所述投影儀圖像傳感器、I/O埠、輸入設備、存儲設備均與所述中央控制器相連，其特徵在於，所述I/O埠用於連接移動終端，所述投影儀用於將移動終端顯示的圖像和操作界面投影到投影平面；所述圖像傳感器用於捕獲投影屏幕上手勢； 所述中央控制器用於解析所述手勢的觸控操作，並將解析出的觸控信息反饋給移動終端， 所述輸入設備用於輸入配置信息及指令。
10.如權利要求9所述的基於投影屏幕的多點觸控系統，其特徵在於，所述輸入設備包括感光傳感器，用於檢測環境光的亮度，所述中央控制器根據感光傳感器的輸出值調節投影儀的亮度。
全文摘要
本發明公開了基於投影屏幕的多點觸控檢測方法，涉及人機互動技術領域，包括測定投影平面、計算投影平面參數，並對投影平面進行背景模型訓練，形成背景圖像；向投影平面投影圖形界面後並判斷是否開始監測觸控操作；採集觸控操作的圖像s；依據背景圖像採集的圖像s進行背景分割，提取出前景圖像；從前景圖像中提取出指尖，濾除手掌、手臂以及相應的陰影；根據提取出的指尖的空間三維信息判斷接觸點；如果指尖與投影平面接觸，那麼判定為一次有效的觸控操作，並返回接觸點的位置坐標。還公開了一種基於投影屏幕的多點觸控系統。本發明實現了一種便捷、舒適、精確、實時和穩定的人機互動方式。
文檔編號G06F3/041GK102508574SQ20111035351
公開日2012年6月20日 申請日期2011年11月9日 優先權日2011年11月9日
發明者劉金, 李國林, 王志華, 胡軍, 謝翔 申請人:清華大學