虛擬觸控螢幕系統中跟蹤多個對象方法和系統的製作方法

2023-09-11 03:25:35 5

專利名稱：虛擬觸控螢幕系統中跟蹤多個對象方法和系統的製作方法
技術領域：
本發明涉及一種人機互動領域，尤其是設計數字圖像處理領域。具體而言，本發明涉及一種虛擬觸控螢幕系統中跟蹤多個對象方法和系統。
背景技術：
觸控螢幕幕技術現在被越來越廣泛地用於作為HMI設備的手持式設備(例如智慧型電話)以及PC(例如臺式PC)中。通過觸控螢幕幕，用戶可以更舒適和方便地操作該設備並帶來良好的體驗。儘管觸控螢幕幕技術在手持設備中非常成功，但是對於大尺寸顯示器的觸控螢幕幕卻依然存在一些問題和機會屬於Canesta，Inc標題為「System and Method for Determining an InputSelected By a User through a Virtual Interface (通過虛擬界面確定用戶所選擇的輸入的系統和方法)，，的美國專利US7151530B2提出了一種用於在一組鍵值中選擇哪個鍵值被指派為當前鍵值的方法，因此得以提供與虛擬界面中的區域交叉的對象。該虛擬界面能夠實現在鍵值組中選擇單一的鍵值並使用深度傳感器來確定位置， 該深度傳感器可以確定與深度傳感器的位置相關的位置的深度。此外，對象的位移特性或對象的形狀特性至少之一可以得以確定。位置信息可以近似於對象相對於位置傳感器或其他參考點的深度。當照相機的像素陣列中足夠數量的像素指示對象的存在時，就認為檢測到該對象。確定與虛擬輸入區域的表面交叉的對象的形狀並與多種已知的形狀(例如手指或指示筆)進行比較。同樣屬於Canesta，Inc標題為「Quasi-Three-Dimensional Method AndApparatus To Detect And Localize Interaction Of User-Obj ect And VirtualTransfer Device (用於檢測和定位用戶-對象和虛擬轉換裝置的交互的準三位方法和設備)」的美國專利US6710770B2披露了一種採用虛擬裝置輸入或傳輸信息到附屬裝置的系統，包括兩個光學系統OSl和0S2。在光線構造實施方式中，OSl在虛擬裝置上並平行於該虛擬裝置發射扇形光束平面0的光能量。當用戶對象穿透感興趣的光束平面時，0S2登記該事件。三角測量方法能夠定位虛擬接觸，並將用戶預定信息傳輸到附屬系統。在非結構主動光線結構中，OSl優選為一種數位照相機，其視野定義了感興趣的平面，該平面由一主動光能量源照殼。屬於 Apple 公司的標題為"identifying contacts on a touch surface ( i只另Ij角蟲摸表面上的觸點)」美國專利US7619618B2披露了一種用於在手接近、接觸接近感測多觸摸表面或在其上滑動時同時跟蹤多個手指和手掌接觸點的設備和方法。直觀的手結構和動作的檢測和歸類實現了在多用途人類工程學計算機輸出裝置中的鍵入、靜止、指點、滾動、3D 操縱的空前集成。屬 i1 Matsushita Electric & 目白勺 t示 H % "Multi-touch surface providingdetection and tracking of multiple touch points (提供多角蟲摸點檢測禾口足艮蹤的多觸摸表面)，，的美國專利申請US20100073318A1披露了一種通過使用正交線性容限傳感器的兩個獨立陣列而能夠檢測和跟蹤多觸摸點的用於多觸摸敏感表面的系統和方法。
從上面所提到的這些現有技術看來，大多數大尺寸觸控螢幕幕都是基於電磁板(諸如電子白板)，IR border (諸如互動性大尺寸顯示器)等。當時對於大尺寸觸控螢幕幕的當前的技術方案而言依然存在很多問題，例如總體而言，這些類型的設備通常由於其硬體而導致的其體積大而笨重，因此難以攜帶，不具有便攜性。而且這些類型的設備屏幕尺寸受到硬體的限制而尺寸固定而不能根據環境的需要而自由地調節，而且還需要一種特殊的電磁筆或一種頂筆來進行操作。對於有些虛擬白板投影儀而言，用戶必須控制雷射筆的開啟/關閉開關，這非常繁瑣，因此存在雷射筆難以控制的問題。另外，在這種虛擬白板投影儀中，一旦雷射筆關閉， 就很難精確地將雷射點定位到下一個位置，因此存在雷射點定位難的問題。有些虛擬白板投影儀中採用了手指滑鼠來替代雷射筆，但是，採用手指滑鼠的虛擬白板投影儀不能檢測到觸摸開始(touch on)或觸摸結束(touch up)。

發明內容
為了解決上面所提到的現有技術中的這些問題，本發明提出了一種虛擬觸控螢幕系統中跟蹤多個對象方法和系統。具體而言，該虛擬觸控螢幕系統中跟蹤多個對象方法包括將圖像投射到以一投影表面上；連續獲得所述投影表面的環境的圖像；從所獲得的每幀圖像中，檢測位於所述投影表面前預定距離內的至少一個對象的備選斑塊；以及根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列。根據本發明的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列的步驟包括接收從一幀新圖像中獲得多個新斑塊的形心點；檢索多個已有點序列，針對每個已有點序列，尋找距離該已有點序列臨近的形心點，將距離最近的形心點所對應的新斑塊作為該已有序列點最近的新斑塊；以及將距離該已有點序列最近的新斑塊歸入該已有點序列。根據本發明的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列的步驟還包括針對任何一個已有點序列，如果在不存在任何與其臨近的新斑塊，則給出該已有點序列已結束的通知並刪除該已有點序列。根據本發明的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列的步驟還包括針對所輸入的一幀圖像中的多個新斑塊中的任意一個新斑塊，如果不存在任何與其臨近的已有點序列，則給出該新斑塊為一個新點序列的起點的通知，並創建一個新的點序列。根據本發明的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述針對每個已有點序列尋找距離該已有點序列最近的形心點的步驟包括輸入一個已有點序列，並從所輸入的一幀圖像中的多個新斑塊中尋找距離該已有點序列臨近的新斑塊；在從所輸入的一幀圖像中的多個新斑塊沒有找到距離所輸入的已有點序列臨近的新斑塊的情況下，則給出所輸入的已有點序列將要被刪除的通知；在從所輸入的一幀圖像中的多個新斑塊找到了距離所輸入的已有點序列臨近的新斑塊，且所找到的臨近的新斑塊僅僅為所輸入的已有點序列的臨近的新斑塊，則確定該新斑塊屬於所輸入的已有點序列；以及在從所輸入的一幀圖像中的多個新斑塊找到了距離所輸入的已有點序列臨近的新斑塊，且所找到的臨近的新斑塊還是其他已有點序列的臨近的新斑塊，如果所找到的臨近的新斑塊與所輸入的已有點序列的距離比與其他已有點序列的距離小，則確定該新斑塊屬於與所輸入的已有點序列最近的新斑塊，否則，給出所輸入的已有點序列將要被刪除的通知；核實是否已經對所有的已有序列點執行了上述步驟。根據本發明的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述從所輸入的一幀圖像中的多個新斑塊中尋找距離該已有點序列臨近的新斑塊的步驟包括輸入一個新斑塊， 計算所輸入的新斑塊與所輸入的已有已有點序列之間的距離；在所計算的所輸入新斑塊與所輸入的已有點序列之間的距離小於一預定的距離閾值Td的情況下，將所輸入新斑塊插入到屬於所輸入的已有軌跡的候選臨近新斑塊列表中，否則，確認是否已經對所有新斑塊執行了上述步驟；在確定屬於所輸入的已有點序列的候選臨近新斑塊列表的大小小於一個預定的大小閾值Tsize的情況下，確認是否已經對所有新斑塊執行了上述步驟，否則，刪除屬於所輸入的已有點序列的候選臨近新斑塊列表中的與所輸入的已有點序列最遠的新斑塊後，確認是否已經對所有新斑塊執行了上述步驟；在確認已經對所有新斑塊執行了上述步驟的情況下，如果屬於所輸入的已有點序列的候選臨近新斑塊列表不為空，則從所述列表中的候選臨近新斑塊中找出與所輸入的已有點序列最近的新斑塊作為所輸入的已有點序列的最近新斑塊。根據本發明的在虛擬觸控螢幕系統中跟蹤多個對象的方法，還包括對最終獲得的點序列採用以下公式進行坐標優化以進行平滑處理，

權利要求
1.一種在虛擬觸控螢幕系統中跟蹤多個對象的方法，包括將圖像投射到以一投影表面上；連續獲得所述投影表面的環境的圖像；從所獲得的每幀圖像中，檢測位於所述投影表面前預定距離內的至少一個對象的候選斑塊；根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列。
2.根據權利要求1所述的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列的步驟包括接收從一幀新圖像中獲得多個新斑塊的形心點；檢索多個已有點序列，針對每個已有點序列，尋找距離該已有點序列臨近的形心點，將距離最近的形心點所對應的新斑塊作為該已有序列點最近的新斑塊；將距離該已有點序列最近的新斑塊歸入該已有點序列。
3.根據權利要求2所述的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列的步驟還包括針對任何一個已有點序列，如果在不存在任何與其臨近的新斑塊，則給出該已有點序列已結束的通知並刪除該已有點序列。
4.根據權利要求2或3所述的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列的步驟還包括針對所輸入的一幀圖像中的多個新斑塊中的任意一個新斑塊，如果不存在任何與其臨近的已有點序列，則給出該新斑塊為一個新點序列的起點的通知，並創建一個新的點序列。
5.根據權利要求4所述的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述針對每個已有點序列尋找距離該已有點序列最近的形心點的步驟包括輸入一個已有點序列，並從所輸入的一幀圖像中的多個新斑塊中尋找距離該已有點序列臨近的新斑塊；在從所輸入的一幀圖像中的多個新斑塊沒有找到距離所輸入的已有點序列臨近的新斑塊的情況下，則給出所輸入的已有點序列將要被刪除的通知；在從所輸入的一幀圖像中的多個新斑塊找到了距離所輸入的已有點序列臨近的新斑塊，且所找到的臨近的新斑塊僅僅為所輸入的已有點序列的臨近的新斑塊，則確定該新斑塊屬於所輸入的已有點序列；以及在從所輸入的一幀圖像中的多個新斑塊找到了距離所輸入的已有點序列臨近的新斑塊，且所找到的臨近的新斑塊還是其他已有點序列的臨近的新斑塊，如果所找到的臨近的新斑塊與所輸入的已有點序列的距離比與其他已有點序列的距離小，則確定該新斑塊屬於與所輸入的已有點序列最近的新斑塊，否則，給出所輸入的已有點序列將要被刪除的通知；核實是否已經對所有的已有序列點執行了上述步驟。
6.根據權利要求5所述的在虛擬觸控螢幕系統中跟蹤多個對象的方法，所述從所輸入的一幀圖像中的多個新斑塊中尋找距離該已有點序列臨近的新斑塊的步驟包括輸入一個新斑塊，計算所輸入的新斑塊與所輸入的已有已有點序列之間的距離；在所計算的所輸入新斑塊與所輸入的已有點序列之間的距離小於一預定的距離閾值 Td的情況下，將所輸入新斑塊插入到屬於所輸入的已有軌跡的候選臨近新斑塊列表中，否貝U，確認是否已經對所有新斑塊執行了上述步驟；在確定屬於所輸入的已有點序列的候選臨近新斑塊列表的大小小於一個預定的大小閾值Tsize的情況下，確認是否已經對所有新斑塊執行了上述步驟，否則，刪除屬於所輸入的已有點序列的候選臨近新斑塊列表中的與所輸入的已有點序列最遠的新斑塊後，確認是否已經對所有新斑塊執行了上述步驟；在確認已經對所有新斑塊執行了上述步驟的情況下，如果屬於所輸入的已有點序列的候選臨近新斑塊列表不為空，則從所述列表中的候選臨近新斑塊中找出與所輸入的已有點序列最近的新斑塊作為所輸入的已有點序列的最近新斑塊。
7.根據權利要求1所述的在虛擬觸控螢幕系統中跟蹤多個對象的方法，還包括對最終獲得的點序列採用以下公式進行坐標優化以進行平滑處理，
8.一種在虛擬觸控螢幕系統中跟蹤多個對象的系統，包括投影儀，將圖像投射到以一投影表面上；深度照相機，連續獲得所述投影表面的環境的圖像；對象檢測單元，從所獲得的每幀圖像中，檢測位於所述投影表面前預定距離內的至少一個對象的候選斑塊；跟蹤單元，根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列。
9.根據權利要求8所述的在虛擬觸控螢幕系統中跟蹤多個對象的系統，所述跟蹤單元包括接收模塊，接收從一幀新圖像中獲得多個新斑塊的形心點；最近斑塊尋找模塊，檢索多個已有點序列，針對每個已有點序列，尋找距離該已有點序列臨近的形心點，將距離最近的形心點所對應的新斑塊作為該已有序列點最近的新斑塊， 並將距離該已有點序列最近的新斑塊歸入該已有點序列。
10.根據權利要求9所述的在虛擬觸控螢幕系統中跟蹤多個對象的系統，還包括平滑處理單元，對最終獲得的點序列採用以下公式進行坐標優化以進行平滑處理，
全文摘要
本發明提供了一種在虛擬觸控螢幕系統中跟蹤多個對象的方法和系統，包括將圖像投射到以一投影表面上；連續獲得所述投影表面的環境的圖像；從所獲得的每幀圖像中，檢測位於所述投影表面前預定距離內的至少一個對象的候選斑塊；以及根據前後相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關係將各個斑塊歸入相應的點序列。
文檔編號G06F3/048GK102541417SQ20101061589
公開日2012年7月4日 申請日期2010年12月30日 優先權日2010年12月30日
發明者張文波, 李磊 申請人:株式會社理光