用於識別雷射點的設備、方法和系統的製作方法

2023-05-06 15:22:01

專利名稱：用於識別雷射點的設備、方法和系統的製作方法
技術領域：
本發明涉及圖像處理領域，更具體地，本發明涉及用於自動地識別雷射點並定位該雷射點在圖像中的坐標的設備、方法和系統。
背景技術：
隨著用戶的需要以及技術的發展，已經開發出了將圖像投影到屏幕上，並且採用雷射指針(laser pointer)作為輸入裝置的虛擬白板系統或講演系統。例如，在美國專利申請20060284832A1 (專利文獻1)中公開了一種用於定位雷射點的設備，其中在屏幕和照相裝置之間設置散射光學元件以便在圖像中將雷射點轉換為容易識別的散射圖案，然後計算機從照相裝置接收圖像，並且基於圖像中的散射圖案在顯示器上顯示對應的光標。此外，在美國專利申請20030132912A1 (專利文獻2)中公開一種使用雷射指針 (其中該雷射指針包括紅外線發射部件和雷射束髮射部件)的講演系統，其中由紅外線傳感器檢測被投影到屏幕上的紅外線的投影圖像，然後將投影圖像的移動方向和移動距離轉換為計算機可使用的滑鼠數據。此夕卜，在 Dan R. Olsen Jr. , Travis Nielsen 等人的"Laser Pointer Interaction」中公開了一種使用雷射指針和照相裝置實現交互的技術，其中使用校準技術 (Calibration techniques)來實現顯示和照相裝置坐標的同步。然而，在現有技術中用於自動地識別雷射點並定位該雷射點的技術仍然存在各種問題。例如，專利文獻1中的技術需要額外的硬體(即，散射光學元件)來定位雷射指針，這增加的系統的複雜程度，並且導致系統成本的增加。此外，專利文獻2中的技術不能檢測可見光(雷射束)，並且需要額外的硬體支持 (如，紅外線發射部件和紅外線傳感器)，這同樣地增加的系統的複雜程度以及成本。另夕卜，在 Dan R. Olsen Jr. , Travis Nielsen 等人的"Laser Pointer Interaction」中描述的技術僅關注雷射點的最亮部分，而這可能降低檢測結果的精度，並且要求照相裝置的特定曝光條件，也就是，必須關閉照相裝置的自動亮度調節功能。因此，希望提供一種不需要額外的硬體支持也能夠精確地識別雷射點並定位雷射點在圖像中的位置的技術。

發明內容
為了解決現有技術中存在的各種技術問題，本發明提供一種在不依賴於諸如特定的散射部件或特定的照相裝置之類的特定的硬體，並且降低對曝光條件的要求的同時，精確地識別雷射點或區域的設備、方法以及系統。根據本發明的一個方面，提供一種用於識別雷射點並在定位該雷射點的坐標的設備，包括前景計算單元，用於從照相裝置所拍攝的圖像中計算圖像的前景圖像；閾值估計單元，用於在設備的初始化階段，基於前景計算單元計算的前景圖像自動估計用於前景圖像的像素的亮度、飽和度以及色調的閾值；雷射點檢測單元，用於基於前景圖像以及像素的亮度、飽和度以及色調的閾值檢測雷射點；和定位單元，用於基於雷射點檢測單元檢測到的雷射點來計算雷射點在所拍攝的圖像中的坐標。其中，根據本發明的一個實施例，前景計算單元首先計算所拍攝的圖像的背景圖像，並且通過從所拍攝的圖像中減去背景圖像來計算前景圖像。其中，根據本發明的一個實施例，閾值估計單元針對前景圖像進行分析，通過統計前景圖像中的像素的亮度、飽和度以及色調值來估計前景圖像中的像素亮度、飽和度以及色調的閾值。其中，根據本發明的一個實施例，雷射點檢測單元根據所拍攝的圖像中的像素的亮度、飽和度以及色調值對像素進行分類，並且基於分類的結果來檢測雷射點，其中，如果像素滿足以下關係B(p) > Tl (b)S(p) T2 (b)S(p) >T2 (s)則將其劃分為第二類像素，其中Η(ρ)為像素的色調值，T2(b)為像素的亮度的第二閾值，而T2 (s)為像素的飽和度的第二閾值，和將剩餘的像素分類為第三類像素。其中，根據本發明的一個實施例，雷射點檢測單元分別計算包括第一類像素以及第二類像素的連通區域RA和RB，並且排除所有的第三類像素，排除具有像素數大於預定像素數的第一類像素區域RA，合併距離小於預定閾值的剩餘第一類像素區域RA以產生像素區域MA，排除與第二類像素區域RB不相鄰的所有像素區域MA，合併與統一像素區域MA相鄰的第二類像素區域RB以產生像素區域MB，判斷像素區域MA和像素區域MB的重合程度並排除重合程度小於預定重合閾值的像素區域MA和像素區域MB，並且判斷剩餘的像素區域 MA輪廓，和如果剩餘的像素區域MA的輪廓趨近於圓形，則雷射點檢測單元將像素區域MA判斷為雷射點。其中，根據本發明的一個實施例，定位單元計算雷射點的中心的坐標來產生所述雷射點的坐標。此外，根據本發明的另一方面，提供一種用於識別雷射點並定位該雷射點的坐標的方法，包括步驟從照相裝置所拍攝的圖像中計算所述圖像的前景圖像；在初始化階段， 基於前景計算單元計算的所述前景圖像自動估計用於前景圖像的像素的亮度、飽和度以及色調的閾值；基於所述前景圖像以及所述像素的亮度、飽和度以及色調的閾值檢測雷射點； 和基於所述雷射點檢測單元檢測到的雷射點來計算所述雷射點在所拍攝的圖像中的坐標。其中，根據本發明的一個實施例，首先計算所拍攝的圖像的背景圖像，並且通過從所拍攝的圖像中減去背景圖像來計算前景圖像。
其中，根據本發明的一個實施例，針對前景圖像進行分析，通過統計前景圖像中的像素的亮度、飽和度以及色調值來估計前景圖像中的像素亮度、飽和度以及色調的閾值。其中，根據本發明的一個實施例，根據所拍攝的圖像中的像素的亮度、飽和度以及色調值對像素進行分類，並且基於分類的結果來檢測雷射點，其中，如果像素滿足以下關係B(p) > Tl (b) S(p) T2 (b)S (ρ) > T2 (s)則將其劃分為第二類像素，其中H(p)為像素的色調值，T2(b)為像素的亮度的第二閾值，而T2 (s)為像素的飽和度的第二閾值，和將剩餘的像素分類為第三類像素。其中，根據本發明的一個實施例，分別計算包括第一類像素以及第二類像素的連通區域RA和RB，並且排除所有的第三類像素，排除具有像素數大於預定像素數的第一類像素區域RA，合併距離小於預定閾值的剩餘第一類像素區域RA以產生像素區域MA，排除與第二類像素區域RB不相鄰的所有像素區域MA，合併與統一像素區域MA相鄰的第二類像素區域RB以產生像素區域MB，判斷像素區域MA和像素區域MB的重合程度並排除重合程度小於預定重合閾值的像素區域MA和像素區域MB，並且判斷剩餘的像素區域MA輪廓，和如果剩餘的像素區域MA的輪廓趨近於圓形，則雷射點檢測單元將像素區域MA判斷為雷射點。其中，根據本發明的一個實施例，計算雷射點的中心的坐標來產生所述雷射點的坐標。此外，根據本發明的另一方面，提供一種虛擬白板系統，包括投影裝置，用於在屏幕上投影可視圖像；雷射指針，用於將雷射束投射到所述屏幕上；照相裝置，用於拍攝在屏幕上投影的圖像；和用於識別雷射點並定位該雷射點的坐標的設備，包括前景計算單元， 用於從照相裝置所拍攝的圖像中計算所述圖像的前景圖像；閾值估計單元，用於在所述設備的初始化階段，基於前景計算單元計算的所述前景圖像自動估計用於前景圖像的像素的亮度、飽和度以及色調的閾值；雷射點檢測單元，用於在所述設備的處理階段，基於前景計算單元計算的所述前景圖像以及所述像素的亮度、飽和度以及色調的閾值檢測雷射點；和定位單元，用於基於所述雷射點檢測單元檢測到的雷射點來計算所述雷射點在所拍攝的圖像中的坐標。根據本發明的用於一種用於識別雷射點並定位該雷射點的坐標的設備、方法以及系統，可以不藉助於特殊的硬體精確地識別雷射點的位置以提高虛擬白板系統或講演系統的性能，同時可以降低系統的成本。


圖1是圖解根據本發明實施例的虛擬白板系統的結構的方框圖；圖2是圖解根據本發明實施例的雷射點識別設備的結構的方框圖3是簡要說明根據本發明實施例的雷射點識別設備執行的處理的流程圖；圖4(a)到(4c)為圖解前景圖像計算的示例的圖示；圖5(a)到5(d)為圖解像素分類處理的的示例的圖示；和圖6(a)和6(b)為圖解環境中 的幹擾的示例的圖示；
具體實施例方式在這裡，將參照附圖詳細描述根據本發明的實施例，其中在全部附圖中，使用相同的附圖標記來指示相同或相似的組成部分，並且省略其不必要的重複描述。下面，將描述根據本發明實施例的虛擬白板系統。圖1圖解虛擬白板系統1的結構。如圖1所示，根據本發明實施例的虛擬白板系統1包括投影裝置10、諸如雷射筆之類的雷射指針20、照相裝置30 (諸如照相機、攝像機或攝像頭)、雷射點識別設備40和信息處理設備50等。投影裝置10接收由諸如計算機、伺服器、移動終端設備之類的信息處理設備50產生的可視圖像，並且將所接收到的可視圖像投影到屏幕(例如，牆面、帆布)上。 雷射指針20由用戶操作，以將雷射束投射到屏幕上。例如，用戶可以利用該雷射指針20執行諸如寫入、選擇、畫圖之類的各種操作。照相裝置30拍攝投影在屏幕上的圖像，並且向雷射點識別設備40發送所拍攝的圖像作為輸入圖像。雷射點識別設備40與照相裝置30連接，並且接收來自照相裝置30的輸入圖像來識別雷射點並計算該雷射點在輸入圖像中的坐標(位置)，並且將所產生的關於雷射點的坐標的信息發送到信息處理設備50以基於預定的程序以及雷射點的位置來執行與滑鼠的功能類似的、諸如寫入、選擇、畫圖之類的各種操作。這裡，需要注意的是，照相裝置30可以以有線方式或無線方式連接到雷射點識別設備40。此外，雷射點識別設備40可以由諸如計算機、伺服器、移動終端之類的設備構成， 並且可以例如，通過向諸如計算機之類的終端設備安裝軟體的方式與信息處理設備50合併為一個部件。此外，信息處理設備50還可以通過諸如區域網或網際網路之類的網絡與其它的信息處理設備50連接來將關於雷射點的位置的信息發送到在網絡上的其他信息處理設備50以組成諸如遠程講演系統或遠程虛擬白板系統之類的系統。現在，將根據圖2簡要描述根據本發明實施例的雷射點識別設備40的結構。如圖 2所示，雷射點識別設備40包括前景計算單元401、閾值估計單元402、雷射點檢測單元403 和定位單元404。前景計算單元401接收照相裝置30發送的輸入圖像，並且計算該圖像的前景圖像。在雷射點識別設備40的初始化階段時，閾值估計單元402接收來自前景計算單元 401的前景圖像，對前景計算單元計算的前景圖像進行分析，以產生用於前景圖像的像素的亮度、飽和度以及色調的閾值。在產生了關於像素的亮度、飽和度以及色調的閾值之後，在處理階段，雷射點檢測單元403基於前景圖像中的各個像素的像素值以及像素的上述閾值識別雷射點(將在下面具體描述)，並且將識別結果(即，進行檢測操作檢測到的雷射點) 發送到定位單元404。然後，定位單元404基於識別結果來計算所述雷射點在照相裝置30 所拍攝的輸入圖像中的坐標。接下來，將參照圖3詳細描述根據本發明實施例的雷射點識別設備40執行的處理的流程。
在包括雷射點識別設備40的虛擬白板系統1的初始化階段，在步驟S301，虛擬白板系統1中的投影裝置10啟動，並且將預設的畫面(如，開機畫面或待機畫面)投影到屏幕上。此時，啟動照相裝置30來拍攝由投影裝置10投影的圖像，並且將照相裝置30拍攝的圖像發送的雷射點識別設備40。在這裡，例如，根據本發明的一個實施例，在虛擬白板系統1的初始化階段，可以在信息處理設備50或雷射點識別設備40上設置的顯示裝置(未示出)上顯示由投影裝置10投影的圖像，以便用戶能夠調整照相裝置30的位置以容納投影裝置10所投影的全部圖像。然後，開始執行設置閾值並識別雷射點的處理。在虛擬白板系統1的初始化階段中，用戶可以在預定時間段(例如，10秒)內使用雷射指針20將雷射點投射在屏幕上，並且可以在此屏幕的範圍內隨意揮動。在此期間，在步驟S302，雷射點識別設備40的前景計算單元401從照相裝置30接收其拍攝的每一幀圖像，並且從當前接收到的圖像中產生背景圖像，以通過從當前接收到的圖像中產生該圖像的前景圖像。具體地，根據本發明的一個實施例，採用高斯背景模型來計算背景圖像。基於高斯背景模型，如果對於給定的圖像中的任意像素p(x，y)點滿足下面的公式(1)，則將該像素 P(x，y)認為是背景像素
權利要求
1.一種用於識別雷射點並定位該雷射點的坐標的設備，包括前景計算單元，用於從照相裝置所拍攝的圖像中計算所述圖像的前景圖像； 閾值估計單元，用於在所述設備的初始化階段，基於前景計算單元計算的所述前景圖像自動估計用於前景圖像的像素的亮度、飽和度以及色調的閾值；雷射點檢測單元，用於在所述設備的處理階段，基於前景計算單元計算的所述前景圖像以及所述像素的亮度、飽和度以及色調的閾值檢測雷射點；和定位單元，用於基於所述雷射點檢測單元檢測到的雷射點來計算所述雷射點在所拍攝的圖像中的坐標。
2.如權利要求1所述的設備，其中所述前景計算單元首先計算所拍攝的圖像的背景圖像，並且通過從所拍攝的圖像中減去所述背景圖像來計算所述前景圖像。
3.如權利要求1所述的設備，其中閾值估計單元針對所述前景圖像進行分析，通過統計所述前景圖像中的像素的亮度、 飽和度以及色調值來估計所述前景圖像中的像素亮度、飽和度以及色調的閾值。
4.如權利要求1所述的設備，其中雷射點檢測單元根據所拍攝的圖像中的像素的亮度、飽和度以及色調值對所述像素進行分類，並且基於分類的結果來檢測雷射點。 其中，如果像素滿足以下關係 B(p) > Tl(b) S(p) T2(b) S(p) > T2(s)則將其劃分為第二類像素，其中H(p)為所述像素的色調值，T2(b)為像素的亮度的第二閾值，而T2 (s)為像素的飽和度的第二閾值，和將剩餘的像素分類為第三類像素。
5.如權利要求4所述的設備，其中雷射點檢測單元分別計算包括第一類像素以及第二類像素的連通區域RA和RB，並且排除所有的第三類像素，排除具有像素數大於預定像素數的第一類像素區域RA，合併距離小於預定閾值的剩餘第一類像素區域RA以產生像素區域MA，排除與第二類像素區域RB不相鄰的所有像素區域MA，合併與統一像素區域MA相鄰的第二類像素區域RB以產生像素區域MB，判斷像素區域MA和像素區域MB的重合程度並排除重合程度小於預定重合閾值的像素區域MA和像素區域MB，並且判斷剩餘的像素區域MA輪廓，和如果剩餘的像素區域MA的輪廓趨近於圓形，則雷射點檢測單元將所述像素區域MA判斷為雷射點。
6.如權利要求1所述的設備，其中定位單元計算雷射點的中心的坐標來產生所述雷射點的坐標。
7.一種用於識別雷射點並定位該雷射點的坐標的方法，包括步驟 從照相裝置所拍攝的圖像中計算所述圖像的前景圖像；在初始化階段，基於前景計算單元計算的所述前景圖像自動估計用於前景圖像的像素的亮度、飽和度以及色調的閾值；在處理階段，基於所述前景圖像以及所述像素的亮度、飽和度以及色調的閾值檢測雷射點；和基於所述雷射點檢測單元檢測到的雷射點來計算所述雷射點在所拍攝的圖像中的坐標。
8.如權利要求7所述的方法，其中檢測雷射點的步驟包括根據所拍攝的圖像中的像素的亮度、飽和度以及色調值對所述像素進行分類，並且基於分類的結果來檢測雷射點。 其中如果像素滿足以下關係 B(p) > Tl(b) S(p) T2(b) S(p) > T2(s)則將所述像素劃分為第二類像素，其中H(p)為所述像素的色調值，T2(b)為像素的亮度的第二閾值，而T2 (s)為像素的飽和度的第二閾值，和將剩餘的像素分類為第三類像素。
9.如權利要求8所述的方法，其中分別計算包括第一類像素以及第二類像素的連通區域RA和RB，並且排除所有的第三類像素；排除具有像素數大於預定像素數的第一類像素區域RA ； 合併距離小於預定距離閾值的剩餘第一類像素區域RA以產生像素區域MA ； 排除與第二類像素區域RB不相鄰的所有像素區域MA; 合併與統一像素區域MA相鄰的第二類像素區域RB以產生像素區域MB ； 判斷像素區域MA和像素區域MB的重合程度並排除重合程度小於預定閾值的像素區域 MA和像素區域MB ；判斷剩餘的像素區域MA輪廓，和如果剩餘的像素區域MA的輪廓趨近於圓形，則將所述像素區域MA判斷為雷射點。
10.一種虛擬白板系統，包括投影裝置，用於在屏幕上投影可視圖像； 雷射指針，用於將雷射束投射到所述屏幕上； 照相裝置，用於拍攝在屏幕上投影的圖像；和用於識別雷射點並定位該雷射點的坐標的設備，包括 前景計算單元，用於從照相裝置所拍攝的圖像中計算所述圖像的前景圖像； 閾值估計單元，用於在所述設備的初始化階段，基於前景計算單元計算的所述前景圖像自動估計用於前景圖像的像素的亮度、飽和度以及色調的閾值；雷射點檢測單元，用於在所述設備的處理階段，基於前景計算單元計算的所述前景圖像以及所述像素的亮度、飽和度以及色調的閾值檢測雷射點；和定位單元，用於基於所述雷射點檢測單元檢測到的雷射點來計算 所述雷射點在所拍攝的圖像中的坐標。
全文摘要
用於識別雷射點並在投影屏幕上定位該雷射點的坐標的設備，包括前景計算單元，用於從照相裝置所拍攝的圖像中計算所述圖像的前景圖像；閾值估計單元，用於在所述設備的初始化階段，基於前景計算單元計算的所述前景圖像自動估計所述前景圖像中的像素的亮度、飽和度以及色調的閾值；雷射點檢測單元，用於基於所述前景圖像以及所述像素的亮度、飽和度以及色調的閾值檢測雷射點；和定位單元，用於基於所述雷射點檢測單元檢測到的雷射點來計算所述雷射點在所拍攝的圖像中的坐標。
文檔編號G06F3/03GK102193651SQ201010122008
公開日2011年9月21日 申請日期2010年3月11日 優先權日2010年3月11日
發明者張文波 申請人:株式會社理光