一種計算機視覺控制窗口的自適應系統及方法
2023-04-23 14:05:31
專利名稱：一種計算機視覺控制窗口的自適應系統及方法
技術領域：
本發明涉及模式識別技術，智能終端輸入技術，主要實現視覺輸入過程中，對象在視野活動範圍與終端上對應活動範圍之間的映射關係自適應，即本發明提供一種計算機視覺控制窗口的自適應系統及方法。
背景技術：
目前各種智能終端如雨後春筍般不斷湧現，飛速發展，終端用戶體驗日益成為發展終端技術焦點，在這一過程中，新的輸入輸出方式、設備不斷被提出、應用。近年來輸入技術方面的發展，逐漸呈現了融合、體感、人性的趨勢。一方面原本通常用在不同智能終端的輸入方式互相交叉、融合、移植，鍵盤、觸控螢幕、遙控器、滑鼠器均在不同的智能終端上得到廣泛應用，甚至融合成如「滑鼠遙控器」之類的複雜輸入設備；另一方面，結合體感設備和模式識別技術，更加人性化的終端輸入方式也受到越來越廣泛的關注，已經成為整個行業競爭的熱點。這方面美國微軟公司和日本的任天堂公司都於近期推出了非常典型的產品。微軟的Xbox系統側重於利用複雜的攝像頭綜合技術，人體建模的技術，實現智能終端對人體活動的「識別」，日本任天堂的產品則更強調利用接觸式的傳感設備實現人體與設備之間的感知、力的作用等互動效果。據悉，聯想也即將推出Xbox的同類產品ebox。計算機視覺輸入，通常是利用不同的算法分析攝像頭視頻流，提取終端識別的信號並以各種形式呈現給用戶。我們實現的「基於計算機視覺的體感輸入(CVII)原型系統」就是利用跟蹤算法在確定對象位置、軌跡，從而實現僅用手勢完成類滑鼠操作的一個原型系統。但由於人與攝像頭位置、手勢幅度因人因時而異，攝像頭視野中的手勢活動範圍與屏幕區域之間的對應關係需要適時調整，否則在輸入指令時用戶及其手勢需要保持在指定位置，或者定向移動，非常不人性化，是的這類輸入技術的實用價值大打折扣。因此，需要對計算機視覺設備輸入的視野進行處理，從攝像頭視野中確定對象活動區域，映射到終端的整個視野上，並實現動態的自適應。計算機視覺輸入時需要一種方法，實現對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係自適應。
發明內容
本發明的目的在於，為了克服現有技術的計算機視覺輸入時，對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係不能自適應的問題，從而提供一種計算機視覺控制窗口的自適應系統及方法。為實現上述目的，本發明提供一種計算機視覺控制窗口的自適應系統，該系統使對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係自適應，包含，用於拍攝的視覺設備，感興趣對象，其特徵在於，所述系統還包含設置於終端上的識別算法處理模塊，用於確定感興趣對象的目標位置及軌跡。映射模塊，用於確定終端視野與外部視野之間的初始的映射區域和映射關係，並為自適應|吳塊提供如一時刻的映射區域和映射關係彳目息；和自適應處理模塊，用於根據感興趣對象的位置和軌跡變化動態地調整終端視野與外設視野的映射關係，以得到包含感興趣對象的終端視野。其中，所述外部視野為用於拍攝的視覺設備所能觀測到的視野範圍；所述終端視野為終端關注和顯示的視野範圍，所述終端視野為所述外部視野顯示的部分或全部內容。可選的，所述識別算法採用TLD算法。所述自適應處理模塊還進一步包含如下子模塊:比較判決子模塊，用於將感興趣對象的位置和軌跡和終端視野顯示的當前映射區域進行比較，並依據策略生成調整子模塊可識別的判決命令。調整子模塊，用於執行判決命令，依據新的映射區域調整終端視野。其中，所述策略為:當感興趣對象的位置和軌跡信息與終端當前的終端視野窗口的內容比較時，若感興趣對象在一設置的時間段內在某一方向上不觸界，則做出在該方向向內收縮終端視野窗口的判決命令；如果有觸界的動作發生，則進一步判斷是否頻繁越界，如果是則沿該方向擴展終端視野窗口 ；如果不是頻繁越界，則保持終端視野窗口大小不變；所述的界為映射區域的邊界。所述終端視野窗口的調整範圍不超過外設視野的範圍。基於上述系統，本發明還提供一種計算機視覺控制窗口的自適應方法，該方法將感興趣對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係進行自適應，所述方法包含:步驟1，感興趣對象位置和軌跡的識別提取。步驟2，確定外設視野到終端視野之間的初始映射區域。步驟3，基於初始映射區域，自適應調整外設視野到終端視野之間的映射關係。其中，所述調整包含:擴大、收縮或保持；所述外部視野為用於拍攝的視覺設備所能觀測到的視野範圍；所述終端視野為終端關注和顯示的視野範圍，所述終端視野為所述外部視野顯示的部分或全部內容。可選的，所述終端視野窗口初始化的步驟具體為:選定外設視野中任意一個指定區域作為初始映射區域，映射到終端作為終端視野，這一映射關係作為初始的映射關係。所述終端視野窗口自適應調整步驟為:如果外設視野中的感興趣對象頻繁躍出當前的映射區域，則映射區域在對應方向上延伸擴大；如果一段時間內從未從某一方向躍出映射區域，則映射區域在對應方向上收縮減小。所述擴大操作的最大值為:外設視野；所述收縮最小值為:初始映射區域大小。本發明提供一種計算機視覺控制窗口的自適應方法，實現對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係自適應，使得:一方面終端處理的視野始終聚焦於跟蹤對象；另一方面，用於輸入控制信號的對象始終能夠在終端關注範圍的整個範圍裡活動。如:利用攝像頭讀取手勢信號，控制滑鼠光標時，不論手勢在多大範圍內活動，滑鼠光標都可以在整個屏幕範圍內運動。運用這種方法，基於計算機視覺的輸入將會更加智能、人性化，明顯提升其實際應用價值。
圖1-a為本發明的自適應調整系統的位於終端上的核心單元的組成框圖1-b本發明提供的自適應系統的流程示意圖；圖2本發明提供的方法的應用舉例示意圖；圖3為圖2的映射關係和映射區域模塊在外設視野中確定映射區域的示意圖；圖4本發明提供的自適應調整時的終端視野變化過程示意圖；圖5本發明的自適應映射的初始化流程圖；圖6本發明的自適應調整終端視野的映射區域的流程圖。
具體實施例方式下面結合附圖及具體實施例對本發明作進一步的描述。本發明定義了外部設備視野、終端視野。外設視野指諸如攝像頭的計算機視覺設備所能觀測到的視野範圍，抑或攝像頭直接取得的原始視頻所包含的視野；終端視野指原始視頻經過算法處理，進而確定的終端需要關注、顯示的視野範圍，它只是原始視頻所包含視野的一個局部，最大不超過原始視頻視野本身。本發明實現了在外部設備視野中尋找目標，確定需要作為終端視野的局部區域，即映射區域，並根據需要動態地調整這一映射關係O在動態調整映射關係時，首先需要知道當前的終端視野是對應外設視野中的哪一片區域(即映射區域)，通過確定目標是否在區域內，統計目標接觸，越出映射區域邊界的情況，來確定如何改變映射區域的大小和位置，從而實現映射關係的動態調整。終端視野的內容實際根據映射區域確定，只是映射區域是外設視野的一個局部，而終端視野已經從外設視野裡剝離出來。終端視野一般默認等於映射區域，特殊情況下可以在映射區域基礎上適當擴展。本發明提供的方法包含以下內容1)對象位置和軌跡的識別；2)外設視野到智能終端視野之間的映射；3)外設視野到智能終端視野之間映射的自適應。在步驟I)中，利用外設獲取監測視野內的數據，用算法確定並輸出對象的位置或軌跡。用以監測視野的外設包括各種計算機視覺設備，如可見光攝像頭，紅外攝像頭等。供識別的對象包括手勢，人體，以及其它用於輸入信號而被指定的對象，或智能終端關注、跟蹤的對象。在步驟2)中，終端視野指，由用於監測視野的外設輸送給終端的，關於視野的數據。這些數據包括由終端存儲、處理的數據和輸出到其它外設的數據，如終端處理的數據所代表的視野以及對象在其中的位置軌跡等相關數據，或者顯示器屏幕所代表的視野以及其中與對象位置、軌跡等相關的數據。選定外設視野中一個指定區域作為默認的映射區域，映射到終端作為視野，這一映射關係作為默認的映射關係。映射區域映射到終端，但終端視野不總是等於該區域，可以以該區域為基礎，適當向邊沿擴展。在步驟3)中，如果外設視野裡對象頻繁躍出映射區域，則映射區域在對應方向上延伸擴大，如果一段時間內未從某一方向躍出映射區域，則映射區域在對應方向上收縮減小。但是，其向外延伸擴大不得超過外設視野，向內收縮減小不得超過默認映射區域。
如圖l_a所示，該圖為本發明提供的系統包含的核心單元的組成框圖。即在需要自適應調整的終端上設置如下模塊識別算法處理模塊101，用於確定感興趣對象的目標位置及軌跡；映射模塊102，用於確定終端視野與外部視野之間的初始的映射區域和映射關係，並為自適應模塊提供前一時刻的映射區域和映射關係信息；和自適應處理模塊103，用於根據感興趣對象的位置和軌跡變化動態地調整終端視野與外設視野的映射關係，以得到包含感興趣對象的終端視野；其中，所述外部視野為用於拍攝的視覺設備所能觀測到的視野範圍；所述終端視野為終端關注和顯示的視野範圍，所述終端視野為所述外部視野顯示的部分或全部內容。上述技術方案，所述識別算法處理模塊101可以採用TLD等。上述技術方案，所述自適應處理模塊進一步包含如下子模塊比較判決子模塊，用於將感興趣對象的目標位置和軌跡和終端當前映射區域進行比較，並依據策略生成調整子模塊可識別的判決命令。調整子模塊，用於執行判決命令，依據映射區域調整終端視野窗口(位置和)大小。其中，所述策略為當感興趣目標的位置和軌跡信息與終端當前的終端視野窗口的內容比較時，若感興趣目標在一設置的時間段內不觸界，則做出收縮終端視野窗口的判決命令；如果有觸界的動作發生，則進一步判斷是否頻繁越界，如果是則擴展終端視野窗口 ；如果不是頻繁越界，則保持終端視野窗口不變。所述的界為映射區域的邊界，由映射關係決定。上述技術方案中，所述映射關係的為終端視野與外設視野、外設視野中相應映射區域之間的對應關系所述映射區域為外設視野中的一個局部區域，用來作為產生終端視野的依據，終端視野範圍一般默認等於映射區域，也可以根據需要在映射區域的基礎上適當擴展。該映射區域與終端視野和外設視野之間的關係為外設視野為計算機視覺外部設備所能取景的整個視野範圍，抑或外部設備所攝取的原始數據；根據當前的映射關係，從外設視野中確定一片區域，作為產生終端視野的依據，該區域即為映射區域，它是外設視野的一個局部；終端視野已經從外設視野中剝離出來，形成獨立的畫面或視頻流等呈現一定視野的信息，他的範圍一般默認等於映射區域，也可以根據需要在映射區域的基礎上適當擴展。本方法所解決的問題可用圖1-b所不的情景描述。如圖1-b所不,攝像頭取景範圍或其攝取視頻的內容範圍定義為該場景的外設視野。外設視野的視頻數據經過算法處理，輸出對象在外設視野中的位置或軌跡，通過自適應模塊根據對象位置、軌跡，在外設視野中確定映射區域，映射到終端視野。終端視野包括存儲於終端的相關數據(如終端視野I)以及已經輸出到外設的相關數據(如終端視野2)在實際應用時，本方法能夠自適應地將終端視野聚焦到外設視野中對象活動的主要範圍，解決了如何從外設取得的原始數據中剝離出最受關注的目標及其附近的信息。如圖2所示，自適應的需求主要包括兩種情形，一方面可以使終端視野始終關注對象及其附近視野，自適應地調整視野；另一方面如果是利用計算機視覺技術輸入控制信號，則不論控制動作發生在外設視野的哪一片區域，控制信號都可以到達整個終端視野。例如，用手勢控制滑鼠光標，不論手勢的幅度，用戶的位置，均可實現滑鼠光標全屏操作。如圖3，本方法首先根據對象所在位置及軌跡，按照默認映射區域的標準生成最初的映射區域，該區域規定了最小的區域，在後續的自適應中，映射區域不會小於該最小值。在垂直坐標下一種可行的確定最小區域的辦法是，限定上下邊界間距離、左右邊界間距離的最小值。如圖4，本方法統計對象在外設視野中躍出映射區域的情況。如果對象在某方向上頻繁躍出映射區域，則映射區域在方向上延伸；如果對象在該方向上長時間未觸及邊界，則在該方向上收縮。在對象出現時，方法首先利用輸入信息及相應算法完成映射關係及終端視野的初始化過程生成最初的映射關係和終端視野，其原理如圖5.如圖6，在完成初始化後，方法根據對象觸界和越界的統計情況，判斷應該在個方向上擴張、保持、還是收縮，進而生成新的當前映射關係，從而實現映射關係的自適應。實施例cvii系統是本發明的一個應用實施例。在該系統中，通過攝像頭取景，獲得人物手勢的視頻流，該視頻流代表的視野即外部設備視野。該視頻流被送給終端之後，經過TLD識別算法處理，識別出手掌位置和運動軌跡，交給自適應模塊處理。自適應模塊對比手掌的位置、軌跡和由映射模塊提供的當前映射區域之間的關係，自適應地選取手掌經常活動的區域映射到整個屏幕上。映射模塊負責向自適應模塊提供當前映射關係和映射區域信息，同時根據映射區域提供確定的終端視野信息，可能是視頻流，也可能是在受限區域內的坐標信息。根據手掌在視野中的的位置確定終端滑鼠在屏幕上的位置。cvii系統中，得到的終端視野就沒有必要保留完整的視野視頻流，只需要保留手掌在終端視野中的相對位置信息即可。由於採用了這種自適應方法，避免了當用戶離攝像頭距離不同時，手勢活動範圍大小不同時，滑鼠活動也被不同程度地限定在屏幕上一個局部區域。因為產生的終端視野緊緊鎖定手勢活動的範圍，所以手掌總是能到達終端視野的每一個位置，對應的，滑鼠也就能移動在屏幕的任意位置。需要說明的是，以上介紹的本發明的實施方案而並非限制。本領域的技術人員應當理解，任何對本發明技術方案的修改或者等同替代都不脫離本發明技術方案的精神和範圍，其均應涵蓋在本發明的權利要求範圍內。
權利要求
1.一種計算機視覺控制窗口的自適應系統，該系統使對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係自適應，包含，用於拍攝的視覺設備，感興趣對象，其特徵在於，所述系統包含設置於終端上的: 識別算法處理模塊，用於確定感興趣對象的目標位置及軌跡； 映射模塊，用於確定終端視野與外部視野之間的初始的映射區域和映射關係，並為自適應模塊提供前一時刻的映射區域和映射關係信息；和 自適應處理模塊，用於根據感興趣對象的位置和軌跡變化動態地調整終端視野與外設視野的映射關係，以得到包含感興趣對象的終端視野； 其中，所述外部視野為用於拍攝的視覺設備所能觀測到的視野範圍；所述終端視野為終端關注和顯示的視野範圍，所述終端視野為所述外部視野顯示的部分或全部內容。
2.根據權利要求1所述的計算機視覺控制窗口的自適應系統，其特徵在於，所述識別算法採用TLD算法。
3.根據權利要求1或2所述的計算機視覺控制窗口的自適應系統，其特徵在於，所述自適應處理模塊還進一步包含如下子模塊: 比較判決子模塊，用於將感興趣對象的位置和軌跡和終端視野顯示的當前映射區域進行比較，並依據策略生成調整子模塊可識別的判決命令； 調整子模塊，用於執行判決命令，依據新的映射區域調整終端視野； 其中，所述策略為:當感興趣對象的位置和軌跡信息與終端當前的終端視野窗口的內容比較時，若感興趣對象在一設置的時間段內在某一方向上不觸界，則做出在該方向向內收縮終端視野窗口的判決 命令；如果有觸界的動作發生，則進一步判斷是否頻繁越界，如果是則沿該方向擴展終端視野窗口 ；如果不是頻繁越界，則保持終端視野窗口大小不變； 所述的界為映射區域的邊界。
4.根據權利要求3所述的計算機視覺控制窗口的自適應系統，其特徵在於，所述終端視野窗口的調整範圍不超過外設視野的範圍。
5.一種計算機視覺控制窗口的自適應方法，該方法將感興趣對象在攝像頭視野中活動範圍與終端上對應活動範圍之間的映射關係進行自適應，所述方法包含: 步驟I，感興趣對象位置和軌跡的識別提取； 步驟2，確定外設視野到終端視野之間的初始映射區域； 步驟3，基於初始映射區域，自適應調整外設視野到終端視野之間的映射關係； 其中，所述調整包含:擴大、收縮或保持；所述外部視野為拍攝的視覺設備所能觀測到的視野範圍；所述終端視野為終端關注和顯示的視野範圍，所述終端視野為所述外部視野顯示的部分或全部內容。
6.根據權利要求5所述的計算機視覺控制窗口的自適應方法，其特徵在於，所述初始映射區域為:選定外設視野中的某一區域作為初始映射區域，映射到終端作為終端視野，這一映射關係作為初始的映射關係。
7.根據權利要求6所述的計算機視覺控制窗口的自適應方法，其特徵在於，所述終端視野窗口自適應調整步驟為: 如果外設視野中的感興趣對象頻繁躍出當前的映射區域，則映射區域在對應方向上延伸擴大；如果一段時間內從未從某一方向躍出映射區域，則映射區域在對應方向上收縮減小。
8.根據權利要求7所述的計算機視覺控制窗口的自適應方法，其特徵在於，所述擴大操作的最大值為:外設視野；所述收 縮操作的最小值為初始映射區域大小。
全文摘要
本發明公開了一種計算機視覺控制窗口的自適應系統及方法，該系統包含用於拍攝的視覺設備，感興趣對象，其特徵在於，所述系統包含設置於終端上的識別算法處理模塊，用於確定感興趣對象的目標位置及軌跡；映射模塊，用於確定終端視野與外部視野之間的初始的映射區域和映射關係，並為自適應模塊提供前一時刻的映射區域和映射關係信息；和自適應處理模塊，用於根據感興趣對象的位置和軌跡變化動態地調整終端視野與外設視野的映射關係，以得到包含感興趣對象的終端視野；其中，所述外部視野為用於拍攝的視覺設備所能觀測到的視野範圍；所述終端視野為終端關注和顯示的視野範圍。本發明滿足計算機視覺中根據對象運動自動調節視野的需求。
文檔編號G06F3/01GK103076873SQ201110329549
公開日2013年5月1日 申請日期2011年10月26日 優先權日2011年10月26日
發明者張輝, 李長路, 孫鵬, 王健飛, 桓自強 申請人:中國科學院聲學研究所