基於話音和手勢控制而進行的畫中畫重定位和/或尺寸調整的製作方法
2023-05-31 23:50:11 1
專利名稱：基於話音和手勢控制而進行的畫中畫重定位和/或尺寸調整的製作方法
技術領域：
本發明涉及一種改善家庭電視的使用的方法和裝置。特別地，本發明涉及一種可被重定位和/或調整尺寸的畫中畫(PIP)顯示。
背景技術：
在電視顯示器上同時顯示多於一個視頻畫面的性能對於電視來說是很常見的。通常該顯示器被分為兩個或多個部分，其中該顯示器的一個主要部分被用於顯示第一視頻數據流(例如一個給定的電視頻道)。第二視頻數據流被同時地顯示在一個顯示框中，該顯示框像插圖一樣被顯示在第一數據流的顯示畫面之上。該插入框通常被表示為畫中畫顯示(「PIP」)。此PIP具有使電視觀眾可同時觀看兩個或多個視頻數據流的功能。該功能在這種情況下是很有用的，當一個給定電視頻道上開始一個商業片斷時，觀眾希望在此商業片斷期間「搜索」其它的選擇電視頻道，然而又不希望錯過返回商業片斷的觀看。在其它時候，觀眾可能希望搜索其它的視頻內容，或是僅僅觀看其它內容而不錯過另一個選擇頻道的內容。
在任何情況下，PIP的問題在於PIP通常都是在覆蓋在一個主要畫面之上的一個插入框中顯示。覆蓋的PIP由於主畫面的一部分被遮蓋，因而效果不理想。
在現有的系統中，PIP可利用遙控輸入來實現，從而用戶可決定PIP的尺寸以避免使下面的視頻圖像部分被遮蓋。在其它系統中，用戶可利用遙控來移動PIP至視頻屏幕的預定或可選擇的部分上。然而，這些系統很不方便或很難於被用戶所操作。
在某些系統中，電視機可以響應於聲音控制來控制電視機的功能，例如頻道選擇和音量控制。
然而，這些系統的問題在於用戶並不熟悉聲音控制，而且聲音識別系統在辨別不同的控制特性上是個難題。此外，常常有可能聲音信號並不希望被作為控制命令。
在計算機視覺技術中，已知有的系統可響應於用戶的手勢來控制給定系統的特性，但這些系統也是難以操作的，並且有可能用戶的不正確檢測手勢並不希望被作為控制手勢。
因此，本發明的目的是克服現有技術中的缺點。
發明概述本發明的系統具有一個視頻顯示裝置，例如電視機，其具有一畫中畫(PIP)顯示和一個處理器。該系統還具有例如麥克風這樣的音頻輸入裝置，和例如攝像機這樣的視頻輸入裝置，用於進行根據本發明的操作。
該系統利用用戶的音頻指令和相關手勢的結合來控制PIP顯示特性，例如PIP在顯示屏中的位置以及PIP的尺寸。麥克風用於捕獲音頻指令，處理器執行一個識別操作來確定用戶希望執行PIP控制命令。然後，攝像機捕獲用戶的一個圖像或一系列圖像，該圖像包含用戶帶有一個手勢的至少某一部分。然後該處理器識別該手勢並響應於音頻指令和手勢的結合來執行一個PIP顯示特性。
附圖的簡要說明以下是對本發明實施例的說明，結合附圖可闡明上述的特徵和優點。應當明白所包含的附圖是為了舉例說明而不能代表本發明的保護範圍，本發明的保護範圍由隨後的權利要求來定義。本發明最好結合相應的附圖來理解，其中
圖1示出了根據本發明一個實施例的示例性系統；圖2示出了說明本發明一個實施例的操作的流程圖；圖3示出了根據本發明一個實施例，用於訓練該系統來識別音頻指令和/或手勢的準備步驟的流程圖。
發明詳述在以下的論述中，將根據特定的實施例或系統而舉例性的使用一定的術語以便於論述。對於本發明的普通技術人員來說顯而易見，這些術語應當被理解為還包含易於實現本發明的其它類似的已知方式。
圖1示出了根據本發明一個實施例的示例性系統100，包括一個顯示器110，可操作地與處理器120相耦合，和一個遙控裝置130。處理器120和遙控裝置130通過一個紅外(IR)接收器125如已知技術那樣被可操作地耦合，紅外接收器125可操作地與處理器120相耦合，IR發射器131可操作地與遙控裝置130相耦合。
顯示器110可以是電視接收機或者其它可再生用戶能夠觀看或收聽的音視頻內容的裝置。處理器120可在顯示器110上產生一個畫中畫(PIP)顯示，如本領域的普通技術人員所知的那樣。根據本發明的處理器120還可對PIP進行定位和尺寸調整。
遙控裝置130包括多個按鈕，可進行如現有技術所知的操作。特別的，遙控裝置130還包含一個PIP按鈕134，一個對換按鈕132，和PIP位置控制按鈕137A，137B，137C，137D。PIP按鈕134可用於啟動PIP功能，在顯示器110上顯示一個PIP。對換按鈕132將顯示在顯示器110上的一個PIP圖像和一個主顯示圖像相對換。PIP位置控制按鈕137A，137B，137C，137D使用戶可手動地在顯示器110的可選擇位置上重定位PIP。遙控130還可包含其它控制按鈕，如現有技術所知，例如頻道選擇鍵139A，139B和138A，138B用於分別為PIP圖像和主顯示圖像選擇視頻數據流。
對本領域的技術人員來說顯而易見，雖然按鈕138A，138B，139A，139B被作為頻道選擇按鈕示出，但按鈕138A，138B，139A，139B也可用於在一個或多個其它視頻源中的多個視頻數據流中進行選擇。例如，任何一個視頻數據流源(例如PIP和主要顯示圖像)可以為廣播視頻圖像流，而其他源可以為存儲裝置。該存儲裝置(例如VHS模擬磁帶)，數字存儲裝置例如硬碟驅動器，光碟存儲裝置等，以及其他任何已知的用於存儲視頻數據流的裝置。事實上，PIP和主顯示圖像中的任意一個的視頻數據流的任何源都可在不脫離本發明範圍的情況下根據本發明而被使用。
但是如上所述，遙控裝置很難用於PIP的操作。另外，經常需要根據主顯示圖像的變化來操作PIP，例如縮放和移動。例如，隨著主顯示圖像的場景的轉換主顯示圖像中的目標區域也將改變。
根據本發明，為了便於PIP，特別是該PIP的顯示特性(例如尺寸，位置等)的操作，處理器可操作的與麥克風122這樣的音頻輸入裝置和攝像機124這樣的圖像輸入裝置連接。該麥克風122與攝像機124分別用於從用戶140處捕獲音頻指令和相關的手勢，以便於PIP的控制。
特別的根據本發明，系統100利用相關手勢144之後緊接著的一個音頻指令142來控制PIP。該手勢144之後緊跟著的一系列音頻指令142也可用於啟動(例如打開)PIP。該音頻指令142和手勢144彼此相關，從而系統100可以區分用戶不用於PIP控制的指令和手勢。特別的，手勢144之後緊隨著的音頻指令142這樣的結合，可防止系統100根據錯誤的背景音頻以及由於用戶在系統100或其附近的動作引起的手勢指令而錯誤的啟動PIP。
另外，該音頻指令142和手勢144彼此相關，從而使系統100可以區別與PIP尺寸和位置相關的指令。特別的，一個特定的手勢可以與兩個或更多個音頻指令相關聯。例如在「大拇指向上」的手勢之後緊跟著「PIP尺寸」的指令可用於增加PIP的尺寸。但是在「大拇指向上」的手勢之後緊跟著「PIP位置」的指令可用於在向上方向上重新定位PIP。本發明其他的操作將參照圖2和圖3進行說明。圖2示出了本發明一個實施例的流程圖200。如圖2中流程圖所示，在處理205期間，用戶140向系統100，特別是麥克風輸入122提供一音頻指令142。該音頻指令向系統100指令用戶發出一個PIP相關指令，並指令需要進行PIP操作。該系統100將繼續接收和翻譯音頻輸入直到接收到一個被識別的音頻指令。術語被識別的意思是，系統100必須接收一個音頻指令，該指令可由系統100來識別並與PIP的顯示特性相關。
該音頻指令142可以為一個簡單的單個詞彙，例如用戶140說出「PIP」，從而簡單的指令應當緊接著出現一個PIP相關手勢144。如上所述，音頻指令和手勢的結合是相關的，從而對於一個給定的音頻指令系統100隻期待一個或多個相隨著的手勢。在發出一簡單的音頻指令，例如「PIP」時，一緊隨的手勢將指令系統需要的PIP相關操作。例如手指(例如大拇指)向上，向下，向左，向右，斜向等指令，可指令PIP希望的位置。
一個音頻指令之後緊隨著一個相關的手勢這樣的結合還可以啟動PIP，該PIP之前沒有被一個分離的音頻指令和相關手勢，或遙控器130啟動。其他手勢可用於指令與PIP尺寸相關的命令，例如兩個手指靠在一起表示希望減少PIP的尺寸等。用戶還可將兩個手指彼此遠離來指令希望增加PIP的尺寸。
應當理解上述音頻指令和手勢的例子僅是為了說明本發明的操作，並不能對其進行限定。本領域的普通技術人員很容易實現多種音頻指令和對應手勢的組合。因此，上述實施例並不能限制本發明的範圍。
音頻指令還可以為比較複雜的多單詞句子，例如「PIP尺寸」，用於指令系統100下面的相關手勢作為改變PIP尺寸的命令。在任何情況下，在處理210中，處理器120都將音頻指令的識別作為一個與PIP相關的音頻指令。下面將進一步說明除了手勢識別處理以外的該識別處理。當音頻指令沒有被識別作為與PIP相關的音頻指令時，則如圖2所示，處理器120轉到處理205，繼續監視音頻指令直到識別一個與PIP相關的音頻指令。
當系統100識別到一個音頻指令時，則在處理230期間，處理器120將通過攝像機124獲取用戶140的一個或一系列圖像。目前已經存在用於獲取和識別用戶手勢的系統。例如，根據國際手勢工作組1999年對基於手勢的人機互動通訊的會議記錄，Ying Wu和Thomas S.Huang所作的題目為「可視手勢識別評論」中描述了具有控制功能的手勢的應用。這裡參考引用該文章。
通常，存在兩種識別手勢的系統。在一個系統中，通常用於手勢識別，攝像機124可獲取一個或一系列圖像以判斷用戶希望的手勢。這種系統通常對用戶的手勢進行靜態評估。在另一種已知系統中，攝像機124可獲取一系列圖像，從而動態的判斷一個手勢。這種識別系統通常作為動態/臨時手勢識別。在一些系統中，動態手勢識別可通過分析手的運動軌跡並將該軌跡與對應特殊手勢的軌跡模式進行比較來執行。下面將參照圖3說明手勢和音頻指令的處理。
如本領域技術人員所知，有很多種方法來使系統識別語音。還有很多種方法使系統識別靜態和動態手勢。下面的說明僅用於示意性目的。因此，本發明可被理解為包含這些其他已知系統。
在任何情況下，當攝像機124獲得一個或一系列圖像後，在處理240中，處理器120開始識別手勢。當處理器120沒有該手勢時，該處理器轉到處理230以獲取用戶140的一個或一系列其他圖像。在對該圖像或該系列圖像中的一手勢進行預定次數的判斷努力後而沒有識別該手勢時，處理器120可在處理250期間向用戶提供一個指令，說明該手勢沒有被識別。該指令可以採用從揚聲器128輸出的音頻信號或顯示器110的可視信號的形式。在本實施例或其他實施例中，當進行多次嘗試後，該系統可返回到處理205以等待其他音頻指令。
當處理器120識別該手勢時，在處理260期間，該處理器120通過訪問存儲器126對獲取的PIP操作進行判斷。該存儲器126的結構可以為查詢表形式，存儲系統100可根據對應的PIP操作識別的手勢。在處理270中，當從存儲器126中得到要求的PIP操作後，處理器120執行該要求的PIP操作。系統轉到處理205以等待用戶140的進一步語音指令。
圖3示出在識別語音和手勢輸入的系統100中執行的處理的流程圖。雖然用於識別語音和聲音的特殊系統、算法等非常不同，但其通常的操作仍然有相似之處。特殊的，在處理310中，語音或手勢訓練系統提出並捕捉各希望的語音指令或可使別的手勢的一個或多個輸入樣本。詞彙「提出」的意思是系統使用戶提供一特定的輸入樣本。
這樣，在處理320中，系統將所需的音頻指令或可識別手勢的一個或多個捕捉的輸入樣本與一識別該一個或多個輸入樣本的標號相聯繫。在處理330中，將該一個或多個被標號的輸入樣本提供給一分類器(例如處理器120)，從而獲取然後可用於識別用戶指令的模型。
在一個實施例中，該訓練可直接由系統100執行，該系統與用戶在設定過程期間進行交互。在另一實施例中，一組系統只執行一次該訓練，訓練產生的結果(例如所得的模型)將存儲在存儲器126中。在另一實施例中，可利用存儲在存儲器126中的結構只訓練一次該組系統，然後，各系統可從用戶處進行進一步的輸入/訓練，從而改進這些模型。
最後，上面的描述只用於示意性的說明本發明。本領域技術人員在不脫離本發明精神和範圍的情況下，可實現多種替換實施例。例如，雖然所示處理器120與顯示器110分離，但很明顯他們也可結合在一個單獨顯示裝置，如電視中。另外，處理器可為一專用於執行本發明的處理器或一通用處理器，該通用處理器的功能中只有一個用於執行本發明。另外，處理器可利用一個程序部分、多哥程序部分執行操作，或可為利用一專用或多用途集成電路的硬碟裝置。
而且，雖然上述本發明參照電視顯示上的PIP進行說明，但本發明還可用於任何可顯示一主圖像和一PIP的顯示裝置或其他已知顯示裝置。
本領域技術人員在不脫離權利要求所屬的精神和範圍的情況下可實現多種實施例。在說明權利要求時，應當理解a)詞彙「包括」並不排除權利要求中所列元件之外的其他元件；b)元件前的詞彙「一個」並不排除出現多個該元件的可能性；c)權利要求中的任何附圖標記都不限定範圍；和d)多個「裝置」可使用相同結構或功能的部件或硬體或軟體來表示。
權利要求
1.一種視頻顯示裝置，包括一顯示器(110)，可顯示一主圖像和一覆蓋在該主圖像上的畫中畫圖像(PIP)；一處理器(120)，可操作的與該顯示器(110)連接，用於接收主圖像的第一視頻數據流，接收該PIP的第二視頻數據流，並響應於接收的用戶的音頻指令和相關手勢來改變PIP的顯示特性。
2.如權利要求1所述的視頻顯示裝置，其中該PIP顯示特性為該PIP在顯示器上的至少一個位置和該PIP的顯示尺寸。
3.如權利要求1所述的視頻顯示裝置，包括一用於接收用戶的音頻指令的麥克風(122)；一用於獲取包括相關手勢的用戶圖像的攝像機(124)。
4.如權利要求1所述的視頻顯示裝置，其中該處理器(120)用於分析從用戶處接收的音頻信息以識別用戶與PIP相關的音頻指令何時發出。
5.如權利要求1所述的視頻顯示裝置，其中處理器(120)用於在接收到音頻指令後，分析從用戶處接收的圖像信息，以識別由接收的手勢表示的PIP顯示特性中的變化。
6.如權利要求5所述的視頻顯示裝置，其中該圖像信息包括在一系列圖像中，其中該處理器(120)用於分析該圖像序列從而判斷接收的手勢。
7.如權利要求6所述的視頻顯示裝置，其中該處理器(120)用於判斷用戶的手的運動軌跡和/或姿勢。
8.如權利要求1所述的視頻顯示裝置，其中該視頻顯示裝置(110)為一電視機。
9.一種控制覆蓋在主圖像上的畫中畫顯示(PIP)的顯示特性的方法，該方法包括從用戶處接收一音頻指令；判斷該接收的音頻指令是否為多個需要的音頻指令中的一個；如果接收的音頻指令為需要的多個音頻指令中的一個，則分析用戶的手勢；和如果該手勢為與該接收的音頻指令相關的手勢，則控制顯示特性。
10.如權利要求9所述的方法，其中分析該手勢包括接收一圖像序列；分析該圖像序列以判斷該手勢。
11.如權利要求10所述的方法，其中分析該圖像序列包括判斷用戶一個手的運動軌跡和/或姿勢；和通過判斷該運動軌跡和/或姿勢來判斷該手勢。
12.一種電腦程式產品，當執行該電腦程式產品時，可使一可編程裝置作為前面權利要求1-8中任何一個所限定的一視頻顯示裝置來工作。
全文摘要
一視頻顯示裝置，具有一畫中畫(PIP)顯示器，一音頻輸入裝置，一圖像輸入裝置和一處理器。該裝置利用用戶的音頻指令和相關手勢的組合來控制PIP顯示特性，如顯示其中PIP的位置，PIP的尺寸。一麥克風可捕捉音頻指令，處理器執行一識別處理以判斷該PIP控制命令是否為用戶希望的。然後攝像機捕捉包括至少用戶的包括手勢的一些部分的用戶的一個或一系列圖像。該處理然後識別該手勢，並根據音頻指令和手勢的組合調整PIP顯示特性。
文檔編號G06T3/00GK1520685SQ02812915
公開日2004年8月11日 申請日期2002年6月20日 優先權日2001年6月29日
發明者E·科亨-索拉爾, E 科亨-索拉爾 申請人:皇家菲利浦電子有限公司