圖像互動方法和系統以及對應的顯示裝置製造方法
2023-12-07 06:34:21
圖像互動方法和系統以及對應的顯示裝置製造方法
【專利摘要】一種圖像互動方法包括如下步驟：通過控制裝置獲取顯示裝置顯示的圖像畫面，得到採集畫面；控制裝置的接收在採集畫面上的控制操作，並得到控制操作在採集畫面中的位置信息；將採集畫面以及控制操作的位置信息發送給顯示裝置；顯示裝置將採集畫面和自身顯示的圖像畫面進行圖像識別，得到自身顯示的圖像畫面中和採集畫面相同的映射畫面及其位置信息；根據採集畫面以及控制操作的位置信息，映射畫面及其位置信息，得到控制操作的位置對應在顯示裝置中的位置；將控制操作移植到圖像畫面中與控制操作的位置對應位置，並執行預設功能。本發明還提一種對應的圖像互動系統和顯示裝置。如此便將觸控螢幕虛擬的移植到了另外一個顯示裝置上，操作直觀、方便。
【專利說明】圖像互動方法和系統以及對應的顯示裝置
【技術領域】
[0001]本發明涉及一種遙控技術，尤其涉及家庭遙控上基於圖像的互動方法和系統以及對應的顯示。
【背景技術】
[0002]如今，電視機已經不再是單一電視機節目播放。由於網絡的發展，電視機也具備了互動功能，用戶可以對電視機畫面進行操作，實現電視節目點播，遊戲，上網等功能，俗稱「智能電視機」。
[0003]電視機相對其他具有顯示模塊的電子產品(手機，筆記本電腦等)而言，其屏幕較大，能給與用戶更好的體驗。
[0004]然而，電視機通常距離用戶較遠，要對電視機畫面進行操作，主要採用遙控器，現有的控制方式主要有以下2種:
[0005]I，傳統遙控器，通過數字、功能、方向按鈕，對電視機進行控制操作。然而這樣的控制方式功能固化，很多功能不便實現。如要點擊畫面中某個按鈕，需要用方向鍵一步步選擇到對應按鈕後再點擊，操作麻煩。
[0006]2，電視觸控螢幕，部分電視機配置了觸控螢幕，用戶可以通過觸摸電視屏幕實現對電視機畫面的操作。但是用戶很少會站在電視機面前，而是距離較遠，不便操作。
【發明內容】
[0007]基於此，提供一種操作方便的圖像互動方法和系統以及對應的顯示裝置。
[0008]一種圖像互動方法，包括如下步驟:
[0009]通過控制裝置獲取顯示裝置顯示的圖像畫面，得到採集畫面；
[0010]所述控制裝置的接收在所述採集畫面上的控制操作，並得到所述控制操作在所述採集畫面中的位置信息；
[0011]所述控制裝置將所述採集畫面以及所述控制操作的位置信息發送給所述顯示裝置；
[0012]所述顯示裝置接收所述控制裝置發送的所述採集畫面以及所述控制操作的位置信息，並將所述採集畫面和自身顯示的圖像畫面進行圖像識別，得到自身顯示的圖像畫面中和所述採集畫面相同的映射畫面及其位置信息；
[0013]所述顯示裝置根據所述採集畫面以及所述控制操作的位置信息，所述映射畫面及其位置信息，得到所述控制操作的位置對應在所述顯示裝置顯示的圖像畫面中的位置；
[0014]所述顯示裝置將所述控制操作移植到其顯示的圖像畫面中與所述控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
[0015]一種圖像交互系統，包括用於控制的控制裝置和被控制的顯示裝置，所述控制裝置包括:圖像獲取模塊、顯示屏、控制模塊、處理模塊和發射模塊，
[0016]所述圖像獲取模塊用於獲取所述顯示裝置顯示的圖像畫面，得到採集畫面，並通過所述顯示屏顯示；
[0017]所述控制模塊用於響應用戶輸入，在所述採集畫面上進行控制操作；
[0018]所述處理模塊用於獲取所述控制操作在所述採集畫面中的位置信息；
[0019]所述發射模塊用於將所述圖像獲取模塊獲取的所述採集畫面以及所述控制操作的位置信息發送給所述顯示裝置；
[0020]所述顯示裝置包括:顯示模塊、接收模塊、識別模塊、解析模塊和執行模塊，
[0021]所述顯示模塊用於顯示圖像畫面；
[0022]所述接收模塊用於接收所述控制裝置發出的所述採集畫面以及所述控制操作的
位置信息；
[0023]所述識別模塊用於將接收模塊接收的所述採集畫面和所述顯示模塊顯示的圖像畫面進行圖像識別，得到所述顯示模塊顯示的圖像畫面中和所述採集畫面相同的映射畫面及其位置信息；
[0024]所述解析模塊用於根據所述採集畫面以及所述控制操作的位置信息，所述映射畫面及其位置信息，得到所述控制操作的位置對應在所述顯示模塊顯示的圖像畫面中的位置；
[0025]所述執行模塊用於將所述控制操作移植到所述顯示模塊顯示的圖像畫面中與所述控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
[0026]一種顯示裝置，包括:顯示模塊、接收模塊、識別模塊、解析模塊和執行模塊，
[0027]所述顯示模塊用於顯示圖像畫面；
[0028]所述接收模塊用於接收控制裝置發出的採集畫面以及在所述採集畫面上進行控制操作的位置信息；
[0029]所述識別模塊用於將接收模塊接收的所述採集畫面和所述顯示模塊顯示的圖像畫面進行圖像識別，得到所述顯示模塊顯示的圖像畫面中和所述採集畫面相同的映射畫面及其位置信息；
[0030]所述解析模塊用於根據所述採集畫面以及所述控制操作的位置信息，所述映射畫面及其位置信息，得到所述控制操作的位置對應在所述顯示模塊顯示的圖像畫面中的位置；
[0031]所述執行模塊用於將所述控制操作移植到所述顯示模塊顯示的圖像畫面中與所述控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
[0032]上述圖像互動方法和系統以及對應的顯示裝置利用控制裝置獲取顯示裝置的畫面，並通過圖像識別，把在控制裝置上的操作轉換為對顯示裝置中畫面進行控制控制，相比傳統的遙控方式，操作直觀、方便。
【專利附圖】
【附圖說明】
[0033]圖1為一實施例的圖像交互方法的演示示意圖；
[0034]圖2為一實施例的圖像交互方法的步驟流程圖；
[0035]圖3為一實施例的圖像交互系統的功能模塊圖。
【具體實施方式】[0036]下文中圖像交互方法和系統涉及控制裝置和顯示裝置，為了便於理解，首先以手機作為控制裝置，電視機作為顯示裝置為例對本方案思想進行簡單介紹:
[0037]手機具備圖像獲取模塊(後置)和觸控螢幕。如圖1所示，電視機屏幕100用於顯示圖像畫面,手機觸控螢幕120用於顯示從電視機屏幕100上拍攝到的被拍畫面140。圖1中的黑色方塊121和菱形表示圖像內容。用戶觸摸手機觸控螢幕120上的A點後，手機將觸控螢幕120顯示的圖像以及A點位置信息發送給電視機。電視通過圖像識別找到對應的被拍畫面140，並計算得到A點對應在電視機屏幕100顯示的畫面中的位置a點。然後電視機執行類似滑鼠點擊/觸摸電視機上a點處畫面對應的功能。
[0038]如此便達到了通過手機觸控螢幕實現對電視機圖像觸摸控制的效果，操作方便且用戶體驗度高。其他實施方式中，控制裝置上的觸控螢幕控制也可以是滑鼠操作等其他控制方式。
[0039]請同時參閱圖2，其為一實施例的圖像互動方法的步驟流程圖，包括如下步驟:
[0040]步驟S201，通過控制裝置獲取顯示裝置顯示的圖像畫面，得到採集畫面。
[0041]一實施例中，所述控制裝置具有攝像頭，其通過攝像頭獲取顯示裝置顯示的部分或者全部圖像。控制裝置可以是手機、筆記本電腦或平板電腦等具有拍攝功能的電子設備，以可攜式為佳。顯示裝置可以是電視機或其他具有圖像顯示功能的電子設備。
[0042]步驟S202，控制裝置的接收在所述採集畫面上的控制操作，並得到控制操作在採集畫面中的位置信息。
[0043]所述控制操作可以是滑鼠操作或者是在具有觸控螢幕的控制裝置上的觸摸操作等。
[0044]步驟S203，控制裝置將採集畫面以及控制操作的位置信息發送給顯示裝置。
[0045]本實施方式中，發送方式為無線傳輸，如wifi，藍牙等。
[0046]步驟S204，顯示裝置接收控制裝置發送的採集畫面以及所述控制操作的位置信息，並將採集畫面和自身顯示的圖像畫面進行圖像識別，得到自身顯示的圖像畫面中和採集畫面相同的映射畫面及其位置信息。
[0047]所述採集畫面對應圖1中手機觸控螢幕120顯示的畫面，所述映射畫面對應圖1中所示的被拍畫面140。映射畫面(被拍畫面140)的位置信息可以用其左上角頂點坐標(x，y)表不。
[0048]步驟S205，顯示裝置根據採集畫面以及所述控制操作的位置信息，映射畫面及其位置信息，得到控制操作的位置對應在顯示裝置顯示的圖像畫面中的位置。
[0049]一實施例中，顯示裝置先獲取採集畫面的尺寸和映射畫面的尺寸，再根據採集畫面的尺寸、控制操作的位置信息以及映射畫面的位置信息和尺寸，得到控制操作的位置對應在顯示裝置顯示的圖像畫面中的位置。
[0050]假設獲取的採集畫面的尺寸為寬高W1, h:,映射畫面的尺寸為寬高w2，h2。
[0051]假設控制操作的位置信息，即對應圖1中A點坐標為(m，n)，那便可以計算得到圖1中a點的坐標(m』，n』)，
, nm? , nl%
[0052]m = x-\--n = y-1---
W1 』Iil
[0053]上述位置信息的表示方式也可以採用其他方式，如用距離頂點的角度和長度，或者用網格劃分的方式進行位置表示，這裡不再一一列舉。
[0054]步驟S206，顯示裝置將所述控制操作移植到其顯示的圖像畫面中與控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
[0055]即將用戶在控制裝置上的操作虛擬的移植到了顯示裝置上，達到遙控的效果。
[0056]以用戶在控制裝置的觸控螢幕上的觸摸操作為例，觸控操作可以分解成三種行為，所有操作都可以由這三種行為排列組合來表達。
[0057]這三種行為為:觸下、滑動、抬起。抽象成數據結構表達如下:
[0058]觸下事件:包含觸發觸下事件的點的坐標(m0, n0)，如有多指觸摸，則附帶上共i(i>0)個已經處於觸摸狀態的其他點的坐標(m1, n1) ~ (mi, ni)。(mj，nj) G (X，Y) (0≤j≤i)。
[0059]滑動事件:包含觸發滑動事件的點的坐標0% n0)，如有多指觸摸，則附帶上共i(i>0)個已經處於觸摸狀態的其他點的坐標(m1, n1) ~ (m, ni)。(mj，nj)G (X，Y) (0≤j≤i)。
[0060]抬起事件:包含觸抬起動事件的點的坐標(m0, n0),如有多指觸摸,則附帶上共i(i>0)個已經處於觸摸狀態的其他點的坐標(m1, n1) ~ (mi, mi)。(mj，nj)G (X，Y) (0≤j≤≤i)。
[0061]一個事件只能有一個觸發點，如果是同時改變兩個點的狀態，這個行為會被拆分為兩個連續的對應事件。
[0062]用戶在觸控螢幕上點擊可以表達為:觸下0% Iitl)，抬起0% n0)兩個行為。
[0063]用戶在觸控螢幕上拖拽、框選可以表達為:觸下0% Iitl)，移動0% Iitl)，移動(m。，Hq) ? ? ?移動(m。，Hq)，抬起(m。，n。)。
[0064]用戶在觸控螢幕上雙指放大的手勢可以表達為:觸下0% Iitl)，觸下0% n0) (Hi1, H1)，移動 0% n0) (IH1, XI1),移動 0% n0) (m1, n1)...移動(m0, n0) (mj, nj),抬起(mQ, n0) (In1, rij),抬起(m0, n0) 。
[0065]以上這些行為都是控制裝置的觸控螢幕上的，把這些操作的數據通過無線網絡發送
給顯示裝置，顯示裝置把其轉變為大屏幕上的事件時，僅需要把事件涉及的點的坐標，通過
前文所述轉換公式:
[0066]
[0068]簡單轉換即可變成顯示裝置上的坐標。而顯示裝置的手勢識別即可根據這些數據轉化成相應的手勢。
[0069]上述圖像交互方法通過控制裝置獲取顯示裝置的畫面，並通過圖像識別，把在控制裝置上的操作轉換為對顯示裝置中畫面進行控制控制，相比傳統的遙控方式，不僅操作直觀、方便，而且用戶體驗感更高。
[0070]如圖3所示，其為一實施例的圖像交互系統30的功能模塊圖，包括用於控制的控制裝置300和被控制的顯示裝置400。
[0071]控制裝置300包括:圖像獲取模塊301、顯示屏302、控制模塊303、處理模塊304和發射模塊305。
[0072]圖像獲取模塊301用於獲取顯示裝置400顯示的圖像畫面，得到採集畫面，並通過顯示屏302顯示。[0073]—實施例中，所述圖像獲取模塊301為攝像頭，用於拍攝得到所述採集畫面。
[0074]控制模塊303用於響應用戶輸入，在所述採集畫面上進行控制操作。
[0075]所述控制操作可以是滑鼠操作或者其他操作，一實施例中，所述顯示屏302和控制模塊303結合為觸控螢幕，控制操作則是在觸控螢幕上的觸控操作。
[0076]處理模塊304用於獲取控制操作在採集畫面中的位置信息。
[0077]發射模塊305用於將圖像獲取模塊301獲取的採集畫面以及控制操作的位置信息發送給顯示裝置400。
[0078]顯示裝置400包括:顯示模塊402、接收模塊403、識別模塊404、解析模塊405和執行模塊406。
[0079]顯示模塊402用於顯示圖像畫面。
[0080]接收模塊403用於接收控制裝置300發出的採集畫面以及控制操作的位置信息。
[0081]識別模塊404用於將接收模塊403接收的採集畫面和顯示模塊402顯示的圖像畫面進行圖像識別，得到顯示模塊402顯示的圖像畫面中和採集畫面相同的映射畫面及其位
置信息。
[0082]解析模塊406用於根據採集畫面以及控制操作的位置信息，映射畫面及其位置信息，得到所述控制操作的位置對應在顯示模塊402顯示的圖像畫面中的位置。
[0083]一實施例中，解析模塊406用於獲取採集畫面和映射畫面的尺寸，並根據採集畫面的尺寸、控制操作的位置信息、映`射畫面的位置信息和尺寸，得到控制操作的位置對應在顯示模塊402顯示的圖像畫面中的位置。
[0084]假設採集畫面的尺寸為寬高W1, Ii1 ;映射畫面的尺寸為寬高^，112 ;映射畫面的位置用左上角頂點坐標(x，y)表示；假控制操作的位置信息，即對應圖1中A點坐標為(m，n)；那麼便可以計算得到圖1中a點的坐標(m』，n』)。
, rnw^ , nh,
[0085]m=x^--- n = V + ~-
w, 』 " H1
[0086]上述位置信息的表示方式也可以採用其他方式，如用距離頂點的角度和長度，或者用網格劃分的方式進行位置表示。
[0087]執行模塊406用於將所述控制操作移植到顯示模塊402顯示的圖像畫面中與控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
[0088]關於各種操作的映射有很多方式實現，如前列舉的觸控螢幕操作的映射方法，這裡不再贅述。
[0089]上述圖像交互系統通過控制裝置300獲取顯示裝置400顯示的圖像畫面，在將用戶在控制裝置300的操作轉換為對顯示裝置400的圖像畫面進行控制操作。相比傳統的方式，不僅操作直觀、方便，而且用戶體驗感更高。
[0090]上述控制裝置若是通過拍攝的方式獲得採集畫面，在拍攝顯示裝置的圖像畫面時，可能存在拍攝頻率和顯不頻率不一致的情況，如顯不裝直的顯不頻率為60幀/s，拍攝頻率為24幀/S。(液晶顯示屏和等離子顯示屏則不會出現這樣的問題)
[0091]一實施例中，可將顯示裝置顯示的若干幀圖像畫面重疊/合併並存儲，用重疊後的圖像畫面進行圖像識別。如重疊3幀圖像畫面，由於連續3幀圖像畫面內容差距不會太大，重疊出的圖像畫面也是可以用圖像識別算法進行識別。
[0092]以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。
【權利要求】
1.一種圖像互動方法，其特徵在於，包括如下步驟: 通過控制裝置獲取顯示裝置顯示的圖像畫面，得到採集畫面； 所述控制裝置的接收在所述採集畫面上的控制操作，並得到所述控制操作在所述採集畫面中的位置信息； 所述控制裝置將所述採集畫面以及所述控制操作的位置信息發送給所述顯示裝置； 所述顯示裝置接收所述控制裝置發送的所述採集畫面以及所述控制操作的位置信息，並將所述採集畫面和自身顯示的圖像畫面進行圖像識別，得到自身顯示的圖像畫面中和所述採集畫面相同的映射畫面及其位置信息； 所述顯示裝置根據所述採集畫面以及所述控制操作的位置信息，所述映射畫面及其位置信息，得到所述控制操作的位置對應在所述顯示裝置顯示的圖像畫面中的位置； 所述顯示裝置將所述控制操作移植到其顯示的圖像畫面中與所述控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
2.根據權利要求1所述的圖像互動方法，其特徵在於，所述控制裝置具有攝像頭，其通過所述攝像頭獲取所述顯示裝置顯示的圖像畫面，得到所述採集畫面。
3.根據權利要求1所述的圖像互動方法，其特徵在於，所述控制裝置具有觸控螢幕，所述在採集畫面上的控制操作是在所述觸控螢幕上的操作。
4.根據權利要求1所述的圖像互動方法，其特徵在於，所述顯示裝置先獲取所述採集畫面的尺寸和所述映射畫面的尺寸，再根據所述採集畫面的尺寸、所述控制操作的位置信息以及所述映射畫面的位置信息和尺寸，得到控制操作的位置對應在所述顯示裝置顯示的圖像畫面中的位置。
5.根據權利要求1所述的圖像互動方法，其特徵在於，所述顯示裝置是將自身顯示的若干幀圖像畫面重疊並存儲，用重疊後的圖像畫面進行圖像識別。
6.一種圖像交互系統，包括用於控制的控制裝置和被控制的顯示裝置，其特徵在於，所述控制裝置包括:圖像獲取模塊、顯示屏、控制模塊、處理模塊和發射模塊， 所述圖像獲取模塊用於獲取所述顯示裝置顯示的圖像畫面，得到採集畫面，並通過所述顯示屏顯示； 所述控制模塊用於響應用戶輸入，在所述採集畫面上進行控制操作； 所述處理模塊用於獲取所述控制操作在所述採集畫面中的位置信息； 所述發射模塊用於將所述圖像獲取模塊獲取的所述採集畫面以及所述控制操作的位置信息發送給所述顯示裝置； 所述顯示裝置包括:顯示模塊、接收模塊、識別模塊、解析模塊和執行模塊， 所述顯示模塊用於顯示圖像畫面； 所述接收模塊用於接收所述控制裝置發出的所述採集畫面以及所述控制操作的位置信息； 所述識別模塊用於將接收模塊接收的所述採集畫面和所述顯示模塊顯示的圖像畫面進行圖像識別，得到所述顯示模塊顯示的圖像畫面中和所述採集畫面相同的映射畫面及其位置信息； 所述解析模塊用於根據所述採集畫面以及所述控制操作的位置信息，所述映射畫面及其位置信息，得到所述控制操作的位置對應在所述顯示模塊顯示的圖像畫面中的位置；所述執行模塊用於將所述控制操作移植到所述顯示模塊顯示的圖像畫面中與所述控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
7.根據權利要求6所述的圖像互動系統，其特徵在於，所述圖像獲取模塊為攝像頭，用於拍攝得到所述採集畫面。
8.根據權利要求6所述的圖像互動系統，其特徵在於，所述顯示屏和控制模塊結合為觸控螢幕，控制操作是在所述觸控螢幕上的觸控操作。
9.根據權利要求6所述的圖像互動系統，其特徵在於，所述解析模塊用於獲取所述採集畫面和映射畫面的尺寸，並根據所述採集畫面的尺寸、所述控制操作的位置信息、所述映射畫面的位置信息和尺寸，得到所述控制操作的位置對應在所述顯示模塊顯示的圖像畫面中的位置。
10.根據權利要求6所述的圖像互動系統，其特徵在於，所述識別模塊是將所述顯示模塊顯示的若干幀圖像畫面重疊並存儲，用重疊後的圖像畫面進行圖像識別。
11.一種顯示裝置，其特徵在於，包括:顯示模塊、接收模塊、識別模塊、解析模塊和執行模塊， 所述顯示模塊用於顯示圖像畫面； 所述接收模塊用於接收控制裝置發出的採集畫面以及在所述採集畫面上進行控制操作的位置信息； 所述識別模塊用於將接收模塊接收的所述採集畫面和所述顯示模塊顯示的圖像畫面進行圖像識別，得到所述顯示模塊顯示的圖像畫面中和所述採集畫面相同的映射畫面及其位置信息； 所述解析模塊用於根據所述採集畫面以及所述控制操作的位置信息，所述映射畫面及其位置信息，得到所述控制操作的位置對應在所述顯示模塊顯示的圖像畫面中的位置； 所述執行模塊用於將所述控制操作移植到所述顯示模塊顯示的圖像畫面中與所述控制操作的位置對應位置，並執行與所述控制操作對應的預設功能。
12.根據權利要求11所述的顯示裝置，其特徵在於，所述解析模塊用於獲取所述採集畫面和映射畫面的尺寸，並根據所述採集畫面的尺寸、所述控制操作的位置信息、所述映射畫面的位置信息和尺寸，得到所述控制操作的位置對應在所述顯示模塊顯示的圖像畫面中的位置。
13.根據權利要求11所述的顯示裝置，其特徵在於，所述識別模塊是將所述顯示模塊顯示的若干幀圖像畫面重疊並存儲，用重疊後的圖像畫面進行圖像識別。
【文檔編號】G06F3/01GK103491444SQ201210196592
【公開日】2014年1月1日 申請日期:2012年6月14日 優先權日:2012年6月14日
【發明者】馬斌 申請人:騰訊科技（深圳）有限公司