一種智能遙控電視系統及其遙控方法
2023-07-10 10:43:46
專利名稱：一種智能遙控電視系統及其遙控方法
技術領域：
本發明涉及一種智能遙控電視系統及其遙控方法。
背景技術：
手持式遙控器已經是被用戶廣泛接受的電視機附件。一般來說遙控器向電視機發送某個按鍵被按下的信號，電視機則根據這些信號採取相應動作，比如開關電視，更換頻
道，調整音量等等。
以這種方式工作的遙控裝置能接受的用戶行為非常有限，僅限於上面說到的按鍵動作。智能電視則希望能給用戶提供更自由和方便自然的用戶體驗。目前，智能電視的普及遇到的最大的問題之一就是操作便利性的問題；利用傳統的電視遙控器是無法讓用戶方便地操作具有無限功能潛力的智能電視的，而且按鍵式的遙控操作也缺少自然直觀的感覺。作為一種手持設備，遙控器其實可以提供給電視機更多的信息，而不僅限於通知電視機某個按鍵被按下了。比如說，遙控器與電視機的相對位置信息在用戶與電視機的交互過程中是非常有用的；事實上當遙控器指向電視機的時候，遙控器的位置和方向就可以被映射成電視機屏幕上的光標位置，這樣遙控器就像一個手持式滑鼠在工作。這就給用戶提供了一種很自然的與電視機交互的方式；又比如說，遙控器的快速水平移動可以被解釋成要求電視屏幕上菜單項快速滾動的命令。這樣的位置映射還可以用於各種基於手持遙控器的光標遊戲，比如射擊類遊戲和駕駛類遊戲等。基於視覺的方法是獲得一個運動物體(在這裡是指遙控器)相對於一個靜止物體(在這裡是指電視機)的相對運動位置和方向的比較低成本的解決辦法。一般來說攝像頭會安裝在靜止物體上，面向運動物體，這種方式被稱為被動式攝像，然而，遙控器尺寸比較小，而且其背景是不能保持靜止的用戶，因此在電視機上的被動攝像頭拍攝的圖像裡檢測遙控器的位置和方向是很難達到可以接受的精度和魯棒度的。鑑於上述原因，現在需要開發一種新的智能遙控電視系統及遙控方法，以滿足用戶的使用需要。
發明內容
為了解決上述現有技術存在的問題，本發明旨在提供一種智能遙控電視系統及其遙控方法，以將遙控裝置相對於電視機的位置和方向映射為電視機屏幕的光標位置，從而方便用戶與電視機之間的交互。本發明之一所述的一種智能遙控電視系統，它包括遙控裝置和電視機，其中，所述遙控裝置包括遙控器通訊模塊，所述電視機包括電視機通訊模塊、屏幕顯示模塊和應用模塊，所述遙控裝置還包括主控模塊；主動攝像頭，採集所述電視機的圖像；存儲模塊，保存所述電視機的識別模型和特徵集；以及
視頻處理分析模塊，根據所述存儲模塊中的識別模型和特徵集，在所述主動攝像頭採集的圖像中檢測和定位電視機屏幕，計算所述圖像的中心點在所述電視機屏幕中的相對位置，並向所述遙控器通訊模塊輸出計算結果信息；所述電視機還包括光標模式接口支持模塊，根據通過所述電視機通訊模塊從遙控器通訊模塊接收到的信息，控制所述屏幕顯示模塊和應用模塊執行相應功能；其中，所述主控模塊控制主動攝像頭、視頻處理分析模塊和遙控器通訊模塊進入或退出光標模式並執行相應功能。在上述的智能遙控電視系統中，所述視頻處理分析模塊包括圖像驗證子模塊，檢查所述主動攝像頭採集到的圖像是否達到要求，若是，則輸出圖像，否則，反饋至所述主動攝像頭，以使該主動攝像頭調整採集參數；圖像特徵提取子模塊，在所述圖像驗證子模塊輸出的圖像中，根據所述存儲模塊 中的識別模型和特徵集來檢測和定位所述電視機屏幕的圖像特徵，並驗證所得到的特徵位置是否合理以及數量足夠，若是，則輸出所述圖像特徵的信息，否則，向所述遙控器通訊模塊輸出特徵提取失敗的錯誤信息；以及光標獲取子模塊，根據所述圖像特徵的信息計算所述圖像的中心點在所述電視機屏幕中的相對位置，並驗證該位置的可信度，若可靠，則向所述遙控器通訊模塊輸出該位置信息，否則，向所述遙控器通訊模塊輸出光標位置不合理或者計算失敗的錯誤信息；在上述的智能遙控電視系統中，所述圖像特徵提取子模塊包括圖像分析模式識別單元，在所述圖像驗證子模塊輸出的圖像中，根據所述存儲模塊中的識別模型和特徵集檢測和定位所述電視機屏幕的角點；以及識別結果驗證單元，驗證檢測到的所述電視機屏幕的角點數目是否達到要求以及角點位置是否合理，若是，則輸出所述角點的信息，否則，向所述遙控器通訊模塊輸出識別失敗的錯誤信息。在上述的智能遙控電視系統中，所述圖像分析模式識別單元還根據在所述電視機的屏幕面板上設置標誌物來輔助檢測和定位所述電視機屏幕的角點。在上述的智能遙控電視系統中，所述圖像特徵提取子模塊包括圖像分析模式識別單元，在所述圖像驗證子模塊輸出的圖像中，根據所述存儲模塊中的識別模型和特徵集檢測和定位所述電視機屏幕的各條邊；以及識別結果驗證單元，驗證檢測到的所述電視機屏幕的邊的條數是否達到要求以及各條邊位置是否合理，若是，則輸出所述各條邊的信息，否則，向所述遙控器通訊模塊輸出識別失敗的錯誤息。在上述的智能遙控電視系統中，所述圖像分析模式識別單元還根據在所述電視機的屏幕面板上設置標誌物來輔助檢測和定位所述電視機屏幕的各條邊。在上述的智能遙控電視系統中，所述光標獲取子模塊包括光標計算單元，根據所述電視機屏幕的角點的信息計算所述圖像的中心點在所述電視機屏幕中的相對位置；以及光標驗證單元，驗證所述圖像的中心點在所述電視機屏幕中的相對位置的可信度，若可靠，則向所述遙控器通訊模塊輸出該位置信息，否則，向所述遙控器通訊模塊輸出光標位置不合理或計算失敗的錯誤信息。
在上述的智能遙控電視系統中，所述光標獲取子模塊包括光標計算單元，根據所述電視機屏幕的各條邊的信息計算所述圖像的中心點在所述電視機屏幕中的相對位置。在上述的智能遙控電視系統中，所述光標計算單元根據所述角點的信息計算出投影變換關係矩陣M，並通過該投影變換關係矩陣M計算得到所述圖像的中心點在所述電視機屏幕中的光標位置，所述投影變換關係矩陣M = [mn, m21, m31, m12, m22, m32, m13, m23a]T,其中，mn、 mi2、mi3、Hi21 ^ Iii22 ^ m23、m31 和m32均為參數，且滿足公式(I):
權利要求
1.一種智能遙控電視系統，它包括遙控裝置和電視機，其中，所述遙控裝置包括遙控器通訊模塊，所述電視機包括電視機通訊模塊、屏幕顯示模塊和應用模塊，其特徵在於， 所述遙控裝置還包括 主控模塊； 主動攝像頭，採集所述電視機的圖像； 存儲模塊，保存所述電視機的識別模型和特徵集；以及 視頻處理分析模塊，根據所述存儲模塊中的識別模型和特徵集，在所述主動攝像頭採集的圖像中檢測和定位電視機屏幕，計算所述圖像的中心點在所述電視機屏幕中的相對位置，並向所述遙控器通訊模塊輸出計算結果信息； 所述電視機還包括 光標模式接口支持模塊，根據通過所述電視機通訊模塊從遙控器通訊模塊接收到的信息，控制所述屏幕顯示模塊和應用模塊執行相應功能； 其中，所述主控模塊控制主動攝像頭、視頻處理分析模塊和遙控器通訊模塊進入或退出光標模式並執行相應功能。
2.根據權利要求I所述的智能遙控電視系統，其特徵在於，所述視頻處理分析模塊包括 圖像驗證子模塊，檢查所述主動攝像頭採集到的圖像是否達到要求，若是，則輸出圖像，否則，反饋至所述主動攝像頭，以使該主動攝像頭調整採集參數； 圖像特徵提取子模塊，在所述圖像驗證子模塊輸出的圖像中，根據所述存儲模塊中的識別模型和特徵集來檢測和定位所述電視機屏幕的圖像特徵，並驗證所得到的特徵位置是否合理以及數量足夠，若是，則輸出所述圖像特徵的信息，否則，向所述遙控器通訊模塊輸出特徵提取失敗的錯誤信息；以及 光標獲取子模塊，根據所述圖像特徵的信息計算所述圖像的中心點在所述電視機屏幕中的相對位置，並驗證該位置的可信度，若可靠，則向所述遙控器通訊模塊輸出該位置信息，否則，向所述遙控器通訊模塊輸出光標位置不合理或者計算失敗的錯誤信息；
3.根據權利要求2所述的智能遙控電視系統，其特徵在於，所述圖像特徵提取子模塊包括 圖像分析模式識別單元，在所述圖像驗證子模塊輸出的圖像中，根據所述存儲模塊中的識別模型和特徵集檢測和定位所述電視機屏幕的角點；以及 識別結果驗證單元，驗證檢測到的所述電視機屏幕的角點數目是否達到要求以及角點位置是否合理，若是，則輸出所述角點的信息，否則，向所述遙控器通訊模塊輸出識別失敗的錯誤信息。
4.根據權利要求3所述的智能遙控電視系統，其特徵在於，所述圖像分析模式識別單元還根據在所述電視機的屏幕面板上設置標誌物來輔助檢測和定位所述電視機屏幕的角點。
5.根據權利要求2所述的智能遙控電視系統，其特徵在於，所述圖像特徵提取子模塊包括 圖像分析模式識別單元，在所述圖像驗證子模塊輸出的圖像中，根據所述存儲模塊中的識別模型和特徵集檢測和定位所述電視機屏幕的各條邊；以及識別結果驗證單元，驗證檢測到的所述電視機屏幕的邊的條數是否達到要求以及各條邊位置是否合理，若是，則輸出所述各條邊的信息，否則，向所述遙控器通訊模塊輸出識別失敗的錯誤信息。
6.根據權利要求5所述的智能遙控電視系統，其特徵在於，所述圖像分析模式識別單元還根據在所述電視機的屏幕面板上設置標誌物來輔助檢測和定位所述電視機屏幕的各條邊。
7.根據權利要求2-4中任意一項所述的智能遙控電視系統，其特徵在於，所述光標獲取子模塊包括 光標計算單元，根據所述電視機屏幕的角點的信息計算所述圖像的中心點在所述電視機屏幕中的相對位置；以及 光標驗證單元，驗證所述圖像的中心點在所述電視機屏幕中的相對位置的可信度，若可靠，則向所述遙控器通訊模塊輸出該位置信息，否則，向所述遙控器通訊模塊輸出光標位置不合理或計算失敗的錯誤信息。
8.根據權利要求2、5或6所述的智能遙控電視系統，其特徵在於，所述光標獲取子模塊包括 光標計算單元，根據所述電視機屏幕的各條邊的信息計算所述圖像的中心點在所述電視機屏幕中的相對位置；以及 光標驗證單元，驗證所述圖像的中心點在所述電視機屏幕中的相對位置的可信度，若可靠，則向所述遙控器通訊模塊輸出該位置信息，否則，向所述遙控器通訊模塊輸出光標位置不合理或計算失敗的錯誤信息。
9.根據權利要求7所述的智能遙控電視系統，其特徵在於，所述光標計算單元根據所述角點的信息計算出投影變換關係矩陣M，並通過該投影變換關係矩陣M計算得到所述圖像的中心點在所述電視機屏幕中的光標位置，所述投影變換關係矩陣M = [mn，m21，m31，m12，m22, m32, mi3, m23,i]，其中，mil、 n^i2、mi3、Hi21、IH22、m23、m31 和m32均為參數，且滿足公式(I): /W11X+ /W12^y+ /W13 x'=- m^x + m^y + l,,、 31 32 ⑴， ,m2lx + m22y + m22y =- m3lx + m32y + l 式中，(x,y)為所述圖像中電視機屏幕上某點的坐標，(x』，y』 )為該點在所述電視機的屏幕上的實際坐標； 所述參數根據所述圖像中電視機屏幕的角點坐標(Xyyi)和所述電視機的屏幕的實際角點坐標(x/, y/ )確定，其中，i = I, 2, 3,4。
10.根據權利要求8所述的智能遙控電視系統，其特徵在於，所述光標計算單元根據所述各條邊的信息計算出投影變換關係矩陣M，並通過該投影變換關係矩陣M計算得到所述圖像的中心點在所述電視機屏幕中的光標位置，所述投影變換關係矩陣M = [mn, m21, m31,mi2，m22，m32，mi3，m23，l ]T，其中，mn、mi2、m:3、IH21、Hi22、m23、m31 和m32均為參數，且滿足公式⑵
11.根據權利要求2所述的智能遙控電視系統，其特徵在於，所述視頻處理分析模塊還包括識別模型特徵集更新子模塊；若所述光標驗證單元驗證所述圖像的中心點在所述電視機屏幕中的相對位置可靠，則所述識別模型特徵集更新子模塊向所述存儲模塊輸出更新的所述電視機的識別模型和特徵集。
12.根據權利要求I或2所述的智能遙控電視系統，其特徵在於，所述存儲模塊保存由外圍攝像裝置拍攝並經外圍計算機處理得到的所述電視機的識別模型和特徵集。
13.根據權利要求12所述的智能遙控電視系統，其特徵在於，所述視頻處理分析模塊還包括識別模型特徵集更新子模塊；若所述光標驗證單元驗證所述圖像的中心點在所述電視機屏幕中的相對位置可靠，則所述識別模型特徵集更新子模塊向所述存儲模塊輸出更新的所述電視機的識別模型和特徵集。
14.根據權利要求I或2所述的智能遙控電視系統，其特徵在於，所述主控模塊啟動光標模式並向所述主動攝像頭和視頻處理分析模塊輸出啟動信號，或者退出光標模式並向所述主動攝像頭和視頻處理分析模塊輸出退出信號。
15.根據權利要求14所述的智能遙控電視系統，其特徵在於，所述遙控裝置還包括用於向所述主控模塊發送啟動或退出光標模式指令的鍵盤模塊。
16.根據權利要求I或2所述的智能遙控電視系統，其特徵在於，所述光標模式接口支持模塊控制屏幕顯示模塊更新所述電視機的屏幕上的光標位置和用戶控制菜單，並激活所述應用模塊執行相應的功能或者啟動相關的應用程式。
17.一種如權利要求1-16所述的智能遙控電視系統的遙控方法，其特徵在於，所述遙控方法包括以下步驟 步驟A，所述主控模塊啟動光標模式； 步驟B，所述主動攝像頭採集所述電視機的圖像； 步驟C，所述視頻處理分析模塊根據所述存儲模塊中的識別模型和特徵集，或結合在所述電視機的屏幕面板上設置標誌物，在所述主動攝像頭採集的圖像中檢測和定位電視機屏幕，計算所述圖像的中心點在所述電視機屏幕中的相對位置，並向所述遙控器通訊模塊輸出計算結果信息； 步驟D，所述主控模塊判斷是否退出光標模式，若是，則退出，否則，執行步驟B ； 步驟E，所述光標模式接口支持模塊根據通過所述電視機通訊模塊從遙控器通訊模塊接收到的信息，控制所述屏幕顯示模塊和應用模塊執行相應功能。
18.根據權利要求17所述的智能遙控電視系統的遙控方法，其特徵在於，所述步驟A包括步驟S21，通過所述鍵盤模塊向主控模塊發送啟動光標模式指令，該主控模塊接收鍵盤輸入，啟動光標模式，並控制所述遙控器通訊模塊將啟動信息發送給所述電視機。
19.根據權利要求18所述的智能遙控電視系統的遙控方法，其特徵在於，所述步驟B包括步驟S22，所述主控模塊控制主動攝像頭拍攝一幀圖像。
20.根據權利要求19所述的智能遙控電視系統的遙控方法，其特徵在於，所述步驟C包括 步驟S23，所述圖像驗證子模塊判斷圖像質量是否滿足要求，若是，則執行步驟S24，否貝U，執行步驟S22 ； 步驟S24，所述圖像分析模式識別單元根據保存在所述存儲模塊中的電視機的識別模型和特徵集，或結合在所述電視機的屏幕面板上設置標誌物，在圖像中檢測所述電視機屏眷; 步驟S25，所述識別結果驗證單元判斷檢測到的所述電視機屏幕的特徵是否足以確定投影變換關係矩陣M中的參數，若是，則執行步驟S26，否則，執行步驟S30 ； 步驟S26，所述光標計算單元計算所述投影變換關係矩陣M ； 步驟S27，所述光標計算單元根據所述圖像的中心點位置和所述投影變換關係矩陣M計算光標位置； 步驟S28，所述光標驗證單元判斷所述光標位置是否可靠，若是，則執行步驟S29，否貝U，執行步驟S30 ； 步驟S29，所述遙控器通訊模塊將光標位置信息發送給所述電視機； 步驟S30，所述遙控器通訊模塊將錯誤信息發送給所述電視機。
21.根據權利要求20所述的智能遙控電視系統的遙控方法，其特徵在於，所述步驟D包括 步驟S31，所述主控模塊判斷是否收到所述鍵盤模塊發出的退出光標模式指令，若是，則執行步驟S32，否則，執行步驟S22 ； 步驟S32，所述主控模塊退出光標模式，並控制所述遙控器通訊模塊將退出信息發送給所述電視機。
22.根據權利要求21所述的智能遙控電視系統的遙控方法，其特徵在於，所述步驟E包括 步驟S41，所述光標模式接口支持模塊通過所述電視機通訊模塊接收所述遙控器通訊模塊發送的信息； 步驟S42，所述光標模式接口支持模塊解析接收到的信息，判斷該信息是否要求開啟光標模式，若是，則執行步驟S43，否則，執行步驟S44 ； 步驟S43，所述光標模式接口支持模塊開啟光標模式，並執行步驟S50 ； 步驟S44，所述光標模式接口支持模塊判斷接收到的信息是否要求退出光標模式，若是，則執行步驟S45，否則，執行步驟S46 ； 步驟S45，所述光標模式接口支持模塊取消光標模式，並執行步驟S50 ； 步驟S46，所述光標模式接口支持模塊判斷接收到的信息是否包含光標位置信息，若是，則執行步驟S47，否則，執行步驟S48 ； 步驟S47，所述光標模式接口支持模塊根據所述光標位置信息使所述屏幕顯示模塊更新所述電視機的屏幕上的光標位置和用戶控制菜單，激活所述應用模塊執行相應的功能或者啟動相關的應用程式，並執行步驟S50 ；步驟S48，所述光標模式接口支持模塊判斷接收到的信息是否指明錯誤發生，若是，則執行步驟S49，否則，執行步驟S50 ； 步驟S49，所述光標模式接口支持模塊進行相應的錯誤處理，並執行步驟S50 ； 步驟S50，所述光標模式接口支持模塊根據已經接收到的信息及相應的處理結果來判斷是否繼續等待所述遙控器通訊模塊發送的新信息，若是，則執行步驟S41，否則，控制流程結束。
全文摘要
本發明涉及一種智能遙控電視系統及其遙控方法，電視系統包括遙控裝置和電視機，其中，所述遙控裝置包括遙控器通訊模塊，所述電視機包括電視機通訊模塊、屏幕顯示模塊和應用模塊，所述遙控裝置還包括主控模塊；主動攝像頭；存儲模塊；以及視頻處理分析模塊；所述電視機還包括光標模式接口支持模塊。本發明通過視頻處理分析模塊檢測和分析電視機屏幕在主動攝像頭拍攝的圖像裡的位置，使遙控裝置相對於電視機的位置和方向被映射為電視機屏幕的光標位置，並由電視機中的光標模式接口支持模塊接收光標位置信息並執行相關動作，從而利用單目攝像頭實現了電視機光標模式的控制。
文檔編號H04N21/472GK102984563SQ20111026099
公開日2013年3月20日 申請日期2011年9月5日 優先權日2011年9月5日
發明者鄒璇, 王琳, 朱舸 申請人:富士通半導體(上海)有限公司