顯示裝置及其控制方法、手勢識別方法
2023-05-25 17:10:41 4
顯示裝置及其控制方法、手勢識別方法
【專利摘要】本發明提供一種顯示裝置及其控制方法、手勢識別方法，屬於手勢識別【技術領域】，其可解決現有的手勢識別中選擇和確定操作須分別進行的問題。本發明的顯示裝置控制方法包括：裸眼3D顯示單元顯示虛擬3D控制畫面，其中，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離；圖像採集單元採集用戶對虛擬3D控制畫面的點擊動作的圖像；手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。本發明可用於顯示裝置的控制，尤其適用於電視的控制。
【專利說明】顯示裝置及其控制方法、手勢識別方法
【技術領域】
[0001]本發明屬於手勢識別【技術領域】，具體涉及一種顯示裝置及其控制方法、手勢識別方法。
【背景技術】
[0002]隨著技術發展，用手勢對顯示單元(電視、顯示器等)進行控制已成為可能。具有手勢識別功能的顯示裝置包括用於進行顯示的顯示單元，以及用於採集手勢的圖像採集單元(攝像頭、相機等)；通過對所採集的圖像進行分析，即可確定用戶要進行的操作。
[0003]目前的手勢識別技術中，「選擇」和「確定」操作必須通過不同手勢分別進行，操作麻煩，例如要通過手勢為電視換臺，則先要通過第一手勢(如從左向右揮手)選臺，每揮手一次臺號變一次，當選到正確臺號時，再通過第二手勢(如從上向下揮手)進入該臺。也就是說，現有顯示裝置的手勢識別技術不能實現「選擇」與「確定」合一的操作，即不能像平板電腦一樣通過「點擊(Touch)」多個候選圖標中的某個，一次性選出要執行的指令並執行該指令。之所以如此，是因為「點擊」操作必須準確判斷點擊位置。對平板電腦，手直接點在屏幕上，故通過觸控技術確定點擊位置是可行的。但對手勢識別技術，手通常不能接觸顯示單元(尤其對電視，正常使用時用戶離其很遠)，而只能「指向」顯示單元的某位置(如顯示單元顯示的某圖標)，但這種遠距離的「指向」準確度很差，在指向顯示單元的同一位置時，不同用戶的手勢可能不同，有人指的偏左，有人指的偏右，故無法確定用戶到底想指哪裡，也就不能實現「點擊」操作。
【發明內容】
[0004]本發明所要解決的技術問題包括，針對現有的手勢識別中「選擇」和「確定」操作必須分別進行的問題，提供一種可通過手勢識別實現「選擇」和「確定」操作一步完成的顯示裝置及其控制方法、手勢識別方法。
[0005]解決本發明技術問題所採用的技術方案是一種顯示裝置的控制方法，其包括:
[0006]裸眼3D顯示單元顯示虛擬3D控制畫面，其中，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離；
[0007]圖像採集單元採集用戶對虛擬3D控制畫面的點擊動作的圖像；
[0008]手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
[0009]優選的，所述第一距離小於等於用戶手臂的長度。
[0010]優選的，所述第一距離小於等於0.5米且大於等於0.25米。
[0011]優選的，所述虛擬3D控制畫面為整個顯示畫面；或，所述虛擬3D控制畫面為顯示畫面的一部分。
[0012]優選的，所述虛擬3D控制畫面分為至少兩個區域，每個區域對應I個控制指令。
[0013]優選的，在手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置之前，還包括:定位單元判斷用戶相對裸眼3D顯示單元的位置；手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置包括:手勢識別單元根據圖像採集單元所採集的圖像，以及用戶相對裸眼3D顯示單元的位置判斷用戶對虛擬3D控制畫面的點擊位置。
[0014]進一步優選的，定位單元判斷用戶相對裸眼3D顯示單元的位置包括:定位單元判斷用戶相對裸眼3D顯示單元的位置包括:定位單元對由圖像採集單元採集的圖像進行分析，從而判斷用戶相對裸眼3D顯示單元的位置。
[0015]解決本發明技術問題所採用的技術方案是一種顯示裝置，其包括:
[0016]裸眼3D顯示單元，其用於顯示虛擬3D控制畫面，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離；
[0017]圖像採集單元，其用於採集用戶對虛擬3D控制畫面的點擊動作的圖像；
[0018]手勢識別單元，其用於根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
[0019]優選的，所述裸眼3D顯示單元為電視或電腦顯示屏。
[0020]優選的，所述裸眼3D顯示單元為光柵式3D顯示單元、稜鏡膜式3D顯示單元、指向光源式3D顯示單元中的任意一種。
[0021]優選的，所述顯示裝置還包括:定位單元，其用於判斷用戶相對裸眼3D顯示單元的位置。
[0022]進一步優選的，所述定位單元用於對由圖像採集單元採集的圖像進行分析，從而判斷用戶相對裸眼3D顯示單元的位置。
[0023]解決本發明技術問題所採用的技術方案是一種手勢識別方法，其包括:
[0024]裸眼3D顯示單元顯示虛擬3D控制畫面，其中，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離；
[0025]圖像採集單元採集用戶對虛擬3D控制畫面的點擊動作的圖像；
[0026]手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
[0027]其中，裸眼3D顯示單元是指能在不使用3D眼鏡的情況下，使用戶裸眼即能看到有立體感的3D圖像的顯示單元。
[0028]其中，「虛擬3D控制畫面」是指由裸眼3D顯示單元顯示的有立體感的控制畫面，其用於實現對顯示裝置的控制。
[0029]其中，「虛擬距離」是指用戶感到的虛擬3D控制畫面與自己的距離；距離感是立體感的一部分，其是由左右眼所看到的圖像的差別引起的，故只要裸眼3D顯示單元顯示特定的內容，即可使用戶感到虛擬3D控制畫面位於自己前方一定距離處，即使用戶遠離或靠近裸眼3D顯示單元，其感覺到的虛擬3D控制畫面與自己的距離始終不變。
[0030]其中，「執行單元」是指可執行相應控制指令的任何單元，例如，對換臺指令，執行單元就是裸眼3D顯示單元，而對改變音量的指令，執行單元就是發聲單元。
[0031]本發明的顯示裝置及其控制方法、手勢識別方法中，裸眼3D顯示單元可為用戶呈現虛擬3D控制畫面，且虛擬3D控制畫面與用戶的距離小於裸眼3D顯示單元與用戶的距離，故用戶會感覺虛擬3D控制畫面離自己很近，就在面前，可直接伸手準確「點擊」虛擬3D控制畫面，這樣不同用戶點擊虛擬3D控制畫面同一位置時動作是相同或相似的，從而手勢識別單元可準確判斷用戶希望的點擊位置，進而實現「選擇」與「確定」合一的「點擊」操作。
[0032]本發明用於顯示裝置的控制，尤其適用於電視的控制。
【專利附圖】
【附圖說明】
[0033]圖1為本發明的實施例1的顯示裝置的控制方法的流程圖；
[0034]圖2為本發明的實施例1的顯示裝置顯示虛擬3D控制畫面時的示意圖；
[0035]其中附圖標記為:1、裸眼3D顯示單元；2、用戶的眼睛；3、用戶的手；4、虛擬3D控制畫面；5、圖像採集單元。
【具體實施方式】
[0036]為使本領域技術人員更好地理解本發明的技術方案，下面結合附圖和【具體實施方式】對本發明作進一步詳細描述。
[0037]實施例1:
[0038]如圖1所示，本實施例提供一種顯示裝置的控制方法，該方法適用的顯示裝置包括裸眼3D顯示單元1、圖像採集單元5、手勢識別單元,優選還包括定位單元。
[0039]其中，裸眼3D顯示單元I是指任何能在不使用3D眼鏡的情況下，使用戶裸眼即能看到有立體感的3D圖像的顯示單元。
[0040]優選的，裸眼3D顯示單元I為光柵式3D顯示單元、稜鏡膜式3D顯示單元、指向光源式3D顯示單元中的任意一種。
[0041]以上3種顯示單元都是已知的裸眼3D顯示單元I。
[0042]其中，光柵式3D顯示單元是在2D顯示設備外設置光柵，對用戶的左眼和右眼，光柵可分別擋住顯示設備的不同區域，這樣用戶的左眼和右眼看到的是顯示設備的不同區域，即雙眼看到的內容不同，從而達到3D顯示的效果。
[0043]對於稜鏡膜式3D顯示單元，其是在2D顯示設備外設置稜鏡片，通過稜鏡片中小稜鏡的折射作用，將來自顯示設備不同位置的光分別射向用戶左眼和右眼，從而使雙眼看到不同內容，達到3D效果。
[0044]而指向光源式3D顯示單元中，其顯示模組具有特殊結構，不同位置的發光光源(裡如背光源)的出光方向不同，分別射向用戶的左眼和右眼，從而使左眼和右眼看到不同內容，達到3D效果。
[0045]圖像採集單元5則用於採集用戶的圖像，其可為CCD(電荷耦合元件)攝像頭、相機等已知器件。從方便的角度說，圖像採集單元5可設在裸眼3D顯示單元I附近(如固定在裸眼3D顯示單元I上方或側面)，或與裸眼3D顯示單元I設計成一體結構。
[0046]具體的，上述控制方法包括以下步驟:
[0047]S01、裸眼3D顯示單元I顯示虛擬3D控制畫面4，虛擬3D控制畫面4與用戶眼睛2間的虛擬距離等於第一距離，第一距離小於裸眼3D顯示單元I與用戶眼睛2間的距離。
[0048]其中，虛擬3D控制畫面是指專門用於對顯示裝置進行控制操作的畫面，其中包括對裸眼3D顯示單元I的各種控制指令，用戶通過選擇不同控制指令即可實現對顯示裝置的控制。[0049]如圖2所示，用戶會感覺到虛擬3D控制畫面4即位於自己前方一定距離(第一距離)處，而該第一距離小於裸眼3D顯示單元I與用戶間的距離。由於用戶感覺到虛擬3D控制畫面4與自己的距離較近，故可伸手3做出準確「點擊」該畫面某位置的動作，從而顯示裝置也可更準確的判斷用戶要進行什麼操作，實現「點擊」控制。
[0050]優選的，第一距離小於等於用戶手臂的長度。在第一距離小於等於用戶手臂的長度時，用戶感覺自己伸手即可「接觸」虛擬3D控制畫面4，這樣可最大程度的保證點擊動作的準確性。
[0051]優選的，第一距離小於等於0.5米且大於等於0.25米。按照以上第一距離的範圍，絕大多數人既不用伸直手臂努力去「夠」虛擬3D控制畫面4，也不會覺得虛擬3D控制畫面4離自己太近。
[0052]優選的，虛擬3D控制畫面4是整個顯示畫面。也就是說，當顯示虛擬3D控制畫面4時，顯示虛擬3D控制畫面4就是全部的顯示內容，用戶只能看到虛擬3D控制畫面4，從而該虛擬3D控制畫面4面積較大，可容納較多的待選控制指令，且點擊準確性較高。
[0053]優選的，作為本實施例的另一種方式，虛擬3D控制畫面4也可以是整個顯示畫面的一部分。也就是說，顯示虛擬3D控制畫面4與常規畫面(如3D電影)一同顯示，其可以位於顯示畫面的邊上或角落，從而用戶可同時看到常規畫面和虛擬3D控制畫面4，以便隨時進行控制(如調整音量、換臺等)。
[0054]其中，當虛擬3D控制畫面4是整個顯示畫面時，則其優選在滿足一定條件(如用戶發出指令)時才顯示，其他情況下仍顯示常規畫面。而當虛擬3D控制畫面4是顯示畫面的一部分時，其可以一直持續顯不。
[0055]優選的，虛擬3D控制畫面4分為至少兩個區域，每個區域對應I個控制指令。也就是說，虛擬3D控制畫面4可分為多個不同區域，點擊每個區域可執行不同控制指令，從而通過一個虛擬3D控制畫面4可進行多種不同操作。例如，可如圖2所示，虛擬3D控制畫面4等分為3行X3列共9個矩形區域，每個矩形對應一個控制指令(如改變音量、改變臺號、改變亮度、退出虛擬3D控制畫面4等)。
[0056]當然，若虛擬3D控制畫面4隻對應一個控制指令(如虛擬3D控制畫面4為顯示畫面的一部分，其對應的指令為「進入全屏控制畫面」)也是可行的。
[0057]S02、圖像採集單元5採集用戶對虛擬3D控制畫面4的點擊動作的圖像。
[0058]也就是說，當裸眼3D顯示單元I顯示虛擬3D控制畫面4時，圖像採集單元5開啟，從而採集用戶的動作的圖像，具體是用戶伸手3對虛擬3D控制畫面4進行點擊的動作的圖像。
[0059]當然，在未顯示顯示虛擬3D控制畫面4時時，圖像採集單元5也可開啟，從而用於採集用戶其他手勢的圖像或用於確定用戶位置。
[0060]S03、可選的，定位單元判斷用戶相對裸眼3D顯示單元I的位置(距離和/或角度)。
[0061]顯然，當用戶與裸眼3D顯示單元I的相對位置不同時，雖然對用戶來說其做出的控制動作並無變化(都是點擊自己面前的虛擬3D控制畫面4);但對圖像採集單元5來說，其所採集到的圖像卻不相同；為此，最好能預先判斷出用戶與裸眼3D顯示單元I的相對位置關係，從而在手勢識別過程中進行更準確的識別。[0062]具體的，作為一種優選方式，定位單元可通過對由圖像採集單元5採集的圖像進行分析來判斷用戶相對裸眼3D顯示單元I的位置。例如，當開始顯示虛擬3D控制畫面4時，可將圖像採集單元5採集的第一幅圖像用於判斷用戶相對裸眼3D顯示單元I的位置，之後採集的圖像再用於手勢分析。根據圖像判斷用戶相對裸眼3D顯示單元I的位置的方法也是多樣的，如可通過輪廓線分析得到用戶形體或用戶眼睛2的輪廓，進而判斷用戶位置。
[0063]當然，判斷用戶相對裸眼3D顯示單元I的位置的方法還有很多，如可在兩不同位置設置紅外測距器，通過兩個紅外測距器分別測得的與用戶間的距離計算出用戶位置。
[0064]當然，如果不進行上述定位判斷也是可行的，因為對裸眼3D顯示單元1，為保證觀看效果，用戶通常是位於裸眼3D顯示單元I前特定位置處的，故也可默認用戶位置。
[0065]S04、手勢識別單元根據圖像採集單元5所採集的圖像(以及用戶相對裸眼3D顯示單元I的位置)判斷用戶對虛擬3D控制畫面4的點擊位置，並將點擊位置所對應的控制指令發給相應的執行單元。
[0066]如前所述，用戶與裸眼3D顯示單元I的相對位置是已知的，且虛擬3D控制畫面4位於用戶之前一定距離處，因此，如圖2所示，手勢識別單元可確認虛擬3D控制畫面4相對裸眼3D顯示單元I的空間位置(因虛擬3D控制畫面4必然位於裸眼3D顯示單元I與用戶間的連線上)，同時，當用戶伸手3點擊虛擬3D控制畫面4時，手勢識別單元也可根據圖像(圖像採集單元5相對裸眼3D顯示單元I的位置顯然也已知)確認其所點擊的空間位置(即手3的位置)，進而確認與點擊位置對應的虛擬3D控制畫面4的位置，也就是確定與用戶手勢對應的控制指令；這樣，手勢識別單元即可將該控制指令發送給相應的執行單元，使該執行單元執行響應指令，實現控制。
[0067]其中，「執行單元」是指可執行相應控制指令的任何單元，例如，對換臺指令，執行單元就是裸眼3D顯示單元1，而對改變音量的指令，執行單元就是發聲單元。
[0068]如前所述，若用戶與裸眼3D顯示單元I的相對位置不確定(即未進行步驟S03)，則可以按照默認位置判斷用戶位置；或者，也可通過判斷用戶的手與其身體的相對位置關係判斷用戶要點擊什麼位置(因為虛擬3D控制畫面4與用戶的相對位置關係是已知的)。
[0069]本實施例還提供一種可使用上述的方法進行控制的顯示裝置，其包括:
[0070]用於進行顯示的裸眼3D顯示單元1，其用於顯示虛擬3D控制畫面4，所述虛擬3D控制畫面4與用戶眼睛2間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元I與用戶眼睛2間的距離；
[0071]圖像採集單元5，其用於採集用戶對虛擬3D控制畫面4的點擊動作的圖像；
[0072]手勢識別單元，其用於根據圖像採集單元5所採集的圖像判斷用戶對虛擬3D控制畫面4的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
[0073]優選的，裸眼3D顯示單元I為電視或電腦顯示屏。
[0074]優選的，裸眼3D顯示單元I為光柵式3D顯示單元、稜鏡膜式3D顯示單元、指向光源式3D顯示單元中的任意一種。
[0075]優選的，顯示裝置還包括:定位單元，用於判斷用戶相對裸眼3D顯示單元I的位置。
[0076]進一步優選的，定位單元用於對由圖像採集單元5採集的圖像進行分析，從而判斷用戶相對裸眼3D顯示單元I的位置。[0077]實施例2:
[0078]本實施例提供一種手勢識別方法，其包括:
[0079]裸眼3D顯示單元顯示虛擬3D控制畫面，其中，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離；
[0080]圖像採集單元採集用戶對虛擬3D控制畫面的點擊動作的圖像；
[0081]手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
[0082]也就是說，上述的手勢識別方法並不限於控制顯示裝置，其也可用於控制其他裝置，只要手勢識別單元將控制指令發送(如通過無線方式)給相應的裝置即可；例如，可通過一套專門的手勢識別系統對電視、電腦、空調、洗衣機等許多裝置進行統一控制。
[0083]可以理解的是，以上實施方式僅僅是為了說明本發明的原理而採用的示例性實施方式，然而本發明並不局限於此。對於本領域內的普通技術人員而言，在不脫離本發明的精神和實質的情況下，可以做出各種變型和改進，這些變型和改進也視為本發明的保護範圍。
【權利要求】
1.一種顯示裝置的控制方法，其特徵在於，包括: 裸眼3D顯示單元顯示虛擬3D控制畫面，其中，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離； 圖像採集單元採集用戶對虛擬3D控制畫面的點擊動作的圖像； 手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
2.根據權利要求1所述的顯示裝置的控制方法，其特徵在於， 所述第一距離小於等於用戶手臂的長度。
3.根據權利要求1所述的顯示裝置的控制方法，其特徵在於， 所述第一距離小於等於0.5米且大於等於0.25米。
4.根據權利要求1所述的顯示裝置的控制方法，其特徵在於， 所述虛擬3D控制畫面為整個顯示畫面； 或 所述虛擬3D控制畫面為顯示畫面的一部分。
5.根據權利要求1所述的顯示裝置的控制方法，其特徵在於， 所述虛擬3D控制畫面分為 至少兩個區域，每個區域對應I個控制指令。
6.根據權利要求1至5中任意一項所述的顯示裝置的控制方法，其特徵在於， 在手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置之前，還包括:定位單元判斷用戶相對裸眼3D顯示單元的位置； 手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置包括:手勢識別單元根據圖像採集單元所採集的圖像，以及用戶相對裸眼3D顯示單元的位置判斷用戶對虛擬3D控制畫面的點擊位置。
7.根據權利要求6所述的顯示裝置的控制方法，其特徵在於，定位單元判斷用戶相對裸眼3D顯示單元的位置包括: 定位單元對由圖像採集單元採集的圖像進行分析，從而判斷用戶相對裸眼3D顯示單元的位置。
8.一種顯示裝置，其特徵在於，包括: 裸眼3D顯示單元，其用於顯示虛擬3D控制畫面，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離；圖像採集單元，其用於採集用戶對虛擬3D控制畫面的點擊動作的圖像； 手勢識別單元，其用於根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對應的控制指令發送給相應的執行單元。
9.根據權利要求8所述的顯示裝置，其特徵在於， 所述裸眼3D顯示單元為電視或電腦顯示屏。
10.根據權利要求8所述的顯示裝置，其特徵在於， 所述裸眼3D顯示單元為光柵式3D顯示單元、稜鏡膜式3D顯示單元、指向光源式3D顯示單元中的任意一種。
11.根據權利要求8至10中任意一項所述的顯示裝置，其特徵在於，還包括: 定位單元，其用於判斷用戶相對裸眼3D顯示單元的位置。
12.根據權利要求11所述的顯示裝置，其特徵在於， 所述定位單元用於對由圖像採集單元採集的圖像進行分析，從而判斷用戶相對裸眼3D顯示單元的位置。
13.一種手勢識別方法，其特徵在於，包括: 裸眼3D顯示單元顯示虛擬3D控制畫面，其中，所述虛擬3D控制畫面與用戶眼睛間的虛擬距離等於第一距離，所述第一距離小於裸眼3D顯示單元與用戶眼睛間的距離； 圖像採集單元採集用戶對虛擬3D控制畫面的點擊動作的圖像； 手勢識別單元根據圖像採集單元所採集的圖像判斷用戶對虛擬3D控制畫面的點擊位置，並將點擊位置所對 應的控制指令發送給相應的執行單元。
【文檔編號】G06F3/01GK103529947SQ201310529219
【公開日】2014年1月22日 申請日期:2013年10月31日 優先權日:2013年10月31日
【發明者】冷長林 申請人:京東方科技集團股份有限公司