一種終端的操作方法及終端的製作方法

2023-05-03 22:13:16 1

專利名稱：一種終端的操作方法及終端的製作方法
技術領域：
本發明涉及終端技術領域，尤其涉及一種終端的操作方法及終端。
背景技術：
隨著終端技術的不斷發展，目前許多的終端都開始支持諸如鍵盤輸入、觸控螢幕輸入、語音輸入等人機互動方式。在人機互動過程中，大部分會使用手指完成對終端的信息輸入操作，其中一類是通過觸控螢幕實現手指觸摸輸入，通過手指(或觸摸筆)觸控螢幕幕實現對 終端的輸入操作，支持單點和多點輸入，使用起來簡單方便，但是，在使用觸控螢幕輸入時，手指接觸屏幕時會遮擋部分屏幕，影響用戶對終端屏幕上顯示內容的整體觀看。

發明內容
本發明實施例提供了一種終端的操作方法及終端，用以實現在不接觸終端屏幕的情況下，對終端屏幕上的信息進行操作的目的。本發明實施例提供的一種終端的操作方法，包括分別監測用戶使用的未接觸終端屏幕的多個顏色標籤在終端攝像頭前的位置變化；所述各顏色標籤通過不同顏色區分；當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作。本發明實施例還提供了一種終端，包括監測模塊，用於分別監測用戶使用的未接觸終端屏幕的多個顏色標籤在終端攝像頭前的位置變化；所述各顏色標籤通過不同顏色區分；操作執行模塊，用於當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作。本發明實施例提供的一種終端的操作方法及終端，通過使用攝像頭捕捉未接觸終端屏幕的多個顏色標籤的位置變化，利用終端的識別技術確定多個顏色標籤的位置變化，從而根據各顏色標籤的位置變化滿足的設定條件，在終端屏幕上執行相對應的操作。由於本發明實施例提供的方案中多個顏色標籤並不接觸移動終端屏幕，實現類似於觸控螢幕的操作，方便用戶使用，同時不存在現有觸控螢幕在操作時會遮擋終端屏幕上顯示內容的問題。並且，在本發明實施例提供的方案中，由於把複雜的手指識別問題轉化為簡單的對不同顏色標籤的顏色識別問題，減少了終端識別手指軌跡的計算量，可以提高終端的運行效率。


圖I為本發明實施例提供的終端的操作方法的流程圖之一；圖2為本發明實施例提供的終端的操作方法的流程圖之二 ；圖3為本發明實施例提供的終端屏幕的示意圖；圖4為本發明實施例提供的終端的操作方法的流程圖之三；
圖5為本發明實施例提供的終端的結構示意圖。
具體實施例方式下面結合附圖，對本發明實施例提供的一種終端的操作方法及終端的具體實施方式
進行詳細地說明。本發明實施例提供的一種終端的操作方法，如圖I所示，具體流程包括S101、分別監測用戶使用的未接觸終端屏幕的多個顏色標籤在終端攝像頭前的位置變化；其中，各顏色標籤通過不同顏色區分；S102、當各顏色標籤的位置變化滿足設定條件時，按照預先設置的設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作。 上述方法中，用戶可以將不同顏色的顏色標籤粘貼在多個手指上，也可以在所使用的手套的各個手指上設置不同的顏色標籤，具體實現方式可能有多種，在此不限定具體米用哪種方式。在本發明實施例中，終端可以是諸如手機，筆記本之類的移動終端，也可以是常用PC之類的固定終端，在此不做限定。較佳地，在執行上述步驟SlOl之前，還需要進行執行下述步驟使得終端能夠識別各顏色標籤，如圖2所示，包括下述步驟3201、終糹而發出識別顏色標籤的指令；其中，該指令指不用戶逐一移動各顏色標籤，直至攝像頭拍攝到各顏色標籤移動到終端屏幕上的指定位置；S202、當通過攝像頭拍攝的一個顏色標籤位於指定位置時，確定指定位置的顏色；S203、通過確定出的指定位置的顏色，識別該顏色標籤；S204、判斷是否識別元全部顏色標籤，如果是，執彳了步驟S205 ;如果否，執彳了步驟S202 ；S205、發出結束識別顏色標籤的指令。其中，在上述步驟S201中，發出的識別顏色標籤的指令可以採用本領域技術人員公知的方式，例如在終端屏幕上彈出對話框，以提示用戶進行顏色標籤識別操作，在此不做具體限定。在終端發出識別顏色標籤的指令之後，用戶通過在終端屏幕上觀察攝像頭拍攝的顏色標籤的圖像，當顏色標籤的圖像到達終端屏幕上的指定位置，則停止移動顏色標籤，以便終端完成該顏色標籤的識別操作。終端屏幕上的指定位置，可以採用如圖3所示的終端屏幕的中心的方框實現，如圖3所示，方框的大小和具體在終端屏幕上的具體位置都是預先設定的。終端會通過確定出指定位置的顏色來識別當前顏色標籤，例如當確定方框內的顏色為紅色時，識別出第i個標籤的顏色為紅色。優選地，在執行上述步驟S202之後或者同時，還可以在當前顏色標籤在終端屏幕上的指定位置超過預設時間(比如2秒)時，還可以記錄當前顏色標籤在終端屏幕上的外接矩陣的初始面積Aitlt5上述步驟S201 S205無需在每次用戶對終端屏幕進行操作時之前都執行一遍，只需要在用戶第一次使用顏色標籤對終端屏幕操作之前執行一次即可。
較佳地，在本發明實施例提供的方法中步驟S102分別監測多個顏色標籤在攝像頭前的位置變化，在具體實施時，可通過對顏色標籤在三個方向上的坐標進行監測實現，具體過程如圖4所示，包括下述步驟S401、監測每個顏色標籤在終端屏幕中的坐標Zsi ；在本發明實施例中，每個顏色標籤在終端屏幕中的坐標Zsi的取值只能是兩個設定的值之一，其值的確定方法為先確定t時刻顏色標籤在終端屏幕上顯示的外接矩形的面積Ait，然後將顏色標籤的外接矩形的面積Ait與設定的初始面積 Aitl進行比較當Ait > Ai0時，確定該顏色標籤在終端屏幕中的坐標Zsi為設定的數值一 A，例如可以取值為O (當然也可以取值為1，在此以取值為O為例)，表示該顏色標籤接近攝像頭，類似於現有技術中手指接觸觸控螢幕的狀態；當Ait ( Ai0時，確定該顏色標籤在終端屏幕中的坐標Zsi為設定的數值二 B，例如可以是I (當然也可以取值為0，在此以取值為I為例)，表示該顏色標籤遠離攝像頭，類似於現有技術中手指沒有接觸觸控螢幕的狀態。在本發明實施例下面的描述中都將以當Ait SAitl時確定坐標ZsiSO,當Ait彡A^1時確定坐標Zsi為I為例說明。S402、確定終端當前操作狀態是否為連續輸入模式；若是，執行步驟S403，若否，執行步驟S404 ；S403、當監測到的顏色標籤的坐標Zsi從I變為O時，開始持續記錄由該顏色標籤在終端屏幕中的坐標Xsi和Ysi組成的坐標序列Spi,直至該顏色標籤的坐標Zsi從O變為I時停止記錄；S404、當顏色標籤的坐標Zsi發生變化時，記錄該顏色標籤當前時刻在終端屏幕中的坐標Xsi和Ysit5其中，步驟S403或S404中的每個顏色標籤在終端屏幕中的坐標Xsi和Ysi可以通過下述方式確定先確定顏色標籤在攝像頭獲取的圖像中的坐標Xci和Yci,此坐標可以定義為此顏色標籤的外接矩形的中心點在攝像頭獲取的圖像中的坐標；然後可以根據下述公式計算出該顏色標籤在終端屏幕中的坐標Xsi和Ysi Xsi = SwXXcj/Cw, Ysi = ShX Ycj/Ch ；上式中，Sw和Sh分別為終端屏幕的寬度和高度，Cw和Ch分別為攝像頭獲取的圖像的寬度和高度。在本發明實施例提供的方法中的步驟S102當各顏色標籤的位置變化滿足設定條件時，按照預先設置的設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，可以包含多種情況，下面分情況逐一說明。第一種情況終端判斷當前操作狀態為連續輸入模式，將會判斷是否僅存在一個顏色標籤的坐標Zsi從I變為0，如果是，就會在終端屏幕上執行顯示該顏色標籤的坐標序列Spi所在點的操作。第二種情況終端判斷當前操作狀態為非連續輸入模式，將會判斷在設定時間(如I秒)內顏色標籤的坐標Zsi從I變為O的個數，通過判斷出的個數的不同，相應的再對坐標Zsi從I變為O的顏色標籤的位置變化滿足的條件進行判斷，並根據預先設置的條件與各操作之間的對應關係，在終端上執行相應的操作，例如點擊、滑動、縮放和旋轉等操作，具體包括以下幾種I、判斷出在設定時間內僅存在一個顏色標籤的坐標Zsi從I變為O的情況確定出顏色標籤的坐標Zsi從I變為O時的坐標Xsil和Ysil,以及該顏色標籤的坐標Zsi從O變為I時的坐標Xsi2和Ysi2，進行如下判斷，當滿足條件時進行相應的操作當滿足I Xsil-Xsi21 < Tc和I Ysil-Ysi21 < Tc的條件時，對終端屏幕執行點擊操作；其中，Tc表示設置的點擊操作的防抖動閾值，優選地，其值可以設置為10 ；當滿足Xsi2-Xsil | Ysi2-Ysil |的條件時，對終端屏幕執行向左滑動操作；其中，Tm表示設置的滑動操作的防抖動閾值，優選地，其值可以設置為30 ；當滿足Xsi2-Xsil > Tm和|Xsi2-Xsn| > Ysi2-Ysil的條件時，對終端屏幕執行向·右滑動操作；當滿足Ysi2-Ysil | Xsi2-Xsil |的條件時，對終端屏幕執行向上滑動操作；當滿足Ysi2-Ysil > Tm和Ysi2-Ysil > Xsi2-Xsil的條件時,對終端屏幕進行向下滑動操作；2、判斷出在設定時間內存在兩個顏色標籤的坐標Zsi從I變為O的情況確定出當兩個顏色標籤的坐標Zsi都從I變為O時，他們在終端屏幕上的距離Dis1 ;當兩個顏色標籤的坐標Zsi都從O變為I時，他們在終端屏幕上的距離Dis2 ；當滿足Dis2 > Dis1條件時，對終端屏幕執行放大操作；當滿足Dis2 Sum1的條件時,對終端屏幕執行放大操作；當滿足Sum2 < Sum1的條件時，對終端屏幕執行縮小操作。確定出當兩個以上顏色標籤的坐標Zsi都從I變為O時，他們在終端屏幕上組成的外接多邊形Poly1 ;當兩個以上顏色標籤的坐標Zsi都從O變為I時，他們在終端屏幕上組成的外接多邊形Poly2 ；當滿足Poly2相對於Poly1的旋轉角度大於O的條件時，對終端屏幕執行順時針旋轉操作；
當滿足Poly2相對於Poly1的旋轉角度小於O的條件時，對終端屏幕執行逆時針旋轉操作。較佳地，在上述的三種情況中，在對終端屏幕執行操作之前，還可以對各顏色標籤的位置變化進行抖動識別，過濾一些由於抖動而引起的誤操作，具體地，可以通過下述方式實現確定顏色標籤在坐標Zsi從I變為O時的外接矩形的面積Ai1，在坐標Zsi從O變為I時的外接矩形的面積Ai2 ;坐標Zsi從O變為I時的時間值Pi1，坐標Zsi從I變為O時的時間值Pi2 ;判斷各顏色標籤是否滿足IAi1-Ai2I X Pi1-Pi2 < Td的條件，其中Td表示設置的防抖動閾值；
若是，判斷為該顏色標籤發生抖動，忽略其發生的位置變化，且不在終端屏幕上執行任何操作；若否，判斷為該顏色標籤未發生抖動，轉向上述各種情況判斷該顏色標籤的位置變化是否滿足設定條件的步驟。基於同一發明構思，本發明實施例還提供了一種終端，由於該終端解決問題的原理與前述一種終端的操作方法相似，因此該終端的實施可以參見方法的實施，重複之處不再贅述。本發明實施例提供的一種終端，如圖5所示，包括監測模塊501，用於分別監測用戶使用的未接觸終端屏幕的多個顏色標籤在終端攝像頭前的位置變化；其中，各顏色標籤通過不同顏色區分；操作執行模塊502，用於當各顏色標籤的位置變化滿足設定條件時，按照預先設置的設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作。進一步地，本發明實施例提供的上述終端，如圖5所示，還包括識別模塊503，用於發出識別顏色標籤的指令；其中，該指令指示用戶逐一移動各顏色標籤，直至攝像頭拍攝到各顏色標籤移動到終端屏幕上的指定位置；當通過攝像頭拍攝的第i個顏色標籤位於指定位置時，確定指定位置的顏色；通過確定出的指定位置的顏色，識別第i個顏色標籤。較佳地，本發明實施例提供的終端中的監測模塊501，如圖5所示，具體包括第一監測子模塊5011，用於監測第i個顏色標籤在終端屏幕中的坐標Zsi ;其中，坐標Zsi為A或B ;狀態確定子模塊5012，用於確定終端當前操作狀態是否為連續輸入模式；第二監測子模塊5013，用於在終端當前操作狀態為連續輸入模式，且當第i個顏色標籤的坐標Zsi從B變為A時，開始持續記錄由第i個顏色標籤在終端屏幕中的坐標Xsi和Ysi組成的坐標序列Spi,直至第i個顏色標籤的坐標Zsi從A變為B時停止記錄；第三監測子模塊5014，用於在終端當前操作狀態為非連續輸入模式，且第i個顏色標籤的坐標Zsi發生變化時，記錄第i個顏色標籤當前時刻在終端屏幕中的坐標Xsi和Ysi0較佳地，本發明實施例提供的終端中的操作執行模塊502，具體用於在終端當前操作狀態為連續輸入模式，且滿足當各顏色標籤中存在第i個顏色標籤的坐標Zsi從B變為A的條件時，在終端屏幕上執行顯示坐標序列Spi所在點的操作。較佳地，本發明實施例提供的終端中的操作執行模塊502，具體用於在終端當前操作狀態為非連續輸入模式，且存在第i個顏色標籤的坐標Zsi從B變為A的情況下，執行當顏色標籤的位置變化滿足I Xsil-Xsi21 < Tc和I Ysil-Ysi21 < Tc的條件時，對終端屏.執行點擊操作；當顏色標籤的位置變化滿足Xsi2-Xsil | Ysi2-Ysil |的條件時，對終端屏幕執行向左滑動操作；當顏色標籤的位置變化滿足Xsi2-Xsil > Tm和I Xsi2-Xsil | > Ysi2-Ysil |的條件時，對終端屏幕執行向右滑動操作；當顏色標籤的位置變化滿足Ysi2-Ysil | Xsi2-Xsil |的條件時，對終端屏.執彳丁向上滑動 呆作；當顏色標籤的位置變化滿足Ysi2-Ysil > Tm和I Ysi2-Ysil | > Xsi2-Xsil |的條件時，對終端屏幕進行向下滑動操作；·上式中，Xsil和Ysil分別表示第i個顏色標籤的坐標Zsi從B變為A時的x軸坐標和I軸坐標，Xsi2和Ysi2分別表示第i個顏色標籤的坐標Zsi從A變為B時的X軸坐標和Y軸坐標，Tc表示設置的點擊操作的防抖動閾值，Tm表示設置的滑動操作的防抖動閾值。較佳地，本發明實施例提供的終端中的操作執行模塊502，具體用於在終端當前操作狀態為非連續輸入模式，且存在兩個顏色標籤的坐標Zsi從B變為A的情況下當兩個顏色標籤之間滿足Dis2 > DDis1的條件時，對終端屏幕執行放大操作；當兩個顏色標籤之間滿足Dis2 Sum1的條件時，對終端屏幕執行放大操作；當兩個以上顏色標籤之間滿足Sum2 < Sum1的條件時，對終端屏幕執行縮小操作；上式中，Sum1表示兩個以上顏色標籤的坐標Zsi從B變為A時，兩個以上顏色標籤在終端屏幕上組成的外接多邊形的重心到兩個以上顏色標籤坐標點的距離之和；Sum2表示兩個以上顏色標籤的坐標Zsi從A變為B時，兩個以上顏色標籤在終端屏幕上組成的外接多邊形的重心到兩個以上顏色標籤坐標點的距離之和；當兩個以上顏色標籤之間滿足下述條件時，對終端屏幕執行順時針旋轉操作Poly2相對於Poly1的旋轉角度大於O ;當兩個以上顏色標籤之間滿足下述條件時，對終端屏幕執行逆時針旋轉操作Poly2相對於Poly1的旋轉角度小於O ;上式中，Poly1表示兩個以上顏色標籤的坐標Zsi從B變為A時，兩個以上顏色標籤在終端屏幕上組成的外接多邊形；Poly2表示兩個以上顏色標籤的坐標Zsi從A變為B時，兩個以上顏色標籤在終端屏幕上組成的外接多邊形。較佳地，本發明實施例提供的終端中的操作執行模塊502，還用於判斷各顏色標籤是否滿足下述條件IAi1-Ai2I X IPi1-Pi2 <Td ;若是，判斷該顏色標籤發生抖動，忽略其發生的位置變化，且不在終端屏幕上執行任何操作；若否，判斷該顏色標籤未發生抖動，轉向各判斷該顏色標籤的位置變化是否滿足設定條件的步驟；其中，Ai1表示第i個顏色標籤在坐標Zsi從B變為A時的外接矩形的面積，Ai2表示第i個顏色標籤在坐標Zsi從A變為B時的外接矩形的面積，Pi1表示第i個顏色標籤的坐標Zsi從B變為A時的時間點，Pi2表示第i個顏色標籤的坐標Zsi從A變為B時的時間點，Td表示設置的防抖動閾值。 本發明實施例提供的一種終端的操作方法及終端，通過使用攝像頭捕捉未接觸終端屏幕的多個顏色標籤的位置變化，利用終端的識別技術確定多個顏色標籤的位置變化，從而根據各顏色標籤的位置變化滿足的設定條件，在終端屏幕上執行相對應的操作。由於本發明實施例提供的方案中多個顏色標籤並不接觸移動終端屏幕，實現類似於觸控螢幕的操作，方便用戶使用，同時不存在現有觸控螢幕在操作時會遮擋終端屏幕上顯示內容的問題。並且，在本發明實施例提供的方案中，由於把複雜的手指識別問題轉化為簡單的對不同顏色標籤的顏色識別問題，減少了終端識別手指軌跡的計算量，可以提高終端的運行效率。顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
1.一種終端的操作方法，其特徵在於，包括 分別監測用戶使用的未接觸終端屏幕的多個顏色標籤在終端攝像頭前的位置變化；所述各顏色標籤通過不同顏色區分； 當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作。
2.如權利要求I所述的方法，其特徵在於，在所述分別監測多個顏色標籤在攝像頭前的位置變化之前，還包括 發出識別顏色標籤的指令；其中，所述指令指示用戶逐一移動各顏色標籤，直至攝像頭拍攝到各顏色標籤移動到終端屏幕上的指定位置； 當通過攝像頭拍攝的第i個顏色標籤位於所述指定位置時，確定所述指定位置的顏色； 通過確定出的所述指定位置的顏色，識別所述第i個顏色標籤。
3.如權利要求I所述的方法，其特徵在於，所述分別監測多個顏色標籤在攝像頭前的位置變化，具體包括 監測第i個顏色標籤在終端屏幕中的坐標Zsi ;其中，所述Zsi為A或B ; 確定終端當前操作狀態是否為連續輸入模式； 若是，則當監測到的所述第i個顏色標籤的坐標Zsi從B變為A時，開始持續記錄由所述第i個顏色標籤在終端屏幕中的坐標Xsi和Ysi組成的坐標序列Spi,直至所述第i個顏色標籤的坐標Zsi從A變為B時停止記錄； 若否，則當所述第i個顏色標籤的坐標Zsi發生變化時，記錄所述第i個顏色標籤當前時刻在終端屏眷中的坐標Xsi和Ysitl
4.如權利要求3所述的方法，其特徵在於，所述第i個顏色標籤在終端屏幕中的坐標Zsi,通過下述方式確定 確定t時刻所述第i個顏色標籤在終端屏幕上顯示的外接矩形的面積Ait ； 將所述外接矩形的面積Ait與設定的初始面積Aitl進行比較； 當Ait > Ai0時，確定弟i個顏色標籤在終端屏眷中的坐標Zsi為A ； 當Ait ( Ai0時，確定第i個顏色標籤在終端屏幕中的坐標Zsi為B。
5.如權利要求3所述的方法，其特徵在於，所述第i個顏色標籤在終端屏幕中的坐標Xsi和Ysi,通過下述方式確定 確定所述第i個顏色標籤在攝像頭獲取的圖像中的坐標Xci和Yci ； 根據下述公式計算出所述第i個顏色標籤在終端屏幕中的坐標Xsi和Ysi Xsi = SwXXcj/Cw, Ysi = ShX Ycj/Ch ； 上式中，Sw和Sh分別為終端屏幕的寬度和高度，Cw和Ch分別為攝像頭獲取的圖像的寬度和高度。
6.如權利要求5所述的方法，其特徵在於，所述確定所述第i個顏色標籤在攝像頭獲取的圖像中的坐標Xci和Yci,具體包括 計算出所述第i個顏色標籤的外接矩形的中心點在攝像頭獲取的圖像中的坐標； 將所述外接矩形的中心點的坐標確定為所述第i個顏色標籤在攝像頭獲取的圖像中的坐標Xci和Ycit5
7.如權利要求3所述的方法，其特徵在於，當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，具體包括 終端當前操作狀態為連續輸入模式，且滿足當各顏色標籤中存在第i個顏色標籤的坐標Zsi從B變為A的條件時，在終端屏幕上執行顯示所述坐標序列Spi所在點的操作。
8.如權利要求3所述的方法，其特徵在於，當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，具體包括 在終端當前操作狀態為非連續輸入模式，且存在第i個顏色標籤的坐標Zsi從B變為A的情況下，執行 當所述顏色標籤的位置變化滿足IXsil-Xsi2I <Tc和|Ysn-Ysi2| < Tc的條件時，對終端屏.執行點擊操作； 當所述顏色標籤的位置變化滿足Xsi2-Xsil Ysi2-Ysil的條件時，對終端屏幕執行向左滑動操作； 當所述顏色標籤的位置變化滿足Xsi2-Xsil > Tm和|Xsi2-Xsn| > Ysi2-Ysil的條件時，對終端屏幕執行向右滑動操作； 當所述顏色標籤的位置變化滿足Ysi2-Ysil Xsi2-Xsil的條件時，對終端屏.執彳丁向上滑動 呆作； 當所述顏色標籤的位置變化滿足Ysi2-Ysil > Tm和|Ysi2-Ysn| > Xsi2-Xsil的條件時，對終端屏幕進行向下滑動操作； 上式中，Xsil和Ysil分別表示所述第i個顏色標籤的坐標Zsi從B變為A時的X軸坐標和I軸坐標，Xsi2和Ysi2分別表示所述第i個顏色標籤的坐標Zsi從A變為B時的X軸坐標和I軸坐標，Tc表示設置的點擊操作的防抖動閾值，Tm表示設置的滑動操作的防抖動閾值。
9.如權利要求3所述的方法，其特徵在於，當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，具體包括 在終端當前操作狀態為非連續輸入模式，且存在兩個顏色標籤的坐標Zsi從B變為A的情況下 當所述兩個顏色標籤之間滿足Dis2 > Dis1的條件時，對終端屏幕執行放大操作； 當所述兩個顏色標籤之間滿足Dis2 < Dis1的條件時，對終端屏幕執行縮小操作； 上式中，Dis1表示所述兩個顏色標籤的坐標Zsi都從B變為A時，所述兩個顏色標籤在終端屏幕上的距離；Dis2表示所述兩個顏色標籤的坐標Zsi都從A變為B時，所述兩個顏色標籤在終端屏幕上的距離。
10.如權利要求3所述的方法，其特徵在於，當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，具體包括 在終端當前操作狀態為非連續輸入模式，且存在兩個顏色標籤的坐標Zsi從B變為A的情況下當所述兩個顏色標籤之間滿足Line2相對於Line1的旋轉角度大於O的條件時，對終端屏幕執行順時針旋轉操作； 當所述兩個顏色標籤之間滿足Line2相對於Line1的旋轉角度小於O的條件時，對終端屏幕執行逆時針旋轉操作； 上式中，Line1表示所述兩個顏色標籤的坐標Zsi從B變為A時，所述兩個顏色標籤在終端屏幕上相連後形成的直線；Line2表示所述兩個顏色標籤的坐標Zsi從A變為B時，所述兩個顏色標籤在終端屏幕上相連後形成的直線。
11.如權利要求3所述的方法，其特徵在於，當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，具體包括 當終端當前操作狀態為非連續輸入模式，且存在兩個以上顏色標籤的坐標Zsi都從B變為A的情況下當所述兩個以上顏色標籤之間滿足Sum2 > Sum1的條件時，對終端屏幕執行放大操作；當所述兩個以上顏色標籤之間滿足Sum2 < Sum1的條件時，對終端屏幕執行縮小操作；上式中，Sum1表示所述兩個以上顏色標籤的坐標Zsi從B變為A時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形的重心到所述兩個以上顏色標籤坐標點的距離之和；Sum2表示所述兩個以上顏色標籤的坐標Zsi從A變為B時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形的重心到所述兩個以上顏色標籤坐標點的距離之和。
12.如權利要求3所述的方法，其特徵在於，當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作，具體包括 當終端當前操作狀態為非連續輸入模式，且存在兩個以上顏色標籤的坐標Zsi都從B變為A的情況下 當所述兩個以上顏色標籤之間滿足Poly2相對於Poly1的旋轉角度大於O的條件時，對終端屏幕執行順時針旋轉操作； 當所述兩個以上顏色標籤之間滿足Poly2相對於Poly1的旋轉角度小於O的條件時，對終端屏幕執行逆時針旋轉操作； 上式中，Poly1表示所述兩個以上顏色標籤的坐標Zsi從B變為A時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形；Poly2表示所述兩個以上顏色標籤的坐標Zsi從A變為B時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形。
13.如權利要求7-12任一項所述的方法，其特徵在於，所述當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作之前，還包括 判斷所述各顏色標籤是否滿足下述條件IAi1-Ai2I X IPi1-Pi2 < Td ； 若是，判斷該顏色標籤發生抖動，忽略其發生的位置變化，且不在終端屏幕上執行任何操作； 若否，判斷該顏色標籤未發生抖動，轉向各判斷該顏色標籤的位置變化是否滿足設定條件的步驟； 其中，Ai1表示第i個顏色標籤在坐標Zsi從B變為A時的外接矩形的面積，Ai2表示第i個顏色標籤在坐標Zsi從A變為B時的外接矩形的面積，Pi1表示第i個顏色標籤的坐標Zsi從B變為A時的時間點，Pi2表示第i個顏色標籤的坐標Zsi從A變為B時的時間點，Td表示設置的防抖動閾值。
14.一種終端，其特徵在於，包括 監測模塊，用於分別監測用戶使用的未接觸終端屏幕的多個顏色標籤在終端攝像頭前的位置變化；所述各顏色標籤通過不同顏色區分； 操作執行模塊，用於當所述各顏色標籤的位置變化滿足設定條件時，按照預先設置的所述設定條件與各操作之間的對應關係，在終端屏幕上執行相應的操作。
15.如權利要求14所述的終端，其特徵在於，還包括 識別模塊，用於發出識別顏色標籤的指令；其中，所述指令指示用戶逐一移動各顏色標籤，直至攝像頭拍攝到各顏色標籤移動到終端屏幕上的指定位置；當通過攝像頭拍攝的第i個顏色標籤位於所述指定位置時，確定所述指定位置的顏色；通過確定出的所述指定位置的顏色，識別所述第i個顏色標籤。
16.如權利要求14所述的終端，其特徵在於，所述監測模塊具體包括 第一監測子模塊，用於監測第i個顏色標籤在終端屏幕中的坐標Zsi ;其中，所述Zsi為A或B ; 狀態確定子模塊，用於確定終端當前操作狀態是否為連續輸入模式； 第二監測子模塊，用於在終端當前操作狀態為連續輸入模式，且當所述第i個顏色標籤的坐標Zsi從B變為A時，開始持續記錄由所述第i個顏色標籤在終端屏幕中的坐標Xsi和Ysi組成的坐標序列Spi,直至所述第i個顏色標籤的坐標Zsi從A變為B時停止記錄；第三監測子模塊，用於在終端當前操作狀態為非連續輸入模式，且所述第i個顏色標籤的坐標Zsi發生變化時，記錄所述第i個顏色標籤當前時刻在終端屏幕中的坐標Xsi和Ysi0
17.如權利要求16所述的終端，其特徵在於，所述操作執行模塊，具體用於在終端當前操作狀態為連續輸入模式，且滿足當各顏色標籤中存在第i個顏色標籤的坐標Zsi從B變為A的條件時，在終端屏幕上執行顯示所述坐標序列Spi所在點的操作。
18.如權利要求16所述的終端，其特徵在於，所述操作執行模塊，具體用於在終端當前操作狀態為非連續輸入模式，且存在第i個顏色標籤的坐標Zsi從B變為A的情況下，執行 當所述顏色標籤的位置變化滿足IXsil-Xsi2I <Tc和|Ysn-Ysi2| < Tc的條件時，對終端屏.執行點擊操作； 當所述顏色標籤的位置變化滿足Xsi2-Xsil Ysi2-Ysil的條件時，對終端屏幕執行向左滑動操作； 當所述顏色標籤的位置變化滿足Xsi2-Xsil > Tm和|Xsi2-Xsn| > Ysi2-Ysil的條件時，對終端屏幕執行向右滑動操作； 當所述顏色標籤的位置變化滿足Ysi2-Ysil Xsi2-Xsil的條件時，對終端屏.執彳丁向上滑動 呆作； 當所述顏色標籤的位置變化滿足Ysi2-Ysil > Tm和|Ysi2-Ysn| > Xsi2-Xsil的條件時，對終端屏幕進行向下滑動操作； 上式中，Xsil和Ysil分別表示所述第i個顏色標籤的坐標Zsi從B變為A時的X軸坐標和I軸坐標，Xsi2和Ysi2分別表示所述第i個顏色標籤的坐標Zsi從A變為B時的X軸坐標和I軸坐標，Tc表示設置的點擊操作的防抖動閾值，Tm表示設置的滑動操作的防抖動閾值。
19.如權利要求16所述的終端，其特徵在於，所述操作執行模塊，具體用於在終端當前操作狀態為非連續輸入模式，且存在兩個顏色標籤的坐標Zsi從B變為A的情況下 當所述兩個顏色標籤之間滿足Dis2 > Dis1的條件時，對終端屏幕執行放大操作； 當所述兩個顏色標籤之間滿足Dis2 < Dis1的條件時，對終端屏幕執行縮小操作； 上式中，Dis1表示所述兩個顏色標籤的坐標Zsi都從B變為A時，所述兩個顏色標籤在終端屏幕上的距離；Dis2表示所述兩個顏色標籤的坐標Zsi都從A變為B時，所述兩個顏色標籤在終端屏幕上的距離； 當所述兩個顏色標籤之間滿足Line2相對於Line1的旋轉角度大於O的條件時，對終端屏幕執行順時針旋轉操作； 當所述兩個顏色標籤之間滿足Line2相對於Line1的旋轉角度小於O的條件時，對終端屏幕執行逆時針旋轉操作； 上式中，Line1表示所述兩個顏色標籤的坐標Zsi從B變為A時，所述兩個顏色標籤在終端屏幕上相連後形成的直線；Line2表示所述兩個顏色標籤的坐標Zsi從A變為B時，所述兩個顏色標籤在終端屏幕上相連後形成的直線。
20.如權利要求16所述的終端，其特徵在於，所述操作執行模塊，具體用於當終端當前操作狀態為非連續輸入模式，且存在兩個以上顏色標籤的坐標Zsi都從B變為A的情況下當所述兩個以上顏色標籤之間滿足Sum2 > Sum1的條件時，對終端屏幕執行放大操作；當所述兩個以上顏色標籤之間滿足Sum2 < Sum1的條件時，對終端屏幕執行縮小操作；上式中，Sum1表示所述兩個以上顏色標籤的坐標Zsi從B變為A時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形的重心到所述兩個以上顏色標籤坐標點的距離之和；Sum2表示所述兩個以上顏色標籤的坐標Zsi從A變為B時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形的重心到所述兩個以上顏色標籤坐標點的距離之和； 當所述兩個以上顏色標籤之間滿足下述條件時，對終端屏幕執行順時針旋轉操作Poly2相對於Poly1的旋轉角度大於O ; 當所述兩個以上顏色標籤之間滿足下述條件時，對終端屏幕執行逆時針旋轉操作Poly2相對於Poly1的旋轉角度小於O ; 上式中，Poly1表示所述兩個以上顏色標籤的坐標Zsi從B變為A時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形；Poly2表示所述兩個以上顏色標籤的坐標Zsi從A變為B時，所述兩個以上顏色標籤在終端屏幕上組成的外接多邊形。
21.如權利要求17-20任一項所述的終端，其特徵在於，所述操作執行模塊，還用於判斷所述各顏色標籤是否滿足下述條件IAi1-Ai2I X IPi1-Pi2 < Td ； 若是，判斷該顏色標籤發生抖動，忽略其發生的位置變化，且不在終端屏幕上執行任何操作； 若否，判斷該顏色標籤未發生抖動，轉向各判斷該顏色標籤的位置變化是否滿足設定條件的步驟； 其中，Ai1表示第i個顏色標籤在坐標Zsi從B變為A時的外接矩形的面積，Ai2表示第i個顏色標籤在坐標Zsi從A變為B時的外接矩形的面積，Pi1表示第i個顏色標籤的坐標Zsi從B變為A時的時間點，Pi2表示第i個顏色標籤的坐標Zsi從A變為B時 的時間點，Td表示設置的防抖動閾值。
全文摘要
本發明公開了一種終端的操作方法及終端，通過使用攝像頭捕捉未接觸終端屏幕的多個顏色標籤的位置變化，利用終端的識別技術確定多個顏色標籤的位置變化，從而根據各顏色標籤的位置變化滿足的設定條件，在終端屏幕上執行相對應的操作。由於本發明實施例提供的方案中多個顏色標籤並不接觸移動終端屏幕，實現類似於觸控螢幕的操作，方便用戶使用，同時不存在現有觸控螢幕在操作時會遮擋終端屏幕上顯示內容的問題。並且，在本發明實施例提供的方案中，由於把複雜的手指識別問題轉化為簡單的對不同顏色標籤的顏色識別問題，減少了終端識別手指軌跡的計算量，可以提高終端的運行效率。
文檔編號G06F3/01GK102955564SQ20111024724
公開日2013年3月6日 申請日期2011年8月25日 優先權日2011年8月25日
發明者柳陽 申請人:中國移動通信集團公司