利用氣流對界面進行操作的方法及其設備的製作方法
2023-12-02 06:33:16 3
專利名稱：利用氣流對界面進行操作的方法及其設備的製作方法
技術領域：
本發明涉及通信領域，尤其涉及一種利用氣流對界面進行操作的方法及其設 備。
背景技術：
在作業系統中，用戶界面是人機互動的直接體現之一。用戶界面的操作效率直 接關係到人機互動的效果。如果用戶界面操作過程複雜，作業系統反應遲緩，往往會降 低作業系統對用戶的吸引力和系統本身的可用度；相反，操作過程簡易有效、靈敏度高 則會提高用戶使用效率，增強用戶體驗滿意度。現有的鍵盤操作方式由於其交互模式固 定，已經出現了用戶體驗單一的問題，甚至在某些環境下，無法滿足人機互動的要求。另一方面，隨著人機互動的發展，越來越多新技術輔助肢體動作和手勢開始逐 漸替代傳統的按鍵操作，如觸控螢幕、多點觸摸、重力感應等，極大地提高了人機互動的 效率。但是，這些新技術多是對於手勢的支持，而在人機互動領域，聲音和氣流作為典 型的人體信息輸出，可以有效地將信息傳遞給機器，由機器處理後完成人指定其完成的 動作。尤其是在人肢體無法去對機器進行操作時，其他控制交互則顯得尤為重要。目前，利用吹氣音已經可以有效的對PC的用戶界面進行控制，如喬治亞理工計 算機學院的 ShwetakN.Patel and Gregory D.Abowd在 07 年UIST，07 發表的論文 「BLUI Low-cost Localized Blowable User Interfaces」中所描述的方法，通過麥克捕捉到吹氣所造 成的巨大聲音，經過機器學習後，作為事件來控制選取，圖標移動，滾屏等。該方法是 在用戶界面的屏幕周圍不超過IOcm的距離內設一個麥克作為接收傳感器，當用戶對屏幕 吹氣時，氣流接觸屏幕後產生反射，對於從屏幕的不同區域反射來的吹氣音，傳感器所 接收到吹氣音的相位和強度不同，由此可獲得來自各個屏幕區域的不同的聲音信號，從 而為訓練分類集提供了基礎。其所述的用戶界面控制方法的流程如
圖1所示，具體步驟如下步驟101、將用戶界面屏幕等分為η個區域；步驟102、用戶對屏幕進行吹氣，麥克接收該吹氣音，獲得聲音信號；步驟103、通過 SD-FFT (Sparse Data Fast Fourier Transform，短時離散傅立葉變 換)變換，將聲音信號由時域信號sω變換為頻域信號x(f，t)；步驟104、利用PCA(Principal Comonents Analysis,主成分分析)算法提取出 X(f，t)中的特徵值，算法描述如下x(f，t)可以表示為
xIl X12 八 xIp
v _ X21 X22 ^ X2p , Λ . _1]M M M M .......................................⑴
_Xnl Χη2 八 Χηρ _
權利要求
1.一種利用氣流控制操作用戶界面的方法，其特徵在於，設備屏幕被預先劃分為多 個區域，且屏幕周圍設置有多個能夠感知氣流方向的傳感器，該方法包括步驟接收各傳感器感知到的屏幕所反射的氣流的方向，根據各傳感器感知到的氣流方 向，確定出各傳感器到該氣流在屏幕上的反射位置的直線路徑，以及所述直線路徑的交點分別計算所述交點與每個屏幕區域的特徵點之間的空間距離，並將其中最小空間距 離所對應的屏幕區域在該屏幕上的位置確定為該氣流在屏幕上的反射位置；根據確定出的氣流在屏幕上的反射位置，對屏幕中顯示的用戶界面進行操作控制。
2.如權利要求1所述的方法，其特徵在於，對於所述各屏幕區域中的每個屏幕區域， 計算所述交點與該屏幕區域的特徵點之間的空間距離，具體為根據所述交點坐標以及該屏幕區域的特徵點坐標，分別計算每個交點與對應特徵點 之間的空間距離的平方；累加各交點與對應特徵點之間的空間距離的平方；將累加結果進行平方根運算，得到各交點與該屏幕區域的特徵點之間的空間距離。
3.如權利要求1所述的方法，其特徵在於，根據確定出的氣流在屏幕上的反射位置， 對屏幕中的界面進行操作，包括若在規定的時間內所確定出的反射位置都為同一位置，且該位置上有可選圖標，則 選中該位置上的圖標；若在規定時間內所確定出的反射位置從一個屏幕區域平滑變換至屏幕邊緣的區域， 且反射位置上沒有可選圖標，則執行界面翻頁操作。
4.如權利要求3所述的方法，其特徵在於，選中圖標後，若後續確定出的反射位置從 該圖標所在位置對應的屏幕區域平滑變換至其他屏幕區域，則被選中的圖標跟隨反射位 置的移動而移動。
5.如權利要求1-4任一項所述的方法，其特徵在於，每個屏幕區域的特徵點數量為 C2n+,其中，N為所述傳感器的數量。
6.如權利要求1-4任一項所述的方法，其特徵在於，所述傳感器分散設置在所述屏幕 的四周。
7.—種利用氣流控制操作用戶界面的設備，其特徵在於，包括 多個能夠感知氣流方向的傳感器，設置在屏幕周圍；交點確定單元，用於接收各傳感器感知到的屏幕所反射的氣流的方向，根據各傳感 器感知到的氣流方向，確定出各傳感器到該氣流在屏幕上的反射位置的直線路徑，以及 所述直線路徑的交點；位置確定單元，用於分別計算所述交點與每個屏幕區域的特徵點之間的空間距離， 並將其中最小空間距離所對應的屏幕區域在該屏幕上的位置確定為該氣流在屏幕上的反 射位置；界面控制單元，用於根據確定出的氣流在屏幕上的反射位置，對屏幕中顯示的用戶 界面進行操作控制。
8.如權利要求7所述的設備，其特徵在於，所述位置確定單元對於所述各屏幕區域中的每個屏幕區域，計算所述交點與該屏幕區域的特徵點之間的空間距離時根據所述交點坐標以及該屏幕區域的特徵點坐標，分別計算每個交點與對應特徵點 之間的空間距離的平方；累加各交點與對應特徵點之間的空間距離的平方；將累加結果進行平方根運算，得到各交點與該屏幕區域的特徵點之間的空間距離。
9.如權利要求7所述的設備，其特徵在於，所述界面控制單元對屏幕中的界面進行的 操作，包括若在規定的時間內所確定出的反射位置都為同一位置，且該位置上有可選圖標，則 選中該位置上的圖標；若在規定時間內所確定出的反射位置從一個屏幕區域平滑變換至屏幕邊緣的區域， 且反射位置上沒有可選圖標，則執行界面翻頁操作。
10.如權利要求9所述的設備，其特徵在於，所述界面控制單元選中圖標後，若後續 確定出的反射位置從該圖標所在位置對應的屏幕區域平滑變換至其他屏幕區域，則使被 選中的圖標跟隨反射位置的移動而移動。
11.如權利要求7-10任一項所述的設備，其特徵在於，還包括存儲單元，用於存儲每 個屏幕區域的特徵點坐標，其中，每個屏幕區域的特徵點數量為Ci個，N為所述傳感器 的數量。
12.如權利要求7-10任一項所述的設備，其特徵在於，所述傳感器分散設置在所述屏 幕的四周。
全文摘要
本發明公開了一種利用氣流對界面進行操作的方法及其設備，以解決現有技術利用吹氣音對界面進行控制操作時內存資源佔用量大、技術實現複雜的問題。該方法中，設備屏幕被預先劃分為多個區域，且屏幕周圍設置有多個能夠感知氣流方向的傳感器，該方法包括接收各傳感器感知到的屏幕所反射的氣流的方向，根據各傳感器感知到的氣流方向，確定出各傳感器到該氣流在屏幕上的反射位置的直線路徑，以及所述直線路徑的交點；分別計算所述交點與每個屏幕區域的特徵點之間的空間距離，並將其中最小空間距離所對應的屏幕區域在該屏幕上的位置確定為該氣流在屏幕上的反射位置；根據確定出的氣流在屏幕上的反射位置，對屏幕中顯示的用戶界面進行操作控制。
文檔編號G06F3/048GK102012773SQ20091009228
公開日2011年4月13日 申請日期2009年9月8日 優先權日2009年9月8日
發明者劉琨, 王森, 章鋒 申請人:中國移動通信集團公司