確定手勢的顯示器的製作方法

2023-06-05 12:10:41

專利名稱：確定手勢的顯示器的製作方法
確定手勢的顯示器
背景技術：
電阻觸控螢幕面板由通過窄間隙分開的兩個薄金屬導電層組成。當諸如手指之類的對象向下壓在該面板的外表面上的點上時，這兩個金屬層在該點處被連接，而該面板然後相當於具有被連接的輸出端的一對分壓器。這引起電流的變化，其被登記為觸摸事件並且被發送到控制器以進行處理。電容觸控螢幕面板是傳感器，該傳感器為在其中板(plate)包括以柵格圖案的水平軸與垂直軸之間的重疊區域的電容器。人類身體也導電並且在傳感器表面上的觸摸將影響電場並且引起設備的電容的可測量的改變。


相對於下列圖來描述本發明的一些實施例 圖1是根據本發明的示例實施例的顯示器；
圖加和2b是根據本發明的示例實施例的顯示器； 圖3是根據本發明的示例實施例的三維光學傳感器； 圖4是根據本發明的示例實施例的顯示器； 圖5A、5B以及5C是根據本發明的示例實施例的顯示器； 圖6是根據本發明的示例實施例的方框圖；以及圖7是根據本發明的方法的示例實施例的流程圖。
具體實施例方式圖形用戶界面(GUI)能夠使用諸如滑鼠之類的指向設備來移動光標。該光標能夠被控制以便執行功能。例如，可以通過移動光標來執行的功能正在選擇位置或者在該屏幕上移動對象。在其它實施例中，光標能夠執行其它功能，諸如通過選擇所顯示的對象的邊緣並且拖動所顯示的對象的該邊緣來調整所顯示的對象的大小。通過計算機執行的功能取決於對接口和應用的編程。觸控螢幕能夠被用來在顯示器上移動光標或對顯示器上的對象進行移動。當用戶的手或指示筆與該顯示器接觸時，觸控螢幕可以識別手勢。顯示器可以為在X和y方向上延伸的二維表面，但是用戶存在於三維中並且能夠在非處於該二維顯示器表面所形成的平面中的任何方向上移動。在一個實施例中，顯示器包括三維光學傳感器，其用來確定由該光學傳感器捕獲的對象距該光學傳感器的深度。對象距該顯示器的距離能夠基於所測量的對象與光學傳感器之間的距離來計算。為了操縱非觸控螢幕上的對象，滑鼠可能必須選擇該對象並且通過使用菜單來操縱該對象。手勢可以用來操縱觸控螢幕上的對象，例如用戶可以展開他們的手指來對對象進行放大。在觸控螢幕上可用的手勢可以使用戶觸摸顯示器並且以不自然的運動(unnatural motion)使用他們的手。用戶可能必須通過訓練練習來學習這些不自然的運動並且可能忘記不經常使用的手勢。如果用戶能夠在顯示器前面的體積中使用自然的運動與顯示屏幕上顯示的對象進行交互，則該用戶可能能夠使用自然的移動來執行任務。例如，當某物太小以致不能觀看時，用戶可以通過抓握到顯示器上顯示的對象上並且朝向他們拉動所顯示的對象以對所顯示的對象進行縮放來模擬自然的運動以使其更接近於你。在一個實施例中，顯示系統包括具有顯示圖像的表面的面板。該顯示系統還包括三維光學傳感器。該三維光學傳感器能夠具有視場，所述視場包括該顯示系統的前表面和在該顯示系統的前表面前面的體積。控制器能夠從該三維光學傳感器接收信息並且把來自該三維光學傳感器的信息解釋為該體積中的對象的手勢。參考各圖，圖1是根據本發明的示例實施例的顯示系統100。該顯示系統100包括面板110，所述面板110包括用於顯示圖像的表面116。面板110的正面為顯示圖像的表面 116而面板110的背面與該正面相反。例如，面板110可以為液晶顯示器(liquid crystal display, LCD)面板、等離子體顯示器、陰極射線管(cathode ray tube, CRT)、0LED或諸如數字光處理(digital light processing, DLP)之類的投影顯示器。在一個實施例中，該三維光學傳感器可以附連在該顯示系統100的處於面板110的表面116的周界117之外的區域中。三維光學傳感器115能夠確定位於該三維光學傳感器115的視場135中的對象距該三維光學傳感器的深度。三維光學傳感器115的視場135能夠確定在其處能夠識別出手勢的的顯示系統100前面的體積。在一個實施例中，在其處能夠識別出手勢的體積可能小於三維光學傳感器115的視場135能夠捕獲的體積。在一個實施例中，可以使用對象的深度來確定該對象是否在距顯示系統100的表面116的接觸距離(contact distance)之內。 如果該對象距該顯示系統的距離基本上為零釐米，則控制器190可以根據該深度信息確定該對象正接觸顯示器。在一個實施例中，基本上為零意味著三維光學傳感器的解析度可能不能夠確定與該顯示器的接觸，以及小於距顯示系統的接觸距離的對象距該三維光學傳感器可能具有被控制器180確定為零的距離和與該顯示系統的接觸的深度信息。接觸距離例如可以為距顯示系統0.2釐米，然而可以為其它距離。在一個實施例中，對象的深度能夠被用來確定該對象是否在該顯示器的體積距離(volume distance)內，但是不在該顯示器的接觸距離內。例如，對象120可以是接近透明層105的用戶的手和手指120a、120b。如果對象120a或120b在三維光學傳感器115的視場135內，則來自光源125的光能夠從該對象反射並且被該三維光學傳感器115觀看到以生成信息。可以通過連接191 把該信息發送到控制器190。該信息可以包括該體積中的對象120a和120b (例如用戶的手)的位置，例如x、y以及ζ坐標。在一個實施例中，用戶能夠用對象120b (例如用戶的手指)接觸顯示器以提供對顯示器上用戶想要操縱的對象的選擇。這允許用戶操縱顯示器上的特定對象而不是所有對象或無意的對象。例如如果用戶接著想要對對象進行放大，則用戶可以握拳並且在Z方向上移動他們的拳頭。當對象被縮放到期望的距離時，用戶可以張開他們的拳頭以防止對該對象的進一步縮放。拳頭的張開例如可以類似於用戶釋放他們對物理對象的抓握，且因此當用戶移動他們的手時不再使該物理對象移動。圖加是根據本發明的示例實施例的顯示器。本發明包括顯示器210。三維光學傳感器215被附著到顯示器210。計算系統280能夠連接到該顯示器。計算系統280可以為桌上型電腦、可攜式計算機、伺服器計算機、個人數字助理、蜂窩電話或其它機器。在一個實施例中，計算系統處於與該顯示器所附著到的相同的底架中。在另一實施例中，計算系統與該顯示器是分開的並且該顯示器能夠連接至該計算系統。在一個實施例中，三維光學傳感器能夠檢測不與顯示器接觸的手勢。例如，諸如用戶的手之類的對象能夠在顯示器210前面的體積中做出從右至左的運動以翻動在顯示器210上顯示的書四5的各頁。三維光學傳感器215能夠生成能夠被計算系統280接收的信息。計算系統觀0中的控制器能夠根據在一時間段上諸如用戶的手220a之類的對象的不同放置來確定用戶的手正在什麼方向上移動。該控制器然後能夠確定該對象的該移動是否為被計算系統識別的手勢。所識別的手勢是用其來對計算機系統280進行編程的手勢，並且如果該對象220a被確定為正在執行該手勢則在該計算系統上執行功能。例如，翻動書四5中的一頁可以是如果控制器確定對象在右至左的方向上橫跨該顯示器前面的體積移動則執行的該計算系統觀0中的所存儲功能。圖2b是根據本發明的示例實施例的顯示器。本發明包括顯示器210。如果三維光學傳感器215被附著到顯示器210，則該三維光學傳感器的視場能夠包括顯示器表面216。 如果顯示器表面被包括在三維光學傳感器215的視場中，則三維光學傳感器215還能夠檢測對該顯示器表面216的觸摸。例如，諸如用戶的手之類的對象220b能夠觸摸通過計算機與功能相關聯的顯示器217的區域。計算機的功能例如可以是打開連結，所述連結諸如到與顯示在顯示器210上的書四5中的短語有關的附加信息的連結。計算系統280能夠從三維光學傳感器215和控制器接收信息，例如處理器能夠根據該信息確定對象220b是否正接觸顯示器表面216以及確定與顯示器表面216的接觸的坐標是否為圖像正被顯示在具有分配給該圖像的指定功能的顯示器210上的顯示器表面 216的區域。圖3是根據本發明的示例實施例的三維光學傳感器315。該三維光學傳感器315 能夠接收從對象320反射的、來自源325的光。光源325例如可以是紅外光或發射對用戶不可見的光的雷射光源。相對於該三維光學傳感器315，光源325能夠處於允許光反射離開對象320並且被三維光學傳感器315捕獲到的任何位置。在一個實施例中紅外光能夠從可以為用戶的手的對象320反射並且被三維光學傳感器315捕獲。在三維圖像中的對象被映射到不同的平面，對於每個對象而言假定Z次序、在距離上的次序。該Z次序可以使得電腦程式能夠將前景對象與後景區分開並且可以使得電腦程式能夠確定對象距顯示器的距離。使用諸如體視術(stereo)之類的基於三角測量的方法的二維傳感器可以涉及加強圖像處理以接近對象的深度。該二維圖像處理使用來自傳感器的數據並且對該數據進行處理以生成通常從二維傳感器不可獲得的數據。加強圖像處理可能不被用於三維傳感器， 這是因為來自該三維傳感器的數據包括深度數據。例如，針對渡越時間三維光學傳感器的圖像處理可以涉及簡單查找表以將傳感器讀數映射到對象距顯示器的距離。渡越時間傳感器根據光從已知光源行進、從對象反射並且返回至該三維光學傳感器花費的時間來確定對象距傳感器的深度。在該圖像中對象的深度能夠根據不使用第二三維光學傳感器來確定該圖像中該對象的距離的三維光學傳感器來確定。在替代實施例中，光源能夠發射結構光，所述結構光是光圖案以已知角度到對象上的投射，所述光圖案諸如平面、柵格或更複雜的形狀。當照到表面時光圖案變形的方式允許視覺系統計算在該場景中對象的深度和表面信息。積分成像(Integral Imaging)是提供全視差立體視圖的技術。為了記錄對象的信息，使用了與高解析度光學傳感器相結合的微透鏡陣列。由於每個微透鏡相對於被成像對象的不同位置的原因，該對象的多個透視圖 (perspective)能夠被成像到光學傳感器上。包含來自每個微透鏡的基本圖像的所記錄圖像能夠被電傳輸，然後在圖像處理過程中被重建。在一些實施例中，積分成像透鏡能夠具有不同的焦距，並且如果對象焦點對準，則對象深度基於焦點傳感器來確定，或者如果對象焦點未對準則基於散焦傳感器來確定。本發明的實施例不局限於已經描述的該類型的三維光學傳感器，而且可以為任何類型的三維傳感器。圖4是根據本發明的示例實施例的顯示器。在一些⑶I中，能夠感測到一個以上對象420和422的顯示系統400或許能夠執行不會被單個對象識別的程序內的任務。例如， 諸如模擬對文檔邊緣的抓握和例如在χ方向上手420和422移動分開之類的手勢可以是用於刪除在顯示系統400上顯示的文檔的手勢，這是因為該手勢模擬如果文檔被撕成兩半將會做出的運動。在一個實施例中，存在第一三維光學傳感器415和第二三維光學傳感器417。第一三維光學傳感器415可以具有視場455。表面416可以為可以包括透明層405的顯示系統400的表面。透明層405可以是玻璃、塑料或另一透明材料。在一個示例中，在視場455 內能夠捕獲到對象420的圖像。第一三維光學傳感器415可能看不見第二對象422，這是因為第一對象420可能在第一三維光學傳感器415與第二對象422之間。如果從第一三維光學傳感器415觀看，則該視場455沿著該視場455的第一對象420以外的部分，可能被第一對象420阻擋。第二三維光學傳感器417能夠在其視場460內捕獲包括第二對象422的深度的圖像。第一三維光學傳感器415能夠確定第一對象420 (例如用戶的右手)的距離。 如果通過第一三維光學傳感器415對第二對象422的觀看被第一對象420阻擋，則第一三維光學傳感器415可能不能夠確定第二對象422 (例如用戶的左手)的距離，但是第二三維光學傳感器417可能能夠確定第二對象422距第二三維光學傳感器417的距離。第一三維光學傳感器415和第二三維光學傳感器417可以在顯示系統400的角落或者這些光學傳感器可以位於在該顯示器中或上的任何地方，諸如頂部、底部或側面。第一三維光學傳感器和第二三維光學傳感器可以連接到單個控制器490或多個控制器以接收來自三維光學傳感器的信息。圖5A是根據本發明的示例實施例的顯示器。三維光學傳感器515具有延伸超過顯示面板510的周界517的看得見區域。對象超過周界517的移動能夠激活計算機系統的功能。例如，三維光學傳感器515可以生成被發送至計算系統580的信息。該信息能夠包括關於諸如用戶的手之類的對象520a的位置的信息。在一時間段上，與對象520a的位置有關的信息能夠改變。例如，如果在時間A用戶的手在第一位置處並且1秒以後在時間B 該用戶的手在第二位置處，則該計算機可以把位置的該改變確定為在Y方向上的移動。該移動可以為被編程為在計算系統580上執行功能的手勢。在一個實施例中，用戶可以通過沿著顯示系統500的側面575以向上或向下的運動移動他們的手來控制諸如音量之類的功能。該顯示器的側面可以為在面板510的周界外部的區域。可以通過用戶的手沿著顯示面板的側面來控制的其它功能的示例為諸如快進和倒回之類的媒體控制以及諸如移動到下一個幻燈片或前一個幻燈片之類的呈現控制。用戶可以對在檢測到一定的移動時計算機實施的功能進行編程。例如，用戶可以通過從右到左在顯示器之上移動他們的手以轉向下一頁或者從左到右以轉向前一頁來翻動顯示器上文檔的頁。在另一示例中，用戶可以以表示抓握屏幕上的對象並且旋轉該對象以在順時針或逆時針方向上旋轉該對象的運動來移動他們的手。用戶界面能夠允許用戶改變被三維光學傳感器檢測到的手運動的結果。例如，如果用戶在右到左的方向上在顯示器前面移動他們的手，則能夠把計算機編程為把該運動解釋為對頁的翻動或為關閉文檔。圖5B和圖5C是根據本發明的示例實施例的顯示系統500。在一個實施例中，用戶能夠使用張開的手520b接近顯示器510上的顯示對象518b。為了控制顯示對象518b，用戶能夠閉合他們的手。在圖5C中，用戶的手是閉合的520c並且該用戶的手的移動能夠控制顯示對象518b。例如，在圖5C中用戶已經在Z方向上將他們的手移動離開顯示系統500。 此移動可以對顯示對象518b進行放大以產生顯示對象518c。計算系統580能夠從三維光學傳感器接收信息並且使用該信息對顯示對象進行放大或縮小。圖6是根據本發明的示例實施例的方框圖。光學傳感器模塊600能夠包括光源 625和三維光學傳感器615。光學傳感器模塊600能夠捕獲可以包括圖像中的對象的高度、 寬度以及深度的數據。光學傳感器模塊600能夠連接到通信埠 670以將所捕獲信息傳送至計算設備。通信埠 670可以為計算設備上的通信埠 670。例如，通信埠 670可以為通用串行總線(USB)埠或IEEE 1394埠。在一個實施例中，通信埠 670可以為計算設備的輸入輸出控制器675的一部分。輸入輸出控制器675能夠連接至計算機可讀介質 685。計算設備的輸入輸出控制器675能夠連接至控制器690。控制器690能夠通過輸入輸出控制器675的通信埠 670來接收由三維光學傳感器615捕獲的數據。控制器690能夠根據由三維光學傳感器模塊600捕獲的數據確定對象距光學傳感器模塊600的距離。控制器690能夠基於對象距三維光學傳感器模塊600 的距離確定對象距顯示器的距離。在一個實施例中，控制器690為處理器或專用集成電路 (ASIC)。包括控制器690的計算系統能夠使用該信息來確定手勢是否已經發生。手勢為作為表達例如身體、肢、手或手指的手段的移動。該移動通過諸如手之類的對象的位置的改變來確定，如由在一時間段上由三維光學傳感器615生成的信息的改變所指示的。圖7是根據本發明的方法的示例實施例的流程圖。該方法通過在控制器處接收來自三維光學傳感器的信息開始(在710處)。深度信息包括在三維光學傳感器的視場中對象距該三維光學傳感器的深度。例如，三維光學傳感器可以使用渡越時間、結構光、積分成像或焦點散焦來生成深度信息。深度信息能夠由計算設備接收。該計算設備例如可以為計算機系統、個人數字助理或蜂窩式電話。控制器能夠確定所接收信息是否對應於大於距顯示系統的接觸距離的第一手勢(在720處)。接觸距離例如可以為距顯示系統0. 2釐米，但是可以為其它距離。控制器能夠確定所接收信息是否對應於小於距顯示系統的表面的接觸距離的第二手勢(在730處)。如果該對象接觸與透明層，則該對象距顯示器的所計算距離為零。如果計算機接收到距離為零的信號，則如果計算機確定該對象的位置和面板上顯示的圖標的圖像的位置彼此對應則計算機能夠引起對圖標的激活。例如，如果該圖標被激活，則該圖標能夠表示將啟動的程序。上文所描述的技術可以體現在計算機可讀介質中，用來配置計算系統以執行該方法。例如且在沒有限制的情況下，計算機可讀介質可以包括任何數目的下列項包括磁碟和磁帶存儲介質的磁存儲介質；諸如緊緻盤介質(例如，CD-ROM、CD-R等)之類的光學存儲介質和數字視頻盤存儲介質；全息存儲器；包括諸如閃速存儲器、EEPROM、EPROM、ROM之類的基於半導體的存儲器單元的非易失性存儲器存儲介質；鐵磁數字存儲器；包括寄存器、緩衝器或高速緩存、主存儲器、RAM等在內的易失性存儲介質；以及網際網路，僅舉這些為例。其它新的和各種類型的計算機可讀介質可以被用來存儲和/或傳送本文所討論的軟體模塊。 可以找到以許多形式的計算系統，包括但不限於大型機、微型計算機、伺服器、工作站、個人計算機、筆記本、個人數字助理、各種無線設備以及嵌入式系統，僅舉這些為例。
在前述描述中，闡述了許多細節以提供對本發明的理解。然而，本領域的技術人員應當理解的是，可以在沒有這些細節的情況下來實踐本發明。雖然已經相對於有限數目的實施例公開了本發明，但是本領域的技術人員將意識到根據其的眾多修改和變體。目的是隨附權利要求書覆蓋如落入本發明的真實精神和範圍內的這樣的修改和變體。
權利要求
1.一種顯示系統，包括具有顯示圖像的表面116的面板110 ；包括視場135的三維光學傳感器115，所述視場135包括所述顯示系統100的前表面和在所述顯示系統的所述前表面前面的體積；以及控制器190，其接收來自所述三維光學傳感器的信息並且確定來自所述三維光學傳感器的所述信息是否為所述體積中的對象120的手勢。
2.根據權利要求1所述的顯示系統，其中，手勢正接觸所述顯示系統100的前表面106。
3.根據權利要求2所述的顯示系統，其中，所述信息包括所述體積中的第一對象和接觸所述前表面的第二對象。
4.根據權利要求1所述的顯示系統，還包括計算機可讀介質685，其用來存儲手勢並且將所述手勢與計算機功能相關聯。
5.根據權利要求2所述的顯示系統，其中，所述控制器訪問所述計算機可讀介質685以確定所述功能。
6.根據權利要求1所述的顯示系統，其中，所述體積在所述前表面106與體積距離之間。
7.根據權利要求1所述的顯示系統，其中，如果所述對象朝向所述顯示系統移動，然後閉合併且移動離開所述顯示系統，則來自所述三維光學傳感器115的信息促使所述控制器 190對所述顯示器上的圖像518b進行放大。
8.一種方法，包括在控制器190處接收來自三維光學傳感器115的信息；使用所述控制器190確定所接收的信息是否對應於大於距顯示系統100的接觸距離的第一手勢；以及使用所述控制器確定所接收的信息是否對應於小於距所述顯示系統100的接觸距離的第二手勢。
9.根據權利要求8所述的方法，還包括如果確定的是所述第一手勢對應於第一功能， 則激活計算系統的所述第一功能。
10.根據權利要求8所述的方法，還包括如果確定的是所述第二手勢對應於第二功能， 則激活計算系統的所述第二功能。
11.根據權利要求8所述的方法，還包括將不同手勢的第二信息存儲在計算機可讀介質685中。
12.根據權利要求11所述的方法，還包括比較從所述三維光學傳感器接收的信息和所述計算機可讀介質中的所述第二信息。
13.根據權利要求12所述的方法，還包括如果所述信息則對所述顯示器上的圖像進行放大。
14.一種包括指令的計算機可讀介質，所述指令如果被執行則促使處理器 接收來自三維光學傳感器115的信息；確定所接收的信息是否對應於在距顯示系統100的接觸距離外的第一手勢；以及確定所接收的信息是否對應於小於距所述顯示系統的表面的接觸距離的第二手勢。
15.根據權利要求14所述的計算機可讀存儲介質，還包括指令，所述指令如果被執行， 則在確定的是所述第一手勢對應於第一功能的情況下促使處理器激活計算系統的所述第一功能。
全文摘要
一種顯示系統，所述顯示系統包括具有顯示圖像的表面116的面板110。所述系統包括三維光學傳感器115。所述三維光學傳感器能夠包括視場135，所述視場135包括顯示系統100的前表面和在所述顯示系統前表面前面的體積。控制器190能夠從所述三維光學傳感器接收信息並且能夠將來自所述三維光學傳感器的該信息解釋為所述體積中的對象120的手勢。
文檔編號G06F3/03GK102498454SQ200980161623
公開日2012年6月13日 申請日期2009年11月20日 優先權日2009年7月23日
發明者B.薩格斯, J.布裡登, J.麥卡錫 申請人:惠普發展公司，有限責任合夥企業