用於位置探測的傳感器方法和系統的製作方法

2023-10-07 05:30:34

專利名稱：用於位置探測的傳感器方法和系統的製作方法
用於位置探測的傳感器方法和系統優先權聲明本申請要求享有2009年12月4日提交的題為「A Coordinate Input Device」的澳大利亞臨時申請No. 2009905917的優先權，在此通過引用將其全文併入這裡；本申請還要求享有2010年2月23日提交的題為「A Coordinate Input Device」的澳大利亞臨時申請No. 2010900748的優先權，在此通過引用將其全文併入這裡；本申請還要求享有2010年6月21日提交的題為「3D Computer Input System」的澳大利亞臨時申請No. 2010902689的優先權，在此通過引用將其全文併入這裡。
背景技術：
具有觸摸功能的計算裝置已經變得越來越普及。這樣的裝置能夠使用光學、電阻和/或電容傳感器來確定手指、指示筆或其他對象何時接近或觸摸到接觸表面，例如顯示器。使用觸摸能夠有各種界面選項，例如基於跟蹤隨時間變化的觸摸的所謂的「手勢」。
儘管具有觸摸功能的系統有優點，但仍然存在缺點。膝上型和臺式計算機受益於具有觸摸功能的屏幕，但特別的屏幕配置或布置可能需要用戶以不舒適的方式觸摸到或以其他方式移動。此外，一些觸摸探測技術仍然很昂貴，尤其是對於較大的屏幕面積而言。

發明內容
本主題的實施例包括計算裝置，例如桌面型、膝上型、平板計算機、移動裝置或集成到另一個裝置(例如，用於打遊戲的娛樂裝置、電視機、家電、電話亭、車輛、工具等)中的計算裝置。計算裝置被配置成從空間中一個或多個對象的位置和/或移動確定用戶輸入命令。可以利用一個或多個光學傳感器對對象成像，可以通過任意數量的方式解釋所得的位置數據以確定命令。命令包括，但不限於二維、三維和其他圖形用戶界面之內的圖形用戶界面事件。作為範例，可以使用對象，例如手指或指示筆通過在繪製到屏幕上項目的位置處觸摸到表面或懸停在該位置附近的表面上來選擇屏幕上項目。作為另一範例，命令可以涉及非圖形事件(例如，改變揚聲器音量、激活/停用裝置或特徵等)。一些實施例可以依賴於除位置數據之外的其他輸入，例如在手指或對象在給定位置時點擊所提供的物理按鈕。不過，同樣的系統可能能夠解釋不是觸摸特徵的其他輸入。例如，可以以圖案的方式移動手指或指示筆，然後將圖案識別為特定的輸入命令，例如，基於一種或多種將移動的圖案關聯到特定命令的啟發式方式識別的手勢。作為另一範例，在自由空間中移動手指或指示筆可以轉換為圖形用戶界面中的移動。例如，即使未物理地觸摸到，也可以將穿過平面或到達指定區域解釋為觸摸或選擇動作。對象在空間中的位置可以影響如何將對象的位置解釋為命令。例如，對象在空間一個部分之內的移動可能導致與對象在空間另一部分之內相同移動不同的命令。作為範例，可以沿著空間之內的一個或兩個軸(例如，沿著空間的寬度和/或高度)移動手指或指示筆，在一個或兩個軸中的移動導致光標在圖形用戶界面中的對應移動。沿著第三軸(例如在不同深度)不同位置的同樣移動可能導致光標的不同對應移動。例如，手指距裝置屏幕越遠，手指從左到右移動可能導致光標的越快移動。在一些實施例中，可以利用虛擬體積(這裡稱為「交互式體積」)實現這個目的，虛擬體積是由空間坐標到屏幕/界面坐標的映射定義的，該映射沿著交互式體積的深度而改變。作為另一範例，可以將不同區域用於不同類型的輸入。在一些實施例中，可以將接近裝置的屏幕定義為第一區域，可以將別處定義為第二區域。例如，第二區域可以位於膝上型計算機的屏幕和鍵盤按鍵之間，或者對於平板或移動裝置而言，可以代表第一區域外部的可成像空間。第一區域中的輸入可以被解釋為觸摸、懸停和其他圖形用戶界面命令。可以將第二區域中的輸入解釋為手勢。例如，可以在第二區域中提供「滑動(flick)」手勢，以便通過項目列表移動，而無需通過圖形用戶界面選擇特定的項目/命令按鈕。如下文所述，各實施例的各方面還包括輻照、探測和裝置配置，允許以響應和精確方式提供基於圖像的輸入。例如，可以使用探測器配置和探測器採樣提供更高的圖像處理吞吐量和響應更好的探測。在一些實施例中，對少於探測器所有可用像素的像素採樣，例 如，通過將像素限制為交互式體積的投影和/或確定感興趣區域，由第二探測器探測的特徵的一個探測器進行探測。提到這些例示性實施例不是為了限制或界定本主題的限制，而是為了提供範例以輔助其理解。在具體實施方式
中論述了例示性實施例，其中提供了更多描述，包括系統、方法和提供本主題一個或多個方面的計算機可讀介質的例示性實施例。可以通過研究本說明書和/或通過實踐所主張主題的一個或多個實施例來進一步理解各實施例提供的優點。


在說明書的其餘部分中更詳細地闡述了完整的且能夠實現的公開。說明書參考了以下附圖。圖1A-1D示出了位置探測系統的示範性實施例。圖2是示出了將成像空間分成多個區域的圖示。圖3是流程圖，示出了基於區域識別的輸入處理範例。圖4是示出了用於提供基於區域的探測能力的示範性傳感器配置的圖示。圖5是光學單元的例示性架構的截面圖。圖6是示出了在位置探測系統中使用基於CMOS的感測裝置的圖示。圖7為電路圖，示出了用硬體從另一幅圖像減去一幅圖像時使用的一個例示性讀出電路。圖8和9是示出了使用具有硬體的傳感器對第一和第二圖像相減的示範性時序圖。圖10為流程圖，示出了用於探測一個或多個空間坐標的示範性方法中的步驟。圖11是示出了確定一個或多個空間坐標時使用的例示性硬體配置和對應坐標系的圖示。圖12和13是示出了使用多個成像裝置確定空間坐標的圖示。圖14是示出了識別圖像中特徵的例示性方法的流程圖和附圖。圖15A是使用交互式體積的例示性系統的圖示。
圖15B-15E示出了基於沿著交互式體積深度的映射的變化的不同光標響應的範例。圖16是示出了用於配置交互式體積的用戶界面範例的圖示。圖17A-17B示出了限制探測和/或圖像處理中使用的像素的技術。圖18示出了利用來自單個攝像頭的圖像確定空間坐標的範例。
具體實施方式
現在將詳細參考各種和替代示範性實施例和附圖。提供每個範例是為了解釋，而不是作為限制。對於本領域的技術人員顯而易見的是，可以做出修改和變化。例如，可以在另一實施例上使用作為一個實施例的一部分例示或描述的特徵，以獲得更多的實施例。於是，本公開意圖包括落在所附權利要求及其等價物範圍之內的修改和變化。在以下詳細描述中，闡述了眾多具體細節以提供對所主張主題的透徹理解。不過，本領域的技術人員將要理解，可以無需這些具體細節而實踐所主張的主題。在其他情況下，未詳細描述普通技術人員公知的方法、設備或系統，以免使所主張的主題模糊不清。位置探測系統的例示性系統和硬體方面圖IA是例示性位置探測系統100的視圖，而圖IB是示出了系統100的示範性架構的圖示。通常，位置探測系統能夠包括一個或多個成像裝置和硬體邏輯，硬體邏輯用於配置位置探測系統訪問來自至少一個成像裝置的數據，該數據包括空間中對象的圖像數據，訪問定義空間之內的交互式體積的數據，確定與對象相關聯的空間坐標，並基於空間坐標和交互式體積確定命令。在本範例中，位置探測系統為計算系統，其中硬體邏輯包括通過總線106連接到存儲器104的處理器102。程序部件116配置處理器以訪問數據並確定命令。儘管這裡示出了基於軟體的實施方式，但位置探測系統可以使用其他硬體(例如，現場可編程門陣列(FPGA)、可編程邏輯陣列(PLA)等)。返回到圖1，存儲器104能夠包括RAM、ROM或可以由處理器102訪問的其他存儲器和/或另一種非暫態計算機可讀介質，例如存儲介質。本範例中的系統100經由I/O部件107連接到顯示器108、多個輻照裝置110和多個成像裝置112。配置成像裝置112以對包括空間114的視場成像。在本範例中，使用了多個輻照和成像裝置，但顯然在一些實施例中可以使用單個成像裝置，一些實施例可以使用單個輻照裝置或可以省去輻照裝置並依賴於環境光或其他環境能量。此外，儘管這裡的幾個範例使用了兩個成像裝置，但系統可以在對對象成像時使用超過兩個成像裝置和/或可以使用多個不同成像系統實現不同目的。存儲器104包括一個或多個程序部件116，其配置計算系統以訪問來自成像裝置112的數據，該數據包括空間中一個或多個對象的圖像數據，確定與一個或多個對象相關聯的空間坐標並基於空間坐標確定命令。在下面的範例中將論述程序部件的示範性配置。並非要對圖IB中所示的系統100的架構進行限制。例如，可以使用一個或多個I/0接口 107，包括圖形接口(例如VGA、HDMI)連接顯示器108 (如果使用的話)。I/O接口的其他範例包括通用串行總線(USB)、IEEE1394和內部總線。可以使用用於通過有線或無線通信來通信的一個或多個聯網部件，其可以包括諸如乙太網、IEEE802. 11 (Wi-Fi),802. 16(Wi-Max)、藍牙、紅外線等、CDMA, GSM、UMTS的接口或其他蜂窩通信網絡。圖IA示出了膝上型或上網本形狀因子。在本範例中，在主體101中示出了輻照和成像裝置110和112，主體還可以包括處理器、存儲器等。不過，可以在顯示器108中包括任何這樣的部件。例如，圖IC示出了位置探測系統100』的另一例示性形狀因子。在本範例中，顯示裝置108』在屏幕底部更大面積中具有集成的輻照裝置110和成像裝置112。該面積可以大約為2_尺寸。在本範例中，成像裝置對包括顯示裝置108』前方區域的空間114』成像。顯示裝置108』可以連接到包括處理器、存儲器等的計算系統(未示出)。作為另一範例，可以在顯示器108』的主體中包括處理器和額外的部件。儘管被示為顯示裝置(例如IXD、等離子體、OLED監視器、電視機等)，可以為其他裝置，例如平板計算機、移動裝置等應用該原理。圖ID示出了另一例示性位置探測系統100」。具體而言，成像裝置112可以位於細長輻照裝置110的任一側，輻照裝置110可以包括一個或多個發光二極體或發光的其他裝置。在本範例中，空間114」包括輻照裝置110上方以及成像裝置112之間的空間。在本 範例中，每個成像裝置的圖像平面位於空間114」的底部屏幕之間的角度 ，在一些實施例中， 可以等於或近似等於45度。儘管這裡示為矩形空間，但空間的實際尺寸和範圍可能取決於成像裝置的位置、取向和能力。此外，根據特定形狀因子，輻照裝置110可能不在空間114」上的中心處。例如，如果輻照裝置110和成像裝置112用於膝上型計算機，它們可以位於鍵盤的大致頂部或底部附近，空間114」對應於屏幕和鍵盤之間的區域。輻照裝置110和成像裝置112可以包括在或安裝到也位於獨立屏幕前方的鍵盤。作為另一範例，輻照裝置110和成像裝置112可以包括在或附著於屏幕或平板計算機中。再者，輻照裝置110和成像裝置112可以包括在安裝到另一裝置的獨立主體中或用作有或者沒有屏幕的獨立周邊設備。作為又一範例，可以獨立於輻照裝置110提供成像裝置112。例如，成像裝置112可以位於鍵盤、顯示屏的任一側，或簡單地在要提供空間輸入的區域的任一側上。輻照裝置110可以位於任何適當位置以根據需要提供輻照。一般說來，成像裝置112可以包括面積傳感器，用於拍攝繪示成像裝置視場的一個或多個幀。幀中的圖像可以包括可利用成像單元獲得的任何圖示，例如可以描繪視場的視覺表示、視場中光強度的表示或另一種表示。位置探測系統的處理器或其他硬體邏輯可以使用幀來確定空間114中一個或多個對象的信息，例如對象和/或其部分的位置、取向、方向。當對象在視場中時，可以識別對象的一個或多個特徵並用於確定空間114之內的坐標(即「空間坐標」)。計算系統可以基於空間坐標值確定一個或多個命令。在一些實施例中，在確定如何利用空間坐標確定對象(或對象的所識別特徵)的位置、取向和/或移動隨時間變化以識別特定命令時使用空間坐標。以多個探測區域為特徵的例示件實施例在一些實施例中，在確定命令時以不同方式處理不同範圍的空間坐標。例如，如圖2中所示，可以將成像空間分成多個區域。本範例示出了成像裝置112和三個區域，但可以定義更多或更少的區域；此外，區域可以沿著成像空間的長度、寬度和/或深度變化。可以基於確定空間之內多個區域的哪個包含所確定的空間坐標來識別輸入的命令。例如，如果坐標位於鄰近顯示裝置108的區域(「區域I」)中，那麼與該坐標相關聯的對象移動/位置能夠提供與坐標在區域2或3中不同的輸入。在一些實施例中，不論坐標在哪個區中，可以使用同一成像系統確定位置分量。不過，在一些實施例中，使用多重成像系統確定輸入。例如，可以使用距屏幕更遠的一個或多個成像裝置112對區域2和/或3成像。在一個範例中，每個成像系統將屏幕坐標傳遞到例程，該例程根據圖3確定命令。例如，對於區域I中的命令，可以使用一個或多個線傳感器或面積傳感器對屏幕處或附近的區域成像，第二系統用於對區域2、區域3之一或兩者成像。如果第二系統僅對區域2和3之一成像，第三成像系統能夠對區域2和3的另一個成像。成像系統均可以根據如下所述的一個或多個方面確定空間坐標。當然，可以在一個或多個區域之內使用多個成像系統。例如，可以將區域3作為多個子區處理，由相應組的成像裝置對每個子區成像。區域覆蓋範圍也可能交疊。
可以結合各種成像系統使用相同或不同的位置探測技術。例如，用於區域I的成像系統可以使用三角測量原理來確定相對於屏幕區域的坐標，或者每個成像系統可以使用這裡論述的位置探測技術的各方面。該同一系統也可以確定距屏幕的距離。此外或替代地，可以協同使用多個系統。例如，用於確定區域I中的坐標的成像系統可以為屏幕坐標使用三角測量，並依賴於來自用於對區域3成像的成像系統的數據，以便確定距屏幕的距離。圖3是流程圖，示出了基於區域識別的輸入處理範例，可以由圖I中所示的程序部件116或由用於實施位置探測系統的其他硬體/軟體來執行。方框302表示確定空間中的一個或多個坐標。例如，如下文所述，可以通過如下方式識別與對象的特徵(例如指尖、指示筆尖等)相關聯的空間坐標分析由不同成像裝置112拍攝的圖像中所示的特徵的位置和成像裝置的已知幾何形狀。如方框304所示，該例程能夠確定坐標是否位於區域I中，如果是這樣的話，在確定306所示的觸摸輸入命令時使用該坐標。例如，可以利用提供輸入事件(例如圖形用戶界面中的選擇)的例程，基於空間坐標到屏幕坐標的映射識別觸摸輸入命令。作為具體範例，在對象觸摸或接近與顯示器平面對應的屏幕時，點擊或其他選擇可以被註冊。下文結合圖18論述觸摸探測的額外範例。這裡論述的任何範例都能夠對應於2D觸摸輸入(例如由對象和感興趣表面之間一個或多個接觸來識別)以及3D坐標輸入。返回到圖3，方框308表示確定坐標是否在區域2中。如果是這樣的話，該流程進行到方框310。在本範例中，區域2位於鍵盤/跟蹤板附近，因此在確定觸摸板命令時使用區域2中的坐標。例如，可以將類似於與觸摸顯示相關聯的那些類似的一組2維輸入手勢與鍵盤或跟蹤板相關聯。可以在與按鍵或跟蹤板接觸期間做出手勢，或者可以在按鍵或跟蹤板附近進行。範例包括，但不限於手指揮動、猛擊、拖動等。可以隨著時間跟蹤坐標值，可以使用一個或多個啟發式方式來確定期望的手勢。啟發式方式可以識別取決於手勢的一個或多個位置或點，其可能需要依次識別。通過匹配移動和/或位置的圖案，可以識別手勢。作為另一範例，可以跟蹤手指移動並用於操控屏幕上光標。方框312表示確定坐標值是否在區域3中。在本範例中，如果坐標不在任何區域中，儘管在一些實施例中可以默認分配一個區域或可以忽略坐標，但定義誤差條件。不過，如果坐標確實在區域3中，那麼如方框314所示，使用該坐標確定三維手勢。與識別二維手勢類似，可以通過跟蹤隨時間變化的坐標值並應用一次或多次啟發式方式來識別三維手勢，以便識別期望的輸入。作為另一範例，即使不直接依賴於坐標，也可以應用模式識別技術來識別手勢。例如，可以配置該系統以識別區域中的手或其他對象的邊緣並執行邊緣分析以確定手或其他對象的姿態、取向和/或形狀。可以應用適當的手勢識別啟發式方式以基於所識別的姿態、取向和/或形狀隨時間的變化識別各種輸入手勢。圖4是示出了用於提供基於區域的探測能力的示範性配置的圖示。在本範例中，成像裝置的特徵在於像素陣列402，其包括與每個探測區域對應的部分；這裡示出了三個區域。可以使用選擇邏輯404對像素值採樣並向板上控制器406提供像素值，板上控制器相應地對數據進行格式化/路由(例如，在一些實施例中經由USB接口)。在一些實施例中，可以操縱陣列402以調節視場或焦點中的至少一個，以包括多個區域的所識別一個。例如，可以利用適當的機械元件(例如微機電系統(MEMS)器件等)，響應於來自選擇邏輯404的信號，旋轉和/或平移整個陣列或其子部分。作為另一範例，可以利用電動機、液壓系統等重新定位整個光學單元，而不是操縱傳感器陣列或其部分。
成像裝置的例示性實施例圖5是可用於位置探測系統中的光學單元112的例示性架構的截面圖。在本範例中，光學單元包括由塑料或另一種適當材料製成的外殼502和蓋504。蓋504可以包括玻璃、塑料等，在孔506上方和/或內部至少包括透明部分。光通過孔506傳遞到透鏡508，透鏡508將光聚焦到陣列510上，在本範例中，通過濾波器512聚焦到陣列。在本範例中，陣列510和外殼502安裝到框架514。例如，在一些實施例中，框架514可以包括印刷電路板。在任何事件中，陣列510都能夠包括配置成提供圖像數據的一個或多個像素陣列。例如，如果由輻照系統提供IR光，則該陣列能夠通過感測來自成像空間的IR光來拍攝圖像。作為另一範例，能夠使用環境光或另一個波長範圍。在一些實施例中，使用濾波器512過濾掉一個或多個波長範圍的光，以改善拍攝圖像時使用的其他範圍的光的探測。例如，在一個實施例中，濾波器512包括窄帶IR通過濾波器，以在光達到陣列510之前衰減除期望IR波長之外的環境光，陣列510被配置成至少感測IR波長。作為另一範例，如果對其他波長感興趣，可以配置適當的濾波器512以排除掉不感興趣的徂圍。一些實施例利用了輻照系統，其使用一個或多個輻照裝置，例如發光二極體(LED)以在一個或多個指定的波長範圍上輻照能量(例如紅外(IR) 「光」)。這能夠輔助增大信噪比(SNR)，其中信號是圖像的被輻照部分，噪聲大部分由環境光構成。例如，可以由適當的信號驅動IR LED以輻照由成像裝置成像的空間，成像裝置拍攝位置探測中使用的一個或多個圖像幀。在一些實施例中，例如，通過在已知頻率驅動輻照裝置來調製輻照。可以基於調製的定時拍攝圖像幀。一些實施例使用軟體過濾，即通過減去圖像來消除背景光，例如，在提供輻照時拍攝第一圖像，然後在無輻照時拍攝第二圖像。可以從第一圖像減去第二圖像，然後可以將所得的「代表圖像」用於進一步處理。從數學上講，可以將該操作表示為Signal=(Signal+Noise)-Noise0 一些實施例利用高強度照射光改善SNR，使得任何噪聲都被淹沒/抑制。從數學上講，可以將這樣的狀況描述為Signal=Signal+Noise,其中Signal Noise。如圖6中所示，一些實施例包括硬體信號調節。圖6是示出了在位置探測系統中使用基於CMOS的感測裝置602的圖示600。在本範例中，傳感器604包括像素陣列。CMOS襯底602還包括信號調節邏輯(或可編程CPU) 606，其可用於通過如下方式方便探測在成像裝置例如通過硬體實施的環境減除、無限脈衝響應(IIR)或有限脈衝響應(FIR)過濾、基於背景跟蹤器的觸摸探測等來提供圖像之前，用硬體至少執行一些圖像處理。在本範例中，襯底602還包括用於提供USB輸出的邏輯，以向計算裝置610傳輸圖像。計算裝置610的存儲器中包含的驅動程序612配置計算裝置610以處理圖像從而確定基於圖像數據的一個或多個命令。儘管在圖6中一起示出，但部件604和606可以在物理上分離，可以用FPGA、DSP、ASIC或微處理器實施606。儘管在本範例中論述了 CMOS，但可以利用用於構造集成電路的任何其他適當技術實現感測裝置。圖7為電路圖700，示出了用硬體從另一幅圖像減去一幅圖像時使用的讀出電路的一個範例。可以將這樣的電路包括在位置探測系統中。具體而言，可以通過分別驅動選擇電晶體TXl和TX2利用兩個不同的存儲裝置704和706 (在本範例中為電容器FDl和FD2)對像素702進行採樣。在驅動行選擇線712時，緩衝電晶體708和710隨後能夠提供讀出值，將讀出值提供到差分放大器714。放大器714的輸出716表示在驅動TXl時採樣的像素 以及驅動TX2時採樣的像素之間的差異。這裡示出了單個像素，但將要理解，一行像素中的每個像素可以配置有對應的讀出電路，其中像素被包括在行傳感器或面積傳感器中。此外，可以配置其他適當的電路，由此可以利用適當的電荷存儲裝置或緩存裝置保持兩個(或更多)像素值，以用於輸出代表圖像或用於應用另一種信號處理效果。圖8是時序圖800，示出了在第一和第二時間間隔期間對像素採樣(通過位置探測系統)並取像素差異以輸出代表圖像的範例。這裡可以看出，對三個相繼幀(幀n-1 ;幀11;和幀n+1)採樣並作為代表圖像輸出。在提供輻照(「有光」)的時間間隔內(例如通過驅動TXl)讀取每一行I到480，並在不提供光(「無光」)時(例如，通過驅動TX2)再次讀取。然後，可以提供單個輸出圖像。這種方法使得基於軟體的代表圖像採樣能夠並行進行。圖9為時序圖900，示出了能夠由位置探測系統使用的另一採樣例程。本範例的特徵在於較高的調製率以及快速的快門，其中在給定的開關周期期間對每一行採樣。幀的總曝光時間可以等於或近似等於行數乘以完整調製周期時間。坐標探測的例示件實施例圖10為流程圖，示出了用於探測一個或多個空間坐標的示範性方法1000中的步驟。例如，位置探測系統(例如圖1A-1D的系統之一)特徵在於多個成像裝置，其用於對空間成像並執行根據圖10的方法。在圖11中的1100處示出了另一範例。在本範例中，第一和第二成像裝置112位於顯示器108和鍵盤附近，並被配置成對空間114成像。在本範例中，空間114對應於顯示器108和鍵盤之間的矩形空間。圖11還示出了針對區域114定義的坐標系V (Vx, Vy, Vz)，按照V確定空間坐標。每個成像裝置112還以其自己相對於每個相應攝像頭的原點(圖11中示為O1和0 R)定義的坐標系C為特徵，Ol定義為坐標系V中的(-I，0，0 )，Ok定義為坐標系V中的(I，0，0 )。對於左側攝像頭，按照(Clx，Cly, Clz)指定攝像頭坐標，而按照(CKX，Cey, Cez)指定右側攝像頭坐標。每個攝像頭中的X和y坐標對應於針對每個單元的X和Y坐標，而Z坐標(G和Ckz)是本範例中成像單元平面的法線或方向。
返回圖10，從方框1002開始，該方法前進到方框1004，其表示採集第一和第二圖
像。在一些實施例中，採集第一和第二圖像包括基於來自第一成像裝置的圖像採集第一差異圖像，以及基於來自第二成像裝置的圖像採集第二差異圖像。可以通過從代表圖像減去背景圖像來確定每個差異圖像。具體而言，在調製光源的同時，第一和第二成像裝置的每個都能夠在有光和無光的時對空間成像。可以通過從來自每個裝置的有光圖像減去來自每個裝置的無光圖像來確定第一和第二代表圖像(或反之，取圖像的絕對值)。作為另一範例，可以利用根據圖7-9的硬體或以另一種適當方式配置成像裝置，以基於光源的調製提供代表圖像。
在一些實施例中，可以直接使用代表圖像。不過，在一些實施例中，可以通過從每個代表圖像減去相應的背景圖像來獲得差異圖像，使得要識別其特徵的對象(例如手指、指示筆等)保留，但沒有背景特徵了。例如，在一個實施例中，將代表圖像定義為It=| Imt-Inv11，其中Imt代表成像間隔t時成像裝置的輸出。可以替代地通過拍攝有光和無光圖像來確定一系列代表圖像，以獲得I:、12、13、I4等。可以通過首先對背景圖像Btl=I1進行初始化來執行背景減除。然後，可以根據以下算法更新背景圖像If It [n]Then Bt [n] =B^1 [n] +1;Else Bt[n]=It[n]作為另一範例，該算法可以是If It [n]Then Bt [n] =B^1 [n] +1;Else Bt[n] =Bt[n]—I可以通過下式獲得差異圖像Dt=It-Bt當然，各種實施例能夠使用任何適當技術來獲得適當圖像。在任何事件中，在採集第一和第二圖像之後，該方法前進到方框1006，表示在第一和第二圖像的每個中對特徵定位。在實踐中，儘管實施例能夠從一個公共特徵開始進行，但可以識別多個不同特徵。可以使用任何適當的技術識別特徵，包括下文稍後指出的示範性方法。不論使用什麼技術識別特徵，都在採集的每幅圖像中按照二維圖像像素坐標I(I、，Ily)和(1\，1\)定位特徵。方框1008表示確定針對特徵的攝像頭坐標，然後將坐標轉換成虛擬坐標。可以利用以下表達式將圖像像素坐標轉換成攝像頭坐標C (單位mm):
f(\) fU-e)/./;)rr = (/,-Pr)/./;
kJ I i J其中(Px，Py)是主中心，fx, fy是每個攝像頭校準的焦距。可以根據以下表達式將來自左成像單元坐標CL和右成像單元坐標Ck的坐標轉換成坐標系V中的對應坐標VL=MLeft X Cl
VE=MEightXCE其中Mlrft和MHght是從左右攝像頭坐標到虛擬坐標的變換矩陣；可以通過來自立體攝像頭校準的旋轉矩陣R和平移矢量T計算Mlrft和Mright。可以由兩個成像裝置對棋盤格圖案成像並用於計算攝像頭之間的同類變換，以便導出旋轉矩陣R和平移矢量T。具體而言，假設Pk是右攝像頭坐標系中的點，點P1是左攝像頭坐標系中的點，可以將從右到左的變換定義為Pl=R Pk+T。如前所述，可以沿著虛擬空間的X軸設置攝像頭的原點，左攝像頭原點在(_1，0，0),右攝像頭原點在(0,0,1)。在本範例中，沿著攝像頭的原點定義虛擬坐標Vx的X軸。虛擬坐標Vz的z軸定義為來自攝像頭局部坐標的z軸叉積(即，通過Cz1和CZK的叉積)。虛擬坐標Vy的y軸定義為X和z軸的叉積。利用這些定義和校準數據，可以根據以下步驟推導虛擬坐標系的每個軸Vx=R
t+TVz= ((R
t=T) - Vx) X
TVy=VzXVxVz=VxXVy在Cz1和CZK不是共平面的情況下，計算兩次Vz。因為左攝像頭的原點是在[_1，0，0]T處定義的，所以可以利用如下表達式獲得從左攝像頭坐標到虛擬坐標的同族點變換；類似的計算可以導出從右攝像頭坐標到虛擬坐標的同類變換Mleft= [VxTVyTVzT [-1，0，0，I]T]以及Mright= [RXVxT RXVy1 RXVzt[1,0,0, I]方框1010表示確定第一條線和第二條線的交點。第一條線是從第一攝像頭原點，通過在第一成像裝置探測的特徵的虛擬坐標投射的，而第二條線是從第二攝像頭原點並通過在第二成像裝置探測的特徵的虛擬坐標投射的第二條線。如圖12-13中所示，探測到的特徵具有坐標系V中的左側坐標PL和坐標系V中的右側坐標PK。可以從左側原點O1，通過P1，並從右側原點Ok，通過Pk投射線。理想地，線將在與圖12中所示的特徵對應的位置或附近相交。在實踐中，可能不會發現完美的交點，例如，投射的線由於校準誤差，可能不是共面的。於是，在一些實施例中，將交點P定義為兩條線都相切的最小球體的中心。如圖13中所示，該球體與投影線在點a和b處相切，從而將球心n定義為空間坐標。可以通過下式計算球心Ol+ (Pl-Ol) *tL=P+入 *nOe+ (Pe-Oe) ^t8=P-入 *n其中n是從節點b到a的單位矢量，是從兩條射線的叉積(pL_0l) X (Pe-Oe)導出的。可以通過對以下線性方程求解導出剩餘三個未知數#、0和入
權利要求
1.一種計算系統，包括 傳感器，包括像素陣列；以及 調節邏輯，連接到所述像素陣列，所述調節邏輯被配置成在第一時間間隔期間對所述像素陣列採樣，在第二時間間隔期間對所述像素陣列採樣，取第一時間間隔和第二時間間隔期間所採樣的像素差異，並輸出代表圖像。
2.根據權利要求I所述的計算系統，其中所述像素陣列包括線陣列或面積陣列。
3.根據權利要求I所述的計算系統，還包括濾波器電路。
4.根據權利要求I所述的計算系統，還包括輻照源， 其中所述傳感器被配置成在第一時間間隔和第二時間間隔期間基於驅動信號對所述像素陣列遮光，所述驅動信號對應於所述輻照源的調製。
5.根據權利要求I所述的計算系統，其中所述像素陣列和所述調節邏輯被包括在所述傳感器中。
6.根據權利要求I所述的計算系統，其中所述調節邏輯中的至少一些與所述傳感器分離，並且以FPGA、DSP或ASIC中的至少一個實現。
7.根據權利要求1-6之一所述的計算系統，連接到處理器和存儲器，其中所述存儲器包括至少一個程序部件，所述至少一個程序部件配置所述處理器以使用所述代表圖像確定與空間中的對象相關聯的空間坐標。
8.根據權利要求7所述的計算系統，其中所述處理器被配置成在識別輸入命令時使用所確定的空間坐標。
9.根據權利要求1-6之一所述的計算系統，還包括確定滿功率模式和降低的功率模式的邏輯，其中在所述降低的功率模式中，針對比所述滿功率模式中使用的所有像素更少的像素採樣。
10.根據權利要求9所述的計算系統，其中在所述降低的功率模式中，對單行像素採樣。
11.一種方法，包括 通過傳感器中包括的像素陣列在第一時間間隔期間對來自成像空間的光採樣； 通過所述像素陣列在第二時間間隔期間對來自所述成像空間的光採樣； 利用連接到所述像素陣列的調節邏輯，計算在第一時間間隔和第二時間間隔期間採樣的像素差異；以及 向處理裝置輸出代表圖像。
12.根據權利要求11所述的方法，其中所述像素陣列包括線陣列或面積陣列。
13.根據權利要求11所述的方法，還包括 在第一時間間隔和第二時間間隔期間基於驅動信號對所述像素陣列遮光，所述驅動信號對應於輻照源的調製。
14.根據權利要求11所述的方法，其中所述像素陣列和所述調節邏輯被包括在所述傳感器中。
15.根據權利要求11所述的方法，其中所述調節邏輯中的至少一些與所述傳感器分離，並且以FPGA、DSP或ASIC中的至少一個實現。
16.根據權利要求11-15之一所述的方法，還包括通過所述處理裝置使用所述代表圖像確定與所述空間中的對象相關聯的空間坐標。
17.根據權利要求16所述的方法，還包括通過所述處理裝置在識別輸入命令時使用所確定的空間坐標。
18.根據權利要求11-15之一所述的方法，還包括 在採樣之前，確定陣列是否工作在降低的功率模式中，如果是這樣，針對比所述陣列的所有像素更少的像素採樣。
19.根據權利要求18所述的方法，其中在所述降低的功率模式中採樣包括對單行像素採樣。
全文摘要
一種計算裝置，例如桌面計算機、膝上型、平板計算機、移動裝置或集成到另一裝置(例如，用於打遊戲的娛樂裝置、電視機、家電、電話亭、車輛、工具等)中的計算裝置，被配置成從空間中一個或多個對象的位置和/或移動確定用戶輸入命令。可以利用一個或多個光學傳感器對對象成像，可以通過任意數量的方式解釋所得的位置數據以確定命令。可以使用信號調節邏輯(或可編程CPU)通過如下方式促進探測在成像裝置提供圖像之前，在硬體中執行至少一些圖像處理，例如通過硬體實施的環境減除、無限脈衝響應(IIR)或有限脈衝響應(FIR)濾波、基於背景跟蹤器的觸摸探測等。
文檔編號G06F3/01GK102741781SQ201080063111
公開日2012年10月17日 申請日期2010年12月6日 優先權日2009年12月4日
發明者B·波特, B·雷德福, F·戈菲內, G·麥克唐納, H·耶斯克, J·D·牛頓, 張睿, 李博 申請人:奈克斯特控股公司