與3d表面上的2d內容進行交互的製作方法

2023-04-29 18:08:51

專利名稱：與3d表面上的2d內容進行交互的製作方法
與3D表面上的2D內容進行交互
些旦 冃爾
在2維(2D)環境中，系統通過簡單地確定活動的X和Y坐標，可以 知道用戶選擇了什麼區域或以其它方式與什麼區域交互。然而，在3維(3D) 世界中，尋找相對於3D表面上的交互式2D元素的X/Y坐標並不總是直截 了當的。例如，諸如用戶界面等2D對象可被置於諸如球面等3D表面上。 在這種2D對象被置於3D表面的情況下，可能難以處理用戶與該現在投影 在3D中的2D對象的交互。
概述
公開了啟用與置於3D表面上的2D內容進行交互的各種技術和方法。 系統確定輸入設備相對於3D表面定位在何處。如果輸入設備撞擊3D表面， 則定位2D中的隱藏內容以使表示在3D表面上撞擊的區域的點與2D中的 隱藏內容上的對應的點排齊。在一個實現中，在場景中的一位置處檢測到 不在交互式2D內容的邊界的上方的輸入設備時，在接收到對該輸入設備位 置的請求時，3D表面被投影到2維中。在所投影的3D表面上計算最接近 輸入設備的2D位置的點。響應於被用來定位隱藏內容，向該最接近的點提 供3D表面的對應的點。
在一個實現中，取決於特定3D表面是否具有捕捉來遵循不同的過程。 例如，如果3D場景中的3D表面不具有捕捉，並且如果輸入設備撞擊3D 表面，則在3D三角形上使用紋理坐標來確定在2D中的隱藏內容上撞擊了 什麼點。隱藏內容隨後被移動到一位置，以使得隱藏內容與3D表面上的對 應點排齊。類似地，如果3D場景中的3D表面具有捕捉，並且如果確定輸 入設備用該捕捉內容撞擊3D表面，則使用紋理坐標和先前所述的過程來排 齊隱藏內容。
在另一實現中，如果3D場景中的3D表面具有捕捉，並且如果確定輸 入設備未用捕捉內容撞擊3D表面，則系統計算捕捉內容的邊界，尋找邊界上最接近輸入設備的位置的點，並將邊界上該最接近的點置於輸入設備的 位置的下方。
提供本概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一 些概念。該概述不旨在標識所要求保護的主題的關鍵特徵或必要特徵，也 不旨在用於幫助確定所要求保護的主題的範圍。
附圖簡述


圖1是一個實現的計算機系統的圖示。
圖2是在圖1的計算機系統上操作的一個實現的交互式3D應用程式的圖示。
圖3是圖1的系統的一個實現的高級處理流程圖。
圖4是圖1的系統的一個實現的處理流程圖，其示出在用3D對象提供 輸入設備位置時所涉及的各階段。
圖5是圖1的系統的一個實現的處理流程圖，其示出在啟用與置於3D 表面上的2D內容的交互時所涉及的更詳細的階段。
圖6是圖1的系統的一個實現的模擬圖像，其示出在沒有捕捉時隱藏 內容的2D表示。
圖7是圖1的系統的一個實現的模擬圖像，其示出在沒有捕捉時與隱 藏內容交互的3D表面。
圖8是圖1的系統的一個實現的模擬圖像，其示出在沒有捕捉時覆蓋 在3D表面上的2D表示。
圖9是圖1的系統的一個實現的模擬圖像，其示出在存在捕捉時顯示 按鈕和文本的3D表面。
圖IO是圖1的系統的一個實現的模擬圖像，其示出在存在捕捉時選擇 文本的一部分的圖9所示的3D表面。
圖11是圖1的系統的一個實現的模擬圖像，其示出其中預期輸入設備 與圖10所示的3D表面的方位上的2D相關的最接近的邊點。
圖12是圖1的系統的一個實現的模擬圖像，其示出具有捕捉的2D文 本框。圖13是圖1的系統的一個實現的模擬圖像，其示出獲得圖12的圖像
的邊並將這些邊投影回2D來以2D形式在3D上給出2D內容的輪廓。
詳細描述
為促進對本發明的原理的理解，現將對圖中所示的各實施例加以參考， 同時也將用具體語言描述它們。不過，需要理解的是，並無意由此作範圍
上的限制。在所述實施例中的任何改變和進一步更改，以及在此所述的原 理的進一步應用都可以預期將是本領域技術人員通常能想到的。
該系統可以在一般上下文中描述為提供與置於3D表面上的2D內容的 交互的應用程式，但是該系統還用於除此之外的其它目的。在一個實現中， 此處所描述的一種或多種技術可被實現為圖形呈現程序內的特徵，諸如包 括在諸如MICROSOFT WINDOWS⑧等作業系統環境中或來自處理圖形 呈現的任何其它類型的程序或服務中的那些特徵。在另一實現中，此處所 描述的一種或多種技術被實現為處理允許2D內容與3D表面一起使用的其 它應用程式的特徵。
在一個實現中，系統通過使用隱藏的2D內容來提供與3D表面的交互。 真實的交互式2D內容保持隱藏，但不隱藏該隱藏的2D內容的外觀並將其 置於3D上。該隱藏內容以截取用戶與在3D表面上所呈現的內容的外觀進 行交互的嘗試的方式來定位。此處所使用的術語"隱藏內容"旨在包括因 其不可見、被定為不能被看到的大小、定位在另一對象之後等因而用戶未 注意到的2D內容。在另一實現中，在2D內容的任何部分請求輸入設備的 位置或請求捕捉時，該2D內容的3D表示被投影回2D。該投影的內容的 邊界隨後被用來確定如何響應來自所捕捉的3D表面的任何輸入請求。此處 所使用的術語"捕捉"意味著向2D內容請求通知輸入設備狀態改變的時候。
如圖1所示，用於實現該系統的一個或多個部分的示例性計算機系統 包括諸如計算設備100等計算設備。在其最基本的配置中，計算設備100 通常包括至少一個處理單元102和存儲器104。取決於計算設備的確切配置 和類型，存儲器104可以是易失性的(如RAM)、非易失性的(如ROM、 快閃記憶體等)或是兩者的某種組合。該最基本配置在圖1中由虛線106來例示。另外，設備100還可具有附加的特徵/功能。例如，設備100還可包含
額外的存儲(可移動和/或不可移動)，其中包括但不限於磁碟、光碟或磁
帶。這樣的附加存儲在圖1中由可移動存儲108和不可移動存儲110示出。 計算機存儲介質包括以用於存儲諸如計算機可讀指令、數據結構、程序模 塊或其它數據等信息的任何方法或技術來實現的易失性和非易失性、可移 動和不可移動介質。存儲器104、可移動存儲108和不可移動存儲110都是 計算機存儲介質的示例。計算機存儲介質包括但不限於，RAM、 ROM、 EEPROM、快閃記憶體或其它存儲器技術、CD-ROM、數字多功能盤(DVD)或 其它光存儲、磁帶盒、磁帶、磁碟存儲或其它磁存儲設備、或者可用於存 儲所需信息並且可由設備100訪問的任何其它介質。任何這樣的計算機存 儲介質都可以是設備100的一部分。
計算設備100包括允許計算設備100與其它計算機/應用程式115進行 通信的一個或多個通信連接114。設備100還可以具有諸如鍵盤、滑鼠、筆、 語音輸入設備、觸摸輸入設備等輸入設備112。還可以包括諸如顯示器、揚 聲器、印表機等輸出設備111。這些設備在本領域中公知且無需在此處詳細 討論。在一實現中，計算設備100包括交互式3D應用程式200。交互式3D 應用程式200將在圖2中更詳細地描述。
繼續參照圖l，現轉到圖2，其示出了運行於計算設備100上的交互式 3D應用程式200。交互式3D應用程式200是駐留在計算設備100上的應 用程序之一。然而，可以理解，交互式3D應用程式200可另選地或另外地 被具體化為一個或多個計算機上的計算機可執行指令和/或與圖1所示的不 同的變型。另選地或另外地，交互式3D應用程式200的一個或多個部分可 以是系統存儲器104的一部分、可以在其它計算機和/或應用程式115上、 或可以是計算機軟體領域的技術人員能想到的其它此類變型。
交互式3D應用程式200包括負責執行在此描述的一些或全部技術的程 序邏輯204。程序邏輯204包括用於確定存在更新隱藏內容的需求(例如， 在接收請求時或在程序上確定)的邏輯206;用於確定輸入設備(例如滑鼠、 指示筆等)相對於3D表面位於何處的邏輯208;用於確定輸入設備是否撞 擊(hit) 了3D表面的邏輯210;用於在系統確定輸入設備未撞擊3D表面的情況下將隱藏內容變為不活動(例如，將隱藏內容從輸入設備移開或以 其它方式移除或使其不活動，以使用戶不會意外地與其交互)的邏輯212;
用於在系統確定輸入設備確實撞擊了 3D表面的情況下定位2D對象，以使 得3D表面上的用輸入設備所撞擊的點與該隱藏的2D對象排齊(例如移動 以使得相同的點排齊)的邏輯214;用於等待存在更新隱藏內容的需求(例 如接收請求或在程序上確定)的另一指示並相應地進行響應的邏輯216;以 及用於操作該應用程式的其它邏輯220。在一個實現中，程序邏輯204可用 於通過編程，如使用對程序邏輯204中的一個過程的單一調用而從另一程 序調用。
現在轉向圖3-5，並繼續參考圖1-2，更詳細地描述了用於實現交互式 3D應用程式200的一個或多個實現的各階段。圖3是交互式3D應用程式 200的高級處理流程圖。在一種形式中，圖3的過程至少部分地在計算設備 100的操作邏輯中實現。該過程在開始點240處開始，可任選地確定存在更 新隱藏內容的需求(例如，在接收請求時或在程序上確定)(階段242)。 系統確定輸入設備(例如滑鼠、指示筆等)相對於3D表面定位在何處(階 段244)。如果輸入設備未撞擊(例如接觸)3D表面(例如3D空間中的 一般區域)(判定點246)，則將隱藏內容變為不活動(例如，從輸入設備 移開或以其它方式移除或使其不活動，以使用戶不會意外地與其交互)(階 段248)。如果輸入設備確實撞擊了 3D表面(判定點246)，則定位2D 對象，以使得3D表面上的用輸入設備所撞擊的點與該隱藏的2D對象排齊 (例如移動以使得相同的點排齊)(階段250)。系統可任選地等待存在更 新隱藏內容的需求的另一指示並相應地作出響應(階段252)。該過程在結 束點256處結束。
圖4示出在提供輸入設備相對於3D表面的位置時所涉及的各階段的一 個實現。在一種形式中，圖4的過程至少部分地在計算設備100的操作邏 輯中實現。該過程在開始點270處開始，在場景的某處檢測到輸入設備時， 接收(例如來自諸如任意3D幾何結構、球等區域)對輸入設備位置的請求 或査詢(階段272)。獲得該3D表面並將其投影到2維中(階段274)。 計算該投影上最接近於輸入設備的2D位置的點(階段276)。投影對象上最接近的點是響應於請求或査詢所返回的位置(例如返回到3D空間中的請
求對象)(階段278)。該過程在結束點280處結束。
圖5示出在啟用與置於3D表面上的2D內容的交互時所涉及的更詳細 的階段的一個實現。在一種形式中，圖5的過程至少部分地在計算設備100 的操作邏輯中實現。該過程在開始點310處開始，可任選地確定存在更新 隱藏內容的需求("正在進行(on)"事件等)(階段312)。如果系統確 定3D表面不具有捕捉(判定點314)，則執行撞擊測試3D場景來確定輸 入設備相對於3D表面位於何處(階段316)。如果3D表面未被撞擊(判 定點320)，則將隱藏內容從輸入設備移開(階段324)。如果3D表面被 撞擊(判定點320)，則在3D三角形上使用紋理坐標來尋找撞擊了 2D內 容上的什麼點(階段326) 。 2D內容被置於隱藏層中，並且移動該隱藏層 以使各點排齊(階段326)。
如果系統確定3D表面確實具有捕捉(判定點314)，則執行撞擊測試 3D場景來確定輸入設備相對於3D表面位於何處(階段318)。系統確定 3D表面是否被(例如由輸入設備)用捕捉內容撞擊(判定點322)。如果 是，則在3D三角形上使用紋理坐標來尋找撞擊了2D內容上的什麼點(階 段326) 。 2D內容被置於隱藏層中，並且移動該隱藏層以使各點排齊(階 段326)。如果系統確定3D表面未被用捕捉內容撞擊(判定點322)，則 計算所捕捉的內容的邊界(階段328)。定位邊界上最接近於輸入設備位置 的點，並且將邊界上該最接近的點置於輸入設備位置下方(階段328)。該 過程在結束點330處結束。
現轉向圖6-13，使用模擬圖像來更詳細地示出圖3-5的各階段。在圖 6-8中，使用一些示例性模擬圖像來示出3D表面不具有捕捉時的一些可能 的場景。這些模擬圖像和它們伴隨的描述提供圖5的和/或此處所描述的某 些其它技術的階段314、 316、 320、 324和326的進一步圖示。圖6是圖1 的系統的一個實現的模擬圖像400，其示出沒有捕捉時隱藏內容的2D表示。 模擬圖像500包含被映射到球體的內容。圖7包含示出圖6的圖像400被 映射到球體(例如3D)的模擬圖像500。圖8包含模擬圖像600，其示出 如何對齊隱藏內容以使得3D表面上的、輸入設備位於其上方的滑動條部分與2D中的滑動條相同。點擊輸入設備將隨後與拇指控制項交互。因為維持了
這一映射，所以3D表面被正確地通知輸入設備何時進入並離開它們，以及 其位於它們自身上方的什麼部分。這創建能夠與3D上的2D內容進行交互 的結果。在一個實現中，輸入設備移動作為隱藏內容需要更新的信號來跟
蹤o
現將使用一些非限制性示例來描述如何將2D內容映射到3D表面來達 到圖6-8所示的結果。在輸入設備不在3D表面上方時，則隱藏層可被置於 任何位置以使得輸入設備不在其上方。在一個實現中，所需行為是3D表面 上的2D內容不行動，如同輸入設備在其上方一樣，並且任何其它事件應當 不影響它。將隱藏層遠離輸入設備放置使其不被告知移動或點擊等。
為示例起見，假定所有3D表面都由三角形組成，並且所有三角形都具 有與其相關聯的紋理坐標。紋理坐標指定圖像(紋理)的哪一部分應被顯 示在三角形上。例如，假定紋理坐標處於(0,0)到(1,1)的範圍內，其中(O,O) 是圖像的左上角，而(l,l)是圖像的右下角。則如果紋理坐標是(O,O)、 (1,0) 和(O,l)，則圖像的左上半被顯示在三角形上。此外，假定顯示在3D表面上 的2D內容可被表示為圖像，並且該圖像是應用於該圖像的3D表面的紋理。 例如，圖6可被認為是紋理，並且紋理坐標是使其環繞球體的坐標，如圖7 所示。
現在，在輸入設備在3D表面上方時，光線被射入到3D場景來查看其 與該3D表面的什麼部分相交。這可以用許多標準技術來完成。 一旦系統知 道相交的是什麼，則可以確定三角形上的所撞擊的點以及其紋理坐標。一 旦確定了紋理坐標，由於還知道紋理，則系統可以從該紋理坐標映射到2D 內容上的位置。該位置是3D表面上方的精確點。為正確定位，系統移動隱 藏內容，以使得在先前部分中所計算的位置直接在輸入設備位置的下方。 3D表面上方的點直接在隱藏內容上的同一位置的下方，其兩者都直接在輸 入設備的下方。因此，如果用戶點擊或以其它方式從該位置輸入，則他們 將點擊/輸入隱藏內容上的和3D上的2D內容上的精確相同的點。同樣，在 輸入設備移動時，由於這種定位，隱藏內容和其在3D上的2D表示都將被 告知精確相同的點上方的輸入設備移動。現轉向圖9-13，示出了一些示例性模擬圖像來說明其中3D表面具有 捕捉的一些可能的場景。這些模擬圖像和它們伴隨的描述提供圖5的和/或 此處所描述的某些其它技術的階段314、 318、 322、 326和328的進一步圖 示。在一個實現中，在3D上的2D元素得到捕捉時，正確的隱藏內容定位 可能變得更複雜。作為一個示例，在3D中，由於3D到2D平面上的投影， 輸入設備的位置實際上對應於3D空間中的一條線。另外，具有捕捉的3D 表面還可被映射到任何任意幾何結構。因此，在輸入設備位於3D表面上方 時，撞擊測試指示輸入設備相對於2D視件位於何處。在其離開3D表面時， 由於以上問題，不再有對該問題的直接回答2D點對應於3D線並且2D 內容可以在任意幾何結構上。同樣，因為3D表面具有捕捉，所以其想要接 收所有事件。之前，在不涉及捕捉時，系統只需要確保輸入設備一直在正 確的對象上方。現在，具有捕捉，則系統需要定位隱藏內容以使其處於相 對於具有捕捉的對象的適當的位置。圖9-11所示的模擬圖像更詳細地示出
這一點。
在一個實現中，對該問題的一個可能的解決方案是將該3D問題還原回 2D。在正常的2D情況下，應用於該內容的變換可被用來將輸入設備位置 轉換為該內容的局部坐標系。該經變換的位置隨後使該內容知道輸入設備 相對於它處於什麼位置。在3D中，由於幾何結構和紋理坐標布局的多種方 位，有時難以判斷3D點位於3D上的2D內容的相關坐標系中的什麼位置。 在一個實現中，為近似這一點，在3D上的2D內容在被投影到屏幕空間後， 計算其輪廓並隨後基於該投影來定位輸入設備。圖9-11更詳細地示出這一 點。
圖9的模擬圖像700示出3D上的2D內容。圖10上的模擬圖像750 示出已經選擇了文本，並且輸入設備被移動到離開該對象的點。圖ll示出 具有文本框(即具有捕捉的對象)的輪廓的模擬圖像800。該輪廓隨後被用 來定位隱藏內容。
在輪廓可用之後，計算該輪廓上最接近輸入設備位置的點，並隨後輪 廓上的該點被認為是被"撞擊"的點，且其被置於輸入設備位置的下方。 在所示示例中，執行加亮直到圖像750的中央的"T"。由於輸入設備是按最接近的邊點放置的，所以交互趨向於像其在2D中一樣行動，因為隱藏內
容是基於輸入設備最接近與3D上的2D內容上的位置來定位的。通過將隱 藏內容放置在最接近的邊點處，系統指示其預期輸入設備相對於3D表面的 方位上的2D位於何處。
為實際執行參考圖9-11所述的過程，系統計算具有捕捉的對象的邊界， 該捕捉與該對象被包含在內的2D內容相關。作為示例，考慮圖12-13所示 的2D內容。假定文本框具有捕捉。在圖12中，圖像900中包含的文本框 的邊界被以粗體劃出輪廓。這些邊界可被轉換為紋理坐標，因為具有捕捉 的3D表面的邊界是已知的並且2D內容作為整體的大小也是已知的。使用 紋理坐標，系統隨後可以檢查3D表面位於其上的網格的每一個三角形，並 尋找包含與邊界坐標相交的紋理坐標的那些三角形。例如，假定存在一個 三角形，並且具有紋理坐標的三角形如圖12中的2D內容上所示的一樣被 繪出。系統檢查來查看該三角形的邊是否與具有捕捉的3D表面的邊界相 交，在這一情況下它們確實相交(它們與具有捕捉的文本框相交)。如果 三角形面向査看者，並且邊界邊的任一個與其相交，則邊界邊和三角形相 交的邊被添加到最終列表。將被添加的邊在圖13的圖像950中示出。通過 執行這些步驟，確定與所捕捉的3D表面的邊界相交的可視邊。
在一個實現中，系統還跟蹤哪些三角形面向查看者而哪些背向。如果 兩個三角形共享一條邊， 一個面向用戶而一個背向用戶，則系統還可以將 該共享邊的在所捕捉的3D表面的邊界內的部分添加到最終列表。這可能是 必要的，以便計算可視邊界。作為這種情況的非限制性示例，考慮圖9中 的球體。左邊和右邊都是廓影邊(即，邊既具有可視三角形又具有不可視 三角形)。系統添加這些來計算所捕捉的3D表面的整個可視輪廓(如圖 ll所示)。否則，最左側和最右側圖像將丟失，並且將不計算完全輪廓。 一旦確定了邊的列表，則隨後將它們投影回2D。這以2D形式給出3D上 的2D內容的輪廓。隨後，計算這些邊上最接近輸入設備的點。該點具有其 自己的紋理坐標，並且該紋理坐標如上被用來定位隱藏內容。取決於所需 行為，可以加粗所捕捉的3D表面的邊界，如果有必要進一步從所捕捉的 3D表面移開。儘管用對結構特徵和/或方法動作專用的語言描述了本主題，但可以理 解，所附權利要求書中定義的主題不必限於上述具體特徵或動作。相反， 上述具體特徵和動作是作為實現權利要求的示例形式公開的。落入在此所 述和/或所附權利要求所描述的實現的精神的範圍內的所有等效方案、更改 和修正都期望受到保護。
例如，計算機軟體領域普通技術人員會認識到客戶機和/或伺服器布 置、用戶界面屏幕內容、和/或在此討論的示例中所述的數據布局可在一臺 或多臺計算機上不同地組織，以包括比示例中所描繪的更少或更多的選項
或特徵。
權利要求
1.一種具有用於使得計算機執行以下步驟的計算機可執行指令的計算機可讀介質，所述步驟包括確定輸入設備相對於3D表面定位在何處；以及如果所述輸入設備撞擊所述3D表面，則定位2D中的隱藏內容以使表示在所述3D表面上撞擊的區域的點與2D中的所述隱藏內容上的對應的點排齊。
2. 如權利要求1所述的計算機可讀介質，其特徵在於，還具有用於使 得計算機執行以下步驟的計算機可執行指令，所述步驟包括如果所述輸入設備未撞擊所述3D表面，則使所述隱藏內容不活動。
3. 如權利要求1所述的計算機可讀介質，其特徵在於，還具有用於使得計算機執行以下步驟的計算機可執行指令，所述步驟包括在確定所述輸入設備相對於所述3D表面位於何處之前，確定存在更新 所述隱藏內容的需求。
4. 一種用於提供輸入設備相對於3D表面的位置的方法，所述方法包括以下步驟在場景中的一位置處檢測到輸入設備時，接收對輸入設備位置的請求； 將3D表面投影到所述場景中的2維中；計算所投影的3D表面上最接近所述輸入設備的2D位置的點；以及 響應於所述請求來返回所述最接近的點。
5. 如權利要求4所述的方法，其特徵在於，所述輸入設備是滑鼠。
6. 如權利要求4所述的方法，其特徵在於，所述輸入設備是指示筆。
7. 如權利要求4所述的方法，其特徵在於，所述請求是從一區域中接 收的。
8. 如權利要求7所述的方法，其特徵在於，所述區域是任意3D幾何 結構。
9. 一種具有用於使得計算機執行如權利要求4所述的步驟的計算機可執行指令的計算機可讀介質。
10. —種用於啟用與置於3D表面上的2D內容的交互的方法，所述方法包括以下步驟確定處於3D場景中的2D內的隱藏內容需要更新； 確定輸入設備在所述3D場景中的位置；以及如果所述3D場景中的3D表面不具有捕捉，則確定所述輸入設備是否 撞擊所述3D場景中的3D表面，並且如果所述輸入設備確實撞擊了所述3D 表面，則在3D三角形上使用紋理坐標來確定在2D中的隱藏內容上撞擊了 多個點中的什麼點，並且將所述隱藏內容移到一位置以使得所述隱藏內容 與所述3D表面上的對應的點排齊。
11. 如權利要求IO所述的方法，其特徵在於，還包括 如果所述3D場景中的3D表面具有捕捉，則確定所述輸入設備是否用捕捉內容撞擊所述3D表面。
12. 如權利要求ll所述的方法，其特徵在於，還包括 如果所述3D場景中的3D表面具有捕捉，並且如果確定所述輸入設備用所述捕捉內容撞擊了所述3D表面，則在所述3D三角形上使用紋理坐標 來確定在2D中的所述隱藏內容上撞擊了多個點中的什麼點，並且將所述隱 藏內容移到所述位置以使得所述隱藏內容與所述3D表面上的對應的點排 齊。
13. 如權利要求ll所述的方法，其特徵在於，還包括 如果所述3D場景中的3D表面具有捕捉，並且如果確定所述輸入設備未用所述捕捉內容撞擊所述3D表面，則計算所述捕捉內容的邊界，尋找所 述邊界上最接近所述輸入設備的位置的點，並將所述邊界上最接近的點置 於所述輸入設備的位置的下方。
14. 如權利要求IO所述的方法，其特徵在於，在來自所述輸入設備 的正在移動事件發生時，確定所述隱藏內容需要更新。
15. 如權利要求IO所述的方法，其特徵在於，所述輸入設備是滑鼠。
16. 如權利要求IO所述的方法，其特徵在於，所述輸入設備是指示筆。
17. 如權利要求IO所述的方法，其特徵在於，更新所述隱藏內容的 需求是在接收到來自一區域的對所述輸入設備的位置的請求時確定的。
18. 如權利要求17所述的方法，其特徵在於，所述區域是任意3D 幾何結構。
19. 如權利要求IO所述的方法，其特徵在於，還包括 如果所述3D場景中的3D表面不具有捕捉，並且如果確定所述輸入設備未撞擊所述3D場景中的3D表面，則將所述隱藏內容從所述輸入設備的 位置處移開。
20. —種具有用於使得計算機執行如權利要求10所述的步驟的計算 機可執行指令的計算機可讀介質。
全文摘要
公開了啟用與置於3D表面上的2D內容進行交互的各種技術和方法。系統確定輸入設備相對於3D表面定位在何處。如果輸入設備撞擊3D表面，則定位2D中的隱藏內容以使表示在3D表面上撞擊的區域的點與2D中的隱藏內容上的對應的點排齊。例如，在場景中的一位置處檢測到輸入設備時，在接收到對輸入設備位置的請求時，3D表面被投影到2維中。在所投影的3D表面上計算最接近輸入設備的2D位置的點。響應於被用來定位隱藏內容，向該最接近的點提供3D表面的對應的點。
文檔編號G06T1/20GK101553843SQ200780043739
公開日2009年10月7日 申請日期2007年11月27日 優先權日2006年11月28日
發明者A·M·史密斯, D·R·尼德, D·R·裡赫恩鮑爾, G·D·謝克特, K·伯格倫德 申請人:微軟公司