視覺分層的系統和方法
2023-06-06 11:43:21 2
視覺分層的系統和方法
【專利摘要】相機識別被安放在工作空間中的物理對象。顯示器把第一數字信息顯示到所述工作空間中。分層模塊把所述物理對象視為工作空間中的第一層，並且把所述第一數字信息視為工作空間中的第二層。控制器經由所述第一數字信息的顯示控制所述第一層和第二層的視覺相鄰性。
【專利說明】視覺分層的系統和方法
【背景技術】
[0001]共享數字信息並且基於那個數字信息進行協作正變得越來越普遍。輸入設備捕獲數字信息(例如，用戶在計算設備、數字相機、掃描設備上的輸入等)。輸出設備輸出數字信息以便由用戶或者用戶組使用。輸出設備可以包括把數字信息顯示到顯示屏上或工作空間中的數字顯示器或數字投影儀。
【專利附圖】
【附圖說明】
[0002]接下來的描述包括附圖的討論，所述附圖具有以本發明的實施例的實現的示例的方式給出的說明。附圖應當以示例的方式理解，而不應以限制的方式理解。如在此使用的，對一個或者多個「實施例」的參考將被理解為描述包括在本發明的至少一個實現中的特定的特徵、結構或者特性。因此，在此出現的表述(諸如，「在一個實施例中」、或者「在一個可替代的實施例中」)描述本發明的各種實施例和實現，並且不必都指代同一實施例。然而，它們也不必相互排除。
[0003]圖1是依據各種實施例圖示系統的框圖。
[0004]圖2是依據各種實施例圖示系統的透視、外視圖。
[0005]圖3是依據各種實施例圖示系統中的邏輯層的透視圖。
[0006]圖4是依據各種實施例圖示系統中的層狀態的框圖。
[0007]圖5是依據各種實施例的系統中操作的流程圖。
[0008]圖6是依據各種實施例的系統中操作的流程圖。
【具體實施方式】
[0009]在此描述的實施例涉及投影捕獲系統。在相同時間在相同工作空間中的投影、捕獲和用戶輸入控制的組合有利於混合現實(例如，物理的和虛擬的)協作。例如，虛擬對象可以是用戶計算機上的文件(例如，電子演示幻燈片、電子文檔、數字照片等)。物理對象可以是二維的對象(例如，照片、文檔等)或者三維的對象(例如，模型、小部件等)。如在此描述的，物理對象和虛擬對象被視為視覺上可互換的「層」。如在此描述的，這些層表示邏輯層，並且允許在此描述的系統和設備控制工作空間環境，使得一層(例如，物理對象或者數字信息組)具有位於另一層上方的外觀。在不同位置上的用戶經由單獨的投影捕獲系統進行協作的協作環境中，因為每個系統上的相機把實況(例如，視頻)供給發送到用於投影的其他位置，所以每個用戶能夠看見本地和遠程對象(物理的和虛擬的)並且與本地和遠程對象(物理的和虛擬的)交互。
[0010]圖1是依據各種實施例圖示系統的框圖。圖1包括依據各種實施例的特定的部件、模塊等。然而，在不同的實施例中，更多、更少、和/或其他部件、模塊、部件/模塊的布置等可以依據在此描述的教導被使用。此外，在此描述的各種部件、模塊等可以被實現為一個或者多個軟體模塊、硬體模塊、特殊用途的硬體(例如，專用硬體、專用集成電路(ASIC)、嵌入式控制器、硬接線電路等)、或者它們的某種組合。圖1中圖示的各種模塊和/或部件可以被實現為包含指令的計算機可讀存儲介質，所述指令由處理器執行並且存儲在存儲器中以便執行在此描述的操作和功能。
[0011]系統100包括相機110、顯示器120、分層模塊130、以及控制器140。相機110、顯示器120、以及分層模塊130被可操作地連接到控制器140以便利於改變工作空間中各層之間的視覺相鄰性。在一個示例中，顯示器120把地圖顯示到工作表面上。顯示器120可以是放置在工作表面上的顯示屏，或者它可以是經由數字投影把信息顯示在工作表面上的數字投影儀。此外，相機110檢測放置在工作表面上的物理對象(例如，房屋或者建築物的模型)。相機110可以是可見光相機(例如,數字圖像相機(digital image camera)、數字攝像機等)或者紅外(IR)相機。
[0012]分層模塊130把所述物理對象與一個視覺層相關聯，並且把被投射的地圖與另一個視覺層相關聯。通過保持各個層的狀態信息，控制器140能夠控制各層的視覺相鄰性。換言之，一層可能最初表現為在另一層的「上方」，但是控制器140可以改變所述視覺相鄰性，使得「底」層視覺上變為「頂」層。
[0013]圖2-3是依據各種實施例圖示系統的透視、外視圖。圖2-3包括依據各種實施例的特定的部件、模塊等。然而，在不同的實施例中，更多、更少、和/或其他部件、模塊、部件/模塊的布置等可以依據在此描述的教導被使用。此外，在此描述的各種部件、模塊等可以被實現為一個或者多個的軟體模塊、硬體模塊、特殊用途的硬體(例如，專用硬體、專用集成電路(ASIC)、嵌入式控制器、硬接線電路等)或者它們的某種組合。
[0014]系統200包括頂部210和底部220。底部220包括紅外(IR)相機224和投影儀222，以及收容的其他部件(例如，處理器、存儲器、分層模塊、控制器等)。投影儀222可以是包括但不限於LED (雷射發射二極體)和DLP (數字光處理)投影的任何適合的光投影儀。在各種實施例中，投影儀222朝著頂部210投射數字信息，在頂部210鏡子把所述投影反射到工作表面230上。IR相機224檢測被安放在工作表面230上的物理對象的位置。
[0015]投影儀222把數字信息(例如，線)的投影250投射到工作表面230上。對象260是被放置在工作空間230中的物理對象。IR相機224檢測所述對象260的位置。分層模塊(例如，分層模塊130)把投影250與一個邏輯層相關聯，並且把對象260與另一個邏輯層相關聯。如圖2所示，對象260表現為在投影250的「上方」。換言之，對象260表現為為前景層，而投影250表現為為背景層。
[0016]圖3圖示了上述邏輯層。層310表示工作表面230。層320表示投影250並且在這個示例中位於層310的「上方」。層330表示對象260並且在這個示例中位於層320的「上方」。一旦對象和數字地被投射的信息已與邏輯層相關聯，所述分層模塊保持關於各層視覺次序的狀態信息。
[0017]系統200還包括允許用戶與系統200交互的用戶輸入設備240。在各種實施例中，用戶輸入(UI)設備240包括紅外數字筆和/或紅外相機，用以檢測工作空間230中UI設備240的位置。儘管任何適合的UI設備均可以被使用，但數字筆具有如下優點:在沒有感應板或者其他特殊表面的情況下，允許在三維空間中(包括沿著工作空間230的表面)輸入。因此，系統200能夠被用於多種工作表面。
[0018]從UI設備240或者其他輸入機構接收的用戶輸入可以指示改變工作空間230中各層的視覺相鄰性的請求。例如，採用UI設備240接觸對象260可以指示使對象260為前景層、投影250作為背景層的請求。接觸工作空間230的表面可以指示使投影250為前景層、對象260作為背景層的請求。系統200可以使用所述輸入和來自分層模塊的狀態信息改變來自投影儀222的所述投影，從而使得各層的視覺次序被改變(例如，前景層和背景層交換)。
[0019]圖4是圖示投影捕獲系統中各層(真實的和虛擬的)的狀態變化的框圖。為了說明性的目的，對象被安放於其上的並且數字信息被投射於其上的工作空間的表面被認為是層LO0因此，層LI會在視覺上鄰接層LO (例如，「在其上方」)，並且層L2會在視覺上鄰接層LI (例如，「在其上方」)。如圖所示，狀態410包括與層LI相關聯的物理對象(例如，地圖、文檔、其他的二維或者三維對象等)。換言之，所述物理對象在視覺上鄰接L0。數字信息(例如，圖像、文檔等)的投影最初與層L2相關聯，並且在視覺上鄰接層LI。因此，在狀態410，數字信息的投影對於系統用戶在視覺上表現為在所述物理對象的「上方」。
[0020]響應於改變各層的視覺相鄰性的用戶輸入或者其他控制信號，系統分層模塊把層關聯性從狀態410的層關聯性改變到狀態420的層關聯性。在狀態420，物理對象變為層L2，並且數字信息的投影變為層LI。為了產生所述物理對象在所述投影「上方」的視覺外觀，所述系統可以簡單地停止投射所述數字信息到所述工作空間。
[0021]狀態412包括最初與層LI相關聯的數字信息(例如，地圖、文檔、圖像等)的投影。換言之，所述投影在視覺上鄰接L0。物理對象(例如，二維的或者三維的)最初與層L2相關聯，並且在視覺上鄰接層LI。為了獲得物理對象在所述投影「上方」的視覺外觀，所述系統可以把與所述物理對象的坐標相對應的數字信息(例如，地圖或者圖像數據等)從所述投影中移除。例如，在所述物理對象坐落的位置，所述系統可以投射空白空間(例如，白色或者其他適合顏色的光)，而在工作空間中的所有其他位置仍然投射原始數字信息(例如，地圖或者圖像數據等)。可替代地，所述系統可以(例如，從所述物理對象正上方(directly above))捕獲所述物理對象的數字圖像，並且把那個圖像投射在所述物理對象坐落的位置(替代投射空白空間)。在其中任一示例中，效果均是所述物理對象位於所述被投射數字信息「上方」的外觀。
[0022]響應於改變各層的視覺相鄰性的用戶輸入或者其他控制信號，系統分層模塊把層關聯性從狀態412的層關聯性改變到狀態422的層關聯性。在狀態422，物理對象變為層LI，並且數字信息的投影變為層L2。為了產生所述被投射數字信息在所述物理對象「上方」的視覺外觀，所述系統可以簡單地把所有數字信息投射到所述工作空間中，包括所述物理對象坐落的位置。
[0023]應當注意的是，多個投影捕獲系統可以在遠程位置被使用以用於虛擬協作。圖4中描繪的狀態圖示了這種協作的示例。在第一位置的用戶可以具有依據狀態410的物理對象和投影。同時，在第二位置的用戶可以具有依據狀態412的物理對象和投影。換言之，由狀態410表示的系統可以捕獲所述物理對象的數字圖像，並且把它發送到協作系統，在此處所述數字圖像被依據狀態412投射。同樣地，在第二位置的用戶具有依據狀態412的物理對象。這個物理對象也被數字地捕獲，並且被發送到其他系統(顯示為狀態410中的投影)。如此，在不同位置上的系統用戶可以使用真實對象和虛擬對象這二者進行協作。
[0024]圖5是依據各種實施例的系統中操作的流程圖。圖5包括依據某些實施例的特定的操作和執行次序。然而，在不同的實施例中，其他操作、省略一個或者多個所描述的操作、和/或以其他執行次序進行也可以依據在此描述的教導被使用。
[0025]系統識別510工作空間中的物理對象。所述物理對象可以是二維的或者三維的。對象可以由相機(例如，紅外相機、數字圖像捕獲(digital image capture)相機、數字攝像機等)識別。在各種實施例中，識別包括確定工作空間內所述對象的位置(例如，坐標)。分層模塊把所述物理對象與第一層相關聯520。系統還把作為第二層的數字信息(例如，圖像)顯示(例如，投射)530到工作空間中。再次，所述分層模塊保持所述被投射信息與所述第二層之間的關聯性。
[0026]系統(也許可能響應於用戶輸入)改變540第一層和第二層之間的視覺相鄰性。例如，第一層最初可以在視覺上鄰接工作空間的表面(例如，表現為「在其上方」)。第二層最初可以在視覺上鄰接所述第一層(例如，表現為「在其上方」)。響應於用戶的請求或者其他控制信號，系統切換(switch)各層的視覺次序。因此，所述第二層變為在視覺上鄰接所述工作空間的表面，而所述第一層變為在視覺上鄰接所述第二層。
[0027]圖6是依據各種實施例的系統中操作的流程圖。圖6包括依據某些實施例的特定的操作和執行次序。然而，在不同的實施例中，其他操作、省略一個或者多個所描述的操作、和/或以其他執行次序進行也可以依據在此描述的教導被使用。
[0028]投影捕獲系統識別610工作空間中的物理對象。再次，所述物理對象可以是二維的或者三維的。對象可以由相機(例如，紅外相機、數字圖像捕獲相機、數字攝像機等)識別。系統分層模塊把所述物理對象與第一層相關聯620。系統還把作為第二層的數字信息(例如，圖像)顯示(例如，投射)630到工作空間中。再次，所述分層模塊保持所述被投射信息與所述第二層之間的關聯性。
[0029]所述系統檢測640所述物理對象位置的變化。例如，所述系統可以包括紅外相機或者可見光相機(例如，數字靜止圖像相機(digital still-1mage camera)或者數字攝像機)，用於檢測所述物理對象的位置。響應於檢測所述物理對象的位置變化，所述系統保持650所述第一層與所述第二層之間的視覺相鄰性。例如，如果工作空間被邏輯上劃分為四個象限，物理對象可能最初被檢測為佔據第一象限。如果所述物理對象(與一層相關聯)最初在視覺上位於被投射數字信息(與不同的層相關聯)的上方，則所述系統可以放棄投射否則會位於第一象限的數字信息，以便與各層的視覺次序一致。然而，響應於檢測所述物理對象從第一象限到第二象限的運動，然後所述系統可以投射與第一象限相關聯的數字信息，而從所述投影中移除與所述第二象限相關聯的數字信息，從而，保持所述物理對象位於所述被投射數字信息上方的外觀。
[0030]在此描述的示例中，方法和系統管理第一層和第二層的視覺相鄰性。在此描述的方法和系統可容易地擴展到多於兩層。例如，被投射數字信息的附加層可以由投影捕獲系統管理。另外，附加物理對象均可以與不同的層相關聯。在這些多個物理層和被投射層之間的視覺相鄰性可以依據在此描述的實施例管理。
[0031]對被披露的本發明實施例和實現的各種修改可以在不背離其範圍的情況下被做出。因此，在此的說明和示例應當以示例性的、而不是以限制性的意義來解釋。
【權利要求】
1.一種系統，包括: 相機，識別被安放在工作空間中的物理對象； 顯示器，在工作空間中顯示第一數字信息； 分層模塊，把所述物理對象視為工作空間中的第一層，並且把所述第一數字信息視為工作空間中的第二層；以及 控制器，經由所述第一數字信息的顯示，控制所述第一層和第二層的視覺次序。
2.根據權利要求1所述的系統，其中，所述相機是紅外相機或可見光相機中的至少一個。
3.根據權利要求1所述的系統，進一步包括: 所述控制器響應於所述物理對象相對於所述第一數字信息的位置變化，改變所述第一數字信息的顯示以保持所述第一層和第二層之間的現有的視覺次序。
4.根據權利要求1所述的系統，進一步包括: 用戶輸入模塊，接收用戶輸入；以及 所述控制器改變所述第一數字信息的顯示以改變所述第一層和第二層的視覺次序。
5.根據權利要求1所述的系統，進一步包括: 所述顯示器在工作空間中顯示第二數字信息；以及 所述分層模塊把所述第二數字信息視為工作空間中的第三層；以及所述控制器控制所述第一數字信息和第二數字信息的顯示，以改變所述第一層、第二層和第三層之間的視覺次序。
6.根據權利要求1所述的系統，其中，所述顯示器是數字投影儀。
7.一種包含指令的計算機可讀存儲介質，當所述指令被執行時，使計算機: 識別被安放在工作空間中的物理對象； 把所述物理對象與第一層相關聯； 在工作空間中顯示作為第二層的數字信息；以及 改變所述第一層和第二層之間的視覺相鄰性。
8.根據權利要求7所述的計算機可讀存儲介質，包括另外的指令，其使計算機: 響應於所述物理對象相對於所述被顯示的數字信息的位置變化，保持所述第一層和第二層之間的現有的視覺相鄰性。
9.根據權利要求7所述的計算機可讀存儲介質，包括另外的指令，其使計算機: 在工作空間中顯示作為第三層的附加的數字信息；以及 改變所述第一層、第二層和第三層之間的視覺相鄰性。
10.一種用於投影儀-相機系統的方法，包括: 識別被安放在工作空間中的物理對象； 把所述物理對象與第一層相關聯； 把作為第二層的數字信息投射到所述工作空間中；以及 改變所述第一層和第二層之間的視覺相鄰性。
11.根據權利要求10所述的方法，其中，所述物理對象經由紅外感測被識別。
12.根據權利要求10所述的方法，其中，所述數字信息包括數字圖像供給或者數字視頻供給。
13.根據權利要求10所述的方法，進一步包括:響應於所述物理對象相對於所述被投射的數字信息的位置變化，保持所述第一層和第二層之間的現有的視覺相鄰性。
14.根據權利要求10所述的方法，其中，改變所述視覺相鄰性包括: 接收用戶輸入； 響應於所述用戶輸入，改變所述第一層和第二層的視覺相鄰性。
15.根據權利要求10所述的方法，進一步包括: 把作為第三層的附加的數字信息投射到所述工作空間中；以及 改變所述第一層、 第二層和第三層之間的視覺相鄰性。
【文檔編號】G03B21/20GK103703763SQ201180072678
【公開日】2014年4月2日 申請日期:2011年7月29日 優先權日:2011年7月29日
【發明者】O.K.西弗特 申請人:惠普發展公司，有限責任合夥企業