基於成像對象特性的增強的真實性的製作方法
2023-05-02 08:53:46
基於成像對象特性的增強的真實性的製作方法
【專利摘要】可以通過將計算機生成的圖像添加到真實世界存在的圖像來使能增強的真實性。可以基於所述圖像中的成像對象的特性來自動插入計算機生成的圖像。
【專利說明】基於成像對象特性的增強的真實性
【技術領域】
[0001]本發明一般涉及計算機，並且特別地，涉及增強的真實性應用。
【背景技術】
[0002]增強的真實性是將計算機提供的內容，包括圖像、視頻、文本以及其它數據作為層添加到真實世界的計算機顯示的圖像上的過程。例如，當移動裝置(例如蜂窩電話)捕獲包括不同建築物的場景的圖像時，基於它們的全球定位系統坐標，存在能夠添加關於建築物的信息的應用。例如，可以提供建築物的地址以及用於該建築物的房地產列表的連結。
【專利附圖】
【附圖說明】
[0003]圖1是根據本發明的一個實施例的具有覆蓋的標記的成像場景的描繪；
圖2是根據本發明的一個實施例的具有相對於覆蓋的標記已經移動的(相對於圖1)成像對象的成像場景的描繪；
圖3與具有根據本發明的一個實施例的增強的真實性的圖2相對應；
圖4是根據本發明的另一個實施例的使用增強的真實性的成像屏幕的描繪；
圖5是本發明的一個實施例的流程圖；
圖6是本發明的另一個實施例的流程圖；以及 圖7是本發明的一個實施例的示意性描繪。
【具體實施方式】
[0004]在一些實施例中，增強的真實性可以引導人類捕獲和重放數字媒體的特定收集。這些實施例可以利用(leverage)空間的物理幾何、人類行為和計劃(programmed)的活動的組合以便創造全新的和新穎的體驗。作為示例，實施例可能可應用在遊戲、社區行動、教育和攝影中。
[0005]根據本發明的一些實施例，基於成像對象的特性，增強的真實性可以選擇性地應用於圖像場景。例如，基於圖像場景的特性，例如場景內的對象的位置、對象的識別或對象的特定運動的識別，增強的真實性音頻/視覺對象可以被添加到場景。用這種方法，計算機提供的對象可以覆蓋在真實世界圖像上來增強描繪。
[0006]在本發明的另一個實施例中，計算機可以將一個或多個標記放置在成像場景上。然後，捕獲場景的圖像的人可以鼓勵場景中的人與那些標記交互，知道將基於標記的位置應用增強的真實性。
[0007]參考圖1,圖像對象U (在這個情況下是人)具有圖像手臂A。標記M由計算機覆蓋在圖像上。可以通過將額外的層施加(apply)到圖像上來進行標記的覆蓋，所述額外的層可以大部分為透明以使得可以看見下面的圖像。標記M可以是用於把增強的真實性對象可以在那個位置被覆蓋在最終圖像上指示給捕獲圖像的人的引導。圖像對象U可以是靜止或運動的圖像。[0008]圖像可以由具有靜止或運動圖像捕獲能力的任何裝置包括照相機、視頻照相機、蜂窩電話、移動網際網路裝置、電視機或膝上型計算機(舉幾個例子)來捕獲。
[0009]接著參考圖2，捕獲圖像的人可以鼓勵用戶伸展用戶的手臂所以他的或她的手臂圖像A與覆蓋的標記M交互。捕獲圖像的人可以鼓勵手臂運動，知道標記M(在這個實施例中只有捕獲圖像的人看見)標記覆蓋的增強的真實性圖像將被插入的位置。
[0010]圖3中示出增強的真實性圖像的這個插入，其中蝴蝶O的圖像最終覆蓋在標記M的位置。在這個實施例中，當圖像正被捕獲時，標記M被覆蓋在圖像上。換句話說，標記M被實時地施加到正被捕獲的圖像。然後，它看來好像蝴蝶魔法般地落在用戶的手上。
[0011]根據本發明的另一個實施例，計算機可以使用基於數字圖像的模式識別或圖像分析來識別成像對象的特性。例如，特性可以是形狀、顏色、方位、手勢運動或速度(舉幾個例子)。基於數字圖像的模式識別或分析通過分析數字圖像的內容來識別特性，這與簡單地將圖像與確切相同對象的其它已知圖像進行比較來識別未知圖像形成對比。在一個實施例中，基於數字圖像的模式識別或分析識別人類外貌。人類外貌是人類的任何部分，包括整個身體、臉部或任何附屬肢體(作為示例)。
[0012]例如，可以使用基於數字圖像的模式識別或分析來確定對象是什麼來識別對象本身。通過將另一個音頻/視覺對象覆蓋在圖像場景上，預定義的特性的識別可以用於發起增強的真實性的生成。
[0013]因此，在圖4的情況下，描繪了戴著魔法帽的女孩的捕獲圖像。計算機系統可以檢測帽子的圖像，並且基於那個檢測(例如使用模式識別)可以在女孩的描繪的圖像的手上自動顯示精靈F的圖像。
[0014]作為另一個示例，計算機(再一次使用視頻圖像分析)可以識別女孩伸展的手臂。伸展的手臂(實際上，手勢命令)的識別可以是生成精靈圖像F的觸發。作為又一個示例，計算機可以識別伸展左臂的動作，並且基於這個識別的運動可以生成精靈圖像F。
[0015]在每種情況下，對象的圖像的特性(例如它的形狀或手勢移動)用於自動將音頻/視覺圖像對象覆蓋在顯示內的期望位置。
[0016]在其它實施例中，圖像對象的給定特性可以用於生成音頻。例如，當成像對象被識別為指揮管弦樂隊的指揮家時，管弦樂隊的聲音可以被自動添加到音頻/視覺媒體。
[0017]作為額外的示例，可以分析來自固定照相機的圖像場景來識別在紅燈可見時在十字路口內運動的車輛。計算機可以自動將詞「違規」覆蓋在圖像上來輔助警官實現紅燈照相機交通執行系統。作為另一個交通應用，路邊的固定照相機可以對經過的汽車成像。可以用詞「違規」來覆蓋比速度限制行駛得更快的汽車的捕獲圖像。
[0018]作為又一示例，安全照相機可以檢測在未授權的位置的人並且可以用詞「違規」來覆蓋對象，或者可以通過語音合成說出詞「入侵者」。
[0019]在許多情況下，成像對象的特性(除了它的全球定位系統(GPS)坐標，它不是成像對象的特性)可以用於生成增強的真實性。在一些實施例中，除了非基於GPS的特性之外，還可以使用全球定位系統坐標。
[0020]可以在圖像捕獲的時候實時提供增強的真實性覆蓋或者可以使用幀的系列或捕獲的場景的、基於數字圖像的內容識別來覆蓋增強的真實性覆蓋。例如，可以分析伸展的運動圖片文件來搜索特別成形的對象，並且當找到那些對象時，可以添加增強的真實性來加強描繪。
[0021]參考圖5，可以在實施例中(例如圖1-3中描繪的實施例)使用序列10。可以在軟體、硬體和/或固件中實現序列10。在基於軟體或固件的實施例中，可以由存儲在非暫時性計算機可讀介質(例如半導體、磁或光存儲器)上的計算機可讀指令來實現所述序列。
[0022]在框12，當描繪正被捕獲為靜止或移動圖片時，引導標記被自動覆蓋在成像對象上。在一些實施例中，覆蓋的標記或標記可以被覆蓋為覆蓋成像圖片的層，所述標記是不透明的，但是覆蓋的其餘是透明的。
[0023]在框14，可以提示捕獲圖像的用戶提示對象以期望的方式運動來與標記交互，使得可以通過增強的真實性的應用來實現期望的效果。
[0024]然後，在一些實施例中，如框16描繪的，可以在現有的場景上自動施加增強的真實性音頻/視覺對象。在一個實施例中，增強的真實性的應用可以是用戶輸入命令的結果。在另一個實施例中，它可以在標記已經顯示某段時期之後出現。在一個實施例中，標記和對象可以是相同的。
[0025]例如，可以使用圖6中示出的序列20來實現實施例(例如圖4中描繪的實施例)。再一次，可以在軟體、固件和/或硬體中實現序列20。在軟體和固件實施例中，可以由存儲在非暫時性計算機可讀介質(例如半導體、磁或光存儲器)上的計算機可讀指令來實現所述序列。
[0026]如框22中指示的，可以通過接收可能由靜止圖像或移動圖像的幀的系列組成的圖像文件來開始所述序列。然後，檢測成像對象的給定特性(框24)。如上面描述的，圖像本身(不是真實世界對象(即，不是它的GPS坐標))的各種圖像特性可以用於觸發增強的真實性的生成。再一次，圖像的這樣的特性的示例包括形狀識別、動作、速度、手勢命令、顏色和相對於一個或多個其它描繪的對象的成像場景內的位置。
[0027]例如，在計算機動畫中，兩個參與者可能正在開賽車並且當系統檢測賽車會合的時候，系統可以生成碰撞圖像或碰撞聲音，覆蓋在正在進行的描繪上。這樣的實施例可以描述為增強的虛擬真實性，但是因為賽車圖像在真實世界中生成，這實際上是增強的真實性的另一個不例。
[0028]最後，在框26，增強的真實性覆蓋被覆蓋在現有捕獲的或計算機生成的圖像上。
[0029]參考圖7，根據一個實施例，用於實現本發明的實施例的計算機30可以包括具有集成的視頻照相機34的顯示屏32 (在一些實施例中)。當然，視頻照相機34可以與計算機系統30和/或顯示屏32分開。顯示屏32通過顯示接口 36耦合到總線38。
[0030]總線38可以常規地耦合到處理器40和系統存儲器42。處理器可以是任何控制器，包括中央處理單元或圖形處理單元。在一些實施例中，系統存儲器42可以存儲實現序列10和/或20的計算機可讀指令，在這個情況下其中序列10和/或20由固件或軟體實現。
[0031]在一些實施例中，嵌入的增強的真實性層可以具有以下特性:
-所述層可以是「自由形式即，它響應於真實世界實時事件，不只是預先計劃的或預先加載的事件；
-所述層可以是暫時的(在捕獲期間作為引導可見，但不被傳送到媒體輸出)或集成的(即，在捕獲期間可見並且集成到媒體輸出中)； -由所述層提供的引導可以是上下文察覺的，並且可以反映以下變量中的一個或多個:對象的位置、空間的幾何、幀內的運動、幀的RBG圖像內容和/或其它傳感器數據，例如噪聲、熱、電荷、無線信號；和/或
-增強的真實性層可以與捕獲媒體的人類對象交互來朝著計劃的目標指引那個捕獲。
[0032]實施例可以利用人類行為。在主題公園有秩序地等待吸引人的事物的用戶可以與來自主題公園的人物一起玩或講故事，並且創造他的或她的體驗的可帶走的「電影」:
-用戶A發起神話故事應用並且將圖像捕獲裝置指向用戶B ；
-用戶A看見屏幕上的人物，其響應於用戶B的動作和交互；
-交互被捕獲(與增強的數字媒體集成)並且可以在捕獲裝置上重放、有秩序地在屏幕上實時顯示或作為電影送到家。
[0033]-用戶A(具有圖像捕獲裝置)可以利用他的或她的增強的真實性應用來指引屏幕到空間內的其它參與者(即，通過改變照相機的聚焦，並且用戶A可以有秩序地將精靈送給另一個人)。用戶C的反應繼續通知精靈的增強真實性行為。
[0034]這個實施例還說明可見的實時重放如何可以用於影響捕獲，具體地:
-這種情況中的應用被計劃來允許用戶有秩序地在提供的屏幕上共享他們的捕獲；
-在屏幕上對人類對象(如由探視器確定的)和動畫(數字覆蓋)兩者進行實時播放。然後，用戶A 「指引」場景，其中精靈有秩序地訪問並且與不同人交互。對象手勢和反應(笑、煩惱)全都由系統識別，並且數字動畫層基於對象的反應來改變它的行為。
[0035]可以在各種硬體架構中實現本文描述的圖形處理技術。例如，圖形功能性可以集成在晶片集內。備選地，可以使用離散的圖形處理器。作為又一個實施例，可以通過通用處理器(包括多核處理器)來實現圖形功能。
[0036]遍及這個說明書的對「一個實施例」或「實施例」的提及意指結合實施例描述的特定特徵、結構或特性被包括在本發明內包括的至少一個實現中。因此，短語「一個實施例」或「在實施例中」的出現未必指相同實施例。此外，可以以除了說明的特定實施例之外的其它適當形式來設立特定特徵、結構或特性，並且所有這樣的形式可以被包括在本申請的權利要求內。
[0037]雖然已經關於有限數量的實施例描述本發明，但是本領域技術人員將從那裡領會許多修改和變化。意圖是附加的權利要求覆蓋落在本發明的真正精神和範圍內的所有這樣的修改和變化。
【權利要求】
1.一種方法，包括: 使用基於數字圖像的圖像分析來檢測顯示屏上顯示的成像對象的特性；以及 基於所述特性，將音頻或視覺對象覆蓋在所述顯示屏上。
2.如權利要求1所述的方法，其中使用基於數字圖像的圖像分析包括檢測人類外貌。
3.如權利要求1所述的方法，包括分析與所述人類外貌相關聯的圖像。
4.如權利要求1所述的方法，包括識別作為手勢命令的特性。
5.如權利要求1所述的方法，包括識別所述成像對象的形狀、顏色、方位或速度。
6.一種方法，包括: 將標記覆蓋在成像場景的顯示上；以及 使用所述標記來增強真實性。
7.如權利要求6所述的方法，其中使用包括將計算機生成的圖像施加到所述顯示。
8.如權利要求7所述的方法，包括使用與所述圖像相同的標記。
9.如權利要求7所述的方法，包括用計算機生成的圖像來替代所述標記。
10.一種非暫時性計算機可讀介質，其存儲指令以使得基於處理器的裝置能夠進行以下操作: 使用基於數字圖像的圖像分析來識別成像對象的特性，並且基於那個特性將音頻或視覺對象覆蓋在所述顯示屏上。
11.如權利要求10所述的介質，還存儲用於使用所述基於數字圖像的圖像分析來檢測人類外貌的指令。
12.如權利要求10所述的介質，還存儲用於分析與所述人類外貌相關聯的圖像的指令。
13.如權利要求10所述的介質，還存儲用於識別手勢命令形式的特性的指令。
14.如權利要求10所述的介質，還存儲用於識別成像對象的形狀、顏色、方位或速度的指令。
15.如權利要求10所述的介質，還存儲用於將指示符覆蓋在未捕獲的圖像上並且使用所述指示符作為標記來定位增強的真實性描繪的指令。
16.如權利要求15所述的介質，還存儲用於使用所述標記來在所述標記的位置處、將計算機生成的圖像施加到所述顯示的指令。
17.如權利要求16所述的介質，還存儲用於使用與所述圖像相同的所述標記的指令。
18.如權利要求16所述的介質，還存儲用於用計算機生成的圖像來替代所述標記的指令。
19.一種設備,包括: 圖像捕獲裝置； 耦合到所述圖像捕獲裝置的處理器；以及 所述處理器用於將標記覆蓋在圖像顯示上並且使用所述標記用於增強的真實性。
20.如權利要求19所述的設備，所述處理器用於用所述增強的真實性圖像替代捕獲的描繪中的所述標記。
21.如權利要求19所述的設備，所述處理器用於在場景的圖像被捕獲之前在所述圖像捕獲裝置中將所述標記覆蓋在所述場景的描繪中。
22.如權利要求19所述的設備，包括耦合到所述處理器的顯示屏。
23.如權利要求22所述的設備，所述處理器用於使用基於數字圖像的圖像分析來識別成像對象的特性，並且基於那個特性將音頻或視覺對象覆蓋在所述顯示上。
24.如權利要求23所述的設備，所述處理器用於使用所述基於數字圖像的圖像分析來檢測人類外貌。
25.如權利要求24所述的設備，所述處理器用於分析與所述人類外貌相關聯的圖像。
26.如權利 要求24所述的設備，所述處理器用於識別手勢命令形式的特性。
【文檔編號】G06T17/00GK103765867SQ201180073313
【公開日】2014年4月30日 申請日期:2011年9月8日 優先權日:2011年9月8日
【發明者】L.B.埃恩斯沃爾思, J.P.梅利肯, T.J.施利斯基 申請人:英特爾公司