產生虛擬圖像和真實圖像的合成圖像的製作方法

2023-05-01 10:15:51 4

專利名稱：產生虛擬圖像和真實圖像的合成圖像的製作方法
產生虛擬圖像和真實圖像的合成圖像4支術領域本發明涉及產生真實圖像和虛擬圖像的合成圖像如計算機圖形圖像(CG圖像)的方法、裝置和程序。
技術背景一種被稱為混合實境(MR)的技術提供包括混合了真實空間圖 像(即背景)的CG圖像的混合的真實性，根據該技術，用戶能夠感 覺好像一個虛擬的對象存在於真實的空間中。該MR技術可用於通信、 交通、娛樂及其他各種工業領域。為了平滑合成虛擬空間和真實空間的處理並防止用戶感覺到任 何不協調，在MR技術中以下的一致性是所希望的(1)在保持正確的空間關係的同時混合真實空間的對象和虛擬 空間的對象的幾何一致性；(2 )自然混合真實空間的光源和虛擬空間的光源的光學一致性； (3 )均衡真實空間的時間和虛擬空間的時間的時間 一 致性。為了實現這些一致性，非常重要的是要正確識別真實空間的信息 和狀態並且準確地將該真實空間的信息輸入到虛擬空間。已經提出了各種常規系統用來解決光學一致性的問題(即上述一 致性中的一種)。文獻1(1. Sato, y. Sato, and K. Ikeuchi， "Acquiring a radiance distribution to superimpose virtual objects onto a real scene", IEEE Transactions on Visualization and Computer Graphics, Vol. 5， No. 1， PP. l-l2， January-March l999 )中討論的系統通過一個魚眼攝像機獲 得了 一種真實空間的全向圖像，根據所獲得的全向圖像來估計真^環 境中的光源的位置信息，並將該估計的光源的位置信息反映在一個虛.
擬空間中。另夕卜，文獻2 (M. Kanbara， T. Iwao， and N. Yokoya， "Shadow Representation for Augmented Reality by Dynamic Shadow Map Method", a lecture memoir for an image recognition and comprehension symposium (MIRU 2005)， pp. 297-304， July 2005 )中 討論的系統實現了根據一個三維標記器對光源環境(真實世界的光源 位置)的實時估計，該標記器結合了一個二維方形標記器和放置在該 標記器中央的一個鏡面球，該系統還根據該估計的位置來布置虛擬光 源。才艮據文獻2，該系統根據二維方形標記的位置和方向計算出觀察 點和虛擬對象間的相對位置。然後，為了估計一個光源環境，該系統 使得安裝在一個視頻觀察頭戴顯示器(HMD)上的攝像機能夠根據 所計算的相對位置捕獲反映在該鏡面球(即鏡面球的高亮區域)中的 該真實環境的光源。文獻1中討論的系統可以在單次圖像捕獲操作中獲得真實環境 的光源信息。但是，該系統不能響應於照明環境的變化執行光源環境 的實時估計，也不能反映虛擬空間中的照明環境的變化。文獻2中討論的系統執行對光源信息的實時估計，也能反映虛擬 環境的估計結果。但是，用戶需要持續地捕獲視野中的二維標記器， 還需要事先預備複雜的標記器(即包括二維標記器和鏡面球的三維標 記器)。發明內容人們希望響應於環境光源的變化產生一種真實空間圖像和虛擬 圖像的合成圖像，而無需使用特殊的設備，如包括一個鏡面球的三維標記o如權利要求1至9所述，本發明的第一方面提供了一種產生合成 圖像的方法，其中真實空間的圖像與虛擬對象的圖像進行合成。如權利要求10所述，本發明的第二方面提供了一種產生合成圖 像的裝置，其中真實空間的圖像與虛擬對象的圖像進行合成。本發明 的第三方面提供了一種程序，當由計算機或處理器執行時，該程序使得該計算機或處理器執行實施前述本發明的第一方面的方法。本發明的其它特徵根據下面參照附圖對示例性實施例的詳細描 述將變得很清楚。


構成說明書的一部分的附圖，與文字描述一起，示出了本發明的 一些示例性的實施例、特徵及各個方面，用於解釋本發明的至少一些 原理。圖l是表示根據第一示例性實施方式的信息處理裝置的方框圖。圖2示出了根據第一示例性實施方式的該信息處理裝置的概念。 圖3是表示根據第一示例性實施方式的修改了的信息處理裝置 的方框圖，該裝置使用了 一個標記測量器代替了位置/方向傳感器。 圖4示出了一個二維標記器。圖5是表示由第一示例性實施方式的信息處理裝置執行的示例 性處理的流程圖。圖6是表示根據第二示例性實施方式的信息處理裝置的方框圖。 圖7是表示根據第三示例性實施方式的信息處理裝置的方框圖。
具體實施方式
以下對示例性實施方式的描述本質上僅僅是示意性的，決不是要 限制本發明及其應用或使用。本領域普通技術人員所熟知的處理、技術、裝置和系統是為了使 得描述更恰當。例如，用於圖像處理、數據處理及其他應用的特定電 路沒有詳細的描述。但是構造這些對於相關領域普通技術人員熟知的 這些系統以及實現這些系統的方法只是為了使得這裡的披露更恰當。應該注意的是，在整個說明書中，附圖中類似的附圖標記和字母 代表類似的項目，因此一旦一個項目在一個附圖中進行了描述，在下 面的附圖中將不再討論。下面將結合附圖對示例性實施方式進行詳細的描述。 第一示例性實施方式圖1是表示根據本發明的第一示例性實施方式的信息處理裝置100的方框圖。圖2是該信息處理裝置100所能提供的混合實境的概 念性表示。在圖2中，用戶201攜帶的頭戴顯示器(後面稱為HMD) 101 包括一個能夠獲得位置和方向數據的視頻攝像機。該用戶201可以通 過由該視頻攝像機捕獲的視頻圖像(真實圖像)205觀察真實空間。 圖2中，該信息處理裝置100通過把由該視頻攝像機捕獲的多個真實 空間圖像(真實圖像)205連接(如縫合)在一起可以產生一個天球 (celestial sphere) 206的虛擬圖像。每個捕獲的圖像205是一個由該 視頻攝像機捕獲的真實空間的一個圖像。該天球206是一個具有無限 半徑的半球，可以被看作一個可以在其上投射所捕獲的圖像205的屏 幕。在該示例性實施方式中，信息處理裝置100根據所產生的天球圖 像估計真實空間的光源信息。該信息處理裝置IOO根據所估計的光源 信息產生一個具有自然亮度和陰影的虛擬對象204。信息處理裝置100將所述具有如上所述設置的亮度和陰影的虛 擬對象204與一個由用戶201的視頻攝像機捕獲的桌子203 (即一個 真實對象)的真實圖像進行合成。HMD 101接收由信息處理裝置100所產生的虛擬對象204和真 實對象203的合成圖像，並在其顯示單元上顯示該合成圖像，這樣用 戶201就可以觀看該合成圖像。由於所顯示的合成圖像中的虛擬對象 具有自然的亮度和陰影，用戶201可以體驗到該混合的真實性，而沒 有任何不和諧感。圖1所示的信息處理裝置100包括具有以下功能的各個單元。圖 1中，該信息處理裝置IOO被連接至一個捕獲真實空間圖像的視頻攝 像機112，並且還被連接至HMDIOI。
根據圖1的示例性設置，視頻攝像機112和HMD 101被彼此分 開。但是，將攝像機112合併在HMD 101中也是有用的，例如，如 果攝像機112包括距離用戶201的兩隻眼睛很近的一個右眼攝像機和 一個左眼攝像機，這樣每個攝像機就可以沿用戶201的視線固定。而 且，代替使用該右眼攝像機和左眼攝像機，也可以使用單目視頻攝像 機或者將一個視頻攝像機附加在一個用戶201可以手持的手持顯示器 (HHD)上。在該示例性實施方式中，HMD 101包括一個右眼小型顯示單元 和一個左眼小型顯示單元。每個顯示單元可以顯示由視頻攝像機112 捕獲的真實圖像和由信息處理裝置100產生的虛擬圖像(即虛擬對象 204的圖像)的合成圖像。因此，用戶201可以觀察到真實空間的圖 像和虛擬對象的合成圖像。對圖像，:為了簡化描述，下面是應用於一個單圖像的處理。當使用一對視頻攝像機(複眼攝像機)的時候，信息處理裝置 100對每個由視頻攝像機捕獲的圖像進行類似的處理並產生一對合成 圖像。右眼顯示單元和左眼顯示單元合併在HMD中，並可獨立地顯 示所產生的一對合成圖像中對應的一個。一個圖像輸入單元102獲得由視頻攝像機112捕獲的真實圖像。 該圖像輸入單元102將視頻攝像機112所捕獲的圖像信號轉換為數字 圖像數據。該圖像輸入單元102例如是一個用於將圖像信號轉換為數 字圖像數據的視頻捕獲板。一個位置/方向傳感器103可以檢測視頻攝像機112的位置和方 向。該位置/方向傳感器103例如是一個陀螺傳感器。 一個位置/方 向測量單元104獲得該位置/方向傳感器103的實時輸出。該位置/ 方向測量單元104計算該視頻攝像機112的三維位置和方向數據。一個真實環境圖像資料庫管理單元105接收由圖像輸入單元102112的三維位置和方向數據。該真實環境圖像資料庫管理單元、105根
據該輸入數據產生一個天球圖像並保持所產生的這個天球圖像。真實環境圖像資料庫管理單元105例如包括一個可以記錄數據的硬碟。用於產生天球圖像的示例性方法下面結合圖2進行描述。如圖2 所示，該天球206構成一個虛擬空間的一部分，其中用戶201可以體 驗到混合的真實性。開始，該天球206具有中性的灰色。在當前的示 例性實施方式中，該虛擬設置通過在一個存儲裝置中存儲一對數據 (在定義該虛擬空間的坐標系中天球上的各個位置的坐標值，和顏色 信息)而產生。該天球圖像產生方法包括通過圖像輸入單元102連續地獲得由 用戶201所攜帶的視頻攝像機112捕獲的圖像205，該用戶用該攝像 機112觀察四周。此外，該方法包括根據視頻攝像機112的位置和方 向在天球206上連續地投射圖像205,如圖2所示。以這種方式，通過將該投射的圖像205映射到天球206上，天球 206最初沒有定義的部分(即中性灰色部分)可以被連續地由相應的 投射圖像205所代替，這樣一個完整的天球圖像可以在天球206上最 終形成。通過上述過程產生的天球圖像可以在真實環境圖像資料庫管 理單元105中被記錄，並可被更新。另外，在能夠模擬初步確定真實空間的牆和對象的形狀和布局的 情況下，該天球圖像產生方法可包括將所捕獲的圖像205映射在這樣 一個模擬形狀上而無需使用上述天球。該模擬形狀例如是一個類似房 間的矩形平行六面體。類似於一個天球圖像，被映射在該模擬形狀上 的捕獲的圖像205可以被記錄在真實環境圖像資料庫管理單元105 中，並可以被更新。各種縫合技術可用於在產生一個全景圖像的過程中自然地連接 捕獲的圖像。相應地，使用這些縫合技術中的一種能夠使得該裝置產 生一個具有所捕獲的圖像間的基本上無縫邊界的天球圖像。另外，利 用所述基本上無縫的天球圖像能夠使得該裝置改善檢測光源位置的 精確度並能恰當地估計光源。光源信息估計單元106根據保存在真實環境圖像資料庫管理單
元105中的天球圖像以及視頻攝像機112的三維位置和方向數據，估 計真實空間中的光源信息。通常，計算機圖形中的光源信息包括光源 的類型以及光源的亮度、顏色、和位置/方向。該光源的類型例如是一個平行光源、點光源或聚光燈。為了簡化 描述，當前示例性實施方式使用一個點光源，因為該點光源不需要計 算來檢測該光源的方向。因此，光源信息估計單元106除了該光源的 亮度和顏色外，僅估計該光源的位置。當前可用的計算機圖形技術不可能處理無限數量的光源。因此， 光源信息估計單元106訪問記錄在真實環境圖像資料庫管理單元105 中的天球圖像，並選擇和提取有限數量的可能具有重大影響的光源。有各種利用所產生的天球圖像來估計光源的方法。當前示例型實 施方式利用一種提取具有高於預定閾值的亮度值的一個區域的方法。 下面描述一種示例性的計算光源的亮度、位置和顏色的方法。關於光源的亮度，該方法包括從記錄在真實環境圖像資料庫管理 單元105中的天球圖像連續提取預定數量的具有高於預定閾值的亮度 值的區域(即高亮區域)，並為每個區域設置一個虛擬光源的相對亮 度值，以使得所計算的亮度值的總和變得等於一個預定的亮度值。關於光源的顏色，該方法包括將記錄在真實環境圖像資料庫管理 單元105中的圖像數據分解為三個基本的顏色分量(R, G, B)，提 取各個高亮區域中的像素值，計算每個區域的R， G和B顏色分量的 平均值，並設置該光源的顏色。但是，合併在HMD 101中的視頻攝像機112持續地獲得一個真 實環境。 一個顯示的光源顏色在色彩上可能稍微不同於真實光源的顏 色。在這種情況下，用戶可以在系統操作期間編輯該光源信息。接下來，關於光源的位置，該方法包括使網格球頂的每個點(即 以等間隔布置在天球上的一組點)與該天球圖像相匹配，並在該網格 球頂的一個最靠近該提取的高亮區中具有最高亮度值的點的點上布 置一個光源。另外，還有一種常規的方法，如基於圖像的點亮(IBt)方法，
其中天球的每個像素是一個點光源。相應地，至於該光源布局方法， 可以根據該系統選擇適當的方法。IBL方法的一個例子在Paul E. Debevec, Rendering Synthetic Objects into Real Scenes; Bridging Traditional and Image-Based Graphics with Global Illumination and High Dynamic Range Photography, SIGGRAPH98, July 1998中進行了詳細的討論。因此， 關於該IBL方法的詳細描述被省略。用戶201所攜帶的HMD 101包括兩個攝像機，其使得用戶能夠 觀察立體圖像。相應地，該方法可以包括根據由各個視頻攝像機捕獲 的圖像的高亮信息和兩個視頻攝像機間的距離信息執行一種立體測量，計算位於真實空間中的光源的三維信息，並在所計算的位置設置 一個虛擬光源。雖然當前示例性實施方式的光源是一個點光源，採用其它類型的 光源或根據用戶的指令編輯光源可能也是有用的。計算另一種類型的光源的位置和方向的示例性方法在下面進行 描述。在平行光源的情況下，該方法包括在真實空間中放置一個簡單 的杆狀的對象，提取該對象的陰影，並根據該提取的陰影計算該光源 的位置和方向。另外，為了再現一個螢光燈或一個類似的光源，該方法包括設置 一個線(或面)光源，在該線(或面)光源的邊緣點和中心(或質心) 位置布置點光源，並利用該點光源模擬線(或面)光源。虛擬空間資料庫108存儲要被呈現在用戶201的三維虛擬對象的 CG模型數據。 一個光源信息管理單元107根據由光源信息估計單元 106所估計的光源信息管理存儲在虛擬空間資料庫108中的三維虛擬 對象的光源信息(如亮度和陰影)。另外，用戶201可以通過改變由 光源信息管理單元107所管理的光源信息來改變記錄在虛擬空間數據 庫108中的光源信息。一個圖像產生單元109產生一個要由用戶201所觀察的(如從觀 察點位置和方向)虛擬對象圖像和通過圖像輸入單元102獲得的真實 空間圖像的合成圖像。更具體地說，該圖像產生單元109根據位置/ 方向測量單元104計算出的位置和方向數據、包括在虛擬空間資料庫 108中的虛擬對象的地理信息、屬性信息(顏色、質地等)以及所估 計的光源信息產生一個虛擬對象圖像。任何常規的技術都可以用來根 據該光源信息產生一個三維虛擬對象圖像。因此，關於該技術的詳細 描述被省略。HMD 101根據從圖像產生單元109接收的合成圖像數據在一個 內置的顯示單元上顯示一個合成圖像。當該合成圖像被顯示在HMD 101上時，用戶感覺好像虛擬對象204被放置在真實空間的桌子203 上。一個環境映射產生單元111利用從真實環境圖像資料庫管理單 元105中獲得的圖像信息，產生一個環境映射，該映射能夠在該虛擬 對象204上施加偽(dummy)反射。任何常規的方法都可以用來產生 一個環境映射並把該映射施加到一個虛擬對象上。下面描述一個示例 性的產生環境映射的方法。該方法包括根據對象周圍反映(rendered)的環境產生一個環境 映射。在當前的示例性實施方式中，該環境映射產生單元lll根據由 真實環境圖像資料庫管理單元105提供的圖像執行該反映。該環境映射產生方法可以包括獲得六個(即前、後、上、下、左 和右)二維圖像平面來構成一個立方體。作為替代，該方法可包括面 對虛擬空間中的觀察點放置一個半球形的鏡面球並使光被全向反射 至該半球形球體以形成一個二維圖像。該環境映射的原理使得反射在反映過程中通過使用一條從光束 沿視線前進的一點處的法線遇到一個對象，然後將該反射的光束與一 個環境映射相交的點處的顏色替換為該對象的顏色。使用由該環境映 射所得到的虛擬圖像是有用的，因為可以提供給用戶 一個自然合成的 圖像。包括一個視頻捕獲板的通常的計算機裝置能夠實現上述除視頻 攝《象機112和HMD IOI之外的配置。因此，該信息處理裝置以下的 至少部分處理可以通過一個能夠執行存儲在存儲器中的控制程序的中央處理單元(CPU)來實現。接下來，根據當前示例性實施方式由信息處理裝置執行的示例性處理將結合附圖5的流程圖進行描述。首先，在步驟S500， CPU激活系統，獲取天球206 (或者任何 其它適當的真實空間的模擬形狀)的設置，並執行初始化。在初始化 過程中，如果有一個圖像組投射在該天球206上或該模擬形狀上，CPU 刪除該圖像組並且一次性地將其全部塗抹上中性的灰色，並刪除記錄 在虛擬空間資料庫108中的光源信息。在步驟S501, CPU從位置/方向測量單元104中獲取視頻攝像 機112的位置和方向信息。在步驟S502，圖4象輸入單元102獲取由該 視頻攝像機112捕獲的真實圖像數據。在步驟S503， CPU根據在步驟S501和S502獲得的該圖像數據 以及該視頻攝像機位置和方向信息，產生一個圍繞用戶201的虛擬環 境中的投影圖像(即將捕獲的圖像投射在天球206或其它用於模擬真 實環境的模型上)。CPU在該真實環境圖像資料庫管理單元105中記 錄所投射的天球圖像。以這種方式，該CPU能夠通過持續地將所捕獲的圖像記錄到該 資料庫中來持續更新該真實環境資料庫，以存儲最新的環境數據。因此，當前的示例性實施方式能夠無需^^用特殊的裝置如包括一 個鏡面球的二維標記器而建立該真實環境資料庫。位置/方向測量單元104通過傳感器103執行該視頻攝像機112 的位置和方向的實時測量。因此，該CPU能夠在獲得捕獲圖像205 的情況下檢測視線方向。參考攝像機的一個已知的視角，該CPU能 夠沿視線方向將捕獲的圖像205投射在天球206上。在步驟S504，該CPU根據在步驟S503的過程中獲得的真實環 境圖像資料庫估計光源信息(如光源的位置、色彩、和亮度)。由於 該真實環境圖像資料庫被持續地更新，該CPU能夠根據該更新的環 境圖像資料庫估計光源信息。這樣，該真實環境的實時亮度變化可以
立即反映在虛擬空間的光源信息中。在步驟S505中，CPU根據在步驟S504中估計的光源信息設置 並改變記錄在虛擬空間資料庫108中的光源信息。更具體的說，CPU可以通過將步驟S504中所估計的光源信息添 加到虛擬空間資料庫108中所記錄的光源信息上，從而設置並改變該 光源信息。在步驟S506中，CPU根據在步驟S501中獲得的視頻攝像機的 位置和方向數據、步驟S505中設置的光源信息以及記錄在虛擬空間 資料庫中的虛擬對象信息產生一個虛擬圖像。在步驟S507中，CPU對步驟S502中獲得的真實圖像數據和步 驟S506中產生的虛擬圖像進行合成，並將所產生的合成圖像輸出到 HMD 101。在步驟S508， CPU判斷該過程是否完成。如果CPU判斷該過 程沒有完成(步驟S508中的否)，則處理流程返回到步驟S501。在 步驟S501， CPU重複上述步驟S500到S507的過程。例如，CPU可 以在步驟S508根據想結束當前MR對話的用戶的指令確定該過程已 經結束。另外，假設該光源環境在當前MR對話期間沒有變化，該CPU 可以計算一個填充率作為真實環境圖像資料庫管理單元105與一個該 場景的天球模型或其他三維形狀模型的比率。 一旦填充率達到100% 並且光源信息已經被估計，則CPU可以終止該光源估計過程。此外，CPU可以連續地比較所捕獲的圖像和存儲在真實環境圖 像資料庫管理單元105中的圖像。如果整個圖像的亮度值已經大大地 改變，則CPU可以確定真實空間的亮度條件已經變化，並且CPU可 以重新開始該光源估計過程。當前的示例性實施方式使用傳感器的測量值來測量或估計視頻 攝像機112的位置和方向。但是，根據當前示例性實施方式的位置/ 方向測量(或估計)方法依賴於系統。因此，選擇使用傳感器和二維 標記器的方法或僅使用二維標記器的方法可能是有用的。^
圖3示出了使用二維標記器的示例性圖像處理裝置。在圖3中， 一個標記器檢測單元303根據由圖像輸入單元102所提供的圖像來檢 測圖4所示的一個二維標記器401。圖4中，該二維標記器401是一 個由具有L mm長度的側邊的方形邊框圍繞而成的陰影區。該陰影區 不同於其它標記器，並可用於識別該標記器401。該二維標記器401是一個具有真實空間中的已知位置以及可從 捕獲圖像中提取的已知區別特徵(如顏色、形狀和圖樣)的參考點。 該標記器的細節是常規中已知的，因此它們的描述在此省略。相應地， 該標記器檢測單元303通過在捕獲的圖像範圍內從該圖像中搜索一個 對應於二維標記器401的特徵的一個區域來檢測該二維標記器401。正如通常所知的，該圖像處理裝置可以根據由該標記器檢測單元 303檢測到的標記器信息(如位置、方向和標記器401在該圖像中的 區域)、標記器401的特徵點在標記器坐標系中的位置、和視頻攝像 機112的攝像機參數來估計該二維標記器的位置和方向。第二示例性實施方式圖6是表示4艮據第二示例性實施方式的信息處理裝置的方框圖。 圖6所示的該信息處理裝置包括在根據第一示例性實施方式的信息處 理裝置中沒有使用的光源信息估計單元601和光源信息管理單元602。 圖6所示的該信息處理裝置不包括真實環境資料庫管理單元105。光源信息估計單元601根據由圖^^輸入單元102所提供的圖像數 據以及由位置/方向測量單元104所提供的視頻攝像機112的三維位 置和方向數據，估計與視頻攝像機112的視線方向有關的光源信息， 而無需產生一個天球圖像。光源信息管理單元602累計由該光源信息估計單元601所估計的 光源信息，並把所累計的光源信息記錄和設置在虛擬空間資料庫108 中。該光源信息累計方法例如包括從光源信息中連續地選擇來自高亮 區域的具有更高亮度值的光源，並丟棄所有亮度值等於或小子預定亮 度值的光源。
根據當前示例性實施方式的整個系統的處理過程類似於根據第 一示例性實施方式的整個系統的處理，雖然根據當前示例性實施方式的整個系統的處理過程不包括圖5所示的步驟S503的處理(即投射 所捕獲的圖像的處理)。更具體的說，當前示例性實施方式從圖像輸入單元所捕獲的真實 圖像中直接估計光源信息，並在虛擬空間中設置所估計的信息，而不 是根據從真實環境中捕獲的圖像產生天球圖像。光源信息估計單元601以下面的方式估計光源信息。如在第一實 施方式中所描述的，該光源信息估計單元601可以從各種方法中選擇 一種適當的光源信息估計方法。一種簡單的方法例如包括從捕獲的圖像中提取高亮區域，在該高亮區域中檢測一個具有最高亮度值的點或該高亮區域的質心點，預先 假定在連接檢測點和觀察點的位置的方向上存在一個光源，在天球 206的預測的部分布置一個點光源。另外，在用於初步確定真實空間的牆和對象的形狀和布局的模型 可用的情況下，該方法包括在真實環境的模擬形狀中設置一個光源。 該光源信息管理單元602可以管理該布局信息。類似於第一實施方式，當前實施方式可以根據圖像輸入單元102 連續獲得的捕獲圖像實現對光源的實時估計。當前實施方式的光源估 計不需要在估計開始之前根據所捕獲的多個真實空間的圖像來產生 一個完整的天球圖像，因此可以減少光源信息估計所花費的時間並減 輕處理的負擔。如上所述，根據當前實施方式的圖像處理裝置根據由HMD 101 的視頻攝像機112所捕獲的圖像來估計並累計真實環境的光源信息， 並可以設置(或改變)在虛擬空間資料庫108中估計並累計的光源信 息。另外，如圖6所示，根據當前實施方式的圖像處理裝置提供了一 種用於估計光源的簡單結構，因為當前的實施方式不需要真實環境圖 像資料庫管理單元105 (即不需要用於管理天球圖像的結構)。
第三示例性實施方式根據第三示例性實施方式的信息處理裝置使得多個用戶可以體 驗該系統所提供的混合的真實性。圖7示出了根據當前實施方式的示例性信息處理裝置。如圖7 所示，根據第三實施方式的該信息處理裝置包括多個視頻攝像機112、 多個位置/方向傳感器103和多個HMD 101。其它結構類似於圖1 所示的結構。位置/方向傳感器103 (i)檢測視頻攝像機101 (i)的位置和方 向。HMD (i)根據視頻攝像機112 (0捕獲的圖像顯示虛擬圖像， 其中1=1，2或3。圖像輸入單元102接收由多個視頻攝像機112捕獲的真實圖像， 並將所獲得的圖像數據發送至真實環境圖像資料庫管理單元105。位 置/方向測量單元104從多個位置/方向傳感器103接收多個視頻攝 像機112的三維位置和方向數據，並將所獲得的數據發送至真實環境 圖像資料庫管理單元105。類似於第一實施方式，真實環境圖像資料庫管理單元105根據多 個圖像數據和多個視頻攝像機112的三維位置和方向數據產生一個天 球圖像。光源信息估計單元106根據所產生的天球圖像估計一個光源。當前實施方式的整個系統的處理過程類似於圖5所示的第一實 施方式的處理。但是，當前實施方式的處理包括輸入多個捕獲的圖像， 根據多個捕獲的圖像產生一個天球圖像，並為多個用戶中的每個用戶 獨立地產生一個合成圖像。根據當前實施方式的圖像處理裝置同時輸入並處理由多個視頻 攝像機112捕獲的多個圖像。因此，當前的實施方式可以改善估計光 源信息的準確性，並可以產生一個類似於真實環境的天球圖像。另夕卜，當前實施方式使得多個用戶可以使用由光源信息管理單元 107管理的相同的光源信息。當前實施方式的上述結構可以應用於不 包括真實環境圖像資料庫管理單元105的第二示例性實施方式。 第四示例性實施方式當在第一示例性實施方式中用戶正在體驗MR期間真實環境的 亮度條件動態發生改變時，第四示例性實施方式可以有效地改變虛擬 環境的光源信息。第四實施方式在步驟S505的處理過程中不同於圖5所示的第一 實施方式。在當前的實施方式中，當光源信息的亮度值或顏色值已經 大大改變時(即已經改變了超過某個閾值的量，如通過閾值處理所確 定的)，光源環境估計單元106在預定的變化量步長的一系列步驟中 改變步驟S505的光源信息。當步驟S505的處理過程通過步驟S508的過程被重複時，該光 源環境估計單元106在一系列變化量步長的步驟中連續改變該光源信 息，直到光源信息的亮度值或顏色值達到估計值。在當前的實施方式中，該變化量步長在考慮了看上去對用戶很自 然的光源的亮度值或顏色值的變化量後被選擇。通過執行上述過程， 可以顯示包括隨時間逐漸改變的光源的虛擬圖像。這樣，該光源不會 突然地改變。第五示例性實施方式第五示例性實施方式修改了第一實施方式以使得有限數量的光 源被適當地布置在虛擬空間中。 一種通常的用於根據離線反映技術表 達一個線(或面)光源的方法包括在該線(或面)光源上設置點光源， 並使用該點光源來模擬該線(或面)光源。但是，實時CG反映系統不能在虛擬空間中設置無限數量的光 源，因此使用有限數量的光源。為此，如果存在任何線(或面)光源，根據第五實施方式的信息 處理裝置的真實環境圖〗象資料庫管理單元105在亮度值高於預定值的 線(或面)光源區(即高亮區域)的特徵點(如邊緣點或質點)上設 置點光源。
在這種情況下，在該場景中可用的光源數量是有限的。因此，在 線(或面)光源的特徵點上簡單地設置點光源不能實現光源的有效布 局。因此，真實環境圖像資料庫管理單元105首先計算在整個場景中 高亮區域的總的數目，然後獲得不能設置光源的備選區。元105參考一個區域和一個亮度值計算每個高亮區的屬性值，並根據 所計算的屬性值計算優先級(即加權因子)。例如，真實環境圖像資料庫管理單元105可以通過將一個亮度值 乘以一個光源的高亮區域與全向真實環境的比率獲得該屬性值。該真 實環境圖像資料庫管理單元105設置每個具有根據所計算的備選區的 優先級被加權的亮度值的虛擬光源。此外，如果可以設置更多數量的光源，將被設置的虛擬光源的數 量可通過對該環境中具有更高優先級的光源進行加權來增加。在這種 情況下，虛擬光源可被設置在面光源或線光源的特徵點，如邊緣點或 質點(或中點)上，或者可以利用被設置為面光源或線光源的光源被 設置為Voronoi域。如上所述，根據第五示例性實施方式的信息處理裝置可以根據從真實環境圖像資料庫管理單元105中獲得的真實光源信息計算優先級 (即加權因子)，並可以根據所計算的優先級有效地設置每個虛擬光 源。根據第五實施方式的系統結構將結合圖1所示的方框圖進行描 述。根據第五實施方式的信息處理裝置包括圖像輸入單元102，其可 以輸入用戶能夠觀察的真實環境的圖像。當用戶四處觀看時，真實環境圖像資料庫管理單元105存儲用於 在真實環境中估計光源所需的真實圖像。光源信息估計單元106估計 光源信息。在這種情況下，光源信息估計單元106計算真實環境圖像 資料庫管理單元105中的一個區域和每個高亮區域的亮度值。光源信息估計單元106參考所計算的區域和亮度值為i實環境
的每個光源分配優先級。關於設置在該場景中的虛擬光源，光源信息管理單元107根據所計算的優先級確定設置在該虛擬空間中的每個光 源的亮度值。最後，根據該光源環境的估計結果，虛擬光源信息被記錄在虛擬 空間資料庫108中。如上所述，當前實施方式可以在虛擬空間中適當 地設置有限數量的光源。實現上述示例性實施方式功能的軟體程序代碼可被應用於包括 各種設備的系統或裝置中。該系統或裝置中的計算機(或CPU或微 處理器(MPU)或其它處理器如數位訊號處理器(DSP))可以執行 該程序以操作所述設備來實現上述示例性實施方式的功能。因此，當 這些實施方式的功能或過程可通過計算機/處理器來實現時，本發明 包含可安裝在計算機/處理器中的程序代碼。在這種情況下，程序代碼本身可以實現這些實施方式的功能。程 序的等價物如果具有可比的功能也可以使用。此外，本發明包含提供 程序代碼給具有用於存儲該程序代碼的存儲(或記錄)介質的計算機。 在這種情況下，程序的類型可以是目標代碼、編譯程序、OS腳本數 據中的任意一種。提供該程序的存儲介質可以從軟盤、硬碟、光碟、 磁光(MO)盤、壓縮光碟ROM (CD-ROM) 、 CD-可記錄、CD -可寫磁碟、磁帶、非易失性存儲卡、ROM、及DVD (DVD-ROM， DVD-R)中任選其一。提供該程序的方法包括訪問一個網絡如網際網路並利用該網絡下 載該程序。例如，當網際網路上的網站允許每個用戶將本發明的計算機 程序或具有自動安裝功能的該程序的壓縮文件下栽至用戶的硬碟或 其它記錄介質時，用戶可以利用客戶端計算機的瀏覽功能訪問該網 站。另外，運行在計算機上的作業系統(OS)或其它應用軟體可以 根據程序的指令執行部分或全部實際處理過程。另外，從存儲介質中讀取的程序代碼可被寫入配置在計算機中的 一個功能擴展板的存儲器中，或寫入與該計算機連接的一個功能擴展
單元的存儲器中。在這種情況下，根據該程序的指令，該功能擴展板或功能擴展板單元上所提供的CPU可以執行部分或全部處理過程以實現上述示例性實施方式的功能。如上所述，本發明的一個實施方式能夠提供一種對真實空間圖像(205)和虛擬圖像進行合成的方法，包括輸入由一個成像單元112 捕獲的真實空間的圖像(S502);根據在所述輸入步驟中輸入的真實 空間的多個真實圖像產生一個覆蓋預定空間的圖像(S503);根據所 產生的圖像提取光源的位置信息(S504);根據所提取的光源的位置 信息在虛擬圖像上增加光源或陰影(S505, S506)。該實施方式的方法還可包括測量成像單元的位置和方向(S501);根據測得的位置和方向產生一個覆蓋預定空間的圖像(5503) 。該實施方式的方法還可包括根據所測量的位置和方向產生一個 虛擬圖像(S506);對所產生的虛擬圖像增加陰影(S505， S506)。本發明的另一實施方式可以提供一種產生真實空間圖像(205) 和虛擬圖像的合成圖像的方法，包括獲取由成像裝置捕獲的真實空 間的圖像(S502);獲取該成像裝置的位置和方向信息(S501);根 據所捕獲的圖像和該位置和方向信息計算真實空間的光源信息(5504) ;根據所計算的光源信息更新存儲單元中存儲的光源信息(5505) ;並根據該存儲的光源信息和該位置和方向信息產生一個虛 擬圖像(S506)。在這個實施方式中，成像裝置的位置和方向信息最好從與該成像 裝置相連接的位置/方向傳感器獲得。這避免了使用特殊裝置如包括 一個鏡面球的三維標記器來獲取位置和方向信息的需要。在這個實施方式中，該方法還可包括向存儲的光源信息中增加計 算的光源信息(S505)。在這個實施方式中，該方法還可包括根據所存儲的光源信息和位 置和方向信息產生一個反映由存儲的光源信息指示的光源的虛擬圖 像(S506 )。 在這個實施方式中，該方法還可包括獲取由多個成像單元捕獲 的真實空間的圖像(S502 );根據所捕獲的圖像估計光源信息(S502 ); 根據估計的光源信息更新所存儲的光源信息(S505);並根據更新後 的光源信息產生對應於多個成像單元的位置和方向信息的虛擬圖像 (S506)。在這個實施方式中，該方法還可包括獲取真實空間的幾何信息； 並根據捕獲的圖像、位置和方向信息以及該幾何信息產生光源信息 (S504)。在這個實施方式中，該方法還可包括根據存儲的光源信息和計 算的光源信息產生更新後的光源信息；根據所產生的更新後的光源信 息更新所存儲的光源信息(S505)。在這個實施方式中，該方法還可包括通過對存儲的光源信息和 計算的光源信息進行加權計算產生更新後的光源信息(S505)。雖然本發明已經結合示例性實施方式進行了描述，但是應該理解 本發明並不僅限於這裡所公開的示例性實施方式。以下權利要求的範 圍符合最寬的解釋以包含所有的修改、等價結構和功能。
權利要求
1、一種提供合成圖像的方法，其中一個真實空間的圖像與一個虛擬對象的虛擬圖像被合成，該方法包括以下步驟接收多個捕獲圖像的圖像數據，所述多個捕獲圖像包括與該真實空間的各個不同部分有關的多個圖像；根據所接收的多個捕獲圖像的圖像數據產生模擬圖像數據，其代表覆蓋該真實空間的至少一個預定部分的一個圖像；根據該模擬圖像數據估計與該真實空間有關的光源信息；根據所估計的與該真實空間有關的光源信息產生虛擬圖像數據，其代表所述的虛擬圖像，所述虛擬圖像數據包括與該虛擬對象有關的管理光源信息；在接收到與該真實空間的那一部分有關的新捕獲的圖像的圖像數據之後，更新該模擬圖像數據，並根據更新後的模擬圖像數據更新所估計的與該真實空間有關的光源信息，並根據更新後的與該真實空間有關的光源信息更新與該虛擬對象有關的光源信息，並重新生成該虛擬圖像數據。
2、 如權利要求l所述的方法，還包括通過把代表該真實空間的 一個期望部分的真實圖像數據與所述虛擬圖像數據合成而生成代表 所述合成圖像的合成圖像數據。
3、 如權利要求l所述的方法，還包括使用一個具有預定模擬形 狀的模型來模擬該真實空間的預定部分，所述代表多個捕獲圖像的模 擬圖像數據被投影在該模型上。
4、 如權利要求l所述的方法，還包括使用 一個圖像捕獲裝置來獲取所述的多個捕獲圖像； 當多個圖像被捕獲時，獲取代表該圖像捕獲裝置的位置和方向的 位置和方向數據；利用所獲取的位置和方向數據以及所接收的多個捕獲圖像的圖像數據產生所述模擬圖像數據。
5、 如權利要求4所迷的方法，其中通過一個與該圖像捕獲裝置 相連接的位置/方向傳感器而獲得部分或全部位置和方向數據。
6、 如權利要求4所述的方法，其中通過在真實空間中的一個參 考位置處設置一個具有預定特徵的標記器，並處理所接收的捕獲圖像 數據以搜索捕獲圖像中的一個具有對應於所述標記器的預定特徵的 特徵的區域而獲得部分或全部位置和方向數據。
7、 如之前任一權利要求所述的方法，還包括使用多個分別對應於不同用戶的圖像捕獲裝置來獲取所述多個 捕獲圖像；並且為每個所述用戶產生合成圖像數據，代表該用戶關注的一個合成 圖像，與該虛擬對象有關的光源信息被共同用來為所有的多個用戶產 生合成圖像數據。
8、 如權利要求l所述的方法，其中估計的光源信息的變化由於 一系列具有預定步長的步驟而逐漸受到影響。
9、 如權利要求l所述的方法，其中與該虛擬對象有關的光源信 息具有有限數量的虛擬對象光源，該方法還包括為真實空間中的多個高亮區域中的每一個分配一個優先級； 利用高亮區域的所分配的優先級和位置為所述有限數量的虛擬 光源中的每一個設置光源信息。
10、 一種提供合成圖像的裝置，其中一個真實空間的圖像與一個 虛擬對象的虛擬圖像被合成，該裝置包括接收裝置，用於接收多個捕獲圖像的圖像數據，所述多個捕獲圖 像包括與該真實空間的各個不同部分有關的圖像；模擬圖像數據產生裝置，用於根據所接收的多個捕獲圖像的圖像 數據產生代表覆蓋該真實空間的至少一個預定部分的一個圖像的模 擬圖像數據；光源信息估計裝置，用於根據該模擬圖像數據估計與該真實空間 有關的光源信息；圖像數據產生裝置，用於根據該估計的與該真實空間有關的光源 信息產生代表所述虛擬圖像的虛擬圖像數據，所述虛擬圖像數據包括與該虛擬對象有關的管理光源信息；更新裝置，可操作用來在接收一個與該真實空間的那一部分有關 的新捕獲的圖像的圖像數據之後更新該模擬圖像數據，並根據更新後 的模擬圖像數據更新與真實空間有關的所估計的光源信息，並才艮據更 新後的與真實空間有關的光源信息更新與虛擬對象有關的光源信息， 並重新生成虛擬圖像數據。
11、 一種程序，當在計算機或處理器中執行時，使該計算機或處 理器執行如權利要求1所述的方法。
全文摘要
一種合成真實空間圖像與虛擬圖像的方法，包括使一個成像單元捕獲一個真實空間的圖像；根據所捕獲的真實空間中的多個真實圖像產生一個覆蓋預定空間的圖像；根據所產生的圖像提取光源的位置信息；並根據所提取的光源的位置信息對該虛擬圖像增加一個光源或陰影。
文檔編號H04N5/222GK101115168SQ20071013676
公開日2008年1月30日 申請日期2007年7月27日 優先權日2006年7月27日
發明者大島登志一, 富手要 申請人:佳能株式會社