三維模型獲取的方法和系統的製作方法

2023-04-30 18:20:26

專利名稱：三維模型獲取的方法和系統的製作方法
技術領域：
本發明通常涉及數字圖形，更具體地，涉及用於獲取圖像的三維模型的 系統和方法。
背景技術：
三維(3D)模型獲取，也稱為3D幾何圖形(geometry)恢復、3D外形重建等， 是一個涉及從例如由圖像傳感器拍攝的圖像中恢復物體和場景的3D幾何圖 形(通常表示為多項式網格(mesh))的挑戰性的問題。在恢復物體的深度(depth) 信息或三維(3D)幾何圖形方面已經開展了重要的工作。 一種技術屬於稱作結 構光(structured light)方法的途徑類別，其通過將特殊設計的光發射圖樣(light pattem)投影到物體的表面並且通過分析被投影圖案的變形來估計深度(即，該 表面上的點到攝錄機之間的距離)，恢復物體的3D幾何圖形。
在用於3D幾何圖形恢復的許多技術當中，結構光途徑精度高並且能夠 實時實施，使得它們在現實世界應用中非常有前途。然而，當前的結構光途 徑具有某些限制阻礙了它們應用到現實世界情形。例如，為了實現精確的獲 取，這些技術需要將高功率光和高對比度圖案投影到物體表面。這對於諸如 電影場景中的演員的人類主體來說通常是不能接受的。
另外，當前的結構光技術通常需要做如下假設物體表面幾乎不存在或 者沒有紋理(texture)。物體紋理的存在將影響結構光發射圖樣的表面形貌 (appearance)。因此，紋理可能嚴重地降低精度。更甚者，當被捕捉的圖像/ 視頻也用於內容生成時，例如製作電影，圖像和視頻中的結構光的存在通常 是不需要的。
可以將各種3D獲取技術分為積極途徑和消極途徑。消極途徑從在常規 照明(lighting)條件下拍攝的圖像或視頻中獲取3D幾何圖形。使用從圖像和視 頻中提取的幾何或者光度(photometric)特徵來計算3D幾何圖形。最常使用的 兩種途徑是立體算法(stereo algorithm)技術和光度技術。立體算法技術基於由 具有不同視角的兩個攝錄機拍攝的立體圖像對(stereo image pair)的差異
4(disparity)來估計深度(depth)。通過比較該立體圖像對中的像素並且計算坐標 差來估計差異。光度技術基於由表面定向(orientation)所造成的陰影效果來估 計曲面法線(normal)。對於現實世界的圖像，這兩種方法都不準確並且需要較 高的計算成本。立體算法無法估計平坦區域(沒有紋理的區域)上的像素的深 度。光度技術需要能夠演繹地得知物體表面的材料(即，BRDF,雙向反射分 布函數)。
相反，積極途徑能夠實現高精度和實時速度。例如，雷射掃描是一種包 括將雷射投影到表面並且基於時間飛行(time-of-flight)原理或者光發射圖樣的 變形來估計深度的技術。然而，雷射掃描途徑非常受限制。
現有技術中推崇另一種被稱作結構光的技術。結構光技術將可見或不可 見(紅外)圖案投影到物體的表面，並且根據該圖案的變形來估計深度。結構光 途徑在計算機視覺界已經得到廣泛地研究。該技術發展水平包括複合 (composit)結構光，其使用多個條紋而不是單個條紋並且還使用彩色(color)結 構光，並且利用顏色來區分並識別所述條紋。然而，為了實現高精度的深度 估計，這些途徑需要高強度的結構光和/或平滑的表面，從而表面紋理將不會 幹擾結構光發射圖樣。如此，使用當前可用的技術來恢復現實世界物體的3D 幾何圖形是冒進並且不準確的。

發明內容
本發明的概念通過提供一種用於高精度和實時速度地獲取現實世界物體 的三維幾何信息的方法和系統，解決了現有技術的缺陷。
在本發明的一個實施例中， 一種用於獲取圖像的幾何信息的方法包括 以人眼不可覺察的調製速率照射具有結構圖案的物體；以獲取差分圖像對使 得圖像對中的第 一 圖像被照射並且圖像對中的第二圖像未被照射的速率，捕 捉所述物體的圖像；和比較該差分圖像對，以便確定所述物體的幾何信息。 該方法可以進一步包括進行幀選擇處理，以便恢復未被照射的圖像序列，以 再現和顯示場景。
在本發明的替換實施例中， 一種用於獲取圖像的幾何信息的系統包括 調製光源，其被配置成以人眼不可覺察的速率提供光能用以照射圖像物體； 攝錄機，其被配置成以獲取差分圖像對使得圖像對中的第一圖像被照射並且 圖像對中的第二圖像未被照射的速率，捕捉所述物體的圖像；和比較模塊，其被配置成比較該差分圖像對，以便確定所述物體的幾何信息。該系統的比
較模塊可以包括深度估計器，其被配置成根據所述調製光的確定的結構圖 案的變形來估計物體的深度；比較模塊，其被配置成從深度圖(depth map)確 定相應的三維網格，用以確定所述物體的三維模型；和幀選擇模塊，其被配 置成消除由調製光照射的幀，以便提供未被調製光照射的圖像序列，用於再 現或顯示。


通過結合附圖考慮下列詳細的描述，能夠容易地理解本發明的示教，其
中
圖1描繪了根據本發明實施例的用於從圖像獲取幾何信息的系統的高級 方框圖2描繪了根據本發明一個實施例的用於獲取圖像的幾何信息的方法的
圖3描繪了根據本發明的圖示性實施例的用於形成深度圖的差別分析處 理的圖4描繪了根據本發明實施例的用於獲取圖像的幾何信息的方法的流程 圖；和
圖5描繪了根據本發明實施例的幀選擇處理的圖，該幀選擇處理被實現 來形成具有未被照射的圖像的圖像序列或視頻。
應當理解，所述附圖是用於圖示說明本發明的概念的目的，並且不必是 用於圖示本發明的唯一可能結構。為了便於理解，可能的話，使用相同的附 圖標記來指代附圖中公用的相同元件。
具體實施例方式
本發明通過提供一種用於從圖像獲取三維模型的方法和系統來解決現有 技術的缺陷。儘管將主要在視頻記錄系統環境內描述本發明，但是本發明的 特定實施例不應當被認為是對本發明的範疇的限制。本領域的普通技術人員 將會理解，並且通過本發明的示教將得知，本發明的概念可以基本有利地應 用於能夠用於獲取幾何信息的任何數字成像系統、和/或包括通過電話、數碼 相機、電影攝影機等記錄數據的任何記錄系統。也就是，下面的描述圖解說
6明了本發明的原理。因此，將會理解，本領域的普通技術人員將能夠設計出 體現本發明原理並且被包含在本發明的精神和範疇之內的各種結構(儘管此 處未明顯描述或示出)。
附圖中描繪的元件能夠以硬體、軟體或者它們的組合的各種形式來實現。 優選地，在一個或多個適當編程的通用裝置(可以包括處理器、存儲器和輸入 /輸出接口)上，以硬體和軟體的組合來實現這些元件。因此，例如，本領域的 普通技術人員將會理解，此處展示的方框圖表示體現本發明原理的示意性電 路的概念圖。類似地，將會理解，任何流程圖、流動圖、狀態轉變圖、偽代 碼等表示的各種處理，該各種處理基本能夠在計算機可讀媒體上表示並且如 此由計算機或處理器執行，不管所述計算機或處理器是否被清楚地示出。
圖1描繪了根據本發明實施例的用於從圖像獲取幾何信息的系統的高級
方框圖。圖1的系統100圖示性地包括計算機105、光源104、攝錄機108和 待記錄的圖像或者場景103。在圖1的系統100中，計算機圖示性地包括光 控制模塊102，該光控制模塊102存儲用於控制光源104和比較模塊110的 各種程序。計算機105的比較模塊110圖示性地包括深度估計器112、轉換模 塊114和幀選擇模塊116。
在圖1的系統100中，閃爍(flickering)或調製光源104將結構光發射圖樣 投影到場景103中的物體113。攝錄機108被提供有相對高的幀速率，以捕 捉被結構光照射的場景。在本發明的一個實施例中，攝錄機的幀速率等於或 大於結構光的閃爍速率。圖1的光源104連接到PC 105，該PC 105控制結構 光發射圖樣的形成並且模擬閃爍效果。結構圖案可以例如通過光控制模塊102 中存儲的程序107來形成。也就是，通過根據程序107中包含的詳細資料打 開和關閉光發射圖樣可以形成閃爍效果。
為了最小化物體上由光源造成的光幹擾，在本發明的一個實施例中，圖 1的系統100利用光源104的閃爍頻率，該閃爍頻率足夠高，使得人視覺系 統不能覺察它(例如60Hz或更高頻率)。也就是，基於人眼的靈敏度在閃爍光 源的頻率超過一定閾值時明顯降低的這個事實，光源提供人眼不可見的結構 光。如此，當使用攝錄機108來捕捉物體時，光不可見，並且幹擾(如果有) 最小。使用相對高的幀速率，將圖像捕捉為差分圖像對。該差分圖像對包括 被捕捉圖像序列中的兩個連續圖像，其中一個圖像被結構光照亮，另一個沒 有被結構光照亮。通過分析該差分圖像對中的圖像之間的差別，可以消除物體表面上的紋理，同時保存結構光發射圖樣的形狀和顏色。
例如，在本發明的一個實施例中，計算機105的比較模塊110分析該差
分圖像對中的圖像之間的差別，並且去除場景中該物體的未被照射部分。也 就是，在本發明的一個實施例中，差別分析包括將包括結構光發射圖樣的圖 像與不具有結構光發射圖樣的圖像進行比較以及確定任何差別。
圖2描繪了根據本發明一個實施例的用於獲取圖像的幾何信息的方法的 示例應用的圖。在圖2中，根據本發明的實施例，在差分圖像對120的第一 圖像128中通過攝錄機108來獲取結構光發射圖樣126。攝錄機108捕捉的 每對120的第二圖像130不包括結構光發射圖樣。
例如，在本發明的一個實施例中，彩色結構光將彩色條投影到一場景， 以便用於估計被照射物體的深度。更具體地，將在4聶錄機108觀看的表面上 的點處的彩色矢量定義為S-[Z,^, f,可以根據如下等式一(l)來表示投影儀 色度亮度幹擾(crosstalk)矩陣的特徵
formula see original document page 8(1)
並且，可以根據如下等式二(2)來表示場景反照率(albedo)矩陣的特徵
formula see original document page 8(2)
而且，投影儀照明矢量可以表示特徵為P-[;/cos&;^cos仏/cos^",其中0是 曲面法線與投影儀入射光之間的角度，環境照明矢量可以表示特徵為
￡ = [er,^y;T,並且周圍光矢量可以表示特徵為0 = Y。根據下列等式 三(3)可以涉及上面的量
5 = jtf(屍+五)+ 0 (3) 假設攝錄機觀察到的顏色矢量S，來確定照明矢量P中的結構光顏色;/ 、 Z 、 /。 一旦確定了；/、 Z、 /，所述值被匹配到結構光發射圖樣並且被用來估 計物體的表面上的相關點的深度。通過將差分圖像對中的兩個幀進行相減， 可以根據下列等式四(4)來表示環境照明和周圍光的效果
(5,s = s(/+1)—= ^f(屍+五)+o—[^y屍五+o] = (4)
其中S(t)和S(t+ l)是由攝錄機在時刻t和t+l時捕捉的幀。通過估計色度亮度
幹擾矩陣x，攝錄機-投影儀校正階段fp可以通過將c5,s與；r'相乘來確定。然而，場景反照率矢量F和照射矢量中的表面定向項仍必須消除。為此，採
用基於空間差的方法來發現反照率和表面定向。在本發明的一個實施例中，
可以根據下列等式五(5)來表示場景反照率矢量FP的特徵 屍屍=//cos印 /jg cos6^g，/)6 cos印1 (5)
因為通常反照率圖是分段恆定的並且表面平滑，因此假設相鄰像素的反 照率基本與上面描述的相同。如此，在上面的等式(5)中，0接近於局部區域 內的常數。進一步假設像素1和像素2是相鄰像素。如此，排除場景反照率 和表面定向項，可以根據下列等式六(6)來重寫並表示等式(5)的特徵
formula see original document page 9
因此，如果利用對數差51ogF屍來計算對應關係並且進行深度估計，則認為場
景反照率和局部表面定向相對於那些確定恆定不變。儘管在實現彩色結構光 時上面描述了深度估計示例，但是本領域的普通技術人員應當理解並且通過 此處的示教應當得知，使用從複合結構光進行深度估計的技術或者彩色結構 光方法等可以實現深度計算。
例如並且返回參考圖1,比較模塊110包括深度估計器112,在一個實施 例中，該深度估計器112使用上面等式(6)中表示特徵的對數差51og屍P,根據 結構圖案的變形來估計深度。深度估計器112輸出場景和物體的深度圖。
圖3描繪了才艮據本發明圖解性實施例的用於形成深度圖的差別分析處理 的圖。在圖4的示例中，對差分圖像對120應用差別分析，以便將物體圖像 130部分從被照射物體圖像128中分離，以便確定結構圖案134。隨後，例如 圖1的深度估計器112使用結構圖案134來確定深度圖136。
接著，使用深度信息(例如深度圖)來確定被照射物體的三維(3D)模型。更 具體地並且返回參考圖1的實施例，比較模塊110包括轉換模塊114。在本發 明的一個實施例中，轉換模塊114將深度圖轉換為3D網格，並且將從不同觀 察點拍攝的多個網格組合成一個3D網格，以便形成被照射物體的3D模型。 存在數種現有公知的技術來將範圍或深度圖轉換為3D網格，如此，此處將 不詳細描述所述技術的詳細資料。例如，在一個實施例中，通過從不同的角 度捕捉範圍圖像並且隨後將所述圖像對準並且縫合在一起以生成全部3D網 格/模型，可以實現將深度圖到3D網格的轉換。
隨後，在後處理階段中可以完全地恢復不具有結構光發射圖樣的圖像序列或視頻。更具體地，通過例如圖1的幀選擇模塊116可以執行幀選擇處理
116,以便將未被結構光照射的幀與被結構光照射的幀分離，從而形成不包括
由結構光照射的圖像的圖像序列，因此不會負面地影響場景的再現和顯示。 下面將更詳細地描述所述處理。
圖4描繪了根據本發明實施例的用於獲取圖像的幾何信息的方法的流程 圖。方法400開始於步驟402，在步驟402中，如上所述用閃爍光照射物體。 在一個實施例中，閃爍光對於人眼不可見並且可以包括60 Hz的頻率，儘管 可以使用其他頻率。如此，甚至對於具有強紋理的物體也可以實現高精度和 實時速度。方法400隨後繼續到步驟404。
在步驟404，閃爍光照射參考物體時所產生的圖像如上所述被攝錄機捕 捉。然後方法400繼續到步驟406。
在步驟406,將差別分析應用於所產生的差分圖像對(例如， 一對所產生 的圖像，其中第一圖像被閃爍光照明，第二圖像未被閃爍光照明)，以便識別 和隔離被照射物體上產生的結構光發射圖樣。然後方法400繼續到步驟408。
在步驟408，根據步驟406的差分圖像分析的結果而產生深度圖。然後 該方法繼續到步驟410。
在步驟410，從深度圖的網格物體中生成物體的3D模型。然後退出該方 法400。
本發明的方法400可以進一步包括步驟412。也就是，在步驟412,利用 幀選擇處理來丟棄被閃爍結構光照射的圖像幀，因此可以恢復未被照射的幀 的圖像序列。
更具體地，例如通過圖1的幀選擇模塊116可以進行幀選擇處理116，以 便將未被結構光照射的幀與被結構光照射的幀分離，從而產生不包含被結構 光照射的圖像的圖像序列，因此場景的再現和顯示不會受到負面的影響或者 不會被照射破壞。
例如，圖5描繪了根據本發明實施例的幀選擇處理的圖，該幀選擇處理 被實現來產生不具有被照射圖像的圖像序列。圖5的選擇處理識別具有結構 光發射圖樣的幀。例如，在本發明的一個實施例中，如上所述，通過將從差 別估計器112執行的差別分析恢復的圖案匹配到圖像幀以便識別具有結構光 發射圖樣的圖像幀，可以實現被照射圖像的識別。在識別具有結構光發射圖 樣的幀之後，可以從原始圖像序列中排除這些幀，以便產生不包括任何被照射圖像的圖像序列。參考圖5，消除或者丟棄具有結構光128的幀，並且通 過幀選擇處理來選擇幀130。如此，被恢復的序列140包括再現或顯示視頻、 運動圖像、靜止圖像等所需的幀。
已經描述了用於獲取現實世界物體和場景的三維幾何信息的優選實施例 (它們是圖解性的，而不用於限制)，注意，鑑於上述示教，本領域的普通技術 人員可以進行修改和變動。因此應當理解，在由所附權利要求概括的本發明 的範疇和精神內所公開的本發明的特殊實施例中可以進行變化。儘管上面致 力於本發明的各個實施例，但是在不背離本發明的基本範疇的情況下，可以 設計出本發明的其他和更多實施例。如此，根據所附的權利要求來確定本發 明的適當範疇。
權利要求
1. 一種用於獲取圖像的幾何信息的方法，包括以人眼不可覺察的調製速率照射具有結構圖案的物體；以獲取差分圖像對使得圖像對中的第一圖像被照射並且圖像對中的第二圖像未被照射的速率，捕捉所述物體的圖像；和比較該差分圖像對，以便確定所述物體的幾何信息。
2. 如權利要求l所述的方法，通過從所述第一圖像中減去所述第二圖像 並且估計得到的光發射圖樣的變形來確定所述幾何信息。
3. 如權利要求2所述的方法，其中通過估計所述得到的光發射圖樣的變 形來確定物體深度。
4. 如權利要求l所述的方法，其中從所述確定的幾何信息生成深度圖。
5. 如權利要求4所述的方法，其中從所述深度圖確定相應的三維網格， 並且使用所述三維網格來構建所述物體的三維模型。
6. 如權利要求4所述的方法，包括使用對數差方法消除反照影響、環 境照明和陰影中的至少一個，來生成深度圖。
7. 如權利要求l所述的方法，還包括進行幀選擇處理，以便恢復未被 照射的圖像序列。
8. 如權利要求7所述的方法，其中所述未被照射的圖像序列被用來再現 禾口顯示場景。
9. 如權利要求l所述的方法，其中以等於或高於所述調製速率的幀速率 來捕捉所述圖像。
10. 如權利要求l所述的方法，包括消除反照影響、環境照明和陰影 中的至少一個，以便生成所述物體的模型。
11， 一種用於獲取圖像的幾何信息的系統，包括調製光源，其被配置成以人眼不可覺察的速率提供光能用以照射圖像物體；攝錄機，其被配置成以獲取差分圖像對使得圖像對中的第一圖像被照射 並且圖像對中的第二圖像未被照射的速率，捕捉所述物體的圖像；和比較模塊，其被配置成比較該差分圖像對，以便確定所述物體的幾何信白
12. 如權利要求11所述的系統，包括幀選擇模塊，其被配置成消除被調 制光照射的幀，以便提供未被調製光照射的圖像序列。
13. 如權利要求11所述的系統，包括深度估計器，其被配置成根據所述調製光的結構圖案的變形來估計圖像物體中的深度。
14. 如權利要求13所述的系統，其中所述深度估計器從所述第一圖像中 減去所述第二圖像並且估計得到的光發射圖樣的變形來確定物體深度。
15. 如權利要求11所述的系統，其中從所述確定的幾何信息生成深度圖。
16. 如權利要求15所述的系統，包括比較模塊，其被配置成從所述深度 圖確定相應的三維網格，用以確定所述物體的三維模型。
17. 如權利要求11所述的系統，其中從不同的觀察點照射所述物體，並 且所述攝錄機從不同的觀察點捕捉所述物體的圖像。
18. 如權利要求17所述的系統，其中從所確定的不同觀察點的幾何信息 形成相應的深度圖，並且從深度圖確定相應的三維網格。
19. 如權利要求18所述的系統，其中組合不同的網格以便確定所述物體 的三維模型。
20. 如權利要求11所述的系統，其中調製光源包括由計算機控制的投影儀。
21. 如權利要求11所述的系統，其中攝錄機以等於或高於調製光的速率 的幀速率捕捉圖像。
22. 如權利要求11所述的系統，其中攝錄機包括攝影機。
23. 如權利要求11所述的系統，其中物體是有紋理的，並且比較模塊消 除反照影響、環境照明和陰影中的至少一個。
全文摘要
提供了一種用於從圖像獲取幾何信息的系統和方法，包括被配置成以人眼不能覺察的速率提供光能的調製光源。配置攝錄機以獲得差分圖像對的速率來獲取圖像，從而所述圖像對中的一個圖像包括來自光源的光，所述圖像對中的另一個圖像不包括來自光源的光。配置比較模塊來比較所述差分圖像對，以便生成用於三維模型生成的深度圖。
文檔編號G06T7/00GK101512599SQ200680055907
公開日2009年8月19日 申請日期2006年9月21日 優先權日2006年9月21日
發明者張冬青, 艾澤特·H·艾澤特, 邁克·A·德倫伯格 申請人:湯姆森特許公司