生成深度圖的製作方法

2023-05-28 20:17:16

專利名稱：生成深度圖的製作方法
生成深度圖背景技術
立體視覺是通過比較出自兩個不同的視點的關於場景的信息來從圖像中提取三維信息。立體視覺是計算機視覺技術中的最重要的研究領域之一。使用傳統的立體算法從彩色圖像或RGB圖像生成深度圖。然而，這些算法在它們的效能方面受到場景中的相關特徵的數量以及諸如場景內的亮度恆定的假設兩者的限制。在一些情況下，可能難於從諸如沒有圖案的襯衫或者單色牆壁的純色對象生成場景內的元素的深度圖。此外，在諸如起居室內的、非演播室條件中，常常存在照明變化。
此外，用於主動深度感測的技術已通過使用結構化光從場景提取幾何特徵來改進深度估計方法。對於現有技術，諸如在來自微軟公司(Microsoft Corporation)的 Kinect 系統中提供的技術，結構化紅外(IR)圖案被投影到場景上並且被單個IR攝像裝置拍照。基於光圖案的變形，關於底層視頻場景的幾何信息可以被確定並且用於生成深度圖。 然而，儘管存在結構化光技術的優點，但是當同時使用多個模塊對同一場景採樣時，這些模塊產生投影圖案之間的幹擾。此外，當多個模塊嘗試同時對同一場景採樣時，可能存在與各個深度圖的時間同步相關聯的顯著問題。此外，還可能難於正確地校準結構化光投影器或雷射器。發明內容
下文給出了創新的簡要概述，以便提供這裡描述的一些方面的基本理解。本概述並非是要求保護的主題內容的廣泛的總結。本概述既非旨在標定要求保護的主題內容的關鍵的或重要的元素，也非旨在界定本創新的範圍。其唯一目的在於以簡化的形式給出要求保護的主題內容的一些概念，作為後面給出的更詳細的描述的前言。
一個實施例提供了一種用於生成深度圖的方法。該方法包括使用特定形式的結構化光，也就是將紅外(IR)點圖案投影到場景上。該方法還包括從兩個或更多個同步IR攝像裝置中的每個捕獲立體圖像。為了計算圖像之間的視差圖，該方法檢測立體圖像內的多個點並且計算關於立體圖像中的點的多個特徵描述符。在實施例中，視差圖可以包括關於立體圖像內的所有匹配點的視差值。該方法進一步包括使用視差圖生成關於場景的完整的或部分的深度圖。這裡，每個模塊將被稱為主動IR立體模塊。
另一實施例提供了一種用於生成深度圖的立體模塊系統。該立體模塊系統包括被配置成處置多個主動IR立體模塊的處理的處理器。每個主動IR立體模塊包括被配置成將 IR點圖案投影到場景上的IR圖案投影模塊以及被配置成從兩個或更多個時間同步IR攝像裝置中的每個捕獲立體圖像的同步攝像裝置模塊。每個主動IR立體模塊還包括被配置成識別立體圖像內的多個點的點檢測模塊、被配置成計算關於立體圖像中的點的多個特徵描述符的特徵描述模塊、以及被配置成計算立體圖像之間的視差圖的視差計算模塊。此外，每個主動IR立體模塊包括被配置成使用視差圖生成場景的深度圖的深度圖生成模塊。
此外，另一實施例提供了用於存儲計算機可讀指令的一個或更多個非易失性計算機可讀存儲介質。當由一個或更多個處理模塊執行時，計算機可讀指令提供了用於生成深度圖的立體模塊系統。計算機可讀指令包括被配置成將IR點圖案投影到場景上並且從兩個或更多個同步IR攝像裝置捕獲立體圖像的代碼。計算機可讀指令還包括被配置成檢測立體圖像內的多個點，計算關於立體圖像中的點的多個特徵描述符，計算立體圖像之間的視差圖，以及使用視差圖生成場景的深度圖的代碼。
本概述被提供用於以簡要的形式介紹一組概念；下文在具體實施方式
中進一步描述了這些概念。本概述述既非旨在標定要求保護的主題內容的關鍵特徵或基本特徵，也非旨在用於限制要求保護的主題內容的範圍。


圖I是可用於生成場景的深度圖的立體模塊系統的框圖2是可用於生成場景的深度圖的主動IR立體模塊的示意圖3是示出了使用主動IR立體模塊生成深度圖的方法的處理流程圖4是一種可用於識別立體圖像內的特徵描述符的分格(binning)方法的示意圖5是另一種可用於識別立體圖像內的特徵描述符的分格方法的示意圖6是可用於生成場景的深度圖的、通過同步信號連接的主動IR立體模塊的系統的不意圖7是示出了用於根據來自多個主動IR立體模塊的深度圖的組合生成場景的構造視圖的方法的處理流程圖；以及
圖8是示出了存儲適於生成場景的深度圖的代碼的有形的計算機可讀介質的框圖。
在本公開和附圖通篇中使用相同的附圖標記表示相同的部件和特徵。100系列中的數子指不最初出現在圖I中的特徵，200系列中的數子指不最初出現在圖2中的特徵,300 系列中的數字指示最初出現在圖3中的特徵，如此等等。
具體實施方式
如上文討論的，傳統的立體算法在它們的效能方面受到場景中的相關特徵的數量以及諸如場景內的亮度恆定的假設兩者的限制。因此，這裡描述的實施例被設計成對其中不存在亮度恆定假設的場景生成更準確的深度圖。例如，對於諸如起居室的、其中常常存在不一致的照明的場景，以及在其中傳統立體算法失效的低特徵區域中，亮度恆定假設是不準確的。
這裡公開的實施例闡述了一種使用主動IR立體模塊來生成場景的深度圖的方法和系統。如這裡使用的，「主動IR立體模塊」指的是這樣一種成像模塊，其利用立體觀測來生成場景的三維深度圖。立體觀測是從兩個或更多個不同的視角創建場景的三維(或「立體」)視圖(或「觀測」)的處理。通過使用用於來自不同視角的立體圖像之間的視差檢測的方法來生成深度圖，可以獲取場景的三維視圖。
相似地，術語「立體視覺」指的是通過使用從已知視點取得的兩個或更多個立體圖像來確定圖像的深度以恢復圖像的第三維度。可以基於匹配或對應的立體圖像內的點來確定立體圖像的深度。一旦立體圖像內的對應的點已被識別，則可以執行攝像裝置的三角測量以恢復立體圖像深度。三角測量是基於點到兩個或更多個立體圖像的投影來確定點在三維空間中的位置的處理。術語「主動立體視覺」指的是在投影到場景上的結構化光的幫助下的深度恢復。
術語「深度圖」在三維計算機圖形應用中常用於描述包含與從攝像裝置視點到場景中的對象表面的距離相關的信息的圖像。立體視覺使用可包括亮度的圖像特徵來估計立體視差。可以使用內在的和外在的攝像裝置配置將視差圖轉換成深度圖。根據當前方法， 可以利用一個或更多個主動IR立體模塊來創建場景的三維深度圖。
在一個實施例中，主動IR立體模塊可以包括投影隨機紅外(IR)點圖案的結構化光投影器、一個或更多個RGB攝像裝置、以及兩個或更多個同步(例如，鎖相)立體IR攝像裝置。主動IR立體模塊可用於使用IR點圖案投影器將隨機IR點圖案投影到場景上並且使用兩個或更多個鎖相IR攝像裝置捕獲場景的立體圖像。術語「鎖相」常用於描述用於維持兩個或更多個信號之間的時間相干性，即信號之間的同步的技術。
可以檢測立體圖像內的點，並且可以計算點的多個特徵描述符。特徵描述符可以提供來自兩個或更多個鎖相攝像裝置的立體圖像的比較的起始點並且可以包括所關注的立體圖像內的點。例如，可以對一個立體圖像內的特定點進行分析並且將其與另一時間相干立體圖像內的相應的點進行比較。
可以使用傳統的立體技術計算兩個或更多個立體圖像之間的視差圖，並且可以利用視差圖生成場景的深度圖。如這裡使用的，「視差圖」指的是跨越兩個或更多個立體圖像的像素偏移分布。視差圖可用於測量從兩個或更多個不同的對應視點捕獲的立體圖像之間的像素偏移。此外，可以使用簡單算法將視差圖轉換成深度圖。
應當注意，當前方法不限於使用IR點圖案投影器或者IR攝像裝置。相反，可以使用投影諸如點、三角形、柵格等的可識別特徵的任何類型的圖案投影器。此外，可以使用能夠檢測投影到場景上的特徵的存在的任何類型的攝像裝置。
一個實施例提供了一種通過同步信號連接的多個主動IR立體模塊的系統。該系統可以包括任意數目的多個主動IR立體模塊，每個主動IR立體模塊包括兩個或更多個鎖相攝像裝置。多個主動IR立體模塊的系統可用於從不同的位置或視角生成場景的深度圖。
可以使用主動IR立體模塊之間的同步信號使多個主動IR立體模塊的系統鎖相。 同步信號可以是導致主動IR立體模塊的時間相干性的任何信號。在該實施例中，主動IR 立體模塊的時間相干性確保所有主動IR立體模塊在同一時刻操作，使得來自主動IR立體模塊的立體圖像將直接彼此相關。
—旦所有主動IR立體模塊已確認接收到同步信號，則每個主動IR立體模塊可以根據上文參照單個立體模塊系統描述的方法來生成深度圖。可以根據來自多個主動IR立體模塊的深度圖的組合來創建場景的構造視圖。該構造視圖可以提供場景的準確的三維視圖。
在一個實施例中，上述多個主動IR立體模塊的系統利用基於具有隨機IR點圖案的形式的結構化光的算法，該隨機IR點圖案被投影到場景上並且通過兩個或更多個鎖相立體IR攝像裝置記錄以生成深度圖。在使用另加的主動IR立體模塊記錄同一場景時，從每個主動IR立體模塊中的IR攝像裝置構造性地觀察多個隨機IR點圖案。這是可能的，因為在將更多的主動IR立體模塊添加到記錄陣列時，多個主動IR立體模塊不會遇到幹擾。
由於隨機IR點圖案的性質，消除了主動IR立體模塊之間的幹擾的問題。每個主動IR立體模塊不會嘗試使攝像裝置檢測到的隨機IR點圖案與投影到場景上的特定圖案匹配。相反，每個模塊觀測作為投影到場景上的隨機圖案的當前點圖案。因此，儘管正投影到場景上的當前點圖案可以是來自多個隨機IR點圖案投影器的隨機IR點圖案的組合，但是由於沒有將點圖案與任何標準點圖案進行比較，因此實際點圖案是不相關的。因此，這允許在不出現幹擾的情況下使用多個主動IR立體模塊對同一場景進行成像。僅當主動IR立體模塊的數目變得如此之大以致使得點密度過高，並且許多點開始重疊時，才可能出現幹擾。
如前面針對單個立體模塊系統的情況說明的，前述實施例也不限於使用隨機IR 點圖案投影器或IR攝像裝置。相反，可以使用投影諸如點、三角形、柵格等的可識別特徵的任何類型的圖案投影器。此外，可以使用能夠檢測投影到場景上的特徵的存在的任何類型的攝像裝置。
作為預備內容，一些附圖在一個或多個結構部件的背景下描述了概念，這些結構部件被不同地稱為功能、模塊、特徵、元件等。附圖中示出的各個部件可以通過任何方式實施，例如通過軟體、硬體(例如，離散邏輯部件等)、固件等實施，或者可以通過這些實施方式的任何組合來實施。在一個實施例中，各個部件可以反映實際實施方式中的相應的部件的使用。在其他實施例中，附圖中圖示的任何單個部件可以由多個實際部件實施。附圖中示出的任何兩個或更多個分離部件可以反映由單個實際部件執行的不同功能。下文討論的圖 I提供了關於可用於實施附圖中所示的功能的一個系統的細節。
其他附圖以流程圖的方式描述了概念。在該形式中，某些操作被描述為構成按特定順序執行的不同的塊。這些實施方式是示例性的和非限制性的。這裡描述的某些塊可以被編組在一起並且在單個操作中執行，某些塊可以被分拆成多個部件塊，並且某些塊可以按照與這裡說明的順序不同的順序執行，這包括並行執行塊的方式。流程圖中所示的塊可以通過軟體、硬體、固件、手動處理等實施，或者可以通過這些實施方式的任何組合實施。如這裡使用的，硬體可以包括計算機系統、諸如專用集成電路(ASIC)的離散邏輯部件等，以及它們的任何組合。
對於術語的使用，習語「被配置成」涵蓋能夠構造任何類型的功能來執行所述操作的任何方式。功能可以被配置成使用例如軟體、硬體、固件等或者它們的任何組合來執行操作。
術語「邏輯」涵蓋用於執行任務的任何功能。例如，流程圖中所示的每個操作對應於用於執行該操作的邏輯。可以使用例如軟體、硬體、固件等或者它們的任何組合來執行操作。
如這裡使用的，術語「部件」、「系統」、「客戶端」等旨在表示計算機相關實體，即硬體、軟體(例如，在執行中)和/或固件，或者它們的組合。例如，部件可以是在處理器上運行的過程、對象、可執行程序、程序、函數、庫、子程序、和/或計算機或者軟體和硬體的組合。
作為說明，在伺服器上運行的應用以及伺服器兩者可以為部件。一個或更多個部件可以駐留在過程內，並且部件可以局限在一臺計算機上和/或分布在兩臺或更多臺計算機之間。術語「處理器」通常被理解成表示硬體部件，諸如計算機系統的處理單元。
此外，要求保護的主題內容可以被實施為方法、裝置或者製造物品，其使用標準的編程和/或工程技術來產生軟體、固件、硬體或者它們的任何組合以控制計算機實施所公開的主題內容。如這裡使用的術語「製造物品」旨在涵蓋能夠從任何非暫態計算機可讀設備或介質訪問的電腦程式。
非暫態計算機可讀存儲介質可以包括但不限於磁存儲設備(例如，硬碟、軟盤和磁帶等)、光碟(例如，緻密盤(⑶)和數字多用途光碟(DVD)等)、智慧卡、以及閃速存儲器設備 (例如，卡、棒和密鑰驅動器等)。相反，計算機可讀介質通常(即，不一定是存儲介質)可以額外地包括諸如用於無線信號的傳輸介質等的通信介質。
圖I是可用於生成場景的深度圖的立體模塊系統100的框圖。該立體模塊系統100 可以包括適於執行所存儲的指令的處理器102，以及存儲可由處理器執行的指令的存儲器設備104。處理器102可以是單核處理器、多核處理器、計算集群、或者任何數目的其他配置。存儲器設備104可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃速存儲器或者任何其他適當的存儲器系統。這些指令實施了包括如下處理的方法將隨機IR點圖案投影到場景上，從兩個或更多個鎖相攝像裝置中的每個捕獲立體圖像，檢測立體圖像內的多個點，計算關於立體圖像中的多個點的多個特徵描述符，計算立體圖像之間的視差圖，以及使用視差圖生成場景的深度圖。處理器102通過總線106連接到一個或更多個輸入和輸出設備。
立體模塊系統100還可以包括存儲設備108，其適於存儲主動立體算法110以及由系統100生成的深度圖112。存儲設備108可以包括硬碟驅動器、光碟驅動器、拇指型驅動器(thumbdrive)、驅動器陣列或者它們的任何組合。網絡接口控制器114可以適於通過總線106將立體模塊系統100連接到網絡116。通過網絡116，電子文本和成像輸入文檔118 可以被下載並且存儲在計算機的存儲系統108內。此外，立體模塊系統100可以在網絡106 上傳輸深度圖或RGB圖像。
立體模塊系統100可以通過總線106連結到顯示接口 120，顯示接口 102適於將系統100連接到顯示設備122，其中顯示設備122可以包括立體3D顯示器、計算機監視器、攝像裝置、電視機、投影器、虛擬實境顯示器、或者行動裝置等等。立體模塊系統100內的人機接口 124可以將系統連接到鍵盤126和定點設備128，其中定點設備128可以包括滑鼠、軌跡球、觸摸面板、操縱杆、指點杆、觸筆、或者觸控螢幕等等。還應當注意，立體模塊系統100可以包括任何數目的其他部件，包括適於將立體模塊系統100連接到列印設備的列印接口或者適於將立體模塊系統100連接到遊戲設備的遊戲接口等等。
立體模塊系統100還可以通過總線106連結到隨機點圖案投影器接口 130，隨機點圖案投影器接口 130適於將立體模塊系統100連接到隨機點圖案投影器132。此外，攝像裝置接口 134可以適於將立體模塊系統100連接到三個或更多個鎖相攝像裝置136，其中三個或更多個鎖相攝像裝置可以包括至少兩個IR攝像裝置和至少一個RGB攝像裝置。在一個實施例中，立體模塊系統100可以根據具體應用連接到任意數目的額外的IR攝像裝置或 RGB攝像裝置。
隨機點圖案投影器132以及三個或更多個鎖相攝像裝置136可以包括在主動IR 立體模塊138內。在一個實施例中，立體模塊系統100可以一次連接到多個主動IR立體模塊138。在另一實施例中，每個立體模塊可以連接到單獨的立體模塊系統100。換言之，任意數目的立體模塊系統100可以連接到任意數目的主動IR立體模塊138。在一個實施例中，每個主動IR立體模塊138可以包括模塊上的本地存儲設備，使得每個主動IR立體模塊可以在本地存儲獨立的場景視圖。此外，在另一實施例中，整個系統100可以包括在主動IR 立體模塊138內。任意數目的額外的主動IR立體模塊也可以通過網絡116連接到主動IR 立體模塊138。
圖2是可用於生成場景的深度圖的主動IR立體模塊202的示意圖200。如所提到的，主動IR立體模塊202可以包括兩個IR攝像裝置204和206、RGB攝像裝置208、以及隨機IR點圖案投影器210。IR攝像裝置204和206以及RGB攝像裝置208可以被鎖相或同步。IR攝像裝置204和206以及RGB攝像裝置208的鎖相確保了攝像裝置時間相干，使得捕獲的立體圖像直接彼此相關。此外，除了兩個IR攝像裝置204和206之外，還可以將任意數目的IR攝像裝置添加到主動IR立體模塊202。再者，主動IR立體模塊202不限於使用IR攝像裝置，因為在主動IR立體模塊202內可以利用許多其他類型的攝像裝置。此外， 除了 RGB攝像裝置208之外，還可以使用任意數目的額外的RGB攝像裝置。
RGB攝像裝置208可用於通過獲取三個不同顏色的信號，即紅色、綠色和藍色，來捕獲場景的彩色圖像。除了一個RGB攝像裝置208之外，還可以將任意數目的額外的RGB 攝像裝置添加到主動IR立體模塊202。對於諸如自由視點視頻(FVV)、遠程呈現或醫療成像應用的許多應用，RGB攝像裝置208的輸出可以向深度圖提供有用的補充。
隨機IR點圖案投影器210可用於將隨機IR點圖案212投影到場景214上。此外， 隨機IR點圖案投影器210可以被替換成具有不同圖案的任何其他類型的投影器。
兩個鎖相IR攝像裝置204和206可用於捕獲場景的圖像，包括IR點的隨機圖案 212。可以根據下文在圖3中描述的方法來分析來自兩個IR攝像裝置204和206的圖像以生成場景的深度圖。
圖3是示出了使用主動IR立體模塊生成深度圖的方法300的處理流程圖。在塊 302，將隨機IR點圖案投影到場景上。隨機IR點圖案可以是主動IR立體模塊內的投影器生成的IR雷射點圖案。隨機IR點圖案也可以是由場景附近的任何模塊投影的任何其他類型的圖案。
在塊304，可以從主動IR立體模塊內的兩個或更多個立體攝像裝置捕獲立體圖像。立體攝像裝置可以是如上文討論的IR攝像裝置，並且可以被鎖相以確保立體攝像裝置時間相干。在塊304捕獲的立體圖像可以包括來自塊302的所投影的隨機IR點圖案。
在塊306，可以檢測立體圖像內的點。點的檢測可以在立體模塊系統100內執行。 具體地，可以由立體模塊系統100內的點檢測器處理立體圖像以識別立體圖像內的各個點。點檢測器還可以通過處理點中心來達到子像素精度。
在塊308，可以計算關於在立體圖像內檢測到的點的特徵描述符。可以使用多個不同的方法計算特徵描述符，包括如下文參照圖4和5描述的若干不同的分箱方法。特徵描述符可用於匹配立體圖像之間的相似特徵。
在塊310，可以計算立體圖像之間的視差圖。可以使用諸如參照圖I討論的主動立體算法的傳統立體技術來計算視差圖。特徵描述符還可用於創建視差圖，該視差圖可以根據立體圖像內的相應的點的識別來以圖的形式表示立體圖像之間的相似性。
在塊312，可以使用來自塊310的視差圖生成深度圖。也可以使用諸如參照圖I討論的主動立體算法的傳統立體技術來計算深度圖。深度圖可以表示場景的三維視圖。應當注意，該流程圖並非旨在指示方法步驟應按照任何特定的順序執行。CN 102982530 A書明說7/10 頁圖4是一種可用於識別立體圖像內的特徵描述符的分格方法400的示意圖。分格方法400利用施加於立體圖像的二維柵格。立體圖像內的點可以被分配到給定格子內的特定坐標位置。這可以允許基於相鄰點的坐標來識別各個點的特徵描述符。
圖5是另一種可用於識別立體圖像內的特徵描述符的分格方法500的示意圖。該分格方法500利用同心圓和柵格，例如極坐標系統，其形成了另一二維格子框架。選擇柵格的中心點，並且每個格子可以通過其與選定軸所成的角度以及其距中心點的距離來定位。 在格子內，點可以由它們的空間位置、強度或徑向位置來表徵。對於空間定位，格子可以在無歧義的情況下由內部點的硬計數來表徵，或者可以由可在格子之間重疊的點的軟計數來表徵。對於強度調製，可以評估特定格子內的所有點的總亮度，或者可以計算強度直方圖。 此外，在特定格子內，可以基於特定點和相鄰點之間的距離和參考角度來確定每個點的徑向描述符。
儘管圖4和圖5圖示了兩種可用於識別立體圖像中的特徵描述符的分格方法，但是應注意，可以使用任何其他類型的分格方法。此外，也可以使用與分格無關的、用於識別特徵描述符的其他方法。
圖6是可用於生成場景608的深度圖的、通過同步信號606連接的主動IR立體模塊602和604的系統600的示意圖。應當注意，除了兩個主動IR立體模塊602和604之外， 系統還可以採用任意數目的主動IR立體模塊。此外，如上文參照圖2討論的，每個主動IR 立體模塊602和604可以包括兩個或更多個立體攝像裝置610、612、614和616，一個或更多個RGB攝像裝置618和620，以及隨機IR點圖案投影器622和624。
主動IR立體模塊602和604的隨機IR點圖案投影器622和624中的每個可用於將隨機IR點圖案626投影到場景608上。然而，應當注意，並非每個主動IR立體模塊602 和604必須包括隨機IR點圖案投影器622和624。可以從任意數目的主動IR立體模塊或者從與主動IR立體模塊獨立的任意數目的單獨的投影模塊將任意數目的隨機IR點圖案投影到場景上。
主動IR立體模塊602和604之間的同步信號606可用於使主動IR立體模塊602 和604鎖相，使得它們在同一時刻操作。根據來自圖3的上述方法，可以生成關於每個主動 IR立體模塊602和604的深度圖。如下文參照圖7討論的，主動IR立體模塊的深度圖可以組合以生成來自多個視點的場景608的構造視圖。
圖7是示出了用於根據來自多個主動IR立體模塊的深度圖的組合來生成場景的構造視圖的方法700的處理流程圖。在塊702，將隨機IR點圖案投影到場景上。隨機IR點圖案可以是由主動IR立體模塊內的投影器生成的IR雷射點圖案。隨機IR點圖案也可以是由場景附近的任何模塊投影的、任何其他類型的點圖案。此外，系統內的任意數目的多個主動IR立體模塊可以同時投影隨機IR點圖案。如上文討論的，由於點圖案的隨機性質，投影到場景上的多個點圖案的重疊將不會引起幹擾問題。
在塊704，可以生成同步信號。同步信號可用於多個主動IR立體模塊的鎖相。這確保了主動IR立體模塊的時間相干性。此外，同步信號可以由一個中心模塊生成並且發送到每個主動IR立體模塊,可以由一個主動IR立體模塊生成並且發送到所有其他主動IR 立體模塊，可以由每個主動IR立體模塊生成並且發送到每個其他主動IR立體模塊，如此等等。還應當注意，可以使用軟體或硬體鎖相來維持主動IR立體模塊之間的時間相干性。在10塊706，可以通過證實每個主動IR立體模塊接收到同步信號來確認主動IR立體模塊的鎖相。
在塊708，每個主動IR立體模塊可以根據參照圖3描述的方法來生成場景的深度圖。在塊710，通過形成來自各個主動IR立體模塊的深度圖的組合，可以生成場景的構造視圖。該構造視圖可以提供在同一時刻記錄的、來自多個視角或者多個主動IR立體模塊的場景的表不。在一個實施例中，該方法700可用於生成移動物體在三維空間中的準確表不ο 此外，在一個實施例中，當前系統和方法可用於實時地生成場景的構造視圖，而在另一實施例中，可以在主動IR立體模塊記錄了場景之後異步地生成場景的構造視圖。應當注意，該流程圖並非旨在指示方法步驟應按特定的順序執行或者在每種情況下必須包括所有步驟。 例如，在主動IR立體模塊的具體配置先前已確認接收到同步信號的情況下，由於主動IR立體模塊之間的關係已建立，因此可以刪除步驟706。
圖8是示出了存儲適於生成場景的深度圖的代碼的有形的計算機可讀介質800的框圖。處理器802可以在計算機總線804上訪問有形的計算機可讀介質800。此外，有形的計算機可讀介質800可以包括被配置成引導處理器802執行當前方法的步驟的代碼。
這裡討論的各個軟體部件可以存儲在如圖8中所示的有形的計算機可讀介質800 上。例如，隨機IR點圖案投影器806可用於將隨機IR點圖案或任何其他類型的點圖案投影到場景上。鎖相攝像裝置模塊808可用於使兩個或更多個IR攝像裝置或者能夠對隨機 IR點圖案成像的任何其他類型的攝像裝置鎖相或同步。點檢測模塊810可用於檢測來自鎖相攝像裝置的立體圖像內的點。特徵描述模塊812可用於識別立體圖像中的點的特徵描述符，並且視差圖計算模塊814可以使用來自特徵描述模塊812的結果來計算立體圖像之間的視差圖。深度圖生成模塊816可用於使用來自視差圖計算模塊814的結果來生成場景的深度圖。
當前系統和方法可用於多種應用。在一個實施例中，當前系統和方法可用於捕獲新形式的媒體，例如自由視點媒體。在另一實施例中，當前系統和方法可用於遠程會議用途。例如，將多個主動IR立體模塊用於遠程會議可以允許位於分離位置的人有效地感覺如同他們物理上在一起。
在又一實施例中，當前系統和方法可用於遊戲應用。例如,使用多個主動IR立體模塊可以允許正在從分離的位置一起玩遊戲的多個人的準確的三維渲染。由主動IR立體模塊捕獲的動態實時數據可用於產生這樣的體驗，其中玩遊戲的人可能能夠虛擬地看到正在從分離的位置玩遊戲的其他人的三維圖像。使用多個主動IR立體模塊從不同的視點對場景成像的可能性還可以允許場景的完整表面特徵的準確表示。
儘管以結構特徵和/或方法動作特有的語言描述了主題內容，但是應當理解，所附權利要求中限定的主題內容不一定限於上述具體特徵或動作。相反，上述具體特徵和動作被公開作為實施權利要求的示例形式。
此外，本發明的技術方案還包括但不限於
方案I. 一種用於生成深度圖的方法，包括
將紅外IR點圖案投影到場景上；
從兩個或更多個同步IR攝像裝置中的每個捕獲立體圖像；
檢測所述立體圖像內的多個點；
計算與所述立體圖像中的所述多個點對應的多個特徵描述符；
計算所述立體圖像之間的視差圖；以及
使用所述視差圖生成所述場景的深度圖。
方案2.根據方案I所述的方法，進一步包括生成關於兩個或更多個主動IR立體模塊中的每個的深度圖，其中每個主動IR立體模塊包括IR投影器、兩個或更多個同步IR 攝像裝置、一個或更多個同步RGB攝像裝置、或者它們的任何組合。
方案3.根據方案2所述的方法，包括使用同步信號使所述兩個或更多個主動IR 立體模塊鎖相，其中使所述兩個或更多個主動IR立體模塊鎖相包括使所述兩個或更多個主動IR立體模塊內的所有攝像裝置鎖相。
方案4.根據方案2所述的方法，包括組合關於所述兩個或更多個主動IR立體模塊中的每個的深度圖以創建所述場景的構造視圖。
方案5.根據方案2所述的方法，包括從所述兩個或更多個主動IR立體模塊中的任意數目的主動IR立體模塊將多個IR點圖案投影到所述場景上。
方案6.根據方案5所述的方法，包括將所述多個IR點圖案用作一個相互有貢獻的IR點圖案。
方案7.根據方案I所述的方法，包括從兩個或更多個同步IR攝像裝置、一個或更多個同步RGB攝像裝置或者它們的任何組合中的每個捕獲立體圖像。
方案8.根據方案I所述的方法，其中計算與所述立體圖像中的所述多個點對應的所述多個特徵描述符包括使用分格方法來匹配所述立體圖像內的相應的點之間的相似性。
方案9.根據方案I所述的方法，包括使用關於每個立體圖像中的所述多個點的所述多個特徵描述符之間的差來計算所述立體圖像之間的視差圖。
方案10. —種用於生成深度圖的立體模塊系統，包括
處理器，被配置成實施主動IR立體模塊，其中所述主動IR立體模塊包括
紅外IR圖案投影模塊，被配置成將IR點圖案投影到場景上；
同步攝像裝置模塊，被配置成從兩個或更多個時間同步的IR攝像裝置中的每個捕獲立體圖像；
點檢測模塊，被配置成識別所述立體圖像內的多個點；
特徵描述模塊，被配置成計算與所述立體圖像中的所述多個點對應的多個特徵描述符；
視差計算模塊，被配置成計算所述立體圖像之間的視差圖；以及
深度圖生成模塊，被配置成使用所述視差圖生成所述場景的深度圖。
方案11.根據方案10所述的立體模塊系統，進一步包括
多視深度生成模塊，被配置成生成關於兩個或更多個同步主動IR立體模塊中的每個的深度圖；以及
深度圖組合模塊，被配置成組合來自所述兩個或更多個主動IR立體模塊中的每個的所述深度圖以創建所述場景的構造視圖。
方案12.根據方案11所述的多視深度生成模塊，其中使用投影到所述場景上的多個IR點圖案的組合來獲得關於所述兩個或更多個同步主動IR立體模塊中的每個的所述深度圖。
方案13.根據方案11所述的深度圖組合模塊，其中所述場景的所述構造視圖包括所述場景的三維視圖。
方案14.根據方案10所述的立體模塊系統，其中所述同步攝像裝置模塊包括時間同步RGB攝像裝置。
方案15.根據方案10所述的立體模塊系統，其中所述視差計算模塊被配置成使用與所述立體圖像中的所述多個點對應的所述多個特徵描述符之間的差來計算所述立體圖像之間的所述視差圖。
方案16.用於存儲計算機可讀指令的一個或更多個非易失性計算機可讀存儲介質，所述計算機可讀指令在由一個或更多個處理模塊執行時提供用於生成深度圖的立體模塊系統，所述計算機可讀指令包括被配置成執行如下操作的代碼
將紅外IR點圖案投影到場景上；
從兩個或更多個同步IR攝像裝置捕獲立體圖像；
檢測所述立體圖像內的多個點；
計算與所述立體圖像中的所述多個點對應的多個特徵描述符；
計算所述立體圖像之間的視差圖；以及
使用所述視差圖生成所述場景的深度圖。
方案17.根據方案16所述的非易失性計算機可讀存儲介質，其中所述計算機可讀指令包括被進一步配置成執行如下操作的代碼
生成關於兩個或更多個同步主動IR立體模塊中的每個的深度圖；以及
組合關於所述兩個或更多個主動IR立體模塊中的每個的所述深度圖以創建所述場景的構造視圖。
方案18.根據方案17所述的非易失性計算機可讀存儲介質，其中生成關於兩個或更多個同步主動IR立體模塊中的每個的深度圖包括使用投影到所述場景上的多個IR點圖案的組合。
方案19.根據方案17所述的非易失性計算機可讀存儲介質，其中組合關於所述兩個或更多個主動IR立體模塊中的每個的所述深度圖以創建所述場景的構造視圖包括實時地生成所述場景的構造視圖。
方案20.根據方案16所述的非易失性計算機可讀存儲介質，其中計算與所述立體圖像中的所述多個點對應的多個特徵描述符包括使用關於每個立體圖像中的所述多個點的所述多個特徵描述符之間的差。
權利要求
1.一種用於生成深度圖(112)的方法(300)，包括 將紅外IR點圖案(212，626)投影(302)到場景(214，608)上； 從兩個或更多個同步IR攝像裝置(136，204，206，610，612，614，616)中的每個捕獲(304)立體圖像； 檢測(306)所述立體圖像內的多個點； 計算(308)與所述立體圖像中的所述多個點對應的多個特徵描述符； 計算(310)所述立體圖像之間的視差圖；以及 使用所述視差圖生成(312 )所述場景(214，608 )的深度圖(112 )。
2.根據權利要求I所述的方法(300)，進一步包括生成關於兩個或更多個主動IR立體模塊(138，202，602，604)中的每個的深度圖(112)，其中每個主動IR立體模塊(138，202，602.604)包括IR投影器(132，210，622，624)、兩個或更多個同步IR攝像裝置(136，204，206，610，612，614，616)、一個或更多個同步RGB攝像裝置(136，208，618，620)、或者它們的任何組合。
3.根據權利要求2所述的方法(300)，包括使用同步信號使所述兩個或更多個主動IR立體模塊(138，202，602，604)鎖相，其中使所述兩個或更多個主動IR立體模塊(138，202，602.604)鎖相包括使所述兩個或更多個主動IR立體模塊(138，202，602，604)內的所有攝像裝置(136，204，206，208，610，612，614，616，618，620)鎖相。
4.根據權利要求2所述的方法(300)，包括組合關於所述兩個或更多個主動IR立體模±^(138,202,602,604)中的每個的深度圖(112)以創建所述場景(214，608)的構造視圖。
5.根據權利要求2所述的方法(300)，包括從所述兩個或更多個主動IR立體模塊(138，202，602，604)中的任意數目的主動IR立體模塊將多個IR點圖案(212，626)投影到所述場景(214，608)上。
6.根據權利要求I所述的方法(300)，包括從兩個或更多個同步IR攝像裝置(136，204，206，610，612，614，616)、一個或更多個同步 RGB 攝像裝置(136，208，618，620)或者它們的任何組合中的每個捕獲立體圖像。
7.根據權利要求I所述的方法(300)，其中計算與所述立體圖像中的所述多個點對應的所述多個特徵描述符包括使用分格方法來匹配所述立體圖像內的相應的點之間的相似性。
8.一種用於生成深度圖(112)的立體模塊系統(100),包括 處理器(102，802)，被配置成實施主動IR立體模塊(138，202，602，604)，其中所述主動IR 立體模塊(138，202，602，604)包括 紅外IR圖案投影模塊(806 )，被配置成將IR點圖案(212，626 )投影到場景(214，608 )上； 同步攝像裝置模塊(808)，被配置成從兩個或更多個時間同步的IR攝像裝置(136，204,206,610,612,614,616)中的每個捕獲立體圖像； 點檢測模塊(810)，被配置成識別所述立體圖像內的多個點； 特徵描述模塊(812)，被配置成計算與所述立體圖像中的所述多個點對應的多個特徵描述符； 視差計算模塊(814)，被配置成計算所述立體圖像之間的視差圖；以及深度圖生成模塊(816)，被配置成使用所述視差圖生成所述場景(214,608)的深度圖(112)。
9.根據權利要求8所述的立體模塊系統(100)，進一步包括 多視深度生成模塊，被配置成生成關於兩個或更多個同步主動IR立體模塊(138，202，602.604)中的每個的深度圖(112);以及 深度圖組合模塊，被配置成組合來自所述兩個或更多個主動IR立體模塊(138，202，602.604)中的每個的所述深度圖(112)以創建所述場景(214，608)的構造視圖。
10.根據權利要求9所述的立體模塊系統(100)，其中所述多視深度生成模塊使用投影到所述場景(214，608)上的多個IR點圖案(212，626)的組合來獲得關於所述兩個或更多個同步主動IR立體模塊(138，202，602，604)中的每個的所述深度圖(112)。
全文摘要
本發明提供了用於生成深度圖的方法和系統。所述方法(300)包括將紅外(IR)點圖案投影(302)到場景上。所述方法(300)還包括從兩個或更多個同步IR攝像裝置中的每個捕獲(304)立體圖像，檢測(306)立體圖像內的多個點，計算(308)關於立體圖像中的點的多個特徵描述符，以及計算(310)立體圖像之間的視差圖。所述方法(300)進一步包括使用視差圖生成(312)場景的深度圖。
文檔編號G06T7/00GK102982530SQ20121040113
公開日2013年3月20日 申請日期2012年10月19日 優先權日2011年10月21日
發明者查爾斯·日特尼克, 辛·秉·康, 亞當·柯克, 克斯圖提斯·帕蒂耶尤納斯, 亞龍·埃謝, 大衛·埃雷克, 西蒙·溫德 申請人:微軟公司