可定製深度測量範圍的深度測量方法及深度圖像的系統與流程
2023-07-13 21:27:31 1
本發明涉及立體圖像處理技術領域，特別是涉及一種可定製深度測量範圍的深度測量方法及深度圖像的系統。
背景技術：
基於結構光的深度相機是目前較為普遍的一種測量物體三維深度信息的設備。由於結構光深度相機有著較高的解析度以及深度圖片採集幀數，利用深度相機實現人機互動被認為是下一代人機互動技術。相對於普通彩色相機，深度相機獲取的深度數據能精確地識別出姿勢、動作從而實現與相應機器設備的交互。
深度相機的測量範圍與投影圖案以及計算算法等因素有關，隨著測量深度的增大，測量的精度也隨之下降。因此，當對深度變化範圍較大的場景進行測量時，獲取的深度圖像效果並不理想。實際上，對於一些特定的應用，比如客廳體感娛樂、3D試衣等等，深度測量的範圍一般都會限制在較小的範圍內，此時深度相機並不需要對超過這些範圍的場景或目標進行測量。而目前的深度相機以及相關技術所述的深度相機，當最大與最小測量範圍確定後，無論當前應用要求的測量範圍如何，都會對最大與最小測量範圍對應的深度進行測量。無疑這種方法增加了深度處理晶片的計算量，得到的深度圖像還需要進一步進行處理才能應用，從而進一步加大了圖像處理的難度。
以上背景技術內容的公開僅用於輔助理解本發明的發明構思及技術方案，其並不必然屬於本專利申請的現有技術，在沒有明確的證據表明上述內容在本專利申請的申請日已經公開的情況下，上述背景技術不應當用於評價本申請的新穎性和創造性。
技術實現要素：
本發明目的在於提出一種可定製深度測量範圍的深度測量方法及深度圖像的系統，以解決上述現有技術存在的深度測量範圍無法定製導致處理的計算量大、圖像處理難度高的技術問題。
為此，本發明提出一種可定製深度測量範圍的深度測量方法，基於深度相機的光學投影模塊、圖像採集模塊和處理器進行處理，該處理包括光學投影、光學圖像接收、參考圖像獲取、匹配計算和深度圖像獲取的步驟，所述匹配計算根據由定製的深度測量範圍得到的像素區間作為匹配計算的搜索範圍進行匹配，所述深度圖像獲取通過該像素區間獲取像素偏離值進行深度圖像獲取，所述定製包括如下步驟：
獲取深度相機的深度範圍測量區間；
對所述測量區間進行定製，根據預設的應用場景在所述測量區間內劃分相對應的定製測量範圍，得到小於該測量區間的深度區間；
根據該小於所述測量區間的深度區間，得到搜索範圍小的像素區間。
優選地，本發明的方法還可以具有如下步驟：
所述測量區間劃分有一個或一個以上的定製測量範圍，對應一個或一個以上的預設應用場景，所述一個以上的預設應用場景通過所述深度相機進行設置。
所述一個以上的預設應用場景的設置為人工選擇設置。
包括通過所述深度相機的一個以上的硬體按鈕進行實體按鍵式設置，所述一個以上的硬體按鈕對應相應預設應用場景下的所述定製測量範圍。
包括通過所述深度相機的一個以上的場景設置模塊進行非實體按鍵式設置，所述一個以上的場景設置模塊對應相應預設應用場景下的所述定製測量範圍。
所述一個以上的預設應用場景的設置為自動選擇設置，自動選擇設置中，所述深度區間的獲取包括如下步驟：所述深度相機採集當前應用場景的深度圖像的深度信息；獲取當前的所述深度信息的最大深度值和最小深度值作為定製測量範圍，得到小於測量區間的深度區間。
當所述深度相機已設置在相應預設應用場景下時，還包括以下步驟：
所述深度相機採集當前應用場景的深度圖像的深度信息；
將所採集的深度信息與所述深度相機當前的所述定製測量範圍進行對比；
根據對比結果自動調整當前的所述定製測量範圍的最大深度值和最小深度值，獲得與當前應用場景相符合的所述定製測量範圍。
另外，本發明還提供了一種獲取深度圖像的系統，基於上述所述的深度測量方法進行深度圖像的獲取，包括設於深度相機的光學投影模塊、圖像採集模塊和處理器，所述光學投影模塊用於向目標空間投射結構光圖案；所述圖像採集模塊用於採集目標空間結構光圖案對應的光學圖像和參考圖像；所述處理器根據由定製的深度測量範圍得到的像素區間作為搜索範圍對光學圖像和參考圖像進行匹配計算，根據匹配計算獲得的像素偏離值得到目標的深度圖像。
優選地，本發明的系統還可以具有如下技術特徵：
所述深度相機還包括硬體按鈕，用於通過實體形式選擇預設應用場景並切換。
所述深度相機還包括場景設置模塊，用於通過非實體形式選擇預設應用場景並切換。
本發明與現有技術對比的有益效果包括：本發明針對深度範圍測量區間已經確定的深度相機進行具體應用的深度測量範圍的定製，進而轉化成對應的匹配計算的搜索範圍，從而提高匹配計算算法效率，相比於已有技術，由於定製的深度測量範圍小於深度相機已經確定的測量範圍，因而在進行匹配計算時搜索區域也相應變小，可以較大幅度提高匹配計算的計算速度，進而降低系統處理的計算量，通過這種深度測量範圍的定製可以提高深度相機的採集幀數，從而提高用戶體驗效果。
優選方案中，由於採用人工選擇設置定製測量範圍，適用於需要人工進行設置的工作應用場景，因而能夠滿足人工設置的需求，人工選擇設置的形式可以是實體按鍵式也可以是非實體按鍵式，實體按鍵式通過在深度相機上設置一個或多個硬體按鈕，通過硬體按鈕事先選定深度相機的應用場景，進而使得深度相機在該應用場景下對應的定製測量範圍進行工作，操作簡單方便，同時，採用非實體按鍵式是通過在深度相機內設場景設置模塊，該場景設置模塊可配合深度相機的交互軟體或其他軟體進行非實體按鍵式設置，這種方式對深度相機的實體結構改變較小，局限性小，應用廣。
同時，本發明還可以根據不同的應用場景自動選擇設置，通過採集當前應用場景的深度圖像的深度信息；獲取當前的所述深度信息的最大深度值和最小深度值作為定製測量範圍，得到小於測量區間的深度區間，自動選擇可以由深度相機自動定製，在特定的應用場景下相比於手動選擇設置而言，系統在執行的過程中，無需事先選擇好對應場景下的定製測量範圍，系統根據實時的應用場景獲取的深度圖像的最大和最小的深度值實時計算出對應深度區間進行匹配計算，這樣可將深度區間控制在最合理的範圍，進而將計算量降低值最小，提高深度相機的採集幀數。
在人工選擇設置的模式下，當所述深度相機已設置在相應預設應用場景下時，再執行定製測量範圍的調整，這樣可以使得一些必須事先人工進行設置的應用場景的定製測量範圍調整地更加合理，進而進一步降低計算量。
附圖說明
圖1是本發明具體實施方式一的流程圖；
圖2是本發明具體實施方式一和二的系統工作示意圖。
具體實施方式
下面結合具體實施方式並對照附圖對本發明作進一步詳細說明。應該強調的是，下述說明僅僅是示例性的，而不是為了限制本發明的範圍及其應用。
參照以下附圖1-2，將描述非限制性和非排他性的實施例，其中相同的附圖標記表示相同的部件，除非另外特別說明。
以下實施例所述方法和系統主要針對基於結構光技術的深度相機，目前基於結構光技術的深度相機一般包含光學投影模塊2以及圖像採集模塊1，光學投影模塊2用於向目標空間投射結構光圖案，而圖像採集模塊1則用於採集帶有結構光圖案的光學圖像，以下實施例中，結構光圖案指散斑顆粒圖案。獲取深度信息的原理是將採集到的光學散斑圖像與系統中存取的參考圖像進行匹配計算獲取像素偏離值，再通過三角測量原理利用像素偏離值與實際深度值的一一對應關係就可以獲取目標空間的深度圖像。這裡的參考圖像是通過採集距離深度相機已知深度值的平面上的光學散斑圖像而獲取的。
當深度相機的光學投影模塊2以及圖像採集模塊1都確定後，該深度相機能測量的最大以及最小深度範圍也就確定了，超過深度測量範圍的目標的測量結果將會不準確。
光學散斑圖案與參考圖像的匹配計算速度決定了深度相機獲取目標深度圖像的採集頻率，當匹配計算的搜索範圍較大時，匹配算法將消耗更多的計算資源以及更多的時間，從而導致深度相機的採集頻率變小，用戶交互的體驗較差。因而在深度相機的測量範圍內，如果可以針對具體應用對應的深度區間，並僅對該深度區間進行測量則會提高深度相機的計算速度以及採集頻率。
實施例一：
如圖1-2所示，本實施例提供了一種可定製深度測量範圍的深度測量方法，本實施例基於深度相機的光學投影模塊2、圖像採集模塊1和處理器3進行處理，將採取以下的步驟S1-S3：
首先，步驟S1：獲取深度相機的深度範圍測量區間，在測量區間內選定應用場景對應的定製測量範圍，得到小於該測量區間的深度區間；
比如某深度相機的測量範圍為1～8m，一般而言低於1m，大於8m範圍外的物體也可以進行測量，只不過測量的精度將會較差。而當前某個應用，比如客廳內進行的體感遊戲，客廳的寬度為4m，因而對於該應用，深度相機僅需要測量1～4m範圍的深度區間即可。
所述測量區間劃分有一個或一個以上的定製測量範圍，對應一個或一個以上的預設應用場景，所述一個以上的預設應用場景通過所述深度相機進行設置。
一般地，深度相機的深度範圍測量區間固定之後，在對具體應用進行深度範圍的定製時，可以通過多種方法，對於需要提前設置應用場景的情況下，可採用人工選擇設置的形式。其中一種是在深度相機增加硬體按鈕，提前設置好多種不同的測量範圍，比如對於測量範圍為1～8m的深度相機，可以增加多個按鈕，分別對應當前的定製測量範圍為1～4m，3～6m以及5～8m等等，採用硬體按鈕的實體按鍵的形式，適用於需事先採用人工進行人工設置的場景，滿足該場景的需求，可提前通過硬體按鈕進行設置相應應用場景，簡單方便。
同時，還可根據實際情況選擇通過非實體按鍵式進行提前設置應用場景，另外一種可以通過場景設置模塊和軟體的進行定製，即在應用之前通過深度相機內部或者其他軟體對測量範圍進行設置，這種設置形式無需對深度相機的實體結構做出大的改變，通過軟體進行提前設置，場景的局限性小，應用廣。
對於可不提前設置應用場景的情況，可由深度相機進行智能自主定製，即當深度相機在某一應用場景中時，比如客廳，當深度相機所採集的深度圖像中最大深度值小於測量範圍時，即自動將測量範圍定製為與當前場景相符合的測量範圍。自動選擇設置中，所述深度區間的獲取包括如下步驟：所述深度相機採集當前應用場景的深度圖像的深度信息；獲取當前的所述深度信息的最大深度值和最小深度值作為定製測量範圍，得到小於測量區間的深度區間。
對於需提前設置應用場景的情況，當所述深度相機已設置在相應預設應用場景下時，還包括以下步驟：
所述深度相機採集當前應用場景的深度圖像的深度信息；
將所採集的深度信息與所述深度相機當前的所述定製測量範圍進行對比；
根據對比結果自動調整當前的所述定製測量範圍的最大深度值和最小深度值，獲得與當前應用場景相符合的所述定製測量範圍。
其次，步驟S2：根據深度區間計算出像素區間；
如前所述，基於結構光的深度相機是將採集到的光學散斑圖像與系統中存取的參考圖像進行匹配計算獲取像素偏離值，再通過三角測量原理利用像素偏離值就可以獲取目標空間的深度圖像。其中關鍵步驟是利用匹配計算獲取像素偏離值。匹配算法的原理是將當前需要計算的像素作為中心，選取以該像素為中心的子區(比如7x7或11x11像素的子區)，然後在參考圖像中搜索相同大小的子區，當匹配係數達到閾值後就認為兩個子區為相同子區，兩個子區中心像素的偏離值即為匹配算法的輸出結果。在進行搜索時，一般為了增加匹配速度，為對搜索範圍進行限定。對於基於結構光的深度相機，像素的偏離一般僅沿與投影模塊與圖像採集模塊1連線的方向，因而在搜索時將搜索範圍限定在這一方向即可。
實際上，一旦當前應用的深度區間確定後，對於超出該深度區間的深度範圍則可以不予考慮，在考慮搜索範圍時則可以進行進一步的限定。具體地，由三角法原理，已知偏離值的情況下，深度值可以由公式計算出，其中B是圖像採集模塊1與光學投影模組之間的距離，Z0為參考散斑圖離圖像採集模塊1的深度值，f為圖像採集模塊1鏡頭的焦距，Δ為偏離值。相反地，當深度區間確定後，偏離值的範圍即像素區間也就可以通過以下公式確定：
其中，深度區間為[Zmin,Zmax]。Zmin為最小深度值，Zmax為最大深度值，這裡的深度區間範圍小於該深度相機的測量範圍。
最後，步驟S3：將像素區間作為匹配算法的搜索範圍，計算像素偏離值，進一步獲取深度圖像。
將上一步中計算得到的像素區間作為當前深度相機匹配算法的搜索範圍，並在該搜索範圍內計算偏離值Δ，最後根據公式計算出深度值。
根據以上原理，在深度區間以外的物體，原則上該物體對應的像素子區在與參考圖像進行匹配計算時，在由以上方法確定的搜索範圍內將無法搜索到對應的子區，此時就認為該物體不在當前深度區間內，將其作為背景圖像，該處的深度值可以直接賦值為0或者最大像素值(比如255)。
通過這種定製的測量範圍後，由於匹配算法的搜索區域變小，因而能較大程度上提高匹配算法效率。
實施例二：
如圖2所示，基於實施例一的方法，提出了一種獲取深度圖像的系統，包括設於深度相機的光學投影模塊2、圖像採集模塊1和處理器3，所述光學投影模塊2用於向目標空間投射結構光圖案；所述圖像採集模塊1用於採集目標空間結構光圖案對應的光學圖像和參考圖像；所述處理器3根據由定製的深度測量範圍得到的像素區間作為搜索範圍對光學圖像和參考圖像進行匹配計算，根據匹配計算獲得的像素偏離值得到目標的深度圖像。
基於人工選擇設置的方法，可在所述深度相機設置硬體按鈕，用於通過實體形式選擇預設應用場景並切換。或者在所述深度相機設場景設置模塊，用於通過非實體形式選擇預設應用場景並切換。
本實施例所述的人數統計系統還包括有存儲單元。存儲單元可以用來存儲處理器用於計算的數據，比如參考圖像、定製的深度區間值或搜索範圍等。在本實施例中，當定製測量範圍通過人工設置或自動設置確認後，其對應的深度區間值將會被處理器保存到存儲單元中，或者深度區間經處理器進一步計算得到搜索區間後被保存到存儲單元中。在隨後的深度圖像獲取中，處理器可以直接調用其中的深度區間或者搜索區間進行深度圖像計算。
由深度區間通過以下公式可以得到搜索範圍對應的像素區間：
B是圖像採集模塊1與光學投影模組之間的距離，Z0為參考散斑圖離圖像採集模塊1的深度值，f為圖像採集模塊1鏡頭的焦距，Δ為偏離值，深度區間為[Zmin,Zmax]。Zmin為最小深度值，Zmax為最大深度值。
本領域技術人員將認識到，對以上描述做出眾多變通是可能的，所以實施例僅是用來描述一個或多個特定實施方式。
儘管已經描述和敘述了被看作本發明的示範實施例，本領域技術人員將會明白，可以對其作出各種改變和替換，而不會脫離本發明的精神。另外，可以做出許多修改以將特定情況適配到本發明的教義，而不會脫離在此描述的本發明中心概念。所以，本發明不受限於在此披露的特定實施例，但本發明可能還包括屬於本發明範圍的所有實施例及其等同物。