基於壓縮採樣的多視點圖像聯合重構方法和系統的製作方法

2023-06-04 17:57:06 3

專利名稱：基於壓縮採樣的多視點圖像聯合重構方法和系統的製作方法
技術領域：
本發明涉及圖像處理技術領域，特別涉及一種基於壓縮採樣的多視點圖像聯合重 構方法和系統。
背景技術：
一直以來，科學家在香農_乃奎斯特採樣定理的指導下來設計和製作相應的數據 採集系統。但是，香農採樣定理只是給出了為準確重構原始信號所需要的充分條件，採集的 數據中包含很強的相關性。因此，為了便於傳輸和存儲採集到的數據，需要對其做進一步的 壓縮。鑑於在香農採樣定理中只利用信號是帶限的這一先驗知識，最近由Donoho等人通過 充分利用信號在一組基上可以稀疏表示這一先驗知識提出了一種可以直接獲取壓縮數據
的數據採集方法-壓縮感知(D. L. Donoho, "Compressed sensing,，，IEEE Transactions
on Information Theory, vol. 52，no. 4，pp. 1289-1306，Apr, 2006.)。採樣數據通過隨機投 影的方式來獲取，而原始信號則通過非線性最優化的方法來重構。由於所採集到的數據的 冗餘度非常低，可以直接用來做存儲和傳輸。此外，由於壓縮感知利用了較香農採樣定理更 多的先驗知識，它能夠從在亞乃奎斯特採樣頻率下採集到的數據實現原始信號的重構，從 而在超高解析度數據獲取和大規模數據獲取方面具有廣闊的應用前景。傳統的成像設備採集到的圖像具有很高的冗餘性，研究學者提出了 JPEG，H. 264 等圖像/視頻編解碼方法來實現對圖像做進一步壓縮。而在為獲取現實場景的三維信息所 採用的多視點成像中，利用傳統的相機採集到的數據將會成倍的增長，給存儲和傳輸帶來 諸多不便。多視點圖像編碼方法和分布式編碼方法被提出來去除各個視點間所採集到的圖 像之間存在的冗餘性。壓縮感知方法在減少採樣數據量，壓縮數據的直接獲取等方面提供 了新的思路。目前，Rice大學已經根據壓縮感知方法成功研製出了單像素相機，做出了第一 個壓縮成像的模型(D.Takhar，J.N.Laska，M.B.Wakinet al.，『『A new Compressive Imaging camera architecture using optical-domaincompression，，,Computational Imaging IV, vol. 6065，pp. 6509-6509，2006.)。在壓縮感知中，從壓縮採樣數據中重構原始信號是通過在所有可能的信號尋找 一個在給定變換基上最稀疏的信號來實現。該方法只利用信號內的相關性，為了在重構 中充分運用信號間的相關性，Richard Branik提出了分布式壓縮感知方法(Dror Baron, Michael ffakin, Marco Duarte, ShriramSarvotham, and Richard Baraniuk, Distributed compressed sensing,http://www. dsp. ece. rice, edu/cs/DCSl 12005. pdf)。信號間的相關 性通過聯合稀疏性來描述，相關信號在一組基上的表徵係數之間存在的一定關係，如具有 共同的支撐域。但是，找到一組能讓相關信號可以聯合稀疏表示的基存在很大的困難。針 對待採集圖像序列存在重疊的情況，Jian Sun等人利用流形提升的方法來實現壓縮成像中 原始圖像序列的聯合重構(Jian Sun andYin Li and Kang, S. B. and Heung-Yeung Shum, A manifold lifting algorithmfor multi-view compressive imaging, Picture Coding Symposium(PCS), Chicago, Illinois, 2009, May)，但是該方法僅限於不同圖像之間只存在平移的情況。

發明內容
本發明的目的旨在至少解決上述技術缺陷，特別提出了一種基於壓縮採樣的多視 點圖像聯合重構方法和系統。為達到上述目的，本發明一方面提出一種基於壓縮採樣的多視點圖像聯合重構方 法，包括以下步驟通過多個壓縮感知數據採集設備獲得現實場景的多個視角的圖像；根 據獲得的所述多個視角的圖像計算所述多個視角圖像之間的視差圖；和基於所述多個視角 圖像之間的視差圖以及所述多個視角的圖像對多視角圖像進行聯合重構。根據本發明的另一方面，本發明還提出了一種基於壓縮採樣的多視點圖像聯合重 構系統，包括多個壓縮感知數據採集設備，用於獲得現實場景的多個視角的圖像；視差圖 獲得模塊，用於根據獲得的所述多個視角的圖像計算所述多個視角圖像之間的視差圖；和 聯合重構模塊，用於基於所述視差圖獲得模塊獲得的多個視角圖像之間的視差圖以及所述 多個視角的圖像對多視角圖像進行聯合重構。本發明實施例能夠從初步重構結果中準確估計不同視點圖像之間的視差關係，並 在多視點壓縮成像的重構中利用所估計的視差關係充分挖掘了不同視點圖像之間的相關 性，增強了所重構信號的精度。另外，本發明實施例的方法和系統還具有較好的收斂性。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。


本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發明實施例的基於壓縮採樣的多視點圖像聯合重構方法流程圖；圖2為本發明實施例的多視點壓縮成像模型示意圖；圖3為本發明實施例的基於壓縮採樣的多視點圖像聯合重構系統結構圖；圖4(a)和(b)為傳統相機拍攝的圖像；圖4(c)和(d)為獨立重構出來的結果；圖4(e)和(f)為本發明重構出來的結果。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。如圖1所示，為本發明實施例的基於壓縮採樣的多視點圖像聯合重構方法流程 圖，該方法包括以下步驟步驟S101，通過多個壓縮感知數據採集設備獲得現實場景的多個視角的圖像。在 本發明中，多視點壓縮成像方法是指通過在不同視點擺放多個壓縮感知數據採集設備來捕 獲現實場景各個視角的圖像，從而最終獲得現實場景的三維信息。由於利用壓縮採樣方法得到的數據相關性低，因此採集到的數據可以直接用來存儲和傳輸。因此，多視點壓縮成像 方法能夠有效降低數據採樣量，避免傳統數據採集後繁瑣的編碼過程。在採集過程中，不同 視點圖像的採集獨立進行，而不同視點間的相關性可以在重構的時候加以利用，從而實現 現實場景的高效採集。在該實施例中，設Vi和Ni是在視點i和j觀測到的圖像，如圖2所示，為本發明實 施例的多視點壓縮成像模型示意圖，利用壓縮採樣設備可以被採集到他們在一組隨機波形 φ上的投影係數Yi:OVi = Yi(1. 1)OVj = Yj具體地，先將壓縮採樣設備置於同一水平線的不同位置處，對現實場景進行壓縮 採樣。為生成隨機投影波形，先對離散餘弦變換矩陣進行隨機的列排列，然後隨機抽取其M 個行向量形成感知矩陣，本發明實施例通過壓縮採樣的數據量為圖像解析度的30% ；接著， 對同一場景分別在基準視點和參考視點進行獨立的壓縮採樣。步驟S102，根據獲得的多個視角的圖像計算所述多個視角圖像之間的視差圖。根 據壓縮感知的相關理論，利用非線性最優化方法能夠從這些隨機投影係數中重構出多視點 圖像Vi和V」。進而，利用多視點圖像可以生成現實場景的深度圖，以達到獲取現實場景的 三維信息的目的。本發明實施例為了重構估計多視點圖像之間的視差關係，需要得到各個視點下的 觀測圖像。為此，首先根據各個視點下觀測圖像在某個變換域Ψ下的稀疏性，利用I1最優 化(即非線性最優化)方法，給出一個初步的估計結果η ιΣ 網ι
'Js. t. OVi = Yi(1.2)OVj = Yj在本發明實施例中，該間題的求解可以通過貪婪算法，基追蹤算法，迭代閾值等多 種算法進行求解，這裡我們採用FISTA算法進行求解。接著，根據初步估計到的多視點圖 像，利用graphcut等算法估計不同視點間的視差關係屯,」。具體地，首先利用8X8的塊離散餘弦變換，從每個視點獨立地重構各個視點觀測 到的圖像，即利用迭代閾值算法來求解min| Ψν I1(1. 3)s. tOV = Y其中，Y是在不同視點採集到的壓縮採樣數據。接著，利用初步重構出來的多視點圖像，估計多視點圖像之間的視差圖。步驟S103，基於所述多個視角圖像之間的視差圖以及所述多個視角的圖像對多視 角圖像進行聯合重構。在本發明實施例中，由於現實場景中的一點在不同視點觀測到的值是相同的，因 此根據步驟S102中所估計到的視差關係屯,」，並結合圖像本身的稀疏性，本發明給出如下
6的目標函數
其中，Ψ為變換域，Vi和Vj是在視點i和j觀測到的圖像，Clijjjp為視點i禾Π j之 間的視差圖。但是由於遮擋，光照變化等因素的影響，現實場景中的某些點在不同視點之間
存在一些差異。為了剔除這些奇異點，本發明利用一範數對奇異點進行約束
其中，P是能夠在不同視點間找到對應點的像素集合，λ是規整化參數，當λ將左 右視點對應像素差異的一範數值規整化到與圖像在變換域上的一範數值相當時，可以達到 最好的重構質量。為了求解式(1.5)，本發明將其轉化為如下的無約束最優化問題進行求
解 當λ 2充分小的時候，最優化問題(1.6)與最優化問題(1.5)等價。此外，為了便 於處理式(1.6)中的第三項工^^/^-^/…+ ^卜本發明引入中間變量已
peV (1. 7) 其中，Ψ為變換域，Vi和Vj是在視點i和j觀測到的圖像，λ和λ 2為規整化參
為視點i和j之間的視差圖，Ε為中間變量，其中，Ε=Σ訶⑶Kf+i^) I。上
數，d,
述問題是一個在二範數和一範數混合約束下的凸優化問題，可以利用FISTA方法方便的進 行求解到一個最優解。具體地，在本發明實施例中聯合重構具體包括1)、在聯合重構中，先根據所述基於多個視角圖像之間的視差圖確定規整化參數， 在優選實施例中，可取規整化參數2 =Y1t,, TT' λ2 = le-5。 2)、利用迭代閾值算法FISTA求解如下的最優化問題，從而實現多視點圖像的聯
合重構min| WViIH WVjI1+λ I E | 廣 λ 2 ( Il OVi-Yi || 2+ || OVrYj || 2+ || Vi (p)-Vj (p+d^ j,
P)-E Il 2)。3)、根據聯合重構的結果，利用步驟S102中的視差估計方法重新計算視差，利用 步驟1)中的規整化參數計算方法重新計算規整化參數。4)、重複上述步驟2)-3)，直至重構結果不再發生變化。本發明實施例能夠從初步重構結果中準確估計不同視點圖像之間的視差關係，並 在多視點壓縮成像的重構中利用所估計的視差關係充分挖掘了不同視點圖像之間的相關 性，增強了所重構信號的精度。另外，本發明實施例的方法和系統還具有較好的收斂性。如圖3所示，為本發明實施例的基於壓縮採樣的多視點圖像聯合重構系統結構 圖。該系統包括多個壓縮感知數據採集設備100、視差圖獲得模塊200和視差圖獲得模塊 300。多個壓縮感知數據採集設備100用於獲得現實場景的多個視角的圖像。視差圖獲得 模塊200用於根據獲得的所述多個視角的圖像計算所述多個視角圖像之間的視差圖。視差 圖獲得模塊300用於基於視差圖獲得模塊200獲得的多個視角圖像之間的視差圖以及所述 多個視角的圖像對多視角圖像進行聯合重構。在本發明的一個實施例中，視差圖獲得模塊200包括圖像初步重構子模塊210和 視差圖獲得子模塊220。圖像初步重構子模塊210用於根據8X8的塊離散餘弦變換，從每 個視點獨立地初步重構多個視點觀測到的圖像。視差圖獲得子模塊220根據圖像初步重構 子模塊初步重構的多個視點的圖像，獲得多視點圖像之間的視差圖。本發明採用峰值信噪比(PSNR)來客觀衡量算法的重構效果。表1為針對不同測 度數下，本發明方法和獨立重構方法重構結果的客觀評價指標。其中Doll_b和Doll_r是 對基準視點和參考視點獨立恢復的結果，Doll_Jb和Doll_Jr是用本發明提出的聯合重構 方法重構出的結果。表 1 圖4(a)和(b)為傳統相機拍攝的圖像，圖4(c)和(d)為獨立重構出來的結果，圖 4(e)和(f)為本發明實施例重構出來的結果，從圖4(e)和(f)可以看出，聯合重構方法重 構出來的視覺效果明顯優於獨立恢復的結果。總之，無論從客觀評價指標還是從視覺效果，本發明提出的聯合重構方法均優於獨立重構的方法，重構質量得到了較大程度的改善。 儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以 理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發明的範圍由所附權利要求及其等同限定。
權利要求
一種基於壓縮採樣的多視點圖像聯合重構方法，其特徵在於，包括以下步驟通過多個壓縮感知數據採集設備獲得現實場景的多個視角的圖像；根據獲得的所述多個視角的圖像計算所述多個視角圖像之間的視差圖；和基於所述多個視角圖像之間的視差圖以及所述多個視角的圖像對多視角圖像進行聯合重構。
2.如權利要求1所述的基於壓縮採樣的多視點圖像聯合重構方法，其特徵在於，所述 根據獲得的多個視角的圖像計算多個視角圖像之間的視差圖進一步包括根據8X8的塊離散餘弦變換，從每個視點獨立地初步重構所述多個視點觀測到的圖 像；和根據初步重構的多個視點的圖像，獲得多視點圖像之間的視差圖。
3.如權利要求2所述的基於壓縮採樣的多視點圖像聯合重構方法，其特徵在於，所述 基於多個視角圖像之間的視差圖以及多個視角的圖像對多視角圖像進行聯合重構進一步 包括根據所述基於多個視角圖像之間的視差圖確定規整化參數；根據確定的所述規整化參數利用快速迭代閾值算法FISTA進行最優化求解以實現所 述多視點圖像的聯合重構；進一步根據聯合重構結果重新計算視差圖，並重新確定規整化參數，以及再次進行聯 合重構，直至重構結果不再發生變化。
4.如權利要求3所述的基於壓縮採樣的多視點圖像聯合重構方法，其特徵在於，所述 根據確定的規整化參數利用快速迭代閾值算法FISTA進行最優化求解以實現所述多視點 圖像的聯合重構包括利用快速迭代閾值算法FISTA求解以下的最優化問題min| WViI1+! WVj1+λ Ε^+λ^ || OVi-Yi Il 2+ Il OVj-Yj Il 2+ Il Vi (p)-Vj (p+d^ j, p)-E Il 2)，其中，Ψ為變換域，Vi和Vj是在視點i和j觀測到的圖像，λ和λ 2為規整化參數，d,,^為視點i和j之間的視差圖，E為中間變量，其中，醜二工^勸一^^ + ^ °
5.如權利要求3所述的基於壓縮採樣的多視點圖像聯合重構方法，其特徵在於，其中， 規整化參數λ和λ 2為
6.一種基於壓縮採樣的多視點圖像聯合重構系統，其特徵在於，包括 多個壓縮感知數據採集設備，用於獲得現實場景的多個視角的圖像；視差圖獲得模塊，用於根據獲得的所述多個視角的圖像計算所述多個視角圖像之間的 視差圖；和聯合重構模塊，用於基於所述視差圖獲得模塊獲得的多個視角圖像之間的視差圖以及 所述多個視角的圖像對多視角圖像進行聯合重構。
7.如權利要求6所述的基於壓縮採樣的多視點圖像聯合重構系統，其特徵在於，所述視差圖獲得模塊包括圖像初步重構子模塊，用於根據8X8的塊離散餘弦變換，從每個視點獨立地初步重構所述多個視點觀測到的圖像；和視差圖獲得子模塊，根據所述圖像初步重構子模塊初步重構的多個視點的圖像，獲得 多視點圖像之間的視差圖。
8.如權利要求7所述的基於壓縮採樣的多視點圖像聯合重構系統，其特徵在於，所述 聯合重構模塊根據所述基於多個視角圖像之間的視差圖確定規整化參數，並根據確定的所 述規整化參數利用快速迭代閾值算法FISTA進行最優化求解以實現所述多視點圖像的聯 合重構，以及進一步根據聯合重構結果重新計算視差圖，並重新確定規整化參數和再次進 行聯合重構，直至重構結果不再發生變化。
9.如權利要求8所述的基於壓縮採樣的多視點圖像聯合重構系統，其特徵在於，所述 聯合重構模塊利用快速迭代閾值算法FISTA求解以下的最優化問題min| WViI1+! WVj1+λ Ε^+λ^ || OVi-Yi Il 2+ Il OVj-Yj Il 2+ Il Vi (p)-Vj (p+d^ j, p)-E Il 2)，其中，Ψ為變換域，Vi和Vj是在視點i和j觀測到的圖像，λ和λ 2為規整化參數，d,,^為視點i和j之間的視差圖，E為中間變量，其中，—[(P +『，ρ) I。peV
10.如權利要求9所述的基於壓縮採樣的多視點圖像聯合重構系統，其特徵在於，其 中，規整化參數λ和λ2為
全文摘要
本發明提出一種基於壓縮採樣的多視點圖像聯合重構方法，包括以下步驟通過多個壓縮感知數據採集設備獲得現實場景的多個視角的圖像；根據獲得的所述多個視角的圖像計算所述多個視角圖像之間的視差圖；和基於所述多個視角圖像之間的視差圖以及所述多個視角的圖像對多視角圖像進行聯合重構。本發明實施例能夠從初步重構結果中準確估計不同視點圖像之間的視差關係，並在多視點壓縮成像的重構中利用所估計的視差關係充分挖掘了不同視點圖像之間的相關性，增強了所重構信號的精度。
文檔編號G06T7/00GK101901493SQ20101021218
公開日2010年12月1日 申請日期2010年6月21日 優先權日2010年6月21日
發明者付長軍, 季向陽, 戴瓊海 申請人:清華大學