一種基於sift特徵的二階段三維圖像壓縮編碼方法
2023-05-06 07:35:21
一種基於sift特徵的二階段三維圖像壓縮編碼方法
【專利摘要】本發明提供了一種基於SIFT特徵的二階段三維圖像壓縮編碼方法，包括階段一和階段二兩個階段，階段一首先對視點C1和C2圖像提取SIFT特徵點並進行初步特徵點匹配，然後用RANSAC算法對提取的特徵點進行去誤匹配並求出視點C1到C2的變換矩陣H1；由視點C1的圖像和變換矩陣H1重構出參考圖像C21；同理由視點C3和C2求出變換矩陣H2和參考圖像C23；接下來分別將重構的參考圖像C21、C23與C2作相關性決策，選出與視點C2最相關的重建圖像C以及對應的變換矩陣H；對變換矩陣H做定長編碼即形成了階段一的碼流；階段二是在階段一的基礎上，用視點C2與階段一中選出的重建圖像C相減得一個殘差，編碼殘差和變換矩陣H組成階段二碼流。
【專利說明】一種基於SIFT特徵的二階段三維圖像壓縮編碼方法
【技術領域】
[0001]本發明屬於圖像處理【技術領域】，具體涉及一種基於SIFT特徵的二階段三維圖像壓縮編碼方法。
【背景技術】
[0002]相對於傳統的二維圖像，新興的三維圖像能夠給人提供真實和自然的立體視覺體驗，在學術界和工業界都引起了廣泛的關注。然而，由於三維圖像的原始數據量遠大於二維圖像的數據量，因此，如何高效的壓縮存儲三維圖像給傳統的圖像編碼技術提出了新的挑戰。
[0003]傳統的圖像編碼技術旨在通過減少圖像內部的相關性和冗餘信息以達到壓縮數據量的目的。例如在國際標準JPEG[1]、JEPG2000氣H.264[3]以及HEVCm的幀內編碼中，圖像的內部相關性通常是利用相鄰像素或圖像塊不同的預測及變換方式來去除。相對於傳統二維圖像，三維圖像由於存在多個視點，因此除了具有二維圖像的內部相關性以外，還具有視角間的相關性，因此如何有效去掉視點間的相關性是提高三維圖像壓縮性能的關鍵。去除三維圖像視點間相關性最直接的方式是在編碼當前圖像時使用來自相鄰視點的重建圖像作為參考圖像進行估值預測，因此來自相鄰視點的重建圖像與當前編碼視點圖像間的相關性對於三維圖像的壓縮性能有至關重要的影響。本申請中，我們將嘗試通過視點圖像所提取的特徵向量來進行圖像重建，以獲得具有較高視點間相關性的參考圖像。
[0004]傳統的特徵向量提取方法如SIFT(Scale Invariant Feature Transform,尺度不變特徵變換)大多應用於基於內容的圖像檢索等領域。近年來，越來越多的研究開始將特徵向量用於圖像的重建[5][6]。文獻[7]提出可以根據已知的特徵向量尋找相似的圖像區域構建出原始圖像。文獻[8]分析了由SIFT算法提取出特徵向量可以有效重建出原始圖像信息並帶來了一些安全隱患。文獻[9]提出提取圖像SIFT特徵向量進行編碼，在解碼端藉助於豐富的網絡圖片庫，最終恢復成原始圖像。由於SIFT特徵匹配算法的匹配能力較強，可以處理兩幅圖像之間發生平移、旋轉、仿射變換情況下的匹配問題，甚至對任意角度拍攝的圖像也具備較為穩定的特徵匹配能力。因此，本申請將SIFT特徵匹配算法用於三維圖像的不同視點間，利用SIFT算法提取相鄰視點的特徵向量以構建當前編碼視點的參考圖像，通過有效去除視點間的相關性進而實現三維圖像壓縮。
[0005]由於不同的設備用戶對於帶寬和圖像質量的要求不同，本申請中我們提出了一種新的兩階段編碼系統，當帶寬受限或用戶只需要了解圖像大概信息時，我們採用階段一編碼，即通過SIFT提取特徵向量，通過RANSAC估計算法求出不同視點間圖像的變換矩並進行編碼，在解碼端由已解碼的一路視點圖像和變換矩陣就可以重建出另一視點的圖像，這樣只用了極小的碼率編碼了一路視點的圖像。當帶寬較寬或用戶對於圖像質量有更高要求時，我們在階段一基礎上進行階段二的編碼，多傳一部分殘差信息來提高圖像的質量，從而可以滿足用戶多樣化需求。
[0006]參考文獻[0007][1]G.K.Wallace, 「The JPEG still picture compressionstandard, 」 Communications Of the ACM, vol.34，pp.30-44，1991.[0008][2] D.S.Taubman，M.W.Marcel I in，JPEG2000:1mage CompressionFundamentals, Standards, and Practice.Kluwer Academic Publishers,2001.[0009][3]T.Wiegandj G.J.Sullivan, G.Bjontegaardj A.Luthraj 「Overview of theH.264/AVC video coding standard，，，IEEE Trans, on Circuits and Systems for VideoTechnology, vol.13，pp.560-576，2003.[0010][4] JCT-VCj iiWDB: Working Draf t6of Hi gh_Ef f i c i ency VideoCoding」，JCTVC-H1003，JCT-VC Meet-1ng，San Jose February2012
[0011][5]J.Hays, A.A.Efrosj 「Scene completion using mill ions ofphotographs, 」 ACM Trans, on Graphics, vol.126，2007.[0012][6]M.Eitzj R.Richter, K.Hildebrand, T.Boubekeurj M.Alexaj 「Photosketcher:1nteractive sketch-based image synthesis,，』IEEE Journal of Computer Graphics andApplications, vol.31，pp.56-66，2011.[0013][7]T.Chen, M.M.Cheng, P.Tan, A.Shamir, S.M.Huj 「PhotoSketch:1nternet imagemontage, 」 ACM Proc.0f SIGGRAPH ASIA, 2009.[0014][8], P.Weinzaepfelj H.Jegouj P.Perez, 「Reconstructing an imagefrom its local descriptors，，，IEEE Proc.0f Computer Vision and PatternRecognition, pp.337-344，2011.[0015][9]Zhongbo Shij Xiaoyan Sun 「Cloud-based Image Coding for MobileDevices-Toward Thousands to One Compression，」W.Lin et al.(Eds):PCM2012, LNCS7646，pp.661-673，2012
[0016][10]D.G.Lowe, 「Distinctive image features from scale-1nvariantkeypoints，，，International Journal of Computer Vision, vol.60, pp.91-110, 2004
【發明內容】
[0017]由於不同的設備用戶對於帶寬和圖像質量的要求不同，本發明的目的在於提出了一種新的兩階段編碼系統，當帶寬受限或用戶只需要了解圖像大概信息時，我們釆用階段一編碼，即通過SIFT提取特徵向量，通過RANSAC估計算法求出不同視點間圖像的變換矩並進行編碼，在解碼端由已解碼的一路視點圖像和變換矩陣就可以重建出另一視點的圖像，這樣只用了極小的碼率編碼了一路視點的圖像。當帶寬較寬或用戶對於圖像質量有更高要求時，我們在階段一基礎上進行階段二的編碼，多傳一部分殘差信息來提高圖像的質量，從而可以滿足用戶多樣化需求。
[0018]為了實現上述發明目的，申請提供了以下技術方案:如圖1所示是本申請提出的二階段三維圖像編碼框圖。輸入三幅不同視點間同一時刻的圖像，記為C1, C2，C3，其中，對視點C1和C3本專利釆用國際視頻編碼標準H.264的幀內編碼方法進行壓縮，對視點C2將釆用我們所提出的方法。首先對視點C1和C2圖像提取SIFT特徵點並進行初步特徵點匹配，然後用RANSAC算法對提取的特徵點進行去誤匹配並求出視點C1到C2的變換矩陣故。由視點C1的圖像和變換矩陣H1我們可以重構出參考圖像C21 ;同理由視點C3和C2可以求出變換矩陣H2和參考圖像C23。接下來分別將重構的參考圖像C21、C23與C2作相關性決策，選出與視點C2最相關的重建圖像C以及對應的變換矩陣H。對變換矩陣H做定長編碼即形成了階段一的碼流。階段二是在階段一的基礎上，用視點C2與階段一中選出的最優重建圖像C相減得一個殘差，編碼殘差和變換矩陣H組成階段二碼流 。
[0019]階段一三維圖像編碼
[0020]在階段一首先進行SIFT特徵點的提取，本申請採用了改進的SIFT特徵提取算法完成圖像特徵點的提取。其具體步驟如下:
[0021]首先，檢測尺度空間極值點。二維圖像在不同尺度下的尺度空間表示可由該圖像與高斯核卷積得到:
[0022]L(x, y, σ ) =G (x, y, σ ) *1 (χ, y) (I)
[0023]式中(x，y)代表圖像的像素位置，G(x，y，σ)為高斯函數，σ稱為尺度空間因子，其值的大小則表徵該圖像相應的空間尺度的大小。公式(I)的卷積就得到了一個高斯尺度空間，進一步的，相鄰的高斯尺度空間相減得到高斯差分尺度空間(DOG scale-space)。檢測尺度空間極值時，目標像素需要和它同一尺度的相鄰8個點以及上下相鄰尺度對應的9*2個點共26個點進行比較，確定是否為極大值或極小值。從而可以確保在同一尺度空間和相鄰尺度空間都檢測到極值點。所得到的這些局部極值點就是SIFT的候選特徵點。第二步，精確定位極值點。針對所得到的SIFT候選特徵點,通過擬合三維二次函數精確定位關鍵點的位置和尺度。第三步，指定每個關鍵點的方向參數。利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數。最後，生成關鍵點的描述子。在以關鍵點為中心取其鄰域的窗口，用直方圖統計鄰域像素的梯度方向，進行歸一化後最終形成128維的SIFT特徵向量。生成特徵向量後，將特徵向量間的歐氏距離作為判斷關鍵點相似性的度量準則。由於SIFT算法是提取的是局部特徵點，因此具有紋理和邊緣信息比較豐富的圖像能提取到更多的特徵點。本申請實驗中所用圖像提取特徵點數如表一所示。
[0024]表1:各圖像提取特徵點數
[0025]
【權利要求】
1.一種基於SIFT特徵的二階段三維圖像壓縮編碼方法，其特徵在於:所述方法包括階段一和階段二兩個階段，其中，輸入三幅不同視點間同一時刻的圖像，記為C1, C2, C3，對視點C1和C3採用國際視頻編碼標準H.264的幀內編碼方法進行壓縮，對視點C2採用所述方法；階段一首先對視點C1和C2圖像提取SIFT特徵點並進行初步特徵點匹配，然後用RANSAC算法對提取的特徵點進行去誤匹配並求出視點C1到C2的變換矩陣H1 ；由視點C1的圖像和變換矩陣H1重構出參考圖像C21 ;同理由視點C3和C2求出變換矩陣H2和參考圖像C23 ;接下來分別將重構的參考圖像C21、C23與C2作相關性決策，選出與視點C2最相關的重建圖像C以及對應的變換矩陣H ;對變換矩陣H做定長編碼即形成了階段一的碼流；階段二是在階段一的基礎上，用視點C2與階段一中選出的重建圖像C相減得一個殘差，編碼殘差和變換矩陣H組成階段二碼流。
2.根據權利要求1所述的方法，其特徵在於，所述階段一為三維圖像編碼階段，具體步驟包括: 步驟一，檢測尺度空間極值點，二維圖像在不同尺度下的尺度空間表示由該圖像與高斯核卷積得到:
L(x, y, σ ) = G(x, y, σ )*Ι (χ, y) (I) 式中(x，y)代表圖像的像素位置，G(x，y，σ)為高斯函數，。稱為尺度空間因子，其值的大小則表徵該圖像相應的空間尺度的大小；公式(I)的卷積就得到了一個高斯尺度空間，進一步的，相鄰的高斯尺度空間相減得到高斯差分尺度空間，檢測尺度空間極值時，目標像素需要和它同一尺度的相鄰8個點以及上下相鄰尺度對應的9X2個點共26個點進行比較，確定是否為極大值或極小值，從而確保在同一尺度空間和相鄰尺度空間都檢測到極值點；所得到的這些局部極值點就是SIFT的候選特徵點； 步驟二，精確定位極值點，針對所得到的SIFT候選特徵點，通過擬合三維二次函數精確定位關鍵點的位置和尺度； 步驟三，指定每個關鍵點的方向參數，利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數； 步驟四，生成關鍵點的描述子，在以關鍵點為中心取其鄰域的窗口，用直方圖統計鄰域像素的梯度方向，進行歸一化後最終形成128維的SIFT特徵向量，生成特徵向量後，將特徵向量間的歐氏距離作為判斷關鍵點相似性的度量準則，由於SIFT算法提取的是局部特徵點，因此具有紋理和邊緣信息比較豐富的圖像能提取到更多的特徵點。
3.根據權利要求2所述的方法，其特徵在於:對所述基於SIFT特徵的階段一進行去誤匹配，同時求出不同視點間兩幅圖像的坐標轉換關係，即兩幅圖像之間的變換矩陣H，圖像間的坐標變換矩陣包含了兩幅圖像間的平移、旋轉和縮放關係，見公式(2)
4.根據權利要求1所述的方法，其特徵在於，所述階段二為三維圖像編輯階段，包括以下步驟: 步驟一將視點二的原始圖像與相關性決策中得到的最優的參考圖像做殘差，然後對殘差進行編碼傳輸； 步驟二解碼，在階段一解碼的基礎上加上解壓後的殘差，最終可以得到C2。
5.根據權利要求1所述的方法，其特徵在於:在步驟一中，殘差圖像主要是包含有邊緣信息，對殘差採用的H.264幀內編碼，殘差編碼的碼流和變換矩陣H編碼的碼流共同組成了階段二的碼流。
【文檔編號】G06T9/00GK103544717SQ201310500171
【公開日】2014年1月29日 申請日期:2013年10月22日 優先權日:2013年10月22日
【發明者】白慧慧, 陶文君, 劉美琴, 林春雨, 趙耀 申請人:北京交通大學長三角研究院