基於特徵的大幅面文化遺產圖像拼接方法

2023-05-31 19:04:51 2

專利名稱：：基於特徵的大幅面文化遺產圖像拼接方法
技術領域：
：本發明涉及圖像匹配、圖像拼接領域，設計和實現了一種基於特徵的大幅面文化遺產圖像拼接方法。
背景技術：
：圖像拼接技術在計算機圖形學、計算機視覺以及多媒體系統等領域中的應用日益廣泛。它可以把普通數位相機拍攝的多幅圖像拼接為一幅全景圖像，從而能真實地重現原有場景。因此，圖像拼接技術在需要大幅面圖像或大場景的文化遺產數位化保護、虛擬實境技術和遙感圖像處理方面都具有十分廣泛的應用前景。近年來，隨著計算機網絡技術的迅速發展和數位相機的普及，圖像拼接技術有了更大的應用價值，也成為學術界研究的一個熱點。目前，國外已經提出了多種針對不同應用條件的圖像拼接實現算法。但還沒有獲得一種效率高並且通用的圖像拼接方法。建立圖像拼接系統的關鍵技術包括圖像特徵提取、特徵匹配、圖像的融合這三個主要部分。其中圖像匹配部分，可以分為基於特徵的和直接匹配的兩類方法。直接匹配的方法易受雜點和區域最小值的影響，效率不高，已很少被使用。基於特徵的方法中，C.Harris和M丄Stephens提出了角檢測的方法，由於其特徵穩定、明顯，而且非常適用於文化遺產圖像內容多為人造建築、具有規則的幾何圖形的特點。在特徵匹配部分，傳統的拼接算法使用RANSAC方法。它能夠精確的篩選出匹配的特徵點，但在失配點所佔比例較大的情況下效率較低，影響了算法的效率。圖像融合部分中，消除鬼影現象是關鍵問題。解決鬼影現象的產生一般的方法是找到一條最佳拼合線。近年來，出現了許多具體的實現算法Uyttendade等人通過確定圖像中不同的ROD(RegionofDifference)區域，然後建立一幅包含有ROD頂點和邊緣的圖像，從而找到一條避開ROD的路徑。其它的尋找最優路徑法還包括Geman等人提出的模擬退火方法，還有圖像分割法等；但是這些方法的算法複雜度都較高，影響程序的效率。目前，由於全景圖像拼接技術的重大理論意義和實際應用價值，國外學術界一直重視對這一領域的研究。許多研究小組都建立了實驗系統，而且一部分研究成熟的成果也用於了商業軟體的開發中，如QuikTimeVR,SurroundVideo,Cool360,RealVR等商業軟體。此外，IEEE、ACM等學會組織也有相關的討論會。至今，仍有大量的論文提出了各種新的改進算法和針對於不同應用領域的算法，不斷的對圖像拼接技術進行深入研究。但是，要建立一套自動、高效、魯棒性強的圖像拼接算法還是一個難題。因此，研究如何改進圖像拼接的算法，提高算法效率和拼接效果，是一項很有意義的工作。
發明內容本發明的目的是提出一種基於特徵的大幅面文化遺產圖像拼接方法。使用這種方法效率較高，且能夠得到理想的拼接效果。本發明中根據文化遺產圖像的內容多為人造建築、包含幾何圖形的特點，採用Harris角點檢測的方法提取圖像中的角點作為圖像的特徵用於圖像間的匹配，可以精確、穩定的提取出圖像的特徵；特徵點的匹配直接關係到圖像的匹配是否成功，因此獲得匹配的特徵點成為一個關鍵問題。傳統的特徵點匹配算法在不匹配點較多的情況下匹配效率比較低，而圖像拼接中恰恰經常出現不匹配點較多的情況，本發明對此進行了深入研究並對傳統方法加以改進，利用匹配特徵點之間的特性，提出了使用聚類法預篩選特徵點的方法，從而大大提高了特徵點匹配的效率且保證了特徵點匹配的精確性。本算法還對圖像融合中的關鍵技術，消重影技術進行了深入分析和研究，並且提出了一種簡單有效的最佳路徑消鬼影與亮度權重函數法相結合的圖像融合方法，利用圖搜索的方法找到一條像素值差別較小的路徑作為圖像間的拼接線，即最佳路徑；然後把圖像轉換到HSI顏色空間，是用圖像的亮度分量對亮度進行融合，從而達到了消鬼影和使亮度平滑過渡的目的；相對於其它方法，此方法算法複雜度低，能達到較自然的融合效果。本發明的技術思路特徵為1.利用Harris角檢測的方法提取圖像內容的角點作為圖像特徵點(如圖1)。2.利用圖像間匹配特徵點之間所連直線斜率相同或相近的特性(見圖2)，使用聚類的方法預篩選特徵點。首先用直線斜率公式求出成對相關點的斜率，然後運用簡單聚類的方法以其中一個相關點斜率為中心，計算其小鄰域內包含其它斜率的數量，找到直線斜率的最大集合，即該鄰域內包含的斜率數量最多，則在該鄰域內生成直線的成對特徵點即為篩選出的預匹配點。3.根據產生鬼影現象的區域兩幅圖像間的像素差值較大的特性，使用最佳路徑的方法生成一條能夠避開差值較大區域的拼接路徑，此路徑上的像素差值是圖像中差值較小的(見圖3)。4.計算圖像間重疊區域的第一行所有相鄰像素的差值，找到差值最小的一點作為路徑的起始點。5.計算起始點左右和下方像素的差值，以差值最小的點作為路徑生成的端點。6.依次計算路徑端點上下左右七個方向上(除去路徑上的點)的像素差值。同時引入重力係數，以控制路徑生成的方向。由圖像間變換矩陣中的變量可以確定拼接的方向。以水平拼接為例，拼接路徑應為豎直方向，因此在計算路徑端點上方(包括左上和右上)像素差值時，乘以一個大於1的係數a,，同樣在計算端點左右方向上的像素差值時，也乘以一個大於l的係數32，ia2W(c)—a7>2(c)0.040.06當某點R大於設定的某一閾值T(TX))時，這點就是檢測出的特徵點；5)使用NCC(NormalizedCrossCorrelation)相關性算法計算圖像間特徵點的相關性，得到成對的相關特徵點；NCC相關性計算公式如下m:c(/,，/2)=.其中/,和/2為兩幅圖像的像素值；formulaseeoriginaldocumentpage9formulaseeoriginaldocumentpage10分別為圖像I,和l2以(x,y)為中心的AWV圖像窗內的像素均值，(x-Z,7:/)為圖像坐標，，We(3，ll);將NCC的相似度值歸一化在[-l,l]範圍內；6)使用聚類法預篩選成對的相關點，以減少不匹配點所佔比例。首先用直線斜率公式求出所有成對相關點的斜率，然後運用簡單聚類的方法以其中任一個斜率點為中心，計算其鄰域(力r)(r的取值範圍在0.01-0.05之間)內包含其它斜率的數量，找到直線斜率在鄰域(-r，"內的最大集合，則其在該鄰域內生成直線的成對特徵點即為篩選出的預匹配點；7)使用RANSAC(RANdomSAmpleConsensus)方法採用抽樣的方式提取四對相關的特徵點計算圖像變換矩陣，然後把圖像12的所有特徵點坐標變換到圖像L的坐標系中，計算其與圖像It中對應相關點的坐標誤差值(即兩點間距離)，如果小於門限值M，M的取值範圍為0.050.15，則認為這一對相關點是匹配的特徵點(稱為線內點)；按照如上方法繼續抽樣、計算線內點，直到線內點數量不再增加或者抽樣計算達到N次(N的取值範圍為100050000)則終止抽樣；8)利用圖像間成對的匹配特徵點計算八變量投影變換矩陣，使圖像按匹配位置拼合到同一圖像空間中；變換公式如下formulaseeoriginaldocumentpage10其中，H是投影變換矩陣，它是自相關的，hQo、h(u、hQ2、h1Q、h、h12、h20、1121為八個所求變量，X氣X，乂lf為圖像變換前原始輸入圖像的坐標，i=[i,;ir為經投影變換後圖像坐標。變換結果的自相關坐標i必須歸一化以得到非相關的結果X'-[x'/l]、formulaseeoriginaldocumentpage11其中，x，_y為原始圖像坐標，x',少'為變換後圖像坐標；9)再次判斷是否已知拍攝圖像的相機鏡頭焦距值；如已知焦距值則轉到11)，未知焦距值則進入下一步-，10)估計相機的焦距值。使用圖像12投影到圖像L的投影變換矩陣中&0、/2(H、/2。2、/21Q、/2n、/212這六個變量可以估計出相機的焦距值，公式如下formulaseeoriginaldocumentpage11其中，/c為計算所得焦距值；同樣，使用圖像I,投影到圖像12的投影變換矩陣中/2'0。、/2'。"//2、/2',。、/Z'H、12這六個變量可以估計出相機的焦距值，公式如下formulaseeoriginaldocumentpage11其中，力為計算所得焦距值；如果焦距值要適用於兩幅圖像的話，可以計算/c和力的幾何均值作為共同的焦距值/=;如果計算多幅圖像的焦距值，則用首先計算兩兩相鄰圖像的焦距值，然後計算這些焦距值的幾何均值作為共同的統一的焦距值；估計出焦距值後轉到步驟3)並繼續進行3)之後的步驟；11)生成最佳拼接路徑，消除鬼影現象；公式如下formulaseeoriginaldocumentpage11其中formulaseeoriginaldocumentpage11為重力係數，控制路徑的生成方向；P(x',y')即為生成的最佳路徑；具體方法為首先計算圖像L和12重疊區域的第一行相鄰像素值差值的平方，得到絕對值最小的點作為路徑的起始點，然後計算其與左右、左下、右下和正下方的相鄰像素差值的平方，找到下一差值平方最小點，作為路徑端點，再對此路徑端點周圍七個像素點計算像素差值平方，差值平方最小的點作為下一個端點，這樣計算下去，最終找到一條像素差值較小的拼接路徑。為了控制路徑的生成方向，使之達到重疊區域的另一端，生成一條完整的最佳路徑，算法中引入了重力係數h12)把圖像處理中RGB顏色空間的像素值轉換到HSI顏色空間，使用其中的亮度分量/，沿最佳路徑對兩幅圖像進行亮度融合使用權重函數公式對亮度分量進行融合其中，w是單調函數，一般取w(x)3，4x)為圖像W^l,2，3…)中融合點(x，力與融合範圍邊界在x軸上的距離，I"x)為融合點的亮度值，C(x)為融合後的亮度值；對亮度融合以後，再用HSI顏色空間與RGB顏色空間的公式轉換到RGB顏色空間內；13)輸出拼接結果圖。本發明的原理為通過對實際情況的考察，發現不匹配點所佔所有相關點中的比例，對篩選匹配點算法效率的影響很大。因此，根據匹配點之間所連直線斜率之相同或者相近的特性，用聚類的方法預先濾除一部分不匹配點，提高了數據的純度，從而極大的減少了傳統方法的迭代循環次數。經實驗證明，這種方法能夠達到預期的效果，提高了算法的篩選效率和魯棒性。在本發明中，考慮到在圖像融合時會產生鬼影現象，因此通過一種簡單有效的最佳路徑生成方法，避開了圖像重疊部分會產生鬼影現象的差值較大區域。在路徑的生成過程中，引入了重力係數，從而控制了路徑的生成方向，且能夠達到消除鬼影的目的。為了使圖像融合自然、消除圖像間亮度差異，本發明中又使用了亮度權重函數，在HSI顏色空間對圖像的亮度值進行融合。通過大量實驗證明，使用這種方法效率較高，且能夠得到理想的拼接效果。圖l是Harris角檢測實驗結果圖2(a)是圖像間連接直線實驗結果圖；(b)是聚類法篩選特徵點示意圖；圖3是最佳路徑生成方法示意圖；圖4是預篩選相關特徵點流程圖；圖5是本發明採用的方法的流程圖6是本發明拼接圖像的結果圖具體實施例方式在本實施例中，首先是讀入一組JPG或BMP格式的圖像序列，輸入的圖像序列需要相鄰圖像間有部分的重疊內容，從計算機中讀入圖像數據後，計算機將調用本發明中提到的方法來完成具體的拼接工作。具體實施中，在計算機中完成以下步驟第一步依圖像排列順序讀入圖像序列中的每幅圖像。第二步判斷用戶是否輸入了圖像焦距值。輸入了焦距值進入下一步，否則轉到第四步。第三步根據焦距值對每幅圖像進行柱面投影變換，把每幅圖像投影到圓柱平面上。第四歩使用Harris角點檢測的方法提取圖像中物體的角點作為特徵點；其具體為首先把彩色圖像轉換為灰度圖像，在高斯窗內計算圖像X軸方向和j4由方向的梯度值(一階偏導數)y;和y;，然後使用以下公式計算C矩陣—〃y其中G(力為5x5像素大小的高斯窗函數；下一步計算角函數/，其閾值取TMOOOO，係數《=0.06:formulaseeoriginaldocumentpage13第五步按順序對相鄰圖像間的特徵點進行NCC相關性計算，得到相關的成對特徵點。formulaseeoriginaldocumentpage13formulaseeoriginaldocumentpage14分別為圖像I,和12以(x,y)為中心的AWV圖像窗內的像素均值，&-/，>^)為圖像坐標，，WE(3，11);NCC的相似度值被歸一化在[-l,l]範圍內；第六步計算相鄰圖像間相關點所連直線的斜率值，使用聚類的方法以任一斜率點為中心計算鄰域(-r，r)內包含其它斜率的數量，如圖2(b)所示，選出斜率的最大集合作為預篩選的相關特徵點。鄰域半徑r的選擇根據大量實驗得到的經驗值為0.02。第七步使用RANSAC方法精確篩選出匹配的特徵點隨機抽取四對相關特徵點計算圖像變換矩陣，然後把圖像12的所有特徵點坐標變換到圖像I,的坐標系中，計算其與圖像Ii中對應相關點的坐標誤差值(即兩點間距離)，如果小於門限值M(此處A/^0.1)，則認為這一對相關點是匹配的特徵點(稱為線內點)；按照如上方法繼續抽樣、計算線內點，直到線內點數量不再增加或者抽樣計算達到10000次則終止抽樣。第八步使用匹配的特徵點求出圖像間的八變量投影變換矩陣，把圖像按照匹配位置變換到新開闢的拼接結果圖像空間。第九步判斷是否已知圖像焦距值，如果已知轉入第十一步，未知則轉入下一步。第十歩使用已經求出的投影變換矩陣中的變量，按照相機焦距估計的公式計算圖像間焦距的估計值，求得所有焦距值後，計算幾何平均值作為總的焦距值。使用圖像l2投影到圖像Ii的投影變換矩陣中^0、A(h、/2。2、h。、Ah、/^2這六個變量可以估計出相機的焦距值，公式如下formulaseeoriginaldocumentpage14其中，A為計算所得焦距值；同樣，使用圖像I,投影到圖像l2的投影變換矩陣中/2'(X)、//(、/2'2、/2'h)、/7'U、//12這六個變量可以估計出相機的焦距值，公式如下其中，力為計算所得焦距值；如果焦距值要適用於兩幅圖像的話，可以計算/o和^的幾何均值作為共同的焦距值y^V7I;如果計算多幅圖像的焦距值，則用首先計算兩兩相鄰圖像的焦距值，然後計算這些焦距值的幾何均值作為共同的統一的焦距值；估計出焦距值後轉到步驟三並繼續進行三之後的步驟；第十一步計算重疊區域第一行的像素差值的平方，找到差值平方最小的點作為最佳路徑的起始點。第十二步計算起始點與其左右及下方像素的差值的平方，找到下一差值平方最小的點作為最佳路徑的端點。在計算端點周圍除路徑點其它七個方向上的像素差值平方，並且按照拼接方向，對差值乘以大於1的重力係數，依此方法使路徑生長，最終得到最佳路徑。14)第十三步以最佳路徑為中心，取30像素寬的像素值，變換到HSI顏色空間，提取亮度分量，使用權重函數公式對亮度分量進行融合，再變換回RGB顏色空間。輸出拼接結果圖像。為了檢驗本發明所提出的方法的性能，給出本發明經過預篩選特徵點後與傳統算法只使用RANSAC算法的比較，以及融合以後的拼接效果圖(見圖6)。在實驗中，採用20對圖像對預篩選的效果進行試驗，實驗條件如下主機為P42.8CPU,512M內存。實驗結果如表l，從實驗結果中可以看出，在最終匹配點基本不變的情況下，經過預篩選濾除的不匹配點平均達到69.83%，預篩選算法和RANSAC算法程序執行所用時間與原算法相比減少97.45%，RANSAC算法經預篩選後與原來相比迭代次數平均減少92.87%。因此，可以看出聚類法預篩選相關點的算法簡單，效率較高，解決了RANSAC算法在大量不匹配點下迭代次數過多的缺點，極大地提高了算法的效率。由圖6的實驗結果可以看出，通過最佳路徑的方法，在圖像融合時避開了鬼影區域，然後通過亮度融合使圖像過渡自然，使圖像在融合區域達到了較為理想的融合效果。相對於其他的融合方法，這種方法效果理想、效率高，非常適合用於實際的拼接系統中。表l:實驗結果比較tableseeoriginaldocumentpage16權利要求1、基於特徵的大幅面文化遺產圖像拼接方法，包括下述步驟1)按圖像排列順序讀入一組待拼接圖像；2)判斷是否已知所有拍攝圖像的相機鏡頭焦距值；已知焦距值進入下一步，未知焦距值轉到4)；3)以焦距值為半徑，用柱面投影的公式，把每幅圖像投影到圓柱平面上；其特徵在於採用角點檢測的方法提取每幅圖像中的角點作為圖像的特徵用於圖像間的匹配；使用聚類的方法預篩選圖像間的相關點；使用最佳路徑與亮度權重函數相結合的方法融合拼接圖像，以消除重影現象和亮度不連續現象；4)使用Harris角點檢測的方法提取圖像中物體的角點作為特徵點；其具為首先把彩色圖像轉換為灰度圖像，在高斯窗內計算圖像x軸方向和y軸方向的梯度值fx和fy，然後使用以下公式計算C矩陣全文摘要基於特徵的大幅面文化遺產圖像拼接方法，涉及圖像匹配、圖像拼接領域。具有以下處理步驟1)針對文化遺產圖像的特點，採用角點檢測的方法提取圖像中的角點作為圖像的特徵用於圖像間的匹配；2)計算相鄰圖像匹配點間所連直線斜率，利用斜率相同或相近的特點，使用聚類的方法預篩選圖像間的相關點；3)使用最佳路徑的方法生成一條像素差值較小的拼接路徑，以避開像素差異較大區域，達到消鬼影的目的；4)使用HSI顏色空間中的亮度分量，按照拼接路徑運用權重函數公式對亮度進行融合。本發明所提供的方法與其他圖像拼接的方法相比，能夠大幅度提高圖像拼接的速度，消除圖像的亮度差異並且消除拼接中經常出現的鬼影現象，達到理想的拼接結果。文檔編號G06T5/50GK101110122SQ20071012118公開日2008年1月23日申請日期2007年8月31日優先權日2007年8月31日發明者媛張,賈克斌,高冠東申請人:北京工業大學