一種利用顯著邊緣進行圖像檢索的方法
2023-09-18 09:39:35 2
專利名稱：一種利用顯著邊緣進行圖像檢索的方法
技術領域：
本發明涉及一種利用顯著邊緣進行圖像檢索的方法，屬於計算機視覺、圖像理解以及模式識別等領域。適用於邊緣比較清晰的圖像，檢索邊緣容易獲取的圖像設計的。
背景技術：
自90年代以來，隨著計算機技術、多媒體技術以及網絡技術的飛速發展，越來越多的圖像出現在人們的日常生活中。圖像數據的爆炸性增長使得對圖像的管理和檢索成為關鍵。目前，許多圖像檢索方法都使用形狀來描述圖像的特徵。形狀是表徵物體的本質特徵之一，在很多情況下，人們往往單憑物體的形狀信息就能識別物體，這是形狀區別於其它視覺特徵如顏色、紋理等的關鍵所在。目前應用於圖像檢索中的形狀描述方法大致可以分為兩類基於圖像邊緣和基於區域。基於圖像邊緣的方法使用物體的邊緣信息描述和查詢圖像，這類方法適用於圖像邊緣較為清晰，較為容易獲取的圖像。基於區域的方法主要依靠區域內象素的顏色分布信息來描述圖像，這類方法對於區域能夠較為準確的分割出來、區域內顏色分布較為均一的圖像較為合適。
研究人員和技術人員提出了多種基於圖像邊緣的圖像檢索方法，但仍存在很多問題。方法1首先提取邊緣信息，每一條邊緣都用一個多邊形來近似，近似多邊形的頂點來代表圖像的形狀信息。此方法的缺點在於它要求邊緣曲線閉合，而對於一般圖像來說此要求很難達到。方法2一種形狀彈性匹配算法來進行圖像檢索，首先由人工指定感興趣區域，在這些區域中採用爬山優化算法獲取圖像邊緣，使用這些感興趣區域內的邊緣代表物體形狀。這種方法的優點是對邊緣進行了篩選，缺點是需要人工幹預，在圖像檢索中這往往不太現實。方法3使用草圖進行圖像檢索，在他們的工作中，圖像首先經過一系列的處理如尺度規格化、邊緣檢測、細化，然後簡單地將獲取的邊緣圖像和用戶的草圖根據模板進行匹配。方法4採用邊緣上的拐角點描述形狀，其一、在拐點的基礎上進行仿射變換，利用仿射不變特徵來代表形狀。其二、採用邊緣點的相位直方圖來刻化圖像形狀特徵。其三、提出一種曲率尺度空間方法來描述形狀，它對於每一條邊緣曲線進行不同尺度下的高斯平滑，在每一尺度下提取曲率較大的點，選取在多尺度下生存時間最長的點來描述邊緣曲線。上述的幾種方法的共同缺點是僅考慮了特殊的邊緣點的信息，而這些邊緣點並不能很好地刻畫物體的形狀。方法5一種基於邊緣的結構特徵來描述形狀，它使用「灌水i±(Water-Filling)算法抽取邊緣曲線，每一條邊緣曲線用一些結構特徵如灌水時間、叉點個數、叉點直方圖等來表示，而整幅圖像的形狀特徵用幾個「特殊」邊緣曲線如叉點最多邊緣、灌水時間最長曲線等來刻化。這種方法的優點是利用了邊緣曲線的結構信息而非單個邊緣點信息來表示形狀，其缺點是僅僅使用個別的邊緣曲線，這些邊緣曲線往往因為噪聲或提取邊緣過程的誤差而不準確，這將會降低檢索的準確率。方法6一種基於傅立葉分析的方法，該方法首先獲得一個能夠描述形狀的特徵函數，如基於曲率的特徵函數或基於半徑的特徵函數。然後對此特徵函數作離散傅立葉變換，使用變換後的傅立葉係數作為形狀特徵來檢索圖像。這種方法對邊緣點位置的微小變化和噪聲相當敏感，因此，在實際檢索中並不能取得很好的效果。方法7三角形劃分，首先選取圖像邊緣上的角點作為特徵點，然後使用Delaunay三角形進行劃分，可以記錄三角形的形狀特徵來描述圖像的形狀特徵。這種方法由於也基於邊緣上的一些特殊點，所以也對於噪聲和點位置的變化較為敏感。
目前已有的依靠邊緣信息描述圖像形狀進而檢索圖像的方法具有以下兩個主要的缺陷其一、在利用邊緣提取形狀信息之前對邊緣不進行分析和選擇，大多數算法使用了圖像中的所有邊緣。圖像檢索的目的是為了搜索出相似的圖像，而在實際處理中，由於邊緣提取的不準確性和噪聲的影響，並不是所有的邊緣都會對描述圖像形狀和圖像匹配產生積極作用；其二、在度量圖像間的相似性時，採用了簡單的「一對一」匹配策略。這種匹配策略計算相當簡單，但是由於噪聲的影響和邊緣提取的不準確往往會使得抽取出的最長灌水時間邊緣和最多叉點邊緣不準確，直接導致誤匹配的出現，從而影響檢索的準確率。
發明內容
為避免現有技術的缺陷，本發明在系統地研究了基於邊緣的形狀特徵的描述方法，及形狀特徵在圖像檢索中的應用，提出了一種基於顯著邊緣的圖像檢索方法。與其它的方法不同，我們認為最能夠代表形狀應當是的圖像中的顯著邊緣，並且設計了一個獨立邊界自增強的算法來提取圖像中的顯著邊緣。然後，我們使用三個特徵來描述每一條顯著邊緣，進而形成圖像的特徵矢量。在度量圖像間的相似度時，我們沒有採用傳統的「一對一」匹配準則，而是用了一種「多對多」的匹配準則，其目的是為了減少因為圖像邊緣提取不準對檢索造成的不良影響。大量的實驗證明，本發明所提出的方法相對於其它方法，具有優良的性能1、由於使用了顯著邊緣，剔除短小的邊緣，去掉了一個影響檢索準確率的不利因素。同時也減小計算量，提高檢索速度；2、採用「多對多」的匹配策略，能夠從一定程度上減小邊緣不準確的影響。
本發明的基本思想是對描述圖像特徵的邊緣有所選擇，採用顯著邊緣。它們對於尺度縮放、噪聲、邊緣提取不準確等都有一定的魯棒性。顯著邊緣是指圖像中視覺強度較大且長度較長的的邊緣，其特徵在於首先對查詢圖像進行邊緣檢測和細化，獲取邊緣圖；其次，使用獨立邊緣自增強方法，通過對邊緣點反覆地隨即啟發式搜索及增強，挑選出圖像中的顯著邊緣；然後，對於每一條顯著邊緣使用三個典型特徵，叉點率、轉動頻率和角點率來描述，進而生成圖像的特徵矢量；接著，在匹配時採用綜合顯著邊緣匹配的方法度量圖像間的相似程度；最後，根據相似度排序，輸出相似圖像集合。
獨立邊緣自增強是將獨立的邊緣點連接成邊緣曲線，並對獲取的邊緣曲線進行適當的處理，為後續的顯著邊緣選擇提供便利。該方法是以邊緣的強度信息作為引導度量，通過反覆的隨機啟發式搜索獲得各種可能的圖像邊緣，然後利用積累器對每一條獨立邊緣進行自增強，這樣就使圖像中的顯著邊緣得到了很大的增強，最後利用增強後的結果就很容易的選擇到顯著邊緣。獨立邊界自增強方法的最大優點是邊緣增強的幅度與自身的顯著程度成正比，因此，增強後的結果更有利於顯著邊緣的選擇。此外，由於多次的隨機啟發式搜索使得提取邊緣的過程受噪聲影響較小。
由於Canny算子具有良好的定位和細化性能，所以本發明中的邊緣檢測採用Canny算子。邊緣檢測後的圖像稱之為邊緣圖(Edge map)，圖中每一點的亮度代表了其邊緣強度，亮度越大意味著邊緣強度越大，可以發現灰度在局部發生突變的象素點。
圖像特徵矢量的生成對於每一條顯著邊緣，採用三個典型特徵，叉點率、轉動頻率和角點率來描述。
叉點率邊緣曲線的分叉點數目可以很好地衡量邊緣的結構複雜程度。將每一條顯著邊緣對應到原始的邊緣圖中，沿著顯著邊緣的端點，進行「灌水」，定義分叉點數為當水流沿著邊緣流動時分叉的總次數。則該條顯著邊緣的叉點率為分叉的總次數/它的長度。對於顯著邊緣來說，它的叉點率越高說明它的結構越複雜。
轉動頻率曲線的轉動頻率是用來描述邊緣的彎曲程度。每一條顯著邊緣的轉動頻率為該邊緣發生轉動的總次數/它的長度。轉動頻率越高表示此邊緣曲線彎曲程度越大。
角點率拐角點頻率用來衡量邊緣曲線的平滑程度。拐角點是邊緣曲線上的一類重要的特殊點，拐角點越多說明邊緣走向在局部變化越劇烈，邊緣在整體上越不平滑。每一條顯著邊緣的角點率為拐角點數目/它的長度。
規定在小範圍的曲線段中，只能存在一個拐角點。
確定了每一條顯著邊緣的原始特徵後，就得到一個圖像的顯著邊緣集合，也就得到圖像特徵矢量。
由於採用叉點率、轉動頻率和角點率作為描述圖像的原始特徵，從曲線的結構複雜程度、彎曲程度和平滑程度三方面刻畫了曲線特徵，計算相當簡單。這三個原始特徵對於平移和旋轉都不敏感，即滿足平移和旋轉不變性。至於尺度不變性，這對於用來進行圖像檢索的特徵矢量來說是相當難滿足的，由於我們的三個原始特徵均使用了比率，所以能夠滿足形狀描述子應當刻畫圖像特徵準確、算法簡單、易操作，還應當對旋轉、平移、尺度縮放具有不變性這一性質。
在圖像匹配時，圖像之間的相似度一般由對應特徵矢量之間的距離來度量，最終，距離最小的圖像集合認為是相似圖像。本發明關於圖像匹配提出的綜合顯著邊緣匹配方法沒有採用傳統的「一對一」匹配，而是放鬆了對於匹配的嚴格要求，它採用了一種「多對多」的匹配方案，一幅圖像的一條顯著邊緣允許同另一幅圖像的多條顯著邊緣相匹配，具體的匹配策略依靠兩個準則來約束，即重要度滿足準則和最相似最先匹配準則。圖像間最終的相似度由所有有效匹配來決定。此方法的突出優點是減小了因邊緣提取不準確造成的誤匹配，能夠一定程度地提高檢索準確率。
圖1本發明方法的基本流程2用系統進行舉例查詢的例子圖3用系統進行舉例查詢的例子
(a)一幅用戶手繪的草圖(b)根據用戶手繪草圖檢索的結果
具體實施例方式現結合附圖對本發明作進一步描述根據本發明提出的基於顯著邊緣的圖像檢索方法，我們用C++語言實現了一個圖像檢索的原型系統。目前，我們的圖像資料庫中共有4500幅圖像，這些圖像包括建築物、風景、商標、圖標、人臉等。圖像的來源有網上下載、Corel stock photo library抽取、數位照相機拍攝和Yale research Lab face database。我們圖像資料庫中的圖像均為灰度圖像且邊緣都較為清晰。
假設一個待查詢圖像Q，在圖像資料庫中檢索與Q相似的圖像I，即D(XQ，XI)≤t。上式中D是特徵矢量的距離函數，t是由用戶設立的閾值，XQ是圖像Q的特徵矢量，XI是圖像I的特徵矢量。兩幅圖像Q和I的相似程度可以用它們的特徵矢量XQ和XI的距離來表示，距離越小表示兩個圖像越相似。查詢的結果隨著閾值而變化，始終滿足與待查詢圖像的距離小於或等於閾值。用戶可也以直接要求系統輸出與待查詢圖像最類似的圖像集合，如輸出與待查詢圖像距離最近的20幅圖像。
首先對圖像Q進行邊緣檢測和細化，獲取邊緣圖。然後用獨立邊緣自增強方法即通過對邊緣點反覆地隨即啟發式搜索及增強，挑選出圖像中的顯著邊緣。計算每一條顯著邊緣的叉點率、轉動頻率和角點率。假設一條顯著邊緣Ci，它的長度為li，由「灌水」算法計算出的分叉點數目為fci。則Ci的叉點率fri＝fci/li；轉動頻率rfC＝rnT/li，其中rnT為邊緣顯著邊緣Ci發生轉動的總次數；當它的拐角點數目為cni時，則拐點率cfi＝cni/li。
確定了每一條顯著邊緣的原始特徵後，我們就可以得到圖像的特徵矢量。根據圖像Q的顯著邊緣集合C＝{c1，c2，...，ci，...，cV，}，用f1，f2，...，fi...，fV分別表示顯著邊緣c1，c2，...，ci，...，cV的特徵，則有f1＝(fr1，rf1，cf1)，f2＝(fr2，rf2，cf3)，...，fi(fri，rfi，cfi，...，fL＝(frV，rfV，cfV)於是，圖像Q的特徵矢量 為fQ=[f1.f2,...fi,...fV].]]>進行圖像匹配，採用綜合顯著邊緣匹配方法，一幅圖像的一條顯著邊緣允許同另一幅圖像的多條顯著邊緣相匹配的「多對多」的匹配方案進行圖像匹配。圖像Q的特徵矢量 為fQ=[f1.f2,...fi,...fV],]]>那麼圖像Q』的特徵矢量fQ』為fQ』＝[f1』，f2』，...，fj』...，fV]』。以對應特徵矢量之間的距離來度量，最終，距離最小的圖像集合認為是相似圖像。
本發明所實施的系統支持用戶進行兩種查詢舉例查詢(Query by example)和草圖查詢(Query by sketch)。舉例查詢是指由用戶提供一個待查詢圖像，由系統自動輸出與之相似的若干幅圖像，相似圖像的數目可以由用戶指定，範圍在0到100之間。草圖查詢是指由用戶畫出一幅草圖提交給系統查詢，同樣地，用戶可以指定系統輸出若干數目的相似圖像。在查詢過程中，用戶可以通過「雙擊」系統的輸出圖像來查看它的尺寸、來源等相關信息，用戶也可以以某一幅查詢結果圖像作為例子圖像進行新的查詢。
圖2給出了本章檢索系統進行舉例查詢結果較好的一個例子，圖像左上角的第一幅圖像為查詢圖像，打「√」的表示正確的檢索結果，而打「×」的表示錯誤的檢索結果。圖3給出了一個本章檢索系統進行草圖查詢結果較好的一個例子，(a)中顯示的圖像是用戶手繪的草圖，(b)中的圖像是檢索的結果。
從實驗結果看出本方法提取的顯著邊緣比較符合人的主觀判斷；相對於其它方法檢索準確率較高；由於使用了顯著邊緣和「多對多」的匹配策略，因此具有較高的檢索準確率。
權利要求
1.一種利用顯著邊緣進行圖像檢索的方法，其特徵在於首先對查詢圖像進行邊緣檢測和細化，獲取邊緣圖；其次，使用獨立邊緣自增強方法，通過對邊緣點反覆地隨即啟發式搜索及增強，挑選出圖像中的顯著邊緣；然後，對於每一條顯著邊緣使用三個典型特徵，叉點率、轉動頻率和角點率來描述，進而生成圖像的特徵矢量；接著，在匹配時採用綜合顯著邊緣匹配的算法度量圖像間的相似程度；最後，根據相似度排序，輸出相似圖像集合。
2.根據權利要求1所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於獨立邊緣自增強方法以邊緣的強度信息作為引導度量，通過反覆的隨機啟發式搜索獲得各種可能的圖像邊緣，然後利用積累器對每一條獨立邊緣進行自增強，最後利用增強後的結果就很容易的選擇到顯著邊緣。
3.根據權利要求1所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於綜合顯著邊緣匹配方法，採用了一種「多對多」的匹配方案，一幅圖像的一條顯著邊緣允許同另一幅圖像的多條邊緣相匹配；具體的匹配策略依靠兩個準則來約束，即重要度滿足準則和最相似最先匹配準則，圖像間最終的相似度由所有有效匹配來決定。
4.根據權利要求1所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於邊緣檢測採用Canny算子。
5.根據權利要求1所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於將每一條顯著邊緣對應到原始的邊緣圖中，沿著顯著邊緣的端點，進行「灌水」，定義分叉點數為當水流沿著邊緣流動時分叉的總次數，則該條顯著邊緣的叉點率為分叉的總次數/它的長度。
6.根據權利要求1所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於每一條顯著邊緣的轉動頻率為該邊緣發生轉動的總次數/它的長度。轉動頻率越高表示此邊緣曲線彎曲程度越大。
7.根據權利要求1所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於每一條顯著邊緣的角點率為拐角點數目/它的長度。
8.根據權利要求7所述的一種利用顯著邊緣進行圖像檢索的方法，其特徵在於規定在小範圍的曲線段中，只能存在一個拐角點。
全文摘要
本發明涉及一種利用顯著邊緣進行圖像檢索的方法，適用於邊緣比較清晰的圖像。基本思想是對描述圖像特徵的邊緣有所選擇，採用顯著邊緣。其特徵在於首先對查詢圖像進行邊緣檢測和細化，獲取邊緣圖；其次，使用獨立邊緣自增強方法，通過對邊緣點反覆地隨即啟發式搜索及增強，挑選出圖像中的顯著邊緣；然後，對於每一條顯著邊緣使用三個典型特徵，叉點率、轉動頻率和角點率來描述，進而生成圖像的特徵矢量；接著，在匹配時採用綜合顯著邊緣匹配的方法度量圖像間的相似程度；最後，根據相似度排序，輸出相似圖像集合。本方法相對於其它方法檢索準確率較高；由於使用了顯著邊緣和「多對多」的匹配策略，因此具有較高的檢索準確率。
文檔編號G06T7/60GK1570973SQ0313442
公開日2005年1月26日 申請日期2003年7月23日 優先權日2003年7月23日
發明者郭雷, 韓軍偉 申請人:西北工業大學