基於邊緣方向差特徵袋的圖像檢索方法與流程

2023-09-23 12:13:35

本發明屬於圖像處理技術領域，涉及基於內容的圖像檢索方法，具體是一種基於邊緣方向差特徵袋的圖像檢索方法，應用於實時人機互動、圖像檢索和分類等領域。

背景技術：
近幾年來，計算機多媒體技術的發展突飛猛進，多媒體信息系統超越了傳統的資料庫系統，將各種非文本數據，如數位化的聲音、圖像和視頻圖像等集合於系統之中，用計算機進行處理，並通過計算機網絡傳輸，極大地方便了人們對多方位、多層次的信息需求。那麼，如何根據圖像可視特徵進行更加直接的快速檢索就成為信息領域面臨的重要課題。信息的快速應用需要一種能快速、準確地查找圖像的技術，即圖像檢索技術。圖像檢索的研究也是近幾年逐漸受到各方面重視，最初的檢索方法是用與圖像內容有關的文字對圖像進行說明和注釋，檢索時使用傳統的數據檢索方法，根據關鍵詞提問和查找所需要的圖像。這種方法是比較直接和有效的，並且直到目前也仍在使用。但在大型的圖像資料庫中進行複雜圖像檢索時，這種方法即表現出速度慢、效率低和提問範圍過於狹窄等不足。基於內容的圖像檢索由於是根據圖像的可視特徵檢索，能滿足多種層次的檢索要求，目前已成為圖像檢索研究的新熱點，並顯露出必將成為圖像檢索的主流方法的發展趨勢。圖像檢索技術實用性強且應用廣泛，它涉及到當今社會和人們日常生活的方方面面。圖像檢索有著廣闊的應用前景，目前主要應用於以下領域：數字圖書館、醫療診斷、軍事、地理與遠程遙感、圖像分類、WEB相關應用、版權保護、公共安全和犯罪調查等等。上海交通大學提出的專利申請「基於視覺詞組的圖像檢索方法」(專利申請號201110205412.5，公開號CN102254015A)公開了一種基於視覺詞組的圖像檢索方法，該方法包括：首先對標準圖像和待檢索圖像分別提取顯著性區域，並在顯著性區域中提取特徵描述子，然後對標準圖像庫中的特徵描述子採用隨機kd樹進行聚類，接著將標準圖像和待檢索圖像的特徵描述子分別通過視覺詞組進行表示，並根據標準圖像的視覺詞組創建二維倒排索引，最後將由視覺詞組表示的待檢索圖像的特徵描述子在二維倒排索引中進行相似性搜索以及空間幾何關係度量，給出最終檢索結果。該方法雖然利用圖像的視覺詞組創建二維倒排索引和空間幾何關係度量相結合進行相似性搜索，提高了實時檢索的準確率，但是在應用於大型圖像資料庫時，由於各類圖像的空間幾何關係度量繁雜，降低了圖像的檢索效率，導致返回檢索結果集的回調率和檢索率不高。北京大學提出的專利申請「基於視覺詞語空間共生性的圖像檢索方法」(專利申請號201210199158.7，公開號CN102799614A)，公開了一種基於視覺詞語空間共生性的圖像檢索方法。該方法包括以下步驟：統計訓練資料庫中任意兩個視覺詞語之間共生的概率，構建視覺詞語共生表；提取輸入的查詢圖像的尺度不變特徵；在尺度不變特徵中隨機選擇部分特徵作為中心特徵，對中心特徵做精確映射；並在中心特徵的仿射不變區域內統計其近鄰特徵；根據視覺詞語共生表和精確映射的結果，利用高階概率預測器為近鄰特徵預測候選視覺詞語；比較候選詞語與尺度不變特徵之間的距離，確定最優的視覺詞語，進而進行圖像檢索。該方法雖然利用了視覺詞語共生表和精確映射來提取最優視覺詞語表徵圖像，提高了圖像檢索的準確率，但是應用於大型圖像資料庫時，視覺詞語數量快速增加，再應用高階概率預測器時會大大增加時間計算複雜度，導致圖像檢索的速度和效率降低。上述兩個文獻在技術領域內和本發明是相近的，但是共同存在的問題就是圖像檢索的準確率、回調率和速度較低，應用於大型圖像資料庫時檢索效率的魯棒性較差。

技術實現要素：
本發明針對上述現有技術的不足，提出一種基於邊緣方向差特徵袋的圖像檢索方法，實現快速準確的實時人機互動，提高了圖像資料庫較大時候檢索的速度、準確率和回調率。實現本發明的思路是：首先通過方向可調濾波器和邊緣方向預測快速提取圖像的邊緣顯著點鄰域內的邊緣方向差特徵，該特徵對於圖像旋轉、光照和尺度具有魯棒性，然後通過對訓練圖像的所有邊緣像素點的方向差特徵進行聚類得到方向差特徵袋字典，該字典可以應用於各種圖像檢索情況，具有典型性，對檢索圖像和待檢索圖像基於特徵袋字典計算隸屬度編碼直方圖特徵，最後進行相似性匹配得到檢索結果，本發明可以應用於各種檢索情況，並且提高了檢索的速度、準確率和回調率。具體實現步驟包括如下：步驟1：輸入檢索的彩色圖像，即將要查詢的圖像，該檢索圖像可以是人為自主選擇的圖像，包括從網絡中獲得的圖像，也可以是資料庫中隨機選取的圖像。步驟2：對輸入的檢索圖像灰度變換，通過方向可調濾波器進行處理，選取二維高斯函數為濾波器核函數，選取合適的濾波器滑動窗口大小，計算圖像在X和Y方向上分別與一階高斯核函數方向導數的卷積得到每個像素點2L個方向上的能量函數Wσ(x，y，θ)，L表示方向的個數，x和y表示像素點的坐標值，σ為濾波器尺度參數，θ為方向的值，範圍是0～2π，取值間隔為π/L，例如0，π/6，...，2π，每個像素點2L個方向上的能量函數Wσ(x，y，θ)即為對檢索圖像濾波的結果。步驟3：通過方向濾波的結果提取該檢索圖像的邊緣像素點：3a)以灰度圖像中的每個像素點為中心點，通過對其與相鄰像素的灰度差異分析，在每個邊緣可能出現的方向θ上計算每個像素點的灰度差異值Pd(x，y，θ)，其中d為圓形鄰域半徑，d的值為4σ。3b)對於灰度圖像中每個像素點，統計從其每個邊緣可能出現的方向θ開始，旋轉π角度，計算其π角度內L個方向上灰度差異值Pd(x，y，θ)的向量和值Mθ(x，y)，並選取對應於所有邊緣可能出現的方向上，當Mθ(x，y)取得最大值時的邊緣可能出現的方向θ為該像素點的邊緣起始方向Θ(x，y)。3c)根據灰度圖像中每個像素點邊緣方向的能量函數Wσ(x，y，θ)進行模值計算得到每一個像素點2L個方向上的能量值A(x，y，θ)。3d)根據灰度圖像每一個像素點的能量值A(x，y，θ)從其邊緣起始方向Θ(x，y)開始，旋轉π角度，在其π角度內L個方向上對於A(x，y，θ)進行向量求和計算得到圖像中每個像素點邊緣主方向向量該主方向向量的幅值即該像素點的邊緣能量值amp(x，y)，該主方向向量的方向即該像素點的邊緣主方向φ(x，y)。3e)通過對灰度圖像每一個像素點的主方向向量的方向φ(x，y)和幅值amp(x，y)進行閾值判斷提取圖像的邊緣像素點，選取一個3*3大小的窗遍歷每個像素點，計算該像素8鄰域內的像素點是否滿足方向閾值Tp和能量閾值Ta，如果8鄰域內存在至少一個像素點邊緣方向與中心像素點相反，即該像素點與中心像素點邊緣主方向的差值在方向閾值Tp範圍內，且該像素點與中心像素點邊緣能量值均大於能量閾值Ta，則該中心像素點確定為圖像邊緣像素點，其中Tp的取值為一範圍5π/6～7π/6，Ta取值為2.5σ。步驟4：根據檢索圖像的邊緣像素點提取原檢索彩色圖像的所有邊緣像素點的邊緣方向差特徵，圖像每一個邊緣像素點均對應一個邊緣像素點的邊緣方向差特徵，得到該圖像每一個邊緣像素點的紅色-R、綠色-G和藍色-B三個通道的邊緣方向差特徵hstr(e)、hstg(e)和hstb(e)，e表示該圖像的第e個邊緣點，e＝1，2，...，E，E為檢索圖像所有邊緣像素點的總數。步驟5：在待檢索圖像資料庫中對於每類圖像隨機選取l張圖像組成訓練圖像資料庫，從訓練圖像資料庫中提取一幅訓練圖像執行步驟2-步驟4進行每一張圖像所有邊緣像素點的邊緣方向差特徵提取，遍歷訓練圖像資料庫中的所有圖像，圖像所有邊緣像素點的邊緣方向差特徵在三個顏色通道內依次為tstr，m(om)、tstg，m(om)和tstb，m(om)，通過把全部訓練圖像的邊緣像素點的邊緣方向特徵進行聚類計算得到特徵袋字典，m＝1，2，...，M，M為訓練圖像資料庫大小，om表示第m張訓練圖像的第om個邊緣像素點，om＝1，2，...，Om，Om為第m張訓練圖像所有邊緣像素點的總數。步驟6：對全部訓練圖像的所有邊緣像素點的紅色-R通道的邊緣方向差特徵tstr，m(om)，通過K-means聚類計算，取K個聚類中心得到紅色-R通道的w行、K列的二維特徵袋字典Dicr，K為K-means聚類中心的個數，即特徵袋字典的大小，同樣的方法在綠色-G通道和藍色-B通道內，分別對tstg，m(om)和tstb，m(om)執行紅色-R通道同樣的計算分別得到綠色-G通道w行、K列的二維特徵袋字典Dicg和藍色-B通道的w行、K列的二維特徵袋字典Dicb。步驟7：對於檢索圖像通過步驟6得到的特徵袋字典Dicr、Dicg和Dicb進行編碼計算得到檢索圖像的基於方向差特徵袋字典的隸屬度編碼直方圖特徵X，編碼直方圖特徵X包含了紅色-R、綠色-G和藍色-B三通道的編碼直方圖特徵。步驟8：從圖像總數大小為S的待檢索圖像資料庫中提取一幅待檢索圖像執行步驟2-步驟4進行每一張圖像所有邊緣像素點的邊緣方向差特徵提取，圖像所有邊緣像素點的邊緣方向差特徵在三個顏色通道內依次為hst′r，i(e′i)、hst′g，i(e′i)和hst′b，i(e′i)，然後執行步驟7得到每一張待檢索圖像基於方向差特徵袋字典的編碼直方圖特徵X′i，遍歷圖像資料庫中的所有圖像，i＝1，2，...，S，S為待檢索圖像總數，e′i表示第i張待檢索圖像的第e′i個邊緣像素數，e′i＝1，2，...，E′i，E′i為第i張待檢索圖像所有邊緣像素點的總數。步驟9：把檢索圖像和待檢索圖像進行基於方向差特徵袋字典的編碼直方圖特徵的相似性匹配，計算檢索圖像的編碼直方圖特徵X和待檢索圖像的編碼直方圖特徵X′i的2範數相似性距離得到Disi(X，X′i)。步驟10：對於每幅待檢索圖像按照其Disi(X，X′i)的值進行從小到大的順序排列，顯示其中前n張圖像即為基於邊緣方向差特徵袋的圖像檢索結果，i＝1，2，...，S，S為待檢索圖像總數，n為返回檢索圖像數目，取值為人為自主確定的正整數。隨著人們對於圖形、圖像等多媒體數據的需求越來越強烈，圖像檢索技術的應用已經涉及到當今社會和人們日常生活的方方面面。當前圖像檢索主要致力於解決圖像資料庫較大時速度、準確率和回調率較低的問題。本發明主要通過提取圖像邊緣像素點的方向差特徵，該特徵基於圖像的邊緣顯著點，該特徵對於圖像尺度、光照和旋轉變化時具有魯棒性，然後通過訓練圖像聚類得到字典，對檢索圖像和待檢索圖像通過字典進行基於隸屬度的編碼，提取了圖像的高層語義特徵，使得特徵更有典型性。本發明在應用於實時人機互動和大型圖像資料庫時，提高了檢索的速度、準確率和回調率，在實際應用中有效地解決了當前圖像檢索領域現存的問題，有一定的技術和實用價值。本發明的實現還在於：步驟4中根據檢索圖像的邊緣像素點提取原檢索彩色圖像的所有邊緣像素點的邊緣方向差特徵，包括以下步驟：4a)在計算圖像的邊緣方向差特徵的時候，為了提高計算效率，把邊緣主方向φ(x，y)的範圍由原來的0～2π轉化為0～π，在圖像特徵處理中，圖像的邊緣方向特徵在0～2π範圍上是對稱的，θ和θ+π表示的邊緣方向所代表的邊緣方向特徵是一樣的。4b)以原彩色圖像中每一個邊緣像素點為中心設定一矩形鄰域，大小為13*13，計算鄰域內所有像素點和中心像素點邊緣主方向的方向差Pa(x，y)和分別在紅色-綠色-藍色RGB三通道內的像素值差Apr(x，y)、Apg(x，y)和Apb(x，y)；4c)在原彩色圖像中每一個邊緣像素點鄰域內，在紅色-R通道內，以Apr(x，y)為x軸，將x軸等距劃為u個小區間，以Pa(x，y)為y軸，將y軸等距劃為v個小區間，u和v取值為正整數，統計該鄰域內所有像素點落在每個小區間的像素點數目作為z軸，在紅色-R通道內得到一個三維立體直方圖，進行矩陣變換得到w(u*v)維列向量，歸一化得到該邊緣像素點R通道方向差特徵hstr(e)，同樣的方法在綠色-G通道和藍色-B通道內，分別以Apg(x，y)和Apb(x，y)為x軸，執行紅色-R通道同樣的計算分別得到該像素點的G通道方向差特徵hstg(e)和B通道方向差特徵hstb(e)，e表示該圖像的第e個邊緣點。步驟7中通過步驟6得到的特徵袋字典，計算檢索圖像基於方向差特徵袋字典的隸屬度編碼直方圖特徵，包括以下步驟：7a)檢索圖像在紅色通道R上所有邊緣像素點的邊緣方向差特徵為hstr(e)，計算hstr(e)對應於紅色通道二維特徵袋字典Dicr的s個聚類中心的隸屬度值die(k)，選擇隸屬度值最大時的第ge個聚類中心作為該邊緣點的所屬中心，然後在該圖像對應的權值向量hisr(ge)上加上該隸屬度的最大值die(ge)，對檢索圖像所有像素點的hisr(ge)一階矩求和統計得到檢索圖像紅色通道的權值向量hisr，hisr為一K維列向量，k代表第k個聚類中心，取值為1，2，...，K，K表示聚類中心數，即特徵袋字典大小。7b)在綠色通道G、藍色通道B做同樣於紅色通道R的計算，即執行步驟7a)的過程，最終得到圖像綠色通道G的權值向量hisg和藍色通道B的權值向量hisb，對三個通道內的權值向量進行整合計算得到檢索圖像的基於特徵袋字典的編碼直方圖特徵X，圖像三通道的權值向量是一個K維特徵，對三通道的特徵進行整合(pooling)計算得到3K維的編碼直方圖特徵X，編碼直方圖特徵X就是圖像的最終特徵。本發明主要大大提高了實時在線圖像檢索和離線大型資料庫圖像檢索的準確率、回調率和檢索速度，提升了在各種檢索環境下圖像檢索的穩定性。本發明與現有技術相比有以下優點：第一，本發明採用了邊緣方向和能量預測像素點的邊緣方向的方法，結合方向可調濾波器，可以有效地判斷出每個像素點邊緣主方向的指向，然後通過閾值判定就可以快速準確的提取出圖像的邊緣像素點信息，通過提取得到的圖像邊緣像素點信息可以快速準確的進行下一步的特徵提取，提高了應用於實時人機互動和大型圖像資料庫時檢索的速度和準確性。第二，本發明基於圖像的邊緣像素點的邊緣方向差特徵，該特徵對於圖像尺度、光照和旋轉變化時具有魯棒性，對圖像的表示更加具有典型性，當檢索圖像發生旋轉、尺度大小變化和光照影響時可以更加有效的表示出檢索圖像的特徵差異性，在待檢索圖像庫中準確的檢索出結果，在應用到檢索過程中時，提高了應用於大型圖像資料庫檢索時的準確率和回調率。第三，本發明通過對訓練圖像所有邊緣像素點的邊緣方向差特徵進行聚類得到字典，然後對檢索圖像和待檢索圖像同時對字典進行基於隸屬度的編碼特徵直方圖計算，實現了對圖像高層語義信息的提取，通過編碼特徵有效地表徵了圖像高層語義特徵的分布，使得特徵更加具有典型性，克服了當檢索圖像和待檢索圖像發生細小變化時的特徵偏差，提高了圖像檢索的準確率和回調率。附圖說明圖1為本發明的圖像檢索流程示意圖；圖2為本實施例中所採用的Corel-1000圖像資料庫部分示例；圖3為本發明實施例中所使用的檢索圖像；圖4本發明對圖3進行邊緣提取和閾值判斷後得到的邊緣像素點的方向和能量向量圖；圖5為本發明在Corel-1000庫中對圖2所使用的檢索圖像的檢索結果；圖6為本發明與現有技術中5種檢索方法的平均檢索準確率對比曲線圖；圖7為本發明與現有技術中5種檢索方法的平均檢索回調率對比曲線圖。具體實施措施下面結合附圖對發明進一步說明。實施例1本發明是一種基於邊緣方向差特徵袋的圖像檢索方法，隨著多媒體技術不斷發展和網際網路的不斷普及，圖像信息的應用也越來越廣泛。圖像信息的應用往往都需要圖像檢索，例如數字圖書館、公共安全和犯罪調查，通過圖像檢索可以快速有效地查詢到人們需要的信息。圖像檢索的應用融合進人們的日常生活中去，給人們帶來便利，圖像檢索有著越來越廣闊的應用前景。本發明的基於邊緣方向差特徵袋的圖像檢索方法的實現參照圖1，給出如下具體實施例：步驟1：輸入檢索的彩色圖像，即將要查詢的圖像，該檢索圖像可以是人為自主選擇的圖像，包括從網絡中獲得的圖像，也可以是資料庫中隨機選取的圖像。步驟2：對輸入的檢索圖像做灰度變換，通過方向可調濾波器進行處理，選取二維高斯函數為濾波器核函數，計算圖像在X和Y方向上分別與一階高斯核函數方向導數的卷積得到每個像素點2L個方向上的能量函數Wσ(x，y，θ)，L表示方向的個數，因為濾波器是方向可調濾波器，所以L的取值人為根據實際情況自主確定的，比如場景複雜時取值較大，場景簡單時取值較小，x和y表示像素點的坐標值，σ為濾波器尺度參數，θ為方向的值，範圍是0～2π，取值間隔為π/L，每個像素點2L個方向上的能量函數Wσ(x，y，θ)即為對檢索圖像濾波的結果，能量函數Wσ(x，y，θ)的計算具體步驟如下：2a)對檢索圖像做灰度變換，例如選取濾波器滑動窗口大小為5*5。2b)選取二維高斯函數為濾波器核函數，並分別在圖像X和Y方向求該濾波核函數的一階方向導數和2c)對於灰度圖像中每個像素點f(x，y)，選取方向間隔為π/L，L表示方向的個數，計算圖像在X和Y方向上分別與一階高斯核函數方向導數和的卷積，得到該圖像每個像素點2L個方向上的能量函數Wσ(x，y，θ)。步驟3：通過方向濾波的結果提取該檢索圖像的邊緣像素點：3a)以灰度圖像中的每個像素點為中心點，通過對其與相鄰像素的灰度差異分析，在每個邊緣可能出現的方向θ上計算每個像素點的灰度差異值Pd(x，y，θ)，其中d為圓形鄰域半徑，d的值為4σ，在每個方向上計算每個像素點的灰度差異值Pd(x，y，θ)，採用如下公式計算Pd(x，y，θ)：Pd(x，y，θ)即計算中心像素點以d為半徑圓形鄰域上像素點與中心像素點每個方向θ上的灰度差異值，通過對該灰度差異值進一步計算來判斷圖像像素點的邊緣起始方向。3b)對於灰度圖像中每個像素點，統計從其每個邊緣可能出現的方向θ開始，旋轉π角度，計算其π角度內L個方向上灰度差異值Pd(x，y，θ)的向量和值Mθ(x，y)，並選取對應於所有邊緣可能出現的方向上，當Mθ(x，y)取得最大值時的邊緣可能出現的方向θ為該像素點的邊緣起始方向Θ(x，y)，採用如下公式計算Θ(x，y)：其中，是由Pd(x，y，θ′)的值和方向θ′構成，Θ(x，y)即通過對灰度差異值Pd(x，y，θ′)和其方向θ′構成的向量進行向量求和計算和判斷得到的像素點的邊緣起始方向，通過對該邊緣起始方向結合像素能量函數可以計算得到像素點的邊緣主方向向量。3c)根據灰度圖像中每個像素點邊緣方向的能量函數Wσ(x，y，θ)進行模值計算得到每一個像素點2L個方向上的能量值A(x，y，θ)。3d)根據灰度圖像每一個像素點的能量值A(x，y，θ)從其邊緣起始方向Θ(x，y)開始，旋轉π角度，在其π角度內L個方向上對於A(x，y，θ)進行向量求和計算得到圖像中每個像素點邊緣主方向向量該主方向向量的幅值即該像素點的邊緣能量值amp(x，y)，該主方向向量的方向即該像素點的邊緣主方向φ(x，y)，採用如下公式計算其中，A(x，y，θ)＝|Wσ(x，y，θ)|，即通過對像素點的能量值A(x，y，θ)從對應的邊緣起始方向Θ(x，y)開始，旋轉π角度向量求和計算得到的像素點邊緣主方向向量，通過對該向量的幅值和方向進行閾值判斷可以確定圖像的邊緣像素點。3e)通過對灰度圖像每一個像素點的主方向向量的方向φ(x，y)和幅值amp(x，y)進行閾值判斷提取圖像的邊緣像素點，選取一個3*3大小的窗遍歷每個像素點，選取3*3大小的窗是為了去除圖像中的孤點，並進行閾值判斷提取圖像邊緣點，選取3*3窗可以得到該像素點的一個8鄰域進行計算，該像素8鄰域內的像素點是否滿足方向閾值Tp和能量閾值Ta，如果8鄰域內存在至少一個像素點邊緣方向與中心像素點相反，即該像素點與中心像素點邊緣主方向的差值在方向閾值Tp範圍內，且該像素點與中心像素點邊緣能量值均大於能量閾值Ta，則該中心像素點確定為圖像邊緣像素點，其中Tp的取值為一範圍5π/6～7π/6，Ta取值為2.5σ，本發明在取值選擇考慮了一定的偏差範圍，便於操作。如果該像素點與中心像素點邊緣主方向的差值在不在方向閾值Tp範圍內，或者該像素點與中心像素點邊緣能量值均小於能量閾值Ta，則該中心像素點不是圖像邊緣像素點。最終得到該檢索圖像的所有邊緣像素點。步驟3中，採用邊緣方向和能量預測像素點邊緣方向的方法，結合步驟2方向可調濾波器的結果，快速有效地判斷出每個像素點的邊緣主方向，通過閾值判定可以快速準確的提取出圖像的邊緣像素點信息，通過圖像邊緣像素點信息可以準確地進行下一步的特徵提取，提高了應用於實時人機互動和大型圖像資料庫時檢索的速度和準確性。步驟4：根據檢索圖像的邊緣像素點提取原檢索彩色圖像的所有邊緣像素點的邊緣方向差特徵，圖像每一個邊緣像素點均對應一個邊緣像素點的邊緣方向差特徵，得到該圖像每一個邊緣像素點的紅色-R、綠色-G和藍色-B三個通道的邊緣方向差特徵hstr(e)、hstg(e)和hstb(e)，e表示該圖像的第e個邊緣點，e＝1，2，...，E，E為檢索圖像所有邊緣像素點的總數，包括以下步驟：4a)在計算圖像的邊緣方向差特徵的時候，為了提高計算效率，把邊緣主方向φ(x，y)的範圍由原來的0～2π轉化為0～π，在圖像特徵處理中，圖像的邊緣方向特徵在0～2π範圍上是對稱的，θ和θ+π表示的邊緣方向所代表的邊緣方向特徵是一樣的；4b)以原彩色圖像中每一個邊緣像素點為中心設定一矩形鄰域，大小為13*13，計算鄰域內所有像素點和中心像素點邊緣主方向的方向差Pa(x，y)和分別在紅色-綠色-藍色RGB三通道內的像素值差Apr(x，y)、Apg(x，y)和Apb(x，y)。矩形鄰域的大小是人為主觀選定的，如果大小和13*13不同，或大或小均可實現本發明提取邊緣方向差特徵，本發明經過大量的實驗、分析、總結，給出了13*13的矩形鄰域大小的優選值，該值即可以保證特徵的有效提取，也可以避免矩形窗過大帶來的計算複雜度；4c)在原彩色圖像中每一個邊緣像素點鄰域內，在紅色-R通道內，以Apr(x，y)為x軸，將x軸等距劃為u個小區間，以Pa(x，y)為y軸，將y軸等距劃為v個小區間，u和v取值為正整數，統計該鄰域內所有像素點落在每個小區間的像素點數目作為z軸，在紅色-R通道內得到一個三維立體直方圖，進行矩陣變換得到w(u*v)維列向量，歸一化得到該邊緣像素點R通道方向差特徵hstr(e)，同樣的方法在綠色-G通道和藍色-B通道內，分別以Apg(x，y)和Apb(x，y)為x軸，執行紅色-R通道同樣的計算分別得到該像素點的G通道方向差特徵hstg(e)和B通道方向差特徵hstb(e)。步驟4中得到了圖像邊緣像素點的邊緣方向差特徵，當檢索圖像發生旋轉、尺度大小變化和光照影響時，該特徵具有魯棒性，對圖像的表示更加具有典型性，可以更加有效的表徵出檢索圖像的特徵差異性，在檢索過程中，提高了實時人機互動和應用於大型圖像資料庫檢索時的準確率和回調率。步驟5：在待檢索圖像資料庫中對於每類圖像隨機選取l張圖像組成訓練圖像資料庫，通常資料庫中有明顯的分類，比如人為的標籤，假如沒有明顯的類別標識，可以根據已知的圖像領域的通常分類類別來進行人為按類別選取圖像，從訓練圖像資料庫中提取一幅訓練圖像執行步驟2-步驟4進行每一張圖像所有邊緣像素點的邊緣方向差特徵提取，遍歷訓練圖像資料庫中的所有圖像，圖像所有邊緣像素點的邊緣方向差特徵在三個顏色通道內依次為tstr，m(om)、tstg，m(om)和tstb，m(om)，m＝1，2，...，M，M為訓練圖像資料庫大小，om表示第m張訓練圖像的第om個邊緣像素點，om＝1，2，...，Om，Om為第m張訓練圖像所有邊緣像素點的總數。步驟6：對全部訓練圖像的所有邊緣像素點的紅色-R通道的邊緣方向差特徵tstr，m(om)，通過K-means聚類計算，取K個聚類中心得到紅色-R通道的w行、K列的二維特徵袋字典Dicr，K為K-means聚類中心的個數，即字典的大小，同樣的方法在綠色-G通道和藍色-B通道內，分別對tstg，m(om)和tstb，m(om)執行紅色-R通道同樣的計算分別得到綠色-G通道w行、K列的二維特徵袋字典Dicg和藍色-B通道的w行、K列的二維特徵袋字典Dicb。步驟7：對於檢索圖像通過步驟6得到的特徵袋字典Dicr、Dicg和Dicb進行編碼計算得到檢索圖像的基於方向差特徵袋字典的隸屬度編碼直方圖特徵X，編碼直方圖特徵X包含了紅色-R、綠色-G和藍色-B三通道的編碼直方圖特徵，包括以下步驟：7a)檢索圖像在紅色通道R上所有邊緣像素點的邊緣方向差特徵為hstr(e)，計算hstr(e)對應於紅色通道二維特徵袋字典Dicr的s個聚類中心的隸屬度值die(k)，選擇隸屬度值最大時的第ge個聚類中心作為該邊緣點的所屬中心，然後在該圖像對應的權值向量hisr(ge)上加上該隸屬度的最大值die(ge)，對檢索圖像所有像素點的hisr(ge)一階矩求和統計得到檢索圖像紅色通道的權值向量hisr，hisr為一K維列向量，k代表第k個聚類中心，取值為1，2，...，K，K表示聚類中心數，即字典大小，採用如下公式計算die(k)、ge和die(ge)：die(ge)＝max(die(k))，其中，通過計算得到的die(ge)，對檢索圖像所有像素點進行一階距求和統計即可得到檢索圖像紅色通道的權值向量hisr。7b)在綠色通道G、藍色通道B做同樣於紅色通道R的計算，最終得到圖像綠色通道G的權值向量hisg和藍色通道B的權值向量hisb，對三個通道內的權值向量進行整合計算得到檢索圖像的基於特徵袋字典的編碼直方圖特徵X，本例中，就是對圖像的紅綠藍三通道的權值向量進行整合計算，即pooling得到3K維的邊緣方向直方圖特徵X，邊緣方向直方圖特徵X不僅是3個權值向量特徵的組合，同時還對K維的3個權值向量特徵有一個順序的限定，如紅色通道權值向量特徵始終在先，然後順序排列綠色和藍色的權值向量特徵。步驟7中對檢索圖像結合步驟6中對全部訓練圖像所有邊緣像素點的邊緣方向差特徵進行聚類得到的字典，通過編碼計算實現了對圖像高層語義信息的提取，有效地表徵了圖像高層語義特徵的分布，使得特徵更加具有典型性，克服了當檢索圖像和待檢索圖像發生細小變化時的特徵偏差，提高了圖像檢索的準確率和回調率。步驟8：從圖像總數大小為S的待檢索圖像資料庫中提取一幅待檢索圖像執行步驟2-步驟4進行每一張圖像所有邊緣像素點的邊緣方向差特徵提取，圖像所有邊緣像素點的邊緣方向差特徵在三個顏色通道內依次為hst′r，i(e′i)、hst′g，i(e′i)和hst′b，i(e′i)，然後執行步驟7得到每一張待檢索圖像基於方向差特徵袋字典的編碼直方圖特徵X′i，遍歷圖像資料庫中的所有圖像，i＝1，2，...，S，S為待檢索圖像總數，e′i表示第i張待檢索圖像的第e′i個邊緣像素數，e′i＝1，2，...，E′i，E′i為第i張待檢索圖像所有邊緣像素點的總數。步驟9：把檢索圖像和待檢索圖像進行基於方向差特徵袋字典的編碼直方圖特徵的相似性匹配，計算檢索圖像的編碼直方圖特徵X和待檢索圖像的編碼直方圖特徵X′i的2範數相似性距離得到Disi(X，X′i)。步驟10：對於每幅待檢索圖像按照其Disi(X，X′i)的值進行從小到大的順序排列，顯示其中前n張圖像即為基於邊緣方向差特徵袋的圖像結果，i＝1，2，...，S，S為待檢索圖像總數，n為返回檢索圖像數目，取值為人為自主確定的正整數。本發明採用了基於方向可調濾波器的灰度差異值和能量預測像素點邊緣方向的方法，通過閾值判斷可以快速有效地提取圖像的邊緣像素點，然後計算邊緣像素點的邊緣方向差特徵，然後通過所提出的特徵袋字典對圖像通過隸屬度計算進行編碼，提取圖像高層語義信息，使得隸屬度編碼直方圖可以更加準確的表徵圖像的特徵，提高了應用於實時人機互動和大型圖像資料庫時圖像檢索的速度和檢索的準確率和回調率。實施例2基於邊緣方向差特徵袋的圖像檢索方法同實施例1步驟1，輸入檢索的彩色圖像；本實例輸入一副在Corel-1000圖像資料庫中隨機選取的檢索圖像，見圖3，需要在Corel-1000圖像資料庫中檢索出同類型的圖像，圖像庫包括10類圖像，參見圖2，每一類包括100張圖像，每一類的部分示例如圖2所示，本例中所使用的檢索圖像如圖3所示。步驟2，對輸入的檢索圖像做灰度變換，通過方向可調濾波器進行處理，選取二維高斯函數為濾波器核函數，計算圖像在X和Y方向上分別與一階高斯核函數方向導數的卷積得到每個像素點2L個方向上的能量函數Wσ(x，y，θ)，L表示方向的個數，本例中L取值為6，x和y表示像素點的坐標值，σ為濾波器尺度參數，本例中σ取值為1，θ為方向的值，範圍是0～2π，間隔為π/L，本例中θ取為0，π/6，...，11π/6，2π，實際計算中θ取值0和2π時意義相同，一般只取θ為0時的值。步驟3，通過方向濾波的結果提取該檢索圖像的邊緣像素點。其中步驟3e)中，通過對灰度圖像每一個像素點的主方向向量的方向φ(x，y)和幅值amp(x，y)進行閾值判斷提取圖像的邊緣像素點，選取一個3*3大小的窗遍歷每個像素點，選取3*3大小的窗是為了去除圖像中的孤點，並進行閾值判斷提取圖像邊緣點，選取3*3窗可以得到該像素點的一個8鄰域進行計算，該像素8鄰域內的像素點是否滿足方向閾值Tp和能量閾值Ta，如果8鄰域內存在至少一個像素點邊緣方向與中心像素點相反，即該像素點與中心像素點邊緣主方向的差值在方向閾值Tp範圍內，且該像素點與中心像素點邊緣能量值均大於能量閾值Ta，則該中心像素點確定為圖像邊緣像素點，其中Tp的取值為一範圍5π/6～7π/6，Ta取值為2.5σ，結果示意圖如圖4所示。步驟4，根據檢索圖像的邊緣像素點提取原檢索彩色圖像的所有邊緣像素點的邊緣方向差特徵，得到該圖像每一個邊緣像素點的紅色-R、綠色-G和藍色-B三個通道的邊緣方向差特徵hstr(e)、hstg(e)和hstb(e)，e表示該圖像的第e個邊緣點，e＝1，2，...，E，E為檢索圖像所有邊緣像素點的總數。其中步驟4c)中，在原彩色圖像中每一個邊緣像素點鄰域內，在紅色-R通道內，以Apr(x，y)為x軸，將x軸等距劃為u個小區間，以Pa(x，y)為y軸，將y軸等距劃為v個小區間，u和v取值為正整數，本例中u取值為8和v取值為18，統計該鄰域內所有像素點落在每個小區間的像素點數目作為z軸，在紅色-R通道內得到一個三維立體直方圖，進行矩陣變換得到w(u*v)維列向量，本例中w值即為144，歸一化得到該邊緣像素點R通道方向差特徵hisr，同樣的方法在綠色-G通道和藍色-B通道內，分別以Apg(x，y)和Apb(x，y)為x軸，執行紅色-R通道同樣的計算分別得到該像素點的G通道方向差特徵hisg和B通道方向差特徵hisb。步驟5，在待檢索圖像資料庫中對於每類圖像隨機選取l張圖像組成訓練圖像資料庫，從訓練圖像資料庫中提取一幅訓練圖像執行步驟2-步驟4進行每一張圖像所有邊緣像素點的邊緣方向差特徵提取，遍歷訓練圖像資料庫中的所有圖像，圖像所有邊緣像素點的邊緣方向差特徵在三個顏色通道內依次為tstr，m(om)、tstg，m(om)和tstb，m(om)，m＝1，2，...，M，M為訓練圖像資料庫大小，om表示第m張訓練圖像的第om個邊緣像素點，om＝1，2，...，Om，Om為第m張訓練圖像所有邊緣像素點的總數，本例中使用的資料庫為Corel-1000，包括10類，每一類包括100張圖像，l取值為5，M的值即為50。步驟6，對全部訓練圖像的所有邊緣像素點的紅色-R通道的邊緣方向差特徵tstr，m(om)，通過K-means聚類計算，取K個聚類中心得到紅色-R通道的w行、K列的二維特徵袋字典Dicr，K為K-means聚類中心的個數，即字典的大小，本例中K取值為500，同樣的方法在綠色-G通道和藍色-B通道內，分別對tstg，m(om)和tstb，m(om)執行紅色-R通道同樣的計算分別得到綠色-G通道w行、K列的二維特徵袋字典Dicg和藍色-B通道的w行、K列的二維特徵袋字典Dicb。步驟7，對於檢索圖像通過步驟6得到的特徵袋字典Dicr、Dicg和Dicb進行編碼計算得到檢索圖像的基於方向差特徵袋字典的隸屬度編碼直方圖特徵X，編碼直方圖特徵X包含了紅色-R、綠色-G和藍色-B三通道的編碼直方圖特徵。步驟8，從圖像總數大小為S的待檢索圖像資料庫中提取一幅待檢索圖像執行步驟2-步驟4進行每一張圖像所有邊緣像素點的邊緣方向差特徵提取，圖像所有邊緣像素點的邊緣方向差特徵在三個顏色通道內依次為hst′r，i(e′i)、hst′g，i(e′i)和hst′b，i(e′i)，然後執行步驟7得到每一張待檢索圖像基於方向差特徵袋字典的編碼直方圖特徵X′i，遍歷圖像資料庫中的所有圖像，i＝1，2，...，S，S為待檢索圖像總數，e′i表示第i張待檢索圖像的第e′i個邊緣像素數，e′i＝1，2，...，E′i，E′i為第i張待檢索圖像所有邊緣像素點的總數，本例中使用的資料庫為Corel-1000，包括10類，每一類包括100張圖像，S的值即為1000。步驟9，把檢索圖像和待檢索圖像進行基於方向差特徵袋字典的編碼直方圖特徵的相似性匹配，計算檢索圖像的編碼直方圖特徵X和待檢索圖像的編碼直方圖特徵X′i的2範數相似性距離得到Disi(X，X′i)。步驟10，對於每幅待檢索圖像按照其Disi(X，X′i)的值進行從小到大的順序排列，顯示其中前n張圖像即為基於邊緣方向差特徵袋的圖像結果，n為返回檢索圖像數目，取值為人為自主確定的正整數。本例中n取值為20，檢索結果如圖5所示，本發明成功的從Corel-1000圖像數據中準確地檢索出來20幅和圖3所示恐龍圖像相關的恐龍類圖像，但就此項，檢索準確率為100％。本發明首先應用方向可調濾波器對圖像進行濾波，然後通過邊緣方向和能量預測出每個像素點的邊緣方向，通過閾值判斷提取出圖像邊緣像素點，接著提取圖像所有邊緣像素點的方向差特徵，選取一定數量的訓練圖像，通過所有訓練圖像邊緣像素點的方向差特徵構建特徵袋字典庫，然後把檢索圖像和待檢索圖像的邊緣像素點的方向差特徵基於特徵袋字典計算編碼直方圖特徵，最後對檢索圖像和待檢索圖像基於編碼直方圖特徵進行相似性匹配，得到檢索結果，提高的檢索過程的速度、準確率和回調率。實施例3基於邊緣方向差特徵袋的圖像檢索方法同實施例1-2本實例同樣選取Corel-1000圖像資料庫，圖像資料庫中包括10類圖像，每一類的部分示例如圖2所示，每一類包括100張圖像，對資料庫中的每一張圖像執行實施例1同樣的檢索過程，計算當返回檢索圖像數目n取值為10、20、…、100時圖像資料庫中全部1000張圖像的平均檢索準確率和平均檢索回調率，繪製了曲線圖，與本領域現有技術中幾種熟知的檢索方法如Elami、Jhanwar、Hung、Chuen所提出的方法及CSD方法進行了對比，平均檢索準確率的對比曲線圖如圖6所示，平均檢索回調率的對比曲線圖如圖7所示。對Corel-1000圖像資料庫中全部1000張圖像的平均準確率和本領域幾種常見方法的對比結果如6所示。從圖6可見，Jhanwar和Hung所提出方法的平均檢索準確率在返回檢索圖像數目n從10到100張變化時均比較低，在與Elami和Chuen所提出的方法及CSD方法進行對比時，本發明的平均檢索準確率在返回檢索圖像數目n從10到100張變化時均高於兩種方法。總體來看，本發明在返回檢索圖像數目n不同的情況下，較其他五種方法均保證了較高的平均檢索準確率，返回檢索圖像數目n越大，本發明的優勢越明顯。因此，本發明在應對各種檢索情況下，均可以保持較穩定的優於其他方法的平均檢索準確率，尤其在圖像資料庫較大需要返回較多的檢索圖像數目時，仍可以保證較優的平均檢索準確率，本發明能夠適用於大型圖像資料庫的圖像檢索，並可得到較高的檢索準確率，也可用於實時人機互動的圖像檢索領域。對Corel-1000圖像資料庫中全部1000張圖像的平均檢索回調率和本領域幾種常見方法的對比結果如圖7所示。從圖7可見，當返回檢索圖像數目n較低時，本發明和Elami、Jhanwar、Hung、Chuen所提出的方法及CSD方法的平均檢索回調率比較相近，隨著返回檢索圖像數目n的增加，本發明的平均檢索回調率明顯要優於其他五種對比方法，且返回檢索圖像數目n越大，優勢越明顯。同樣可見，本發明在應對各種檢索情況下，均保持較優的平均檢索回調率，尤其在圖像資料庫較大時，平均檢索回調率的優勢更加明顯，適用於大型圖像資料庫的圖像檢索。實施例4基於邊緣方向差特徵袋的圖像檢索方法同實施例1-3本實例同樣選取Corel-1000圖像資料庫，圖像資料庫中包括10類圖像，每一類的部分示例如圖2所示，每一類包括100張圖像，對資料庫中的每一張圖像執行實施例1同樣的檢索過程，計算當返回檢索圖像數目n為20時的全部10類中每一類的平均檢索準確率和全部10類1000張圖像的平均檢索準確率，對檢索結果統計並列表，並和本領域現有技術中幾種熟知的檢索方法如Elami、Jhanwar、Hung、Chuen所提出的方法及基於SIFT-SPM的方法和基於SIFT-LBP的方法進行了對比，對比結果如表1所示。從表1可見，本發明在圖像資料庫全部10類中每一類的平均檢索準確率均高於Jhanwar和Hung所提出的方法，對比於基於SIFT-SPM的方法和基於SIFT-LBP的方法，本發明僅公交車一類的平均檢索準確率低於基於SIFT-LBP的方法，對比於Chuen和Elami提出的方法，本發明同樣只有建築一類的平均檢索準確率低於兩種方法。總體來看，本發明的在返回檢索圖像數目n為20時全部10類1000張圖像的平均檢索準確率明顯遠遠高於上述每一種用於對比的檢索方法，且在全部10類中每一類100張圖像的平均檢索準確率上遠遠高於大部分用於對比的檢索方法。因此，本發明在應用於不同類別圖像進行檢索時，均可以取的較高的平均檢索準確率，適用於圖像種類較多的大型圖像數據的圖像檢索，且對於每一類均可得到較穩定、較優的平均檢索準確率。表1以上是本發明的一個實例，並不構成對本發明的任何限制，仿真實驗表明，本發明不僅能在應用與大型圖像資料庫時提高了速率，也能實現對於檢索結果的擁有較高的準確率和回調率。綜上所述，本發明的基於邊緣方向差特徵袋的圖像檢索方法的實現簡述如下，首先，輸入要檢索的圖像；對該檢索圖像通過方向可調濾波器處理；通過方向濾波器的結果提取圖像的邊緣；提取檢索圖像所有邊緣像素點的邊緣方向差特徵；在資料庫中隨機選取訓練圖像並提取全部訓練圖像邊緣像素點的邊緣方向差特徵；對全部訓練圖像所有邊緣像素點的邊緣方向差特徵通過k-means聚類構建特徵袋字典；對檢索圖像基於特徵袋字典提取編碼直方圖特徵；對資料庫中全部待檢索圖像同樣提取所有邊緣像素點的邊緣方向差特徵；對資料庫中全部待檢索圖像基於特徵袋字典提取編碼直方圖特徵；把檢索圖像和待檢索圖像進行編碼直方圖特徵相似性匹配；按照檢索圖像和待檢索圖像相似性匹配的結果，顯示圖像檢索的結果。尤其對於大型圖像資料庫檢索本發明具有檢索速度快、準確率和回調率較高的優勢，可應用於實時人機互動和大型圖像資料庫的圖像檢索。