數字圖像檢索中的主動半監督相關反饋方法
2023-05-31 20:43:26
專利名稱：數字圖像檢索中的主動半監督相關反饋方法
技術領域：
本發明涉及一種數字圖像檢索裝置，特別涉及一種適用於數字圖像檢索中的主動半監督相關反饋方法。
背景技術：
隨著數字圖像在各行各業中的廣泛應用，數字圖像積累得越來越多。為了減輕用戶的負擔，幫助用戶快速、準確地從數字圖像庫中尋找其希望獲得的圖像，就需要有效的圖像檢索技術。在進行圖像檢索時，用戶通常向檢索裝置提交查詢圖像，然後檢索裝置將圖像庫中與查詢圖像相似的圖像查找出來提交給用戶。相關反饋是數字圖像檢索中一種通過與用戶交互，不斷改善檢索效果的機制。其具體過程是在檢索裝置返回檢索結果後，用戶對返回圖像的相關性進行判斷，從中再選擇一些相關和不相關的圖像提交給檢索裝置，從而使檢索裝置能夠更有效地檢索出符合用戶需求的圖像。這一過程可以不斷重複直至用戶對檢索結果滿意為止。目前的相關反饋機制由於用戶在反饋過程中選擇的實例圖像有限，而這些有限的圖像往往又因為是用戶隨意選擇而不是對系統檢索最為有效的圖像等等原因，在反饋過程中需要與用戶多次的交互，給用戶帶來較大的負擔和時間開銷。
發明內容
1、發明目的本發明的主要目的是針對目前數字圖像檢索中的相關反饋過程由於接受的是用戶隨意選擇的有限數量的圖像，從而導致需要較多反饋輪次的問題。將機器學習中的主動學習技術和半監督學習技術的思想引入數字圖像檢索，提供了一種高效的主動半監督相關反饋機制。主動學習是指系統主動選擇對於學習更為有效的樣本交由用戶標記，從而僅使用較少的用戶標記樣本達到學習的目的。主動學習技術用於相關反饋時，由圖像檢索裝置主動選擇對於改善檢索性能較為有效的圖像，交由用戶確定圖像的相關性，從而僅通過較少輪次的用戶反饋，獲得較好的檢索效果。半監督學習是指在用戶標記樣本有限的情況下，系統根據有標記的樣本自動標記一些無標記的樣本，並使用所有已有標記的樣本更有效的實現學習。半監督學習技術用於相關反饋時，系統將根據用戶選擇或提交的實例圖像，選擇並自動判斷一些圖像的相關性，然後將它們加入實例圖像的集合，從而更好地檢索圖像。
2、技術方案為實現本發明所述目的，本發明提供的一種數字圖像檢索中的主動半監督相關反饋方法，包括以下步驟(1)數字圖像檢索裝置從數字圖像存儲設備中獲取數字圖像，同時接受用戶選擇或提交的查詢圖像，包括相關圖像和不相關圖像；(2)生成圖像的特徵表示；(3)依據實例圖像初步計算圖像的相似度；(4)基於圖像的初步相似度，使用一種半監督協同技術自動選擇一些圖像加入實例圖像集合，共同作為依據生成對檢索更為有效的相似度度量；(5)依據新生成的圖像相似度對圖像排序，從而根據從最相關到最不相關的順序生成圖像檢索結果；(6)依據新生成的圖像相似度的絕對值對圖像排序，從而根據從最不確定到最確定的順序生成用於用戶主動相關反饋的圖像序列；(7)結束。。需要說明的是，用於相關反饋是一個用戶交互過程，因此上述步驟可持續重複，直至用戶滿意為止。下面將結合附圖對最佳實施例進行詳細說明。
3、有益效果本發明的顯著優點是(1)使用較少的用戶標記樣本達到學習的目的；(2)通過較少輪次的用戶反饋，獲得較好的檢索效果。
四
圖1是數字圖像檢索裝置工作流程圖。圖2是本發明機制的流程圖。
圖3是基於相似度度量S1計算第i幅圖像的相似度。
五具體實施例方式
如圖1所示，數字圖像檢索裝置從數字圖像存儲設備獲取數字圖像，假設數字圖像存儲設備中存儲了M幅圖像，裝置同時接受用戶選擇或提交的查詢圖像。然後裝置生成圖像的特徵表示。可以使用數字圖像處理教科書中的經典方法生成適用的圖像特徵，例如顏色、紋理、形狀等特徵，這樣，每幅圖像由一個特徵向量表示。在每一輪相關反饋中，基於獲得的實例圖像的特徵表示，圖像檢索裝置使用主動半監督檢索技術檢索圖像，產生這一輪的反饋結果，如圖2所示。這裡獲得的實例圖像包括用戶初始提交的查詢圖像，也可能包括每一輪反饋中用戶選擇並指明相關性後加入的圖像。假設其中包含了P(P是一個正整數)幅相關圖像(圖像中存在用戶感興趣的內容)和N(N是一個正整數)幅不相關圖像(圖像中不存在用戶感興趣的內容)，它們的特徵表示組成集合C。這裡產生的反饋結果與已有相關反饋機制產生的不同，不僅包括一個用於向用戶顯示檢索結果的圖像序列，還包括用於實現主動相關反饋的一個圖像序列。用戶瀏覽作為檢索結果的圖像序列，如果還不滿意，可以按照主動反饋圖像序列的順序依次指明排在前面的幾幅圖像的相關性，將相應圖像並加入實例圖像集合C提交給系統，進一步檢索圖像。相關反饋過程可不斷進行直到用戶滿意為止。
本發明的相關反饋機制如圖2所示。步驟10是初始動作。步驟11取得實例圖像的特徵表示並組成集合C。步驟12取出C中相關圖像對應的特徵組成集合C+，不相關圖像對應的特徵組成集合C1-。步驟13取出C中相關圖像對應的特徵組成集合C+，不相關圖像對應的特徵組成集合C2-。步驟14將C1-中的圖像數目N1設為N。步驟15將C2-中的圖像數目N2設為N。步驟16依據C+和C1-中的圖像特徵，基於相似度度量S1計算M幅圖像的相似度，這裡的相似度度量S1可以使用現有的圖像相似度度量機制，例如數字圖像處理教科書中的基於歐氏距離的相似度度量機制、基於Minkowski距離的相似度度量機制等，步驟16將在後面的部分結合圖3進行具體介紹。步驟17依據C+和C2-中的圖像特徵，基於相似度度量S2計算M幅圖像的相似度，這裡的相似度度量S2可以使用現有的圖像相似度度量機制，只要與步驟16中使用的S1不同即可；步驟17的具體過程也可參考圖3，只需把S1換成S2、把C1-換成C2-即可。步驟18基於步驟16獲得的M幅圖像的相似度，選擇不在C+和C2-中的相似度最小的兩幅圖像，將對應的特徵加入C2-。步驟19基於步驟17獲得的M幅圖像的相似度，選擇C+和C1-中相似度最小的兩幅圖像，將對應的特徵加入C1-。步驟20將C2-中的圖像數目N2加2。步驟21將C1-中的圖像數目N1加2。步驟22和步驟17過程相同，不同的是經過步驟18，C2-增加了系統自動產生的兩幅實例圖像所對應的特徵。步驟23和步驟16過程相同，不同的是經過步驟19，C1-增加了系統自動產生的兩幅實例圖像所對應的特徵。步驟24對步驟22和23使用不同相似度度量產生的兩種圖像相似度進行規範化後求和，作為圖像的最終相似度，這裡可以使用數據挖掘教科書中的規範化技術，例如min-max規範化、z-score規範化等，使得不同相似度度量產生的貢獻相等。步驟25將圖像按最終相似度從高到低的順序排序，作為這一輪檢索的結果。步驟26將圖像按最終相似度的絕對值從小到大的順序排序，用於下一輪用戶按序指明圖像的相關性。這樣做是因為圖像相似度的絕對值越小，說明系統越難以確定圖像是與相關圖像還是與不相關圖像相似。如果用戶能夠指明相似度絕對值較小的圖像的相關性，將很有效幫助系統判斷最難確定的圖像，以及與此相似的圖像。因此這些圖像對改善系統檢索效果最為有效，應當排在序列的前面，請用戶最先標記。步驟27是圖2的結束步驟。
圖3詳細說明了圖2中的步驟16，其作用是依據C+和C1-中的圖像特徵，基於相似度度量S1計算M幅圖像的相似度。步驟160是圖3的起始動作。步驟161將圖像計數參數i置為1，步驟162判斷i是否不大於圖像數M，是則執行步驟163，否則轉到步驟165。步驟163依據C+和C1-中的圖像特徵，基於相似度度量S1計算第i幅圖像的相似度。步驟164將圖像計數參數i加1，然後轉到步驟162。步驟165是圖3的結束步驟。
權利要求
1.一種數字圖像檢索中的主動半監督相關反饋方法，其特徵是該方法包括以下步驟(1)數字圖像檢索裝置從數字圖像存儲設備中獲取數字圖像，同時接受用戶選擇或提交的查詢圖像，包括相關圖像和不相關圖像；(2)生成圖像的特徵表示；(3)依據實例圖像初步計算圖像的相似度；(4)基於圖像的初步相似度，使用一種半監督協同技術自動選擇一些圖像加入實例圖像集合，共同作為依據生成對檢索更為有效的相似度度量；(5)依據新生成的圖像相似度對圖像排序，從而根據從最相關到最不相關的順序生成圖像檢索結果；(6)依據新生成的圖像相似度的絕對值對圖像排序，從而根據從最不確定到最確定的順序生成用於用戶主動相關反饋的圖像序列；(7)結束。
2.根據權利要求1所述的數字圖像檢索中的主動半監督相關反饋方法，其特徵是步驟(4)的方法包括以下步驟(11)取得實例圖像的特徵表示並組成集合C；(12)取出C中相關圖像對應的特徵組成集合C+，不相關圖像對應的特徵組成集合C1-；(13)取出C中相關圖像對應的特徵組成集合C+，不相關圖像對應的特徵組成集合C2-；(14)將C1-中的圖像數目N1設為N；(15)將C2-中的圖像數目N2設為N；(16)依據C+和C1-中的圖像特徵，基於相似度度量S1計算M幅圖像的相似度；(17)依據C+和C2-中的圖像特徵，基於相似度度量S2計算M幅圖像的相似度；(18)基於(16)獲得的M幅圖像的相似度，選擇不在C+和C2-中的相似度最小的兩幅圖像，將對應的特徵加入C2-；(19)基於(17)獲得的M幅圖像的相似度，選擇C+和C1-中相似度最小的兩幅圖像，將對應的特徵加入C1-；(20)將C2-中的圖像數目N2加2；(21)將C1-中的圖像數目N1加2；(22)重複(17)、(18)，C2-增加了系統自動產生的兩幅實例圖像所對應的特徵；(23)重複(16)、(19)，C1-增加了系統自動產生的兩幅實例圖像所對應的特徵；(24)對(22)和(23)使用不同相似度度量產生的兩種圖像相似度進行規範化後求和，作為圖像的最終相似度；(25)將圖像按最終相似度從高到低的順序排序，作為這一輪檢索的結果；(26)將圖像按最終相似度的絕對值從小到大的順序排序，用於下一輪用戶按序指明圖像的相關性；(27)結束。
3.根據權利要求2所述的數字圖像檢索中的主動半監督相關反饋方法，其步驟(16)的方法包括以下步驟(161)將圖像計數參數i置為1；(162)判斷i是否不大於圖像數M，是則執行(163)，否則轉到(165)；(163)依據C+和C1-中的圖像特徵，基於相似度度量S1計算第i幅圖像的相似度；(164)將圖像計數參數i加1，然後轉到(162)；(165)結束。
全文摘要
本發明公開了一種數字圖像檢索中的主動半監督相關反饋方法，包括以下步驟(1)接受用戶的實例圖像，包括相關圖像和不相關圖像；(2)依據實例圖像初步計算圖像的相似度；(3)基於圖像的初步相似度，使用一種半監督協同技術自動選擇一些圖像加入實例圖像集合，共同作為依據生成對檢索更為有效的相似度度量；(4)依據新生成的圖像相似度對圖像排序，生成圖像檢索結果；(5)依據新生成的圖像相似度的絕對值對圖像排序，生成用於用戶主動相關反饋的圖像序列；(6)結束。本發明的顯著優點是(1)使用較少的用戶標記樣本達到學習的目的；(2)通過較少輪次的用戶反饋，獲得較好的檢索效果。
文檔編號G06F17/30GK1851703SQ20061004015
公開日2006年10月25日 申請日期2006年5月10日 優先權日2006年5月10日
發明者周志華, 陳可佳, 戴宏斌 申請人:南京大學