一種基於n元模型的圖片索引構建方法及裝置製造方法
2023-05-21 10:02:26
一種基於n元模型的圖片索引構建方法及裝置製造方法
【專利摘要】本發明公開了一種基於n元模型的圖片索引構建方法及裝置，涉及圖像索引的結構與構建技術。本發明公開的方法包括：對帶有文本標註的圖片數據集進行預處理，從預處理後的圖像數據集中提取「圖像詞元」；根據所提取的「圖像詞元」構建相應的包含圖像n元的圖像詞典；根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像n元，建立基於n元模型的圖片索引。本發明還公開了一種基於n元模型的圖片索引構建裝置。本申請技術方案避免了傳統的圖片索引結構中將圖像的高維底層特徵作為索引對象，同時避免了構建索引過程中複雜的降維處理過程。
【專利說明】—種基於η元模型的圖片索引構建方法及裝置
【技術領域】
[0001]本發明涉及圖像索引的結構與構建技術,具體涉及一種基於η元(n-gram)模型的圖片索引構建方法及裝置，主要應用於圖像語義自動標註和圖像檢索領域。
【背景技術】
[0002]在基於內容的圖片檢索系統中，對大量圖片建立一個有效而快速的索引，是一個困難而複雜的問題。傳統的圖片索引結構都是對圖片提取不同的底層特徵(一般包括，顏色，紋理特徵等)，然後將相應的特徵向量作為一個整體進行索引，而這些特徵一般維數較大，因此傳統的圖片索引方法都是對圖片底層高維特徵進行索引的樹狀索引結構。這些索弓丨結構隨著圖片數量的增加與圖片特徵維數的增加，其性能都會急劇下降。因此，傳統的索引結構在對圖像建立索引之前，都需要對圖像的高維特徵數據進行複雜的降維處理過程。
[0003]降維處理中較為常用的一種技術是主元分析(Principal ComponentAnalysis,PCA)方法。它通過構造一組新的潛隱變量降低原始數據空間的維數，再從新的映射空間抽取主要變化信息，提取統計特徵，從而構成對原始數據空間特性的理解。新的映射空間的變量由原始數據變量的線性組合構成，從而大大降低了投影空間的維數。由於投影空間統計特徵向量彼此正交，消除了變量間的關聯性，簡化了原始過程特性分析的複雜程度。
[0004]對圖片高維特徵向量進行降維處理後，研究者提出了 X-tree，VA-file和
1-Distance圖片索引結構與方法。由於這些方法將圖像高維特徵向量作為整體進行索弓丨，並且沒有充分考慮到圖片的特徵，其性能並不理想。針對圖像數據的高維數據的特點，Berman 等提出 了圖像數據存儲系統 FIDS (Flexiblelmage Database System)。FIDS 系統運用了「三角不等式」算法進行索引數據，從而極大的減少了需要進行與Query圖片做比較的次數。而且FIDS允許用戶在檢索的過程中選擇不同的相似度檢索方法以及他們的組合對圖片進行檢索。但該方法仍然是將圖片的高維特徵向量作為整體進行索引，其索引結構相對複雜並且在建立索引的過程中需要複雜的降維處理過程。同時傳統的圖片索引結構，沒能體現出帶有語義標籤的圖像的底層特徵與語義標籤之前的關係。
【發明內容】
[0005]本發明所要解決的技術問題是，提供一種基於n-gram模型的圖片索引構建方法及裝置，以提高圖片檢索效率。
[0006]為了解決上述技術問題，本發明公開了一種基於η元模型的圖片索引構建方法，包括:
[0007]對帶有文本標註的圖片數據集進行預處理，從預處理後的圖像數據集中提取「圖像詞元」;
[0008]根據所提取的「圖像詞元」構建相應的包含圖像η元的圖像詞典；
[0009]根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像η元，建立基於η元模型的圖片索引。[0010]較佳地，上述方法中，所述提取圖像數據集的「圖像詞元」的過程如下:
[0011]將隨機選取的圖片元均勻切分為若干個圖像小塊；
[0012]提取所述圖像小塊的圖像底層特徵，將其多個底層特徵進行融合，得到反應圖像小塊多種底層特徵的特徵向量；
[0013]對得到的每個圖像小塊的特徵向量，進行聚類操作，選取代表相應簇類的典型數據點作為「圖像詞元」。
[0014]較佳地，上述方法中，根據所提取的「圖像詞元」構建相應的包含圖像η元的圖像詞典的過程如下:
[0015]針對每一個「圖像詞元」，將與其相鄰的η-1個「圖像詞元」構成一個「圖像詞元」序列，將所有「圖像詞元」序列作為一個項加入「圖像詞典」中，同時加入其長度小於η的其他「圖像詞元」序列，構成「圖像詞典」，η為大於I的整數。
[0016]較佳地，上述方法中，根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像η元指:
[0017]在建立索引的過程中，對索引的圖片提取所述「圖像詞典」項，計算每個圖片基於相應「圖像詞典」的詞頻-逆向文件頻率(TF-1DF)特徵向量。
[0018]較佳地，上述方法中，按照如下公式計算每個圖片的基於相應「圖像詞典」的
TF-1DF特徵向量:.η? ,
【權利要求】
1.一種基於η元模型的圖片索引構建方法，其特徵在於，該方法包括: 對帶有文本標註的圖片數據集進行預處理，從預處理後的圖像數據集中提取「圖像詞元」； 根據所提取的「圖像詞元」構建相應的包含圖像η元的圖像詞典； 根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像η元，建立基於η元模型的圖片索引。
2.如權利要求1所述的方法，其特徵在於，所述提取圖像數據集的「圖像詞元」的過程如下: 將隨機選取的圖片元均勻切分為若干個圖像小塊； 提取所述圖像小塊的圖像底層特徵，將其多個底層特徵進行融合，得到反應圖像小塊多種底層特徵的特徵向量； 對得到的每個圖像小塊的特徵向量，進行聚類操作，選取代表相應簇類的典型數據點作為「圖像詞元」。
3.如權利要求1或2所述的方法，其特徵在於，根據所提取的「圖像詞元」構建相應的包含圖像η元的圖像詞典的過程如下: 針對每一個「圖像詞元」，將與其相鄰的η-1個「圖像詞元」構成一個「圖像詞元」序列，將所有「圖像詞元」序列作為一個項加入「圖像詞典」中，同時加入其長度小於η的其他「圖像詞元」序列，構成「圖像詞典」，η為大於I的整數。·
4.如權利要求3所述的方法，其特徵在於，根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像η元指: 在建立索引的過程中，對索引的圖片提取所述「圖像詞典」項，計算每個圖片基於相應「圖像詞典」的詞頻-逆向文件頻率(TF-1DF)特徵向量。
5.如權利要求4所述的方法，其特徵在於，按照如下公式計算每個圖片的基於相應「圖像詞典」的TF-1DF特徵向量:
/I,, H =——^_
V η 式中IIi, j——「圖像詞典」項在圖像dj中的出現頻數； Σ knk,j——圖像Clj中所有項出現頻數總和；
IDI idf =1g-^-
1+U./:/, e I 式中|d|—圖片庫的圖像總數； U:t, e dj} I—包含該「圖像詞典」項ti的圖像數量。
6.一種基於η元模型的圖片索引構建裝置，其特徵在於，該裝置包括: 第一模塊，對帶有文本標註的圖片數據集進行預處理，從預處理後的圖像數據集中提取「圖像詞元」； 第二模塊，根據所提取的「圖像詞元」構建相應的包含圖像η元的圖像詞典； 第三模塊，根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像η元，建立基於η元模型的圖片索引。
7.如權利要求6所述的裝置，其特徵在於，所述第一模塊提取圖像數據集的「圖像詞元」指: 將隨機選取的圖片元均勻切分為若干個圖像小塊； 提取所述圖像小塊的圖像底層特徵，將其多個底層特徵進行融合，得到反應圖像小塊多種底層特徵的特徵向量； 對得到的每個圖像小塊的特徵向量，進行聚類操作，選取代表相應簇類的典型數據點作為「圖像詞元」。
8.如權利要求6或7所述的裝置，其特徵在於，所述第二模塊根據所提取的「圖像詞元」構建相應的包含圖像η元的圖像詞典指: 針對每一個「圖像詞元」，將與其相鄰的η-1個「圖像詞元」構成一個「圖像詞元」序列，將所有「圖像詞元」序列作為一個項加入「圖像詞典」中，同時加入其長度小於η的其他「圖像詞元」序列，構成「圖像詞典」，η為大於I的整數。
9.如權利要求8所述的裝置，其特徵在於，所述第三模塊根據所構建的圖像詞典，對帶有文本標註的圖片數據集中的圖片進行切割，提取相應的圖像η元指: 在建立索引的過程中，對索引的圖片提取所述「圖像詞典」項，計算每個圖片基於相應「圖像詞典」的詞頻-逆向文件頻率(TF-1DF)特徵向量。
10.如權利要求9所述的裝置，其特徵在於，所述第三模塊按照如下公式計算每個圖片的基於相應「圖像詞典」的TF-1DF特徵向量:
【文檔編號】G06F17/30GK103853795SQ201210522640
【公開日】2014年6月11日 申請日期:2012年12月7日 優先權日:2012年12月7日
【發明者】戶保田, 陸平, 劉麗霞, 陳清才, 劉勝宇 申請人:中興通訊股份有限公司, 哈爾濱工業大學深圳研究生院