一種基於超圖的圖像混合摘要生成方法
2023-05-01 00:25:31
專利名稱：一種基於超圖的圖像混合摘要生成方法
技術領域：
本發明屬於圖像處理技術領域，特別是一種基於超圖的圖像混合摘要生成方法。
背景技術：
隨著各種數位化成像設備(如數位相機,手機等)的普及、大容量存儲設備成本的降低以及網際網路技術的革新，現代生活中多媒體信息(包括圖像、視頻等)的數量在迅猛增長，特別是數字圖像充斥在人們日常生活的方方面面，並且隨之誕生了一批圖像分享網站(如Flick^Picasa等)。但是在這些網站上，存在著明顯的缺陷海量的圖像無法得到有效的組織，給用戶尋找想要的圖片以及瀏覽圖片集合造成了不便。 為了更好地組織圖像和將圖像有效可視化，研究人員提出了圖像混合摘要技術。所謂的圖像混合摘要，是指從海量的圖像集合中選取少量具有代表性的圖像和語義標籤作為整個集合的代表，方便用戶快速瀏覽和查詢。這裡的語義標籤指的是對圖像內容進行描述的文本單詞，語義標籤簡稱為標籤。近年來，研究人員提出了許多針對網際網路圖像的圖像混合摘要技術文獻 I (Jaffe A, Naaman M, Tassa T, and Davis M. Generating Summaries forLargeCoIIections of Geo-Referenced Photographs.1n Proceedings of InternationalConference onfforld Wide Web, pages 853-854, 2006.) Jaff 等使用標籤和地理信息來產生一個圖像摘要集；文獻 2(Simon I, Snavely N, and Seitz S M. Scene Summarization for OnlineImageCollections.1n Proceedings of IEEE IIth International Conference onComputer Vision, 2007,1-8.) Simon等使用了一個貪婪k-means算法選擇了一系列的典型性視圖來形成場景摘要；文獻3 (Fan J, Gao Y, Luo H, Keim D A, and Li Z. A Novel Approach toEnableSemantic and Visual Image Summarization for Exploratory Image Search.1nProceedings ofMultimedia Information Retrieval, 2008, 358-365.)Fan 等首先根據圖像的主題關鍵詞形成一個主題詞網絡，然後再使用混合核和基於代表性的圖像採用方法產生圖像摘要。儘管以上文獻I 文獻3的圖像混合摘要生成方法取得了一些成果，但是這些方法由於所用模型的缺陷，生成圖像混合摘要的過程中，只能考慮圖像與圖像之間的關係、標籤與標籤之間的關係，無法考慮完全以下三種關係圖像與圖像之間的關係、標籤與標籤之間的關係、圖像與標籤之間的關係，因此生成的圖像混合摘要並不理想。
發明內容
本發明的目的在於提供一種不僅可以利用圖像與圖像、標籤與標籤之間的同質關係，同時還可以利用圖像與標籤之間的異質關係對圖像進行有效分類的基於超圖的圖像混合摘要生成方法。
實現本發明目的的技術解決方案一種基於超圖的圖像混合摘要生成方法，具體包括以下步驟步驟1、輸入N張原始圖像，每一張原始圖像應滿足以下條件附帶的標籤個數不少於I個；步驟2、輸入標籤列表2.1)輸入原始圖像的標籤列表每一張原始圖像附帶的標籤的集合，稱為該張原始圖像的標籤列表；
2. 2)從所有原始圖像的標籤列表中統計出獨立標籤集合L = (IijI2,. . . ,Ii,...,1M}，其中獨立標籤集合L中任意兩個標籤I都不重複，M為獨立標籤的個數；步驟3、抽取原始圖像的視覺特徵集合抽取原始圖像的視覺特徵集合《F,Ψ = {F{,F2,...,Ft,...,Fn}，其中 k 表示 k 種視覺特徵廣表示第 i 張圖像的第j種視覺特徵；步驟4、建立超圖，建立超圖的過程包括以下兩個步驟4.1)建立超圖的頂點集合V，頂點集合V包括V1，V2 =V1表示第I種類型的頂點即原始圖像的視覺特徵集合《F ; V2表示第2種類型的頂點即原始圖像的獨立標籤集合L ；4.2)建立超圖的超邊集合E，超邊集合E包括E1，E2, E3 =E1表示第I種超邊，連接的是V1類型的頂點；E2表示第2種超邊，連接的是V2類型的頂點；E3表示第3種超邊，連接的是V1和V2類型的頂點；步驟5、使用超圖譜分解技術對超圖的頂點集合V進行分割，將超圖的頂點集合V分割成若干組；步驟6、選取摘要，選取摘要的過程包括以下兩個步驟6.1)在每一組中選取m個V2類型的頂點對應的獨立標籤，作為該組的標籤摘要集合T ;6. 2)在每一組中選取η個V1類型的頂點對應的原始圖像，作為該組的圖像摘要集合I。本發明與現有技術相比，其顯著優點是(1)本發明使用的超圖模型，不僅可以利用圖像與圖像之間的關係、標籤與標籤之間的關係，同時還可以利用圖像與標籤之間的關係；(2)本發明提出的選取圖像摘要和標籤摘要的方法，同時考慮了語義和視覺的代表性，選取的圖像摘要和標籤摘要能夠較好地代表所屬分組。
四
圖1是本發明基於超圖的圖像混合摘要生成方法的流程圖。圖2是本發明基於超圖的圖像混合摘要生成方法的超圖示意圖。圖3是本發明基於超圖的圖像混合摘要生成方法的效果實例圖。
五
具體實施例方式下面結合附圖對本發明作進一步詳細描述。結合圖1、圖2，本發明提出的基於超圖的圖像混合摘要生成方法，具體包括以下步驟
步驟1、輸入N張原始圖像，每一張原始圖像應滿足以下條件附帶的標籤個數不少於I個；步驟2、輸入標籤列表2.1)輸入原始圖像的標籤列表每一張原始圖像附帶的標籤的集合，稱為該張原始圖像的標籤列表；2. 2)從所有原始圖像的標籤列表中統計出獨立標籤集合
權利要求
1.一種基於超圖的圖像混合摘要生成方法，其特徵在於，包括以下步驟步驟1、輸入N張原始圖像，每一張原始圖像應滿足以下條件附帶的標籤個數不少於I個；步驟2、輸入標籤列表.2.1)輸入原始圖像的標籤列表每一張原始圖像附帶的標籤的集合，稱為該張原始圖像的標籤列表；.2.2)從所有原始圖像的標籤列表中統計出獨立標籤集合L = (I1,12，. . .，Ii,. . .，1M}， 其中獨立標籤集合L中任意兩個標籤I都不重複,M為獨立標籤的個數；步驟3、抽取原始圖像的視覺特徵集合抽取原始圖像的視覺特徵集合《F ,Ψ = [F1,F2,...,Fi,...,Fn} A = [fU』U}，其中 k表示 k種視覺特徵，f 表示第 i張圖像的第j種視覺特徵；步驟4、建立超圖，建立超圖的過程包括以下兩個步驟.4.1)建立超圖的頂點集合V，頂點集合V包括V1，V2 =V1表示第I種類型的頂點即原始圖像的視覺特徵集1、廠V2表示第2種類型的頂點即原始圖像的獨立標籤集合L .4.2)建立超圖的超邊集合E，超邊集合E包括E1，E2, E3 =E1表示第I種超邊，連接的是 V1類型的頂點；E2表示第2種超邊，連接的是V2類型的頂點；E3表示第3種超邊，連接的是 V1和V2類型的頂點；步驟5、使用超圖譜分解技術對超圖的頂點集合V進行分割，將超圖的頂點集合V分割成若干組；步驟6、選取摘要，選取摘要的過程包括以下兩個步驟.6.1)在每一組中選取m個V2類型的頂點對應的獨立標籤，作為該組的標籤摘要集合T ；.6.2)在每一組中選取η個V1類型的頂點對應的原始圖像，作為該組的圖像摘要集合I。
2.根據權利要求1所述的基於超圖的圖像混合摘要生成方法，其特徵在於步驟3中所述的視覺特徵包括顏色直方圖、顏色相關圖、邊緣方向直方圖、小波紋理和顏色矩。
3.根據權利要求1所述的基於超圖的圖像混合摘要生成方法，其特徵在於步驟4.2 中所述的E\E2，E3分別定義如下1)E1 =4，…，4丨，超邊e丨定義為1-Y =U WF1-FjW1^m1 -"./=1 — I O,丨丨/';-/;^』//1VJTH1表示閾值，I I · I |2表示2-範數；4的權重w丨定義為2)t超邊<定義為
4.根據權利要求1所述的基於超圖的圖像混合摘要生成方法，其特徵在於步驟6.1 中所述的在每一組中選取m個V2類型的頂點對應的獨立標籤，作為該組的標籤摘要集合T， 具體如下令s(l，c)表示標籤I描述第c類的代表性分數，則s (l，c)可定義為
5.根據權利要求1所述的基於超圖的圖像混合摘要生成方法，其特徵在於步驟6.2 中所述的在每一組中選取η個V1類型的頂點對應的原始圖像，作為該組的圖像摘要集合I， 具體如下令P (F，t，c)表示視覺特徵F對應的原始圖像描述第c類的代表性分數，t為視覺特徵F對應的原始圖像附帶的標籤集合，則P (F，t，c)可定義如下
全文摘要
本發明提供了一種基於超圖的圖像混合摘要生成方法，具體包括步驟1輸入原始圖像；步驟2輸入標籤列表；步驟3抽取視覺特徵；步驟4建立超圖；步驟5超圖分割；步驟6選取混合摘要。本發明使用的超圖模型，不僅可以利用圖像與圖像、標籤與標籤之間的同質關係，同時還可以利用圖像與標籤之間的異質關係；本發明提出的選取圖像摘要和標籤摘要的方法，同時考慮了語義和視覺的代表性，選取的圖像摘要和標籤摘要能夠較好地代表所屬分組。
文檔編號G06T11/60GK103020120SQ20121046450
公開日2013年4月3日 申請日期2012年11月16日 優先權日2012年11月16日
發明者唐金輝, 李旻先 申請人:南京理工大學