多特徵基於內容的圖像檢索方法和系統的製作方法
2023-09-15 23:50:05 1
多特徵基於內容的圖像檢索方法和系統的製作方法
【專利摘要】本申請提供一種多特徵基於內容的圖像檢索方法和系統。該方法包括根據提取而獲得的圖像的各種單低層特徵，將作為檢索詞的圖像所提取的各種單低層特徵，基於歸一化的相似性度量，執行圖像檢索，以分別匹配各個已經存儲的圖像的對應的各種所述單低層特徵；並基於檢索到的圖像結果的總相似度量大小，對檢索到的圖像結果進行統一方式排序並輸出。從而解決在基於內容的圖像檢索中通過統一各個低層特徵的相似度度量的線性加權方式優化多低層特徵結合的問題，提升檢出率和檢準率，提高基於內容的圖像檢索的多方面滿足用戶圖像檢索的實際需求。
【專利說明】多特徵基於內容的圖像檢索方法和系統
【技術領域】
[0001] 本申請涉及檢索領域，尤其涉及多特徵基於內容的圖像檢索方法和系統。
【背景技術】
[0002] 隨著網際網路搜尋引擎和檢索技術的發展，基於內容的圖像檢索（Content-based image retrieval，CBIR)被提出並逐漸成熟。常見的如Google、百度等搜尋引擎也相繼推 出了相應的大眾商業化搜索技術，CBIR逐漸步入人們日常網絡生活中。而一幅圖像包含的 信息往往遠遠超出依據文本，搜索過程中，如何處理圖像、分析圖像、抽取圖像特徵、尤其是 如何匹配兩幅圖像，則對CBIR非常重要。
[0003] 現有的CBIR技術，主要以圖像處理、模式識別、計算機視覺、圖像理解等領域的知 識為基礎，從認知科學、人工智慧、資料庫管理系統及人機互動、信息檢索等領域，引入新的 媒體數據表示和數據模型，以便設計出可靠、有效的檢索算法、系統結構以及友好的人機界 面。現有的CBIR技術中，圖像低層特徵的提取屬於早期的較成熟的CBIR技術，其主要是 快速、有效地獲得圖像的低層特徵，比如：顏色特徵、紋理特徵、輪廓特徵、形狀特徵、對象 特徵、空間特徵、字符特徵等，目前已經有成熟的算法支持圖像的低層特徵提取，通常使用 最多的低層特徵是顏色、形狀、紋理。由於一般的低層特徵提取是對圖像全局信息的描述， 事實上，用戶查詢一副圖像的時候並不一定會關注圖像的背景，而是更關注圖像中的事物 或對象，因此,產生了區域圖像檢索的方式，即將圖像分成若干有意義的區域，然後再對區 域進行特徵提取並進行檢索，這一檢索方法縮小了語義鴻溝。這裡，語義鴻溝主要是由於 計算機獲取的圖像的視覺信息與用戶對圖像理解的語義信息的不一致性而導致的低層和 高層檢索需求間的距離。另外，由於CBIR的低層特徵與高層語義特徵存在語義鴻溝，並 且當前的語義特徵的提取手段尚不成熟，因而，在現有技術中，還會通過人機互動和相關 反饋技術，在檢索系統中，根據用戶的需求實時地調整檢索參數來推測用戶更加預期的結 果，相關反饋技術例如：文本檢索中的相關反饋技術、機器學習方法等其他算法和理論（如 Bayesian理論、支持向量機、Active Learning、高斯混合模型等）構建的相關反饋技術，能 在一定程度上緩解語義鴻溝帶來的檢索覆蓋範圍狹窄的缺陷。但現有的CBIR，對於低層視 覺特徵即圖像低層特徵來說，用戶的需求可能來自不同特徵即多方位的需求：顏色、形狀、 紋理、等等。從而單一的低層特徵實際不能滿足所有圖像檢索需求，比如：實際檢索時顏色 是圖像最顯著的特徵，但單純用顏色來檢索不能得到理想的結果（例：用紅蘋果檢索得不 到青蘋果），即便結合相關反饋技術，也仍然不能完全滿足用戶的實際圖像檢索的多方位要 求，覆蓋面狹窄。
[0004] 因此，需要提供優化的CBIR方案，以擴大圖像檢索的覆蓋面，滿足用戶圖像檢索 的實際多方位需求，提升用戶基於內容的圖像檢索的體驗。
【發明內容】
[0005] 本申請的主要目的在於提供一種多特徵基於內容的圖像檢索方法和系統，以解決 在基於內容的圖像檢索中，通過統一各個低層特徵的相似度度量的線性加權方式優化多低 層特徵結合的問題，使得檢索時可以將不同特徵上相似的圖像同時都被檢索出來，從而提 升檢出率和檢準率；進而解決利用低層特徵的特性之間存在的互補和抑制特點，進一步有 效提高基於內容的圖像檢索的多方面滿足用戶圖像檢索的實際需求，提升用戶基於內容的 圖像檢索的體驗。
[0006]本申請一方面提供一種多特徵基於內容的圖像檢索方法，包括：根據單低層特徵 的提取，獲取圖像的各種單低層特徵；根據作為檢索詞的圖像所提取的多低層特徵執行圖 像檢索，基於歸一化的相似性度量，分別匹配已經存儲的圖像所提取的相應的多低層特徵； 基於檢索到的圖像結果的總相似度量大小，對檢索到的圖像結果進行統一方式排序並輸 出。
[0007]其中，根據單低層特徵的提取，獲取圖像的各種單低層特徵，還包括：基於顏色直 方圖和顏色矢量直方圖進行圖像特徵提取，以獲取顏色特徵；基於灰度熵矩陣和形狀輪廓 點分布直方圖進行特徵提取，以獲取形狀特徵；基於紋理基元空間分布進行特徵提取，以獲 取紋理特徵。
[0008]其中，根據作為檢索詞的圖像所提取的多低層特徵執行圖像檢索，基於歸一化的 相似性度量，分別匹配已經存儲的圖像所提取的相應的多低層特徵，還包括：所述多低層特 徵包括圖像的顏色特徵、形狀特徵和紋理特徵；所述基於歸一化相似性度量，分別匹配已經 存儲的圖像所提取的相應的多低層特徵包括：將所述特徵中一個或幾個特徵進行匹配時的 相似性度量規則與其餘所述特徵進行匹配時的相似性度量規則不同的，轉換成與其餘所述 特徵進行匹配時的相似性度量規則。其中，所述歸一化還包括：歸一化相似性度量的值域相 關性和值域的區間長度。
[0009]其中，基於檢索到的圖像結果的總相似度量大小，對檢索到的圖像結果進行統一 方式排序並輸出，還包括：基於多低層特徵匹配時確定的各個相似度量進行線性加權，以獲 得總相似度量，並基於所述總相似度量對檢索到的圖像結果進行統一排序。其中，所述統一 排序包括：按照總相似度量從大到小排列。
[0010]本申請另一方面提供一種多特徵基於內容的圖像檢索方法系統，包括：提取裝置， 用於根據單低層特徵的提取，獲取圖像的各種單低層特徵；歸一化檢索裝置，用於根據作為 檢索詞的圖像所提取的多低層特徵執行圖像檢索，基於歸一化的相似性度量，分別匹配已 經存儲的圖像所提取的相應的多低層特徵；排序輸出裝置，基於檢索到的圖像結果的總相 似度量大小，對檢索到的圖像結果進行統一方式排序並輸出。
[0011]其中，所述提取裝置還包括：第一特徵提取裝置，基於顏色直方圖和顏色矢量直方 圖進行圖像特徵提取，以獲取顏色特徵；第二特徵提取裝置，基於灰度熵矩陣和形狀輪廓點 分布直方圖進行特徵提取，以獲取形狀特徵；第三特徵提取裝置，基於紋理基元空間分布進 行特徵提取，以獲取紋理特徵。
[0012]其中，歸一化檢索裝置，還包括：所述多低層特徵包括圖像的顏色特徵、形狀特徵 和紋理特徵；所述基於歸一化相似性度量，分別匹配已經存儲的圖像所提取的相應的多低 層特徵包括：將所述特徵中一個或幾個特徵進行匹配時的相似性度量規則與其餘所述特徵 進行匹配時的相似性度量規則不同的，轉換成與其餘所述特徵進行匹配時的相似性度量規 則。
[0013] 其中，排序輸出裝置，還包括：基於多低層特徵匹配時確定的各個相似度量進行線 性加權，以獲得總相似度量，並基於所述總相似度量對檢索到的圖像結果進行統一排序。
[0014] 與現有技術相比，根據本申請的技術方案，結合和優化了各種特徵提取算法，把在 各個特徵上都相似的圖像都檢索出來，可以在多特徵CBIR技術中，將用戶的需求擴展到不 同特徵，並對這些特徵計算出的相似度做統一的排序，比如，可以既出現顏色相關的圖像也 出現形狀、紋理相關的圖像，因而，在檢索效果上優於現有的使用單一特徵的圖像檢索，即 檢索的覆蓋範圍都得到了提高，能更廣泛地滿足用戶的多方位的檢索要求即檢全率和檢準 率都得到了提高，符合用戶實際需求，提升用戶檢索體驗。
【專利附圖】
【附圖說明】
[0015] 此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申 請的示意性實施例及其說明用於解釋本申請，並不構成對本申請的不當限定。在附圖中：
[0016] 圖1是本申請的多特徵基於內容的圖像檢索方法的一實施例的流程圖；
[0017] 圖2是本申請的方法中利用各種算法進行單低層特徵提取的一實施例的流程圖；
[0018] 圖3是本申請顏色直方圖的示意圖；
[0019] 圖4是本申請的多特徵基於內容的圖像檢索系統的一實施例的結構框圖。
【具體實施方式】
[0020] 本申請的主要思想在於，根據提取而獲得的圖像的各種單低層特徵，將作為檢索 詞的圖像所提取的各種單低層特徵，基於歸一化的相似性度量,執行圖像檢索，以分別匹配 各個已經存儲的圖像的對應的各種所述單低層特徵；並基於檢索到的圖像結果的總相似度 量大小，對檢索到的圖像結果進行統一方式排序並輸出。從而，能夠避免由於相似度計算、 單一特徵的匹配不全面等問題，而使得基於內容的圖像檢索運用多特徵檢索能覆蓋更多的 相匹配的結果即提高檢全率，並利用相似性度量的歸一化或者說統一後增加了對檢索時的 匹配結果的準確度即提高了檢準率。
[0021] 為使本申請的目的、技術方案和優點更加清楚，下面將結合本申請具體實施例及 相應的附圖對本申請技術方案進行清楚、完整地描述。顯然，所描述的實施例僅是本申請一 部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做 出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
[0022] 對基於內容的圖像檢索技術（CBIR)的低層視覺特徵來講，用戶的需求可能來自 不同的特徵：顏色、形狀、紋理。單一的特徵不能滿足所有的圖像檢索需求，本申請的方案通 過多特徵結合的方式可以使得在不同特徵上相似的圖像同時被檢索到。首先，優化低層特 徵提取；然後，在實現這些低層特徵提取的基礎上，將各個特徵的相似度度量以線性加權的 方式予以統一；進而，可以將各個特徵計算出的相似度做統一排序，對檢索結果進行輸出。 由此，基於內容的圖像檢索技術的檢全率和檢準率都得到優化和提升。
[0023] 根據本申請的實施例，提供了一種多特徵基於內容的圖像檢索方法。
[0024]參考圖1,圖1是本申請的多特徵基於內容的圖像檢索方法的一實施例的流程圖 100。
[0025]在圖形圖像計算機檢索、處理等算法中，圖像的特徵可以表示為一個η維向量。圖 像的特徵包括圖像的低層特徵，這些低層特徵包括顏色、形狀、紋理等。在常用的相似性 度量方式（算法）又很廣泛，比如：距離度量、相關計算、關聯繫數計算等，而距離度量還 可以包括：Minkkowsky距離，Manhattan距離，歐式距離，加權歐式距離，Chebyshev距離， Mahalanobis距離等。並且，各種圖像的低層特徵的相似性度量也不相同。基於算法，相似 性度量方式多樣，圖像的特徵是多維向量。。
[0026]在步驟S110處，根據對單低層特徵的提取，獲取圖像的各種低層特徵。
[0027]其中，各種低層特徵包括顏色特徵、形狀特徵以及紋理特徵等，這些單低層特徵作 為圖像的多個低層特徵。其後將利用各種低層特徵即多低層特徵來全面地完成檢索。進一 步，可以通過組合或單獨地運用低層特徵提取算法，獲得各種低層特徵如各個相應的顏色、 形狀、紋理等低層特徵，並保存，以便綜合利用多種類型的特徵（多個低層特徵）。具體地， 可以對存儲的圖像運用例如：顏色直方圖、顏色主色提取、顏色矢量直方圖、形狀輪廓點分 布直方圖、灰度熵矩陣、基元空間分布等特徵提取算法，單獨或結合，獲得相應的各種圖像 特徵，如：顏色、形狀、紋理等低層特徵。見圖2所示，為利用各種算法進行單低層特徵提取 的一實施例的流程圖。下面結合圖2以及列舉了幾個相應算法的組合或單獨運用，獲得優 化的提取過程，由此得到圖像的各種低層特徵，這些特徵保存起來以便之後一併使用，即利 用多低層特徵在後續檢索使用。
[0028]步驟S210,基於顏色直方圖和顏色矢量直方圖進行圖像特徵提取，以獲取顏色特 徵。
[0029]單低層特徵即單一的低層特徵。得到的顏色特徵可以有多種，常見的例如：RGB空 間顏色集合所指示的顏色特徵。
[0030] 在一個實施方式中，基於顏色直方圖獲取顏色特徵（即圖像的低層特徵之一），並 存儲。如圖3所示顏色直方圖示意圖。其中，顏色直方圖是一種圖像的全局性特性，例如， 設圖像大小為MXN，M為圖像橫向像素數量，N為圖像縱向像素數量，顏色直方圖為H。，其中 c e C是顏色集合，以採用16個強度的RGB空間顏色集合為例。其中，表示圖像中某像 素的RGB顏色值。貝1J:
【權利要求】
1. 一種多特徵基於內容的圖像檢索方法，其特徵在於，包括： 根據單低層特徵的提取，獲取圖像的各種單低層特徵； 根據作為檢索詞的圖像所提取的多低層特徵執行圖像檢索，基於歸一化的相似性度 量，分別匹配已經存儲的圖像所提取的相應的多低層特徵； 基於檢索到的圖像結果的總相似度量大小，對檢索到的圖像結果進行統一方式排序並 輸出。
2. 如權利要求1所述的方法，其特徵在於，根據單低層特徵的提取，獲取圖像的各種單 低層特徵，還包括： 基於顏色直方圖和顏色矢量直方圖進行圖像特徵提取，以獲取顏色特徵； 基於灰度熵矩陣和形狀輪廓點分布直方圖進行特徵提取，以獲取形狀特徵； 基於紋理基元空間分布進行特徵提取，以獲取紋理特徵。
3. 如權利要求1或2所述的方法，其特徵在於，根據作為檢索詞的圖像所提取的多低層 特徵執行圖像檢索，基於歸一化的相似性度量，分別匹配已經存儲的圖像所提取的相應的 多低層特徵，還包括： 所述多低層特徵包括圖像的顏色特徵、形狀特徵和紋理特徵； 所述基於歸一化相似性度量，分別匹配已經存儲的圖像所提取的相應的多低層特徵包 括：將所述特徵中一個或幾個特徵進行匹配時的相似性度量規則與其餘所述特徵進行匹配 時的相似性度量規則不同的，轉換成與其餘所述特徵進行匹配時的相似性度量規則。
4. 如權利要求1-3之一所述的方法，其特徵在於，所述歸一化還包括：歸一化相似性度 量的值域相關性和值域的區間長度。
5. 如權利要求1-4之一所述的方法，其特徵在於，基於檢索到的圖像結果的總相似度 量大小，對檢索到的圖像結果進行統一方式排序並輸出，還包括：基於多低層特徵匹配時確 定的各個相似度量進行線性加權，以獲得總相似度量，並基於所述總相似度量對檢索到的 圖像結果進行統一排序。
6. 如權利要求5所述的方法，其特徵在於，所述統一排序包括：按照總相似度量從大到 小排列。
7. -種多特徵基於內容的圖像檢索系統，其特徵在於，包括： 提取裝置，用於根據單低層特徵的提取，獲取圖像的各種單低層特徵； 歸一化檢索裝置，用於根據作為檢索詞的圖像所提取的多低層特徵執行圖像檢索，基 於歸一化的相似性度量，分別匹配已經存儲的圖像所提取的相應的多低層特徵； 排序輸出裝置，基於檢索到的圖像結果的總相似度量大小，對檢索到的圖像結果進行 統一方式排序並輸出。
8. 如權利要求7所述的系統，其特徵在於，所述提取裝置還包括： 第一特徵提取裝置，基於顏色直方圖和顏色矢量直方圖進行圖像特徵提取，以獲取顏 色特徵； 第二特徵提取裝置，基於灰度熵矩陣和形狀輪廓點分布直方圖進行特徵提取，以獲取 形狀特徵； 第三特徵提取裝置，基於紋理基元空間分布進行特徵提取，以獲取紋理特徵。
9. 如權利要求7或8所述的系統，其特徵在於，歸一化檢索裝置，還包括： 所述多低層特徵包括圖像的顏色特徵、形狀特徵和紋理特徵； 所述基於歸一化相似性度量，分別匹配已經存儲的圖像所提取的相應的多低層特徵包 括：將所述特徵中一個或幾個特徵進行匹配時的相似性度量規則與其餘所述特徵進行匹配 時的相似性度量規則不同的，轉換成與其餘所述特徵進行匹配時的相似性度量規則。
10.如權利要求6-9之一所述的系統，其特徵在於，排序輸出裝置，還包括： 基於多低層特徵匹配時確定的各個相似度量進行線性加權，以獲得總相似度量，並基 於所述總相似度量對檢索到的圖像結果進行統一排序。
【文檔編號】G06K9/46GK104298775SQ201410601729
【公開日】2015年1月21日 申請日期:2014年10月31日 優先權日:2014年10月31日
【發明者】劉瑞軍, 侯堃, 陳誼 申請人:北京工商大學