一種基於感性認知的圖像檢索結果排序方法

2023-04-24 09:54:16

專利名稱：：一種基於感性認知的圖像檢索結果排序方法
技術領域：
：本發明涉及圖像搜索
技術領域：
，尤其涉及一種基於感性認知的圖像檢索結果排序方法。
背景技術：
：目前市場上存在幾個典型的搜尋引擎，包括百度、Google、搜狐的搜狗和微軟的Bing。上述搜尋引擎面向文本，適合各種用戶，且已經基本佔領了文本搜索的市場。但是文本搜尋引擎也具有某些不足和缺陷。當人們要搜索某些無法確切描述的內容時，或者需要搜素的內容含有主觀概念，又或者需要搜索和已知格式的數據(音頻、視頻、圖像、3D網格等各種多媒體數據)很類似的結果時，文本搜索就顯示了它的不足。為此，市場上出現了一些基於圖像的搜尋引擎。基於圖像的搜尋引擎需要輸入樣例圖，然後從資料庫中查找和樣例圖的圖像特徵相似的結果。比如，www,tinyeye.com,www.like,com就是基於圖像檢索(記為CBIRContentBasedImageRetrieval)的例子。大部分基於圖像的搜尋引擎以圖像內容理解和模式識別等技術為基礎，且面向各種各種的圖像。現有的CBIR具有以下不足之處對於服飾類的CBIR系統，現有的應用僅僅依靠圖像的視覺特徵進行檢索，而沒有考慮人們在現實中的購買環境，缺乏真實體驗感。另外，現有系統中的圖像數據都相對比較統一，數據量也不多。隨著網際網路上各類數據的爆炸式增長，人們尋找目標產品所需的時間越來越多。另外，雖然存在各種功能強大的文本搜尋引擎，但對於服飾類產品，用戶常常無法利用文字準確描述需求。
發明內容本發明的目的在於針對現有技術的不足，提供一種基於感性認知的圖像檢索結果排序方法。本發明利用樣圖描述用戶的需求，在基於圖像內容的理解上，幫助用戶快速尋找到目標產品(主要是服飾類產品)。本發明主要基於圖像的客觀特徵和主觀感性認知對圖像結果進行排序。在對圖像理解的基礎上，提取圖像特徵，取得相似度，並基於用戶體驗對顯示方式進行布局。這種方式不但能及時找到用戶的目標產品，而且能給用戶極大的視覺衝擊，積極引導用戶進入購物環節。這是文本檢索無法實現的，是一種新型的電子導購平臺。為了建立這樣一種方便直觀的智能導購平臺，本發明採取以下步驟作為技術方案。1)首先，建立含有大量圖像的原始資料庫。為了建立圖像資料庫，需要利用網絡爬蟲去各種含有服飾類圖像的網站抓取原始數據。2)針對庫中的每張圖像，獲取圖像中目標所在的精確區域，記為MASK區域(掩膜區域記為MASK)。為了獲取MASK區域，需要開發一種半自動的目標定位子系統，用於確定服飾在圖像中的大概位置，並在此基礎上利用圖像分割技術獲得準確的區域。3)根據每張圖像的MASK區域獲取各種圖像特徵。針對服飾類圖像，能用於特徵表述的參數有顏色、形狀、紋理和圖案等。不同種類的衣服可能需要獲取不同的特徵。比如T恤不需要形狀特徵，但需要圖案特徵。4)建立含有圖像和特徵數據的綜合資料庫。整個資料庫由原始圖像資料庫和特徵資料庫組成。為了方便存儲和訪問，需要將圖像數據和特徵數據分段存儲。庫中每新增一張圖像，都需要提取其特徵，並將其存入特徵資料庫。每刪除一張圖像，需要同時刪除原始圖像和其特徵數據。5)搭建B/S結構平臺，向用戶提供基於樣例圖的檢索服務。綜合資料庫放在伺服器，客戶端建立一個入口平臺，方便用戶上傳圖像，或者從庫中選擇圖像作為樣例圖進行檢索。伺服器端根據圖像的顏色、形狀、局部圖案等特徵，按照相似性返回資料庫中與樣例圖比較接近的系列圖像，最終檢索結果顯示在客戶端。6)檢索結果圖中，根據感知相似度對結果進行排序。基於樣圖檢索得到的結果圖列表中，按照布局方式，以客觀特徵(顏色特徵、形狀或圖案特徵等)和主觀特徵(產品風格等)的相似性進行結果圖的展示。結果圖中同時含有商品價格、相應網絡商家連結等信息。單擊結果圖，將可以該張結果圖作為輸入圖進行新一輪的檢索。本發明的有益效果是作為一種新型的電子購物引導平臺，在文本無法準確表達的情況下，結合主觀特徵和客觀特徵的圖像相似性可以更快、更準確地找到目標商品。用戶可在該平臺上更好地展示自己的購物需求，減少商品的查找時間，更加高效地促成網絡商品交易。同時，本發明將促進新型電子購物平臺的發展，使中國電子商務網絡平臺更加多元化。圖1是系統框架圖；圖2是顏色特徵提取流程圖；圖3是形狀特徵提取示意圖；圖4是B/S架構示意圖；圖5是局部匹配模塊流程圖；圖6是客戶端頁面的搜索結果顯示效果示意圖。具體實施例方式下面以服飾類圖像的檢索和顯示為例，結合附圖對本發明做進一步詳細的說明。本發明涉及到的操作可綜合為下表所示，而整個系統的框架及流程見圖1所示。本發明的基於感性認知的圖像檢索結果排序方法，包括以下步驟1.1)在構建圖像特徵庫前，採用目標自動定位方法，獲取入庫圖像的掩膜區域。由圖1可見，目標提取模塊包括網絡數據抓取、初步過濾子模塊、目標定位子模塊、圖像掩碼提取子模塊等四個步驟。網絡數據抓取模塊利用網絡爬蟲機器人，從網際網路上搜集相關的服飾圖像。但是爬蟲機器人只根據圖像格式的判斷進行抓取，因此並不是所有下載到的圖像都是所需的服飾類圖像。初步過濾子模塊的功能就是刪除一些明顯的非服飾類圖像，過濾策略包括格式過濾，即只下載特定格式的圖像。尺寸過濾，即根據圖像大小、長寬比等數據過濾一些無用的圖像。圖像屬性過濾，去除所有非彩色的圖像。由於網絡上各類圖像沒有標準和規範，非常不統一。因此很多圖像中，沒有固定的背景，一張圖像中可能含有好幾件衣服或者服飾類物品，圖像中可能含有模特等等。目標定位子模塊主要用來確定衣服等目標區域所在的大概位置。在目標定位子模塊中，需要對原始圖像數據進行分類，對不同的分類採取不同的方法進行定位。目前的分類有衣服平鋪類基於平鋪時拍攝者會將衣服放在與衣服顏色有區分度的背景下的假設，因此採用大津法(0STU算法)直接進行二值化處理，然後分析二值圖中的連通區域信息，最終確定目標的合理位置。該類的定位效果比較理想，且能直接獲得掩膜MASK數據，省略了後面的掩膜區域獲取子模塊的處理。衣服模特類很多衣服圖像中都有模特，可採用人臉檢測的算法，獲得衣服的大致區域。衣服分格類首先檢測衣服的分格區間，然後再每個區間分別採用不同的方法。其它分類除了上述分類的其它分類。目標定位結果只是一個長方形的框，框內除了目標物以外，還有可能存在其它物體或者背景。因此，需要得到目標物的精確區域，這就需要掩碼提取。圖像掩碼提取子模塊是在目標定位子模塊的基礎上，獲取圖像中目標的精確位置。目前採用基於最小能量的收斂算法。1.2)獲得圖像的掩膜區域後，提取圖像的顏色特徵。顏色特徵的提取方法如圖2所示。步驟如下顏色量化將每個通道8位共256級量化為16級，紅、綠、藍三原色RGB三個通道共4096級，即4096個格子Bin。顏色聚類根據量化後的顏色分布，獲取顏色直方圖。取前N(目前N=8)位顏色為初始聚類中心，利用K-Means進行顏色聚類。特徵保存將最終聚類後的顏色從RGB轉換到色調-飽和度-亮度顏色空間(HSV空間)。HSV空間被量化為36000級，分別是H值360級，S值和V值各10級。將轉換後的HSV顏色分類以及該類顏色佔的比重保存到特徵文件。1.3)得到圖像的掩膜區域後，獲取圖像的形狀特徵。形狀特徵的獲取主要採用「N線法」，如圖3所示。在掩膜區域利用N線法，衡量每條線和MASK寬度的比例，以N條線的比例值數組作為形狀特徵。針對不同的服飾類別，還需要獲取掩膜區域的長寬比作為一個簡單的形狀特徵。1.4)獲得圖像的掩膜區域後，對於T恤等特殊類別服裝，獲取圖案等特徵。圖案特徵只在特殊類目的圖像中獲取，其方法為首先採用圖案區域自動定位方法，粗略估算MASK區域中T恤上的圖案所在的長方形(RECT)區域。對於自動定位不準確的圖像，採用人工畫框確定RECT區域。確定衣服上的圖案RECT區域後，獲取圖案區域的SIFT6特徵作為圖案特徵。1.5)構建檢索資料庫，整個資料庫由原始圖像和特徵文件兩部分組成。構建檢索資料庫對應的是「ADD」操作，這個過程可稱之為「入庫」。為了使整個「入庫」過程自動化，需要建立一整套流程機制和處理、審核規範。如圖1所示，不同類目的服飾放在不同的文件目錄中，原始圖像根據規定的組織結構放在特定路徑下，構成整個原始圖像庫。而每入庫一張圖像，就獲取其各種視覺特徵，並在特徵文件中增加響應記錄。不同的特徵記錄在不同的特徵文件中。由於某些特徵較複雜，可能還需要多個文件分別存放特徵數據。2)以B/S架構在建立導購平臺。導購平臺採用B/S架構，即網際網路終端用戶可通過終端瀏覽器訪問導購平臺。服務端同時需要多臺伺服器，包括應用伺服器、搜尋引擎伺服器、資料庫伺服器以及文件伺服器，整個架構如圖4所示。其中，應用伺服器提供對外網頁接口，供用戶訪問，並收集用戶的請求。當用戶發送搜索請求後，應用伺服器將把請求轉交給圖像引擎伺服器，由後者獲取相似度信息，並返回檢索結果。在整個檢索請求的處理過程中，還需要圖像伺服器和資料庫伺服器的配合，共同將檢索結果圖像序列返回到應用伺服器，並最終顯示在客戶端瀏覽器。上述架構可支持大用戶量的訪問，各伺服器節點都可進行擴展，採用集群方式，如應用伺服器、圖像引擎伺服器、文件伺服器、資料庫伺服器，都可部署多臺，統一向外提供服務，可支持千萬級別的日用戶訪問量。3.1)根據圖像的視覺特徵，對檢索結果進行排序。對商品圖像進行排序時，首先考慮圖像的局部特徵是否相似，即先進行局部匹配，獲得相似性列表。然後在局部匹配的基礎上根據顏色、形狀或者圖案等特徵進行層級過濾，得到二次排序。局部匹配主要用於從資料庫中檢索完全含有，或者含有大部分輸入樣圖的圖像。整個算法步驟如圖5所示，具體如下訓練圖像資料庫中每張圖像的特徵，生成N個視覺單詞(VisualWords)。首先提取所有資料庫中的SIFT特徵，然後採用級聯K-Means算法對SIFT特徵進行聚類，生成N個特徵中心，並將此作為視覺單詞集合。為了後續的SIFT特徵匹配，獲取每個SIFT特徵的海明碼，並連同SIFT特徵保存。利用MSER(MostStableExternalRegion最穩外部區域)算法，獲取圖像資料庫中每張圖像的MSER特徵。將MSER和SIFT特徵進行綁定。如果某個MSER特徵對應的區域沒有任何SIFT特徵，則去除該MSER特徵。否則，以某個MSER特徵對應的區域內含有的SIFT特徵集作為後續特徵檢索的基本特徵單元。在進行檢索前，需要保存上述的SIFT特徵庫，對應的海明碼集合，以及視覺單詞集合。在進行檢索時，首先獲取樣例圖的MSER和SIFT的綁定特徵。然後統計每個綁定特徵所對應的視覺單詞集合，並根據集合中的每個視覺單詞找到含有同樣視覺單詞的資料庫圖像，衡量兩者之間的匹配度。對樣例圖中的每個綁定特徵實施上述步驟，並建立一個投票機制，記錄匹配度。投票機制的過程如下SIFT所映射的每一個視覺單詞都在視覺單詞集合中查詢，對查詢到的含有該視覺單詞的圖像中的綁定特徵進行投票打分，投票結果放在臨時結果隊列中，投票結果附上綁定特徵的編號，用於對投票結果的整理，所有視覺單詞都查詢完後，整理臨時結果隊列，一個SIFT對一張圖像的一個綁定特徵，只保留一張得分最高的票，重複的票都刪除；將整理後的結果存入投票隊列中。整理投票結果，統計每張圖像的得分，按分數對圖像進行排序，結果寫回投票隊列。為了得到最終的檢索結果，採用層級過濾策略。首先利用局部特徵匹配過程進行初步篩選，將篩選後的結果送入顏色和形狀特徵(或者圖案特徵)模塊進行更進一步的相似度匹配。並將最終的結果返回給客戶端。3.2)顯示頁面進行布局，對相似度進行排序。所有的檢索結果將返回給客戶端，並顯示在客戶端瀏覽器。顯示模式可以有多種不同的布局。圖6所示即為其中一種，客戶端顯示以斜對角線作為區分線，分別在X方向和Y方向(以左上角為原點)上按照顏色特徵和形狀特徵(圖案特徵、局部特徵)的相似性進行結果圖的展示。結果圖中同時含有商品價格、相應網絡商家連結等信息。單擊結果圖，將可以該張結果圖作為輸入圖進行新一輪的檢索。3.3)顯示頁面中，每張結果圖同時含有商品價格、商家連結、比價連結等多種屬性。在結果頁面，為了給用戶提供更多的選擇，引導客戶更快地查看商品相關的信息，以及商品之間的比較，在每個結果顯示頁面，除了提供結果圖以外，還在結果圖的周圍(上面或下面)提供商品價格信息、商品的商家連結、以及比價連結等信息。在研究用戶的購物習慣和用戶網上購物體驗以後，將對結果圖像及其相關信息進行特定的布局排列，使得用戶更容易、更方便、更快速的購買到想要的商品。最終目的是為了快速促成網絡交易。權利要求一種基於感性認知的圖像檢索結果排序方法，其特徵在於，包括如下步驟(1)構建圖像特徵庫。1.1)在構建圖像特徵庫前，預先獲得入庫圖像的掩膜區域。1.2)獲得圖像的掩膜區域後，得到圖像的顏色特徵。1.3)獲得圖像的掩膜區域後，得到圖像的形狀特徵。1.4)獲得圖像的掩膜區域後，對於T恤等特殊類別服裝，得到圖案特徵。1.5)構建檢索資料庫，整個資料庫由原始圖像和特徵文件兩部分構成。(2)以B/S架構在客戶端建立導購平臺，用戶可選擇庫中圖像或其它圖像作為輸入進行檢索，檢索結果返回客戶端。(3)基於感性認知的相似性顯示檢索結果。3.1)根據圖像的顏色、形狀、圖案特徵，以及款式、風格主觀特徵對檢索結果進行排序。3.2)顯示頁面中，以基於相似性的順序排列或者基於特徵的縱橫交錯布局，分別根據顏色、形狀、圖案特徵的相似度進行排序。3.3)顯示頁面中，每張結果圖同時含有商品價格、商家連結、比價連結等多種屬性。其中，所述步驟(1.1)中，所述圖像掩膜區域的獲取方法是採用目標自動定位方法，粗略估算圖像中目標物體所在的長方形區域。對於自動定位不準確的圖像，採用人工畫框確定長方形區域。確定長方形區域後，利用圖像分割算法獲得目標的非規則性準確區域，即掩膜區域。所述步驟(1.2)中，圖像的顏色特徵獲取方法為首先將紅、綠、藍三原色進行量化，形成有限個格子。根據量化後的顏色分布，得到顏色直方圖。取前N位顏色為初始聚類中心，利用K-均值算法進行顏色聚類。將最終聚類後的顏色從紅、綠、藍三原色轉換到色調-飽和度-亮度顏色空間。色調-飽和度-亮度顏色空間空間被量化為M級，分別是H值M1級，S值和V值各M2級。最終將轉換後的色調-飽和度-亮度顏色空間顏色分類以及該類顏色佔的比重保存到特徵文件。所述步驟(1.3)中，圖像的形狀特徵獲取方法為在掩膜區域利用N線法，衡量每條線和掩膜區域寬度的比例，以N條線的比例值數組作為形狀特徵。而對於箱包之類的圖像，形狀特徵還包括長寬比。所述步驟(1.4)中，圖像的圖案特徵獲取方法為首先採用目標自動定位方法，粗略估算掩膜區域區域中圖案所在的長方形區域。對於自動定位不準確的圖像，採用人工畫框確定長方形區域。確定長方形區域後，獲取圖案區域的縮放、旋轉不變的特徵變換SIFT特徵作為圖案特徵。所述步驟(1.5)中，整個資料庫中的圖像數據來源於網絡，每張圖像在入庫前，需要單獨獲取各種特徵，並存入特徵文件。採用分段方式存儲圖像特徵，每次讀入一個分段的所有圖像的特徵，加快後期的檢索速度。所述步驟(2)中，檢索步驟是輸入樣圖，首先獲取樣圖的MASK區域，然後在MASK區域獲取樣圖的特徵。將樣圖特徵與資料庫中圖像的特徵進行比較，返回前N張結果圖。樣圖可以是庫中的，也可以是用戶自己上傳的。所述步驟(3)中，基於樣圖檢索得到的結果圖列表中，按照感知相似性進行結果圖的展示。結果圖中同時含有商品價格、相應網絡商家連結。單擊結果圖，將可以該張結果圖作為輸入圖進行新一輪的檢索。全文摘要本發明公開了一種基於感性認知的圖像檢索結果排序方法，該方法主要基於圖像的客觀特徵和主觀感性認知對圖像結果進行排序。在對圖像理解的基礎上，提取圖像特徵，獲取相似度，並基於用戶體驗對顯示方式進行布局。本發明在文本無法準確表達的情況下，用戶可在該平臺上更好地展示自己的購物需求，減少用戶對商品的查找時間，更加有效地促成網絡商品交易。同時，本發明將促進新型電子購物平臺的發展，使中國電子商務網絡平臺更加多元化。文檔編號G06F17/30GK101853299SQ20101018651公開日2010年10月6日申請日期2010年5月31日優先權日2010年5月31日發明者徐舒暢,林建聰,王海洋,鄭聃,黃琦申請人:杭州淘淘搜科技有限公司