視覺信息搜索方法
2023-12-08 20:22:26 3
專利名稱：視覺信息搜索方法
技術領域：
本發明涉及到搜索技術領域，特別涉及到一種實現視覺信息準確搜索的方法。
背景技術：
隨著社會和技術的進步，通訊技術和應用方式也越來越適應用戶的需求，網絡和手機已經進入到了生活的方方面面，特別是隨著寬帶網絡推進和應用，所提供的服務和應用越來越多，其中搜索服務是最重要的服務之一，搜索也有很多種類型和應用，例如除了常用的關鍵字搜索以外，還有圖片搜索、音樂搜索等，圖片搜索可以通過搜索程序，向用戶提供在網絡或資料庫、特別是網際網路上相關的圖片資料，而現有技術中的圖片搜索，是由先為圖片、圖像關聯文字說明，並與圖片圖像結合，而由用戶在終端頁面搜索框內輸入相關搜索文字並提交到網站搜尋引擎後，搜尋引擎在網絡機器人抓取到的海量配有文字的圖片中， 以用戶所提交的搜索文字作為關鍵字，來搜索附加在這些圖片中匹配的文字的方式，常用的是搜索圖片所附加的文字，並將此圖片返回用戶，也就是說，這實質上還是一種基於文字的圖片搜索，而不是準確針對圖片的具體內容的搜索，這樣，這種方式搜索出來的圖片，往往是與所用的關鍵字的內容相附，而與用戶真正想搜索的圖片的具體內容不符，用戶所得到的返回的結果不少，卻不是自己最想要找的內容，因此，目前的圖片搜索方式還存在不足和需要完善的地方。同樣的現象存在於圖像與視頻搜索當中，也就是說，在目前的視覺信息搜索當中還存在不足，特別是是其於寬帶網絡的服務和應用。
發明內容
本發明的目的就是為了解決以上問題，提供一種不藉助文字就可以準確快速進行視覺信息搜索的方法。本發明是通過這樣的方法來實現的這種方法是在用戶終端或網絡上存在樣本視覺信息；對樣本視覺信息進行全局信息提取與/或局部信息提取；對所提取的全局信息與/或局部信息進行再處理，並提取共性特徵；藉於上述未處理與/或處理後的全局信息與/或局部信息的再處理特徵建立特徵模型與/或索引；該特徵模型與/或索引可以傳輸於網絡與/或網絡資料庫；使該樣本視覺信息的特徵模型與/或索引在網絡與/或網絡資料庫中進行搜索；搜索到與該樣本視覺信息的特徵模型與索引相關度最高的視覺信息結果，這個視覺信息結果為目標視覺信息；將所述搜索到的目標視覺信息返回給用戶端。進一步的，利用全局與/或局部特徵各自的優勢，在進行特徵模型與索引的提取和建立以及搜索時，採用多模塊並行計算，並將結果進行有效融合。進一步的，從樣本視覺信息中獲得能夠描述該視覺信息的信息，是從該樣本視覺信息可視界面中獲取其中一部分，作為樣本視覺信息。進一步的，從樣本視覺信息中獲得能夠描述該視覺信息的信息，是從樣本視覺信息中以圖片、圖像特徵作為依據選擇其中一部分，作為樣本視覺信息。
進一步的，所述的從樣本視覺信息中選擇其中一部分作為樣本視覺信息，是採用的剪切方式、點選方式或圈選方式。進一步的，所述的目標視覺信息至少為一個。進一步的，所述樣本視覺信息生成樣本視覺信息是從網際網路上獲取已經存在的樣本視覺信息；獲取到的樣本視覺信息的顏色特徵、紋理特徵、形狀特徵，以便從所述視覺信息上獲取到能夠描述該視覺信息的樣本視覺信息；所述的再處理至少包括加噪、變形、剪切、插入內容、旋轉、縮放以及亮度增減、模糊化等處理內容。進一步的，將所獲得的目標視覺信息中再提取目標樣本視覺信息，作為再次搜索的參考視覺信息，進行再次搜索。進一步的，樣本視覺信息生成全部與/或局部信息，是所述樣本視覺信息的全部或一部分，並提取共性特徵；所述共性特徵能夠描述該視覺信息的顏色特徵、紋理特徵、形狀特徵信息；根據所述共性特徵生成所述視覺信息的信息，以便根據所述樣本視覺信息搜索到對應的目標視覺信息。進一步的，從樣本視覺信息獲取到的樣本視覺信息中獲得能夠描述該視覺信息的顏色特徵，具體過程包括選擇在樣本視覺信息局域內的有效指定局域作為樣本視覺信息的選擇對象，採用可視界面的視覺信息剪切方式，生成一個樣本視覺信息局域；將所述樣本視覺信息局域內每個點的實際色彩表示成數值形式的顏色特徵；取得所述每個點的顏色特徵，生成能夠描述所述視覺信息的顏色特徵；顏色特徵包括色彩與灰度特徵；按照所述色彩及灰度信息中包含的實際色彩種類、特性、比例等特徵分別建立與所述樣本視覺信息。本發明具有以下的優點和效果這種視覺信息搜索方法，可以準確針對圖片、圖像及視頻的具體內容進行搜索，基於這種方式搜索出來的視覺信息內容，無需與圖片、視頻的關鍵字的內容相關聯，而與用戶真正想搜索的圖片視頻內容相符合，同時可以返回多個用戶想要的結果，容易實現及操作。
圖1是本發明所提出的視覺信息搜索方法的原理框圖；圖2是本發明所提出的視覺信息搜索方法之搜索方法獲取樣本視覺信息示意圖；圖3是本發明所提出的視覺信息搜索方法的搜索方法所述的目標視覺信息示意圖；圖中說明1-用戶終端顯示屏，簡稱顯示屏2-樣本視覺信息3-局部樣本信息4-目標視覺信息(由樣本視覺信息獲取)
具體實施例方式下面結合附圖對本發明的系統和方法進行進一步的說明。為實現本發明的目的，本發明採用是這樣的方法來實現的首先需要有一個用戶終端，這個終端可以是電腦、電腦、手機等具有顯示屏1以及作業系統軟體的信息設備，並且具有可以獲取信息的樣本視覺信息2，樣本視覺信息2可以為圖片、圖像或是視頻片段，以及由字符構成的平面信息，在實施例中為圖片，樣本視覺信息2可以直接顯示在用戶終端的顯示屏1上，而不僅僅只是一個或一段文字標識，這個圖片可以是一個模型，如一個模型圖片或與用戶所要檢索的目標圖片最為接近的圖片，並且從這個樣本視覺信息2中獲得能夠描述該圖片的信息，就是指這個圖片是可以複製、剪切或是通過其它方式可獲得其它像素或圖像信息的，是可以通過計算機的系統或應用程式獲得該圖片的像素的信息，而不是不可複製或不可裁剪類的文件。樣本視覺信息2來自於區域網路、網際網路或用戶本身或自存文檔。所獲取到的樣本視覺信息2包括顏色特徵、紋理特徵、形狀特徵等因素。上述的過程和方法實質是在樣本視覺信息2全局的基礎上提取了局部信息，也就是對樣本視覺信息2進行全局信息提取與/或局部信息提取；完成這一步驟以後，對所提取的全局信息與/或局部信息進行再處理，這個處理是指進行一些模擬外部幹擾、破壞，以及影響質量和數量的因素，如對全局信息與/或局部信息進行至少包括加噪、變形、剪切、插入內容、旋轉、縮放以及亮度增減、模糊化等處理內容。具體的說，就要根據所述樣本視覺信息2信息生成局部樣本信息3，如附圖2， 所述的樣本視覺信息2可視界面中具有數字1234567890，也具有三角形圖形，還具有字母AB⑶EFGHIJK，用戶想找到與字母AB⑶EFGHIJK最為接近的圖片，那麼就把字母 ABCDEFGHIJK區域的圖片作為局部樣本信息3，字母ABCDEFGHIJK區域的圖片中的字母為宋體字體，也就是說，局部樣本信息3信息就是樣本視覺信息2可視界面上圖片信息的一部分 fn息ο接著要對局部樣本信息3進行幹擾處理，處理的方式有多種，包括加噪、變形、剪切、插入內容、旋轉、縮放以及亮度增減、模糊化等處理內容，其目的也就是模擬各種可能的破壞情況。同理，對於全局信息也可以做同樣的處理，本說明書中所述的類似內容相同。經過處理以後，再提取這些視覺信息的共性特徵，這樣就相當於，無論樣本視覺信息的全局與/或局部特徵沒有發生質的變化，只要有一個共性特徵，即實例中的圖片的質量和形式發生了什麼變化，只要基本的內容沒有變化，都應當具備這個共性特徵，這樣就為後期的搜索打下了良好的基礎，並搜索到預期的結果。還有，利用全局與/或局部特徵各自的優勢，在進行特徵模型與索引的提取和建立以及搜索時，採用多模塊並行計算，並將結果進行有效融合。這樣，在藉於上述未處理與/或處理後的全局信息與/或局部信息的再處理特徵所建立起來的特徵模型與/或索引，就非常吻合局部樣本信息的本質內容，如果以此作為搜索的樣本，就可以找到最附合要求的目標。完成上述的步驟以後，將局部樣本信息3信息發送到網絡或資料庫，網絡或資料庫接受該局部樣本信息3信息，並以此為參考圖片進行搜索。同樣，搜索的範圍也可以分別是區域網路、網際網路或用戶本身或自存文檔。搜索到與該樣本視覺信息的特徵模型與索引相關度最高的視覺信息結果，這個視覺信息結果為目標視覺信息。即經過上述電腦或伺服器、以及網絡上的搜索，搜索到對應的其它類似圖片，這個或這些類似圖片為目標視覺信息4，如附圖3所示，可以找到很多類似其它字體及形式的結果，以及具有字母ABCDEFGHIJK中大部分字體的圖片，也都可以作為搜索結果返回，實質上，目標視覺信息4就是樣本視覺信息2在網絡上最接近或最類似的結果。搜索出來以後，網絡或資料庫將所述搜索到的目標視覺信息4返回給用戶端，就如同在在附圖3中所看到的結果。在上述的樣本視覺信息2中獲得能夠描述該圖片的局部樣本信息3的方法，是從樣本視覺信息2中剪切其中一部分，作為局部樣本信息3，也可以是從樣本視覺信息2中選擇其中一部分，作為局部樣本信息3，是採用的點選方式，或是採用的圈選方式，所述的點選或圈選的方式可以以所選擇的區域或點選的範圍來確定。另外，所述的目標視覺信息4至少為一個搜索結果，一般為多個。同時，也可從網際網路上獲取已經存在的樣本視覺信息2，將獲取到的所述樣本視覺信息2的格式轉換為點陣格式，以便從所述圖片上獲取到能夠描述該圖片的局部樣本信息 3 fn 息。根據所述局部樣本信息3信息在網際網路內搜索，將與所述局部樣本信息3信息搜索請求對應的目標視覺信息4或者與所述局部樣本信息3信息搜索請求最接近的目標視覺信息4發送給用戶。在上述的基礎上，為了獲得更準確的搜索結果，還可再次由所獲得的目標視覺信息4中再提取局部樣本信息3信息，作為再次搜索的參考圖片，進行再一次的搜索，得到更附合用戶的需要。另外，樣本視覺信息生成全部與/或局部信息，是所述樣本視覺信息的全部或一部分，並提取共性特徵；所述共性特徵能夠描述該視覺信息的顏色特徵、紋理特徵、形狀特徵信息；根據所述共性特徵生成所述視覺信息的信息，以便根據所述樣本視覺信息搜索到對應的目標視覺信息。還有，從樣本視覺信息獲取到的樣本視覺信息中獲得能夠描述該視覺信息的顏色特徵，具體過程包括選擇在樣本視覺信息局域內的有效指定局域作為樣本視覺信息的選擇對象，採用可視界面的視覺信息剪切方式，生成一個樣本視覺信息局域；將所述樣本視覺信息局域內每個點的實際色彩表示成數值形式的顏色特徵；取得所述每個點的顏色特徵， 生成能夠描述所述視覺信息的顏色特徵；顏色特徵包括色彩與灰度特徵；按照所述色彩及灰度信息中包含的實際色彩種類、特性、比例等特徵分別建立與所述樣本視覺信息。就是說，在前所述的樣本視覺信息2生成局部樣本信息3，局部樣本信息3信息是所述樣本視覺信息的一部分，所述樣本視覺信息2信息的指能夠描述該圖片的顏色特徵， 並根據所述顏色特徵息生成所述圖片的局部樣本信息3信息，以便根據所述局部樣本信息 3信息搜索到對應的目標視覺信息4。通過上述的方法和步驟，即可以準確針對視覺信息的具體內容，並且基於這種方式搜索出來的視覺信息，無需與視覺信息的關鍵字的內容相關聯，而與用戶真正想搜索的視覺信息真實內容相符合，同時可以返回多個用戶想要的結果，容易實現及操作。雖然這裡只說明了本發明的一個優選實施例，但其意並非限制本發明的範圍、適用性和配置。相反，對實施例的詳細說明可使本領域技術人員得以實施。應能理解，在不偏離所附權利要求書確定的本發明精神和範圍情況下，可對一些細節做適當變更和修改。
權利要求
1.一種視覺信息搜索方法，其特徵在於包括 存在樣本視覺信息；對樣本視覺信息進行全局信息提取與/或局部信息提取； 對所提取的全局信息與/或局部信息進行再處理，並提取共性特徵； 藉於上述未處理與/或處理後的全局信息與/或局部信息的再處理特徵建立特徵模型與/或索引；該特徵模型與/或索引可以傳輸於網絡與/或網絡資料庫； 使該樣本視覺信息的特徵模型與/或索引在網絡與/或網絡資料庫中進行搜索； 搜索到與該樣本視覺信息的特徵模型與索引相關度最高的視覺信息結果，這個視覺信息結果為目標視覺信息；將所述搜索到的目標視覺信息返回給用戶端。
2.根據權利要求1所述的視覺信息搜索方法，其特徵在於利用全局與/或局部特徵各自的優勢，在進行特徵模型與索引的提取和建立以及搜索時，採用多模塊並行計算，並將結果進行有效融合。
3.根據權利要求1所述的視覺信息搜索方法，其特徵在於從樣本視覺信息中獲得能夠描述該視覺信息的信息，是從該樣本視覺信息可視界面中獲取其中一部分，作為樣本視 JaL f η 息。
4.根據權利要求1所述的視覺信息搜索方法，其特徵在於從樣本視覺信息中獲得能夠描述該視覺信息的信息，是從樣本視覺信息中以圖片、圖像特徵作為依據選擇其中一部分，作為樣本視覺信息。
5.根據權利要求4所述的視覺信息搜索方法，其特徵在於所述的從樣本視覺信息中選擇其中一部分作為樣本視覺信息，是採用的剪切方式、點選方式或圈選方式。
6.根據權利要求1所述的視覺信息搜索方法，其特徵在於所述的目標視覺信息至少為一個。
7.根據權利要求1所述的視覺信息搜索方法，其特徵在於所述樣本視覺信息生成樣本視覺信息是從網際網路上獲取已經存在的樣本視覺信息； 獲取到的樣本視覺信息的顏色特徵、紋理特徵、形狀特徵，以便從所述視覺信息上獲取到能夠描述該視覺信息的樣本視覺信息；所述的再處理至少包括加噪、變形、剪切、插入內容、旋轉、縮放以及亮度增減、模糊化等處理內容。
8.根據權利要求1所述的視覺信息搜索方法，其特徵在於將所獲得的目標視覺信息中再提取目標樣本視覺信息，作為再次搜索的參考視覺信息，進行再次搜索。
9.根據權利要求1所述的視覺信息搜索方法，其特徵在於樣本視覺信息生成全部與/或局部信息，是所述樣本視覺信息的全部或一部分，並提取共性特徵；所述共性特徵能夠描述該視覺信息的顏色特徵、紋理特徵、形狀特徵信息； 根據所述共性特徵生成所述視覺信息的信息，以便根據所述樣本視覺信息搜索到對應的目標視覺信息。
10.根據權利要求9所述的視覺信息搜索方法，其特徵在於從樣本視覺信息獲取到的樣本視覺信息中獲得能夠描述該視覺信息的顏色特徵，具體過程包括選擇在樣本視覺信息局域內的有效指定局域作為樣本視覺信息的選擇對象，採用可視界面的視覺信息剪切方式，生成一個樣本視覺信息局域；將所述樣本視覺信息局域內每個點的實際色彩表示成數值形式的顏色特徵； 取得所述每個點的顏色特徵，生成能夠描述所述視覺信息的顏色特徵； 顏色特徵包括色彩與灰度特徵；按照所述色彩及灰度信息中包含的實際色彩種類、特性、比例等特徵分別建立與所述樣本視覺信息。
全文摘要
本發明是一種視覺信息搜索方法，這種方法是對樣本視覺信息進行全局信息提取與或局部信息提取，對所提取的全局信息與或局部信息進行再處理，並提取共性特徵，並以此建立特徵模型與或索引，該特徵模型與或索引可以傳輸於網絡與或網絡資料庫，使該樣本視覺信息的特徵模型與或索引在網絡與或網絡資料庫中進行搜索，搜索到與該樣本視覺信息的特徵模型與索引相關度最高的視覺信息結果，這個視覺信息結果為目標視覺信息，再將所述搜索到的目標視覺信息返回給用戶端，基於這種方式搜索出來的視覺信息內容，無需與圖片、視頻的關鍵字的內容相關聯，而與用戶真正想搜索的圖片視頻內容相符合，同時可以返回多個用戶想要的結果，容易實現及操作。
文檔編號G06F17/30GK102231148SQ20101056232
公開日2011年11月2日 申請日期2010年11月29日 優先權日2010年11月29日
發明者辜進榮 申請人:辜進榮