一種支持跨類型語義搜索的多媒體存儲與搜索方法
2023-05-01 23:28:21
一種支持跨類型語義搜索的多媒體存儲與搜索方法
【專利摘要】本發明公開了一種支持跨類型語義搜索的多媒體存儲與搜索方法，包括以下步驟：(1)用戶語義標註步驟；(2)本體表達步驟；(3)數據合併步驟；(4)多媒體檢索步驟。該方法不僅支持跨類型多媒體搜索，而且能夠用反映用戶的語義需求。具有如下特點：(1)支持跨類型搜索。用戶可以任意上傳一種類型，找到各種各樣語義匹配的多媒體。(2)操作方便。與傳統搜尋引擎的操作方式完全相同：上傳文件，點擊搜索。(3)保持語義信息。語義信息在多媒體文檔的複製、移動或者離開知識庫的情況下，無需重建，直接可以進行支持語義的多媒體檢索。
【專利說明】一種支持跨類型語義搜索的多媒體存儲與搜索方法
【技術領域】
[0001]本發明涉及多媒體搜索領域，尤其涉及的是一種支持跨類型語義搜索的多媒體存儲與搜索方法。
【背景技術】
[0002]多媒體搜索是搜尋引擎的關鍵技術。目前的多媒體面臨兩大重要需求:
[0003]1、語義多媒體搜索。以圖像為例，實際上，用人類的智能在圖像中來識別一個目標，並非僅僅建立在目標的低層視覺特徵，如顏色、形狀和紋理上，而是充分考慮了目標所描述的對象、事件，甚至情感等語義。例如，同一個明星的真實頭像照片和其卡通頭像照片，以人類的智能來判斷，比較容易判斷其相似之處，甚至可以很容易地確定為同一個人；但是，使用計算機基於低層視覺特徵進行分析，卻難以判斷兩個頭像的相似之處。
[0004]因此，如何能讓用戶在搜索的時候，結合計算機無法識別的人類認知信息，是一個重要的問題。
[0005]2、跨類型多媒體搜索。我們經常需要通過一種多媒體類型搜索其他類型的多媒體文件。比如，當我們聽到一首歌，很好聽，但是不知道唱的人長什麼樣，能夠在搜尋引擎裡面上傳這首歌，就可以返回歌手的頭像呢？音頻、圖像、視頻的存儲格式不同，完全無法用傳統的特徵提取方法來進行比對。因此，跨類型搜索是一個重要的需求，但也是目前面臨的重要研究問題。
[0006]針對以上問題，現有技術進行了折中，主要有如下幾種:
[0007]1、用輸入文本的方法進行搜索。該方法已經在商用搜尋引擎中廣泛應用，用戶輸入關鍵字，搜尋引擎返回相應多媒體，其原理是搜索該多媒體所在的網頁裡面是否有相應的文本和關鍵字相匹配。例如，在傳統的搜尋引擎中，在文本框中輸入「劉德華」，能夠搜索相應的圖片，當然也可以搜索視頻。其原理實際上是因為在該圖片或視頻的周圍，存在「劉德華」這樣的文字。
[0008]該方法存在如下幾個問題:
[0009](I)如果多媒體所在的網頁沒有相關文字，該圖片不會顯示。實際上，目前大量的搜索都存在這樣的問題。比如，商標搜索、純多媒體庫搜索等等，多媒體周圍是沒有文字的。輸入關鍵字(「如劉德華」)，由於該多媒體文件並不在網頁中，並沒有配相應的文字信息，因此無法被搜索出來。
[0010](2)網頁中的文字各種各樣，比如含有「劉德華」圖片的一個網頁，裡面可能含有各種各樣的無關信息，因此，搜索速度較慢，可能造成噪音。
[0011](3)如果多媒體文件被拷貝到別的地方，離開含有該文字的網頁，這個多媒體文件不會被搜索出來。
[0012]2、用輸入多媒體數據的方法進行搜索。該方法也已經在商用搜尋引擎中廣泛應用，比如用戶上傳一個圖片，搜尋引擎返回相應圖片，其原理是先提取圖片的視覺特徵，和資料庫中的圖片的視覺特徵相比對。比如上傳葛優照片，獲得葛優的其他照片。[0013]該方法存在如下幾個問題:
[0014](I)忽略了用戶的個人理解。人類認為類似的多媒體(如圖片)，用純粹的視覺特徵匹配，卻無法判斷為類似。
[0015](2)無法支持跨類型搜索。音頻、圖像、視頻的存儲格式不同，完全無法用傳統的特徵提取方法來進行比對。
[0016]3、基於語義的搜索。語義搜尋引擎的核心是「語義標註」，也就是在多媒體周圍提供關鍵字的標註。在查詢時，輸入關鍵字，然後查詢相應的標註，標註和多媒體數據分別存儲。目前，語義標註的成果已經成熟。已經廣泛地使用在語義搜尋引擎中。但是，該類方法存在如下問題:
[0017]目前的語義描述策略，基本上是將多媒體的語義標註用相應方法(如對象本體方法)進行描述，存儲在伺服器的知識庫中，當匹配需求到達時，在知識庫中進行查找、匹配和檢索；但是，一幅多媒體在其生命周期中，可能會不斷經過複製、移動等操作，由於多媒體本身的數據和其語義標註信息分開保存，在這種情況下，如果多媒體離開知識庫，在識別時就無法利用其語義標註信息；對於離開知識庫的多媒體，必須重建其語義才能充分利用人類視覺認知機理的優勢。
[0018]站在這個角度，在多媒體語義特徵描述和存儲上，我們考慮到目前的主要方法是將語義特徵存放在知識庫中，與多媒體本身數據存儲割裂開來，這類方法在某種程度上忽略了多媒體語義特徵的特殊性。從識別的角度講，語義特徵和顏色、形狀、紋理等低層視覺特徵是平等的，其最終目的是為了在多媒體複製、移動等任何操作情況下都能夠進行識別；因此，如果只是將語義標註信息存放在知識庫中，和多媒體數據本身分割，語義多媒體的檢索就必須依賴知識庫。對於融合人類視覺認知的目標特徵提取和描述方法，不僅需要規範語義的特徵表達，更重要的問題是讓語義標註信息實現方便的存儲，讓用戶在使用時更加通用。
【發明內容】
[0019]為解決以上問題，本發明提出了一種支持跨類型語義搜索的多媒體存儲與搜索方法。
[0020]本發明的技術方案如下:
[0021]一種支持跨類型語義搜索的多媒體存儲與搜索方法，包括以下步驟:
[0022](I)用戶語義標註步驟，每一個需要保存到資料庫中的多媒體文件都必須被用戶標註；標註以文本的形式進行,標註內容依據用戶對該多媒體的理解；
[0023](2)本體表達步驟:對標註進行分類,並劃分層級,進行本體表達；將標註轉換為本體；
[0024](3)數據合併步驟:將語義信息和本體內容保存在一起，形成新的多媒體數據格式；新的數據形成之後，多媒體文件將會被保存到多媒體資料庫中；
[0025](4)多媒體檢索步驟:搜尋引擎從該多媒體文件中提取語義信息，和多媒體資料庫中的多媒體數據進行比對，如果找到互相匹配的，則返回這些多媒體文件；系統還會讓用戶對自己選定的結果進行進一步標註，來豐富多媒體的語義信息，使得以後的查詢越來越準確。[0026]所述的方法，所述用戶語義標註步驟中:用戶向多媒體文件提供標註，所有的標註用文本形式表示；定義m為多媒體文件，C為多媒體文件集合，滿足C = Im1, m2，...，mN}，N為多媒體文件個數；對於任意11 e C，ffli保存在伺服器硬碟上,Hii的路徑被保存在資料庫中，連結到其真實的文件；語義信息由用戶提供，以關鍵詞標註的形式提供給Hli ；
[0027]令Anmi為Hii的標註集合,滿足Anmi = {a1; a2,..., aj , η為Hii的標註個數,對於任意的Hii e C，用戶將會提供很多標註；對於任意的Hii e C，定義標註矩陣Ami:
【權利要求】
1.一種支持跨類型語義搜索的多媒體存儲與搜索方法，其特徵在於，包括以下步驟: (1)用戶語義標註步驟，每一個需要保存到資料庫中的多媒體文件都必須被用戶標註；標註以文本的形式進行，標註內容依據用戶對該多媒體的理解； (2)本體表達步驟:對標註進行分類,並劃分層級,進行本體表達；將標註轉換為本體； (3)數據合併步驟:將語義信息和本體內容保存在一起，形成新的多媒體數據格式；新的數據形成之後，多媒體文件將會被保存到多媒體資料庫中； (4)多媒體檢索步驟:搜尋引擎從該多媒體文件中提取語義信息，和多媒體資料庫中的多媒體數據進行比對，如果找到互相匹配的，則返回這些多媒體文件；系統還會讓用戶對自己選定的結果進行進一步標註，來豐富多媒體的語義信息，使得以後的查詢越來越準確。
2.根據權利要求1所述的方法，其特徵在於，所述用戶語義標註步驟中:用戶向多媒體文件提供標註，所有的標註用文本形式表示；定義m為多媒體文件，C為多媒體文件集合，滿足C = Im1, m2,...,!%}, N為多媒體文件個數；對於任意Hii e CjHii保存在伺服器硬碟上,Hii的路徑被保存在資料庫中，連結到其真實的文件；語義信息由用戶提供，以關鍵詞標註的形式提供給Hli ； 令Anmi為Iiii的標註集合,滿足Anmi = Ia1, a2,..., aj , η為Iiii的標註個數,對於任意的Hii e C，用戶將會提供很多標註；對於任意的Hii e C，定義標註矩陣Ami:
3.根據權利要求2所述的方法，其特徵在於，所述用戶語義標註步驟中，還包括以下步驟: (1)去除較少使用的標註: 定期去除那些很少在搜索中使用的標註；在每一次檢索過後，設計一個權重調整準則:
4.根據權利要求2所述的方法，其特徵在於，所述數據合併步驟中，直接將多媒體語義信息保存在多媒 體數據文件的頭部。
【文檔編號】G06F17/27GK103440284SQ201310352286
【公開日】2013年12月11日 申請日期:2013年8月14日 優先權日:2013年8月14日
【發明者】郭克華, 鄺礫, 王建新 申請人:郭克華