融合全局R特徵的近似重複視頻檢索方法與流程
2023-07-10 20:31:06
本發明屬於視頻分析及檢索方法技術領域，具體涉及一種融合全局R特徵的近似重複視頻檢索方法。
背景技術：
隨著通信技術、視頻採集設備、視頻編輯軟體的快速發展，網絡視頻的數量呈指數級增長。同時，視頻相關的服務，如：廣告、視頻分享、推薦和監控，激發了在線用戶的興趣並且參與到視頻相關的活動中，如：搜索、上傳、下載和評論等。
如今，每天都會有大量的視頻在網際網路被上傳和共享，網上存在著大量幾乎重複的視頻。大量近似重複視頻的出現催生了許多新的應用，如：視頻結果重新排序，版權保護，在線視頻使用監測、視頻標註及視頻資料庫清理等等。例如：一個典型的情況可能是，一個網站的用戶想要尋找一些新的視頻，但最終在搜尋引擎返回的排名結果很多重複的視頻；另一種情況可能是，一個視頻製作者希望他們的版權保護的視頻，以避免在網際網路上共享。以上這兩種場合都需要近似重複視頻檢索技術來實現各自的目標。
近年來，近似重複視頻檢索成為研究的熱點，很多的研究者都在研究這個技術。目前，大多數現有的方法通常是採用下面的近似重複視頻檢索框架(R.Fernandez-Beltran，and F.Pla，「Latent topics-based relevance feedback for video retrieval，」Pattern Recognition，vol.51，pp.72-84，Mar，2016.)：首先，通過鏡頭邊界檢測和採樣算法把視頻分解為一系列的關鍵幀；其次，對這些關鍵幀提取視覺特徵，如：尺度不變特徵(SIFT)，局部二進位模式(LBP)等，用關鍵幀的視覺特徵序列來表示整個視頻；最後，系統需要根據視覺特徵序列來計算每個數據集中的視頻和查詢視頻之間的相似性，並且返回數據集中與查詢視頻最相似視頻的名稱。通常情況下，無論是時間還是空間信息可被用來評估兩個視頻之間的相似性(M.Douze，H.Jegou，and C.Schmid，「An Image-Based Approach to Video Copy Detection With Spatio-Temporal Post-Filtering，」Ieee Transactions on Multimedia，vol.12，no.4，pp.257-266，Jun，2010.C.-L.Chou，H.-T.Chen，and S.-Y.Lee，「Pattern-Based Near-Duplicate Video Retrieval and Localization on Web-Scale Videos，」Ieee Transactions on Multimedia，vol.17，no.3，pp.382-395，Mar，2015.)。此外，也有一些現有的方法，對整個視頻提取一個全局特徵來實現實時檢索，但這種方法一般不能用來對長時間視頻進行有效檢索(X.Zhou，and L.Chen，「Structure Tensor Series-Based Large Scale Near-Duplicate Video Retrieval，」Multimedia，IEEE Transactions on，vol.14，no.4，pp.1220-1233，2012.)。
在最近出現的一些文獻中，兩個視頻中成對的幀之間的相關性的也被用來衡量視頻的相似性(J.Liu，Z.Huang，H.T.Shen，and B.Cui，「Correlation-Based Retrieval for Heavily Changed Near-Duplicate Videos，」Acm Transactions on Information Systems，vol.29，no.4，Dec，2011.)。最近的近重複視頻檢索技術的文獻綜述可以參考文獻(J.Liu，Z.Huang，H.Cai，H.T.Shen,N.Chong Wah，and W.Wang，「Near-Duplicate Video Retrieval:Current Research and Future Trends，」Acm Computing Surveys，vol.45，no.4，Aug，2013.)。
目前，大部分的近重複視頻檢索方法都是基於局部特徵和BOF檢索模型的，但是這些方法只利用了單一的局部紋理信息，忽略了特徵點的全局信息，從而導致視頻檢索的精確度不高。
技術實現要素：
本發明的目的在於提供一種融合全局R特徵的近似重複視頻檢索方法，能夠根據信息融合策略把全局幾何分布信息融合於BOF模型中，實現在大規模的數據中精確的檢索近似重複視頻。
本發明所採用的技術方案是，融合全局R特徵的近似重複視頻檢索方法，具體按照以下步驟實施：
步驟1、對資料庫中視頻提取局部SIFT特徵；
步驟2、經步驟1後，根據獲取的局部SIFT特徵中的坐標信息建立全局R特徵；
步驟3、待步驟2完成後，利用局部SIFT特徵中描述符信息建立BOF特徵模型；
步驟4、根據步驟3得到的BOF特徵模型，建立基於BOF的投票檢索模型；
步驟5、應用信息融合策略把全局幾何分布信息融合到經步驟4建立的基於BOF的投票檢索模型中，在大規模的數據中精確的檢索近似重複視頻。
本發明的特點還在於：
步驟1具體按照以下方法實施：
先對參考視頻庫中的所有視頻進行關鍵幀提取，然後對每個關鍵幀都進行SIFT特徵提取。
對關鍵幀提取採用的是均勻採樣的方法，且每隔6秒提取一幀圖像；
SIFT特徵提取是採用D.G.Lowe，「Distinctive image features from scale-invariant keypoints，」International Journal of Computer Vision，vol.60，no.2，pp.91-110，Nov，2004.的方法，(採用文獻「獨特的尺度不變圖像特徵」中的方法)對關鍵幀提取SIFT特徵，其提取的信息包括有：特徵點的位置、尺度、角度以及局部描述信息。
步驟2具體按照以下方法實施：
根據步驟1得到的局部SIFT特徵中的坐標信息建立全局R特徵是根據提取的SIFT特徵中的位置信息，採用改進的Radon變換來提取全局R特徵；
Radon變換是指一個平面內沿不同方向的直線對函數f做線積分，得到的投影就是函數f的Radon變換；這樣能將一個離散的二值圖像上的每個非零的像素點投影到一個Radon矩陣中；
對於一幅圖像f(x,y)，x,y為圖像中像素的坐標，則該圖像f(x,y)經Radon變換表示為如下形式：
在式(1)中：δ(·)是狄拉克δ函數又稱為單位脈衝函數，在除了零以外的點都等於零，而其在整個定義域上的積分等於1；θ為角度，且θ∈[0,π)；ρ為極徑，且ρ∈(-∞,∞)；
改進的Radon變換在本發明融合全局R特徵的近似重複視頻檢索方法中又稱為R變換，用公式表示為如下形式：
在式(2)中，是f(x,y)的Radon變換；
改進的Radon變換解決了原變換不具備尺度、旋轉及平移不變性的問題；
應用(2D)2PCA主成份分析算法對從R變換得到的矩陣進行主成份分析變換得到相應的低維矩陣作為最終的特徵，稱為R特徵；(2D)2PCA採用的是文獻「雙向二維主成分分析在高效的人臉表示與識別中的應用」中的雙向二維主成分分析方法，同時在行和列兩個方向上進行主成份分析和計算，這樣能獲得更高的識別精度的特徵。
步驟3具體按照以下步驟實施：
步驟3.1、用大規模數據分級聚類算法對圖像庫中的SIFT特徵中的描述符進行訓練，生成類；
大規模數據分級聚類算法是一種聚類算法；
步驟3.2，經步驟3.1後，進行量化，生成每幅圖像的BOF特徵，具體方法如下：
量化生成每幅圖像的BOF特徵是指判斷圖像的每個特徵點與哪個類中心最近，最近的則放入該類中心，最後將生成一列頻數表，即初步的無權BOF；接下來通過tf-idf對頻數表加上權重，生成最終的加權BOF特徵；
其中，對查詢視頻的特徵進行量化方法如下：
在式(3)中q：表示量化，Rd表示實數空間中的d維數據，k表示類中心的數量，xi,j,i＝1,...,m2為參考視頻庫中第j幀中第i個特徵；
計算每幀的tf-idf權值方法具體如下：
Wi＝tfi·idfi (6)；
在式(4)～式(6)中：k表示類中心的數量；fij是第i個特徵所屬的視覺詞彙在第j個視頻幀上出現的頻率；ni是包含第i個特徵所屬的視覺詞彙的參考視頻幀的總數；N是總的參考視頻數；tfi表示詞頻率因子；idfi表示逆詞頻率因子；
步驟3.3，對生成的BOF特徵建立倒排索引，具體方法為：
倒排索引通常是由量化表文件和倒排表文件兩部分組成；
量化表文件記錄了文檔集(圖像、視頻幀)中出現的所有詞彙；
倒排表文件是將每個詞彙在記錄文件(圖像、視頻幀)中的位置和頻率等信息都記錄下來，所有詞彙的這些信息就構成了倒排表；對於量化表文件中的n個詞彙(特徵)w1…wn中的一個wi，在m個記錄文件(圖像、視頻幀)d1…dm中的倒排表能表示為如下形式：
n條這樣的記錄能構成一個完整的倒排表；
式(7)中，fi表示頻率、方向及尺度信息；
式(7)給出了一個完整的用於查詢文本詞彙的倒排索引結構。
步驟4具體按照以下步驟實施：
給定一個查詢幀，用局部特徵y表示，並且視頻資料庫中所有的關鍵幀用局部特徵xj,j＝1,...,n表示，基於BOF投票檢索的步驟具體如下：
步驟4.1、對於查詢幀的局部特徵yl,l＝1,...,m1和視頻資料庫中所有的關鍵幀的局部特徵xi,j,i＝1,...,m2，j＝1,...,n計算兩個視頻幀之間的相似性分數sj，其算法具體如下：
在式(8)中：f是一個匹配函數，它反映了兩個特徵xi,j和yl之間的相似性程度；
步驟4.2、經步驟4.1後，把特徵根據視覺詞彙進行量化，並把量化後資料庫中視頻的特徵存儲在一個倒排文件中，這個量化過程q採用的是公式(3)；
量化後q(xi,j)的結果是與特徵xi,j最近的類中心(視覺詞彙)的序號；因此，若兩個特徵xi,j和yl量化後滿足q(xi,j)＝q(yl)，則這兩個特徵在高維的特徵空間中很接近的概率非常高；根據這個原理，考慮到前述的tf-idf加權方法，匹配函數f則定義為如下算法：
則能根據量化後的結果高效地比較兩個不同的特徵；
步驟4.3、經步驟4.2後，最終用來排序的圖像相似性分數sf是對sj進行後處理後得到的，具體按如下算法實施：
由步驟4.2中的式(9)和步驟4.3中的式(10)可以看出：同時考慮了查詢視頻幀和資料庫中關鍵幀的視覺單詞的tf-idf權重，並把兩者加入到了基於BOF投票檢索方法中，這種加權方法對視覺單詞直方圖進行了規一化。
步驟5具體按照以下方法實施：
若兩個特徵x和y量化到同一個類中心上反映了這兩個特徵描述符的歐氏距離d(x,y)是很小的，則R特徵所描述的歐氏空間中的網絡之間的距離也是很小的；基於這一點，一個描述符由q(x)和b(x)，q是一個量化器，b是R特徵；則把R特徵嵌入到BOF檢索模型中，重新定義的匹配函數f的功能，具體算法如下：
在式(11)中：d表示歐式距離；ht表示一個域值；
在量化時類中心數要取小一些的值，儘量讓相近的視頻能匹配上，而ht也相應的要取小值，這裡ht＝0.005，以便於能根據R特徵的距離去除誤匹配的視頻。
本發明的有益效果在於：
(1)本發明融合全局R特徵的近似重複視頻檢索方法中提出了一種改進的Radon變換，解決了原變換不具備尺度、旋轉、平移不變性的問題，提高了全局特徵的魯棒性。
(2)在本發明融合全局R特徵的近似重複視頻檢索方法中，能根據信息融合策略把全局幾何分布信息融合於BOF模型中，增加了BOF模型的全局特性，從而提高了系統的穩定性。
(3)本發明融合全局R特徵的近似重複視頻檢索方法使用時，能大幅提高近重複視頻檢索的精度，並能廣泛應用於視頻檢索領域。
(4)本發明融合全局R特徵的檢索方法也適合於圖像檢索領域，能大幅提高圖像檢索的精度。
附圖說明
圖1是本發明融合全局R特徵的近似重複視頻檢索方法的框架圖。
具體實施方式
下面結合附圖和具體實施方式對本發明進行詳細說明。
融合全局R特徵的近似重複視頻檢索方法的框架圖，如圖1所示的，可將其分為兩大部分，分別為：離線部分和在線部分。離線部分的處理對象是目標視頻庫，產生在線部分查詢時所需要的倒排索引表；在線部分主要是完成對查詢視頻在目標視頻庫中的查詢過程。
離線部分的處理對象是參考視頻庫，對參考視頻庫中的視頻進行關鍵幀提取、SIFT特徵提取、R特徵提取、特徵聚類分析、特徵矢量到視覺詞彙的量化並生成視覺詞彙表和關於特徵的倒排索引表以供在線部分的查詢。
在線部分完成對查詢視頻在參考視頻庫中的查詢；在線部分對查詢視頻進行關鍵幀提取、SIFT特徵提取、R特徵提取、根據參考視頻庫生成的視覺詞彙表對在線視頻的所有關鍵幀中的特徵量化成視覺詞彙，然後應用信息融合策略把全局幾何分布信息融合到BOF模型中，進行候選視頻的查找和搜索，得出最終檢索結果。
本發明融合全局R特徵的近似重複視頻檢索方法，具體按照以下步驟實施：
步驟1、對資料庫中視頻提取局部SIFT特徵，具體方法為：
先對參考視頻庫中的所有視頻進行關鍵幀提取，然後對提取的每個關鍵幀都進行SIFT特徵提取；
其中，關鍵幀提取是採用均勻採樣的方法，每隔6秒提取一幀圖像；SIFT特徵提取是採用(D.G.Lowe，「Distinctive image features from scale-invariant keypoints，」International Journal of Computer Vision，vol.60，no.2，pp.91-110，Nov，2004.)的方法(中文翻譯為：採用文獻「獨特的尺度不變圖像特徵」中的方法)；
其中，對關鍵幀提取SIFT特徵，且提取的信息包括有：特徵點的位置、尺度、角度以及局部描述信息。
步驟2、經步驟1後，根據獲取的局部SIFT特徵中的坐標信息建立全局R特徵，建立方法具體按照以下方法實施：
根據步驟1得到的局部SIFT特徵中的坐標信息建立全局R特徵是根據提取的SIFT特徵中的位置信息，採用改進的Radon變換來提取全局R特徵；
Radon變換是指一個平面內沿不同方向的直線對函數f做線積分，得到的投影就是函數f的Radon變換；這樣能將一個離散的二值圖像上的每個非零的像素點投影到一個Radon矩陣中；
對於一幅圖像f(x,y)，x,y為圖像中像素的坐標，則該圖像f(x,y)經Radon變換表示為如下形式：
在式(1)中：δ(·)是狄拉克δ函數又稱為單位脈衝函數，在除了零以外的點都等於零，而其在整個定義域上的積分等於1；θ為角度，且θ∈[0,π)；ρ為極徑，且ρ∈(-∞,∞)；
改進的Radon變換在本發明融合全局R特徵的近似重複視頻檢索方法中又稱為R變換，用公式表示為如下形式：
在式(2)中，是f(x,y)的Radon變換；
改進的Radon變換解決了原變換不具備尺度、旋轉及平移不變性的問題；
為了提高特徵的魯棒性，並且降低特徵的維數，應用(2D)2PCA主成份分析算法對從R變換得到的矩陣進行主成份分析變換，得到相應的低維矩陣作為最終的特徵，稱為R特徵；(2D)2PCA採用的是文獻(Z.D.,and Z.Z.,「Letters：(2D)2PCA：Two-directional two-dimensional PCA for efficient face representation and recognition，」Neurocomputing,vol.69，no.1，pp.224-231，2005.)中的方法(中文翻譯為：採用的是文獻「雙向二維主成分分析在高效的人臉表示與識別中的應用」中的雙向二維主成分分析方法)，同時在行和列兩個方向上進行主成份分析和計算，這樣能獲得更高的識別精度的特徵。
步驟3、待步驟2完成後，利用局部SIFT特徵中描述符信息建立BOF特徵模型，具體按照以下步驟實施：
步驟3.1、用大規模數據分級聚類算法對圖像庫中的SIFT特徵中的描述符進行訓練，生成類；
其中，大規模數據分級聚類算法是一種聚類算法，可參考文獻(K.Liao，G.Liu，L.Xiao，and C.Liu，「A sample-based hierarchical adaptive K-means clustering method for large-scale video retrieval，」Knowledge-Based Systems，2013.)。
步驟3.2，經步驟3.1後，進行量化，生成每幅圖像的BOF特徵，具體方法如下：
量化生成每幅圖像的BOF特徵是指判斷圖像的每個特徵點與哪個類中心最近，最近的則放入該類中心，最後將生成一列頻數表，即初步的無權BOF；接下來通過tf-idf對頻數表加上權重，生成最終的加權BOF特徵；
其中，對查詢視頻的特徵進行量化方法如下：
在式(3)中q：表示量化，Rd表示實數空間中的d維數據，k表示類中心的數量，xi,j,i＝1,...,m2為參考視頻庫中第j幀中第i個特徵；
計算每幀的tf-idf權值方法具體如下：
Wi＝tfi·idfi (6)；
在式(4)～式(6)中：k表示類中心的數量；fij是第i個特徵所屬的視覺詞彙在第j個視頻幀上出現的頻率；ni是包含第i個特徵所屬的視覺詞彙的參考視頻幀的總數；N是總的參考視頻數；tfi表示詞頻率因子；idfi表示逆詞頻率因子；
步驟3.3，對生成的BOF特徵建立倒排索引，具體方法為：
倒排索引通常是由量化表文件和倒排表文件兩部分組成；
量化表文件記錄了文檔集(圖像、視頻幀)中出現的所有詞彙；
倒排表文件是將每個詞彙在記錄文件(圖像、視頻幀)中的位置和頻率等信息都記錄下來，所有詞彙的這些信息就構成了倒排表；對於量化表文件中的n個詞彙(特徵)w1…wn中的一個wi，在m個記錄文件(圖像、視頻幀)d1…dm中的倒排表能表示為如下形式：
n條這樣的記錄能構成一個完整的倒排表；
在式(7)中，fi表示頻率、方向及尺度信息；
式(7)給出了一個完整的用於查詢文本詞彙的倒排索引結構。
步驟4、根據步驟3得到的BOF特徵模型，建立基於BOF的投票檢索模型，具體按照以下步驟實施：
給定一個查詢幀，用局部特徵y表示，並且視頻資料庫中所有的關鍵幀用局部特徵xj,j＝1,...,n表示，基於BOF投票檢索的步驟具體如下：
步驟4.1、對於查詢幀的局部特徵yl,l＝1,...,m1和視頻資料庫中所有的關鍵幀的局部特徵xi,j,i＝1,...,m2，j＝1,...,n計算兩個視頻幀之間的相似性分數sj，其算法具體如下：
在式(8)中：f是一個匹配函數，它反映了兩個特徵xi,j和yl之間的相似性程度；
步驟4.2、經步驟4.1後，為了提高運算效率，一般把特徵根據視覺詞彙進行量化，並把量化後資料庫中視頻的特徵存儲在一個倒排文件中，這個量化過程q採用的是公式(3)；
量化後q(xi,j)的結果是與特徵xi,j最近的類中心(視覺詞彙)的序號；因此，若兩個特徵xi,j和yl量化後滿足q(xi,j)＝q(yl)，則這兩個特徵在高維的特徵空間中很接近的概率非常高；根據這個原理，考慮到前述的tf-idf加權方法，匹配函數f則定義為如下算法：
則能根據量化後的結果高效地比較兩個不同的特徵；
步驟4.3、經步驟4.2後，最終用來排序的圖像相似性分數sf是對sj進行後處理後得到的，具體按如下算法實施：
由步驟4.2中的式(9)和步驟4.3中的式(10)可以看出：同時考慮了查詢視頻幀和資料庫中關鍵幀的視覺單詞的tf-idf權重，並把它們加入到了基於BOF投票檢索方法中，這種加權方法對視覺單詞直方圖進行了規一化。
步驟5、應用信息融合策略把全局幾何分布信息融合到經步驟4建立的基於BOF的投票檢索模型中，在大規模的數據中精確的檢索近似重複視頻，具體方法如下：
應用信息融合策略把全局幾何分布信息融合到經步驟4建立的基於BOF的投票檢索模型中，在大規模的數據中精確的檢索近似重複視頻具體是指在檢索中把步驟2中的全局R特徵嵌入到步驟3中的BOF檢索模型中，來實現大規模數據的近似重複視頻檢索，其具體方法如下：
若兩個特徵x和y量化到同一個類中心上反映了這兩個特徵描述符的歐氏距離d(x,y)是很小的，則R特徵所描述的歐氏空間中的網絡之間的距離也應該是很小的；基於這一點，一個描述符由q(x)和b(x)，q是一個量化器，b是R特徵；則把R特徵嵌入到BOF檢索模型中，重新定義的匹配函數f的功能，具體算法如下：
在式(11)中：d表示歐式距離；ht表示一個域值；
一般在量化時類中心數可以取小一些的值，儘量讓相近的視頻能匹配上，而ht也相應的要取小值，這裡ht＝0.005，以便於能根據R特徵的距離去除誤匹配的視頻。
本發明融合全局R特徵的近似重複視頻檢索方法，從功能執行上講：首先執行對資料庫中視頻提取局部SIFT特徵；其次執行根據局部SIFT特徵中的坐標信息建立全局R特徵；然後執行利用局部SIFT特徵中描述符信息建立BOF檢索模型；接下來根據BOF模型，建立投票檢索模型；最後執行應用信息融合策略把全局幾何分布信息融合到BOF模型中，在大規模的數據中精確的檢索近似重複視頻。本發明融合全局R特徵的近似重複視頻檢索方法，充分利用了局部紋理信息和全局幾何分布信息，並提出了一種特徵融合的方法，能夠根據信息融合策略把全局幾何分布信息融合於BOF模型中，實現在大規模的數據中精確的檢索近似重複視頻。