基於數據驅動子空間集的壓縮視頻採集與重構系統的製作方法

2023-09-21 06:56:00

基於數據驅動子空間集的壓縮視頻採集與重構系統的製作方法
【專利摘要】本發明提供了一種基於數據驅動子空間集的壓縮視頻採集與重構系統，包括：子空間集構造模塊、稀疏基矩陣構造模塊、視頻信號傳感模塊和重構處理模塊，其中：子空間集構造模塊利用聚類方法生成子空間集，稀疏基矩陣構造模塊利用線性子空間學習方法生成子空間集對應的稀疏基，傳感模塊對視頻信號以塊的形式進行投影，所得的數據最後在重構處理模塊中被解碼重構。本發明提供壓縮採樣的同時還契合了視頻採樣過程的分布式漸進式的結構，對稀疏基矩陣的特殊構造也提升了重構的精確度和效率，本發明大大提高了視頻信號的採樣效率，在不同的採樣壓縮率下相比其他方法取得了重構增益，同時也具備良好的可擴展性。
【專利說明】基於數據驅動子空間集的壓縮視頻採集與重構系統
【技術領域】
[0001]本發明涉及一種視頻信號獲取方案，具體是一種基於數據驅動子空間集的壓縮視頻採集與重構系統。
【背景技術】
[0002]視頻信號的採集和編碼(壓縮)對於視頻的存儲和傳輸等應用至關重要。傳統的信號處理系統採用先採樣再壓縮的模式:為了完整地保存信號所有信息，應以不小於信號帶寬的兩倍採樣頻率對視頻進行採樣；採集到的原始信號通過一系列編碼技術後達到去除冗餘的目的，相關技術的瓶頸在於花費了大量的傳感器以及計算資源就為了獲得處理後的少量信號壓縮數據，對採樣端的資源需求過高。為了進一步提高視頻信號的採集效率，在採樣的同時加入了一些信號處理技術，其中一種方案則是將採樣與壓縮同時進行，然後通過後端的一些算法對壓縮後的數據進行重構。
[0003]經過對現有技術的文獻檢索發現，Ying Liu, Ming Li和Dimitris A.Pados在2013年的〈〈IEEE Transactions on Circuits and Systems for Video Technology〉〉(TCSVT)期刊上發表的 「Motion-Aware Decoding of Compressed-Sensed Video」 一文中提出 了基於Karhunen-Loeve transform (KLT)基的重構將壓縮傳感應用到視頻採樣上來,該方法在採樣編碼端直接對視頻塊採用傳感矩陣進行壓縮採樣，在解碼端使用KLT基作為稀疏基對信號進行重構，這種方法可以有效地提高視頻採樣的效率，並且保證重構獲得的視頻的主觀質量，但這種方法所使用的KLT基是在局部搜索窗中產生的，對於具有複雜紋理或者劇烈運動的視頻場景，該方法所使用的KLT基就不能準確有效的對視頻幀塊進行稀疏表示，進而導致效果降低。這些不足促使我們在其基礎上去尋找一種更加有效地重構方法，充分利用視頻信號塊的特殊結構來提高重構結果的主客觀質量。Yue M.Lu與Minh N.Do在2008年的《IEEE Transactions on Signal Processing)) (TSP)期刊上發表的 「A Theory forSampling Signals From a Union of Subspaces」 一文中提出了基於子空間集的信號採樣理論，該理論給出了對於處在子空間集的信號的採樣所要滿足的唯一性和穩定性的條件，但是該理論所假設的子空間集是由固定基張成的，不能提供更加有效的稀疏性和適應性。

【發明內容】

[0004]本發明針對現有技術的不足，提供了一種基於數據驅動子空間集的壓縮視頻採集與重構系統，可以有效提高視頻信號採集效率以及重構系統的主客觀質量，並可作為一種通用的視頻採集工具。
[0005]本發明是通過以下技術方案實現的:
[0006]本發明所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，包括:子空間集構造模塊、稀疏基矩陣構造模塊、視頻信號傳感模塊和重構處理模塊，其中:
[0007]所述子空間集構造模塊對視頻信號關鍵幀塊，利用聚類方法生成子空間集，並將該子空間集輸出到稀疏基矩陣構造模塊的輸入端；[0008]所述稀疏基矩陣構造模塊接收子空間集，利用線性子空間學習方法生成子空間集對應的稀疏基矩陣，並將該稀疏基矩陣輸出到重構處理模塊的輸入端；
[0009]所述視頻信號傳感模塊對視頻信號的非關鍵幀塊以塊的形式進行投影，得到觀測值，並將該觀測值輸出到重構處理模塊的輸入端；
[0010]所述重構處理模塊接收所述稀疏基矩陣構造模塊輸出的基矩陣與所述視頻信號傳感模塊輸出的測量值，對信號進行重構。
[0011]所述的子空間集構造模塊，實現由在重建的關鍵幀上進行塊聚類生成不同類別的塊組。每類塊組對應於一個子空間，聚類得到的塊組作為訓練集用於生成子空間集的稀疏基矩陣。基於塊聚類的子空間構造可以通過稀疏子空間聚類方法和塊匹配方法對整個重構關鍵幀進行操作來實現。
[0012]所述的稀疏基矩陣構造模塊實現由線性子空間學習方法生成的一種標準正交基，線性子空間學習方法分別單獨作用於不同的塊組得到不同的基，進而組成稀疏基矩陣。它能夠適應性的表示出高維信號的內在結構，相對於固定基能更有效地稀疏表示視頻信號，並且信號在此稀疏基矩陣上的稀疏表示是具有塊結構的。
[0013]所述的傳感模塊是一種一階的數字微鏡設備(DMD)，它模擬了對視頻信號的壓縮傳感。
[0014]所述的重構處理模塊是通過一種凸鬆弛算法模型實現的。
[0015]本發明中採用的基於數據驅動子空間集的壓縮傳感技術為視頻信號的採集提供了通用的解決方案，尤其是針對具有複雜紋理和劇烈運動的視頻信號。本發明所使用的子空間集是通過在重構的關鍵幀中採用稀疏子空間聚類和塊匹配方法聚類得到的，充分利用了視頻幀塊的獨特結構，以及幀內幀間的空間時間冗餘，提高了採樣的效率與性能。另一方面，鑑於稀疏基矩陣在壓縮傳感的重構過程中發揮的重要作用，本發明通過線性子空間學習的方法對每個子空間單獨進行學習得到相應的基進而組成子空間集的稀疏基矩陣，這樣能夠使得幀塊信號具有適應性稀疏表示，並且該稀疏表示具有結構性，進而提高採樣效率(降低精確重構所需的必要採樣數)，還能加速凸鬆弛重構算法的收斂及穩定性，有助於本發明數據驅動子空間集壓縮傳感的性能及實用性的提升。
[0016]與現有技術相比，本發明具有如下的有益效果:
[0017]本發明大大提高了重構性能，與傳統的使用固定基或者KLT基進行重構的視頻壓縮傳感系統相比，由於本發明的重構採用的是適應性的全局最優的基因此在重構效果上均能夠得到增強；對於其它高維信號，本發明通過適當的修改也可使用，具有較強的適應性；在重建時由於子空間集和稀疏基矩陣的特殊構造，使得信號具有結構性的稀疏表示，因此本發明在不降低視頻的主觀效果的情況下可以進一步提高採樣效率，同時加快凸鬆弛重構算法的收斂速度，在不同的採樣壓縮率下相比其他方法取得了重構增益，同時也具備良好的可擴展性。
【專利附圖】

【附圖說明】
[0018]通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特徵、目的和優點將會變得更明顯:
[0019]圖1為本發明系統一實施例的結構框圖；[0020]圖2為子空間集構造模塊工作原理圖；
[0021]圖3為稀疏基矩陣構造模塊對視頻幀塊信號產生的結構性稀疏表示示意圖。【具體實施方式】[0022]下面結合具體實施例對本發明進行詳細說明。以下實施例將有助於本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬於本發明的保護範圍。
[0023]如圖1所示，本發明一實施例的結構框圖，包括:子空間集構造模塊、稀疏基矩陣構造模塊、視頻信號傳感模塊和重構處理模塊，其中:子空間集構造模塊利用聚類方法生成子空間集，稀疏基矩陣構造模塊利用線性子空間學習方法生成子空間集對應的稀疏基，傳感模塊對視頻信號以塊的形式進行壓縮投影，所得的觀測值最後在重構處理模塊中被解碼重構。在編碼端中，視頻信號傳感模塊對視頻信號進行採樣產生測量值；在解碼端中，稀疏基矩陣構造模塊產生基矩陣；所述稀疏基矩陣構造模塊輸出的的基矩陣與所述視頻信號傳感模塊輸出的測量值一起進入重構處理模塊，在重構處理模塊中信號被重構。
[0024]本實施例中，所述的子空間集構造模塊如圖2所示，在整幅重建的關鍵幀中做塊聚類，其中:關鍵幀中的塊集合X= Ix1, X2,…，ΧΚ}，利用稀疏子空間聚類方法或塊匹配方法把X分割成t個聚類X1, X2,…，Xt，每個聚類中的塊都是相似的且同屬於一個子空間。X1, X2,…，Xt對應於t個子空間S1, S2，…，St，那麼任一視頻幀塊信號X都屬於子空間集U= U S」
[0025]本實施例中，所述的稀疏基矩陣構造模塊實現由線性子空間學習方法生成的一種標準正交基，線性子空間學習方法(如主成分分析(PCA))分別單獨作用於不同的塊組Xi, i=l，...，t得到不同的基Wi, i=l，...，t，進而組成稀疏基矩陣Ψ2，…，Wt]。該稀疏基矩陣能夠適應性的表示出視頻幀塊信號的內在結構，相對於固定基能更有效地稀疏表示視頻信號，並且信號在此稀疏基矩陣上的稀疏表示c*是具有塊結構的，如圖3所示。
[0026]本實施例中，所述的視頻信號傳感模塊是一種一階的數字微鏡投影設備(DMD)，它模擬了對視頻信號的壓縮傳感y=oX，Φ為隨機採樣矩陣。該發明首先對關鍵幀塊進行壓縮採樣，採樣率為0.7，然後對非關鍵幀塊信號進行壓縮採樣，採樣率的選取在0.1到0.6之間，基於視頻幀塊的採樣提高了視頻採樣和重構的速率。
[0027]本實施例中，所述的重構處理模塊是通過一種凸鬆弛算法模型實現的，具體為:對於關鍵幀，找到I1範數最小的C使得7=ΦΨ(3，得到的是一個全局最優解，用二維DCT基Ψ乘以這個全局最優解就可以得到所需重構的關鍵幀塊信號；對於非關鍵幀，找到I2,工範數最小的cM吏得，得到的是一個全局最優解，用Ψ*乘以這個全局最優解就可以得到所需重構的非關鍵幀塊信號。其中，Φ為隨機採樣矩陣，12>1範數為混合範數，
INI, =Zllc[/=z]IL，I為塊結構中塊組的下標，如圖3。
[0028]實施效果
[0029]本實施例中關鍵參數的設置為:實驗用視頻序列來源於Football_cif.yuv(352x288的4:2:0格式的YUV文件)，總共取250幀。每十幀為一個幀組，選取第一幀為關鍵幀，後九幀為非關鍵幀，塊的尺寸選取為16X16像素。由於信號的灰度圖集中了絕大部分能量，測試主要是在灰度圖上完成的。本實施例比較了採用本發明所述的基於數據驅動子空間集的壓縮感知的方法與Ying Liu等人在「Motion-Aware Decoding ofCompressed-Sensed Video，，論文中的方法，以及Yue Μ.Lu等人在「A Theory for SamplingSignals From a Union of Subspaces」論文中的方法。本發明所用稀疏基選取了 PCA基，每個子空間的維數為10，聚類產生的子空間的個數為50。
[0030]與之前兩種方法相比，在壓縮率為0.2時，本實施例系統分別獲得9.2dB，2.7dB的重構增益；在壓縮率為0.3時，本實施例系統分別獲得11.6dB, 2.8dB的重構增益；在壓縮率為0.4時，本實施例系統分別獲得11.4dB, 4.2dB的重構增益；在壓縮率為0.5時，本實施例系統分別獲得10.3dB, 6.3dB的重構增益；
[0031]實驗表明，本實施例系統重建出來的視頻序列在重構質量上明顯優於另外兩種方法得到的視頻序列。
[0032]以上對本發明的具體實施例進行了描述。需要理解的是，本發明並不局限於上述特定實施方式，本領域技術人員可以在權利要求的範圍內做出各種變形或修改，這並不影響本發明的實質內容。
【權利要求】
1.一種基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵在於，包括:子空間集構造模塊、稀疏基矩陣構造模塊、視頻信號傳感模塊和重構處理模塊，其中: 所述子空間集構造模塊對視頻信號關鍵幀塊，利用聚類方法生成子空間集，並將該子空間集輸出到稀疏基矩陣構造模塊的輸入端； 所述稀疏基矩陣構造模塊接收子空間集，利用線性子空間學習方法生成子空間集對應的稀疏基矩陣，並將該稀疏基矩陣輸出到重構處理模塊的輸入端； 所述視頻信號傳感模塊對視頻信號的非關鍵幀塊以塊的形式進行投影，得到觀測值，並將該觀測值輸出到重構處理模塊的輸入端； 所述重構處理模塊接收所述稀疏基矩陣構造模塊輸出的基矩陣與所述視頻信號傳感模塊輸出的測量值，對信號進行重構。
2.根據權利要求1所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵是，所述的子空間集構造模塊，實現由在重構的關鍵幀上進行塊聚類生成不同類別的塊組，每類塊組對應於一個子空間，聚類得到的塊組作為訓練集用於生成子空間集的稀疏基矩陣。
3.根據權利要求2所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵是，基於塊聚類的子空間構造可通過稀疏子空間聚類方法和塊匹配方法對整個重構關鍵幀進行操作來實現。
4.根據權利要求1-3任一項所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵是，所述的稀疏基矩陣構造模塊實現由線性子空間學習方法生成的一種標準正交基，它能夠適應性的表示出高維信號的內在結構，相對於固定基能更有效地稀疏表示視頻信號，這種在稀疏基矩陣上的稀疏表示是具有塊結構的。
5.根據權利要求4所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵是，所述的線性子空間學習方法分別單獨作用於不同的塊組得到不同的基，進而組成稀疏基矩陣。
6.根據權利要求1-3任一項所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵是，所述的視頻信號傳感模塊是一種一階的數字微鏡設備，它模擬了對視頻信號的壓縮傳感。
7.根據權利要求1-3任一項所述的基於數據驅動子空間集的壓縮視頻採集與重構系統，其特徵是，所述的重構處理模塊通過一種凸鬆弛算法模型實現的，找到的全局最優解乘以稀疏基就是要得到的重構信號。
【文檔編號】H04N19/59GK103517079SQ201310422841
【公開日】2014年1月15日 申請日期:2013年9月16日 優先權日:2013年9月16日
【發明者】熊紅凱, 李勇 申請人:上海交通大學