基於結構化稀疏字典學習的壓縮視頻採集與重構系統的製作方法

2023-10-17 13:15:54

基於結構化稀疏字典學習的壓縮視頻採集與重構系統的製作方法
【專利摘要】本發明提供了一種基於結構化稀疏字典學習的壓縮視頻採集與重構系統，包括：結構化稀疏字典學習模塊、視頻信號傳感模塊和重構處理模塊，其中：結構化稀疏字典學習模塊首先利用子空間聚類的方法得到訓練集，然後利用線性子空間學習方法以及最小化塊相關的塊稀疏字典學習方法得到字典，傳感模塊對視頻信號以圖像塊的形式進行投影，所得的數據最後在重構處理模塊中被解碼重構。本發明提供壓縮採樣的同時還契合了視頻採樣過程的分布式漸進式的結構，對結構化稀疏字典矩陣的特殊構造也提升了重構的精確度和效率，本發明大大提高了視頻信號的採樣效率，在不同的採樣壓縮率下相比其他方法取得了重構增益，同時也具備良好的可擴展性。
【專利說明】基於結構化稀疏字典學習的壓縮視頻採集與重構系統

【技術領域】
[0001] 本發明涉及一種視頻信號獲取方案，具體是一種基於結構化稀疏字典學習的壓縮 視頻採集與重構系統。

【背景技術】
[0002] 視頻信號的採集和編碼（壓縮）對於視頻的存儲和傳輸等應用至關重要。傳統的 信號處理系統採用先採樣再壓縮的模式：為了完整地保存信號所有信息，應以不小於信號 帶寬的兩倍採樣頻率對視頻進行採樣；採集到的原始信號通過一系列編碼技術後達到去除 冗餘的目的，相關技術的瓶頸在於花費了大量的傳感器以及計算資源就為了獲得處理後的 少量信號壓縮數據，對採樣端的資源需求過高。為了進一步提高視頻信號的採集效率，在採 樣的同時加入了一些信號處理技術，其中一種方案則是將採樣與壓縮同時進行，然後通過 後端的一些算法對壓縮後的數據進行重構。
[0003] 經過對現有技術的文獻檢索發現，Yue M. Lu與Minh N. Do在2008年的《IEEE Transactions on Signal Processing〉〉（TSP)期幹丨J 上發表的 "A Theory for Sampling Signals From a Union of Subspaces" 一文中提出了基於子空間集的信號採樣理論，該 理論給出了對於處在子空間集的信號的採樣所要滿足的唯一性和穩定性的條件，但是該理 論所假設的子空間集是由固定基張成的，不能提供更加有效的稀疏性和適應性。Y. Li和 H. Xiong 在 2014 年的《IEEE Data Compression Conference》（IEEE DCC)會議上發表的 "Union of Data-driven Subspaces via Subspace Clustering for Compressive Video Sampling" 一文中提出了基於數據驅動子空間集模型將壓縮傳感應用到視頻採樣上來，該 方法在採樣編碼端直接對視頻信號進行壓縮採樣，在解碼端使用UoDS基作為稀疏基對信 號進行重構，這種方法可以靈活有效地對信號進行稀疏表示以保證重構獲得的視頻的主觀 質量，但這種方法所使用的UoDS基沒有考慮各個子空間之間的重疊性，表現在塊間的相關 性高以至不能得到結構緊湊的塊稀疏性，進而導致效果降低。這些不足促使我們在其基礎 上去尋找一種更加有效靈活地稀疏基去進行重構，充分利用視頻信號塊的特殊結構來提高 重構結果的主客觀質量。


【發明內容】

[0004] 本發明針對現有技術的不足，提供了一種基於結構化稀疏字典學習的壓縮視頻採 集與重構系統，可以有效提高視頻信號採集效率以及重構系統的主客觀質量，並可作為一 種通用的視頻採集工具。
[0005] 本發明是通過以下技術方案實現的：
[0006] 本發明所述的基於結構化稀疏字典學習的壓縮視頻採集與重構系統，包括：結構 化稀疏字典學習模塊、視頻信號傳感模塊和重構處理模塊，其中：
[0007] 所述結構化稀疏字典學習模塊對視頻信號關鍵幀塊，利用結構化稀疏字典學習方 法得到結構化稀疏基矩陣，並將該稀疏基矩陣輸出到重構處理模塊的輸入端；
[0008] 所述視頻信號傳感模塊對視頻信號的非關鍵幀塊以塊的形式進行投影，得到觀測 值，並將該觀測值輸出到重構處理模塊的輸入端；
[0009] 所述重構處理模塊接收所述結構化稀疏字典學習模塊輸出的結構化稀疏基矩陣 與所述視頻信號傳感模塊輸出的測量值，對信號進行重構。
[0010] 所述的結構化稀疏字典學習模塊，實現由在重構的關鍵幀的塊集合利用子空間聚 類的方法得到訓練集，對各個類分別進行線性子空間學習得到各個子空間所對應的基矩 陣，然後使用結構化稀疏字典學習降低各個子空間之間的塊相關性以得到更緊湊的結構 化稀疏表示，生成的結構化稀疏基能適應性的表示出信號的內在結構，相對於固定基能更 有效地稀疏表示視頻信號。
[0011] 所述的傳感模塊是一種一階的數字微鏡設備（DMD)，它模擬了對視頻信號的壓縮 傳感，對視頻非關鍵幀塊進行採樣。
[0012] 所述的重構處理模塊是通過一種結構化稀疏凸鬆弛算法模型實現的，對視頻非關 鍵幀的塊進行重構。
[0013] 本發明中採用的基於結構化稀疏字典學習的壓縮傳感技術為視頻信號的採集提 供了通用的解決方案。本發明所使用的結構化稀疏基矩陣是通過在重構的關鍵幀中採用結 構化稀疏字典學習的方法得到的，充分利用了視頻幀塊的獨特結構，降低各個子空間的重 疊，這樣能夠使得幀塊信號具有適應性的更加緊湊的結構化稀疏表示，進而提高採樣效率 (降低精確重構所需的必要採樣數），有助於本發明結構化稀疏字典學習的壓縮傳感的性 能及實用性的提升。
[0014] 與現有技術相比，本發明具有如下的有益效果：
[0015] 本發明大大提高了重構性能，與傳統的使用固定基或者UoDS基進行重構的視頻 壓縮傳感系統相比，由於本發明的重構採用的是適應性的全局最優的稀疏基因此在重構效 果上均能夠得到增強；對於其它多維信號，本發明通過適當的修改也可使用，具有較強的適 應性；在重建時由於訓練集的特殊構造以及考慮了降低塊相關性的結構化字典學習，使得 信號具有更緊湊的結構性稀疏表示，因此本發明在不降低視頻的主觀效果的情況下可以進 一步提高採樣效率，同時加快凸鬆弛重構算法的收斂速度，在不同的採樣壓縮率下相比其 他方法取得了重構增益，同時也具備良好的可擴展性。

【專利附圖】

【附圖說明】
[0016] 通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特徵、 目的和優點將會變得更明顯：
[0017] 圖1為本發明系統一實施例的結構框圖；
[0018] 圖2為結構化稀疏字典學習模塊的工作原理圖；
[0019] 圖3為結構化稀疏字典學習模塊對視頻幀塊信號產生的結構性稀疏表示示意圖。

【具體實施方式】
[0020] 下面結合具體實施例對本發明進行詳細說明。以下實施例將有助於本領域的技術 人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術 人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬於本發明 的保護範圍。
[0021] 如圖1所示，本發明一實施例的結構框圖，包括：結構化稀疏字典學習模塊、視頻 信號傳感模塊、重構處理模塊，其中：結構化稀疏字典學習模塊利用結構化稀疏字典學習方 法生成稀疏基矩陣，傳感模塊對視頻信號以塊的形式進行壓縮投影，所得的觀測值最後在 重構處理模塊中被解碼重構。在編碼端中，視頻信號傳感模塊對視頻信號進行採樣產生測 量值；在解碼端中，結構化稀疏字典學習模塊產生稀疏基矩陣；所述結構化稀疏字典學習 模塊輸出的稀疏基矩陣與所述視頻信號傳感模塊輸出的測量值一起進入重構處理模塊，在 重構處理模塊中信號被重構。
[0022] 本實施例中，所述的結構化稀疏字典學習模塊如圖2所示，在整幅重建的關鍵幀 中做塊聚類，其中：關鍵幀中的塊集合X= {Xl，x2，…，xK}，利用稀疏子空間聚類方法或塊匹 配方法把X分割成t個聚類Xi，X 2，…，Xt，每個聚類中的塊都是相似的且同屬於一個子空間。 Xp X2，…，Xt對應於t個子空間Si，S2，…，St，那麼任一視頻幀塊信號X都屬於子空間集U = U Sp訓練集的實現由線性子空間學習方法生成的一種標準正交基，線性子空間學習方法 (如主成分分析（PCA))分別單獨作用於不同的塊組i = 1，. . .，t得到不同的基Ψρ i = 1，...，t，進而組成稀疏基矩陣Ψ# = [Ψρ Ψ2，…，Ψ,]。但是由於子空間的重疊導致塊稀 疏性不夠緊湊，同時表現出比較高的塊相關度，塊相關度定義為

【權利要求】
1. 一種基於結構化稀疏字典學習的壓縮視頻採集與重構系統，其特徵在於，包括：結 構化稀疏字典學習模塊、視頻信號傳感模塊和重構處理模塊，其中： 所述結構化稀疏字典學習模塊對視頻信號關鍵幀塊，利用結構化稀疏字典學習方法生 成對應的結構化稀疏基矩陣，並將該稀疏基矩陣輸出到重構處理模塊的輸入端； 所述視頻信號傳感模塊對視頻信號的非關鍵幀以塊的形式進行投影，得到觀測值，並 將該觀測值輸出到重構處理模塊的輸入端； 所述重構處理模塊接收所述結構化稀疏字典學習模塊輸出的稀疏基矩陣與所述視頻 信號傳感模塊輸出的測量值，對視頻信號進行重構。
2. 根據權利要求1所述的基於結構化稀疏字典學習的壓縮視頻採集與重構系統，其特 徵是，所述的結構化稀疏字典學習模塊，實現由在重構的關鍵幀的塊集合利用子空間聚類 的方法得到訓練集用於生成結構化稀疏基矩陣。
3. 根據權利要求2所述的基於結構化稀疏字典學習的壓縮視頻採集與重構系統，其特 徵是，所述的結構化稀疏字典學習模塊實現由結構化稀疏學習方法生成的一種結構化稀疏 基，該稀疏基能適應性的表示出信號的內在結構，相對於固定基能更有效地稀疏表示視頻 信號。
4. 根據權利要求1-3任一項所述的基於結構化稀疏字典學習的壓縮視頻採集與重構 系統，其特徵是，所述的結構化稀疏字典學習模塊，實現由結構化稀疏學習方法用於降低各 個子空間之間的塊相關性以得到更緊湊的結構化稀疏表示。
5. 根據權利要求1-3任一項所述的基於結構化稀疏字典學習的壓縮視頻採集與重構 系統，其特徵是，所述的視頻信號傳感模塊是一種一階的數字微鏡設備，它模擬了對視頻信 號的壓縮傳感。
6. 根據權利要求1-3任一項所述的基於結構化稀疏字典學習的壓縮視頻採集與重構 系統，其特徵是，所述的重構處理模塊通過一種凸鬆弛算法模型實現的，找到的全局最優解 乘以稀疏基就是要得到的重構信號。
7. 根據權利要求6所述的基於結構化稀疏字典學習的壓縮視頻採集與重構系統，其特 徵是，所述的重構處理模塊利用一種塊稀疏約束得到具有塊稀疏性的表示向量用於重構信 號。
【文檔編號】H04N19/176GK104301728SQ201410545458
【公開日】2015年1月21日 申請日期:2014年10月15日 優先權日:2014年10月15日
【發明者】熊紅凱, 李勇 申請人:上海交通大學