高速低功耗無線傳感網絡視頻壓縮採樣方法及裝置製造方法
2023-06-16 18:59:06 1
高速低功耗無線傳感網絡視頻壓縮採樣方法及裝置製造方法
【專利摘要】本發明屬於無線傳感網絡視頻壓縮採樣【技術領域】，為提供低複雜度、低功耗的編碼端以保證長期穩定工作，而接收端可以進行大量的數據存儲和複雜的解碼計算，提出新的視頻壓縮採樣框架以及基於壓縮感知的編解碼策略。為此，本發明採用的技術方案是，高速低功耗無線傳感網絡視頻壓縮採樣方法，包括如下步驟：根據接收到採樣視頻信號的時間以及比特誤碼率要求控制視頻信號的壓縮採樣率以及幀率，進行基於壓縮感知的視頻差分編碼，完成對視頻信號的壓縮編碼；在視頻解碼端，採用對應於基於壓縮感知的視頻差分編碼的解碼策略，恢復出視頻圖像幀，並遠程控制對採樣視頻信號的時間以及比特誤碼率的要求。本發明主要應用於無線傳感網絡視頻傳輸處理。
【專利說明】高速低功耗無線傳感網絡視頻壓縮採樣方法及裝置
【技術領域】
[0001]本發明屬於無線傳感網絡視頻壓縮採樣【技術領域】，尤其涉及基於壓縮感知的視頻編解碼技術，具體講，涉及高速低功耗無線傳感網絡視頻壓縮採樣策略。
【背景技術】
[0002]傳統的視頻編碼方式，無論是H.26X系列還是MPEG系列的傳統視頻編碼技術，均採用編碼端複雜、解碼端簡單的系統結構，即編碼端通過幀間預測、幀內預測和DCT變換來去除時間和空間冗餘，以獲得高壓縮效率，這使得整個系統對編碼器的計算能力和內存容量的要求非常高，遠高於解碼器。
[0003]目前基於壓縮感知(CS)的視頻編碼方式也被廣泛熟知與應用，壓縮感知(CS)是近年來信號處理領域誕生的一種新興的理論。該理論在信號獲得的同時對數據進行壓縮，其頻率遠低於奈奎斯特採樣頻率，這樣一來可減少採樣的信息數據，節省存儲空間的同時又包含有足夠的信息。在需要恢復原始信號時，採用合適的重構算法進行還原，從而恢復出足量數據。壓縮感知理論將傳統的數據採集和壓縮合二為一，不需要複雜的數據編碼計算，非常適合採用於編碼端資源受限的場合。
[0004]但是現有的基於壓縮感知(CS)的視頻編碼方式缺少反饋控制，穩定性以及魯棒性較差，要實現進一步的視頻信號壓縮對重構算法的複雜度以及視頻信號自身的稀疏度要求會成倍的提高。改進型的如基於分布式的壓縮感知視頻編碼(DVCS)、基於聯合稀疏的壓縮感知視頻編碼(JSMCS)、基於聯合稀疏的分布式壓縮感知視頻編碼(JSM-DVCS)等雖然在很大程度成提高了視頻的壓縮率、穩定性以及魯棒性，但是對於資源受限的嵌入式無線傳感器網絡難以滿足這些該進編碼方式的計算複雜度要求。
【發明內容】
[0005]本發明旨在解決克服現有技術的不足，主要針對一些編碼端資源受限的視頻應用領域，如視頻監控、無線視頻傳感網絡等。因其使用的設備和環境的局限性，此應用領域要求低複雜度、低功耗的編碼端以保證長期穩定工作，而接收端可以進行大量的數據存儲和複雜的解碼計算。為了達到上述技術要求，提出了新的視頻壓縮採樣框架以及基於壓縮感知的編解碼策略。為此，本發明採用的技術方案是，高速低功耗無線傳感網絡視頻壓縮採樣方法，包括如下步驟:根據接收到採樣視頻信號的時間以及比特誤碼率要求控制視頻信號的壓縮採樣率以及幀率，進行基於壓縮感知的視頻差分編碼，完成對視頻信號的壓縮編碼；在視頻解碼端，採用對應於基於壓縮感知的視頻差分編碼的解碼策略，恢復出視頻圖像幀，並遠程控制對採樣視頻信號的時間以及比特誤碼率的要求。
[0006]基於壓縮感知的視頻差分編碼是，先對採集到的每一幀圖像進行CS壓縮採樣，前一幀的採樣信號作為關鍵幀輸出，後一幀的採樣信號與前一幀做差值，差分信號作為非關鍵幀輸出；其中幀率控制圖像組(GOP)的大小及分布，採樣率控制視頻的整體壓縮率，兩者結合控制恢復視頻的時間以及質量。[0007]視頻解碼的詳細步驟是:先將採集到的編碼信號按照幀率的輸入標記為關鍵幀與非關鍵幀，將關鍵幀的信號直接通過壓縮感知(CS)重構算法恢復出關鍵幀圖像輸出，並存儲到緩存單元；再將下一幀的非關鍵幀信號通過壓縮感知(CS)重構算法恢復出差分圖像，再與前一幀留在緩存單元中的圖像信號進行疊加，恢復出非關鍵幀圖像輸出，並存儲到緩存單元；其中幀率控制接收信號分離關鍵幀與非關鍵幀。
[0008]將關鍵幀的信號直接通過壓縮感知(CS)重構算法恢復出關鍵幀圖像輸出具體是，直接利用改進型的修正牛頓法(NSLO)算法恢復出關鍵幀圖像輸出。
[0009]高速低功耗無線傳感網絡視頻壓縮採樣裝置，包括:攝像頭模塊、DSP壓縮採樣模塊、無線收發模塊、PC機視頻解碼器以及視頻輸出接口 ；其中攝像頭模塊負責採集視頻信號，DSP壓縮採樣模塊負責根據對接收到的時間以及比特誤碼率要求控制對視頻信號的壓縮採樣率以及幀率，完成對視頻信號的壓縮編碼，無線收發模塊負責傳輸控制變量以及壓縮編碼的視頻數據，PC機視頻解碼器負責對接收到的壓縮編碼視頻數據進行解碼重構，恢復出原始視頻信號並遠程控制對採樣視頻信號的時間以及比特誤碼率的要求，視頻輸出接口負責為解碼的視頻信號提供輸出顯示接口。
[0010]本發明的技術特點及效果:
[0011]視頻序列經過壓縮感知編碼處理後，形成的是一些無結構的數據，並且這些數據之間不存在相關性特點。在無線信道上進行信息的傳遞存在著隨機性的誤碼特點，會遇到偶然性的比特反轉，也有可能會碰到一串聯的聯繫比特錯誤。對於視頻數據的傳輸，如果採用現有的MPEG與H26X系列的編碼方案，由於編碼出來的數據有運動信息和紋理信息，而紋理信息裡面又分低頻和高頻的部分，對於這些不同類型的數據而言，它們對於視頻解碼端的重要性的貢獻是不一樣的，這樣不同重要性的數據在無線的隨機信道上傳輸產生的誤碼後產生的效果是不可預知的。當採用壓縮感知的方法進行視頻的壓縮以後，對於紋理信息來說得到的是一組無結構無相應物理對應關係的數據，收到一幀圖像解碼後的質量僅僅取決於收到數據量的多少。也就是說，數據之間的重要性是完全平等的。任意相同數量的數據的丟失對於整個一幀視頻來說是平均的分擔到整個一幀視頻上去的。
[0012]同時本發明的基於壓縮感知的視頻編解碼策略在傳統的壓縮感知視頻編碼的基礎上引入了根據解碼時間以及比特誤碼率要求設定的反饋控制信號:圖像壓縮採樣率以及圖像關鍵幀非關鍵幀的幀率，能很好的適應不同的需求場合。同時設計了基於壓縮感知的視頻差分編解碼策略，在提高視頻壓縮率的同時能夠加快信號的解碼速度並且並不會增加編碼端的計算複雜度。
【專利附圖】
【附圖說明】
[0013]圖1是本發明的系統的整體結構拓撲圖。
[0014]圖2是本發明的視頻壓縮編碼框架結構圖。
[0015]圖3是傳統的的基於壓縮感知的視頻差分編碼原理結構圖。
[0016]圖4是本發明的基於壓縮感知的視頻差分編碼原理結構圖。
[0017]圖5是本發明的基於壓縮感知的視頻解碼原理結構圖。
【具體實施方式】[0018]針對編碼端資源受限的嵌入式無線傳感器網絡，視頻壓縮編碼端在傳統基於壓縮感知的視頻壓縮編碼器上加入反饋控制器來提高編碼的穩定性以及魯棒性。反饋控制信號主要是壓縮感知的壓縮採樣率和視頻序列關鍵幀非關鍵幀的幀率。反饋控制信號由解碼端恢復視頻圖像序列後計算重構時間以及比特誤碼率，由系統對重構時間以及比特誤碼率的要求控制。
[0019]同時為了進一步提高視頻壓縮率以及加快視頻解碼速度以滿足實時解碼要求，本發明引入基於壓縮感知的視頻差分編碼策略，思想類似於分布式視頻編碼中的外推法。可以提高視頻壓縮率以及加快視頻解碼的速度，同時相比於分布式視頻編碼中的外推法，基於壓縮感知的視頻差分編碼策略的算法複雜度要更低並且使得整個視頻編解碼過程沒有時延，為視頻的高效實時解碼創造了良好的條件。
[0020]在視頻解碼端，為了滿足視頻解碼實時性的要求，採用對應於基於壓縮感知的視頻差分編碼的解碼策略，根據視頻序列關鍵幀非關鍵幀的幀率分離出關鍵幀與非關鍵幀，再分別用不同的策略恢復出視頻圖像幀。由於非關鍵幀的信息量少所以重構時間會少於關鍵幀，所以相比於傳統的基於壓縮感知的視頻解碼，本發明的解碼策略能提高解碼速率，為視頻的高效實時解碼提供了保證。同時在解碼算法上採用重構效率高的改進型的修正牛頓法(NSL0)，在高重構效果的同時算法的時間複雜度也很低，能夠滿足中低要求的實時視頻解碼。
[0021]如圖1所示是本發明的系統整體結構拓撲圖，系統主要由五個部分組成，分別是攝像頭模塊、DSP壓縮採樣模塊、無線收發模塊、PC機視頻解碼器以及視頻輸出接口。其中攝像頭模塊負責採集視頻信號，DSP壓縮採樣模塊負責根據對接收到的時間以及比特誤碼率要求控制對視頻信號的壓縮採樣率以及幀率，完成對視頻信號的壓縮編碼，無線收發模塊負責傳輸控制變量以及壓縮編碼的視頻數據，PC機視頻解碼器負責對接收到的壓縮編碼視頻數據進行解碼重構，恢復出原始視頻信號並遠程控制對採樣視頻信號的時間以及比特誤碼率的要求，視頻輸出接口負責為解碼的視頻信號提供輸出顯示接口。
[0022]與傳統的視頻或者基於壓縮感知(CS)的視頻編碼不同:傳統的視頻編碼如MPEG2、MPEG4、H.264等都是基於相鄰幀之間的時間相關性估算運動矢量來壓縮信號；傳統的基於壓縮感知(CS)的視頻編碼則是利用壓縮感知圖像壓縮原理對視頻幀進行壓縮，然而較新的基於分布式的壓縮感知視頻編碼則是把分布式視頻編碼與傳統的基於壓縮感知(CS)的視頻編碼相結合。優點是可以提高視頻壓縮率，減少信道傳輸數據量。但是缺點是提高了編碼端的複雜度，並不適合資源受限的嵌入式無線傳感器網絡。本發明提出的視頻編碼策略針對資源受限的嵌入式無線傳感器網絡，採用低複雜度高效的壓縮感知(CS)視頻編碼策略，同時通過遠程控制引入聯合採樣率控制以及幀率控制來滿足用戶對視頻信號質量的要求。如圖2所示是本發明的視頻壓縮編碼框架結構圖。
[0023]如圖3所示是傳統的的基於壓縮感知的視頻差分編碼原理結構圖，先以圖像組(GOP)等於2為例，傳統的基於壓縮感知的視頻差分編碼是先對採集到的前一幀圖像進行CS壓縮採樣作為關鍵幀輸出，採集的後一幀圖像與前一幀做差值，再將差分後的圖像進行CS壓縮採樣輸出作為非關鍵幀輸出。其中幀率控制圖像組(GOP)的大小及分布，採樣率控制視頻的整體壓縮率。兩者結合可以控制恢復視頻的時間以及質量。
[0024]如圖4所示是本發明的基於壓縮感知的視頻差分編碼原理結構圖，先以圖像組(GOP)等於2為例，本發明的基於壓縮感知的視頻差分編碼是先對採集到的每一幀圖像進行CS壓縮採樣，前一幀的採樣信號作為關鍵幀輸出，後一幀的採樣信號與前一幀做差值，差分信號作為非關鍵幀輸出。其中幀率控制圖像組(GOP)的大小及分布，採樣率控制視頻的整體壓縮率。兩者結合可以控制恢復視頻的時間以及質量。與傳統的基於壓縮感知的視頻差分編碼相比本發明提出的基於壓縮感知的視頻差分編碼編碼效率更高，耗時更少，同時根據實驗結果證明在相同的條件下利用本發明提出的基於壓縮感知的視頻差分編碼策略編碼視頻傳輸後解碼的恢復結果優於利用傳統的基於壓縮感知的視頻差分編碼策略編碼視頻傳輸後解碼的恢復結果。
[0025]如圖5所示是本發明的基於壓縮感知的視頻解碼原理結構圖，先將採集到的編碼信號按照幀率的輸入標記為關鍵幀與非關鍵幀，以圖像組(GOP)等於2為例，將關鍵幀的信號直接利用壓縮感知(CS)重構算法(NSL0算法)恢復出關鍵幀圖像輸出，並存儲到緩存單元。再將下一幀的非關鍵幀信號利用壓縮感知(CS)重構算法(NSL0算法)恢復出差分圖像，再與前一幀留在緩存單元中的圖像信號進行疊加，恢復出非關鍵幀圖像輸出，並存儲到緩存單元。其中幀率控制接收信號分離關鍵幀與非關鍵幀。
[0026]本系統設計的基於壓縮感知的視頻壓縮採樣方法是將無線攝像頭採集到的視頻信息按照遠程設定的視頻質量、恢復時間以及比特誤碼率來控制視頻編碼控制器(DSP)動態控制壓縮感知採樣率以及信號關鍵幀與非關鍵幀的幀率，達到壓縮編碼視頻信號的目的。其中非關鍵幀信號只採集當前幀信號壓縮採樣後與前一幀信號壓縮採樣數據的差分信號。信號經過信道編碼後進行無線傳輸。在無線視頻信號採集解碼端，接收的視頻信號經過信道解碼恢復出壓縮視頻信號，結合關鍵幀與非關鍵幀的幀率，解碼器將關鍵幀的信號直接利用改進型的修正牛頓法(NSLO)算法恢復出關鍵幀圖像輸出，並存儲到緩存單元。再將非關鍵幀信號利用改進型的修正牛頓法(NSLO)恢復出差分圖像，再與留在緩存單元中的前一幀圖像信號進行疊加，恢復出非關鍵幀圖像輸出，並再次存儲到緩存單元，進而恢復出整個視頻信號。
【權利要求】
1.一種高速低功耗無線傳感網絡視頻壓縮採樣方法，其特徵是，包括如下步驟:根據接收到採樣視頻信號的時間以及比特誤碼率要求控制視頻信號的壓縮採樣率以及幀率，進行基於壓縮感知的視頻差分編碼，完成對視頻信號的壓縮編碼；在視頻解碼端，採用對應於基於壓縮感知的視頻差分編碼的解碼策略，恢復出視頻圖像幀，並遠程控制對採樣視頻信號的時間以及比特誤碼率的要求。
2.如權利要求1所述的高速低功耗無線傳感網絡視頻壓縮採樣方法，其特徵是，基於壓縮感知的視頻差分編碼是，先對採集到的每一幀圖像進行CS壓縮採樣，前一幀的採樣信號作為關鍵幀輸出，後一幀的採樣信號與前一幀做差值，差分信號作為非關鍵幀輸出；其中幀率控制圖像組(GOP)的大小及分布，採樣率控制視頻的整體壓縮率，兩者結合控制恢復視頻的時間以及質量。
3.如權利要求1所述的高速低功耗無線傳感網絡視頻壓縮採樣方法，其特徵是，視頻解碼的詳細步驟是:先將採集到的編碼信號按照幀率的輸入標記為關鍵幀與非關鍵幀，將關鍵幀的信號直接通過壓縮感知(CS)重構算法恢復出關鍵幀圖像輸出，並存儲到緩存單元；再將下一幀的非關鍵幀信號通過壓縮感知(CS)重構算法恢復出差分圖像，再與前一幀留在緩存單元中的圖像信號進行疊加，恢復出非關鍵幀圖像輸出，並存儲到緩存單元；其中幀率控制接收信號分離關鍵幀與非關鍵幀。
4.如權利要求3所述的高速低功耗無線傳感網絡視頻壓縮採樣方法，其特徵是，將關鍵幀的信號直接通過壓縮感知(CS)重構算法恢復出關鍵幀圖像輸出具體是，直接利用改進型的修正牛頓法(NSLO)算法恢復出關鍵幀圖像輸出。
5.一種高速低功耗無線傳感網絡視頻壓縮採樣裝置，其特徵是，包括:攝像頭模塊、DSP壓縮採樣模塊、無線收發模塊、PC機視頻解碼器以及視頻輸出接口 ；其中攝像頭模塊負責採集視頻信號，DSP壓縮採樣模塊負責根據對接收到的時間以及比特誤碼率要求控制對視頻信號的壓縮採樣率以及幀率，完成對視頻信號的壓縮編碼，無線收發模塊負責傳輸控制變量以及壓縮編碼的視頻數據，PC機視頻解碼器負責對接收到的壓縮編碼視頻數據進行解碼重構，恢復出原始視頻信號並遠程控制對採樣視頻信號的時間以及比特誤碼率的要求，視頻輸出接口負責為解碼的視頻信號提供輸出顯示接口。
【文檔編號】H04N19/164GK103618903SQ201310669176
【公開日】2014年3月5日 申請日期:2013年12月10日 優先權日:2013年12月10日
【發明者】郭繼昌, 申燊, 金卯亨嘉, 許穎, 孫駿 申請人:天津大學