一種基於場景轉換的視頻差錯控制方法
2023-09-22 20:24:25
專利名稱：一種基於場景轉換的視頻差錯控制方法
技術領域：
本發明涉及視頻監控技術領域，尤其涉及一種基於場景轉換的視頻差錯控制方法。
背景技術：
隨著近年來數字家庭產業的發展，人們已不僅僅滿足於傳統的電視節目和服務，開始提出更高的要求一在數字家庭上實現更智能、更豐富、更全面的音視頻服務。這就對當前數字家庭的智能化和人性化提出了更高的要求，智能家居孕育而生。智能家居主要的應用是在家庭中的安全防範、娛樂、智能控制方面。而具有智能的網絡家電則更側重依靠網際網路來對家電進行控制，數位電視則是通過普及面廣泛的數位電視網絡來實現強大的網絡控制功能。在這種前提和要求下，視頻監控領域逐漸從本地監控向遠程監控發展，出現了以網絡流媒體伺服器為代表的遠程網絡視頻監控系統。網絡視頻伺服器解決了視頻流在網 絡上的傳輸問題，利用網絡攝像頭從採集開始進行數位化處理、傳輸，這樣使得傳輸線路的選擇更加多樣性，只要有網絡的地方，就提供了圖像傳輸的可能，使整個安防系統趨向平臺化、智能化。流媒體是採用流式傳輸的方式在Internet播放的媒體格式。流媒體技術採用一個視頻傳送伺服器把節目當成數據包發出，傳送到網絡上。接收端通過解壓設備對這些數據進行解壓後，節目就會像發送前那樣顯示出來。H. 264是一種針對流媒體的高度壓縮數字視頻編解碼標準。它是由目前國際上制定視頻編解碼技術的組織「國際電聯(ITU-T)IP「國際標準化組織(ISO)」共同組建的聯合視頻組(JVT)共同制定的。H. 264的最大優勢是具有很高的數據壓縮比率，同時擁有高質量流暢的圖像，在實時或者網絡環境相對惡劣的情況下，所需的帶寬更少，更加的經濟，具有低碼率、高質量、容錯強等特點。相對於傳統的數據業務，流媒體視頻信號中存在大量的空間和時間冗餘。同時由於流媒體的傳輸對帶寬有相對嚴格的要求，在進行端到端的傳輸時，對抖動非常敏感。流媒體傳輸通常基於不可靠的傳輸協議，如UDP，無線信道高的誤碼率會導致包的丟失和傳輸錯誤。為使得流媒體視頻數據在特定顯示設備上正常顯示，可以利用視頻後處理模塊對圖像畫面進行相應的差錯掩
至JHL ο差錯掩蓋(ErrorConcealment)作為一種視頻後處理(Digital VideoPost-Processing)的方法,在解碼端實現對流媒體信道傳輸中丟失的信息的預測和替代。通常視頻通信中避免和彌補傳輸錯誤有兩種方式，一種是採用傳統數據通信中的差錯控制和數據恢復技術，如糾錯編碼(FEC)，自動重傳機制(ARQ)等；另一種採用錯誤恢復技術，如信號重建(ER)和差錯掩蓋(EC)。第一種方法目的在於提高視頻傳輸的質量，減少誤碼率，而第二種方法的目的在於儘可能地對錯誤進行掩蓋以還原源圖像。由於前一種方法作用在視頻的編碼端和傳輸端，會增加編碼的結構複雜度和傳輸的冗餘信息，因此對於源設備的編碼能力和網絡負載能力有較高的要求，不適合實時流媒體環境。由於人眼的視覺特性對圖像或視頻出現一定程度的失真也是可以忍受的，所以可以利用人眼的特性使用錯誤隱藏技術，在碼流出現傳輸錯誤的解碼端，通過視頻後處理模塊對數據流進行錯誤隱藏，根據壓縮流的冗餘信息在正確接收的信息中尋找相關數據替代差錯信息。採用這種獨立於編碼的處理技術，避免了傳輸延時，在現有的設備上比較容易實現，具有通用性。因此，錯誤隱藏技術正逐漸成為流媒體視頻環境中處理錯誤的主要技術。
發明內容
本發明的目的是為了克服現有技術的缺陷，提供一種基於場景轉換的視頻差錯控制方法，通過對丟包的視頻幀進行錯誤隱藏來實現系統來更好的主客觀流媒體視頻質量，明顯改善用戶體驗。—種基於場景轉換的視頻差錯控制方法，該方法的具體步驟如下；Stepl :在進行錯誤掩蓋前，當前幀的類型已經得知，對不同幀類型自適應的選擇不同的差錯掩蓋算法；對於I幀類型，採用自適應空域差錯掩蓋算法ASEC ;若為P幀，轉 Step2 ；Step2 :由於在發生場景轉換的情況下，可利用的前一幀中時域相關信息大大降低，對P幀進行掩蓋前，先對當前視頻進行檢測；若發生場景轉換，則對P幀用ASEC算法來進行掩蓋；否則，轉St印3 ；Step3 :根據丟失宏塊的上下左右宏塊來對丟失宏塊的分割模式進行預測，對分割後的丟失子宏塊相應的選擇最佳運動矢量來組成候選運動矢量組；Step4 :然後對候選運動矢量組中的運動矢量採用BMA來進行邊界匹配，選出使SAD最小的一個為最佳運動矢量；St印6 :根據St印5求的運動矢量，從參考幀中獲得運動補償宏塊，取代丟失宏塊。優選地，丟失宏塊的最佳運動矢量Kx，W為候選向量中使得塊匹配誤差最小的那個，如下面公式所示
_ 4] V(x, y) 二 argV(x y)eC min(SAD)上式中，V(x,y)為候選運動向量，C為候選運動向量集合，SAD分別為補償宏塊的上下左右內邊界與相鄰宏塊相應方向邊界的匹配誤差。優選地對於I幀和發生場景轉換的P幀都採用空域差錯掩蓋算，因此，對I幀不需要檢測是否發生場景轉換；在本發明的算法中主要對P幀進行檢測；目前主要的場景轉換檢測方法有基於塊匹配檢測、基於邊緣輪廓檢測和基於灰度直方圖檢測等；本文中採用基於灰度直方圖的檢測方法；在單一場景下當前幀與參考幀的灰度差異值較小，若灰度差異值發生突變，就說明可能發生了場景轉換；視頻場景轉換一般可採用YUV模型，由於色度分量U和V的直方圖分布較窄，本文中採用亮度分量Y的直方圖作為場景轉換檢測的依據，如公式(I)所示為視頻序列中第η幀和第n-ι幀中像素點(i，j)的灰度差值fd(i, j) = fn(i, jHQ，j) I (I)上式中，fn(i，j)和Ulj)為第n幀和第n-1幀中像素點(i，j)的灰度值，fd(i，j)表示了像素點(i，j)在兩幀中的灰度差；則相鄰兩幀之間的總幀差為所有像素點的幀差的加權，如公式(2)所示
權利要求
1.一種基於場景轉換的視頻差錯控制方法，其特徵在於，該方法的具體步驟如下 Stepl :在進行錯誤掩蓋前，當前幀的類型已經得知，對不同幀類型自適應的選擇不同的差錯掩蓋算法；對於I幀類型，採用自適應空域差錯掩蓋算法ASEC ;若為P幀，轉Step2 ； Step2 :由於在發生場景轉換的情況下，可利用的前一幀中時域相關信息大大降低，對P幀進行掩蓋前，先對當前視頻進行檢測；若發生場景轉換，則對P幀用ASEC算法來進行掩蓋；否則，轉St印3 ； Step3 :根據丟失宏塊的上下左右宏塊來對丟失宏塊的分割模式進行預測，對分割後的丟失子宏塊相應的選擇最佳運動矢量來組成候選運動矢量組； Step4 :然後對候選運動矢量組中的運動矢量採用BMA來進行邊界匹配，選出使SAD最小的一個為最佳運動矢量； Step6 :根據St印5求的運動矢量，從參考幀中獲得運動補償宏塊，取代丟失宏塊。
2.如權利要求I所述的方法，其特徵在於，丟失宏塊的最佳運動矢量K'U，7)為候選向量中使得塊匹配誤差最小的那個，如下面公式所示V(x,y) = argF(xj;)eC min(&4D) 上式中，V(X，y)為候選運動向量，C為候選運動向量集合，SAD分別為補償宏塊的上下左右內邊界與相鄰宏塊相應方向邊界的匹配誤差。
3.如權利要求I所述的方法，其特徵在於，對於I幀和發生場景轉換的P幀都採用空域差錯掩蓋算，因此，對I幀不需要檢測是否發生場景轉換；在本發明的算法中主要對P幀進行檢測；目前主要的場景轉換檢測方法有基於塊匹配檢測、基於邊緣輪廓檢測和基於灰度直方圖檢測等；本文中採用基於灰度直方圖的檢測方法；在單一場景下當前幀與參考幀的灰度差異值較小，若灰度差異值發生突變，就說明可能發生了場景轉換；視頻場景轉換一般可採用YUV模型，由於色度分量U和V的直方圖分布較窄，本文中採用亮度分量Y的直方圖作為場景轉換檢測的依據，如公式(I)所示為視頻序列中第η幀和第η-i幀中像素點(i，j)的灰度差值fd(i，j) = |fn(i，j)-fn-i(i，j) I (I) 上式中，fn(i，j)和Ki，j)為第n幀和第n-1幀中像素點(i，j)的灰度值，fd(i, j)表示了像素點(i，j)在兩幀中的灰度差；則相鄰兩幀之間的總幀差為所有像素點的幀差的加權,如公式(2)所示 IM N fd = TjYfdU, j)(2) d M ^ Nd 上式中，Μ, N為圖像的長度和寬度；因為同一場景的前後兩幀中灰度差異值較小，當fd達到某一閥值時，判定該視頻序列發生了場景轉換；本文中經過實驗統計，閥值設定為30，當fd >= 30,可以判定視頻序列在當前時刻發生了場景轉換。
4.如權利要求I或2所述的方法，其特徵在於，在本發明中處於算法運算量的考慮，只考慮宏塊為16*16、16*8、8*16、8*8的情況，具體的丟失宏塊的分割模式預測步驟如下 (1)判斷MBl和MB3的分割模式，若這兩個模塊中存在8*16或者8*8模塊，則丟失的宏塊MB的分割模式為8*16或者8*8轉第二步，否則為16*16或者16*8宏塊，轉第三步；(2)若MB為8*16或者8*8宏塊，進一步根據水平方向的相鄰宏塊MB2和MB4進行判斷，若MB2或者MB4中存在16*8或者8*8的子宏塊，則MB為8*8宏塊，否則為8*16宏塊； (3)若第一步預測中MB為16*16或者16*8宏塊，進一步根據水平方向的相鄰宏塊MB2和MB4進行判斷，若MB2或者MB4中存在16*8或者8*8的子宏塊，則MB為16*8宏塊，否則為16*16宏塊。
全文摘要
本發明公開了一種基於場景轉換的視頻差錯控制方法。利用時域差錯掩蓋算法能對視頻序列進行很好的修復，但是在發生場景轉換的時候，由於前後幀圖像的時域相關性大大降低，這時候利用時域差錯掩蓋信息來進行掩蓋可能會恢復出錯誤的信息。本發明用到了一種基於場景變換的時空域混合差錯掩蓋算法。在檢測到視頻序列發生場景變換的時候，採用空域差錯掩蓋，其餘採用時域差錯掩蓋。本發明中還基於H.264多宏塊分割模式的特性，自適應的選擇最優的候選向量。本發明通過對丟包的視頻幀進行錯誤隱藏來實現系統來更好的主客觀流媒體視頻質量，明顯改善用戶體驗。
文檔編號H04N7/68GK102685509SQ201210126690
公開日2012年9月19日 申請日期2012年4月26日 優先權日2012年4月26日
發明者吳仁濤, 林格, 羅笑南 申請人:中山大學