一種無線網絡視頻流抗丟包預處理及恢復方法
2023-05-13 00:01:36 2
一種無線網絡視頻流抗丟包預處理及恢復方法
【專利摘要】本發明公開了一種無線網絡視頻流抗丟包預處理及恢復方法，在進行編碼前首先通過本發明中提出的方法對視頻進行預處理，提升視頻在網絡上傳輸的抗丟包能力。該方法將視頻畫面中相鄰的像素點分離到不同的子畫面中進行編碼，在視頻流接收端，當檢測到丟包時，通過丟失像素周邊的像素信息進行插值，利用相鄰像素點信息的冗餘特性最大限度地還原丟包引起的圖像失真，提升了視頻流媒體服務質量。
【專利說明】一種無線網絡視頻流抗丟包預處理及恢復方法
[0001]
【技術領域】
[0002] 本發明屬於無線網絡流媒體傳輸領域，涉及一種在網絡惡劣，丟包嚴重的環境下解決視頻質量嚴重下降的視頻源預處理及丟包恢復方法。
[0003]
【背景技術】
[0004]隨著寬帶網的普及和多媒體技術的發展，流媒體技術的應用也越來越廣泛，如數字廣播業務、視頻會議業務、視頻點播服務、IPTV、移動流媒體業務等。這些業務的共同特點，都是將多媒體數據分割封裝打包後，通過底層的通信網絡，進行數據的分發。由於底層網絡的傳輸不可靠性，將不可避免的存在數據包發生誤碼、丟失等情況。此時，可以通過接收端提出丟包重傳的反饋請求，發送端將丟失或錯誤的數據包重新發送給接收端，來解決這個問題。
[0005]要做丟包重傳，就需要接受端在判定時間內對未收到的數據包進行請求重發，這樣就會增大流媒體業務的時延。在一些網絡環境惡劣的無線環境下，採用丟包重傳仍然不能完全恢復全部丟包，而同一個包多次重傳會導致時延大幅增加，嚴重影響實時流媒體業務例如視頻會議等的用戶體驗。因此需要有一種方法，可以在有一定丟包率的環境下儘可能地恢復原始圖像，既保證了視頻業務的時效性，又保證了業務的內容質量。
[0006]
【發明內容】
[0007]技術問題:本發明針對在惡劣無線網絡環境下的流媒體業務由於丟包嚴重引起的視頻質量嚴重下降，提供一種在較高的丟包率環境下仍然具有較高的視頻質量，提高用戶視頻體驗的無線網絡視頻流抗丟包預處理及恢復方法。
技術方案:本發明的無線網絡視頻流抗丟包預處理及恢復方法，包括以下步驟:
O發送端將視頻畫面中像素按照一定規則分割到不同的子畫面中，使得原圖像中相鄰像素都處於不同的子畫面中；
2)對所述步驟I)中得到的各個子畫面進行視頻編碼得到視頻數據流，將所述數據流分割成數據包，並將數據包標記上記載有子畫面分割方式和像素位置欄位的頭部，然後傳輸給接收端；
3)接收端對接收到的數據包解碼,然後根據數據包頭部獲取已經成功接收的數據包的視頻畫面像素範圍，從而得出丟失的數據包中的視頻畫面像素範圍；
4)接收端根據數據包頭部記載的子畫面分割方式將解碼得到的各個子畫面合成最終畫面，再根據已正確解碼的像素值，採用插值的方式恢復丟失像素的數據，得到恢復的視頻畫面。[0008]本發明方法的優選方案中，步驟I)的具體流程為:
將原視頻畫面分割成PxQ個小矩形塊，然後將原畫面視頻的像素(x，y)映射到第(Xmod P , y mod Q)個小矩形塊中的像素(floor(x/P) , floor(y/Q))上,最終得到的小矩形塊即為子畫面，其中，P為分割的小矩形塊的列數，Q為分割的小矩形塊的行數，X為原畫面像素的橫坐標，y為原畫面像素的縱坐標，mod為取餘運算，floor (*)為向下取整運算。[0009]本發明方法上述優選方案的步驟2)中，數據包上標記的頭部包含以下信息:原視頻畫面分割成小矩形塊的列數P和行數Q的取值，子畫面包含的像素位置範圍。
[0010]本發明方法的優選方案中，步驟2)中基於實時傳輸協議傳輸將數據包給接收端。
[0011]本發明方法的優選方案中，步驟3)中，接受端對於每幀圖像建立一個標識區記錄已經成功接收的數據包的視頻畫面像素範圍，當該幀將要播放的時候，將標識區中沒有記錄的像素範圍作為丟失的像素數據範圍。
[0012]本發明方法的優選方案中，步驟4)中，在將子畫面合成最終畫面後，檢查丟失的像素範圍，對於每個丟失的像素，根據其相鄰像素，採取插值的方式恢復出丟失像素的數據。
[0013]本發明方法上述優選方案的步驟4)中，採取插值的方式恢復出丟失像素的數據的流程為:
a)分別計算每個丟失像素與其上下左右四個方向上距離最近的已接收像素Μ、N、P、Q的距離dxl，dx2，dyl，dy2，其中像素Μ、N在該丟失像素的左右側，像素P、Q在該丟失像素的上下側，定義橫向失真距離dx= dxl+dx2,縱向失真距離dy=dyl+dy2,失真距離d=min (dx, dy),其中min (dx, dy)表示取dx和dy中較小者；
b)將所有丟失像素按失真距離d的大小進行排序，取d最小的丟失像素，按照線性插值法進行插值，若dx≤dy,則丟失像素的色彩值Y=YM+dxl* (YN-YM) /dx,其中YM為像素M的色彩值，YN為像素N的色彩值；若dx>dy，則丟失像素的色彩值Y=YP+dyl* (YQ-YP)/dy，其中YP為像素P的色彩值，YQ為像素Q的色彩值；
c)將插值完成的像素加入到已接收像素集合中，判斷是否還有丟失像素的數據沒有恢復，如是則返回步驟a)，否則完成丟失像素的插值恢復。
本發明方法中，通過將視頻原始圖像中相鄰像素分離到不同的子畫面中，對各分割子畫面分別進行視頻壓縮編碼並分割傳輸，利用各子畫面之間信息的冗餘度，當傳輸中出現丟包時，視頻接收端可以利用其它子畫面中的數據來插值恢復丟失的子畫面數據。由於相鄰像素處在不同的子畫面中分別編碼傳輸，接收端當檢測到丟包時可以利用相鄰未丟失像素利用插值的方法恢復。
[0014]有益效果:本發明與現有技術相比，具有以下優點:
本發明引入了視頻預處理機制，在視頻編碼前先將圖像中相鄰像素分離到不同的子畫面中分別編碼分割傳輸，利用相鄰像素間的相關性，當一個子畫面中某個區塊的編碼數據包丟失後，可以利用預處理處於其他子畫面中的相鄰像素通過插值的方法恢復出丟失的像素值。和一般的流媒體視頻系統丟包帶來的大量馬賽克等視頻質量下降嚴重現象，本發明可以使得網絡視頻服務在較高的丟包率環境下仍然具有較高的視頻質量，提高用戶的視頻體驗。【專利附圖】
【附圖說明】
[0015]圖1為數據包預處理包頭的結構。
[0016]圖2為2x2分割模式下子畫面與原畫面映射方案。
[0017]圖3為本發明方法的流程圖。
[0018]
【具體實施方式】
[0019]以下結合實施例和說明書附圖對本發明技術方案進行詳細描述。
[0020]如圖3所示，本發明的無線網絡視頻流抗丟包預處理及恢復方法包括以下步驟: I)發送端採集到一幀視頻原始圖像後，將原始視頻畫面分割成若干個子畫面，使得原
畫面中相鄰像素將分離到不同的子畫面中。
[0021]2)發送端對步驟I)中得到的各個子畫面採用H.264/AVC標準進行視頻編碼，將編碼後的數據流分割成一定大小適合在網絡上傳輸的數據包，並將數據包標記上記載有子畫面分割方式、子畫面編號和像素位置欄位的頭部，為接收端進行數據包拼接、丟包插值恢復提供必要的參考信息。將打好頭部的數據包以RFC3984規定的流媒體通信規範進行打包傳輸。
[0022]3)接收端接收發送端數據並根據RFC3984規定的流媒體通信規範分離出數據包，提取出數據包頭部的信息，利用H.264/AVC解碼器對數據包包體進行視頻解碼，根據數據包頭部中信息還原該數據包包含子畫面像素在原畫面中的位置，將解碼後圖像數據與位置信息一併存入緩存隊列中等待播放。
[0023]4)當視頻某幀即將要播放時，接收端從緩存隊列中取出所有與該幀時間戳一致的畫面數據，根據已獲得的子畫面分割方式、子畫面位置信息將各子畫面還原回原始圖像畫面。對於圖像中由於丟包而缺失的像素信息，根據丟失像素周圍的已正確解碼獲得的像素信息採用插值的方式恢復出丟失像素信息，得到最終恢復後的視頻畫面。
[0024]本發明方法的一個實施例中，步驟I)中發送端分割視頻原始圖像的方式為:將原視頻畫面分割成PxQ個小矩形塊，然後將原畫面視頻的像素(x，y)映射到第(X mod P , ymod Q)個小矩形塊中的像素(floor (x/P)，floor (y/Q))上,最終得到的小矩形塊即為子畫面。圖2所示為將畫面分割成2x2個小矩形塊的像素分割方法，圖中每一個正方形代表一個像素。
[0025]本發明方法的上述實施例中，發送端採用H.264/AVC標準對各子畫面進行視頻編碼，將編碼後得到的數據分割成適合在網絡上傳輸的數據包，為每個數據包添加數據包頭部，頭部的長度為48bit，結構如圖1所示，各位段的定義如下:
bit 0-3: Rect_P,分割成的小矩形塊的列數P bit 4^7: Rect_Q,分割成的小矩形塊的行數Q bit 8~15: subimg_no,子畫面的序號
bit 16~31:startpos,數據包中包含子畫面像素段的起始位置 bit 32^47:endp0S，數據包中包含子畫面像素段的結束位置
本發明方法的一個實施例中，發送端將數據包打上頭部後，將數據包根據RFC3984協議中規定的H.264流媒體荷載格式進行傳輸層封裝，網絡數據包傳輸採用實時傳輸協議RTP,信令交互採用實時傳輸控制協議RTCP。
[0026]本發明方法的一個實施例中，接收端對每一幀建立一個對應的標識區記錄已經成功接收的數據包的視頻畫面像素範圍。當接收端接收到數據包後，提取並分析數據包頭部，得到該數據包中視頻畫面的像素範圍，然後將數據包中視頻內容進行解碼並存入緩存隊列，之後更新該視頻畫面對應幀的標識區。
[0027]本發明方法的一個實施例中，步驟4)中，當視頻某幀即將要播放時，接收端從緩存隊列中取出所有與該幀時間戳一致的子畫面數據，並將各子畫面還原回原始圖像畫面。從該幀對應的標識區中獲得該幀已經成功接收解碼的所有像素位置，從而得出所有由於丟包而丟失的像素位置。利用丟失像素周圍已獲得的像素信息，採用插值的方法恢復丟失像素數據。
[0028]步驟4)中畫面丟失像素的插值恢復方法為:
a)分別計算每個丟失像素與其上下左右四個方向上距離最近的已接收像素Μ、N、P、Q的距離dxl，dx2，dyl，dy2，其中像素Μ、N在該丟失像素的左右側，像素P、Q在該丟失像素的上下側，定義橫向失真距離dx= dxl+dx2,縱向失真距離dy=dyl+dy2,失真距離d=min (dx, dy),其中min (dx, dy)表示取dx和dy中較小者；
b)將所有丟失像素按失真距離d的大小進行排序，取d最小的丟失像素，按照線性插值法進行插值，若dx≤dy,則丟失像素的色彩值Y=YM+dxl* (YN-YM) /dx，其中YM為像素M的色彩值，YN為像素N的色彩值； 若dx>dy，則丟失像素的色彩值Y=YP+dyl* (YQ-YP) /dy，其中YP為像素P的色彩值，YQ為像素Q的色彩值；
c)將插值完成的像素加入到已接收像素集合中，判斷是否還有丟失像素的數據沒有恢復，如是則返回步驟a)，否則完成丟失像素的插值恢復。
【權利要求】
1.一種無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，該方法包括以下步驟: 1)發送端將視頻畫面中像素按照一定規則分割到不同的子畫面中，使得原圖像中相鄰像素都處於不同的子畫面中； 2)對所述步驟I)中得到的各個子畫面進行視頻編碼得到視頻數據流，將所述數據流分割成數據包，並將數據包標記上記載有子畫面分割方式和像素位置欄位的頭部，然後傳輸給接收端； 3)接收端對接收到的數據包解碼,然後根據數據包頭部獲取已經成功接收的數據包的視頻畫面像素範圍，從而得出丟失的數據包中的視頻畫面像素範圍； 4)接收端根據數據包頭部記載的子畫面分割方式將解碼得到的各個子畫面合成最終畫面，再根據已正確解碼的像素值，採用插值的方式恢復丟失像素的數據，得到恢復的視頻畫面。
2.根據權利要求1所述的無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，所述步驟I)的具體流程為: 將原視頻畫面分割成PxQ個小矩形塊，然後將原畫面視頻的像素(x，y)映射到第(Xmod P , y mod Q)個小矩形塊中的像素(floor(x/P) , floor(y/Q))上,最終得到的小矩形塊即為子畫面，其中，P為分割的小矩形塊的列數，Q為分割的小矩形塊的行數，X為原畫面像素的橫坐標，y為原畫面像素的縱坐標，mod為取餘運算，floor (*)為向下取整運算。
3.根據權利要求2所述的無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，所述步驟2)中，數據包上標記的頭部包含以下信息:原視頻畫面分割成小矩形塊的列數P和行數Q的取值，子畫面包含的像素位置範圍。
4.根據權利要求1、2或3所述的無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，所述步驟2)中基於實時傳輸協議傳輸將數據包給接收端。
5.根據權利要求1、2或3所述的無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，所述步驟3)中，接受端對於每幀圖像建立一個標識區記錄已經成功接收的數據包的視頻畫面像素範圍，當該幀將要播放的時候，將標識區中沒有記錄的像素範圍作為丟失的像素數據範圍。
6.根據權利要求1、2或3所述的無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，所述步驟4)中，在將子畫面合成最終畫面後，檢查丟失的像素範圍，對於每個丟失的像素，根據其相鄰像素，採取插值的方式恢復出丟失像素的數據。
7.根據權利要求6所述的無線網絡視頻流抗丟包預處理及恢復方法，其特徵在於，所述步驟4)中，採取插值的方式恢復出丟失像素的數據的流程為: a)分別計算每個丟失像素與其上下左右四個方向上距離最近的已接收像素M、N、P、Q的距離dxl，dx2，dyl，dy2，其中像素Μ、N在該丟失像素的左右側，像素P、Q在該丟失像素的上下側，定義橫向失真距離dx= dxl+dx2,縱向失真距離dy=dyl+dy2,失真距離d=min (dx, dy),其中min (dx, dy)表示取dx和dy中較小者； b)將所有丟失像素按失真距離d的大小進行排序，取d最小的丟失像素，按照線性插值法進行插值，若dx≤dy,則丟失像素的色彩值Y=YM+dxl* (YN-YM) /dx,其中YM為像素M的色彩值，YN為像素N的色彩值；若dx>dy，則丟失像素的色彩值Y=YP+dyl* (YQ-YP)/dy，其中YP為像素P的色彩值，YQ為像素Q的色彩值； c)將插值完成的像素加入到已接收像素集合中，判斷是否還有丟失像素的數據沒有恢復，如是則返回步驟a)，否則完成丟失像素的插值恢復。
【文檔編號】H04N19/65GK103916714SQ201410091095
【公開日】2014年7月9日 申請日期:2014年3月13日 優先權日:2014年3月13日
【發明者】朱曉榮, 吳文青, 趙亞南, 錢超, 徐傑 申請人:南京郵電大學