立體視頻幀率提升方法和裝置的製作方法

2023-09-12 18:03:05

專利名稱：立體視頻幀率提升方法和裝置的製作方法
技術領域：
本發明涉及視頻技術，尤其涉及立體視頻幀率提升方法和裝置。
背景技術：
隨著3D技術的發展,立體視頻技術引起的廣泛的關注，並且向著聞清、聞巾貞率方向發展。具有播放立體視頻功能的移動終端接收某些特定視點的視頻及其深度視頻後，通過視點合成技術合成其它所需視點視頻，不同視點的視頻圖像進入觀看者左右眼，從而使觀看者感受到3D效果。立體視頻由於需要多個視點視頻，所以數據傳輸量較大；特別是移動終端通過無線傳輸信道接收視頻數據，有可能出現由於數據傳輸量過大，而造成視頻數據傳輸延遲的情況。因此，為了減少傳輸過程中的視頻數據，通常會對3D視頻做一些處理，比如減少、限制視頻幀率；將視頻幀率較低的多個視點視頻的數據傳輸給移動終端。隨著移動終端的處理器運算能力的提升，移動終端可以在接收到視頻數據後，通過幀率提升技術，實現高幀率視頻的恢復與播放。目前的幀率提升技術主要是採用基於運動補償的幀插入方法。該方法中，移動終端在接收到視頻幀率較低的視頻數據後，在幀間插入通過計算得到的視頻幀，本文中稱為插入幀，以提高幀率。插入幀的圖像是根據其前後視頻幀中各圖像塊的運動向量進行計算後得到的。具體地，通常將視頻幀分成大小相等的塊，然後根據前後視頻幀塊的匹配，估計出相應塊的運動向量，根據每個塊的運動向量可以確定出每個塊在插入幀中對應的位置，從而確定出插入巾貞的圖像。然而該方法，在運動物體的邊緣由於塊匹配的不準確，會出現不準確的運動向量，從而造成運動物體的模糊，極大影響了 幀率提升後的視頻質量。其直觀效果是，採用該方法進行幀率提升後得到的立體視頻會出現運動物體邊緣模糊的現象，導致視頻質量不佳。

發明內容
本發明的實施例提供了一種立體視頻幀率提升方法和裝置，用以提高幀率提升後得到的立體視頻的質量。根據本發明的一個方面，提供了一種立體視頻幀率提升方法，包括:對於所述立體視頻中待插入彩色視頻幀Ct中的每個圖像塊，確定該圖像塊的運動向量；其中包括:對於深度不連續的圖像塊，確定的運動向量包括前景運動向量和背景運動向量；針對Ct中的每個圖像塊，根據確定的該圖像塊的運動向量，對該圖像塊進行運動補償；其中包括:對於所述深度不連續的圖像塊，根據其前景運動向量和背景運動向量分別對其前景部分和背景部分進行運動補償；將各圖像塊經過運動補償的Ct作為彩色視頻插入幀插入到Cw和Ct+1之間；其中，Ct_!為Ct的在前彩色視頻幀，Ct+1為Ct的在後彩色視頻幀；其中，所述深度不連續的圖像塊是根據該圖像塊在Dt_i和Dt+1中對應的圖像塊的深度信息進行判定的，Dt^1和Dt+1為所述立體視頻中分別對應C^1和Ct+1的深度視頻幀。其中，所述深度不連續的圖像塊是根據該圖像塊在Dt_i和Dt+1中對應的圖像塊的深度信息進行判定的，具體包括:對Ct中的一個圖像塊進行雙向運動估計後，計算出該圖像塊的估計運動向量；根據所述估計運動向量確定該圖像塊在Dw和Dt+1中對應的圖像塊；若Dw和Dt+1中對應的圖像塊的深度標準差均小於設定閾值，則判斷Ct中的該圖像塊為深度連續的圖像塊；否則，判斷Ct中的該圖像塊為深度不連續的圖像塊。較佳地，所述對於待插入彩色視頻幀Ct中的每個圖像塊，確定該圖像塊的運動向量，具體還包括:對於所述深度連續的圖像塊，將計算出的該圖像塊的估計運動向量，確定為最終的該圖像塊的運動向量，或將該圖像塊的估計運動向量經初步優化、或二次優化後得到的運動向量確定為最終的該圖像塊的運動向量。較佳地，所述對於深度不連續的圖像塊，確定的運動向量包括前景運動向量和背景運動向量，具體包括:對所述深度不連續的圖像塊劃分出背景部分和前景部分後，確定的前景運動向量為滿足以下條件的運動向量:對於第二範圍內的運動向量，集合P中的圖像塊基於該運動向量在ct_i中對應的圖像塊與ct+1中對應的圖像塊的相似度最高；其中，所述集合P具體為包含該深度不連續的圖像塊，以及與該深度不連續的圖像塊相鄰的圖像塊中所有深度連續前景圖像塊的集合；第二範圍根據該深度不連續的圖像塊的估計運動向量以及設定的第二向量調整步長決定；以及確定的背景運動向量為計算出的該深度不連續的圖像塊的估計運動向量，或者確定的背景運動向量為將該深度不連續的圖像塊的估計運動向量經初步優化、或二次優化後得到的運動向量。較佳地，所述深度連續前景圖像塊的判定方法包括:針對集合Q中每個圖像塊，計算該圖像塊的深度平均值；其中，所述集合Q為包括所述深度不連續的圖像塊，以及與該深度不連續的圖像塊相鄰的圖像塊的集合；根據計算出的集合Q中的各圖像塊的深度平均值，計算集合Q的深度平均值；針對集合Q中每個深度連續的圖像塊，將該圖像塊的深度平均值分別與集合Q的深度平均值進行比較；將深度平均值小於所述集合Q的深度平均值的深度連續的圖像塊判定為深度連續前景圖像塊，將深度平均值大於、等於所述集合Q的深度平均值的深度連續的圖像塊判定為深度連續背景圖像塊。較佳地，所述前景運動向量具體根據如下公式9計算得到:
權利要求
1.一種立體視頻幀率提升方法，包括: 對於所述立體視頻中待插入彩色視頻幀Ct中的每個圖像塊，確定該圖像塊的運動向量；其中包括:對於深度不連續的圖像塊，確定的運動向量包括前景運動向量和背景運動向量; 針對Ct中的每個圖像塊，根據確定的該圖像塊的運動向量，對該圖像塊進行運動補償；其中包括:對於所述深度不連續的圖像塊，根據其前景運動向量和背景運動向量分別對其前景部分和背景部分進行運動補償； 將各圖像塊經過運動補償的Ct作為彩色視頻插入幀插入到Ct_i和Ct+1之間；其中，Ct^1為Ct的在前彩色視頻幀，Ct+1為Ct的在後彩色視頻幀； 其中，所述深度不連續的圖像塊是根據該圖像塊在Dt_i和Dt+1中對應的圖像塊的深度信息進行判定的，Dt^1和Dt+1為所述立體視頻中分別對應C^1和Ct+1的深度視頻幀。
2.如權利要求1所述的方法，其特徵在於，所述深度不連續的圖像塊是根據該圖像塊在Dw和Dt+1中對應的圖像塊的深度信息進行判定的，具體包括: 對Ct中的一個圖像塊進行雙向運動估計後，計算出該圖像塊的估計運動向量；根據所述估計運動向量確定該圖像塊在Dw和Dt+1中對應的圖像塊；若Dt^1和Dt+1中對應的圖像塊的深度標準差均小於設定閾值，則判斷Ct中的該圖像塊為深度連續的圖像塊；否則，判斷Ct中的該圖像塊為深度不連續的圖像塊。
3.如權利要求2所述的方法，其特徵在於，所述對於待插入彩色視頻幀Ct中的每個圖像塊，確定該圖像塊的運動向量，具體還包括: 對於所述深度連續的圖像塊，將計算出的該圖像塊的估計運動向量，確定為最終的該圖像塊的運動向量，或將該圖像塊的估計運動向量經初步優化、或二次優化後得到的運動向量確定為最終的該圖像塊的運動向量。
4.如權利要求1-3任一所述的方法，其特徵在於，所述對於深度不連續的圖像塊，確定的運動向量包括前景運動向量和背景運動向量，具體包括: 對所述深度不連續的圖像塊劃分出背景部分和前景部分後，確定的前景運動向量為滿足以下條件的運動向量:對於第二範圍內的運動向量，集合P中的圖像塊基於該運動向量在C^1中對應的圖像塊與Ct+1中對應的圖像塊的相似度最高；其中，所述集合P具體為包含該深度不連續的圖像塊，以及與該深度不連續的圖像塊相鄰的圖像塊中所有深度連續前景圖像塊的集合；第二範圍根據該深度不連續的圖像塊的估計運動向量以及設定的第二向量調整步長決定； 以及確定的背景運動向量為計算出的該深度不連續的圖像塊的估計運動向量，或者確定的背景運動向量為將該深度不連續的圖像塊的估計運動向量經初步優化、或二次優化後得到的運動向量。
5.如權利要求4所述的方法，其特徵在於，所述深度連續前景圖像塊的判定方法包括: 針對集合Q中每個圖像塊，計算該圖像塊的深度平均值；其中，所述集合Q為包括所述深度不連續的圖像塊，以及與該深度不連續的圖像塊相鄰的圖像塊的集合； 根據計算出的集合Q中的各圖像塊的深度平均值，計算集合Q的深度平均值； 針對集合Q中每個深度連續的圖像塊，將該圖像塊的深度平均值分別與集合Q的深度平均值進行比較；將深度平均值小於所述集合Q的深度平均值的深度連續的圖像塊判定為深度連續前景圖像塊，將深度平均值大於、等於所述集合Q的深度平均值的深度連續的圖像塊判定為深度連續背景圖像塊。
6.一種立體視頻幀率提升裝置，包括: 圖像塊運動向量確定模塊，用於對於所述立體視頻中待插入彩色視頻幀Ct中的每個圖像塊，確定該圖像塊的運動向量；其中包括:對於深度不連續的圖像塊，確定的運動向量包括前景運動向量和背景運動向量； 圖像塊運動補償補償模塊，用於針對Ct中的每個圖像塊，根據確定的該圖像塊的運動向量，對該圖像塊進行運動補償；其中包括:對於所述深度不連續的圖像塊，根據其前景運動向量和背景運動向量分別對其前景部分和背景部分進行運動補償； 視頻幀插入模塊，用於將各圖像塊經過運動補償的Ct作為彩色視頻插入幀插入到ct_i和Ct+1之間；其中，C^1為Ct的在 如彩色視頻巾貞，Ct+1為Ct的在後彩色視頻巾貞； 其中，所述深度不連續的圖像塊是根據該圖像塊在Dt_i和Dt+1中對應的圖像塊的深度信息進行判定的，Dt^1和Dt+1為所述立體視頻中分別對應C^1和Ct+1的深度視頻幀。
7.如權利要求6所述的裝置，其特徵在於，所述圖像塊運動向量確定模塊具體包括: 圖像塊判定單元，用於對Ct中的一個圖像塊進行雙向運動估計後，計算出該圖像塊的估計運動向量；根據所述估計運動向量確定該圖像塊在Dw和Dt+1中對應的圖像塊；若Dw和Dt+1中對應的圖像塊的深度標準差均小於設定閾值，則判斷Ct中的該圖像塊為深度連續的圖像塊；否則，判斷Ct中的該圖像塊為深度不連續的圖像塊； 第一圖像塊運動向量確定單元，用於對於所述深度連續的圖像塊，將計算出的該圖像塊的估計運動向量，確定為最終的該圖像塊的運動向量，或將該圖像塊的估計運動向量經初步優化、或二次優化後得到的運動向量確定為最終的該圖像塊的運動向量； 第二圖像塊運動向量確定單元，用於對所述深度不連續的圖像塊劃分出背景部分和前景部分後，確定的前景運動向量為滿足以下條件的運動向量:對於第二範圍內的運動向量，集合P中的圖像塊基於該運動向量在C^1中對應的圖像塊與Ct+1中對應的圖像塊的相似度最高；其中，所述集合P具體為包含該深度不連續的圖像塊，以及與該深度不連續的圖像塊相鄰的圖像塊中所有深度連續前景圖像塊的集合；第二範圍根據該深度不連續的圖像塊的估計運動向量以及設定的第二向量調整步長決定；以及，確定所述背景運動向量為計算出的該深度不連續的圖像塊的估計運動向量，或者為該深度不連續的圖像塊的估計運動向量經初步優化、或二次優化後得到的運動向量。
8.如權利要求7所述的裝置，其特徵在於，第二圖像塊運動向量確定單元具體包括:區域劃分子單元、前景運動向量確定子單元、背景運動向量確定子單元、深度連續前景圖像塊判定子單元；其中， 所述前景運動向量確定子單元，用於根據如下公式9計算所述前景運動向量:
9.如權利要求6所述的裝置，其特徵在於，所述圖像塊運動補償模塊具體包括: 第一圖像塊運動補償單元，用於對於所述深度連續的圖像塊，根據確定的該圖像塊的運動向量，對該圖像塊進行運動補償； 第二圖像塊運動補償單元，用於對於所述深度不連續的圖像塊，根據其前景運動向量和背景運動向量分別對其前景部分和背景部分進行運動補償。
10.如權利要求9所述的裝置，其特徵在於，第二圖像塊運動補償單元具體包括:前景運動補償子單元、背景運動補償子單元； 所述前景運動補償子單元用於根據如下公式10或公式12對所述深度不連續的圖像塊的前景部分進行運動補償:
全文摘要
本發明公開了一種立體視頻幀率提升方法和裝置，所述方法包括確定待插入彩色視頻幀Ct中的每個圖像塊的運動向量，包括對於深度不連續的圖像塊，確定的運動向量包括前景運動向量和背景運動向量；根據確定的運動向量，對該圖像塊進行運動補償，包括對於所述深度不連續的圖像塊，根據其前景運動向量和背景運動向量分別對其前景和背景部分進行運動補償；將各圖像塊經過運動補償的Ct作為彩色視頻插入幀插入到Ct-1和Ct+1之間；其中，Ct-1為Ct的在前彩色視頻幀，Ct+1為Ct的在後彩色視頻幀。由於對深度不連續的圖像塊區分了背景和前景部分，並分別進行運動補償，從而經運動補償後的插入幀的圖像中可以更好地劃分出運動物體與背景部分的邊緣，以提高幀率提升後的視頻質量。
文檔編號H04N13/00GK103167304SQ20131007313
公開日2013年6月19日 申請日期2013年3月7日 優先權日2013年3月7日
發明者楊曉暉, 劉琚, 孫建德, 元輝, 劉韶 申請人:海信集團有限公司