用於平面視頻立體轉換的字幕去抖方法及字幕去抖裝置的製作方法
2023-09-16 01:48:40 2
專利名稱：用於平面視頻立體轉換的字幕去抖方法及字幕去抖裝置的製作方法
技術領域：
本發明涉及計算機視覺技術領域，特別涉及一種用於平面立體視頻的字幕去抖方法及字幕去抖裝置。
背景技術：
立體視頻技術是一種能夠提供立體感的新型視頻技術，已經作為未來多媒體技術的發展方向。隨著3D立體顯示技術的不斷發展，立體電影、電視、行動裝置等立體產品迅速普及，用戶對立體視頻的需求程度越來越高。此時，除了提供新的立體拍攝片源以外，還有大量平面視頻資料需要通過立體化的方法才能實現立體觀賞。對於廣大的普通用戶而言，通過電視觀看立體影視是最直接且便捷的手段。但是， 電視節目擁有快捷性和複雜性的特點。具體而言，快捷性要求平面視頻立體化的方法快速有效，複雜性要求對電視節目中的大量字幕等特效能夠有比較好的立體效果。傳統支持自動立體化轉換的電視可以完成將屏幕視頻資料轉換為立體視頻。在視頻中，除了用戶觀看的主體內容(如畫面、聲音等)，字幕也是用戶觀看的一個重要內容。但是視頻畫面之間深度的不連續性會引起字幕的抖動，畫面內部字幕附近區域深度不一致會造成字幕的扭曲。 字幕作為視頻中的非自然物體，一旦出現抖動和扭曲，很容易引起用戶觀賞的不適。傳統的支持立體化轉換的電視還不能解決視頻中字幕的抖動和扭曲的問題。
發明內容
本發明的目的旨在至少解決上述技術缺陷之一。為此，本發明的第一個目的在於提出一種用於平面視頻立體轉換的字幕去抖方法，該方法可以有效減少甚至去除立體化視頻中字幕抖動和扭曲的現象。本發明的第二個目的在於提出一種用於平面視頻立體轉換的字幕去抖裝置。為實現上述目的，本發明第一方面的實施例提出了一種用於平面視頻立體轉換的字幕去抖方法，包括如下步驟輸入預定數量的原視頻序列和所述原視頻序列的深度圖序列，其中，所述原視頻序列和所述深度圖序列的解析度相同；計算所述原視頻序列中每幀圖像的特徵值，並根據所述每幀圖像的特徵值計算相鄰兩幀圖像的特徵值的差值，將所述相鄰兩幀圖像的特徵值的差值與特徵閾值進行比較， 將特徵值的差值小於所述特徵閾值的像素點進行標記以得到初始遮罩圖，其中，所述特徵閾值與所述特徵值對應於所述每幀圖像的同一個特徵；對所述初始遮罩圖進行圖像去噪以去除所述初始遮罩圖中的噪聲點和孤立像素點，生成去噪後遮罩圖，所述去噪後遮罩圖包括原視頻序列的靜態區域和字幕區域；生成有效圖像區域，其中所述有效圖像區域包括所述去噪後遮罩圖中的特徵值的差值小於所述特徵閾值的像素在所述原視頻序列中對應的像素點，計算所述有效圖像區域的直方圖，並將所述有效圖像區域的直方圖與預設直方圖進行匹配以得到字幕區域，對所述字幕區域在所述原視頻序列中對應的像素點進行標記以生成更新後的去噪後遮罩圖；對所述更新後的去噪後遮罩圖進行拓展以得到最終遮罩圖，所述最終遮罩圖包括所述字幕區域及所述字幕區域的邊緣；對所述當前幀的最終遮罩圖進行深度賦值，包括將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前面多個幀的深度圖序列中對應的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點以得到所述字幕區域的深度圖；和對所述字幕區域的深度圖進行幀內的圖像平滑處理和幀間的時域平滑處理。根據本發明實施例的用於平面視頻立體轉換的字幕去抖方法，可以有效地改善深度圖中字幕的深度信息，減小甚至消除字幕的抖動和扭曲現象，解決立體化視頻播放中字幕抖動給用戶造成的不適。本發明第二方面的實施例提出一種用於平面視頻立體轉換的字幕去抖裝置，包括輸入模塊，所述輸入模塊用於輸入預定數量的原視頻序列和所述原視頻序列的深度圖序列，其中，所述原視頻序列和所述深度圖序列的解析度相同；特徵值計算模塊，所述特徵值計算模塊與所述輸入模塊相連，用於計算所述原視頻序列中每幀圖像的特徵值，並根據所述每幀圖像的特徵值計算相鄰兩幀圖像的特徵值的差值，將所述相鄰兩幀圖像的特徵值的差值與特徵閾值進行比較，將特徵值的差值小於所述特徵閾值的像素點進行標記以得到初始遮罩圖，其中，所述特徵閾值與所述特徵值對應於所述每幀圖像的同一個特徵；去噪模塊，所述去噪模塊與所述特徵值計算模塊相連，用於對所述初始遮罩圖進行圖像去噪以去除所述遮罩圖中的孤立像素點，生成去噪後遮罩圖，其中，所述去噪後遮罩圖包括原圖像序列的靜態區域和字幕區域；字幕檢測模塊，所述字幕檢測模塊與所述去噪模塊相連，用於生成有效圖像區域，其中所述有效圖像區域包括所述去噪後遮罩圖中的特徵值的差值小於所述特徵閾值的像素在所述原視頻序列中對應的像素點，計算所述有效圖像區域的直方圖， 並將所述有效圖像區域的直方圖與預設直方圖進行匹配以得到字幕區域，對所述字幕區域在所述原視頻序列中對應的像素點進行標記以生成更新後的去噪後遮罩圖；字幕區域拓展模塊，所述字幕區域拓展模塊與所述字幕檢測模塊相連，用於對所述更新後的去噪後遮罩圖進行拓展以得到最終遮罩圖，所述最終遮罩圖包括所述字幕區域及所述字幕區域的邊緣；深度賦值模塊，所述深度賦值模塊分別與所述輸入模塊和所述字幕區域拓展模塊相連， 用於將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前面多個幀的深度圖序列中對應的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點以得到所述字幕區域的深度圖；平滑模塊，所述平滑模塊與所述深度賦值模塊相連，用於對所述字幕區域的深度圖進行幀內的圖像平滑處理和幀間的時域平滑處理。根據本發明實施例的用於平面視頻立體轉換的字幕去抖裝置，可以有效地改善深度圖中字幕的深度信息，減小甚至消除字幕的抖動和扭曲現象，解決立體化視頻播放中字幕抖動給用戶造成的不適。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據本發明實施例的用於平面視頻立體轉換的字幕去抖方法的流程圖；和圖2為根據本發明實施例的用於平面視頻立體轉換的字幕去抖裝置的結構示意圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。下面參考圖1描述根據本發明實施例的用於平面視頻立體轉換的字幕去抖方法。如圖1所示，根據本發明實施例的用於平面視頻立體轉換的字幕去抖方法，包括如下步驟SlOl 輸入預定數量的原視頻序列和原視頻序列的深度圖序列。輸入預定數量的原視頻序列和所述原視頻序列的深度圖序列，其中，原視頻序列可以為解碼後的視頻序列。對於字幕區域，輸入的深度圖序列質量沒有特別的要求，但是必須保證輸入的原視頻序列和深度圖序列的解析度相同。在本發明的一個實施例中，預定數量根據原視頻序列的運動信息選取。具體而言，當原視頻序列的圖像運動速度小於預設閾值時，預定數量設置為兩幀，即輸入兩幀的原視頻序列和兩幀的深度圖序列。當原視頻序列的圖像運動速度大於預設閾值時，預定數量設置為三幀或三幀以上，即輸入三幀或三幀以上的原視頻序列和相同數量的深度圖序列。為了便於後續對相鄰視頻幀圖像的特徵的比較，原視頻序列和深度圖序列的數量不能小於相鄰視頻幀序列的總和。例如，在下一步的步驟102中，如果對前後兩張視頻幀圖像的特徵值進行比較，則在步驟101中需要輸入至少兩幀的原視頻序列。如果對前後相鄰的三幀視頻幀圖像的特徵值進行比較，則在步驟101中需要輸入至少大於三幀的原視頻序列，其他數量依次類推。另外，為了便於後續對圖像進行時域平滑，原視頻序列和深度圖序列的數量要大於後續進行時域平滑的幀的數量。例如，如果要對相鄰的前後兩幀的視頻幀圖像進行時域平滑，則需要輸入至少兩幀的原視頻序列。如果要對三幀的視頻幀圖像進行時域平滑，則需要保證輸入至少三幀的原視頻序列，其他可依次類推。S102:計算每幀圖像的特徵值以及相鄰兩幀圖像的特徵值的差值，獲取初始遮罩圖。視頻中的字幕一般都為靜止的或者緩慢運動的，並且字幕的大小一般是固定的。 通常，具有上述特徵的字幕包含在原視頻序列的不動區域中。因此，通過檢測原視頻序列中的不同區域，即可實現對字幕區域的檢測。在本發明的一個實施例中，通過對相鄰兩幀的圖像的特徵值進行比較，將其中差異較小的區域或像素進行標記，形成初始遮罩圖，從而實現對字幕區域的檢測。首先，選取對字幕比較顯著的特徵以進行比較，這樣可以得到比較好的檢測效果。 圖像中的字幕通常表現為形狀不變、高亮度、單色或者直方圖單一等特性，因此。本發明的實施例可以選取灰度特徵、直方圖、顏色特徵和運動向量中的任一項作為待比較的特徵。其中，灰度特徵對於亮度敏感，通過檢測灰度特徵可以有效的檢測到白色字幕。通過檢測直方圖特徵可以檢測到字幕變化小或者字幕大小有變化但統計特徵沒有變化的字。通過檢測顏色特徵可以檢測到不是白色但是顏色基本不變的字。通過檢測運動向量特徵可以檢測到字幕和顏色均不變，但在視頻中有輕微運動的字。然後，根據已選取好的特徵，計算原視頻序列中每幀圖像的基於該特徵的特徵值， 並根據每幀圖像的特徵值計算相鄰兩幀圖像的特徵值的差值。在本發明的一個實施例中， 根據選取的特徵的不同，原視頻序列中每幀圖像的特徵值可以為每幀圖像的灰度特徵值、 直方圖特徵值、顏色特徵值或運動向量特徵值。將相鄰兩幀圖像的特徵值的差值與基於該特徵而預設的特徵閾值進行比較，將特徵值的差值小於所述特徵閾值的像素點進行標記，例如將特徵值的差值小於所述特徵閾值的像素點標記為白色，將不滿足該條件的像素點標記為黑色，從而形成一張初始遮罩圖。可以理解的是，特徵閾值和特徵值必須是對應於每幀圖像的同一個特徵。下面以灰度特徵為例對步驟S102進行詳細說明。首先，計算圖像灰度圖，得到每幀圖像的灰度值。對前後兩幀圖像的灰度值進行比較，將灰度值的差值小於預設的灰度特徵閾值的像素標記為白色，其他像素為黑色，從而形成一張初始遮罩圖。所述初始遮罩圖中像素計算公式如下Ζ, , = ^ /Λι 』力 、
(』')[0其中，(χ, y)為像素在圖像中的坐標，Z(x,y)為像素點(X，y)在初始遮罩圖中的像素值，A(x,y)為相鄰幀對應像素點的灰度值的差值的絕對值，α為預設的灰度特徵閾值。在本發明的一個實施例中，Δ (x,y)可以選取為10。當像素(X，y)的深度差，即該像素對應灰度值的差值的絕對值Δ (x,y)小於或等於 α時，則認為該像素點(X，y)沒有變化，當A(x,y)大於α時，則認為該像素點(X，y)有變化。S103 對初始遮罩圖進行圖像去噪。由於噪聲點的像素特徵比較小，在步驟S102中的得到初始遮罩圖中還會存在很多的噪聲點和孤立像素點，這些噪聲和孤立像素點將對後續的步驟產生幹擾，因此需要對初始遮罩圖進行圖像去噪以去除上述像素噪聲和孤立像素點。現有的對圖像進行去噪的方法均可實現對本發明實施例的初始遮罩圖的圖像去噪。在本發明的一個實施例中，採用形態學方法中的腐蝕算法對初始遮罩圖進行圖像去噪。利用腐蝕算法對初始遮罩圖進行圖像去噪不僅能夠有效去除遮罩圖中的孤立的噪聲點，而且運算速度快，執行效率高。如果在初始遮罩圖中噪聲點較多，可以多次使用腐蝕算法來減少噪聲。但是，多次使用腐蝕算法進行圖像去噪會影響字幕區域的檢測質量，因此圖像去噪的次數需要視情況而定。通過上述步驟的圖像去噪，去除了初始遮罩圖中的孤立像素點和噪聲點，生成去噪後遮罩圖。去噪後遮罩圖包括有原視頻序列的靜態區域和字幕區域。S104:基於直方圖的字幕檢測。步驟S103中得到去噪後遮罩圖，包括字幕區域和靜態區域。在本步驟中，採用快速匹配算法對字幕區域進行檢測。由於字幕區域一般都具有比較固定的直方圖統計特性， 因此可以通過檢測直方圖特徵檢測出字幕區域。首先生成有效圖像區域，其中，有效圖像區域包括去噪後遮罩圖中的特徵值的差值小於特徵閾值的像素在原視頻序列中對應的像素點。具體而言，在去噪後遮罩圖中將有效的像素在原視頻幀圖像中對應的像素點提取出來，即將去噪後遮罩圖中標記為白色的像素點提取出來，將該部分像素點和其他像素點共同形成有效圖像區域。換言之，將像素Z(x, y)等於1的像素點提取出來，並將這部分像素z(x,y)等於1與其他像素點共同形成有效圖像區域。有效圖像區域中像素z(x,y)等於1的像素點賦值為在原視頻序列中的對應點的像素值。由此，在該有效圖像區域中，只有初始遮罩圖中z(x,y)等於1的像素點的位置有像素值， 而其他位置的像素點為空，將上述其他像素點所在的位置標記為黑色。統計上述有效圖像區域的直方圖。並將有效圖像區域的直方圖與常用字幕的直方圖模板進行比較。其中，常用字幕的直方圖模板為預先定義的。上述常用字幕的直方圖模板主要定義字幕的形狀、顏色等特徵，而與字幕大小沒有關係。有效圖像區域包括有多個區段，將每個區段的直方圖與預設的直方圖模板進行區段匹配，找到最佳匹配的區段作為字幕區域。下面對每個區段的直方圖與預設的直方圖模板的過程進行描述。首先，通過下述公式計算每個區段的直方圖和預設直方圖的均方差。
權利要求
1.一種用於平面視頻立體轉換的字幕去抖方法，其特徵在於，包括如下步驟輸入預定數量的原視頻序列和所述原視頻序列的深度圖序列，其中，所述原視頻序列和所述深度圖序列的解析度相同；計算所述原視頻序列中每幀圖像的特徵值，並根據所述每幀圖像的特徵值計算相鄰兩幀圖像的特徵值的差值，將所述相鄰兩幀圖像的特徵值的差值與特徵閾值進行比較，將特徵值的差值小於所述特徵閾值的像素點進行標記以得到初始遮罩圖，其中，所述特徵閾值與所述特徵值對應於所述每幀圖像的同一個特徵；對所述初始遮罩圖進行圖像去噪以去除所述初始遮罩圖中的噪聲點和孤立像素點，生成去噪後遮罩圖，所述去噪後遮罩圖包括原視頻序列的靜態區域和字幕區域；生成有效圖像區域，其中所述有效圖像區域包括所述去噪後遮罩圖中的特徵值的差值小於所述特徵閾值的像素在所述原視頻序列中對應的像素點，計算所述有效圖像區域的直方圖，並將所述有效圖像區域的直方圖與預設直方圖進行匹配以得到字幕區域，對所述字幕區域在所述原視頻序列中對應的像素點進行標記以生成更新後的去噪後遮罩圖；對所述更新後的去噪後遮罩圖進行拓展以得到最終遮罩圖，所述最終遮罩圖包括所述字幕區域及所述字幕區域的邊緣；對所述當前幀的最終遮罩圖進行深度賦值，包括將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前面多個幀的深度圖序列中對應的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點以得到所述字幕區域的深度圖；和對所述字幕區域的深度圖進行幀內的圖像平滑處理和幀間的時域平滑處理。
2.如權利要求1所述的字幕去抖方法，其特徵在於，所述預定數量為兩幀、三幀或三幀以上。
3.如權利要求1所述的字幕去抖方法，其特徵在於，所述原視頻序列中每幀圖像的特徵值為所述每幀圖像的灰度特徵值、直方圖特徵值、顏色特徵值或運動向量特徵值。
4.如權利要求1所述的字幕去抖方法，其特徵在於，採用腐蝕算法對所述初始遮罩圖進行圖像去噪。
5.如權利要求1所述的字幕去抖方法，其特徵在於，所述有效圖像區域包括多個區段， 將每個區段的直方圖與預設直方圖進行匹配，包括如下步驟採用下述公式計算所述每個區段的直方圖和所述預設直方圖的均方差， X2 X2 r Kr) H(J)〉/(Xj2) = ΣΣ=xI J=xIZz(X15X2) Η(χ χ2)其中，X1表示當前區段的起始位置，X2表示所述當前區段的終止位置，h(i)表示i位置處的像素點的常用的字幕直方圖的值，i位於X1和X2之間，H(J)表示所述當前區段中j 位置處原圖像直方圖的值，j位於X1和X2之間，h(Xl，X2)表示常用的字幕直方圖取值之和， H(χι; χ2)表示所述當前區段的直方圖的取值之和； 選取所述均方差最小的區段作為所述字幕區域。
6.如權利要求1所述的字幕去抖方法，其特徵在於，採用膨脹算法對所述更新後的去噪後的遮罩圖進行拓展。
7.如權利要求1所述的字幕去抖方法，其特徵在於，通過下述公式將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前C個幀的深度圖序列中對應的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點， 其中，D表示當前幀的最終遮罩圖中的像素點的深度值，Mask為所述最終遮罩圖中特徵值的差值小於所述特徵閾值的像素點，C為用於時域平滑的總幀數，、是(個幀中對應幀的加權係數，Di是C個幀中對應幀的對應像素點的深度值。
8.如權利要求1所述的字幕去抖方法，其特徵在於，所述對所述字幕區域的深度圖進行幀內的圖像平滑處理採用高斯濾波方法或中值濾波方法。
9.如權利要求1所述的字幕去抖方法，其特徵在於，所述對所述字幕區域的深度圖進行幀間的時域平滑處理採用滑動平均方法或時域加權方法。
10.一種用於平面視頻立體轉換的字幕去抖裝置，其特徵在於，包括輸入模塊，所述輸入模塊用於輸入預定數量的原視頻序列和所述原視頻序列的深度圖序列，其中，所述原視頻序列和所述深度圖序列的解析度相同；特徵值計算模塊，所述特徵值計算模塊與所述輸入模塊相連，用於計算所述原視頻序列中每幀圖像的特徵值，並根據所述每幀圖像的特徵值計算相鄰兩幀圖像的特徵值的差值，將所述相鄰兩幀圖像的特徵值的差值與特徵閾值進行比較，將特徵值的差值小於所述特徵閾值的像素點進行標記以得到初始遮罩圖，其中，所述特徵閾值與所述特徵值對應於所述每幀圖像的同一個特徵；去噪模塊，所述去噪模塊與所述特徵值計算模塊相連，用於對所述初始遮罩圖進行圖像去噪以去除所述遮罩圖中的孤立像素點，生成去噪後遮罩圖，其中，所述去噪後遮罩圖包括原圖像序列的靜態區域和字幕區域；字幕檢測模塊，所述字幕檢測模塊與所述去噪模塊相連，用於生成有效圖像區域，其中所述有效圖像區域包括所述去噪後遮罩圖中的特徵值的差值小於所述特徵閾值的像素在所述原視頻序列中對應的像素點，計算所述有效圖像區域的直方圖，並將所述有效圖像區域的直方圖與預設直方圖進行匹配以得到字幕區域，對所述字幕區域在所述原視頻序列中對應的像素點進行標記以生成更新後的去噪後遮罩圖；字幕區域拓展模塊，所述字幕區域拓展模塊與所述字幕檢測模塊相連，用於對所述更新後的去噪後遮罩圖進行拓展以得到最終遮罩圖，所述最終遮罩圖包括所述字幕區域及所述字幕區域的邊緣；深度賦值模塊，所述深度賦值模塊分別與所述輸入模塊和所述字幕區域拓展模塊相連，用於將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前面多個幀的深度圖序列中對應的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點以得到所述字幕區域的深度圖；和平滑模塊，所述平滑模塊與所述深度賦值模塊相連，用於對所述字幕區域的深度圖進行幀內的圖像平滑處理和幀間的時域平滑處理。
11.如權利要求10所述的字幕去抖裝置，其特徵在於，所述預定數量為兩幀、三幀或三幀以上。
12.如權利要求10所述的字幕去抖裝置，其特徵在於，所述特徵值計算模塊計算所述原視頻序列中每幀圖像的特徵值為所述每幀圖像的灰度特徵值、直方圖特徵值、顏色特徵值或運動向量特徵值。
13.如權利要求10所述的字幕去抖裝置，其特徵在於，所述去噪模塊採用腐蝕算法對所述初始遮罩圖進行圖像去噪。
14.如權利要求10所述的字幕去抖裝置，其特徵在於，所述有效圖像區域包括多個區段，所述字幕檢測模塊採用下述公式計算所述每個區段的直方圖和所述預設直方圖的均方差，
15.如權利要求10所述的字幕去抖裝置，其特徵在於，所述字幕區域拓展模塊採用膨脹算法對所述更新後的去噪後的遮罩圖進行拓展。
16.如權利要求10所述的字幕去抖裝置，其特徵在於，所述深度賦值模塊通過下述公式將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前C個幀的深度圖序列中對應的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點，
17.如權利要求10所述的字幕去抖裝置，其特徵在於，所述平滑模塊採用高斯濾波方法或中值濾波方法對所述字幕區域的深度圖進行幀內的圖像平滑處理。
18.如權利要求10所述的字幕去抖裝置，其特徵在於，所述平滑模塊採用滑動平均方法或時域加權方法對所述字幕區域的深度圖進行幀間的時域平滑處理。
全文摘要
本發明公開了一種用於平面視頻立體轉換的字幕去抖方法，包括如下步驟輸入預定數量的原視頻序列和原視頻序列的深度圖序列；計算原視頻序列中每幀圖像的特徵值，並將相鄰兩幀圖像的特徵值的差值與特徵閾值進行比較以得到初始遮罩圖；對初始遮罩圖進行圖像去噪；計算有效圖像區域的直方圖，並將有效圖像區域的直方圖與預設直方圖進行匹配；對更新後的去噪後遮罩圖進行拓展以得到最終遮罩圖；對當前幀的最終遮罩圖進行深度賦值；對字幕區域的深度圖進行幀內的圖像平滑處理和幀間的時域平滑處理。本發明還公開了一種用於平面視頻立體轉換的字幕去抖裝置。本發明可以有效地改善深度圖中字幕的深度信息，減小甚至消除字幕的抖動和扭曲現象。
文檔編號H04N13/00GK102202224SQ20111016930
公開日2011年9月28日 申請日期2011年6月22日 優先權日2011年6月22日
發明者徐琨, 戴瓊海 申請人:清華大學