具有自適應深度的立體視頻圖文標籤的顯示和編輯方法

2023-08-09 14:46:41

專利名稱：具有自適應深度的立體視頻圖文標籤的顯示和編輯方法
技術領域：
本發明涉及立體顯示技術領域，特別涉及一種具有自適應深度的立體視頻圖文標籤的顯示和編輯方法。
背景技術：
立體視頻，可以給用戶提供視頻中場景的深度信息，使用戶能夠通過視頻看到與真實世界幾乎完全一致的景象，產生巨大的真實感和臨場感。在某些立體視頻中，為了增強說明效果，通常需要在立體視頻或立體圖像的特定空間位置和時間上添加一些圖形或文字標籤。這種標籤稱為立體視頻圖文標籤。由於立體顯示技術只是利用雙目視覺像差使人產生立體感，其顯示終端仍然是平面的，因此為了使添加的標籤能夠準確定位於立體視頻的特定空間，標籤也應該具有適當的像差。此外，在顯示標籤時，要求標籤的立體感不受顯示屏幕大小的影響，即標籤的深度應該具有自適應性；另外，在實際運用中，要求標籤能夠在不修改立體視頻的前提下具有可修改性；並且，要求添加的標籤具有顯示靈活性，可以根據需要顯示或隱藏，而不是永久性地嵌入立體視頻或立體圖像中。因此，需要一種滿足上述要求的立體視頻圖文標籤。

發明內容
本發明的目的旨在至少解決上述技術問題之一，特別是提供一種立體視頻圖文標籤的顯示和編輯方法，通過該方法產生的立體視頻圖文標籤能夠準確定位於立體視頻的特定空間和時間，且該立體視頻圖文標籤的深度感具有自適應性，並且具有修改的便利性和顯示的靈活性。為達到上述目的，本發明一方面提出了一種具有自適應深度的立體視頻圖文標籤的顯示方法，立體視頻圖文標籤序列中的每個立體視頻圖文標籤具有屬性標記、錨點坐標 0^，7，2)、起始時戳〖1、結束時戳&、基本外觀、透明度α，0< α (Xr, Yr) ；S04 :對每一個被選中的所述立體視頻圖文標籤，以所述錨點為中心，根據所述基本外觀的屬性繪製所述立體視頻圖文標籤的基本外觀；S05 :對每一個被選中的所述立體視頻圖文標籤，根據所述立體視頻圖文標籤的透明度α將所述基本外觀和所述立體視頻幀進行像素合成。在本發明的一個實施例中，所述標記屬性包括所述立體視頻圖文標籤在所述立體視頻圖文標籤序列中的序號。在本發明的一個實施例中，所述基本外觀屬性可以包括外形、大小、前景顏色、邊框顏色等屬性中的一項或多項的組合。其中，所述外形可以包括圖形形狀、有限個數的字母、有限位數的數字、箭頭等中的一項或多項的組合。在本發明的一個實施例中，步驟SOl和S02之間包括以下步驟選擇是否顯示所述立體視頻圖文標籤；否，返回步驟SOl繼續提取下一幀立體視頻；是，進行步驟S02。通過該步驟，用戶可以選擇是否顯示立體視頻圖文標籤，使立體視頻圖文標籤的顯示具有靈活性。在本發明的一個實施例中，步驟S03中的所述坐標(XpY1)、(Xr,Yr)的計算公式包括=X1 = ffx-D/2, Xr = ffx+D/2, Y1 = Yr = Hy，其中，W和H分別為所述立體視頻的顯示窗口的寬度和長度，D為雙目像差，D = s印XWXz/(z+l)，其中s印為人眼雙目瞳距與所述立體視頻的顯示窗口的寬度的比值。在本發明的一個實施例中，每個所述立體視頻圖文標籤具有附加外觀屬性。所述附加外觀屬性可以包括用於說明的文字標籤，所述文字標籤相對於所述錨點的方位，用於強調的形狀等中的一項或多項的組合。在本發明的一個實施例中，步驟S04和步驟S05之間包括以下步驟選擇是否顯示所述立體視頻圖文標籤的全部外觀；否，進行步驟S05 ;是，對每一個被選中的所述立體視頻圖文標籤，繪製所述附加外觀。通過該步驟，用戶可以選擇顯示立體視頻圖文標籤的全部外觀，或選擇顯示立體視頻圖文標籤的基本外觀。在本發明的一個實施例中，繪製所述附加外觀可以包括以所述錨點為中心，根據所述文字標籤相對於所述錨點的方位繪製所述文字標籤和或繪製所述用於強調的形狀以及其他外觀。在本發明的一個實施例中，步驟S05中像素合成公式包括P = B α +I (I- α )，其中 B為所述立體視頻圖文標籤的基本外觀的像素值，I為所述立體視頻幀的像素值。本發明另一方面提供一種具有自適應深度的立體視頻圖文標籤的編輯方法，立體視頻圖文標籤序列中的每個立體視頻圖文標籤具有屬性標記、鋪點坐標(X，Y，Ζ)、起始時戳^、結束時戳t2、基本外觀、附加外觀、透明度α，0< α < 1，所述編輯方法包括以下步驟S11 :初始化立體光標，所述立體光標具有所述立體視頻圖文標籤的屬性，但獨立於所述立體視頻圖文標籤序列；S12 :回放立體視頻，從所述立體視頻中提取待操作的立體視頻幀，在所述待操作的立體視頻幀中顯示所述立體視頻圖文標籤和立體光標，所述立體視頻幀的當前時戳為t;S13:將所述立體光標的開始時戳設置為t/ = t+ε , ε為預設的誤差值；S14 :根據編輯要求重新設置所述立體光標的錨點坐標( , y0, z0)、結束時戳t2'、基本外觀、附加外觀、透明度中的一項或多項；S15 :根據重新設置的所述立體光標，對所述立體視頻圖文標籤序列進行添加新的所述立體視頻圖文標籤、刪除或修改已有的所述立體視頻圖文標籤操作。在本發明的一個實施例中，步驟S15中所述添加新的所述立體視頻圖文標籤操作包括在所述立體視頻圖文標籤序列中新增立體視頻圖文標籤，並將其屬性設置為與重新設置的所述立體光標的屬性相同。在本發明的一個實施例中，步驟S15中所述刪除已有的所述立體視頻圖文標籤操作包括在所述立體視頻圖文標籤序列中尋找滿足h < t < t2、錨點坐標(X, y, ζ)在重新設置的所述立體光標的錨點坐標(xo，y。，z0)的鄰域內的所述立體視頻圖文標籤，並將其從所述立體視頻圖文標籤序列中刪除。在本發明的一個實施例中，步驟S15中所述修改已有的所述立體視頻圖文標籤操作包括在所述立體視頻圖文標籤序列中尋找滿足h < t < t2、錨點坐標(X, y, ζ)在重新設置的所述立體光標的錨點坐標(xo，y。，z0)的鄰域內的所述立體視頻圖文標籤，並將其屬性設置為與重新設置的所述立體光標的屬性相同。本發明提供一種具有自適應深度的立體視頻圖文標籤的顯示和編輯方法。本發明實施例的有益效果體現在(I)該立體視頻圖文標籤能夠準確地標識立體視頻中需要強調的三維區域，視覺立體感強，定位準確度高；(2)該立體視頻圖文標籤的深度感具有自適應性，即對於不同大小的顯示屏幕都具有相同的深度感；(3)可以在不改動相應的立體視頻的前提下方便地修改該立體視頻圖文標籤。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。


本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中圖I為本發明實施例的立體視頻圖文標籤顯示方法的流程圖；圖2為本發明實施例的箭頭狀的立體視頻圖文標籤在左視圖和右視圖中的示意圖；圖3為本發明實施例的立體視頻圖文標籤編輯方法的流程圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。本發明提出一種具有自適應深度的立體視頻圖文標籤。在本發明實施例中，一個立體視頻文件一般可以包括多個立體視頻圖文標籤，這些立體視頻圖文標籤組成立體視頻圖文標籤序列。每個立體視頻圖文標籤至少具有以下屬性標記、錨點坐標(X，I, Z)、起始時戳、結束時戳t2、基本外觀、透明度α (O≤α≤I)。其中，標記是體現立體視頻圖文標籤在立體視頻圖文標籤序列中的身份的屬性， 具有唯一性，例如，在本實施例中，以立體視頻圖文標籤在立體視頻圖文標籤序列中的序號 η作為其標記。其中，錨點坐標(X，y, z)的每個分量分別為三維空間中的對應坐標軸的歸一化值，即取值範圍為[-1,1] O在本發明實施例中，基本外觀屬性可以包括但不限於外形、大小、前景顏色、邊框顏色等屬性中的一項或多項的組合。其中，外形可以包括圖形形狀、有限個數的字母、有限位數的數字、箭頭等中的一項或多項的組合。除了上述基本外觀屬性，本實施例的立體視頻圖文標籤還可以具有附加外觀屬性，附加外觀屬性可以包括但不限於用於說明的文字標籤，該文字標籤相對於錨點的方位，用於強調的形狀等。
圖I所示為本發明實施例的立體視頻圖文標籤顯示方法的流程圖，參照圖1，該顯示方法包括以下步驟步驟SOl :從立體視頻中提取立體視頻幀，該立體視頻幀的當前時戳設為t。在本發明優選的實施例中，步驟SOl還可以包括以下步驟選擇是否顯示該立體視頻圖文標籤；否，則輸出立體視頻和立體視頻圖文標籤的合成幀並返回步驟SOl繼續提取下一幀立體視頻；是，則進行步驟S02。通過該步驟，用戶可以選擇是否顯示立體視頻圖文標籤，使立體視頻圖文標籤的顯示具有靈活性。步驟S02 :從立體視頻圖文標籤序列中選出的一個或多個立體視頻圖文標籤。步驟S03 :計算每一個被選中的立體視頻圖文標籤的錨點在該立體視頻幀的左視圖和右視圖中的坐標(X1, Y1)> (xr, Yr) O具體地，可以包括以下步驟首先將錨點在標準化三維坐標中的水平和垂直坐標(X，y)轉化為視圖中的坐標(xc，Y)。圖2所示為箭頭狀的立體視頻圖文標籤在左視圖和右視圖中的不意圖。如圖2所不，Xc = Wx, Y = Hy,其中W和H分別為立體視頻的顯示窗口的寬和長，一般以像素為單位。然後將將錨點在標準化三維坐標中的深度坐標ζ轉化為雙目像差DD = sepXWXz/(z+1),其中sep為人眼雙目瞳距與立體視頻的顯示窗口的寬度的比值。最後得到該立體視頻圖文標籤的鋪點在左右視圖的坐標分別為X1 = Xc-D/2, Xr = Xc+D/2, Y1 = Yr = Hy步驟S04 :對每一個被選中的立體視頻圖文標籤，以其錨點為中心，根據其基本外觀的屬性繪製該立體視頻圖文標籤在視圖中的基本外觀，如圖2所示。在本發明優選的實施例中，步驟S04之後可以包括以下步驟選擇是否顯示立體視頻圖文標籤的全部外觀；否，進行步驟S05 ;是，對每一個被選中的立體視頻圖文標籤，繪製附加外觀。通過該步驟，用戶可以選擇顯示立體視頻圖文標籤的全部外觀，或選擇顯示立體視頻圖文標籤的基本外觀，從而使立體視頻圖文標籤的顯示方式具有靈活性。在本發明實施例中，繪製立體視頻圖文標籤的附加外觀的步驟具體可以包括以該立體視頻圖文標籤的錨點為中心，根據其文字標籤相對於錨點的方位繪製文字標籤和或繪製用於強調的形狀以及其他外觀。步驟S05 :對每一個被選中的立體視頻圖文標籤，根據該立體視頻圖文標籤的透明度α將所繪製的基本外觀和立體視頻幀進行像素合成。在本發明實施例中，像素合成公式可以為P = Ba +I (1-α )，其中B為該立體視頻圖文標籤的基本外觀的像素值,I為該立體視頻幀的像素值。由於對每一個被選中的立體視頻圖文標籤均需要進行步驟S03-S05，故步驟 S03-S05需要循環進行多次，直至循環結束後，輸出立體視頻和立體視頻圖文標籤的合成幀，並返回步驟SOl繼續提取下一幀立體視頻。圖3所示為本發明實施例的立體視頻圖文標籤編輯方法的流程圖，參照圖3，該編輯方法包括以下步驟步驟Sll :初始化立體光標，立體光標具有上述立體視頻圖文標籤的屬性，即可以具有標記、錨點坐標O^ytl, Ztl)、起始時戳t/、結束時戳V、基本外觀、附加外觀、透明度等屬性，但是立體光標不屬於立體視頻圖文標籤序列，故立體光標的標記可以是體現其特殊身份的參量。步驟S12 :回放立體視頻，從立體視頻中提取待操作的立體視頻幀，在待操作的立體視頻幀中顯示立體視頻圖文標籤和立體光標，立體視頻幀的當前時戳為t。優選地，為了便於立體光標移動，立體視頻圖文標籤可以顯示該標籤的全部外觀，而立體光標僅顯示基本外觀。步驟S13:將立體光標的開始時戳設置為t/ = t+ε , ε為預設的可以允許的誤差值。步驟S14 :根據編輯要求重新設置立體光標的錨點坐標( , y0, Ztl)、結束時戳t2、 基本外觀、附加外觀、透明度α等屬性中的一項或多項。在本實施例中，用戶可以通過在三維空間移動立體光標，從而連續改變立體光標的錨點坐標(X(i，y0, z0)。例如,移動滑鼠使得立體光標在水平和垂直方向移動，轉動滑鼠滾輪使得立體光標前後移動(即改變深度)。通常情況下ζ值不小於-O. 5，以有利於得到更符合人眼感知特性的立體視覺效果。用戶通過輸入立體光標的屬性以重新設置立體光標屬性。步驟S15 :根據重新設置的立體光標，對立體視頻圖文標籤序列進行添加新的立體視頻圖文標籤、刪除或修改已有的立體視頻圖文標籤等操作。其中，添加新的立體視頻圖文標籤操作可以通過下述方式實現在立體視頻圖文標籤序列中新增立體視頻圖文標籤，並將其屬性設置為與重新設置的立體光標的屬性相同，即將立體光標的屬性複製為新增立體視頻圖文標籤的屬性。刪除已有的立體視頻圖文標籤操作可以通過下述方式實現在立體視頻圖文標籤序列中尋找滿足彡t彡t2、錨點坐標(X，Y, ζ)在重新設置的立體光標的錨點坐標(X。， 10，Z0)的特定鄰域內的立體視頻圖文標籤，如果尋找到滿足條件的立體視頻圖文標籤，則將其從立體視頻圖文標籤序列中刪除。修改已有的立體視頻圖文標籤操作可以通過下述方式實現在立體視頻圖文標籤序列中尋找滿足彡t彡t2、錨點坐標(X，Y, ζ)在重新設置的立體光標的錨點坐標(X。，
1,，Z0)的特定鄰域內的立體視頻圖文標籤，如果尋找到滿足條件的立體視頻圖文標籤，則將其屬性設置為與重新設置的立體光標的屬性相同，即將立體光標的屬性複製為需修改的立體視頻圖文標籤的屬性。在本說明書的描述中，參考術語「一個實施例」、「一些實施例」、「示例」、「具體示例」、或「一些示例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的範圍由所附權利要求及其等同限定。
權利要求
1.一種具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，立體視頻圖文標籤序列中的每個立體視頻圖文標籤具有屬性標記、錨點坐標(1，7，2)、起始時戳〖1、結束時戳t2、基本外觀、透明度a、0 < a (xr, Yr)；504:對每一個被選中的所述立體視頻圖文標籤，以所述錨點為中心，根據所述基本外觀的屬性繪製所述立體視頻圖文標籤的基本外觀；505:對每一個被選中的所述立體視頻圖文標籤，根據所述立體視頻圖文標籤的透明度 a將所述基本外觀和所述立體視頻幀進行像素合成。
2.如權利要求I所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，所述標記屬性包括所述立體視頻圖文標籤在所述立體視頻圖文標籤序列中的序號。
3.如權利要求I所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，所述基本外觀屬性包括外形、大小、前景顏色、邊框顏色中的一項或多項的組合。
4.如權利要求3所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，所述外形包括圖形形狀、有限個數的字母、有限位數的數字、箭頭中的一項或多項的組合。
5.如權利要求I所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，步驟SOl和S02之間包括以下步驟選擇是否顯示所述立體視頻圖文標籤；否，返回步驟SOl繼續提取下一幀立體視頻；是，進行步驟S02。
6.如權利要求I所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，步驟S03中的所述坐標(X1, Y1)、(Xr, Yr)的計算公式包括X1 = ffx-D/2, Xr = ffx+D/2, Y1 = Yr = Hy,其中，W和H分別為所述立體視頻的顯示窗口的寬度和長度，D為雙目像差，D = s印XWXz/(z+l)，其中s印為人眼雙目瞳距與所述立體視頻的顯示窗口的寬度的比值。
7.如權利要求I所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，每個所述立體視頻圖文標籤具有附加外觀屬性。
8.如權利要求7所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，所述附加外觀屬性包括用於說明的文字標籤，所述文字標籤相對於所述錨點的方位， 用於強調的形狀中的一項或多項的組合。
9.如權利要求7或8所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，步驟S04和步驟S05之間包括以下步驟選擇是否顯示所述立體視頻圖文標籤的全部外觀；否，進行步驟S05 ；是，對每一個被選中的所述立體視頻圖文標籤，繪製所述附加外觀。
10.如權利要求9所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，繪製所述附加外觀包括以所述錨點為中心，根據所述文字標籤相對於所述錨點的方位繪製所述文字標籤和或繪製所述用於強調的形狀。
11.如權利要求I所述的具有自適應深度的立體視頻圖文標籤的顯示方法，其特徵在於，步驟S05中所述像素合成的公式包括P = B α +I (I- α )，其中B為所述立體視頻圖文標籤的基本外觀的像素值，I為所述立體視頻幀的像素值。
12.—種具有自適應深度的立體視頻圖文標籤的編輯方法，其特徵在於，立體視頻圖文標籤序列中的每個立體視頻圖文標籤具有屬性標記、錨點坐標(1，7，2)、起始時戳〖1、結束時戳t2、基本外觀、附加外觀、透明度α，0< α < 1，所述編輯方法包括以下步驟511:初始化立體光標，所述立體光標具有所述立體視頻圖文標籤的屬性，但獨立於所述立體視頻圖文標籤序列；512:回放立體視頻，從所述立體視頻中提取待操作的立體視頻幀，在所述待操作的立體視頻幀中顯示所述立體視頻圖文標籤和立體光標，所述立體視頻幀的當前時戳為t ；513:將所述立體光標的開始時戳設置為t/ =t+e, ε為預設的誤差值；514:根據編輯要求重新設置所述立體光標的錨點坐標0^，％，2(|)、結束時戳〖2'、基本外觀、附加外觀、透明度中的一項或多項；515:根據重新設置的所述立體光標，對所述立體視頻圖文標籤序列進行添加新的所述立體視頻圖文標籤、刪除或修改已有的所述立體視頻圖文標籤操作。
13.如權利要求12所述的具有自適應深度的立體視頻圖文標籤的編輯方法，其特徵在於，步驟S15中所述添加新的所述立體視頻圖文標籤操作包括在所述立體視頻圖文標籤序列中新增立體視頻圖文標籤，並將其屬性設置為與重新設置的所述立體光標的屬性相同。
14.如權利要求12所述的具有自適應深度的立體視頻圖文標籤的編輯方法，其特徵在於，步驟S15中所述刪除已有的所述立體視頻圖文標籤操作包括在所述立體視頻圖文標籤序列中尋找滿足h < t < t2、錨點坐標(x，y，z)在重新設置的所述立體光標的錨點坐標(X。，y。，z0)的鄰域內的所述立體視頻圖文標籤，並將其從所述立體視頻圖文標籤序列中刪除。
15.如權利要求12所述的具有自適應深度的立體視頻圖文標籤的編輯方法，其特徵在於，步驟S15中所述修改已有的所述立體視頻圖文標籤操作包括在所述立體視頻圖文標籤序列中尋找滿足h < t < t2、錨點坐標(x，y，z)在重新設置的所述立體光標的錨點坐標(xo，y。，z0)的鄰域內的所述立體視頻圖文標籤，並將其屬性設置為與重新設置的所述立體光標的屬性相同。
全文摘要
本發明提供一種具有自適應深度的立體視頻圖文標籤的顯示和編輯方法，該顯示方法包括S01從立體視頻中提取立體視頻幀，立體視頻幀的當前時戳為t；S02從立體視頻圖文標籤序列中選出t1≤t≤t2的一個或多個立體視頻圖文標籤；S03計算每一個被選中的立體視頻圖文標籤的錨點在立體視頻幀的左視圖和右視圖中的坐標(Xl，Yl)、(Xr，Yr)；S04對每一個被選中的立體視頻圖文標籤，以錨點為中心，根據基本外觀的屬性繪製立體視頻圖文標籤的基本外觀；S05對每一個被選中的立體視頻圖文標籤，根據立體視頻圖文標籤的透明度α將基本外觀和立體視頻幀進行像素合成。根據本發明的立體視頻圖文標籤的深度感具有自適應性，並且具有修改的便利性和顯示的靈活性。
文檔編號G06T7/00GK102611906SQ20121005434
公開日2012年7月25日 申請日期2012年3月2日 優先權日2012年3月2日
發明者戴瓊海, 林靖宇 申請人:清華大學