基於狀態機的反向電視電影處理算法的製作方法

2023-05-30 21:51:21

專利名稱：基於狀態機的反向電視電影處理算法的製作方法
基於狀態機的反向電視電影處理算法在35 U.S.C. §119下主張優先權本專利申請案主張2005年10月24日申請的題為"基於狀態機的反向電視電影處理 算法(Inverse Telecine Algorithm Based on State Machine)"的第60/730,145號臨時申請案 的優先權，所述臨時申請案轉讓給本受讓人且明確地以引用方式併入本文中。 技術領域此系統併入了用於區別以電視電影處理生成的視頻與以常規方式產生的廣播視頻的 程序。根據所述決策，得自所述決策過程的數據有助於重建已受到電視電影處理的影片 圖像。
背景技術：
在20世紀90年代，電視技術從使用模擬方法來表示並傳輸視頻轉換為數字方法。 一旦認識到現有固態技術將支持用於處理視頻的新方法，數字視頻的優點便很快得到認 知。數字視頻可經處理以匹配各種類型的接收器，所述接收器具有不同數目的線且其線 圖案為交錯的或漸進的。電纜工業歡迎實際上在運行中改變帶寬-解析度權衡的機會，從 而允許在先前運載一個模擬視頻信道的帶寬中傳輸多達12個視頻信道或具有優良圖片 質量的7到8個數字視頻信道。數字圖片將不再受傳輸中由多路徑引起的重影的影響。新技術提供了高清晰度電視(HDTV)的可能性，所述高清晰度電視具有類似電影的 圖像和寬屏幕格式。不同於為4:3的當前縱橫比，HDTV的縱橫比為16:9，其類似於電 影屏幕。HDTV可包括杜比數字(Dolby Digital)環繞聲，所述數字聲音系統用於DVD 和許多電影院中。廣播裝置可選擇傳輸高解析度HDTV節目或在相同帶寬中發送許多較 低解析度節目。數位電視還可提供交互式視頻和數據服務。存在用於驅動數位電視的兩種基本技術。第一種技術使用利用通常可用於支持視頻 的信道中的較高信噪比的傳輸格式。第二種技術是使用信號處理以移除存在於單個圖片 中或圖片序列中的不必要空間和時間冗餘。空間冗餘在圖片中表現為所述圖片的相對較 大區域具有微小變化。時間冗餘是指圖片中的結構在稍後或早期圖片中再現。信號處理 操作最好對均在同一時間形成而不是在不同時間被掃描的圖元複合物的幀或場執行。通 過電視電影處理從電影圖像形成的NTSC相容場具有不規則時基，所述時基必須經校正以實現理想壓縮。然而，電視電影處理中所形成的視頻可能與具有不同基本時基的真實 NTSC視頻混合在一起。有效的視頻壓縮是使用視頻特性來消除冗餘的結果。因此，需 要一種技術，其將自動區別電視電影化視頻與真實交錯NTSC視頻，且如果檢測到電視 電影化視頻，那麼反轉電視電影處理過程，從而恢復作為所述電視電影化視頻的來源的 電影圖像。 發明內容此方面的一個方面包含一種用於處理視頻幀的方法，其包含從所述視頻幀確定多個 度量和使用所述經確定的度量來對所述視頻幀進行反向電視電影處理。此方面的另一方面包含一種用於處理視頻幀的設備，其包含計算模塊，其經配置 以從所述視頻幀確定多個度量；和相位檢測器，其經配置以使用所述經確定的度量來提 供對所述視頻幀的反向電視電影處理。此方面的另一方面包含一種用於處理視頻幀的設備，其包含用於從所述視頻幀確定 多個度量的裝置和用於使用所述經確定的度量來對所述視頻幀進行反向電視電影處理的 裝置。此方面的另一方面包含一種用於處理數位化視頻幀的機器可讀媒體，其包含在執行 時致使機器執行以下操作的指令從所述視頻數據確定多個度量，且使用所述經確定的 度量來對所述視頻幀進行反向電視電影處理。此方面的另一方面包含一種視頻壓縮處理器，其經配置以從多個視頻幀確定多個度 量，且使用所述經確定的度量來對所述視頻幀進行反向電視電影處理。


圖1為說明視頻傳輸系統的方框圖。圖2為說明圖1的組件的其它方面的方框圖。圖3A為說明反轉電視電影化視頻的過程的流程圖。圖3B為展現反向電視電影處理系統的結構的方框。圖4為相位圖。圖5為識別用於創建多個度量的各個幀的指導。圖6為說明如何創建圖5的度量的流程圖。圖7為展示可能的相位轉變的格狀結構。圖8為展示處理所述度量以到達估計相位的流程圖。圖9為說明用於產生決策變量的系統的數據流圖。圖io為描繪用於評估分支信息的變量的方框圖。圖IIA、 IIB和IIC為展示如何計算較低包絡的流程圖。 圖12為展示一致性檢測器的操作的流程圖。圖13為展示用於計算與決策變量的偏移量的過程的流程圖，所述偏移量用於補償相 位決策中的不一致性。圖14呈現在已經估計了下拉相位之後的反向電視電影處理的操作。
具體實施方式
以下具體實施方式
針對於本發明的某些特定方面。然而，本發明可用如權利要求書 所界定和涵蓋的多種不同方式來實施。在此描述中參看附圖，其中相同部分始終用相同 數字表示。圖1為傳輸系統5的功能方框圖，所述傳輸系統5支持將壓縮視頻數字傳輸到多個 終端。傳輸系統5包括數字視頻源1，其可能是數字電纜饋入或經數位化的模擬高信號/ 比率源。可在傳輸設施2中壓縮視頻1，並在此處將其調製到載波上以供通過網絡9傳 輸到終端3。當已知所述源的特性並用其選擇理想匹配形式的處理時，視頻壓縮提供最佳結果。 舉例來說，停播視頻可以若干方式生成。在視頻攝影機、廣播室等中以常規方式產生的 廣播視頻在美國符合NTSC標準。根據所述標準，每一幀由兩個場組成。 一個場由奇數 線組成，且另一個場由偶數線組成。這可稱為"交錯"格式。當以大約30個幀/秒產生 幀時，所述場是相隔1/60秒的電視攝影機圖像的記錄。另一方面，以24個幀/秒拍攝影 片，其中每一幀由完整圖像組成。這可稱為"漸進"格式。對於NTSC裝備中的傳輸， 經由電視電影處理過程將"漸進"視頻轉換為"交錯"視頻格式。下文進一步論述，在 一個方面中，所述系統有利地確定何時視頻已經得到電視電影處理且執行適當變換以再 生原始漸進幀。圖4展示對已轉換為交錯視頻的漸進幀進行電視電影處理的效果。Fi、 F2、 F3和F4 是輸入到電視電影處理器的漸進圖像。各個幀下方的數字"1"和"2"是對奇數場或偶 數場的指示。請注意，由於幀速率不等，有些場重複出現。圖4還展示下拉相位Po、 Ph P2、 P3和P4。相位P。由具有相同第一場的兩個NTSC相容幀中的第一者來標記。隨後四個幀對應於相位P卜P2、 P3和P4。請注意，由P2和P3標記的幀具有相同第二場。因為影片幀F,經三次掃描，所以形成兩個相同的連續輸出NTSC相容第一場。得自影片幀F! 的所有NTSC場均從同一影片圖像獲得，且因此在相同瞬間獲得。得自影片的其它NTSC8幀可具有相隔1/24秒的相鄰場。圖2為說明信號準備單元15的方框圖。在一個方面中，所述信號準備單元15可駐 留在圖1的數字傳輸設施中。在圖2中，信號準備單元15用以準備經由網絡9傳輸的數 據。在源視頻單元19中恢復的視頻幀被傳遞到相位檢測器21。相位檢測器21區別在電 視電影處理中生成的視頻與以標準廣播格式開始的視頻。如果所作的決策是所述視頻已 受到電視電影處理(從相位檢測器21引出的"是"決策路徑)，那麼在反向電視電影處 理23中將所述電視電影化視頻返回為其原始格式。識別並消除冗餘幀，且將得自同一視 頻幀的場重新交織成完整圖像。由於以1/24秒的規則時間間隔來以照相方式記錄經重建 影片圖像的序列，因此使用反向電視電影化圖像而非具有不規則時基的電視電影化數據 會使壓縮單元27中所執行的運動估計過程更加準確。圖2中未展示執行反向電視電影處 理操作所需的額外數據。當辨識到常規NTSC視頻時(從相位檢測器21引出的"否"路徑)，將所述視頻傳 輸到解交錯器17以供壓縮，從而產生以1/60秒的時間間隔來記錄的視頻場。相位檢測 器11連續分析從源19串流的視頻幀，因為可在任何時間接收到不同類型的視頻。作為 示例，符合NTSC標準的視頻可作為商業廣告插入到電視電影處理的視頻輸出中。相位 檢測器21中所作出的決策應當是準確的。將以常規方式生成的NTSC視為經電視電影處 理的NTSC來處理可致使視頻信號中的信息受到嚴重損失。信號準備單元15還併入有圖片群組(GOP)分割器26,以適應性地改變一起編碼的 圖片群組的組成。其經設計以在其輸入端處將四類編碼幀中的一者(1、 P、 B或"跳越 幀")分配給多個視頻幀，進而移除大量時間冗餘且同時維持接收終端3處的圖片質量。 圖片群組分割器26和壓縮模塊27所進行的處理由預處理器25輔助，所述預處理器25 提供用於噪聲移除的二維濾波。在一個方面中，相位檢測器21在接收到視頻幀之後作出某些決策。這些決策包括 (i)本視頻是否來自電視電影處理輸出且3:2下拉相位是否為圖4的定義12中所展示的 五個相位Po、 P!、 P2、 P3和P4中的一者；和(ii)所述視頻產生作為常規NTSC。將所述決策表示為相位P5。這些決策表現為圖2中所展示的相位檢測器21的輸出。來自相位檢測器21的標記 為"是"的路徑致動反向電視電影處理器23,從而指示其已經具備正確的下拉相位，使 得其可挑選出從同一照相圖像形成的場並將其進行組合。來自相位檢測器21的標記為 "否"的路徑同樣致動解交錯器方框以將表觀NTSC幀分成多個場以進行最佳處理。圖3A為說明對視頻流進行反向電視電影處理的過程50的流程圖。在一個方面中， 由圖2的信號準備單元15執行所述過程50。在步驟51處開始，信號準備單元15基於 所接收的視頻來確定多個度量。在此方面中，在度量確定單元51中形成四個度量，所述 四個度量是從同一幀或相鄰幀引出的多個場之間的差值總和。請注意，在50中所展現的 處理功能在圖3B所展示的裝置70中重複，所述裝置70可包括在信號準備單元15中。 系統結構70包含度量確定模塊71和反向電視電影處理器72。在51中將所述四個度量 進一步組合為從所接收數據得到的四個度量與用於所述六個假定相位中每一者的這些度 量的最可能值之間的歐基理德(Euclidean)距離測量。歐基理德總和稱為分支信息；對 於每一所接收的幀，存在六個此類量。每一假定相位具有後繼相位，在可能的下拉相位 的情況下，所述後繼相位隨每一所接收的幀而改變。可能的轉變路徑在圖7中展示且由 67表示。存在六個此類路徑。決策過程維持六個測量，其等效於每一假定相位路徑的歐 基理德距離總和。為了使程序響應於已改變條件，所述總和中的每一歐基理德距離隨其 變舊而減小。歐基理德距離總和最小的相位軌跡被認為是有效軌跡。此軌跡的當前相位 稱為"適用相位"。現可發生基於所選擇的相位(只要其不是Ps)的反向電視電影處理， 如方框52中所示。如果選擇Ps，那麼對當前幀進行解交錯。總的來說，所述適用相位用作當前下拉相位，或用作命令對已經被估計為具有有效 NTSC格式的幀進行解交錯的指示符。對於從圖2的視頻輸入端19接收的每個幀，計算四個度量中每一者的新值。這些值被定義為SADps 二Sl當前場l值(i,j)-先前場l值(i,j)lSADSS = Sl當前場2值(i, j)-先前場2值(i, j)| SADpo =2|當前場1值(^)-先前場2值(^)| SADC。 = Sl當前場l值(i， j)-當前場2值(i, j)|術語SAD是術語"絕對差求和"的縮寫。圖5中圖形展示經求差以形成度量的場。 下標指代場號，字母指示先前(=P)或當前(=C)。圖5中的括號是指對所述場進行成 對求差。SADps是指當前幀的場1 (標記為d)與先前幀的場1 (標記為Pi)之間的差 值，所述場被圖5所提供的定義中標記為FS的括號括入；SADss是指當前幀的場2 (標 記為C》與先前幀的場2 (標記為P2)之間的差值，所述場均被標記為SS的括號括入；(1)(2)(3)(4)SADco是指當前幀的場2 (標記為C2)與當前幀的場1 (標記為C,)之間的差值，所述 場被標記為CO的括號括入；且SADpo是指當前幀的場1與先前幀的場2之間的差值， 所述場均被標記為PO的括號括入。下文描述用以評估每一 SAD的計算負荷。在常規NTSC中存在大約480條有效水平 線。為了使解析度在水平方向上相同，在具有4:3縱橫比的情況下，應存在480x4/3=640 條等效垂直線或自由度。640x480個像素的視頻格式是先進電視標準委員會所接受的格 式之一。因此，每1/30秒(一幀的持續時間)產生640x480=307,200個新像素。以9.2x106 個像素/秒的速率產生新數據，這暗示著運行此系統的硬體或軟體以大約10兆字節或更 快的速率處理數據。這是系統的高速部分之一。其可由硬體、軟體、固件、中間件、微 碼或其任何組合來實施。SAD計算器可以是獨立組件，作為硬體、固件、中間件併入在 另一裝置的組件中，或在處理器上所執行的微碼或軟體中實施，或其組合。當在軟體、 固件、中間件或微碼中實施時，執行計算的程序碼或碼段可存儲在例如存儲媒體等機器 可讀媒體中。碼段可表示程序、函數、子程序、過程、例行程序、子例行程序、模塊、 軟體包、類別或任何指令、數據結構或程序語句的組合。可通過傳遞和/或接收信息、數 據、自變量、參數或存儲器內容將碼段耦合到另一碼段或硬體電路。圖6中的流程圖30明確圖5中的關係，且其為等式1到4的圖形表示。其展示存儲 位置41、 42、 43和44，其中分別保留SADFS、 SADC0、 SADSS禾B SADpo的最新近值。 這些值均由四個絕對差總和計算器40產生，所述計算器40處理先前第一場數據的亮度 值31、當前第一場數據的亮度值32、當前第二場數據的亮度值33和先前第二場數據的 亮度值34。在定義度量的求和中，術語"值(i，j)"意謂位置i，j處的亮度值，其中對所有 有效像素求和，但不排除對有效像素的有意義子集求和。圖8中的流程圖80為說明用於檢測電視電影化視頻並將其反轉以恢復原始經掃描影 片圖像的過程的詳細流程圖。在步驟30中，評估圖6中所定義的度量。繼續進行到步驟 83，找到所述四個度量的較低包絡值。SAD度量的較低包絡是動態確定的量，其是SAD 不會穿透到其以下的最高數字基底。繼續進行到步驟85,根據先前確定的度量、較低包 絡值和以實驗方式確定的常數A來確定下文在等式5到10中定義的分支信息量。由於連 續相位值可能是不一致的，因此在步驟87中確定量A以降低此表觀不穩定性。當相位決 策序列與圖7中展示的問題模型一致時，認為所述相位為一致的。在所述步驟之後，前 進到步驟89以使用A的當前值來計算決策變量。決策變量計算器89使用通向其的在80 的方框中產生的所有信息來評估決策變量。步驟30、 83、 85、 87和89是圖3中的度量確定51的擴展。根據這些變量，相位選擇器90找到適用相位。決策步驟91使用所述適 用相位來反轉電視電影化視頻或對其解交錯，如圖所示。其是對圖2中的相位檢測器21 的操作的更明確敘述。在一個方面中，圖8的處理由圖2的相位檢測器21執行。在步驟 30處開始，檢測器21通過上文參考圖5描述的處理來確定多個度量，且連續通過步驟 83、 85、 87、 89、 90和91。流程圖80說明用於估計當前相位的過程。流程圖在步驟83處描述使用經確定的度 量和較低包絡值來計算分支信息。分支信息可被認為是早先論述的歐基理德距離。可用 於產生分支信息的示範性等式是以下等式5到10。分支信息量在圖9的方框109中計算 得到。經處理的視頻數據可存儲在連接到處理器25的存儲媒體中，所述存儲媒體可包括 (例如)晶片配置式存儲媒體(例如，ROM、 RAM)或盤型存儲媒體(例如，磁性的或 光學的)。在某些方面中，反向電視電影處理23和解交錯器17可每一者含有所述存儲媒 體的部分或全部。分支信息量由以下等式定義。分支信息(0)=《SADfs-HS)2+(SADSS-HS)2+(SADP0-HP)2+(SADC0-LC)2(5)分支信息(1)=《SADfs.-LS)2+(SADSS-HS)2+(SADP0-.LP)2+(SADC0-He)2(6)分支信息(2)=《SADfs.-HS)2+(SADSS-HS)2+(SADP0-LP)2+(SADC0-He)2(7)分支信息(3)=《SADfs-HS)2+(SADSS-LS)2+(SADP0--LP)2+(SADC0-.LC)2(8)分支信息(4)=《SADfs.-HS)2+(SADSS-HS)2+(SADP0-HP)2+(SADco-Lc)2(9)分支信息(5)=《SADFS.-LS)2+(SADSS-LS)2+(SADP0-LP)2+(SADC0-LC)2(10)分支計算的精確細節在圖10的分支信息計算器109中展示。如計算器109中所示， 在推導分支信息中使用以下量SADFs和SADss的較低包絡值Ls、 SADPO的較低包絡值 Lp和SADco的較低包絡值Lc。所述較低包絡用作分支信息計算中的距離偏移量，其單 獨或結合預定常數A創建Hs、 Hp和Hc。其值在下文描述的較低包絡跟蹤器中保持最新。 H偏移量被定義為HS=LS+AHpo=Lp+AHC=LC+A(11)(12)(13)圖IIA、 IIB和llC中呈現跟蹤Ls、 Lp和Lc值的過程。舉例來說，考慮用於Lp的 跟蹤算法100，其在圖IIA的頂部展示。在比較器105中將度量SADpo與Lp的當前值加 上閾值Tp進行比較。如果度量SADpo超過Lp的當前值加上閾值Tp，那麼不改變Lp的當 前值，如方框115中所示。如果不超過，那麼Lp的新值變為SADpo與Lp的線性組合， 如方框113中所見。在方框115的另一方面中，Lp的新值為Lp+Tp。以類似方式計算圖11B和11C中的量U和Lc。圖IIA、 11B和11C中具有相同功 能的處理方框用相同編號表示，但添加撇號('或")以展示其對不同組變量進行操作。 舉例來說，當形成SADpo與Lc的線性組合時，所述操作在方框113'中展示。對於Lp的 情況也是如此，用於115'的另一方面將用Lc+Tc代替Lc。然而，在Ls的情況下，圖11B中的算法交替處理SADfs和SADss (依次將每一者標 記X)，因為此較低包絡適用於所述兩個變量。當將方框108中的SADps的當前值讀取到 方框103中的X位置中且隨後將107中的SADss的當前值讀取到方框102中的X位置中 時，發生SADfs與SADss值的交替。對於Lp的情況也是如此，用於115"的另一方面將 用Ls+Ts代替Ls。通過實驗來預定用於測試當前較低包絡值的量A和閾值。圖9為說明用於執行圖8的步驟89的示範性過程的流程圖。圖9大體上展示用於更 新決策變量的過程。此處，用得自度量的新信息更新六個決策變量(對應於六個可能決 策)。所述決策變量如下找到Do二aD4+分支信息(0)(14)Df(xDq+分支信息(1)(15)DpaD,+分支信息(2)(16)Df(xD2+分支信息(3)(17)DeaD3+分支信息(4)(18)D5二(xD5+分支信息(5)(19)量a小於1且限制決策變量對其過去值的依賴性；a的使用等效於隨其數據變舊減 小每一歐基理德距離的影響。在流程圖62中，待更新的決策變量在左部列出，如在線 101、 102、 103、 104、 105和106上可得到的。接著在方框100的一者中將相位轉變路 徑中的一者上的決策變量的每一者乘以小於1的數字a;接著將舊決策變量的衰減值相 加到分支信息變量的當前值，所述分支信息變量由衰減決策變量所在的相位轉變路徑上 的下一相位進行索引。這發生在方框110中。在方框193中將變量D5偏移量A; A在方框112中計算。如下文描述，選擇所述量以減少由此系統確定的相位序列中的不一致性。 最小決策變量在方框20中找到。總起來說，將特定針對每一決策的新信息相加到已經乘以a的適當決策變量的先前 值，以得到當前決策變量的值。當掌握新度量時，可作出新決策；因此，此技術能夠在 接收到每個幀的場1和場2時作出新決策。這些決策變量是早先提及的歐基理德距離總 和。將適用相位選擇為具有最小決策變量的下標的相位。在圖8的方框卯中明確作出基 於決策變量的決策。某些決策允許在決策空間中進行。如方框91中所描述，這些決策為 (i)適用相位不是P5。反向電視電影處理視頻(未展示使用適用相位來引導反向電視電影處理過程)；和(ii)適用相位為P5，解交錯視頻。每一相位可視為有限狀態機的可能狀態，其中狀態之間的轉變取決於決策變量的當 前值和六個分支信息量。當所述轉變遵循以下模式P5 —P5或P0—P廣P2—P3 —P4或P5 —P5 —P5 —P3—P4—Po時，機器正在正確操作。在相干決策串中可能存在偶然誤差，因為度量源自本質上可變的視頻。此技術檢測到與圖7不一致的相位序列。其操作在圖12中概述。算法400 在方框405中存儲本相位決策的下標"x)且在方框406中存儲先前相位決策的下標Uy)。 在方框410中，測試x-y-5;在方框411中，測試以下各項x=l，y=:O或x=2，y=:l或x=3，y=:2或x=4，y=:3或x=0，y=:4。如果任一測試為肯定的，那麼在方框420中宣布所述決策為一致的。如果沒有測試 為肯定的，那麼圖9的方框193中所展示的偏移量在圖13中加以計算並將其相加到與P5相關聯的決策變量Ds。對Ds的修改也作為過程200的一部分出現在圖13中，其對相位序列中的不一致性提供校正作用。假設流程圖200的方框210中的一致性測試已經失敗。沿著從方框210 導出的"否"分支前進，方框214中的下一測試為是否對於所有k5， D5>Di;或替代 地，是否對於k5，變量Di的至少一者大於Ds。如果第一情況有效，那麼在方框216中 將初始值為&的參數S改變為3So。如果第二情況有效，那麼在方框217中將S改變為4S0。 在方框112B中，將A的值更新為AB，其中△B=max(A-5,-40SQ) (20)再次返回到方框210，假設決策串被判斷為一致的。在方框215中將參數S改變為S+, 其由下式定義5+=max(2S, 1650) (21) 將S的新惶插入Aa (方框112A中對於A的更新關係)。這是 △A=max(A+S,線) (22) 接著在方框193中將更新的A值相加到決策變量D5。圖14展示一旦確定下拉相位如何在系統301中進行反向電視電影處理過程。通過此 信息，將場305和305'識別為表示相同視頻場。對所述兩個場一起求平均值，且將其與 場306組合以重建幀320。所重建的幀為320'。類似過程將重建幀322。得自幀321和323 的場不是重複的。通過將其第一場與第二場重新交織在一起來重建這些幀。在以上描述的方面中，每當接收到新幀時，找到四個新的度量值且使用新近計算的 決策變量來測試六重假定組。其它處理結構可能適於計算所述決策變量。維特比(Viterbi) 解碼器將組成路徑的分支的度量相加在一起以形成路徑度量。此處定義的決策變量由類似規則形成每一者是新信息變量的"漏"總和。(在漏求和中，決策變量的先前值在與 新信息數據相加之前乘以小於1的數字)。維特比解碼器結構可經修改以支持此程序的操 作。儘管根據處理每隔1/30秒出現新幀的常規視頻來描述本方面，但應注意，此過程可 應用於在時間上向後記錄和處理的幀。決策空間保持相同，但存在反映輸入幀序列的時 間反轉的微小變化。舉例來說，來自時間反轉模式的一串相干電視電影處理決策(展示P4 P3 P2 P0也將在時間上反轉。對第一方面使用此變型將允許所述決策在作出成功決策時處理兩個嘗試 一者在時 間上向前進行，另一者則向後進行。儘管所述兩個嘗試並不獨立，但其因每一嘗試將以 不同次序處理度量而不同。此理念可結合緩衝器加以應用，所述緩衝器經維持以存儲用於處理的未來視頻幀。 如果發現視頻段在正向處理方向上給出了不可接受的不一致結果，那麼程序將從所述緩 衝器取出未來幀並試圖通過在反方向上處理幀來克服視頻伸展難度。本專利中所描述的視頻處理還可應用於具有PAL格式的視頻。請注意，可將所述方面描述為過程，所述過程被描繪為流程圖、流程框圖、結構圖 或方框圖。雖然流程圖可將操作描述為順序過程，但許多操作可並行執行或同時執行。 此外，可對操作的次序進行重新排列。當操作完成時，過程終止。過程可對應於方法、 函數、程序、子例行程序、子程序等。當過程對應於函數時，其的終止對應於函數返回 到調用函數或主函數。所屬領域的技術人員還應容易了解，本文所揭示的裝置的一個或一個以上元件可在 不影響所述裝置的操作的情況下進行重新配置。同樣，本文所揭示的裝置的一個或一個 以上元件可在不影響所述裝置的操作的情況下進行組合。所屬領域的技術人員將了解信 息和信號可使用多種不同技術和技藝中的任一種來表示。所屬領域的技術人員將進一步 了解，結合本文所揭示的實例描述的各種說明性邏輯塊、模塊和算法步驟可實施為電子 硬體、固件、計算機軟體、中間件、微碼或其組合。為了清楚說明硬體與軟體的這種可 交換性，上文已經大體上在其功能性方面描述了各種說明性組件、塊、模塊、電路和步 驟。將此類功能性實施為硬體還是軟體取決於特定應用和對整個系統施加的設計限制。 熟練的技術人員可針對每一特定應用以不同方式實施所描述的功能性，但不應將此類實 施方案決策解釋為造成與所揭示方法的範圍的脫離。結合本文所揭示的實例描述的方法或算法的步驟可直接在硬體、由處理器執行的軟體模塊或所述兩者的組合中實施。軟體模塊可駐留在RAM存儲器、快閃記憶體、ROM 存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動盤、CD-ROM或此 項技術中已知的任何其它形式的存儲媒體中。示範性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息和向存儲媒體寫入信息。在替代方案中，存儲媒體可與處理器 成一體式。處理器和存儲媒體可駐留在專用集成電路(ASIC)中。所述ASIC可駐留在 無線數據機中。在替代方案中，處理器和存儲媒體可作為離散組件駐留在無線調製 解調器中。另外，結合本文所揭示的實例描述的各種說明性邏輯塊、組件、模塊和電路可用通 用處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA) 或其它可編程邏輯裝置、離散門或電晶體邏輯、離散硬體組件或經設計以執行本文描述 的功能的其任何組合來實施或執行。通用處理器可以是微處理器，但在替代方案中，所 述處理器可以是任何常規處理器、控制器、微控制器或狀態機。處理器還可實施為計算 裝置的組合，例如DSP與微處理器的組合、多個微處理器、結合DSP核心的一個或一個 以上微處理器或任何其它此類配置。提供先前對所揭示實例的描述是為了使得所屬領域的技術人員能夠製作或使用所揭 示的方法和設備。所屬領域的技術人員將容易了解對這些實例的各種修改，且在不脫離 所揭示方法和設備的精神或範圍的情況下，本文所界定的原理可應用於其它實例並可添 加額外元件。希望對所述方面的描述為說明性的，而不限制權利要求書的範圍。
權利要求
1.一種處理多個視頻幀的方法，其包含從所述視頻幀確定多個度量；和使用所述經確定的度量來對所述視頻幀進行反向電視電影處理。
2. 根據權利要求l所述的方法，其中反向電視電影處理包含估計下拉相位。
3. 根據權利要求1所述的方法，其中確定包含確定第一度量，所述第一度量指示所述多個視頻幀中的第一幀的第一場與所述多 個視頻幀中的第二幀的第一場之間的任何差值，所述第一幀在時間上跟隨所述第二 幀；確定第二度量，所述第二度量指示第一幀的第二場與第二幀的第二場之間的任何 差值；確定第三度量，所述第三度量指示所述第一幀的所述第一場與所述第二幀的所述 第二場之間的任何差值；和確定第四度量，所述第四度量指示所述第一幀的所述第一場與所述第一幀的所述 第二場之間的任何差值，且其中所述第一、第二、第三和第四度量中的至少一者指 示下拉相位。
4. 根據權利要求3所述的方法，其中所述四個度量中的至少一者指示所述視頻幀中的 至少一者尚未經電視電影處理並符合廣播標準。
5. 根據權利要求3所述的方法，其中所述第一度量包含所述第一幀的所述第一場與所 述第二幀的所述第一場之間的絕對差總和(SADFS)，所述第二度量包含所述第一幀 的所述第二場與所述第二幀的所述第二場之間的絕對差總和(SADss)，所述第三度 量包含所述第一幀的所述第一場與所述第二幀的所述第二場之間的絕對差總和 (SADpo);且所述第四度量包含所述第一幀的所述第一場與所述第一幀的所述第二 場之間的絕對差總和(SADco)。
6. 根據權利要求5所述的方法，其進一步包含計算SADfs與SADss的較低包絡水平和 SADpo與SADco的較低包絡水平。
7. 根據權利要求3所述的方法，其中確定進一步包含從所述四個度量計算分支信息。
8. 根據權利要求l所述的方法，其中確定包含-為所述多個視頻幀中的每一視頻幀確定多個度量；從所述分支信息確定決策變量，且其中對所述視頻幀進行反向電視電影處理進一 步包含為每一視頻幀識別適用相位。
9. 根據權利要求8所述的方法，其中所述適用相位指示所述多個視頻幀中的所述視頻 幀中的至少一者是已經受到電視電影處理還是符合廣播標準。
10. 根據權利要求9所述的方法，其中反向電視電影處理包含使用所述適用相位作為下 拉相位以進行反向電視電影處理。
11. 根據權利要求IO所述的方法，其進一步包含檢測所述適用相位中的不一致性。
12. 根據權利要求11所述的方法，其進一步包含通過調整對至少一個決策變量的補償量 來減少所述檢測到的不一致性。
13. 根據權利要求8所述的方法，其進一步包含在類維特比解碼器中確定所述決策變量。
14. 根據權利要求1所述的方法，其進一步包含至少對所述視頻幀中的重複場求平均值。
15. 根據權利要求8所述的方法，其進一步包含經由狀態機確定下拉相位。
16. —種用於處理多個視頻幀的設備，其包含計算模塊，其經配置以從所述視頻幀確定多個度量；和相位檢測器，其經配置以使用所述經確定的度量來對所述視頻幀進行反向電視電 影處理。
17. 根據權利要求16所述的設備，其中所述相位檢測器經進一步配置以估計下拉相位。
18. 根據權利要求16所述的設備，其中所述計算模塊經配置以確定第一度量，所述第一度量指示所述多個視頻幀中的第一幀的第一場與所述多 個視頻幀中的第二幀的第一場之間的任何差值，所述第一幀在時間上跟隨所述第二 幀；確定第二度量，所述第二度量指示第一幀的第二場與第二幀的第二場之間的任何 差值；確定第三度量，所述第三度量指示所述第一幀的所述第一場與所述第二幀的所述 第二場之間的任何差值；和確定第四度量，所述第四度量指示所述第一幀的所述第一場與所述第一幀的所述 第二場之間的任何差值，且其中所述相位檢測器使用所述第一、第二、第三和第四 度量中的至少一者來指示下拉相位。
19. 根據權利要求18所述的設備，其中所述相位檢測器使用由所述計算模塊確定的所述四個度量中的至少一者來指示所述視頻幀中的至少一者尚未受到電視電影處理 且符合廣播標準。
20. 根據權利要求16所述的設備，其中所述計算模塊經配置以為所述多個視頻幀中的每一視頻幀確定多個度量； 從所述度量確定分支信息；和 從所述分支信息確定決策變量。
21. 根據權利要求20所述的設備，其中相位檢測器經配置以基於所述決策變量為每一 視頻幀識別適用相位。
22. 根據權利要求21所述的設備，其中所述相位檢測器經配置以基於所述適用相位指 示視頻幀是已經受到電視電影處理還是符合廣播標準。
23. 根據權利要求22所述的設備，其中所述相位檢測器經配置以通過識別所述適用相 位作為下拉相位來對所述視頻幀進行反向電視電影處理。
24. 根據權利要求20所述的設備，其中所述計算模塊進一步包含確定下拉相位的狀態 機。
25. —種用於處理多個視頻幀的設備，其包含-用於從所述視頻幀確定多個度量的裝置；和用於使用所述經確定的度量來對所述視頻幀進行反向電視電影處理的裝置。
26. 根據權利要求25所述的設備，其中所述反向電視電影處理裝置基於下拉相位來對 所述視頻幀進行反向電視電影處理。
27. 根據權利要求25所述的設備，其中所述用於反向電視電影處理的裝置使用四個度 量中的至少一者來指示所述視頻幀中的至少一者尚未受到電視電影處理且符合廣 播標準。
28. 根據權利要求25所述的設備，其中所述用於確定所述度量的裝置包含用於為所述多個視頻幀中的每一視頻幀確定所述多個度量的裝置； 用於從所述度量確定分支信息的裝置；和用於從所述分支信息確定決策變量的裝置，且其中所述用於對所述視頻進行反向 電視電影處理的裝置包含用於基於所述決策變量為每一視頻幀識別適用相位的裝 置。
29. 根據權利要求28所述的設備，其中所述用於識別所述適用相位的裝置包括用於指 示所述視頻是已經受到電視電影處理還是符合廣播標準的裝置。
30. 根據權利要求29所述的設備，其中所述用於反向電視電影處理的裝置識別所述適 用相位作為下拉相位以進行反向電視電影處理。
31. 根據權利要求30所述的設備，其中所述用於識別所述適用相位的裝置包括用於檢 測所述適用相位的值中的不一致性的裝置。
32. 根據權利要求28所述的設備，其中所述用於確定下拉相位的裝置包含狀態機。
33. —種機器可讀媒體，其包含用於處理多個視頻幀的指令，其中所述指令在執行時致 使機器-從所述多個視頻幀確定多個度量；和使用所述經確定的度量來對所述視頻幀進行反向電視電影處理。
34. 根據權利要求33所述的機器可讀媒體，其中所述指令進一步致使所述機器為所述多個視頻幀中的每一視頻幀確定多個度量； 從所述度量確定分支信息；和從所述分支信息確定決策變量，其中致使所述機器對所述視頻幀進行反向電視電 影處理的所述指令進一步致使所述機器基於所述決策變量來識別視頻幀的適用相 位。
35. 根據權利要求34所述的機器可讀媒體，其中致使所述機器識別所述適用相位的所 述指令進一步致使所述機器指示所述視頻是已經受到電視電影處理還是符合廣播 標準。
36. 根據權利要求35所述的機器可讀媒體，其中所述指令進一步致使所述機器確定下 拉相位以用於對所述視頻幀中的所述多個視頻幀中的一者進行反向電視電影處理。
37. 根據權利要求34所述的機器可讀媒體，其中所述指令進一步致使所述機器通過作 為狀態機操作來確定下拉相位。
38. —種視頻編碼處理器，其經配置以從多個視頻幀確定多個度量；和使用所述經確定的度量來對所述視頻幀進行反向電視電影處理。
39. 根據權利要求38所述的視頻編碼處理器，其中所述處理器通過確定下拉相位來進 行反向電視電影處理。
40. 根據權利要求38所述的視頻編碼處理器，其中由所述處理器至少對所述視頻幀中 重複的場一起求平均值以形成反向電視電影處理輸出。
全文摘要
本文描述一種用於處理視頻以確定哪些視頻區段在電視電影處理中生成和哪些符合NTSC標準的技術。估計由電視電影處理產生的視頻區段中的3:2下拉的當前下拉相位，且將其用於反轉電視電影處理過程。
文檔編號H04N7/01GK101331765SQ200680047591
公開日2008年12月24日 申請日期2006年10月24日 優先權日2005年10月24日
發明者方 劉, 濤 田, 維賈雅拉克希米·R·拉韋恩德拉恩 申請人:高通股份有限公司