視頻信號處理設備和視頻信號處理方法、視頻信號編碼設備和視頻信號編碼方法、及程序的製作方法

2023-05-31 04:48:41

專利名稱：視頻信號處理設備和視頻信號處理方法、視頻信號編碼設備和視頻信號編碼方法、及程序的製作方法
技術領域：
另一方面，當以比GOP更精細的單位，即以幀為單位執 行提取時，由於畫面之間引用關係的存在，需要進行解碼處理。最簡 單的方法是在解碼所有編碼數據之後提取預定片段。在智能渲染編輯中，例如，進行編輯以從如圖1的部分A 所示的順序編碼視頻信號中提取任意片段的情況下，只有分別包括所 提取片段的前端和末端的GOP被單獨解碼以提取所期望的幀，所述 幀被重新編碼。
6
此外，在不同於位於所提取片革殳前端的GOP和末端的GOP的中間部分，編碼視頻信號如同不經過解碼就被提取。如上所述，當編碼視頻信號受到智能渲染編輯時，發生參數的重寫。因此，當H.264/AVC編碼視頻信號受到智能渲染編輯時，也發生參數的重寫。參數的重寫可導致預定數據序列被修改，使得已經被插入的EPB消失(因為不再需要)，或者相反地，使得EPB被插入(因為出現預定數據序列)。以這種方式，由智能渲染編輯導致的EPB的消失或EPB的插入在此後被稱作EPB問題。本發明是在這種情況下做出的，當編碼視頻信號受到智能渲染編輯時，意圖防止出現EPB問題，或解決已經出現的EPB問題。技術方案本發明的第一方面的視頻信號處理設備是視頻信號處理設備，其對以編碼視頻信號的幀為單位指定的片段執行智能渲染編輯，包括確定裝置，用於確定在輸入的編碼視頻信號中是否已經採取了 EPB問題出現防止對策；智能渲染編輯裝置，用於解碼和重新編碼以所輸入的編碼視頻信號的幀為單位指定的片段的前端部分和末端部分，以及將所述片段的不包含在所述前端部分或所述末端部分中的中間部分直接輸出而不解碼所述中間部分；以及EPB問題解決裝置，用於檢測表示第一事件或第二事件的EPB問題的出現，所述第一事件中，通過根據重新編碼而重寫編碼視頻信號中的預定參數，新EPB被插入到經過編輯的編碼視頻信號中，所述笫二事件中，編輯之前已經存在的EPB消失，當發生所述第一事件時，刪除預先插入到所述編碼視頻信號中的相應於所述插入的EPB的填充符或預定數據，以及當所述第二事件發生時，將相應於已經消失的EPB的填充符插入所述編碼視頻信號中，其中當通過所述確定裝置確定所輸入的編碼視頻信號中已經採取了 EPB問題出現防止對策時，所述EPB問題解決裝置的處理過程被省略。本發明第一方面的視頻信號處理方法是視頻信號處理設備的視頻信號處理方法，所述視頻信號處理設備對以編碼視頻信號的幀為單位指定的片段執行智能渲染編輯，包括步驟確定所輸入的編碼視頻信號中是否已經採取了 EPB問題出現防止對策；無論是否已經採取所述EPB問題出現防止對策，都執行智能渲染編輯，其中以所輸入的編碼視頻信號的幀為單位指定的片段的前端部分和末端部分被解碼和重新編碼，以及其中沒有包括在所述片段的前端部分或末端部分中的中間部分未經解碼而被直接輸出；以及僅當確定沒有採取EPB問題出現防止對策時，才執行如下問題解決過程檢測表示第一事件或第二事件的EPB問題的出現，所述第一事件中，通過根據所述重新編碼而重寫所述編碼—見頻信號中的預定參數，新EPB被插入到經過編輯的編碼視頻信號中，所述第二事件中，在編輯之前已經存在的EPB消失，當所述第一事件發生時，刪除預先插入所述編碼視頻信號中的相應於所述插入的EPB的填充符或預定數據，以及當所述第二事件發生時，將相應於已經消失的EPB的填充符插入到所述編碼視頻信號中。在本發明的第 一方面，確定在輸入的編碼視頻信號中是否採取了 EPB問題出現防止對策；僅當確定沒有採取EPB問題出現防止對策時，EPB問題的出現表示第一事件，其中通過根據重新編碼重寫編碼視頻信號中的預定參數，新EPB被插入到經過編輯的編碼視頻信號中，或者表示第二事件，其中檢測到編輯之前已經存在的EPB消失；以及當發生第一事件時，預先插入編碼視頻信號中的相應於插入的EPB的填充符或預定數據被刪除。可替換地，當發生第二事件時，執行EPB問題解決進程，其中相應於已經消失的EPB的填充符被插入到編碼視頻信號中。根據本發明的第一方面，可以解決當編碼視頻信號被智能渲染編輯時出現的EPB問題。根據本發明的第二方面，可對視頻信號進行編碼使得當執行智能渲染編輯時不引起EPB問題。 ；


圖l是解釋智能渲染編輯的圖；圖2是解釋EPB問題的圖3是示出本發明所應用的編輯設備的示例結構的方塊圖；圖4是解釋編輯設備所執行的提取處理過程的流程圖；圖5是示出通用個人計算機的示例結構的方塊ii圖6是解釋作為EPB問題出現防止對策的參數比特長度設置過程。
附圖才示^己圖3示出了編輯設備的示例結構，其構成了本發明的一個 實施例。編輯設備10被設計為通過使用智能渲染編輯從前一級輸入 的根據H.264/AVC方案編碼的編碼視頻信號(也描述為H.264/AVC 流)中提取以幀為單位的任意指定片段。
0033編輯設備10由下述構成操作輸入單元ll,其輸入用戶 的操作以指定提取片段；控制單元12，其控制編輯設備10的各個單 元；切換單元13，其在H.264/AVC流中將包括位於提取片段前端的 幀的GOP和包括位於提取片段末端的幀的GOP輸出到重新渲染路 徑，並且提取片段中的不被重新編碼的中間部分輸出到智能渲染路 徑；解碼器14，其解碼通過重新渲染路徑的H.264/AVC流輸入；編 碼器15,其再次對包含在作為解碼的結果而獲得的視頻信號的提取片 段中的畫面進行編碼；和重寫單元16，其根據智能渲染編輯來重寫重 新編碼部分和中間部分中的預定參數，以將所述結果輸出至後續級。
0034注意到編輯設備10的輸入被認為包括，採取了應對實行 智能渲染編輯時出現的EPB問題的對策(此後稱為EPB問題出現防 止對策，其詳細信息將在下面描述)的H.264/AVC流，以及沒有採 取EPB問題出現防止對策的H.264/AVC流。假設採取了 EPB問題出 現防止對策的H.264/AVC流中嵌入有表示該事實的智能渲染指示符。 [0035需要在重寫單元16中重寫的參數包括至少如下三種參數 cpb—removal—delay@ Picture Timing (畫面時序)SEI (此後稱 作參數PI)
12frame_num@ Slice header (片段首部)(此後稱作參數P2 ) pic—order cnt_lsb@ Slice header (it匕後稱作參數P3 )0036上述參數PI至P3的比特長度分別由參數Pl，至P3，指定
如下
參數Pl， cpb_removal_delay—length—minusl@HRD參數
參數P2， log2_max_frame—num_mimis4@ Sequence parameter set (序列參數設置)
參數 P3， log2—max—pic_order_cnt—lsb—minus4@ Sequence parameter set (序歹'J參數設置)注意，開始該處理之前，假設用戶已經使用操作輸入單元 11指定了將從順序H.264/AVC流中提取的片段，並且已經將該操作 的信息通知所述控制單元12。[0042j在步驟Sl,切換單元13根據控制單元12的控制來檢測嵌入在前一級輸入的H.264/AVC流中的智能渲染指示符，以確定是否已經採取了 EPB問題出現防止對策。如果確定已經釆取了 EPB問題出現防止對策，則處理繼續到步驟S2，其中執行智能渲染編輯。連續地執行智能渲染編輯，直到在步驟S3確定編輯處理結束為止。然後，從前一級輸入的H.264/AVC流中的中間部分(其跟隨著GOP輸出到重新渲染路徑)通過智能渲染路徑被輸出至重寫單元16。儘管使用重寫單元16將預定參數以類似於重新編碼部分的方式重寫，但是因為將被重寫的參數的比特長度受到EPB問題出現防止對策的限制，所以不會出現EPB問題。隨後，跟隨中間部分通過智能渲染路徑輸出的GOP通過重新渲染路徑輸出至解碼器14，並且被解碼器14解碼。作為解碼結果而獲得的視頻信號被輸出至編碼器15。包含在作為解碼結果而獲得的視頻信號的提取片段中的幀被編碼器15提取和再次編碼。結果被輸出至重寫單元16，並且由重寫單元16重寫預定參數。注意，由於將要重寫的參數的比特長度受到EPB問題出現防止對策的限制，所以不會出現EPB問題。因此，智能渲染編輯被執行而不會導致EPB問題。在步驟S6，重寫單元16確定是否由於在智能渲染編輯處 理過程中重寫參數而出現EPB問題。如果確認沒有出現EPB問題， 則處理返回步驟S4並且重複後續處理。如果在步驟S6確定出現了 EPB問題，則處理進行至步驟S7。注意，如果在步驟S8確定H.264/AVC流中沒有相應於至 少所述插入的EPB的可刪除填充符，或者如果在步驟S10確定相應 於所述刪除的EPB的填充符無法插入H.264/AVC流中，則不可能解 決所出現的EPB問題。因此，當前正在處理的智能渲染編輯被放棄， 並且處理進行至步驟S12。在步驟S12，當前正在處理的智能渲染編 輯被停止，並且全部提取片段從切換單元13輸出到重新渲染路徑， 以解碼和重新編碼全部的提取片段。相應的，重新渲染編輯結束。然而，如果在步驟S8還確定在H.264/AVC流中不存在相 應於至少所述插入的EPB的可刪除填充符，只要不破壞標準，可以 通過僅減少插入其中的具有冗餘參數等的EPB來實現智能渲染編輯。[0052這裡，待刪除的冗餘參數的例子可包括具有表示該參數存 在的標誌信息的例子。通過將表示該參數存在的標誌信息從1 (存在) 修改為0 (不存在)，該參數被視作不存在，並且可以類似於填充符 的方式刪除該參數的比特長度。另一個例子為具有指明參數的比特長度的比特長度信息 的例子。通過將某個參數的比特長度信息修改為短值，可以類似於填 充符的方式刪除原始比特長度和變化後的比特長度之間的差。輸入/輸出接口 55連接到下列單元輸入單元56，其包括 例如鍵盤或滑鼠的輸入裝置，用戶通過該輸入裝置輸入操作命令；輸 出單元57,包括諸如CRT (陰極射線管)顯示器或LCD (液晶顯示 器)的顯示器，其上顯示有操作屏幕等；存儲單元58，其存儲程序或 各種數據，例如硬碟驅動器；以及通信單元59，其包括數據機、 LAN(區域網)適配器等，並且通過諸如網際網路的網絡執行通信處理。 輸入/輸出接口 55還進一步連接到驅動器60，其從記錄介質61讀取 和記錄數據，所述記錄介質61可以為例如磁碟(包括軟盤)、光碟 (包括CD-ROM (壓縮盤只讀存儲器)和DVD (數字通用盤))、 磁光碟(包括MD (迷你盤))或半導體存儲器。注意到個人計算機50除了執行設置參數Pl至P3的比特 長度的處理外，還可以根據H.264/AVC方案對視頻信號進行編碼。接下來，將參照圖6的流程圖來解釋設置參數Pl至P3的 比特長度的過程，其通過個人計算機50執行程序而實現。注意到該 處理過程為需要在智能渲染編輯中重寫的每個參數Pl至P3而執行。 此外，在智能渲染編輯中需要重寫的參數不限於上述的參數Pl至P3。 下面將在參數Pl ( cpb_removaI—delay@ Picture timing SEI)的上下 文中進行描述。在步驟S21， CPU 51執行的程序集中在H.264/AVC編碼 視頻信號的數據串中的參數Pl，並且指定緊接在參數Pl之前的位置， 在該位置已經建立了字節對準(byte alignment)。並且，在所有參數P1至P3的比特長度已經設定的情況下， 設定的比特長度反映在編碼視頻信號包含的參數Pl，至P3，中。指示已 經採取了 EPB問題出現防止對策的智能渲染指示符被進一步嵌入在 編碼視頻信號中。注意到，例如，指明參數P1至P3的比特長度的參數P1， 至P3，分別具有下述值
參數Pl， cpbremoval—delay—length—minusl=15 : dpb—output_delay」ength_mumisl=5
參數P2， log2—max—frame—num—minus4=0
參數P3， log2—max_pic_order_cnt—lsb_minus4=0如上面解釋的那樣，根據參數比特長度設置處理，可設定 參數P1至P3的比特長度，使得無論它們變化到什麼值，都不會出現 EPB問題。本說明書中，基於程序所執行的步驟包括以這裡描述的次 序順序執行的處理過程，並且還包括並行或單獨執行的處理過程，而 不必是順序的。
[0075注意到本發明的實施例不限於上述實施例，並且在不脫離 本發明範圍的情況下可進行各種修改。
19
權利要求
1. 一種視頻信號處理設備，其對以編碼視頻信號的幀為單位指定的片段進行智能渲染編輯，包括確定裝置，用於確定在輸入的編碼視頻信號中是否已經採取了EPB(競爭阻止字節)問題出現防止對策；智能渲染編輯裝置，用於解碼和重新編碼以所輸入的編碼視頻信號的幀為單位指定的所述片段的前端部分和末端部分，以及將所述片段的未包含在所述前端部分或所述末端部分中的中間部分直接輸出而不解碼所述中間部分；以及EPB問題解決裝置，用於檢測表示第一事件或第二事件的EPB問題的出現，所述第一事件中，通過根據重新編碼而重寫編碼視頻信號中的預定參數，新EPB被插入到經過編輯的視頻信號中，所述第二事件中，編輯之前已經存在的EPB消失，當發生所述第一事件時，刪除預先插入到所述編碼視頻信號中的相應於所述插入的EPB的填充符或預定數據，以及當所述第二事件發生時，將相應於已經消失的EPB的填充符插入所述編碼視頻信號中，其中當通過所述確定裝置確定所輸入的編碼視頻信號中已經採取了EPB問題出現防止對策時，所述EPB問題解決裝置的處理過程被省略。
2. 根據權利要求1的視頻信號處理設備，其中所述確定裝置基 於表示是否已經採取了 EPB問題出現防止對策的信息來確定是否已 經採取了 EPB問題出現防止對策，所述信息包含在所輸入的編碼視 頻信號中。
3. 根據權利要求1的視頻信號處理設備，其中所述EPB問題出 現防止對策包括對所述預定參數的比特長度限制。
4. 一種對以編碼視頻信號的幀為單位指定的片段執行智能渲染 編輯的視頻信號處理設備的視頻信號處理方法，包括步驟確定所輸入的編碼視頻信號中是否已經採取了 EPB (竟爭阻止字節)問題出現防止對策；無論是否已經採取所述EPB問題出現防止對策，執行智能渲染 編輯，其中以所輸入的編碼視頻信號的幀為單位指定的所述片段的前 端部分和末端部分被解碼和重新編碼，以及其中未包含在所述片段的 前端部分或末端部分中的中間部分未經解碼而被直接輸出；以及僅當確定沒有採取EPB問題出現防止對策時，執行如下EPB問 題解決過程檢測表示第一事件或第二事件的EPB問題的出現，所 述第一事件中，通過根據所述重新編碼而重寫所述編碼視頻信號中的 預定參數，新EPB被插入到經過編輯的編碼視頻信號中，所述第二 事件中，在編輯之前已經存在的EPB消失，當所述第一事件發生時， 刪除預先插入所述編碼視頻信號中的相應於所述插入的EPB的填充 符或預定數據，以及當所述第二事件發生時，將相應於已經消失的 EPB的填充符插入到所述編碼視頻信號中。
5. —種用於控制視頻信號處理設備的程序，所述視頻信號處理 設備執行以編碼視頻信號的幀為單位而指定的片段的智能渲染編輯， 所述程序使計算機執行包括下列步驟的處理確定所輸入的編碼視頻信號中是否已經採取了 EPB (竟爭阻止 字節)問題出現防止對策；無論是否已經採取所述EPB問題出現防止對策，執行智能渲染 編輯，其中以所輸入的編碼視頻信號的幀為單位而指定的所述片段的 前端部分和末端部分被解碼和重新編碼，以及其中未包含在所述片段 的前端部分或末端部分中的中間部分未經解碼而被直接輸出；以及僅當確定沒有採取EPB問題出現防止對策時，執行如下EPB問 題解決過程檢測表示第一事件或第二事件的EPB問題的出現，所 述第 一事件中，通過根據所述重新編碼而重寫所述編碼視頻信號中的 預定參數，新EPB被插入到經過編輯的編碼視頻信號中，所述第二 事件中，在編輯之前已經存在的EPB消失，當所述第一事件發生時， 刪除預先插入所述編碼視頻信號中的相應於所述插入的EPB的填充 符或預定數據，以及當所述第二事件發生時，將相應於已經消失的EPB的填充符插入到所述編碼視頻信號中。
6. —種視頻信號編碼設備，其根據預定編碼方案對視頻信號進 行編碼，包括設置裝置，用於設置包含在作為編碼結果而獲得的編碼視頻信號 中的預定參數的比特長度在小於所述預定編碼方案所允許的範圍內， 作為智能渲染編輯中的EPB (竟爭阻止字節)問題出現防止對策；以 及編碼裝置，用於根據所述設置的結果而編碼所述視頻信號，以及 在作為編碼結果而獲得的所述編碼視頻信號中包括表示所述預定參數的比特長度受到限制的信息。
7. 根據權利要求6的視頻信號編碼設備，其中所述設置裝置模 擬緊接在所述編碼視頻信號中所述預定參數之前的數據序列，並且設 置所述預定參數的比特長度，使得無論所述預定參數被設置為何值都 不會出現其中將要插入EPB的數據序列。
8. —種視頻信號編碼設備的視頻信號編碼方法，其根據預定編 碼方案對視頻信號進行編碼，包括步驟設置包含在作為編碼結果而獲得的編碼視頻信號中的預定參數 的比特長度在小於所述預定編碼方案所允許的範圍內，作為智能渲染 編輯中的EPB (竟爭阻止字節)問題出現防止對策；以及根據所述設置的結果而編碼所述視頻信號，並且在作為編碼結果 而獲得的所述編碼視頻信號中包括表示所述預定參數的比特長度受 到限制的信息。
9. 一種用於控制根據預定編碼方案對視頻信號進行編碼的視頻 信號編碼設備的程序，所述程序使計算機執行包括下列步驟的處理設置包含在作為編碼結果而獲得的編碼視頻信號中的預定參數 的比特長度在小於預定編碼方案所允許的範圍內，作為智能渲染編輯 中的EPB (竟爭阻止字節)問題出現防止對策；以及根據所述設置的結果而編碼所述視頻信號，並且在作為編碼結果 而獲得的所述編碼視頻信號中包括表示所述預定參數的比特長度受到限制的信息。
全文摘要
本發明涉及視頻信號處理設備和視頻信號處理方法、視頻信號編碼設備和視頻信號編碼方法以及程序，其當編碼視頻信號被智能渲染編輯時可解決有關的EPB問題。在提取處理過程中，如果H.264/AVC流中已經採取了EPB問題出現防止對策，則執行智能渲染編輯而不監視EPB問題的出現。如果沒有採取所述對策，則在執行智能渲染編輯的同時還監視EPB問題的出現。並且，當發生插入EPB的EPB問題時，相應於所插入的EPB的填充符或預定參數被刪除。當發生刪除EPB的EPB問題時，相應於被刪除的EPB的填充符被插入。本發明可應用於使用H.264/AVC方案處理視頻信號的裝置。
文檔編號H04N5/91GK101485200SQ200780025668
公開日2009年7月15日 申請日期2007年7月13日 優先權日2006年7月13日
發明者北村卓也, 江島公志, 智 隈, 鹿島浩司 申請人:索尼株式會社