一種用於視頻傳輸差錯控制的視頻編碼方法及裝置的製作方法

2023-09-22 20:23:30 2

專利名稱：一種用於視頻傳輸差錯控制的視頻編碼方法及裝置的製作方法
技術領域：
本發明涉及圖像信息傳輸和處理領域，尤其涉及一種用於視頻傳輸差錯控 制的視頻編碼方法及裝置。
背景技術：
當視頻信息通過網際網路(Internet)和無線行動網路等低速不可靠網絡進行 實時傳輸時，需要採用基於運動補償的混合編碼提高壓縮率以克服帶寬限制， 但該視頻編碼方法對傳輸差錯特別敏感，視頻差錯會由於運動預測而擴散，從 而導致視頻質量迅速下降，甚至導致視頻傳輸失敗。為了防止視頻差錯在時域 和空域上擴散，需要對該視頻差錯進行差錯冗餘編碼，其雖然在一定程度上降 低了編碼效率，但同時提高了視頻差錯恢復性能。
目前，差錯冗餘編碼方法主要包括參考幀選擇和幀內編碼模式更新(簡稱 幀內更新)。參考幀選擇方法包括編碼器是根據反饋信號來確定當前編碼幀 的參考幀，可選擇已被解碼器正確接收的較早的幀作為參考幀，以便阻止差錯 擴散。幀內更新，則是對無差錯算法中採用幀間編碼的宏塊強制進行幀內編碼 模式，以阻止差錯擴散。現有宏塊選取方法主要有輪流更新方法、隨機更新方 法和率失真估計更新方法等，所述方法在一定程度上阻止了視頻差錯的嚴重擴 散，但由於每幀更新的宏塊有限，視頻差錯在整個視頻序列中依然存在，無法 完全阻止該視頻差錯。
圖1是現有技術的視頻編碼方式對傳輸差錯的處理示意圖，其是將參考幀 選擇方法與率失真估計幀內更新方法相結合。該參考幀可通過參考t時刻的I 幀來進行選擇和/或預測的。所述視頻編碼方法差錯控制效果比單一採用參考 幀選擇或幀內更新方法的差錯控制效果好，但在往返時延之內的差錯控制即圖 1中的t+i時刻和t+n時刻之間的解碼錯誤間隔內的差錯控制，完全依靠率失 真估計， 一旦該期望的估計不準確，就會導致視頻差錯的擴散，尤其是當往返 時延增加時，視頻差錯的擴散也會隨之增大，並且在高誤碼率、長時延的情況下，該參考幀選擇方法會產生大量無效的參考幀從而使得編碼效率大大降低， 視頻差錯的擴散非常嚴重。
綜上可知，現有用於視頻傳輸差錯控制的視頻編碼技術上顯然存在不便與 缺陷，所以有必要加以改進。

發明內容
針對上述的缺陷，本發明所要解決的技術問題是提供一種用於視頻傳輸差 錯控制的視頻編碼方法與裝置，在差錯傳輸情況下其具有更高的編碼效率，並 且能夠有效地減小或阻止視頻傳輸差錯擴散，進而提高視頻傳輸的質量。
為了實現上述目的，本發明提供一種用於視頻傳輸差錯控制的視頻編碼方 法，包括以下步驟
A、 在視頻序列中插入若干核心幀；
B、 在相鄰兩個所述核心幀之間插入若干關鍵幀；
C、 對所述核心幀、關鍵幀以及視頻序列中除核心幀和關鍵幀之外的普通 幀分別進行編碼。
根據本發明的方法，所述步驟A中還包括對所述視頻序列的第一幀進行 幀內編碼，該幀內編碼幀為特殊的核心幀。
根據本發明的方法，所述步驟A中還包括確定視頻序列中插入核心幀位 置的步驟
根據固定間隔來確定插入核心幀的位置；
根據率失真優化方式來確定插入核心幀的位置；或者
根據解碼端的反饋信息來確定插入核心幀的位置。
根據本發明的方法，所述步驟B中還包括確定視頻序列中插入關鍵幀位 置的步驟
根據固定間隔來確定插入關鍵幀的位置；或者 根據隨機間隔來確定插入關鍵幀的位置。
根據本發明的方法，所述步驟C中核心幀根據視頻序列的編碼圖像大小， 選擇參考前一個解碼端正確接收的核心幀，並進行幀間編碼；和/或
選擇參考前一個出錯但已得到掩蓋處理的核心幀，並進行幀間編碼和幀內 編碼模式更新。根據本發明的方法，所述歩驟C中關鍵幀根據視頻序列的編碼圖像大小 和/或信道差錯情況，選擇參考前一個核心幀，並進行幀間編碼；和/或
選擇參考前一個解碼端正確接收的核心幀，並進行幀間編碼；和/或 選擇參考前一個出錯但已得到掩蓋處理的核心幀，並進行幀間編碼和幀內 編碼模式更新。
根據本發明的方法，所述歩驟c中對普通幀進行幀間編碼，並基於率失
真優化進行幀內編碼模式更新。
根據本發明的方法，若所述視頻序列的編碼圖像為小尺寸圖像，在低誤碼 率情況下，所述核心幀選擇參考前一個解碼端正確接收的核心幀進行幀間編
碼，而關鍵幀選擇參考前一個核心幀進行幀間編碼；在高誤碼率的情況下，所 述核心幀和關鍵幀選擇參考前一個解碼端正確接收的核心幀，並進行幀間編 碼。
根據本發明的方法，若所述視頻序列的編碼圖像為大尺寸圖像，在低誤碼 率的情況下，所述關鍵幀選擇前一個核心幀進行幀間編碼，而所述核心幀選擇 參考前一個解碼端正確接收的核心幀進行幀間編碼；或者核心幀選擇參考前一 個出錯但已得到掩蓋處理的核心幀，並進行幀間編碼和幀內編碼模式更新；在 高誤碼率的情況下，所述核心幀和關鍵幀選擇參考前一個解碼端正確接收的核 心幀進行幀間編碼；或者核心幀和關鍵幀選擇參考前一個出錯但已得到掩蓋處 理的核心幀，並進行幀間編碼和幀內編碼模式更新。
根據本發明的方法，所述核心幀或關鍵幀的幀內編碼模式更新處理過程 是將核心幀或關鍵幀中出錯區域採用編/解碼端默認的掩蓋方法掩蓋，然後 進行幀內/幀間模式選擇，將當前待編碼的核心幀或關鍵幀中的部分宏塊更新 為幀內編碼模式。
為了更好地實現上述目的，本發明還提供一種用於視頻傳輸差錯控制的視 頻編碼裝置，包括
幀插入單元，用於在在視頻序列中插入若干核心幀，並在相鄰兩個所述核 心幀之間插入若干關鍵幀；
編碼單元，用於對所述核心幀、關鍵幀以及視頻序列中除核心幀和關鍵幀 之外的普通幀分別進行編碼。
本發明通過在視頻序列中插入若干核心幀和關鍵幀，並對核心幀、關鍵幀以及普通幀分別進行編碼，其有效結合了參考幀選擇和幀內更新的編碼方法， 在不明顯降低視頻編碼效率的基礎上，實現視頻傳輸差錯控制，並且提高了在 差錯傳輸情況下的編碼效率，有效地減小或阻止視頻傳輸差錯擴散，進而提高 了視頻傳輸的質量。


圖1是現有技術的視頻編碼方式對傳輸差錯的處理示意圖2是本發明提供的用於視頻傳輸差錯控制的視頻編碼裝置模塊圖3是本發明提供的用於視頻傳輸差錯控制的視頻編碼方法流程圖4是本發明第一實施例提供的視頻編碼方法的流程圖5是本發明第二實施例的參考幀選擇示意圖6是本發明第三實施例的參考幀選擇示意圖7是本發明第四實施例的參考幀選擇示意圖8是本發明第五實施例的參考幀選擇示意圖9a 9f是圖1以及圖5 8的圖例。
具體實施例方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實 施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅 僅用以解釋本發明，並不用於限定本發明。
本發明提供的用於視頻傳輸差錯控制的視頻編碼裝置20，如圖2所示，
包括
幀插入單元21，用於在視頻序列中插入若干核心幀，並在相鄰兩個所述
核心幀之間插入若干關鍵幀；
編碼單元22，用於對所述核心幀、關鍵幀以及視頻序列中除核心幀和關
鍵幀之外的普通幀分別進行編碼。
圖3示出了本發明提供的用於視頻傳輸差錯控制的視頻編碼方法，至少包 括如下步驟-
步驟S301，在視頻序列中插入若干核心幀。
步驟S302，在相鄰兩個所述核心幀之間插入若干關鍵幀。
7歩驟S303，對所述核心幀、關鍵幀以及視頻序列中除核心幀和關鍵幀之 外的普通幀分別進行編碼。
對核心幀的編碼處理包括根據視頻序列的編碼圖像大小，選擇參考前一 個解碼端正確接收的核心幀，並進行幀間編碼；和/或選擇參考前一個出錯但 已得到掩蓋處理的核心幀，並進行幀間編碼和幀內編碼模式更新(簡稱幀內更 新)。
對關鍵幀的編碼處理包括根據視頻序列的編碼圖像大小和/或信道差錯 情況，選擇參考前一個核心幀，並進行幀間編碼；選擇參考前一個解碼端正確 接收的核心幀，並進行幀間編碼；和/或選擇參考前一個出錯但已得到掩蓋處 理的核心幀，並進行幀間編碼和幀內更新。
對普通幀進行幀間編碼，並基於率失真優化進行幀內更新。
本發明提供的用於視頻傳輸差錯控制的視頻編碼方法的第一實施例，如圖 4所示，具體包括如下步驟
步驟S401，對視頻序列的第1幀進行幀內編碼。該幀內編碼幀可以獨立 解碼，並且其視為特殊的核心幀。
步驟S402，確定視頻序列中插入核心幀的位置。
核心幀的插入位置有多種方式
可以根據固定間隔來確定插入核心幀的位置。例如，通信系統往返延時為
600ms,且視頻編碼的幀速率為10幀/秒，則確定核心幀的固定間隔為6個幀 間隔，6=0.6秒X 10幀/秒。
可以根據率失真優化方式來確定插入核心幀的位置。
可以根據解碼端的反饋信息來確定插入核心幀的位置。所述解碼端一般是 指解碼器，該解碼器在接收到核心幀時刻向編碼端發回反饋信息，該編碼端一
般是指編碼器，並通知編碼器當前收到的核心幀中每個宏塊數據的接收情況
正確收到、出錯或丟失。
本歩驟確定核心幀插入位置後，則將所述核心幀插入視頻序列中。
步驟S403，在相鄰兩個核心幀之間確定插入關鍵幀的位置。 可以在兩個核心幀之間插入多個關鍵幀，若差錯擴散距離要求越短，則插 入的關鍵幀就越多。該核心幀的插入位置有多種選擇方法
可以根據固定間隔來確定插入關鍵幀的位置。本發明的一個實施方式，關
8鍵幀的固定間隔為3個幀間隔以適應差錯擴散要求。 可以根據隨機間隔來確定插入關鍵幀的位置。
本步驟確定關鍵幀插入位置後，則將所述關鍵幀插入視頻序列中。
步驟S404,對視頻序列中的普通幀進行編碼。
所述普通幀為視頻序列中，除核心幀和關鍵幀外的視頻幀，其採用幀間編 碼方式，其常見的方法是參考前向一幀，並進行幀內更新。所述普通幀的幀內 更新，是指編碼器根據誤碼率和差錯掩蓋策略，估計視頻幀各個宏塊從編碼器 到解碼器的傳輸失真度，然後根據率失真優化方法進行宏塊幀內更新。
步驟S405 ，對視頻序列中的關鍵幀進行編碼。
關鍵幀採用的是幀間編碼方式進行編碼，其參考的幀只能是當前編碼幀之 前的I幀和/或當前編碼幀之前的核心幀，具體而言，包括
根據編碼圖像大小和/或信道差錯情況，選擇參考前一個核心幀，並進行 幀間編碼；和/或選擇前一個解碼端正確接收的核心幀進行幀間編碼；和/或選 擇前一個出錯但己得到掩蓋處理的核心幀進行編碼，同時進行幀內更新。
所述幀內更新處理包括若參考的核心幀出錯，將該幀中出錯區域進行編
/解碼器默認的掩蓋方法進行掩蓋，例如用一個固定數值進行掩蓋，由此在進 行運動補償時所參考的幀出錯的內容是已知的約定值，然後利用編碼器進行幀 內/幀間編碼模式選擇，將當前待編碼的關鍵幀中的運動補償區域出錯的宏塊 更新為幀內編碼模式，從而阻止傳輸差錯從關鍵幀外擴散。 步驟S406，對視頻序列中的核心幀進行編碼。
核心幀採用的是幀間編碼方式進行編碼，其參考的幀只能是當前編碼幀之 前的I幀和/或當前編碼幀之前的核心幀，具體而言，包括根據編碼圖像大小， 選擇參考前一個解碼端正確接收的核心幀，並進行幀間編碼；和/或選擇參考 前一個出錯但已得到掩蓋處理的核心幀進行幀間編碼並進行幀內更新。
所述幀內更新處理包括若參考的核心幀出錯，將該幀中出錯區域進行編
/解碼器默認的掩蓋方法進行掩蓋，例如用一個固定數值進行掩蓋，由此在進 行運動補償時所參考的幀出錯的內容是已知的約定值，然後利用編碼器進行幀 內/幀間編碼模式選擇，將當前待編碼的核心幀中的運動補償區域出錯的部分 宏塊更新為幀內編碼模式，從而阻止傳輸差錯從核心幀外擴散。
另外，本發明根據不同的誤碼環境和不同的圖像大小提出了四種不同的編碼預測結構，並結合這些編碼預測結構給出了編碼模式優化選擇方法，具體描 述如下。
圖5示出了對於小尺寸圖像在低誤碼率情況下，本發明所提供的參考幀選 擇方案，核心幀選擇參考前一個解碼端正確接收的核心幀並進行幀間編碼，而 關鍵幀選擇參考前一個核心幀並進行幀間編碼。
另外，圖9是本發明的各圖例，其圖例解釋如下圖9a代表I幀，圖9b 代表核心幀，圖9c代表關鍵幀，圖9d代表普通幀，圖9e代表出現傳輸錯誤， 圖9f代表圖像錯誤恢復。
小尺寸圖像的數據量相對較小，例如次1/4常用的標準化圖像格式 (Sub-quarter Common Intermediate Format, SQCIF) 、 1/4常用的標準化圖像 格式(Quarter common intermediate format, QCIF)等，在數據打包的時候可 以用較少數目的包(如1 3個)完成數據封裝，在低誤碼率(如丟包率小於 5%)網絡環境下，視頻序列一幀出錯的概率較小。
編碼器對視頻序列進行實時編碼，得到編碼視頻碼流，如圖5中上半部分 所示；然後將編碼視頻碼流傳送到解碼器進行解碼，如圖5中下半部分所示。
由於編碼器或者信道傳輸過程中存在一定的時間延時，解碼器接收到編碼 視頻碼流的時刻與真實的視頻序列存在一定的時間差。同理，由於解碼器和/ 或反饋信道傳輸過程存在一定的時間延時，解碼器將當前圖像解碼信息反饋至 編碼器也存在一定的時間延時。在圖5中假設編碼器對視頻序列進行編碼後， 經過信道傳輸，被解碼器接收並解碼，然後將解碼狀況反饋至編碼器所需的時 間在6個單位時間以內。即f時刻編碼的圖像幀被解碼器接收後，在f+6時刻 之前編碼器可以得到解碼器的反饋信息。
用I (f)表示f時刻用幀內編碼方式編碼的幀，用P (f)表示f時刻用普 通幀方式進行幀間編碼的幀，用C (f)表示f時刻用核心幀方式進行幀間編 碼的幀，用K (0表示/時刻用關鍵幀方式進行幀間編碼的幀。解碼器端將 核心幀的解碼狀態通過反饋信道傳送給編碼器，ACK表示該圖像幀能夠正確 解碼，NACK表示該圖像幀不能正確解碼，並將錯誤的宏塊位置反饋給編碼器。 如圖5中I G) 、 P (什6) 、 P 、 P (汁24)等能夠正確解碼的圖像幀
通過ACK反饋至編碼器，而不能正確解碼的P (f+12)圖像幀通過NACK反 饋至編碼器。在f時刻，編碼器對視頻序列的當前幀(即該視頻序列的第1幀)進行幀 內編碼，記為I (0 ，其視為特殊的核心幀。
根據通信系統往返延時為6的假定，確定核心幀間隔為6;根據差錯擴散 要求，假定關鍵幀間隔為3。
在t+l、 t+2 、 t+4、 t+5時刻，編碼器對當前圖像採取以前一幀作為參考 幀，並按照普通幀方式進行幀間編碼，記為P (fH) 、 P (什2) 、 P (f+4)、 P (汁5)。通過計算圖像幀中每個宏塊在丟包率、差錯擴散距離以及量化失真 等條件下採用幀內/幀間編碼的代價值，確定其編碼模式是採用幀間編碼，還 是幀內更新。後續普通P幀的幀內更新方式與此相同。
在t+3時刻，對當前圖像按照關鍵幀方式進行編碼，即編碼器對當前圖像 採取以最近核心幀作為參考幀的幀間編碼方式編碼，即以I ( )作為參考幀進 行編碼，記為K (汁3)。
在/+6時刻，編碼器已經接收到解碼器反饋的I W正確解碼ACK信息， 對當前圖像採取核心幀方式進行編碼，即以I (f)作為參考幀進行編碼，記為 C (H~6)。
在t+7、 t+8 、 t+10、 t+ll時刻，編碼器對當前圖像採取以前一幀作為參 考幀，並按照普通幀方式進行幀間編碼，記為P (汁7) 、 P (汁8) 、 P (汁IO)、 P (什ll)。
在t+9時刻，按照關鍵幀方式進行編碼，編碼器對當前圖像採取以最近核 心幀C (H"6)作為參考幀的幀間編碼方式編碼，記為K (什9)。
在f+12時刻，編碼器已經接收到解碼器反饋的C (汁6)正確解碼ACK 信息，對當前圖像採取核心幀方式進行編碼，即以C (什6)作為參考幀進行 編碼，記為C (,+ 12)。
在t+13、 t+14 、 t+16、 t+17時刻，編碼器對當前圖像採取以前一幀作為 參考幀，並按照普通幀方式進行幀間編碼，記為P (汁13) 、 P (汁14) 、 P (〖+16)、 P G+17)。
在t+15時刻，編碼器對當前圖像採取以最近核心幀C (f+12)作為參考 幀的關鍵幀幀間編碼方式編碼，記為K (H45)。
在f+18時刻，編碼器沒有接收到解碼器反饋的C (汁12)正確解碼ACK 信息，但是按照對當前核心幀圖像採取正確核心幀作為參考的方式進行編碼。
ii所以即以前面正確接收的核心幀C (汁6)作為參考幀進行編碼，記為C (f+ 18)。此時，解碼圖像出錯的為C G+12) 、 P (汁13) 、 P (什14) 、 K (f+15)、 P (什16) 、 P G+17)。
後面時刻的編碼方法與前面類似，在此不再重複。
圖6示出了對於小尺寸圖像在高誤碼率情況下，本發明所提供的參考幀選 擇方案。本方案中核心幀和關鍵幀選擇參考前一個解碼端正確接收的核心幀並
進行幀間編碼，其具體過程如下
根據通信系統往返延時為6的假定，確定核心幀間隔為6;根據差錯擴散
要求，假定關鍵幀間隔為3。
用I ("表示/時刻用幀內編碼方式編碼的幀，用p ( )表示f時刻用普
通幀方式進行幀間編碼的幀，用C U)表示f時刻用核心幀方式進行幀間編 碼的幀，用K (/)表示,時刻用關鍵幀方式進行幀間編碼的幀。解碼器端將 核心幀的解碼狀態通過反饋信道傳送給編碼器，ACK表示該圖像幀能夠正確 解碼，NACK表示該圖像幀不能正確解碼，並將錯誤的宏塊位置反饋給編碼器。 如圖6中I (f) 、 P (f+6) 、 P G+18) 、 P (f+24)等能夠正確解碼的圖像幀 通過ACK反饋至編碼器，而不能正確解碼的P (什12)圖像幀通過NACK反 饋至編碼器。
在^時刻，編碼器對視頻序列的當前幀用幀內編碼方式編碼，記為I U)。
在t+l、 t+2 、 t+4、 t+5時刻，編碼器對當前圖像採取以前一幀作為參考 幀，採用普通幀的方式進行幀間編碼，記為P (什1) 、 P (/+2) 、 P (汁4)、 P (汁5)。通過計算圖像幀中每個宏塊在丟包率、差錯擴散距離以及量化失真 等條件下採用幀內/幀間編碼的代價值，確定其編碼模式是採用幀間編碼，還 是幀內更新。後續普通P幀的幀內更新方式與此相同。
在t+3時刻，對當前圖像按照關鍵幀方式進行編碼，即編碼器對當前圖像 採取以最近核心幀作為參考幀的幀間編碼方式編碼，即以I (/)作為參考幀進 行編碼，記為K (什3)。
在H"6時刻，編碼器已經接收到解碼器反饋的I (/)正確解碼ACK信息， 對當前圖像採取核心幀方式進行編碼，即以I G)作為參考幀進行編碼，記為 C (f+6)。
在t+7、 t+8 、 t+10、 t+ll時刻，編碼器對當前圖像採取以前一幀作為參考幀，並按照普通幀方式進行幀間編碼，記為P (汁7) 、 P (什8) 、 P (f+10)、 P (汁ll)。在t+9時刻，按照關鍵幀方式進行編碼，編碼器對當前圖像採取以前一個 解碼端正確接收的核心幀I (t)作為參考幀進行幀間編碼，記為K (什9)。在H"12時刻，編碼器已經接收到解碼器反饋的C (汁6)正確解碼ACK 信息，對當前圖像採取核心幀方式進行編碼，即以C (什6)作為參考幀進行 編碼，記為C G+12)。在t+13、 t+14 、 t+16、 t+17時刻，編碼器對當前圖像採取以前一幀作為 參考幀，並按照普通幀方式進行幀間編碼，記為P(什13) 、P(汁14) 、 PG+16)、 P (汁17)。在t+15時刻，按照關鍵幀方式進行編碼，編碼器對當前圖像採取以採取 以前一個解碼端正確接收的核心幀C U+6)作為參考幀進行幀間編碼，記為 K (f+15)。在f+18時刻，編碼器沒有接收到解碼器反饋的C (什12)正確解碼ACK 信息，但是按照對當前核心幀圖像採取正確核心幀作為參考的方式進行編碼。 所以即以前面正確接收的核心幀C (什6)作為參考幀進行編碼，記為C 18)。此時，解碼圖像出錯的為C U+12) 、 P (什13) 、 P (什14)。在f+21時刻，編碼器對當前圖像採取以採取以前一個解碼端正確接收的 核心幀C G+6)作為參考幀的關鍵幀幀間編碼方式編碼，記為K U+21)。後面時刻的編碼方法與前面類似，在此不再重複。圖7示出了對於大尺寸圖像在低誤碼率情況下，本發明所提供的參考幀選 擇方案。所述關鍵幀選擇前一個核心幀進行幀間編碼，而所述核心幀選擇參考 前一個得到反饋信息的核心幀進行編碼，該得到反饋信息的核心幀可以是前一 個解碼端正確接收的核心幀；或者是前一個出錯但已得到掩蓋處理的核心幀， 此時需要進行幀內更新。對於大尺寸圖像，如CIF、 4CIF等的數據量相對較大，在數據打包的時候 需要用較多數目的包(如6 8個)完成數據封裝，其在高誤碼率(如丟包率 大於10%)網絡環境下，視頻序列每一幀出錯的概率都很大，很難保證一個不 出錯的完整核心幀。根據通信系統往返延時為6的假定，確定核心幀間隔為6;根據差錯擴散要求，假定關鍵幀間隔為3。用I ("表示f時刻用幀內編碼方式編碼的幀，用P (f)表示^時刻用普 通幀方式進行幀間編碼的幀，用C (f)表示f時刻用核心幀方式進行幀間編碼的幀，用K (r)表示z時刻用關鍵幀方式進行幀間編碼的幀。解碼器端將 核心幀的解碼狀態通過反饋信道傳送給編碼器，ACK表示該圖像幀能夠正確 解碼，NACK表示該圖像幀不能正確解碼，並將錯誤的宏塊位置反饋給編碼器。 如圖7中I (/) 、 P (/+6) 、 P (,+ 18) 、 P (什24)等能夠正確解碼的圖像幀 通過ACK反饋至編碼器，而不能正確解碼的P (汁12)圖像幀通過NACK反 饋至編碼器。在/時刻，編碼器對視頻序列的當前幀用幀內編碼方式編碼，記為I (0 。在t+l、 t+2 、 t+4、 t+5時刻，編碼器對當前圖像採取以前一幀作為參考 幀，並按照普通幀方式進行幀間編碼，記為P (,+l) 、 P (,+2) 、 P (汁4)、 P G+5)。通過計算圖像幀中每個宏塊在丟包率、差錯擴散距離以及量化失真 等條件下採用幀內/幀間編碼的代價值，確定其編碼模式是採用幀間模式，還 是幀內更新。後續普通P幀方式與此相同，不再贅述。在t+3時刻，編碼器對當前圖像採取以前一核心幀I ( )作為參考幀的關 鍵幀幀間編碼方式編碼，記為K (f+3)。在H"6時刻，編碼器已經接收到解碼器反饋的I (0正確解碼ACK信息， 對當前圖像採取核心幀方式進行編碼，即以I (f)作為參考幀進行編碼，記為 C (H"6)。在t+7、 t+8 、 t+10、 t+ll時刻，編碼器對當前圖像採取以前一幀作為參 考幀，並按照普通幀方式進行幀間編碼，記為P (什7) 、 P (汁8) 、 P (汁IO)、 P (汁ll)。在t+9時刻，編碼器對當前圖像採取前一個得到反饋信息的核心幀I (f) 作為參考幀的關鍵幀幀間編碼方式編碼，記為K (什9)。在f+12時刻，編碼器已經接收到解碼器反饋的C (汁6)正確解碼ACK 信息，對當前圖像採取核心幀方式進行編碼，即以C (汁6)作為參考幀進行 編碼，記為C U+12)。在t+13、 t+14 、 t+16、 t+17、 t+19、 t+20時刻，編碼器對當前圖像採取以 前一幀作為參考幀，並按照普通幀方式進行幀間編碼，記為P(汁13)、PG+14)、P G+16) 、 P (,+17) 、 P (什19) 、 P (汁20)。在t+15時刻，編碼器對當前圖像採取以最近核心幀C (H"12)作為參考 幀的關鍵幀幀間編碼方式編碼，記為K U+15)。在t+18時刻，編碼器接收到解碼器反饋的C (汁12)接收出錯NACK信 息，將C (汁12)中出錯的宏塊區域用固定數值(本例用128)來掩蓋，掩蓋 後仍然以這個核心幀C (,+12)為參考對當前圖像採取核心幀方式進行編碼。 由於參考幀C (/+12)內容被改變，當前圖像以它作為參考幀進行編碼模式選 擇時，部分原來幀間編碼模式的宏塊會因預測殘差過大而變為幀內模式，從而 產生幀內更新。當前核心幀記為C(r+18)。此時，解碼圖像出錯的為C(汁12)、 P (f+13) 、 P (ffl4) 、 K (f+15) 、 P (/+16) 、 P (什17)。 後面時刻的編碼方法與前面類似，在此不再重複。 圖8示出了對於大尺寸圖像在高誤碼率情況下，本發明所提供的參考幀 選擇方案。所述核心幀和關鍵幀選擇參考前一個得到反饋信息的核心幀進行編 碼，該得到反饋信息的核心幀可以是前一個解碼端正確接收的核心幀；或者是 前一個出錯但已得到掩蓋處理的核心幀，此時需要進行幀內更新。根據通信系統往返延時為6的假定，確定核心幀間隔為6;根據差錯擴散 要求，假定關鍵幀間隔為3。用I (0表示f時刻用幀內編碼方式編碼的幀，用P (/)表示/時刻用普 通幀方式進行幀間編碼的幀，用C (0表示f時刻用核心幀方式進行幀間編 碼的幀，用K ("表示f時刻用關鍵幀方式進行幀間編碼的幀。解碼器端將 核心幀的解碼狀態通過反饋信道傳送給編碼器，ACK表示該圖像幀能夠正確 解碼，NACK表示該圖像幀不能正確解碼，並將錯誤的宏塊位置反饋給編碼器。 如圖8中I (0 、 P (什6) 、 P U+18) 、 P G+24)等能夠正確解碼的圖像幀 通過ACK反饋至編碼器，而不能正確解碼的P (f+12)圖像幀通過NACK反 饋至編碼器。在f時刻，編碼器對視頻序列的當前幀用幀內編碼方式編碼，記為I(f)。 在t+l、 t+2 、 t+4、 t+5時刻，編碼器對當前圖像採取以前一幀作為參考 幀，並按照普通幀方式進行幀間編碼，記為P (什l) 、 P (/+2) 、 P (&4)、 P (汁5)。計算圖像幀中每個宏塊在丟包率、差錯擴散距離以及量化失真等條 件下採用幀內/幀間編碼的代價值，確定其編碼模式是採用幀間模式，還是幀內更新。後續普通P幀方式與此相同，不再贅述。在t+3時刻，編碼器對當前圖像採取前一核心幀I 作為參考幀的關鍵幀幀間編碼方式編碼，記為K (什3)。在時刻，編碼器已經接收到解碼器反饋的I (0正確解碼ACK信息， 對當前圖像採取核心幀方式進行編碼，即以I (f)作為參考幀進行編碼，記為 C (H"6)。在t+7、 t+8 、 t+10、 t+ll時刻，編碼器對當前圖像採取以前一幀作為參 考幀，並按照普通幀方式進行幀間編碼，記為P (什7) 、 P (,+8) 、 P (/+10)、 P (f+11)。在t+9時刻，編碼器對當前圖像採取前一個得到反饋信息的核心幀I (r) 作為參考幀的關鍵幀幀間編碼方式編碼，記為K (f+9)。在H"12時刻，編碼器已經接收到解碼器反饋的C (什6)正確解碼ACK 信息，對當前圖像採取核心幀方式進行編碼，即以C U+6)作為參考幀進行 編碼，記為C G+12)。在t+13、 t+14 、 t+16、 t+17、 t+19、 t+20時刻，編碼器對當前圖像採取以 前一幀作為參考幀，並按照普通幀方式進行幀間編碼，記為P(汁13)、P(汁14)、 P (汁16) 、 P (汁17) 、 P (什19) 、 P (汁20)。在t+15時刻，編碼器對當前圖像採取前一個得到反饋信息的核心幀C (f +6)作為參考幀的關鍵幀幀間編碼方式編碼，記為K (汁15)。在f+18時刻，編碼器接收到解碼器反饋的C (什12)接收出錯NACK信 息，將C (H"12)中出錯的宏塊區域用固定數值(本例用128)來掩蓋，掩蓋 後仍然以這個核心幀C (什12)為參考對當前圖像採取核心幀方式進行編碼。 由於參考幀C G+12)內容被改變，當前圖像以它作為參考幀進行編碼模式選 擇時，部分原來幀間編碼模式的宏塊會因預測殘差過大而變為幀內模式，從而 產生幀內更新；沒有進行幀內更新的宏塊，也由於傳輸差錯被糾正為已知固定 值，而不會出現差錯的擴散。當前核心幀記為C (H"18)。此時，解碼圖像 出錯的為C (什12) 、 P 、 P (汁14)。在/+21時刻，編碼器對當前關鍵幀按照接收到反饋信息的C (什12)作 為參考幀進行關鍵幀編碼，此刻C (&12)中出錯的宏塊區域已經用固定數值 (本例用128)來掩蓋。當前圖像以它作為參考幀進行編碼模式選擇時，部分原來幀間編碼模式的宏塊會產生幀內更新，沒有進行幀內更新的宏塊，也由於 傳輸差錯被糾正為已知固定值，而不會出現差錯的擴散。當前關鍵幀記為K(f+21)。後面時刻的編碼方法與前面類似，在此不再重複。綜上可知，本發明通過在視頻序列中插入若干核心幀和關鍵幀，並對核心 幀、關鍵幀以及普通幀分別進行編碼，其有效結合了參考幀選擇和幀內更新的 編碼方法，在不明顯降低視頻編碼效率的基礎上，實現視頻傳輸差錯控制，並 且提高了在差錯傳輸情況下的編碼效率，有效地減小或阻止視頻傳輸差錯擴 散，進而提高了視頻傳輸的質量。當然，本發明還可有其它多種實施例，在不背離本發明精神及其實質的情 況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但 這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。
權利要求
1、 一種用於視頻傳輸差錯控制的視頻編碼方法，其特徵在於，包括以下 步驟A、 在視頻序列中插入若干核心幀；B、 在相鄰兩個所述核心幀之間插入若干關鍵幀；C、 對所述核心幀、關鍵幀以及視頻序列中除核心幀和關鍵幀之外的普通 幀分別進行編碼。
2、 根據權利要求1所述的方法，其特徵在於，所述步驟A中還包括對所 述視頻序列的第一幀進行幀內編碼，該幀內編碼幀為特殊的核心幀。
3、 根據權利要求1所述的方法，其特徵在於，所述步驟A中還包括確定視頻序列中插入核心幀位置的步驟根據固定間隔來確定插入核心幀的位置； 根據率失真優化方式來確定插入核心幀的位置；或者 根據解碼端的反饋信息來確定插入核心幀的位置。
4、 根據權利要求1所述的方法，其特徵在於，所述步驟B中還包括確定 視頻序列中插入關鍵幀位置的步驟根據固定間隔來確定插入關鍵幀的位置；或者 根據隨機間隔來確定插入關鍵幀的位置。
5、 根據權利要求1所述的方法，其特徵在於，所述步驟C中核心幀根據 視頻序列的編碼圖像大小，選擇參考前一個解碼端正確接收的核心幀，並進行 幀間編碼；和/或選擇參考前一個出錯但已得到掩蓋處理的核心幀，並進行幀間編碼和幀內 編碼模式更新。
6、 根據權利要求1所述的方法，其特徵在於，所述歩驟C中關鍵幀根據 視頻序列的編碼圖像大小和/或信道差錯情況，選擇參考前一個核心幀，並進 行幀間編碼；和/或選擇參考前一個解碼端正確接收的核心幀，並進行幀間編碼；和/或 選擇參考前一個出錯但己得到掩蓋處理的核心幀，並進行幀間編碼和幀內 編碼模式更新。
7、 根據權利要求l所述的方法，其特徵在於，所述步驟C中對普通幀進行幀間編碼，並基於率失真優化進行幀內編碼模式更新。
8、 根據權利要求1所述的方法，其特徵在於，若所述視頻序列的編碼圖 像為小尺寸圖像，在低誤碼率情況下，所述核心幀選擇參考前一個解碼端正確接收的核心幀進行幀間編碼，而關鍵幀選擇參考前一個核心幀進行幀間編碼； 在高誤碼率的情況下，所述核心幀和關鍵幀選擇參考前一個解碼端正確接收的 核心幀，並進行幀間編碼。
9、 根據權利要求1所述的方法，其特徵在於，若所述視頻序列的編碼圖像為大尺寸圖像，在低誤碼率的情況下，所述關鍵幀選擇前一個核心幀進行幀 間編碼，而所述核心幀選擇參考前一個解碼端正確接收的核心幀進行幀間編 碼；或者核心幀選擇參考前一個出錯但已得到掩蓋處理的核心幀，並進行幀間編碼和幀內編碼模式更新；在高誤碼率的情況下，所述核心幀和關鍵幀選擇參 考前一個解碼端正確接收的核心幀進行幀間編碼；或者核心幀和關鍵幀選擇參 考前一個出錯但已得到掩蓋處理的核心幀，並進行幀間編碼和幀內編碼模式更 新。
10、 根據權利要求5、 6或9所述的方法，其^^徵在於，所述核心幀或關鍵幀的幀內編碼模式更新處理過程是將核心幀或關鍵幀中出錯區域採用編/ 解碼端默認的掩蓋方法掩蓋，然後進行幀內/幀間模式選擇，將當前待編碼的 核心幀或關鍵幀中的部分宏塊更新為幀內編碼模式。
11、 一種實現權利要求1 9任一項所述方法的裝置，其特徵在於，包括 幀插入單元，用於在在視頻序列中插入若干核心幀，並在相鄰兩個所述核心幀之間插入若干關鍵幀；編碼單元，用於對所述核心幀、關鍵幀以及視頻序列中除核心幀和關鍵幀 之外的普通幀分別進行編碼。
全文摘要
本發明公開了一種用於視頻傳輸差錯控制的視頻編碼方法，包括步驟A.在視頻序列中插入若干核心幀；步驟B.在相鄰兩個所述核心幀之間插入若干關鍵幀；步驟C.對所述核心幀、關鍵幀以及視頻序列中除核心幀和關鍵幀之外的普通幀分別進行編碼。本發明還相應提供一種用於視頻傳輸差錯控制的視頻編碼裝置。本發明有效結合了參考幀選擇和幀內更新的編碼方法，在不明顯降低視頻編碼效率的基礎上，實現視頻傳輸差錯控制，並且提高了在差錯傳輸情況下的編碼效率，有效地減小或阻止視頻傳輸差錯擴散，進而提高了視頻傳輸的質量。
文檔編號H04N7/64GK101312536SQ20071009958
公開日2008年11月26日 申請日期2007年5月24日 優先權日2007年5月24日
發明者強 彭, 楊天武, 諸昌鈐, 睿 陳 申請人:中興通訊股份有限公司;西南交通大學