多視編解碼方法及裝置的製作方法

2023-06-03 02:52:06 1

專利名稱：：多視編解碼方法及裝置的製作方法
技術領域：
：本發明涉及編解碼技術，尤其涉及一種多視編解碼技術。
背景技術：
：隨著多媒體通信技術的快速發展，人們不再滿足於傳統的固定視點視覺以及2D(二維)平面視覺，在娛樂、教育、觀光和外科醫學等許多應用領域內出現了對於多視角視頻，自由視點視頻和3D(三維)視頻的需求。為滿足相應需求，可以採用多個攝像機在不同的空間位置以不同的角度同時獲取同一場景的一組視頻信號，該一組視頻信號稱為多視點視頻，之後，便可以對所獲得的一組視頻信號進行壓縮編碼和傳輸，對該組視頻信號進行壓縮編碼的過程則被稱為多視點視頻編碼。在多視點視頻編碼並發送給解碼端的過程中，由於信道擁塞、帶寬變化等原因可能導致某些數據發生丟失或損壞等錯誤，這就使得解碼端在收到相應的編碼數據後無法正確解碼。為了在解碼端可以恢復出發生錯誤的數據，提高多視點視頻編解碼的性能，便需要採用相應的抗誤碼方案。在實現本發明的過程中，發明人發現在現有技術中，還沒有一種可以有效利用幀間信息提高多視點視頻編解碼的性能的抗誤碼方案。
發明內容本發明的實施例提供了一種多視編解碼方法及裝置，使得在多視編解碼過程中，能夠有效利用幀間信息提高編解碼性能。本發明實施例提供了一種多視編碼方法，用於對多個視的視頻圖像進行編碼處理，在對多個視的視頻圖像信息進行編碼並寫入碼流的過程中，還包括將參考幀信息的幀號及視點標識寫入碼流中發送給解碼端。本發明實施例提供了一種多視編碼裝置，包括多視圖像編碼單元，用於對多個視的視頻圖像進行編碼處理，還包括參考幀信息編碼單元，用於將參考幀信息的幀號及^L點標識寫入碼流；發送單元，用於將所述多視圖像編碼單元和所述參考幀信息編碼單元編碼獲得的碼流發送給解碼端。本發明實施例提供了一種多視解碼方法，用於對多個視的視頻圖像進行解碼處理，在對多個視的視頻圖像信息進行解碼的過程中，還包括從接收到的多視點的視頻編碼碼流中，解碼獲得參考幀信息的幀號及視點標識。本發明實施例提供了一種多視解碼方法，用於對多個視的視頻圖像進行解碼處理，在對多個視的視頻圖像信息進行解碼的過程中，還包括從接收到的多視點的視頻編碼碼流中，解碼獲得參考幀信息的幀號及視點標識；根據獲得的所述參考幀信息的幀號及視點標識，確定當前採用的參考幀信息；根據所述的參考幀信息對發生錯誤的當前幀進行恢復處理。本發明實施例提供了一種多視解碼裝置，包括多視圖像解碼單元，用於對多個視的視頻圖像進行解碼處理，還包括碼流接收單元，用於接收包含參考幀信息的幀號及視點標識的碼流；參考幀信息解碼單元，用於從所述碼流接收單元接收到的碼流中解碼獲得參考幀信息的幀號及視點標識。本發明實施例提供了一種多視解碼裝置，包括多視圖像解碼單元，用於對多個視的視頻圖像進行解碼處理，且還包括碼流接收單元，用於接收包含參考幀信息的幀號及視點標識的碼流；參考幀信息解碼單元，用於從所述碼流接收單元接收到的碼流中解碼獲得參考幀信息的幀號及視點標識；參考幀信息確定單元，用於根據所述參考幀信息解碼單元獲得的參考幀信息的幀號及視點標識，確定當前採用的參考幀信息；錯誤恢復單元，用於根據所述參考幀信息確定單元確定的參考幀信息對發生錯誤的當前幀進行恢復處理。由上述本發明的實施例提供的技術方案可以看出，在多視點視頻編解碼過程中，解碼端可以獲知各個幀的視點標識信息，即可以確認各幀所來自的視點，從而使得可以根據所述視點標識信息確定在誤碼恢復過程中可以有效利用的幀間信息，以提高多視點視頻編解碼的性能。圖1為本發明實施例中的多^f見解碼過程示意圖一；圖2為本發明實施例中的多視解碼過程示意圖二；圖3為本發明實施例4是供的裝置的結構示意圖。具體實施例方式本發明實施例中，在對多個視的視頻圖像進行編碼處理過程中，將參考幀信息的幀號及視點標識作為輔助增強信息寫入碼流中發送給解碼端。以使得在對多個視的視頻圖像信息進行解碼的過程中，可以從接收到的多視點的視頻編碼碼流中，解碼獲得參考幀信息的幀號及視點標識。在解碼端解碼獲得所述的參考幀信息的幀號及視點標識後，便可以根據參考幀信息的幀號及視點標識，確定當前採用的參考幀信息；進一步地，則可以根據所述的參考幀信息對發生錯誤的當前幀進行恢復處理。其中，所述的輔助增強信息是指解碼操作中的非必要的信息，即在解碼端收到輔助增強信息後，在不利用該輔助增強信息的情況也可以正常解碼，但是，若能夠有效利用該輔助增強信息，則可以改善解碼的效果，如利用其進行誤碼恢復處理等。本發明實施例中，所述的參考幀信息可以包括重複參考幀標記和/或參考幀，即在針對多視點的視頻編碼技術的解碼端可以有效利用幀間信息進行誤碼的恢復，從而改善解碼端的解碼效果，提高編解碼的性能；例如，可以根據確定的重複參考幀標記對發生錯誤的當前幀進行恢復處理；也可以根據確定已經完成解碼的參考幀對發生錯誤的當前幀進行恢復處理；或者，也可以同時採用上述兩種恢復處理方案。為便於對本發明實施例的理解，下面將結合附圖對本發明實施例的具體實現過程進行說明。(一)基於重複參考幀標記的誤碼恢復實施例在多視頻編解碼處理過程中，採用參考幀標記的作用是標記圖像為長期參考幀、短期參考幀、非參考幀，以使得解碼端可以根據該參考幀標記有效利用參考幀提高編解碼效率。所述的參考幀標記信息是通過碼流傳輸到解碼端的，在碼流傳輸過程中，為了避免因參考幀標記的丟失影響視頻的正確解碼，則可以採用重複參考幀標記的方式，即將某一幀的參考幀標記信息在隨後的碼流中多次重複傳送，以提高解碼端的抗誤碼能力，增強多視點的視頻傳輸性能。在基於多視點編碼對應的解碼端(即解碼器)中，為了能正確利用重複參考幀標記，則需要獲知重複參考幀標記來自於哪一幅圖像，則既需要獲知其時間方向上的信息(即幀號)，以及對應的視點標識(來自於哪一個視)；因此，需要在編碼過程中設置相應的重複參考幀標記的視點標識和巾貞號等信息，具體實現方式如表1和表2所示表itableseeoriginaldocumentpage8表2tableseeoriginaldocumentpage8通過上述表1和表2中可以看出，若採用多視點編碼，則需要在碼流中編碼重複考幀標"i己所在的#見點才示識original—view—id。在表1和表2中的主要參數的含義如下originial—idr一flag，用於表示參考幀標記被重複的圖像是否為IDR幀；original—view—id，為參考幀標記的視點標識，用於表示被參考幀標記信息來自哪個視點的信息；original_frame_num,用於表示參考幀標記被重複圖像的幀號；original—field_pic—flag、original—bottom—field—flag，分別用來表示4皮重複圖像的場信息；dec_ref_pic—marking，用於表示被重複的參考幀標記語法結構，包含了具體的標記信息。因此，在編碼端(即編碼器)可以將表3中的信息傳送給解碼端表3tableseeoriginaldocumentpage9這樣，在解碼端收到上述表3中的信息後，便可以根據其中的幀號和視點標識等信息來決定重複使用的參考幀標記信息，從而可以利用所述的參考幀標記信息進行誤碼的恢復操作，以提高多視點的視頻編解碼的性能。上述基於重複參考幀標記的誤碼恢復應用實施例中，若某一幀發生數據丟失，由其對應的參考幀標記信息可以利用後續重複傳輸的其它幀的參考幀標記確定相應的參考幀，從而實現針對丟失或損壞等原因導致的誤碼進行有效地恢復處理。參照圖1所示，當被重複的參考幀標記的原始圖像視點1的幀2發生錯誤時，則還可以用相鄰視點對應的幀2的標記信息進行恢復操作。(二)基於參考幀的誤碼恢復實施例在該實施例中，若當前解碼圖像(即目標圖像)不能正確解碼，則利用一個或多個已解碼參考圖像(即參考幀)對當前解碼幀進行誤碼修復，以掩蓋錯誤，提高解碼的性能。例如，當前解碼圖像可以利用在參考幀中相同位置的條帶組來修復其幀內相同位置不能正確解碼的條帶組，以實現相應的誤碼修復操作。在多視點視頻編碼過程中，為了使拜解碼器能夠獲知備用圖像(即參考幀)來自於哪一幅圖像，則需要將參考幀的時間方向上的信息(即幀號)，以及參考幀來自於哪個視點(即視點標識)發送給解碼端。因此，相應的具體解決方法如表4所示表4tableseeoriginaldocumentpage10通過表4可以看出，如果採用多視點編碼，則需要在碼流中編碼目標圖像所在的視點以及備用圖像視點和目標圖像視點的差值，以便解碼器能正確利用視點間的參考幀恢復受損的目標圖像；在表4中的主要參數含義如下target—frame_num，為目標圖像解碼幀號；target_view_id，用於表示目標圖像的viewjd，即視點標識；delta_spare—view—id[i]，用於確定參考幀中包含的第i個備用條帶組單元的vjewjd(視點標識)，其中，參考幀的view—id值應在0到1023之間(包括0和1023)。布li殳，i的j直為由0到num—spare—pics—mjnus1(包4舌0和num—spare—pics_minus1)，則第i個參考幀的view—id，即spareViewld[i]是第i個參考幀的視點標識，其推導方式如下對於(num一spare—pics—minus1+1)個參考幀，每一個參考幀的視點標識都可以根據目標圖像的視點標識值targeLview一id和參考圖像的視點標識差值delta—spare—viewJd卩H尋到spareViewld[i]=target—view」d—delta—spare一view—id[i]。spare—field—flag,用於表示目標圖像(當前解碼幀)和參考幀的解碼模式為解碼場或解碼幀；target—bottom—field—flag,用於表示目標圖像是屬於底場或頂場；num_spare—pics_minus1，用於表示目標圖像可用的參考幀的數目；delta—spare—frame—num[i],用於確定參考幀中包含的第i個備用條帶組單元，其中，々Ii殳j值乂人O到num—spare—pics—minus1(包含0和num—spare—pics—minus1)，則確定第[i]個參考幀的解碼幀誇spareFrameNum[i]的過程為首先，根據目標圖像的幀號和解碼模式標記確定候選備用圖像幀號；然後，由候選備用圖像幀號candidateSpareFrameNum和備用圖像幀號與目標圖像幀號的差值delta—spare—frame—num[i]確定spareFrameNum[i]=candidateSpareFrameNum-delta—spare—frame一num[i];相應的參考幀的幀號spareFrameNum[i]的推導過程的偽碼如下candidateSpareFrameNum=target—frame_num-!spare—field—flagfor(i=0;i<=num—spare_pics_minus1;i++){if(candidateSpareFrameNum<0)candidateSpareFrameNum=MaxFrameNum-1spareFrameNum[i]=candidateSpareFrameNum—delta—spare一frame—num[i]if(spareFrameNum[i]<0)spareFrameNum[iI=MaxFrameNum+spareFrameNum[iJcandidateSpareFrameNum=spareFrameNum[i]-!spare—field_flag};spare—bottom—field—flag[i]，用於表示第[i]個參考幀是屬於底場還是屬於頂場；spare—area—idc[i]，用於表示確定在第[i]個參考幀中的備用條帶組單元的方式；例如，指出全部在第[i]個圖像中的條帶組是參考單元(即參考幀用於在恢復誤碼時的參考信息)，或者，指出用語法元素sparejjnit一flag[i[j]的值來確定參考幀條帶組單元，或者，指出用語法元素zero—runjength[i][jI確定spareUnitFlaglnBoxOutOrder[i][j]的值；zero_run」ength[i][j],根據spare—area—idc[i]的值的指示，用於推導spareUnitFlaglnBoxOutOrder[i][j]的值，spareUnitFlaglnBoxOutOrder[j][j]用於指出在第i個參考幀中以逆時針Box-out(以箱子形狀由中心向外)掃描順序的第j個條帶組是否為參考單元；spare—unit—flag[i][j],用於表示在第i個參考幀中以光柵掃描順序的第j個條帶組是否為參考單元。因此，在編碼端可以將下述表5中的各信息傳輸到解碼端表5tableseeoriginaldocumentpage12這樣，在解碼端便可以正確標識出參考幀來自於哪個視點及相應的幀號信息，以便於在解碼端利用相應的參考幀進行誤碼恢復操作。在該實施例中，可以在多視點視頻解碼過程中有效利用參考幀進行誤碼恢復處理，以提高多視點視頻解碼的性能。如圖2所示，當解碼圖像視點1的幀2中某個位置上的條帶組不能正確解碼的時候，還可以利用相鄰視點對應的已解碼幀2中相同位置上的條帶組進行恢復。本發明實施例還提供了一種多視編碼裝置，其具體實現結構如圖3所示，具體包括以下處理單元多視圖像編碼單元，用於對多個視的視頻圖像進行編碼處理；參考幀信息編碼單元，用於將需要發送給解碼端的參考幀信息的幀號及-脫點標識寫入碼流中；發送單元，用於將所述多視圖像編碼單元和所述參考幀信息編碼單元編碼獲得的碼流發送給解碼端。與所述的多視編碼裝置對應，本發明實施例還提供了一種多視解碼裝置，其具體實現結構仍如圖3所示，包括以下處理單元碼流接收單元，用於接收包含參考幀信息的幀號及^f見點標識的碼流；多視圖像解碼單元，用於對接收到的碼流中的多個視的視頻圖像進行解碼處理，以獲得各個視的視頻圖像信息；參考幀信息解碼單元，用於從所述碼流接收單元接收到的碼流中解碼獲得參考幀信息的幀號及視點標識。在解碼過程中還可以利用參考幀信息解碼單元獲得的參考幀信息的幀號及視點標識對出現錯誤的幀進行恢復的處理，以改善解碼效果，因此，所述的裝置還可以包括以下處理單元參考幀信息確定單元，用於根據所述參考幀信息解碼單元獲得的參考幀信息的幀號及視點標識，確定當前採用的參考幀信息；錯誤恢復單元，用於根據所述參考幀信息確定單元確定的參考幀信息對發生錯誤的當前幀進行恢復處理；可選地，根據採用的錯誤恢復方式的不同，所述的錯誤恢復單元具體可以包括以下任一單元或同時包含以下兩單元基於重複參考幀標記的恢復處理單元，用於根據所述參考幀信息確定單元確定的重複參考幀標記對發生錯誤的當前幀進行恢復處理；基於參考幀的恢復處理單元，用於根據所述參考幀信息確定單元確定的已經完成解碼的參考幀對發生錯誤的當前幀進行恢復處理。通過上述編解碼裝置，使得在多視點視頻編解碼過程中，解碼端可以獲知各個幀的視點標識信息，即可以確認各幀所來自的視點，從而使得可以根據所述視點標識信息確定在誤碼恢復過程中可以有效利用的幀間信息，以提高多視點視頻編解碼的性能。以上所述，僅為本發明較佳的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本
技術領域：
的技術人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應該以權利要求的保護範圍為準。權利要求1、一種多視編碼方法，用於對多個視的視頻圖像進行編碼處理，其特徵在於，在對多個視的視頻圖像信息進行編碼並寫入碼流的過程中，還包括將參考幀信息的幀號及視點標識寫入碼流中發送給解碼端。2、根據權利要求1所述的方法，其特徵在於，所述的參考幀信息包括重複參考幀標記和/或參考幀。3、一種多視編碼裝置，包括多視圖像編碼單元，用於對多個視的視頻圖像進行編碼處理，其特徵在於，還包括參考幀信息編碼單元，用於將參考幀信息的幀號及視點標識寫入碼流；發送單元，用於將所述多視圖像編碼單元和所述參考幀信息編碼單元編碼獲得的碼流發送給解碼端。4、一種多視解碼方法，用於對多個視的視頻圖像進行解碼處理，其特徵在於，在對多個視的視頻圖像信息進行解碼的過程中，還包括從接收到的多視點的視頻編碼碼流中，解碼獲得參考幀信息的幀號及視點標識。5、根據權利要求4所述的方法，其特徵在於，所述的參考幀信息包括重複參考幀標記和/或參考幀。6、一種多視解碼方法，用於對多個視的視頻圖像進行解碼處理，其特徵在於，在對多個視的視頻圖像信息進行解碼的過程中，還包括從接收到的多視點的視頻編碼碼流中，解碼獲得參考幀信息的幀號及視點標識；根據獲得的所述參考幀信息的幀號及視點標識，確定當前採用的參考幀"息;根據所述的參考幀信息對發生錯誤的當前幀進行恢復處理。7、根據權利要求6所述的方法，其特徵在於，根據所述的參考幀信息對發生錯誤的當前幀進行恢復處理的步驟包括根據確定的重複參考幀標記對發生錯誤的當前幀進行恢復處理；和/或，根據確定已經完成解碼的參考幀對發生錯誤的當前幀進行恢復處理。8、一種多視解碼裝置，包括多視圖像解碼單元，用於對多個視的視頻圖像進行解碼處理，其特徵在於，還包括碼流接收單元，用於接收包含參考幀信息的幀號及視點標識的碼流；參考幀信息解碼單元，用於從所述碼流接收單元接收到的碼流中解碼獲得參考幀信息的幀號及視點標識。9、一種多視解碼裝置，包括多視圖像解碼單元，用於對多個視的視頻圖像進行解碼處理，其特徵在於，還包括碼流接收單元，用於接收包含參考幀信息的幀號及視點標識的碼流；參考幀信息解碼單元，用於從所述碼流接收單元接收到的碼流中解碼獲得參考幀信息的幀號及視點標識；參考幀信息確定單元，用於根據所述參考幀信息解碼單元獲得的參考幀信息的幀號及視點標識，確定當前採用的參考幀信息；錯誤恢復單元，用於根據所述參考幀信息確定單元確定的參考幀信息對發生錯誤的當前幀進行恢復處理。10、根據權利要求9所述的裝置，其特徵在於，所述的錯誤恢復單元具體包括基於重複參考幀標記的恢復處理單元，用於根據所述參考幀信息確定單元確定的重複參考幀標記對發生錯誤的當前幀進行恢復處理；和/或，基於參考幀的恢復處理單元，用於根據所述參考幀信息確定單元確定的已經解碼的參考幀對發生錯誤的當前幀進行恢復處理。全文摘要一種多視編解碼方法及裝置，主要包括在對多個視的視頻圖像進行編碼處理過程中，將參考幀信息的幀號及視點標識寫入碼流中發送給解碼端。以使得在解碼端可以解碼獲得參考幀信息的幀號及視點標識，並可以根據參考幀信息的幀號及視點標識確定當前採用的參考幀信息；進一步地，便可以根據所述的參考幀信息對發生錯誤的當前幀進行恢復處理。因此，本發明實施例的實現使得在解碼端可以根據所述視點標識信息確定在誤碼恢復過程中可以有效利用的幀間信息，以提高多視點視頻編解碼的性能。文檔編號H04N7/26GK101291434SQ20071010049公開日2008年10月22日申請日期2007年4月17日優先權日2007年4月17日發明者劉盈嘉,周建同,林四新,熊聯歡,胡昌啟,山高申請人:華為技術有限公司