多視點運動圖像解碼裝置及多視點運動圖像解碼方法

2023-07-04 00:31:11

專利名稱：多視點運動圖像解碼裝置及多視點運動圖像解碼方法
技術領域：
本發明涉及解碼為了立體視而將多個視點的運動圖像信息編碼而成的運動圖像流的多視點運動圖像解碼裝置，特別涉及解碼將1個視點的運動圖像信息參照別的視點的運動圖像信息編碼而成的運動圖像流的多視點運動圖像解碼裝置。
背景技術：
作為將運動圖像信息壓縮編碼的技術之一，已知有按照MPEG(M0ving Picture Experts Group)標準編碼的技術。近年來，作為普及的主要的MPEG標準，已知有MPEG2、 MPEG4 及 MPEG4 AVC 等。這些壓縮技術的主要特徵是將編碼對象的圖片(以下稱作編碼對象圖片)與已經被編碼並被重構的圖片(以下稱作參照圖片)之差編碼。具體而言，對編碼對象圖片與參照圖片之差進行離散餘弦變換(DCT=Discrete Cosine Transform)和量化，對量化的結果進行可變長度編碼。以下，說明對以上述壓縮編碼技術編碼的圖像數據進行解碼的情況。例如，以 MPEG2編碼的圖像數據由I圖片、P圖片、B圖片這3種圖片構成。I圖片是不參照其他圖片而編碼的圖片。因而，在將I圖片解碼時，能夠以I圖片
單體解碼。P圖片是參照過去的I圖片或P圖片並使用與參照的圖片之差來編碼的圖片。因而，在將P圖片解碼時，由於參照過去的I圖片或P圖片解碼，所以需要將參照的I圖片或 P圖片預先解碼。B圖片是參照過去的I圖片或P圖片和未來的I圖片或P圖片並使用與參照的圖片之差來編碼的圖片。因而，在將B圖片解碼時，由於參照前後的I圖片或P圖片解碼，所以需要將參照的前後的I圖片或P圖片預先解碼。此外，近年來，已知將從多個視點分別拍攝的運動圖像數據(多個通道的運動圖像數據)基於H.264/MVC標準編碼的技術。在H. ^4/MVC標準中，利用多個運動圖像數據間的相關關係提高壓縮率。即，多個運動圖像數據是通過從多個視點拍攝被攝體而得到的數據，所以具有相互類似的特徵。利用該特徵，在H. ^4/MVC標準中，參照其他通道的運動圖像數據，將1個通道的運動圖像數據編碼。H. ^4/MVC標準例如在將視聽者能夠立體地感知的三維影像編碼時使用。另外，由於在多個通道的運動圖像數據間有參照關係，所以可以想到，在被從其他運動圖像數據參照的運動圖像數據發生了錯誤的情況下，不能取得正確的參照圖像，不能生成正確的解碼圖像。在此情況下，解碼圖像紊亂。特別是，在由多個通道構成的多視點運動圖像的情況下，因解碼圖像的紊亂而顯示存在彆扭感的三維影像。在專利文獻1中，公開了在發生錯誤的情況下將錯誤修復的數據解碼裝置。專利文獻1中公開的數據解碼裝置在輸入的編碼數據中檢測到錯誤的情況下，利用第1修復機構及第2修復機構中的某一個修復錯誤，該第1修復機構使用與檢測到錯誤的通道相同通道的數據修復錯誤，該第2修復機構使用與檢測到錯誤的通道不同的通道的數據修復錯誤。在專利文獻2中也同樣，公開了在發生了錯誤的情況下修復錯誤的立體運動圖像再生裝置。專利文獻2中公開的立體運動圖像再生裝置在圖像數據中檢測到錯誤時，以圖像單位用其他通道的圖像數據替代錯誤圖像數據來進行填補。專利文獻1及專利文獻2中公開的這些技術是MPEG等編碼技術的特徵之一，是利用在今後的解碼處理時有可能被參照的圖像，置換發生了錯誤的圖像即錯誤圖像的錯誤修復技術。先行技術文獻專利文獻專利文獻1 特許第3992533號公報專利文獻2 特許第3332575號公報發明概要發明要解決的課題但是，在上述現有技術中，存在以下課題，S卩不能充分地抑制在發生了錯誤的情況下發生的解碼圖像的紊亂。如上述那樣，在專利文獻1及專利文獻2所記載的技術中，在檢測到錯誤的情況下，使用已經解碼的圖像數據修復錯誤。但是，將已經解碼的圖像數據作為置換錯誤的圖像並不一定總是最適合的。例如，在由左眼用圖像和右眼用圖像構成的三維圖像中，作為與左眼用圖像的相關，有時與之前或之後的左眼用圖像相比，相同時刻的右眼用圖像更高。在此情況下，在左眼用圖像中發生了錯誤的情況下，為了修復錯誤而優選使用右眼用圖像。但是，在同一時刻的右眼用圖像在左眼用圖像之後被解碼的情況下，不能在修復錯誤中使用右眼用圖像。如以上那樣，在上述現有技術中，不能選擇更適合於修復錯誤的圖像，不能充分地抑制解碼圖像的紊亂。

發明內容
所以，本發明是為了解決上述現有課題而做出的，目的是提供一種即使在發生了錯誤的情況下也能夠充分地抑制解碼圖像的紊亂的多視點運動圖像解碼裝置及多視點運動圖像解碼方法。用於解決課題的手段為了解決上述課題，本發明的多視點運動圖像解碼裝置將包含被編碼的第1視點的第1運動圖像信息、以及與上述第1視點不同的第2視點的被編碼的第2運動圖像信息的運動圖像流解碼，具備解碼部，將上述運動圖像流解碼；錯誤檢測部，從上述運動圖像流中檢測錯誤；以及錯誤修復部，將由上述錯誤檢測部檢測到的錯誤修復；上述錯誤修復部具備解碼控制部，在由上述錯誤檢測部在包含於上述第1運動圖像信息中的第1編碼圖像信息中檢測到錯誤的情況下，控制上述解碼部，以使其將預定比上述第1編碼圖像信息靠後解碼的、包含在上述第2運動圖像信息中的第2編碼圖像信息解碼；以及修復處理部， 使用上述解碼部通過將上述第2編碼圖像信息解碼而生成的解碼圖像信息，將由上述錯誤檢測部檢測到的錯誤修復。由此，使用按照通常的解碼順序未解碼的解碼圖像信息來修復錯誤，所以能夠選擇更適當的圖像信息，能夠充分地抑制解碼圖像的紊亂。此外，也可以是，上述第2運動圖像信息被參照上述第1運動圖像信息編碼；上述錯誤修復部還具備判定部，在上述第1編碼圖像信息中檢測到錯誤的情況下，該判定部判定上述第2編碼圖像信息是否是幀內圖像、或者是否需要視差補償處理；上述解碼控制部在由上述判定部判定為上述第2編碼圖像信息是幀內圖像、或者不需要視差補償處理的情況下，控制上述解碼部，以使上述解碼部將上述第2編碼圖像信息解碼。由此，不會參照發生了錯誤的第1編碼圖像信息將第2編碼圖像信息解碼，所以能夠將第2編碼圖像信息正確地解碼，能夠選擇更適當的圖像信息。此外，也可以是，上述修復處理部用作為由上述解碼部解碼上述第2編碼圖像信息而生成的解碼圖像信息的第1修復圖像信息，置換上述第1編碼圖像信息的解碼結果。此外，也可以是，上述第2編碼圖像信息是在與上述第1編碼圖像信息相同的時刻顯示的圖像信息。由此，由於相同時刻的圖像信息的相關較高，所以能夠利用相關較高的圖像信息修復錯誤。此外，也可以是，上述修復處理部在由上述判定部判定為上述第2編碼圖像信息不是幀內圖像、或者需要視差補償處理的情況下，用作為在上述第1編碼圖像信息之前由上述解碼部解碼上述第1運動圖像信息而生成的解碼圖像信息的第2修復圖像信息，置換上述第1編碼圖像信息的解碼結果。由此，即使在參照發生了錯誤的第1編碼圖像信息將第2編碼圖像信息解碼的情況下，也能夠用修復圖像信息置換第1編碼圖像信息的解碼結果從而修復錯誤。此外，也可以是，上述解碼控制部在由上述判定部判定為上述第2編碼圖像信息不是幀內圖像、或者需要視差補償處理的情況下，控制上述解碼部，以使在由上述修復處理部修復錯誤後，上述解碼部將上述第2編碼圖像信息解碼；上述解碼部通過基於上述解碼控制部的控制將上述第2編碼圖像信息解碼，生成作為解碼圖像信息的第3修復圖像信息； 上述判定部還判定上述解碼部在生成上述第3修復圖像信息時是否參照了上述第2修復圖像信息；上述修復處理部在由上述判定部判定為沒有參照上述第2修復圖像信息的情況下，用上述第3修復圖像信息置換上述第2修復圖像信息。由此，能夠在將第2編碼圖像信息解碼後，再用第2編碼圖像信息的解碼結果置換用於修復發生了錯誤的第1編碼圖像信息的第2修復圖像信息。由於第2編碼圖像信息與第1編碼圖像信息相關較高，所以能夠使用更適當的圖像修復錯誤。此外，也可以是，上述修復處理部使用上述解碼部解碼上述第2編碼圖像信息而生成的解碼圖像信息進行運動補償處理，由此生成第4修復圖像信息，並用上述第4修復圖像信息置換上述第1編碼圖像信息的解碼結果。此外，也可以是，上述錯誤修復部以比幀小的處理單位用規定的圖像信息置換發生了錯誤的圖像信息，由此修復由上述錯誤檢測部檢測到的錯誤。由此，能夠儘量減少置換圖像信息的區域，所以能夠使錯誤修復後的圖像成為彆扭感較少的圖像。
7
另外，本發明不僅能夠作為多視點運動圖像解碼裝置實現，還能夠作為以構成該多視點運動圖像解碼裝置的處理部為步驟的方法實現。此外，也可以作為使計算機執行這些步驟的程序實現。進而，也可以作為記錄有該程序的計算機可讀取的⑶-R0M(CompaCt Disc-Read Only Memory)等記錄介質、以及表示該程序的信息、數據或信號實現。並且，這些程序、信息、數據及信號也可以經由網際網路等通信網絡分發。此外，構成上述各多視點運動圖像解碼裝置的構成要素的一部分或全部也可以由 1個系統LSI (Large Scale htegration 大規模集成電路)構成。系統LSI是將多個構成部集成在1個晶片上而製造的超多功能LSI，具體而言是包括微處理器、ROM及RAM (Random Access Memory)等而構成的計算機系統。發明效果根據有關本發明的多視點運動圖像解碼裝置，即使在發生了錯誤的情況下，也能夠提供可充分抑制解碼圖像的紊亂並減輕彆扭感的圖像。


圖1是表示有關實施方式1的多視點運動圖像解碼裝置的結構的一例的框圖。圖2是表示有關實施方式1的錯誤圖像修復部的結構的一例的框圖。圖3是表示由兩個通道的運動圖像信息構成的運動圖像流的一例的圖。圖4是表示有關實施方式1的多視點運動圖像解碼裝置的動作中的、發生了錯誤的情況下的動作的一例的流程圖。圖5A是表示沒有被從其他運動圖像信息參照的編碼圖片發生了錯誤的情況下的處理的一例的示意圖。圖5B是表示被從其他運動圖像信息參照的編碼圖片發生了錯誤的情況下的處理的一例的示意圖。圖6是表示有關實施方式2的多視點運動圖像解碼裝置的動作中的、發生了錯誤的情況下的動作的一例的流程圖。圖7是表示具備有關本發明的多視點運動圖像解碼裝置的數位電視機及數字視頻記錄器的一例的外觀圖。
具體實施例方式以下，使用附圖對有關本發明的多視點運動圖像解碼裝置及多視點運動圖像解碼方法的實施方式詳細地說明。(實施方式1)有關實施方式1的多視點運動圖像解碼裝置，是將包含被編碼的第1視點的第1 運動圖像信息、以及參照該第1運動圖像信息被編碼的第2視點的第2運動圖像信息的運動圖像流解碼的多視點運動圖像解碼裝置，其特徵在於，具備解碼部，將運動圖像流解碼； 錯誤檢測部，從運動圖像流中檢測錯誤；以及錯誤修復部，將由錯誤檢測部檢測到的錯誤修復；錯誤修復部具備解碼控制部，在由錯誤檢測部在包含於第1運動圖像信息中的第1編碼圖像信息中檢測到錯誤的情況下，控制解碼部，以使其將預定比第1編碼圖像信息靠後解碼的、包含在第2運動圖像信息中的第2編碼圖像信息解碼；以及修復處理部，使用解碼部通過將第2編碼圖像信息解碼而生成的解碼圖像信息，修復由錯誤檢測部檢測到的錯誤。圖1是表示有關實施方式1的多視點運動圖像解碼裝置100的結構的一例的框圖。多視點運動圖像解碼裝置100將包括分別對應於多個視點的多個運動圖像信息的運動圖像流解碼。具體而言，多視點運動圖像解碼裝置100從記錄介質200讀出運動圖像流，將所讀出的運動圖像流解碼，由此生成解碼圖像。所生成的解碼圖像向顯示部210輸出並顯示。多個運動圖像信息例如是將通過從相互不同的視點拍攝被攝體而得到的運動圖像基於規定的編碼標準編碼而生成的運動圖像信息。具體而言，多個運動圖像信息是第1 視點的第1運動圖像信息和第2視點的第2運動圖像信息。例如，第1運動圖像信息及第2 運動圖像信息對應於構成視聽者能夠立體地感知的三維影像的左眼用影像及右眼用影像。規定的編碼標準例如是H. 264/MVC標準。第2運動圖像信息被參照第1運動圖像信息編碼。即，包含在第2運動圖像信息中的多個編碼圖像信息中的至少1個被參照第1 運動圖像信息編碼。具體而言，第1運動圖像信息是基礎視野的運動圖像信息，第2運動圖像信息是從屬視野的運動圖像信息。所謂基礎視野的運動圖像信息，是不參照其他視點的運動圖像信息而單獨編碼的運動圖像信息，是在將其他視點的運動圖像信息編碼時參照的運動圖像信息。所謂從屬視野的運動圖像信息，是參照其他運動圖像信息編碼的運動圖像信息。以下，作為一例，說明運動圖像流包括相當於左眼用影像的左眼用通道(Lch)的運動圖像信息、以及相當於右眼用影像的右眼用通道(Rch)的運動圖像信息的情況。進而， 設想Lch的運動圖像信息是基礎視野的運動圖像信息、Rch的運動圖像信息是從屬視野的運動圖像信息的情況。另外，也可以Lch的運動圖像信息是從屬視野、Rch的運動圖像信息是基礎視野。如圖1所示，多視點運動圖像解碼裝置100具備多路分離部110、解碼部120、錯誤檢測部130、以及錯誤圖像修復部140。多路分離部110將運動圖像流分離為編碼的運動圖像信息和其他信息。編碼的運動圖像信息例如包括通過將運動圖像數據所包含的圖像基於H. ^4/MVC標準等編碼而生成的編碼圖像信息。將分離得到的運動圖像信息向解碼部120輸出。另外，其他信息例如是包含在運動圖像流中的聲音數據及用戶數據等。聲音數據及用戶數據等其他信息與有關本發明的特徵沒有特別關係，所以以下省略說明。多路分離部110具體而言從記錄介質200讀出運動圖像流，將讀出的運動圖像流分離。進而，多路分離部110將編碼的運動圖像信息分離為各通道的運動圖像信息。即，運動圖像流包括Lch的運動圖像信息和Rch的運動圖像信息，所以多路分離部110分離為Lch 的運動圖像信息和Rch的運動圖像信息。各通道的運動圖像信息包括編碼圖像信息。編碼圖像信息例如按照圖片依次向解碼部120輸出。另外，記錄介質200是記錄有運動圖像流的記錄介質，例如是DVD (Digital Versatile Disc)或BD (Blu-ray Disc)等光碟。此外，記錄介質200也可以是HDD (Hard Disk Drive)等磁碟、或半導體存儲器。解碼部120將從多路分離部110輸入的編碼圖像信息依次解碼。如圖1所示，解碼部120具備解碼處理部121、矢量計算部122、補償處理部123、解碼圖像信息構成部124、 以及解碼圖像信息保存緩衝器125及126。解碼處理部121將輸入的編碼圖像信息解碼。編碼圖像信息是基於H. 264/MVC標準編碼的圖像數據。具體而言，編碼圖像信息是通過將作為對象圖像與參照圖像之差的差信息、以及確定參照圖像的信息等解碼處理所需要的控制信息編碼而生成的圖像數據。解碼處理部121通過將編碼圖像信息解碼而生成差信息和控制信息。將所生成的差信息向解碼圖像信息構成部1 輸出。將所生成的控制信息向矢量計算部122輸出。矢量計算部122基於輸入的控制信息，計算運動矢量或視差矢量。將計算出的運動矢量或視差矢量向補償處理部123輸出。補償處理部123基於輸入的運動矢量或視差矢量來參照保存在解碼圖像信息保存緩衝器125或1 中的解碼圖像信息，由此生成運動補償圖像信息或視差補償圖像信息。 將所生成的運動補償圖像或視差補償圖像向解碼圖像信息構成部1 輸出。解碼圖像信息構成部IM通過將從解碼處理部121輸入的差信息、與從補償處理部123輸入的運動補償圖像信息或視差補償圖像信息相加，生成解碼圖像信息。將所生成的解碼圖像信息向解碼圖像信息保存緩衝器125或1 保存。具體而言，解碼圖像信息構成部IM在所生成的解碼圖像信息是Lch的圖像信息的情況下，將解碼圖像信息向解碼圖像信息保存緩衝器125保存。此外，解碼圖像信息構成部IM在所生成的解碼圖像信息是 Rch的圖像信息的情況下，將解碼圖像信息向解碼圖像信息保存緩衝器1 保存。解碼圖像信息保存緩衝器125是用來保存Lch的解碼圖像信息的緩衝存儲器。解碼圖像信息保存緩衝器1 是用來保存Rch的解碼圖像信息的緩衝存儲器。另外，解碼圖像信息保存緩衝器125及1 既可以是在物理上不同的兩個緩衝存儲器，也可以是物理上為1個的緩衝存儲器在邏輯上被區域分割而成的存儲器區域。錯誤檢測部130從運動圖像流中檢測錯誤。具體而言，錯誤檢測部130通過監視多路分離部110或解碼部120的動作狀態而檢測錯誤。具體而言，錯誤檢測部130將多路分離部110從記錄介質200讀出運動圖像流失敗的情況、例如讀出的運動圖像流的一部分缺失的情況檢測為錯誤，將發生了錯誤的情況向錯誤圖像修復部140通知。或者，在解碼處理部121對編碼圖像信息解碼失敗的情況、例如編碼圖像信息的編碼不符合標準的情況下，錯誤檢測部130設為檢測到錯誤，將發生了錯誤的情況向錯誤圖像修復部140通知。錯誤圖像修復部140在由錯誤檢測部130檢測到錯誤的情況下，將檢測到的錯誤修復。具體而言，錯誤圖像修復部140確定發生了錯誤的圖像(以下稱作錯誤圖像信息)， 通過用規定的圖像(以下稱作修復圖像信息)置換所確定的錯誤圖像信息來修復錯誤。圖2是表示有關實施方式1的錯誤圖像修復部140的結構的一例的框圖。如圖2 所示，錯誤圖像修復部140具備判定部141、解碼控制部142、以及修復處理部143。判定部141判定錯誤在第1運動圖像信息及第2運動圖像信息中的哪個發生。換言之，判定部141判定錯誤在基礎視野的運動圖像信息及從屬視野的運動圖像信息中的哪個發生。進而，在第1運動圖像信息發生錯誤的情況下，判定部141判定預定在發生了檢測到的錯誤的第1編碼圖像信息之後解碼的、第2運動圖像信息所包含的第2編碼圖像信息是否是幀內圖像、或者是否需要視差補償處理。具體而言，判定部141在基礎視野的運動圖像信息發生錯誤的情況下，判定預定在發生了檢測到的錯誤的第1編碼圖片的下一個解碼的、從屬視野的運動圖像信息所包含的第2編碼圖片是否參照發生了錯誤的第1編碼圖片解碼。進而，判定部141判定在用規定的修復圖像信息置換發生了錯誤的第1編碼圖像信息的解碼結果後、在解碼部120解碼第2編碼圖像信息而生成解碼圖像信息時，是否參照了置換後的修復圖像信息。具體而言，判定部141判定在將第2編碼圖片解碼時、解碼部 120是否參照了通過解碼發生了錯誤的第1編碼圖片而生成的解碼圖片所包含的錯誤圖像 fn息ο解碼控制部142在由錯誤檢測部130在第1編碼圖像信息中檢測到錯誤的情況下，控制解碼部120，以使其將預定比該第1編碼圖像信息靠後解碼的第2編碼圖像信息解碼。具體而言，解碼控制部142在由判定部141判定為第2編碼圖像信息是幀內圖像、 或者不需要視差補償處理的情況下，控制解碼部120，以使解碼部120將第2編碼圖像信息解碼。換言之，解碼控制部142使解碼部120將預定在基礎視野的運動圖像信息所包含的發生了錯誤的第1編碼圖片的下一個解碼的、從屬視野的運動圖像信息所包含的第2編碼圖片解碼。進而，解碼控制部142在由判定部141判定為第2編碼圖像信息不是幀內圖像、或者需要視差補償處理的情況下，控制解碼部120，以使在由修復處理部143修復錯誤後，解碼部120將第2編碼圖像信息解碼。即，解碼控制部142在預定下一個解碼的、從屬視野的運動圖像信息所包含的第2編碼圖片需要視差補償處理的情況下，在將包含在發生了錯誤的基礎視野的第1編碼圖片的解碼結果中的錯誤圖像信息用修復圖像信息置換後，使解碼部120將從屬視野的第2編碼圖片解碼。修復處理部143使用解碼部120通過將第2運動圖像信息解碼而生成的解碼圖像信息，將由錯誤檢測部130檢測到的錯誤修復。具體而言，修復處理部143使用通過解碼部 120將第2編碼圖像信息解碼而生成的第2解碼圖像信息，生成第1修復圖像信息。然後， 修復處理部143用第1修復圖像信息置換第1編碼圖像信息的解碼結果，從而修復錯誤。例如，修復處理部143在基礎視野的第1編碼圖片中發生了錯誤的情況下，使用從屬視野的第2編碼圖片的解碼結果生成第1修復圖像信息。例如，修復處理部143通過取得作為第2編碼圖片的解碼結果的第2解碼圖像信息，生成第1修復圖像信息。並且，修復處理部143將包含在第1編碼圖片的解碼結果中的錯誤圖像信息用所生成的第1修復圖像信息置換。此外，修復處理部143在由判定部141判定為第2編碼圖像信息不是幀內圖像、 或者需要視差補償處理的情況下，用作為在發生了錯誤的第1編碼圖像信息之前由解碼部 120解碼第1運動圖像信息而生成的解碼圖像信息的第2修復圖像信息，將第1編碼圖像信息的解碼結果置換。具體而言，修復處理部143在預定在發生了錯誤的第1編碼圖片的下一個解碼的第2編碼圖片參照第1編碼圖片的情況下，通過取得在基礎視野的第1編碼圖像信息之前已解碼的解碼圖像信息，生成第2修復圖像信息。即，修復處理部143使用與發生了錯誤的通道相同通道且與發生了錯誤的編碼圖像信息相同時刻或不同時刻的編碼圖像信息，生成第2修復圖像信息。進而，由於發生了錯誤，所以在將第1編碼圖像信息的解碼結果用第2修復圖像信息置換後，修復處理部143用解碼部120解碼第2編碼圖像信息而生成的第3修復圖像信息，來置換第2修復圖像信息。具體而言，在由判定部141判定為在生成第3修復圖像信息時未參照第2修復圖像信息的情況下，修復處理部143將第2修復圖像信息用第3修復圖像信息置換。第2編碼圖像信息是其解碼結果在與第1編碼圖像信息相同的時刻顯示的圖像信息，所以與第1編碼圖像信息的相關較高。因而，在第1編碼圖像信息中發生了錯誤的情況下，優選的是使用第2編碼圖像信息的解碼結果置換第1編碼圖像信息。如上述那樣，修復處理部143用第2修復圖像信息置換第1編碼圖像信息後，用更優選的第3修復圖像信息置換，所以能夠充分地抑制解碼圖像的紊亂。以上，對有關實施方式1的多視點運動圖像解碼裝置100的結構進行了說明，但也可以是例如適當追加了環路濾波處理等處理的結構。此外，在僅輸入運動圖像流的情況下、或者在不需要運動圖像信息的分離的情況下等，多視點運動圖像解碼裝置100也可以不具備多路分離部110。此外，對多視點運動圖像解碼裝置100具備1個解碼處理部121的結構進行了說明，但也可以按每個通道具備解碼處理部、矢量計算部及補償處理部。此外，多視點運動圖像解碼裝置100也可以不具備矢量計算部122，而代之具備進行在運動補償處理中使用的運動矢量的計算的運動矢量計算部、以及進行在視差補償處理中使用的視差矢量的計算的視差矢量計算部。同樣，多視點運動圖像解碼裝置100也可以不具備補償處理部123，而代之具備進行運動補償處理的運動補償部、以及進行視差補償處理的視差補償部。此外，多視點運動圖像解碼裝置100從記錄介質200讀出運動圖像流，但例如也可以經由網絡或廣播波等取得運動圖像流。圖3是表示由兩個通道的運動圖像信息構成的運動圖像流的一例的圖。如圖3所示，Lch的運動圖像信息是基礎視野，Rch的運動圖像信息是從屬視野。S卩，在將Rch的運動圖像信息解碼時參照Lch的運動圖像信息。解碼部120在將運動圖像流解碼時，如圖3所示，將Lch的編碼圖像信息和Rch的編碼圖像信息以圖片單位交替地解碼。另外，圖3所示的平行四辺形表示圖片，在該圖片內記載的號碼表示解碼順序。在運動補償時，參照同一通道內的已解碼的圖像信息。例如，如圖3所示，在將基礎視野的圖片3解碼時，參照圖片1。在視差補償時，參照不同的通道的已解碼的圖像信息。例如，如圖3所示，在將從屬視野的圖片6解碼時參照圖片5。另外，圖片1和圖片2、圖片3和圖片4等是預定在相同時刻顯示的圖片(同時刻的圖片)。即，作為左眼用圖像的圖片1與作為右眼用圖像的圖片2成對，構成視聽者能夠立體地感知的三維圖像。多視點運動圖像解碼裝置100如圖3所示，在將成對的圖片中的基礎視野的圖片解碼後，將從屬視野的圖片解碼。接著，對有關實施方式1的多視點運動圖像解碼裝置100的動作進行說明。特別
12對發生了錯誤的情況的動作進行說明。另外，在沒有發生錯誤的情況下，多視點運動圖像解碼裝置100按照H. 264/MVC標準進行解碼，所以省略說明。圖4是表示有關實施方式1的多視點運動圖像解碼裝置100的動作中的、發生了錯誤的情況下的動作的一例的流程圖。在錯誤檢測部130在基礎視野的運動圖像信息中檢測到錯誤的情況下，錯誤圖像修復部140基於來自錯誤檢測部130的錯誤通知，將解碼中的基礎視野的編碼圖片的解碼中斷(SlOl)。例如，在圖3所示的圖片5中發生了錯誤的情況下，錯誤圖像修復部140將圖片5的解碼中斷。判定部141判定預定在中斷的編碼圖片的下一個解碼的、從屬視野的編碼圖片是否需要視差補償處理(S102)。例如，在圖3所示的圖片5中發生了錯誤的情況下，判定部 141判定圖片6是否是幀內圖片、或者圖片6是否需要視差補償處理。另外，在從屬視野的編碼圖片是幀內圖片的情況下，不參照其他圖片而解碼該編碼圖片，所以不需要視差補償處理。在從屬視野的編碼圖片不需要視差補償處理的情況下(S102中否)，解碼部120基於解碼控制部142的控制，進行從屬視野的解碼(S103)。例如，如圖5A所示，在圖片3中發生了錯誤的情況下，預定下一個解碼的圖片4不需要視差補償處理。因此，解碼控制部142控制解碼部120，以使其將圖片4解碼。圖片4 由於不參照發生了錯誤的圖片3，所以解碼部120能夠不受錯誤的影響而正確地將圖片4解碼。如果從屬視野的編碼圖片的解碼結束，則解碼控制部142使基礎視野的編碼圖片的解碼再次開始(S104)。例如，解碼控制部142在從解碼部120接受到表示從屬視野的編碼圖片的解碼結束的完成通知的情況下，使基礎視野的編碼圖片的解碼再次開始。此時，解碼部120既可以從發生了錯誤的編碼圖片的最初進行解碼，或者也可以從中斷的部位進行解碼。例如，如果圖5A所示的圖片4的解碼結束，則解碼控制部142使發生了錯誤的圖片3的解碼再次開始。修復處理部143通過取得從屬視野的編碼圖片的解碼結果，生成第1修復圖像信息(S105)。具體而言，通過使用在與發生了錯誤的基礎視野的編碼圖像信息相同的時刻顯示的從屬視野的編碼圖像信息進行視差補償處理等，從而生成第1修復圖像信息。例如，在圖5A所示的圖片3中發生了錯誤的情況下，修復處理部143通過取得與圖片3同時刻的圖片4的解碼結果，從而生成第1修復圖像信息。然後，修復處理部143代替基礎視野的編碼圖像信息的解碼結果而將第1修復圖像信息保存到解碼圖像信息保存緩衝器125中(S106)。即，修復處理部143將基礎視野的編碼圖像信息的解碼結果用第1修復圖像信息置換。另外，此時，修復處理部143隻要僅將基礎視野的編碼圖片中的、發生了錯誤的圖像置換就可以。即，修復處理部143也可以按比幀小的處理單位用規定的修復圖像信息置換發生了錯誤的圖像信息。即，修復處理部143 不需要將1幀或1圖片量的圖像信息全部置換，只要將發生了錯誤的1個片或1個宏塊量的數據置換就可以。在錯誤的修復結束後、發生了錯誤的編碼圖片的解碼完成的情況下，開始基礎視野的下個編碼圖片的解碼(S112)。在圖5A所示的例子中，在圖片3中發生的錯誤的修復、以及圖片3的解碼結束的情況下，解碼部120開始圖片5的解碼。在從屬視野的編碼圖片需要視差補償處理的情況下(S102中是)，解碼部120基於解碼控制部142的控制，再次開始基礎視野的解碼(S107)。例如，如圖5B所示，假設在圖片 5中發生了錯誤的情況下，預定下一個解碼的圖片6需要視差補償處理。即，為了將圖片6 解碼而必須得到圖片5的解碼結果。因而，修復處理部143使用基礎視野的已解碼的解碼結果生成第2修復圖像信息 (S108)。例如，修復處理部143通過取得與發生了錯誤的編碼圖片在時間上最接近的圖片的解碼圖像信息、或同一圖片內的不同區域的解碼圖像信息，生成第2修復圖像信息。在圖 5B所示的例子中，在圖片5中發生了錯誤的情況下，修復處理部143通過取得圖片3的解碼結果，生成第2修復圖像信息。然後，修復處理部143代替基礎視野的發生了錯誤的編碼圖像信息的解碼結果而將生成的第2修復圖像信息保存到解碼圖像信息保存緩衝器125中(S109)。例如，在圖5B 所示的例子中，修復處理部143代替圖片5的解碼結果而取得圖片3的解碼結果，並將所取得的解碼結果作為第2修復圖像信息保存到解碼圖像信息保存緩衝器125中。接著，解碼部120將預定在發生了錯誤的編碼圖片的下一個解碼的從屬視野的編碼圖片解碼(S110)。具體而言，如圖5B所示，解碼部120基於解碼控制部142的控制進行圖片6的解碼(SllO)。此時，解碼部120—邊參照圖片5的解碼結果(包括第2修復圖像信息)，一邊進行視差補償處理，將圖片6解碼。判定部141在解碼部120將從屬視野的編碼圖片解碼時，具體而言在視差補償處理時，判定是否參照了發生錯誤的部位(Slll)。在圖5B所示的例子中，判定部141判定在將圖片6解碼時是否參照了圖片5的錯誤部位、即是否參照了置換的第2修復圖像信息。這是因為，即使修復了錯誤，也不一定用第2修復圖像信息置換了圖片5的全部，也有在圖片 6的解碼時沒有參照錯誤部位的情況。在沒有參照錯誤部位的情況下(S111中否)，修復處理部143通過取得從屬視野的編碼圖片的解碼結果，生成第3修復圖像信息(S105)，保存到解碼圖像信息保存緩衝器125 中(S106)。即，在圖5B所示的例子中，通過取得圖片6的解碼結果，從而用所取得的圖片6 的解碼結果(第3修復圖像信息)置換作為圖片5的解碼結果置換的第2修復圖像信息。圖片6由於是與圖片5同時刻的圖片，所以與圖片3相比相關較高的情況較多。因而，與從圖片3取得的第2修復圖像信息相比，從圖片6取得的第3修復圖像信息更適於置換圖片5的解碼結果。由於在圖片6的解碼結果中沒有包含錯誤的影響(由於在Slll中是否)，所以可以將圖片5的解碼結果(第2修復圖像信息)用圖片6的解碼結果(第3修復圖像信息)置換。另外，在參照了錯誤部位的情況下(S111中是)，開始基礎視野的下個編碼圖片的解碼(S 112)。此外，在從屬視野的運動圖像信息發生錯誤的情況下，由於成對的基礎視野的圖片已經解碼，所以修復處理部143使用成對的基礎視野的圖片的解碼結果進行修復。例如， 在圖3所示的圖片2中發生了錯誤的情況下，修復處理部143將圖片1的解碼結果作為修復圖像信息保存到解碼圖像信息保存緩衝器126中。如以上這樣，有關實施方式1的多視點運動圖像解碼裝置100在解碼第2運動圖像信息時參照的第1運動圖像信息中發生了錯誤的情況下，先進行第2運動圖像信息的解碼，使用該解碼的結果修復在第1運動圖像信息中發生的錯誤。具體而言，多視點運動圖像解碼裝置100在基礎視野的第1編碼圖片中發生了錯誤的情況下，先進行從屬視野的第2 編碼圖片的解碼。第2編碼圖片是與第1編碼圖片相同時刻的編碼圖片，與基礎視野的其他編碼圖片相比，與第1編碼圖片的相關更高。因而，通過使用第2編碼圖片的解碼結果修復在第1編碼圖片中發生的錯誤，能夠進行比以往精度更高的錯誤修復處理，能夠充分地抑制解碼圖像的紊亂。(實施方式2)有關實施方式2的多視點運動圖像解碼裝置的特徵在於，在被從其他運動圖像信息參照的運動圖像信息中發生了錯誤的情況下，將其他運動圖像信息解碼並對解碼結果進行運動補償處理，從而生成修復圖像信息，用所生成的修復圖像信息置換錯誤圖像信息。另外，有關實施方式2的多視點運動圖像解碼裝置的結構與圖1所示的有關實施方式1的多視點運動圖像解碼裝置100的結構是相同的，所以省略說明。以下，對有關實施方式2的多視點運動圖像解碼裝置的動作進行說明。圖6是表示有關實施方式2的多視點運動圖像解碼裝置的動作中的、發生了錯誤的情況下的動作的一例的流程圖。另外，對於與圖4所示的有關實施方式1的多視點運動圖像解碼裝置100的動作相同的動作賦予相同的標號，以下省略說明。在由判定部141判定為預定在發生了錯誤的基礎視野的編碼圖片的下一個解碼的從屬視野的編碼圖片不需要視差補償處理的情況下(S102中否)，解碼部120基於解碼控制部142的控制，將從屬視野的編碼圖片解碼(Sl(XB)。並且，解碼控制部142使發生了錯誤的基礎視野的編碼圖片的解碼再次開始(S104)。修復處理部143通過取得從屬視野的編碼圖片的解碼結果，並對所取得的解碼結果進行運動補償處理，從而生成第4修復圖像信息(S20O。以後的處理與實施方式1是同樣的。另一方面，在由判定部141判定為預定在發生了錯誤的基礎視野的編碼圖片的下一個解碼的從屬視野的編碼圖片需要視差補償處理的情況下(S102中是)，解碼部120基於解碼控制部142的控制，再次開始基礎視野的解碼(S107)。並且，修復處理部143取得基礎視野的已解碼的解碼結果，並對所取得的解碼結果進行運動補償處理，由此生成第2修復圖像信息(S208)。以後的處理與實施方式1是同樣的。如以上所示，在實施方式1中，將從屬視野或基礎視野的解碼結果原樣作為修復圖像信息使用，相對於此，在實施方式2中，將從屬視野或基礎視野的解碼結果作為運動補償用的圖像信息使用。以上，有關實施方式2的多視點運動圖像解碼裝置在解碼第2運動圖像信息時參照的第1運動圖像信息中發生了錯誤的情況下，通過先進行第2運動圖像信息的解碼，並對該解碼的結果進行運動補償處理，由此生成修復圖像信息，用所生成的修復圖像信息置換錯誤圖像。具體而言，多視點運動圖像解碼裝置在基礎視野的第1編碼圖片中發生了錯誤的情況下，先進行從屬視野的第2編碼圖片的解碼。第2編碼圖片是與第1編碼圖片相同的時刻的編碼圖片，與基礎視野的其他編碼圖片相比，與第1編碼圖片的相關更高。
因而，通過對第2編碼圖片的解碼結果進行運動補償處理而生成修復圖像信息， 並用所生成的修復圖像信息置換錯誤圖像，由此能夠進行比以往精度更高的錯誤修復處理，能夠充分地抑制解碼圖像的紊亂。另外，修復處理部143在生成修復圖像信息時，也可以對從屬視野的解碼結果不僅進行運動補償，而且還進行視差補償處理。此外，這些運動補償處理及視差補償處理既可以由錯誤圖像修復部140內的修復處理部143進行，或者也可以由解碼部120具備的補償處理部123進行。以上，基於實施方式對有關本發明的多視點運動圖像解碼裝置及多視點運動圖像解碼方法進行了說明，但本發明並不限定於這些實施方式。只要不脫離本發明的主旨，對該實施方式實施了本領域的技術人員想到的各種變形後的形態、或將不同的實施方式的構成單元組合而構建的形態也包含在本發明的範圍內。例如，在上述說明中，舉例說明了基礎視野和從屬視野這兩個運動圖像信息，但有關本發明的多視點運動圖像解碼裝置也可以將3個以上的運動圖像信息解碼。例如，設想在將包括1個基礎視野的運動圖像信息和兩個從屬視野的運動圖像信息的運動圖像流解碼時，在基礎視野的運動圖像信息中發生了錯誤的情況。在此情況下，多視點運動圖像解碼裝置只要使用兩個從屬視野的某個生成修復圖像信息，並將錯誤圖像信息用修復圖像信息置換，從而修復錯誤就可以。此外，在從屬視野中發生了錯誤的情況下也同樣，錯誤圖像修復部140也可以利用基礎視野或從屬視野的解碼結果修復錯誤圖像信息。例如，在圖3所示的圖片6中發生了錯誤的情況下，錯誤圖像修復部140隻要利用圖片5的解碼結果作為修復圖像信息就可以。或者，錯誤圖像修復部140也可以控制解碼部120以使其將預定在圖片6的下一個解碼的圖片7解碼，並利用圖片7的解碼結果作為修復圖像信息。這樣，在從屬視野的編碼圖像信息中發生了錯誤的情況下，也可以將預定在發生了錯誤的編碼圖像信息的下一個解碼的包含在基礎視野中的編碼圖像信息解碼，並利用該解碼結果修復錯誤。由此，例如在與圖片6同時刻的圖片即圖片5中也發生了錯誤的情況下等、不優選了利用圖片5的解碼結果作為修復圖像信息的情況下，也能夠將在圖片6中發生的錯誤修
Μ. ο此外，在實施方式1中，修復處理部143也可以通過對所取得的第2解碼圖像信息進行視差補償處理來生成第1修復圖像信息。另外，有關本發明的多視點運動圖像解碼裝置例如搭載在圖7所示的數位電視機 300、或數字視頻記錄器/播放器310中。另外，本發明不僅能夠如上述那樣作為多視點運動圖像解碼裝置及多視點運動圖像解碼方法實現，也可以作為用來使計算機執行本實施方式的多視點運動圖像解碼方法的程序實現。此外，也可以作為記錄該程序的計算機可讀取的CD-ROM等記錄介質實現。還可以作為表示該程序的信息、數據或信號實現。並且，這些程序、信息、數據及信號也可以經由網際網路等通信網絡分發。此外，本發明也可以將構成多視點運動圖像解碼裝置的構成要素的一部分或全部由1個系統LSI構成。系統LSI是將多個構成部集成在1個晶片上而製造的超多功能LSI，具體而言是包括微處理器、ROM及RAM等而構成的計算機系統。工業實用性有關本發明的多視點運動圖像解碼裝置及多視點運動圖像解碼方法具有在發生了錯誤的情況下也能夠充分抑制解碼圖像的紊亂的效果，例如能夠在數位電視機、DVD及
BD記錄機/播放器等數字設備中使用。
標號說明
100多視點運動圖像解碼裝置
110多路分離部
120解碼部
121解碼處理部
122矢量計算部
123補償處理部
124解碼圖像信息構成部
125-.126解碼圖像信息保存緩衝器
130錯誤檢測部
140錯誤圖像修復部
141判定部
142解碼控制部
143修復處理部
200記錄介質
210顯示部
300數位電視機
310數字視頻記錄器/播放器
權利要求
1.一種多視點運動圖像解碼裝置，解碼運動圖像流，該運動圖像流包含被編碼的第1 視點的第1運動圖像信息以及與上述第1視點不同的第2視點的被編碼的第2運動圖像信息，該多視點運動圖像解碼裝置具備解碼部，解碼上述運動圖像流； 錯誤檢測部，從上述運動圖像流中檢測錯誤；以及錯誤修復部，修復由上述錯誤檢測部檢測到的錯誤； 上述錯誤修復部具備解碼控制部，在由上述錯誤檢測部在上述第1運動圖像信息所包含的第1編碼圖像信息中檢測到錯誤的情況下，控制上述解碼部以解碼上述第2運動圖像信息所包含的第2編碼圖像信息，該第2編碼圖像信息預定比上述第1編碼圖像信息後解碼；以及修復處理部，使用上述解碼部通過解碼上述第2編碼圖像信息而生成的解碼圖像信息，修復由上述錯誤檢測部檢測到的錯誤。
2.如權利要求1所述的多視點運動圖像解碼裝置，其中， 上述第2運動圖像信息通過參照上述第1運動圖像信息被編碼；上述錯誤修復部還具備判定部，在上述第1編碼圖像信息中檢測到錯誤的情況下，該判定部判定上述第2編碼圖像信息是否為幀內圖像、或者是否需要視差補償處理；在由上述判定部判定為上述第2編碼圖像信息是幀內圖像、或者不需要視差補償處理的情況下，上述解碼控制部控制上述解碼部，以使上述解碼部解碼上述第2編碼圖像信息。
3.如權利要求2所述的多視點運動圖像解碼裝置，其中，上述修復處理部用第1修復圖像信息置換上述第1編碼圖像信息的解碼結果，該第1 修復圖像信息是由上述解碼部解碼上述第2編碼圖像信息而生成的解碼圖像信息。
4.如權利要求3所述的多視點運動圖像解碼裝置，其中，上述第2編碼圖像信息是在與上述第1編碼圖像信息相同的時刻顯示的圖像信息。
5.如權利要求3或4所述的多視點運動圖像解碼裝置，其中，在由上述判定部判定為上述第2編碼圖像信息不是幀內圖像、或者需要視差補償處理的情況下，上述修復處理部用第2修復圖像信息置換上述第1編碼圖像信息的解碼結果，該第2修復圖像信息是在上述第1編碼圖像信息之前，由上述解碼部解碼上述第1運動圖像信息而生成的解碼圖像信息。
6.如權利要求5所述的多視點運動圖像解碼裝置，其中，在由上述判定部判定為上述第2編碼圖像信息不是幀內圖像、或者需要視差補償處理的情況下，上述解碼控制部控制上述解碼部，以使在由上述修復處理部修復錯誤後，上述解碼部解碼上述第2編碼圖像信息；上述解碼部基於上述解碼控制部的控制來解碼上述第2編碼圖像信息，由此生成作為解碼圖像信息的第3修復圖像信息；上述判定部還判定上述解碼部在生成上述第3修復圖像信息時是否參照了上述第2修復圖像信息；在由上述判定部判定為沒有參照上述第2修復圖像信息的情況下，上述修復處理部用上述第3修復圖像信息置換上述第2修復圖像信息。
7.如權利要求2所述的多視點運動圖像解碼裝置，其中，上述修復處理部使用由上述解碼部解碼上述第2編碼圖像信息而生成的解碼圖像信息來進行運動補償處理，由此生成第4修復圖像信息，用上述第4修復圖像信息置換上述第 1編碼圖像信息的解碼結果。
8.如權利要求1 7中任一項所述的多視點運動圖像解碼裝置，其中，上述錯誤修復部以比幀小的處理單位，用規定的圖像信息置換發生了錯誤的圖像信息，由此修復由上述錯誤檢測部檢測到的錯誤。
9.一種多視點運動圖像解碼方法，解碼運動圖像流，該運動圖像流包含被編碼的第1 視點的第1運動圖像信息以及與上述第1視點不同的第2視點的被編碼的第2運動圖像信息，該多視點運動圖像解碼方法包括解碼步驟，解碼上述運動圖像流； 錯誤檢測步驟，從上述運動圖像流中檢測錯誤；以及錯誤修復步驟，修復上述錯誤檢測步驟中檢測到的錯誤； 在上述解碼步驟中，在上述錯誤檢測步驟在上述第1運動圖像信息所包含的第1編碼圖像信息中檢測到錯誤的情況下，解碼上述第2運動圖像信息所包含的第2編碼圖像信息，該第2編碼圖像信息預定比上述第1編碼圖像信息後解碼； 在上述錯誤修復步驟中，使用通過解碼上述第2編碼圖像信息而生成的解碼圖像信息，修復上述錯誤檢測步驟中檢測到的錯誤。
10.一種程序，用於使計算機執行多視點運動圖像解碼方法，該多視點運動圖像解碼方法解碼運動圖像流，該運動圖像流包含被編碼的第1視點的第1運動圖像信息以及與上述第1視點不同的第2視點的被編碼的第2運動圖像信息，上述多視點運動圖像解碼方法包括 解碼步驟，解碼上述運動圖像流； 錯誤檢測步驟，從上述運動圖像流中檢測錯誤；以及錯誤修復步驟，修復上述錯誤檢測步驟中檢測到的錯誤； 在上述解碼步驟中，在上述錯誤檢測步驟在上述第1運動圖像信息所包含的第1編碼圖像信息中檢測到錯誤的情況下，解碼上述第2運動圖像信息所包含的第2編碼圖像信息，該第2編碼圖像信息預定比上述第1編碼圖像信息後解碼； 在上述錯誤修復步驟中，使用通過解碼上述第2編碼圖像信息而生成的解碼圖像信息，修復上述錯誤檢測步驟中檢測到的錯誤。
11.一種集成電路，解碼運動圖像流，該運動圖像流包含被編碼的第1視點的第1運動圖像信息以及與上述第1視點不同的第2視點的被編碼的第2運動圖像信息，該集成電路具備解碼部，解碼上述運動圖像流； 錯誤檢測部，從上述運動圖像流中檢測錯誤；以及錯誤修復部，修復由上述錯誤檢測部檢測到的錯誤；上述錯誤修復部具備解碼控制部，在由上述錯誤檢測部在上述第1運動圖像信息所包含的第1編碼圖像信息中檢測到錯誤的情況下，控制上述解碼部以解碼上述第2運動圖像信息所包含的第2編碼圖像信息，該第2編碼圖像信息預定比上述第1編碼圖像信息後解碼；以及修復處理部，使用上述解碼部通過解碼上述第2編碼圖像信息而生成的解碼圖像信息，修復由上述錯誤檢測部檢測到的錯誤。
全文摘要
即使在發生了錯誤的情況下，也能夠充分抑制解碼圖像的紊亂。將包含被編碼的第1視點的第1運動圖像信息以及被編碼的第2視點的第2運動圖像信息的運動圖像流解碼的多視點運動圖像解碼裝置(100)具備將運動圖像流解碼的解碼部(120)、從運動圖像流中檢測錯誤的錯誤檢測部(130)、以及將檢測到的錯誤修復的錯誤圖像修復部(140)，錯誤圖像修復部(140)具備解碼控制部(142)，在第1運動圖像信息所包含的第1編碼圖像信息中檢測到錯誤的情況下，控制解碼部(120)以使其將預定在第1編碼圖像信息之後解碼的、第2運動圖像信息所包含的第2編碼圖像信息解碼；以及修復處理部(143)，該修復處理部(143)使用通過解碼第2編碼圖像信息而生成的解碼圖像信息，修復檢測到的錯誤。
文檔編號H04N7/32GK102342117SQ201080009720
公開日2012年2月1日 申請日期2010年7月9日 優先權日2009年11月30日
發明者谷戶丈志, 重信優也 申請人:松下電器產業株式會社