圖像解碼裝置及方法、圖像編碼裝置及方法、程序的製作方法

2023-06-09 10:14:01

專利名稱：圖像解碼裝置及方法、圖像編碼裝置及方法、程序的製作方法
技術領域：
本發明涉及對利用視圖間預測編碼後的影像進行解碼的圖像解碼裝置、以及利用 視圖間預測對影像進行編碼的圖像編碼裝置。
背景技術：
為了分發影片作品等動畫內容，DVD以及Blu-ray Disc (藍光光碟)等的光碟被 廣泛採用。特別是，以往的DVD能夠處理SDGtandardDefinition 標準清晰度)，對此， Blu-ray Disc能夠處理最大1920x1080的HD(High Definition 高清晰度)，因此，能夠容 納更高畫質的影像。對於光碟，以往容納了一般的2D(二維)影像，但是，近些年隨著能夠 欣賞可進行立體顯示的3D (三維)影像的電影院增加，對將高畫質的3D影像照原樣容納到 光碟的要求越來越高。容納有3D影像的光碟被要求，需要與僅能夠播放容納有2D影像的光碟的播放裝 置(以下，稱為「2D播放裝置」)之間的播放兼容性。在2D播放裝置不能將容納有3D影 像的光碟作為2D影像來播放的情況下，由於需要針對相同的內容製造「3D影像用光碟」和 「2D影像用光碟」這兩種光碟，因此導致高成本。因此，對於容納有3D影像的光碟，需要在 2D播放裝置，以2D影像來播放，並且，在能夠播放2D影像和3D影像的播放裝置(以下，稱 為「2D/3D播放裝置」)，能夠以2D影像或3D影像來播放。對於以容納有3D影像的光碟來確保播放兼容性的光碟和播放裝置的以往的例 子，周知的是圖39所示的方法。在光碟1801，容納有多路復用後的左眼用影像流和右眼用影像流，該左眼用影像 流容納有左眼用的畫面，該右眼用影像流容納有右眼用的畫面。左眼用影像流和右眼用影 像流的幀率相同，播放顯示時刻為交替。例如，在各個影像流的幀率為每一秒24幀的情況 下，按每1/48秒交替顯示左眼用影像流和右眼用影像流。各個影像流被多路復用，在光碟 1801，各個影像流以1G0P(圖片組)以上的圖像信息的記錄單位被交錯(Interleave)配置 在盤上，即，被交替配置在盤上。在圖39中，在光碟1801上，左眼用影像流被交錯配置在流1802A、流1802B以及流 1802C，右眼用影像流被交錯配置在流1803A、流1803B以及流1803C。根據光碟1801的查 找性能以及讀入速度等，將配置有左眼用影像流的流1802A、流1802B以及流1802C配置，從 而在依次分別播放時不間斷地播放。在光碟1801被裝填到2D播放裝置1804的情況下，播放作為左眼用影像流的流 1802A、流1802B以及流1802C，並輸出2D影像。另一方面，在光碟1801被裝填到能夠播放3D影像的3D播放裝置1805的情況下， 或者，在光碟1801被裝填到2D/3D播放裝置且用戶選擇3D播放的情況下，以交錯塊為單位 交替讀入左眼用影像流和右眼用影像流。也就是說，以不發生驅動器的查找的方式，按照流 1802A、流1803A、流1802B、流1803B、流1802C以及流1803C的順序，連續讀入。對於讀入後的影像流，左眼用影像流輸入到左眼用影像解碼器，右眼用影像流輸入到右眼用影像解碼器，分別對雙方的流進行解碼，左眼畫面和右眼畫面交替輸出到電視 機。也可以以相同的解碼器來進行左眼用影像流和右眼用影像流的解碼。若用按每1/48 秒切換右眼和左眼的快門的立體眼鏡1806看該輸出圖像，則看成立體影像。根據該結構，容納有3D影像的光碟，在2D播放裝置能夠播放2D影像，在3D播放 裝置或2D/3D播放裝置能夠播放3D影像。對於用於確保容納有3D影像的光碟的播放兼容 性的技術，有以下的專利文獻1中所記載的以往的技術。作為IS0(國際標準化組織)/IEC(國際電工委員會)MPEG(運動圖像專家組)和 ITU-T (電信標準化部門)VCEG (視頻編碼專家組)的共同項目的Joint Video Team(JVT 視頻聯合工作組)，在2008年7月完成了稱為Multiview Video Coding(MVC 多視點視頻 編碼)的MPEG-4AVC/H.264的修改標準的制定。MVC是對多個視點(視圖)的影像一起進 行編碼的標準，對預測編碼，不僅將影像的時間方向的相似性利用於預測編碼，還將視圖間 的相似性利用於預測編碼，從而與多個視圖的獨立的壓縮相比，更能夠提高壓縮效率。圖40是示出兩個視點的情況的預測參考的例子的圖。禁止由稱為基礎視圖(以 下，有時稱為第一視圖)的視圖參考其它的視圖，基礎視圖，由於能夠單獨解碼，因此與2D 播放裝置的親和性高。並且，對於MVC的多路復用方式，也正在進行MPEG-2系統標準的追 補版的標準化，已經發行了以下的非專利文獻1中所記載的草案。在非專利文獻1中，規定對MVC的影像流進行包多路復用的方法、以及讀入包多路 復用後的MVC的數據來進行反多路復用、提取MVC的比特流、輸入到解碼器為止這一連串的 工作被規定的系統目標解碼器等。基於規定的播放裝置，包括由系統目標解碼器規定的大小的緩衝器。如非專利文 獻1所述，在緩衝器中，按照離解碼器近的順序，包含基本流緩衝器(EB)、多路復用緩衝器 (MB)以及傳輸緩衝器(TB)。以下，將它們總稱為STD (System Target Decoder:系統目標 解碼器)緩衝器。可以認為，基於規定的播放裝置，若根據規定的數據的讀入定時和讀入速 率來進行工作，則不使STD緩衝器發生上溢和下溢，而能夠在規定的解碼時刻對各個幀進 行解碼。專利文獻1 (日本)國際公開第97/032437號非專利文獻1 :Text of IS0/IEC 13818-1 :2007/FPDAM 4-Transport of Multiview Video over ITU-T Rec H. 222. 0 | IS0/IEC13818-1說明以往的例子的問題。在圖39的以往的播放裝置中，在利用像MVC那樣的使用了視圖間的預測的圖像編 碼方法來試圖提高兩個視點圖像的編碼效率的情況下，在由其它的視圖(以下，稱為第二 視圖)參考之前，需要使用於視圖間的預測的第一視圖的幀已被解碼。這是在由相同的解 碼器進行第一視圖和第二視圖的解碼時也同樣的。並且，容納在光碟1801的以往的多路復用流的前提是，將相同的解碼時刻(解 碼時間戳。以下稱為DTS)賦予給第一視圖和第二視圖，瞬間地完成第一視圖的解碼。 而且，DTS以及顯示時刻(顯示時間戳。以下稱為PTS)是，根據MPEG-2系統標準的 PES(Packetized Elementary Stream 打包的基本流)數據包的頭、MVC的比特流內的參 數、或Blu-ray Disc等的應用標準中播放時被參考的資料庫信息等來能夠取得的。然而，在實際的播放裝置中，不能瞬間地完成第一視圖的解碼，因此，存在以下的
6問題。在以往的播放裝置中，根據DTS決定各個視圖的解碼時刻，但是，實際上，由於在 第一視圖的解碼開始時刻不能開始第二視圖的解碼，因此，不能決定第二視圖的解碼時刻。 也就是說，在以包含視圖間預測的方法來編碼了多個視圖的情況下，存在在基於被賦予的 DTS的解碼時刻不能解碼這具有本質性的第一問題。並且，在以往的系統目標解碼器中存在第二問題，S卩，由於在第一視圖的解碼瞬間 地完成的前提下規定了 STD緩衝器的大小，因此，在第一視圖的解碼不瞬間地完成的情況 下，在此期間，STD緩衝器發生上溢，不能將數據讀入到STD緩衝器，在DTS之前，後續幀的 數據不齊全。以下，參照圖41以及圖42說明第二問題。圖41示出在解碼瞬間地完成的情況下 的基本流緩衝器的佔有量，圖42示出在對第一視圖的解碼需要T_dec的時間的情況下的基 本流緩衝器的佔有量。在圖41中，在DTS1、DTS2以及DTS3，分別幀1、幀2以及幀3的第一視圖和第二視 圖的流數據同時被提取，並瞬間地被解碼。另一方面，在圖42中，在DTS1，幀1的第一視圖的流數據被提取，在相對於DTS1延 遲了 T_dec的時刻，幀1的第二視圖的流數據被提取，幀2以後也同樣進行處理。此時，在 時刻Tfull，導致基本流緩衝器發生上溢，在從時刻Tfull到第二視圖的解碼時刻(DTS1+T_ dec)為止的期間，不能讀入數據。其結果為，在DTS3，幀3的第一視圖的數據不齊全，導致 基本流緩衝器發生下溢。

發明內容
為了解決所述的問題，本發明的目的在於提供圖像解碼裝置或圖像編碼裝置，所 述圖像解碼裝置，在解碼不瞬間地完成的情況下，也能夠對利用視圖間預測編碼後的多個 視圖進行解碼；所述圖像編碼裝置，利用視圖間預測對多個視圖進行編碼，從而能夠進行解碼。為了解決所述的問題本發明的圖像解碼裝置，對以包含視圖間預測的方法編碼後 的具有多個視圖的比特流進行解碼，該多個視圖的各個視圖中包含圖片，所述圖像解碼裝 置，包括解碼處理部，對編碼後的第一視圖的比特流、以及參考所述第一視圖而編碼後的 第二視圖的比特流進行解碼；以及緩衝存儲器，被配置在所述解碼處理部的前級，以保持將 要輸入到所述解碼處理部的比特流；所述解碼處理部，在賦予給所述第一視圖以及所述第 二視圖的解碼時刻相同的情況下，在將賦予給所述第二視圖的解碼時刻與延遲時間相加而 得到的時刻，對所述第二視圖的圖片進行解碼，所述延遲時間是直到所述第一視圖的圖片 的解碼完成為止所需要的時間。據此，對第一視圖的圖片進行解碼後，參考第一視圖的圖片，對第二視圖的圖片進 行解碼。因此，能夠對利用視圖間預測編碼後的多個視圖進行解碼。並且，也可以是，根據賦予給所述比特流的數據讀入速率，所述比特流被讀入到所 述緩衝存儲器；所述解碼處理部，在對所述多個視圖中包含的各個視圖的比特流進行解碼 時，從所述緩衝存儲器提取將要解碼的所述各個視圖的比特流；在加上所述延遲時間而得 到的時刻，所述解碼處理部提取所述第二視圖的比特流的情況下，所述緩衝存儲器的大小為在所述解碼處理部提取所述各個視圖的比特流時所述緩衝存儲器不發生下溢的最小的 大小以上。據此，不導致因解碼延遲而引起的上溢，而編碼後的數據被讀入。因此，圖像解碼 裝置，能夠對數據更適當地進行解碼。並且，也可以是，所述緩衝存儲器的大小為，將規定大小與在所述延遲時間中根據 所述數據讀入速率將要被讀入的比特流的大小相加而得到的大小以上，所述規定大小是以 在賦予給所述各個視圖的解碼時刻所述各個視圖的比特流被提取為前提來決定的大小。據此，能夠決定緩衝存儲器的大小。並且，也可以是，所述解碼處理部，依次對所述多個視圖的比特流進行解碼；在將 所述多個視圖中包含的視圖的數量設為n、將所述多個視圖中包含的各個圖片的解碼所需 要的時間的最大值設為T、將所述數據讀入速率設為R、以及將所述規定大小設為D的情況 下，所述緩衝存儲器的大小為D+RXTX (n-1)以上的大小。據此，在依次對多個視圖的比特流進行解碼的情況下，更具體地決定緩衝存儲器 的大小。並且，也可以是，所述解碼處理部，對所述多個視圖的比特流並行進行解碼；在將 由視圖間預測參考的視圖的階層的最大值設為m、將所述多個視圖中包含的各個圖片的解 碼所需要的時間的最大值設為T、將所述數據讀入速率設為R、以及將所述規定大小設為D 的情況下，所述緩衝存儲器的大小為D+RXTX (m-1)以上的大小。據此，在對多個視圖的比特流並行進行解碼的情況下，更具體地決定緩衝存儲器 的大小。並且，也可以是，所述解碼處理部，還包括外部存儲器，用於存儲所述多個視圖中 包含的圖片；第一解碼器，對所述第一視圖的比特流進行解碼，使所述外部存儲器存儲在視 圖間預測所使用的圖片；以及第二解碼器，參考示出保持有所述圖片的所述外部存儲器內 的位置的管理信息，從所述外部存儲器獲得在視圖間預測所使用的圖片，從而對所述第二 視圖的比特流進行解碼。據此，即使包括兩個解碼器的圖像解碼裝置，各個解碼器也能夠共享用於視圖間 預測的參考圖像。並且，也可以是，在存在因所述延遲時間而未被讀入的比特流的情況下，以比賦予 給所述比特流的數據讀入速率高的速度，所述比特流被讀入到所述緩衝存儲器。據此，在解碼延遲發生的期間未被讀入的數據被讀入。因此，圖像解碼裝置，能夠 對數據更適當地進行解碼。並且，也可以是，所述解碼處理部，還包括外部存儲器，用於存儲所述多個視圖中 包含的圖片；第一解碼器，對所述第一視圖的比特流進行解碼，使所述外部存儲器存儲在視 圖間預測所使用的圖片；以及第二解碼器，參考示出保持有所述圖片的所述外部存儲器內 的位置的管理信息，從所述外部存儲器獲得在視圖間預測所使用的圖片，從而對所述第二 視圖的比特流進行解碼。據此，即使包括兩個解碼器的圖像解碼裝置，各個解碼器也能夠共享用於視圖間 預測的參考圖像。而且，這些共享是，在高速讀入比特流的情況下也能夠適用的。並且，也可以是，本發明的圖像編碼裝置，以包含視圖間預測的方法，對各個視圖中包含圖片的多個視圖進行編碼，所述圖像編碼裝置，包括編碼處理部，對所述多個視圖 進行編碼，將相同的解碼時刻賦予給所述多個視圖；以及速率控制部，在讀入編碼後的所述 多個視圖的圖像解碼裝置的緩衝存儲器的大小為，從規定大小減去在延遲時間中將要被讀 入的編碼後的所述多個視圖的數據大小而得到的大小以下的前提下，使編碼處理部進行編 碼，所述規定大小是估計在所述解碼時刻解碼瞬間地完成而決定的大小，所述延遲時間是 直到由視圖間預測參考的視圖的解碼完成為止所需要的時間。據此，以圖像解碼裝置不發生下溢的方式，多個視圖被編碼。並且，也可以是，所述速率控制部，在將編碼後的所述多個視圖的數量設為n、將所 述多個視圖中包含的各個圖片的解碼所需要的時間的最大值設為T、將讀入編碼後的所述 多個視圖時的數據讀入速率設為R、以及將所述規定大小設為D的情況下，所述圖像解碼裝 置的緩衝存儲器的大小為D-RXTX (n-1)以下的大小的前提下，使編碼處理部進行編碼。據此，能夠更具體地限制編碼。並且，也可以是，所述編碼處理部，還包括外部存儲器，用於存儲所述多個視圖中 包含的圖片；第一編碼器，對所述多個視圖中包含的第一視圖進行編碼，使外部存儲器存儲 在視圖間預測所使用的圖片；以及第二編碼器，參考示出保持有所述圖片的所述外部存儲 器內的位置的管理信息，從所述外部存儲器獲得在視圖間預測所使用的所述第一視圖的圖 片，從而利用視圖間預測對所述多個視圖中包含的第二視圖進行編碼。據此，即使包括兩個編碼器的圖像編碼裝置，各個編碼器也能夠共享用於視圖間 預測的參考圖像。並且，也可以是，本發明的圖像解碼方法，對以包含視圖間預測的方法編碼後的具 有多個視圖的比特流進行解碼，該多個視圖的各個視圖中包含圖片，所述圖像解碼方法，包 括解碼處理步驟，對編碼後的第一視圖的比特流、以及參考所述第一視圖而編碼後的第二 視圖的比特流進行解碼；以及數據保持步驟，在所述解碼處理步驟之前，保持將要輸入到解 碼處理步驟的比特流；在所述解碼處理步驟，在賦予給所述第一視圖以及所述第二視圖的 解碼時刻相同的情況下，在將賦予給所述第二視圖的解碼時刻與延遲時間相加而得到的時 刻，對所述第二視圖的圖片進行解碼，所述延遲時間是直到所述第一視圖的圖片的解碼完 成為止所需要的時間。據此，對第一視圖的圖片進行解碼後，參考第一視圖的圖片，對第二視圖的圖片進 行解碼。因此，能夠對利用視圖間預測編碼後的多個視圖進行解碼。並且，也可以是，本發明的圖像編碼方法，以包含視圖間預測的方法，對各個視圖 中包含圖片的多個視圖進行編碼，所述圖像編碼方法，包括編碼處理步驟，對所述多個視 圖進行編碼，將相同的解碼時刻賦予給所述多個視圖；以及速率控制步驟，在讀入編碼後的 所述多個視圖的圖像解碼裝置的緩衝存儲器的大小為，從規定大小減去在延遲時間中將要 被讀入的編碼後的所述多個視圖的數據大小而得到的大小以下的前提下，使編碼處理步驟 進行編碼，所述規定大小是估計在所述解碼時刻解碼瞬間地完成而決定的大小，所述延遲 時間是直到由視圖間預測參考的視圖的解碼完成為止所需要的時間。據此，以圖像解碼裝置不發生下溢的方式，多個視圖被編碼。並且，也可以是，使計算機執行所述圖像解碼方法中包括的步驟的程序。據此，實現作為程序的所述圖像解碼方法。
並且，也可以是，使計算機執行所述圖像編碼方法中包括的步驟程序。據此，實現作為程序的所述圖像編碼方法。根據本發明，在解碼不瞬間地完成的情況下，也能夠對由包含視圖間預測的方法 編碼後的比特流進行解碼。


圖1是本發明的實施例1涉及的3D圖像解碼裝置的方框圖。圖2是示出本發明的實施例1中的各個視圖的實際的解碼時刻以及顯示時刻的例 子的圖。圖3是示出本發明的實施例1中的各個視圖的實際的解碼時刻的決定方法的流程 圖。圖4是示出圖3所示的各個視圖的實際的解碼時刻的決定方法的變形例的流程 圖。圖5是本發明的實施例1涉及的3D圖像解碼裝置中的補償緩衝器的說明圖。圖6是示出本發明的實施例1涉及的補償緩衝器的效果的圖。圖7是示出圖5所示的補償緩衝器的配置的變形例的圖。圖8是示出圖5所示的補償緩衝器的配置的變形例的圖。圖9是說明具有兩個以上的視圖的情況的圖。圖10是說明高速讀入的情況下的工作的圖。圖11是示出本發明的實施例1涉及的結構要素的圖。圖12是本發明的實施例1涉及的3D圖像解碼裝置的變形例的方框圖。圖13是示出本發明的實施例1的變形例中的各個視圖的實際的解碼時刻以及顯 示時刻的例子的圖。圖14是本發明的實施例2涉及的3D圖像解碼裝置的方框圖。圖15是示出本發明的實施例2中的各個視圖的實際的解碼時刻以及顯示時刻的 例子的圖。圖16是示出圖15所示的各個視圖的實際的解碼時刻以及顯示時刻的變形例的圖。圖17是示出多個視圖的參考關係的例子的圖。圖18是本發明的實施例3涉及的3D圖像編碼裝置的方框圖。圖19是示出本發明的實施例3涉及的3D圖像編碼裝置的效果的圖。圖20是本發明的實施例3涉及的3D圖像編碼裝置的變形例的方框圖。圖21是本發明的實施例4涉及的3D圖像解碼裝置的方框圖。圖22是示出具有兩個解碼器的3D圖像解碼裝置能夠播放的PTS以及DTS的一個 例子的圖。圖23是本發明的實施例4涉及的3D圖像編碼裝置的方框圖。圖24是示出圖22所示的PTS以及DTS的決定方法的一個例子的流程圖。圖25是示出具有兩個解碼器的3D圖像解碼裝置能夠播放的PTS以及DTS的一個 例子的圖。
圖26是示出圖25所示的PTS以及DTS的決定方法的一個例子的流程圖。圖27是本發明的實施例4涉及的3D圖像解碼裝置的變形例的方框圖。圖28是本發明的實施例4涉及的3D圖像解碼裝置的變形例的方框圖。圖29是本發明的實施例5涉及的3D圖像解碼裝置的方框圖。圖30是示出具有倍性能解碼器的3D圖像解碼裝置能夠播放的PTS以及DTS的一 個例子的圖。圖31是本發明的實施例5涉及的3D圖像編碼裝置的方框圖。圖32是示出圖30所示的PTS以及DTS的決定方法的一個例子的流程圖。圖33是示出具有倍性能解碼器的3D圖像解碼裝置能夠播放的PTS以及DTS的一 個例子的圖。圖34是示出圖33所示的PTS以及DTS的決定方法的一個例子的流程圖。圖35是本發明的實施例6涉及的3D圖像解碼裝置中的解碼處理切換判斷流程 圖。圖36是本發明的實施例6涉及的3D圖像解碼裝置的方框圖。圖37是本發明的實施例6涉及的3D圖像解碼裝置中的解碼處理切換判斷流程 圖。圖38是本發明的實施例6涉及的3D圖像解碼裝置的方框圖。圖39是以往的3D影像播放裝置的說明圖。圖40是示出MVC中的兩個視點圖像編碼的預測參考的例子的圖。圖41是示出3D圖像播放時的緩衝器管理的圖。圖42是示出3D圖像播放時的緩衝器管理的問題的圖。
具體實施例方式以下，參照

本發明的實施例。(實施例1)首先，參照

本發明涉及的實施例1。圖1是實施例1的3D圖像解碼裝置001的方框圖。圖1的3D圖像解碼裝置001 包括解碼器112e，該解碼器112e具有以3D影像的幀率的2倍的速度來對3D影像的一側視 圖的影像進行解碼的能力。而且，解碼器112e對第一視圖以及第二視圖這兩個視圖進行解 碼。由於參考第一視圖對第二視圖進行了編碼，因此，3D圖像解碼裝置001被構成為，正在 對第二視圖進行解碼中能夠參考第一視圖的解碼圖像。3D圖像解碼裝置001與以往的播放裝置不同，即使在第一視圖的解碼不瞬間地完 成的情況下，在對各個視圖實際地進行解碼的時刻，也能夠對各個視圖的流數據進行解碼。說明3D圖像解碼裝置001的工作。輸入後的多路復用比特流101，輸入到STD緩 衝器902。而且，通過進行反多路復用，從而比特流被分離。然後，對第一視圖的比特流，根 據DTS輸入到解碼器112e，對第二視圖的比特流，根據考慮到第一視圖的解碼所需要的時 間的解碼時刻(以下，稱為DTS_M0D)輸入到解碼器112e。在此，對於多路復用方式，利用MPEG-2系統的傳輸流。而且，在進行反多路復用 時，由圖中不示出的反多路復用單元，從傳輸數據包列中分離PES數據包，從而獲得容納在PES數據包的有效負載的比特流。而且，多路復用方式，不僅限於MPEG-2系統的傳輸流。例如，多路復用方式也 可以是，應用標準中擴展了功能的傳輸流，或者，由MPEG規定的MP4文件格式，進一步， 由 IETF (Internet Engineering TaskForce 網際網路工程任務組)規定的 RTP (Real Time streaming Protocol 實時流協議)等用於經由網絡的流式分發的方式。解碼器112e，對輸入後的多路復用比特流101進行解碼，根據PTS輸出解碼圖像。 開關903，將輸出後的圖像分離為第一視圖的解碼圖像114以及第二視圖的解碼圖像115。 而且，分離後的圖像，經由視頻輸出接口 116，被顯示在3D顯示器117上，以作為3D圖像。解碼器112e，在解碼處理中，將在畫面間預測編碼中參考的解碼後的幀，複製到外 部存儲器109上的第一幀存儲器110c以及第二幀存儲器121，直到不被參考為止，保持在第 一幀存儲器110c以及第二幀存儲器121。在此，在第一幀存儲器110c容納第一視圖的幀， 在第二幀存儲器121容納第二視圖的幀。在各個幀存儲器保持多個幀。因此，解碼器112e，通過保持第一幀存儲器管理信息 108g以及第二幀存儲器管理信息120，從而管理哪個時刻的幀被保持在第一幀存儲器110c 以及第二幀存儲器121上的哪個位置。在此，對於第二視圖的編碼，使用視圖間預測編碼，該視圖間預測編碼利用第一視 圖的幀進行預測。因此，解碼器112e需要，對第二視圖的解碼，參考第一視圖的解碼圖像。 於是，解碼器112e，每當第一視圖的幀的解碼結束時，更新第一幀存儲器管理信息108g。而 且，正在進行第二視圖的解碼中，也保持第一幀存儲器管理信息108g。解碼器112e，根據第 一幀存儲器管理信息108g，參考保持在第一幀存儲器110c的第一視圖的所希望的幀的解 碼圖像。而且，解碼器112e，對以包含視圖間預測編碼的編碼方式編碼後的第二視圖的比特 流進行解碼。而且，對於第一視圖的比特流，不參考其它的視圖，而能夠單獨地進行解碼。因此， 解碼器112e跳讀第二視圖的比特流，從而能夠將3D圖像解碼裝置001作為2D圖像解碼裝
置使用。並且，在解碼器112e的第二視圖的解碼處理中，檢測出比特流Syntax異常等某種 異常的情況下，在達到比特流的隨機存取點(跳入播放可能點)等，從而能夠重新開始正常 解碼為止的期間，3D圖像解碼裝置001也可以僅顯示第一視圖的解碼圖像。並且，在檢測出 所述的異常的情況下，3D圖像解碼裝置001也可以，顯示第一視圖的解碼圖像，以作為第二 視圖的解碼圖像。根據所述的顯示等，3D圖像解碼裝置001能夠減輕視聽人的不快感。並且，在解碼器112e的第一視圖的解碼處理中，檢測出比特流Syntax異常等某種 異常的情況下，也不能對參考第一視圖的第二視圖正常地進行解碼。因此，3D圖像解碼裝 置001也可以，向上級系統通知解碼器112e的異常，在達到比特流的隨機存取點(跳入播 放可能點)等，從而能夠重新開始正常解碼為止的期間，繼續輸出最後第一視圖以及第二 視圖都正常地被解碼的幀。根據所述的輸出等，3D圖像解碼裝置001能夠減輕視聽人的不 快感。圖2是示出3D圖像解碼裝置001的解碼處理中的各個視圖的PTS以及DTS的關 系的一個例子的圖。在圖2的例子中，各個視圖的幀，以顯示順序被編碼為I、B、B以及P型 (P型僅進行單方向的預測。B型包含雙方向的預測)，以編碼順序被編碼為I、P、B以及B型。在視圖間預測中，由第二視圖參考第一視圖時，僅參考緊前被顯示的第一視圖的幀。並 且，第一視圖以及第二視圖交替被顯示。在本例子中，首先，第一視圖的開頭幀II被解碼。而且，第二視圖的開頭幀P1，參 考第一視圖的開頭幀II。因此，直到第一視圖的開頭幀II的解碼完成為止，不能開始第二 視圖的開頭幀P1的解碼。3D圖像解碼裝置001，由於利用顯示幀率的倍速度的解碼器112e， 因此，對第一視圖的開頭幀11的解碼需要幀周期A t/2 ( A t = 1/幀率)。在此，由PES數據包的頭部以及MVC流內的HRD(HypotheticalReference Decoder 假想參考解碼器)相關的參數等得到的DTS值，在第一視圖與第二視圖之間相同。 因此，第二視圖的開頭幀P1的實際的解碼時刻DTS_M0D被決定為，第一視圖的開頭幀II的 DTS 的 A t/2 後。並且，由於第一視圖的幀P4將第一視圖的幀II使用於預測，因此，本來，在第一 視圖的幀II的解碼完成後，能夠開始第一視圖的幀P4的解碼。但是，在3D圖像解碼裝置 001中，由一個解碼器進行第一視圖和第二視圖的解碼，因此，不能與第二視圖的幀P1同時 進行解碼。於是，第一視圖的幀P4的DTS為，在第二視圖的幀P1的DTS_M0D的At/2後。 以後，以At/2間隔來交替地開始第一視圖和第二視圖的幀的解碼。其次，說明PTS。針對顯示順序，解碼順序最晚的是，第二視圖的B幀。因此，以能 夠顯示第二視圖的B幀的時刻為基準，決定第一視圖以及第二視圖的幀的PTS。具體而言， 由於解碼器112e對一個幀的解碼需要A t/2,因此，第二視圖的幀B2的PTS為DTS_M0D的 At/2後。以該時刻為基準，第一視圖的開頭幀II的PTS為DTS的3 A t/2後，第二視圖的 開頭幀P1的PTS為DTS_M0D的3 A t/2後。在此，3D圖像的顯示方式有，同時顯示第一視圖和第二視圖的方式，以及如3D圖 像解碼裝置001交替顯示第一視圖和第二視圖的方式。在設想對應於前者的方式的情況下，可以考慮的是，在多路復用比特流101，第一 視圖和第二視圖的PTS被設定為相同的值。在這些多路復用比特流輸入到3D圖像解碼裝 置001的情況下，即，在由PES數據包的頭部以及MVC流內的HRD (Hypothetical Reference Decoder)相關的參數等得到的DTS在第一視圖與第二視圖之間相同的情況下，如圖2的例 子，也可以決定第二視圖的實際的PTS，以能夠交替顯示第一視圖和第二視圖。進而，作為其它的例子，可以設想的是，從PES數據包的頭部能夠得到的PTS僅是 第一視圖的PTS，根據第一視圖的PTS決定第二視圖的PTS，不將第二視圖的PTS容納到PES 數據包的頭部。或者，可以設想的是，將容納到PES數據包的頭部的第二視圖的PTS固定為 規定的值。例如，還可以設想的是，總是將容納的PTS固定為0，根據第一視圖的PTS決定實 際的PTS。在這些情況下，如圖2的例子，也可以決定第二視圖的實際的PTS，以能夠交替顯 示第一視圖和第二視圖。圖3是示出3D圖像解碼裝置001中決定第一視圖和第二視圖的解碼時刻的工作 的流程圖。首先，解碼器112e，獲得PES數據包頭所示的各個視圖的DTS (S1000)。在此，在PES 數據包頭並不容納所有的視圖的DTS。因此，在PES數據包頭不示出DTS的情況下，解碼器 112e也可以，根據另外獲得的幀率信息等來決定DTS。並且，也可以根據PES數據包所容納 的MVC流的HRD相關信息來決定DTS。
其次，解碼器112e，判斷處理對象是否為第一視圖(S1001)。在此，若是第一視圖 (S1001的「是」)，解碼器112e，則決定根據獲得的DTS開始解碼(S1002)。另一方面，若不 是第一視圖(S1001的「否」)，解碼器112e，則考慮第一視圖的解碼所需要的時間，將DTS與 幀周期A t的1/2時間相力口，決定二視圖的解碼時刻DTS_M0D(S1003)。圖4是示出圖3的工作的變形例的流程圖。在該例子中，解碼器112e，判斷處理對象是否為第一視圖(S1001)。在此，在不是 第一視圖的情況下(S1001的「否」)，解碼器112e，參考DTS變更用的輔助信息，獲得DTS的 加法值DTS_DELTA(S1004)。其次，解碼器112e，將DTS與DTS_DELTA相加，決定第二視圖的 解碼時刻 DTS_M0D(S1005)。例如，利用MVC流內的輔助信息容納用的數據容納單元，在隨機存取單元的每個 開頭等的規定的位置能夠傳輸DTS_DELTA。在此，在合併第一視圖和第二視圖的數據來定義 一個存取單元的情況下，有可能按照輔助信息容納用的容納單元、以及像素數據容納用的 容納單元等的容納單元的種類，存取單元內的配置順序受限制。此時，也可以配置輔助信息容納用的容納單元，從而在製作存取單元時不發生容 納單元的重新排列。例如，存在需要將輔助信息用的容納單元配置在像素數據信息用的容 納單元之前的情況。此時，在將輔助信息作為第二視圖的數據來容納的情況下，在結合第一 視圖和第二視圖的數據時，輔助信息位於第一視圖的像素數據之後，從而發生容納單元的 重新排列。因此，也可以預先將輔助信息作為第一視圖的數據來配置在第一視圖的像素數 據之前。並且，也可以將示出DTS_DELTA的輔助信息容納在MPEG-2系統標準中的傳輸流內 (例如，可以利用描述符等)、或在Blu-ray Disc等的應用標準中的播放時被參考的資料庫 信息內。並且，輔助信息，可以示出DTS_DELTA的絕對值，也可以間接地示出幀間隔或其它 的基準時間間隔的整數倍、或整數的1倍等的DTS_DELTA的值。進而，也可以將DTS_M0D作 為輔助信息來傳輸。而且，也可以同樣傳輸用於決定第二視圖的實際的PTS的輔助信息。在所述內容中設想了由兩個視圖構成的流的3D顯示，但是，在從三個以上的視圖 中選擇兩個視圖來進行解碼並顯示的情況下，追加從多個視圖中選擇兩個視圖的步驟即 可。並且，也可以設想以下的用途，即，不進行3D顯示而一邊對多個視圖進行切換 一邊顯示，或者，同時劃分並顯示畫面。在這些情況下，也以能夠單獨進行解碼的第一 視圖為基準，來決定後續視圖的DTS_M0D。例如，在顯示三個視圖的情況下，若以幀周 期At的1/3的時間來能夠完成各個視圖的解碼，則可以將第二視圖的DTS_M0D決定為 DTS+(l/3) X At，將第三視圖的 DTS_M0D 決定為 DTS+(2/3) X At。而且，在此說明了的幀中包含構成幀的場。而且，本方法可以適用於逐行影像，也 可以適用於隔行影像。其次，說明3D圖像解碼裝置001包括的STD緩衝器902。對於以往的播放裝置，像 所述的第二問題那樣，在3D圖像解碼裝置001中考慮第一視圖的解碼所需要的時間來決定 第二視圖的解碼時刻的情況下，在第一視圖的解碼期間，解碼器112e不能讀入第二視圖的 比特流數據。因此，STD緩衝器902發生上溢。而且，其結果為，導致在DTS之前，後續幀數 據不齊全的問題。
因此，在3D圖像解碼裝置001中，為了避免因在第一視圖的解碼期間第二視圖的 比特流數據的讀入停止而引起的STD緩衝器的上溢，而除了包括以往的系統目標解碼器中 所規定的STD緩衝器以外，還包括新的補償緩衝器。圖5是示出3D圖像解碼裝置001的STD緩衝器902的結構的圖。由圖中不示出 的控制部，輸入後的多路復用比特流101，首先，輸入到傳輸緩衝器902a，從傳輸數據包中 分離PES數據包後，輸入到多路復用緩衝器902b。接著，從PES數據包的有效負載獲得的比 特流數據，輸入到基本流緩衝器902c。STD緩衝器902，除了包括基本流緩衝器902c以外， 還包括補償緩衝器902d，以作為容納比特流數據的緩衝器。在圖5的例子中，分開示出了基本流緩衝器902c和補償緩衝器902d，但是，兩者的 作用都是容納從PES數據包的有效負載中分離的比特流數據。因此，STD緩衝器902，也可 以包括具有加上這些兩個緩衝器的大小的大小的單一的緩衝器，以作為比特流數據容納用 的緩衝器。而且，根據第一視圖和第二視圖的解碼時刻，各個視圖的比特流數據，從基本流緩 衝器902c以及補償緩衝器902d中的任一個緩衝器，輸入到解碼器112e。圖6示出，在3D圖像解碼裝置001中，不使STD緩衝器902發生上溢以及下溢而 能夠對在圖42以例子示出的以往的播放裝置中發生問題的比特流數據進行解碼。圖6的 圖表內的實線和虛線分別示出，3D圖像解碼裝置001和以往的播放裝置中的緩衝器佔有量 的變化。在以往的播放裝置中，在時刻T1發生了上溢，但是，由於在STD緩衝器902中包括 補償緩衝器902d，因此，能夠不發生上溢而繼續讀入比特流數據。其結果為，在DTS3，幀3 的第一視圖的數據已齊全，3D圖像解碼裝置001能夠實現不間斷且連續的解碼。圖7以及圖8是示出，以不同通道來對第一視圖和第二視圖的數據進行處理時的 STD緩衝器902的變形例的圖。首先，說明圖7。多路復用比特流101，由開關913，根據PIDpacketlndicator 包 標識符)等的傳輸流數據包的標識信息，分離為第一視圖的數據包101b和第二視圖的數據 包101e。在僅播放第一視圖的情況下，在開關913，僅選擇第一視圖的傳輸數據包，而丟棄 第二視圖的傳輸數據包。第一視圖的數據包，通過傳輸緩衝器9021a、多路復用緩衝器9021b以及基本流緩 衝器9021c。第二視圖的數據包，通過傳輸緩衝器9022a、多路復用緩衝器9022b、基本流緩 衝器9022c以及補償緩衝器9022d。第一視圖和第二視圖的比特流數據分別，根據解碼時 刻，經由開關914輸入到解碼器112e。圖7所示的STD緩衝器902的結構為，針對第一視圖，與以往的STD緩衝器之間具 有兼容性。而且，包括與第二視圖相對應的補償緩衝器9022d。根據這些結構，能夠解決因 兩個視圖而引起的STD緩衝器的問題。圖8所示的STD緩衝器902，在開關914的後級包括補償緩衝器9022d。而且，即 使視圖的數量為三個以上，也與圖7和圖8所示的變形例相同，開關913和開關914選擇視 圖，從而STD緩衝器902能夠以不同通道來對各個視圖進行處理。進而，在與圖7的結構相 同的情況下，也可以將補償緩衝器共享於第二視圖和第三視圖以後的視圖。其次，說明補償緩衝器9022d的大小。首先，在從多路復用緩衝器向基本流緩衝器的數據的流入率的最大值為Rin的情況下，最大流入率Rin乘以第一視圖的解碼時間(等於幀周期At的1/2)而得到的數據量 DATA_IN，在第一視圖的解碼期間內，流入到基本流緩衝器902c。公式1示出，此時的計算式。DATA_IN = (1/2) X AtXRin (公式 1)如非專利文獻1規定，最大流入率Rin是，根據多路復用比特流101中的MVC流的 最大比特率、或根據MVC流所屬的等級中規定的最大率決定的。在此，等級是指，規定比特 率、緩衝器大小、圖像大小以及幀率等的參數上限值的信息，按照每個等級，參數上限值不 同。並且，由於能夠將等級以及MVC流的比特率等的信息，編碼在MVC的比特流內，因此，3D 圖像解碼裝置001，獲得這些信息，從而決定最大流入率Rin。但是，DATA_IN的上限值由基 本流緩衝器的大小EB_SIZE限制。進而，圖42的例子等所示的基本流緩衝器的上溢，起因於在第一視圖的解碼時 刻不能提取第二視圖的數據。因此，補償緩衝器的大小在第二視圖的數據大小的上限 值(以下，稱為View2_MAX)以上即可。而且，View2_MAX的值，由MVC等的編碼標準規 定。例如，對於各個視像，原圖像和編碼圖像的比特量的比，由稱為MinCR (Minimum CompressionRatio 最小壓縮比)的參數規定。而且，在MinCR為2的情況下，編碼圖像的 數據大小被限制為原圖像的比特量的1/2以下。原圖像的數據大小是，能夠根據圖像大小 或色差信息的採樣方法來決定的。而且，也可以根據所有的視圖的總數據大小的上限值，決 定 View2_MAX。根據所述內容，也可以將DATA_IN、EB_SIZE以及View2_MAX這三個參數值中的大 小為最小的參數值(以下，稱為C0MP_BUF_SIZE)作為補償緩衝器的大小。或可以，從三個 參數值中單純地選擇任一個，以作為補償緩衝器的大小。如此設定的補償緩衝器的大小是， 假定最壞情況而決定的。實際的比特流中需要的補償緩衝器的大小，成為C0MP_BUF_SIZE 以下，其值是依存編碼條件而變動的。因此，3D圖像編碼裝置也可以，在比特流的編碼時，設定各個視圖的解碼所需要的 時間，根據設定的時間決定實際上需要的補償緩衝器的大小，對示出決定的大小的信息進 行編碼，以作為比特流內的參數信息。3D圖像解碼裝置，獲得該參數信息，從而能夠決定並 確保補償緩衝器的大小。而且，也可以包含設定為各個視圖的解碼所需要的時間的值，以作為參數信息。進 而，3D圖像編碼裝置也可以，估計各個視圖的解碼所需要的時間的多個候補，將與各個候補 相對應的補償緩衝器的大小包含在參數信息中。此時，3D圖像解碼裝置，選擇與自己的處理 速度相對應的候補，決定補償緩衝器的大小。圖5所示的補償緩衝器902d是比特流容納用的緩衝器。據此，與在包含PES數據 包的開銷(overhead)的多路復用緩衝器、或在除了 PES數據包以外還包含傳輸數據包的開 銷的傳輸緩衝器的階段設置補償緩衝器的情況相比，更能夠減少緩衝器大小。另一方面，例如，在將內置有基本流緩衝器的解碼器安裝在播放裝置中的情況下， 有在基本流緩衝器的階段不能設置補充緩衝器的情況。在此情況下，也可以將補充緩衝器 設置在與多路復用緩衝器等相同的階段。此時，比特流以PES數據包化的狀態而被容納在 多路復用緩衝器中，因此，將補償緩衝器的大小，作為C0MP_BUF_SIZE與PES數據包的頭部 以及其它的多路復用所涉及的開銷相加的值。規定在多路復用緩衝器保持的數據中開銷所佔有的比例，根據該規定，能夠決定開銷的大小。而且，也可以將補償緩衝器的大小設定為C0MP_BUF_SIZE以上的任意的值。通過 將如此決定的補償緩衝器與STD緩衝器相加，從而能夠解決問題。圖9是說明對兩個以上的視圖進行解碼時的C0MP_BUF_SIZE的決定方法的圖。在 此，需要兩個以上的視圖的解碼的情況中，除了包括顯示解碼後的所有的視圖的情況以外， 還包括以下的情況等，例如，在從十個以上的視圖中選擇兩個視圖來顯示時，選擇出的視圖 參考其它的視圖，因此需要四個以上的視圖的解碼的情況等。圖9示出對四個視圖進行解碼時的基本流緩衝器的佔有量的變化。由於從第一 視圖Viewl到第三視圖View3為止的代碼量小，因此，正在進行各個視圖的解碼中，在時刻 Tfulll、時刻Tfull2、時刻Tfull3中分別發生緩衝器的上溢。而且，不能輸入比特流。在對各個視圖的解碼分別需要幀周期At的1/4的時間的情況下，因從第一到第 三視圖的解碼而不能輸入到緩衝器的數據大小的最大值，成為(3/4)XRin。該值相當於 DATA_IN。而且，同樣，在視圖的數量為n、以及對各個視圖中包含的各個幀的解碼需要的時 間的最大值為Tmax的情況下，根據公式2得到相當於DATA_IN的值。DATA_IN = Rin X Tmax X (n_l)(公式 2)而且，將相當於View2_MAX的值，作為從View2到View4為止的三個視圖的數據大 小上限值的和。最後，也可以比較包含EB_SIZE的三種值，決定C0MP_BUF_SIZE。或者，也可 以單純地選擇三個參數值中的任一個，從而作為補償緩衝器的大小。通過將如此決定的補 償緩衝器與STD緩衝器相加，從而能夠解決問題。然而，在本方法中存在，隨著解碼的視圖的數量增加，補償緩衝器的大小而增加的 可能性。於是，例如，也可以將補償緩衝器的大小限制為視圖的數據大小的上限值的二倍 等，從而在編碼時，3D圖像編碼裝置滿足限制值。而且，也可以通過提高最大流入率，從而使補償緩衝器不需要。在第二視圖的解碼 期間內，追加地讀入將C0MP_BUF_SIZE的數據追加地讀入到基本流緩衝器即可。例如，在第 二視圖的解碼期間內，在數據讀入速率為Rin+C0MP_BUF_SIZE/(At/2)的情況下，讀入數 據。或者，也可以，通過簡化，從而以Rin的2倍的速率而被讀入。圖10是示出對與圖42相同的比特流進行解碼時的工作例的圖。圖表內的實線示 出本方法的工作，虛線示出以往的播放裝置的工作。在幀1的第二視圖的解碼期間內，以比 Rin高的速度讀入數據，因此，在DTS3，幀3的第一視圖的數據已齊全。也可以是，如圖10 的工作，在第一視圖的解碼期間內，僅在基本流緩衝器發生了上溢的情況下，在第二視圖的 解碼期間內，高速讀入數據。圖11是示出實施例1中的3D圖像解碼裝置的具有特徵性的結構要素的圖。實施 例1中的3D圖像解碼裝置包括由STD緩衝器902等安裝的緩衝存儲器900、以及由解碼器 112e等安裝的解碼處理部100。緩衝存儲器900，保持輸入到解碼處理部100的比特流。而且，解碼處理部100，對 第一視圖的比特流以及第二視圖的比特流進行解碼。在此，解碼處理部100，對第一視圖的 幀進行解碼後，參考解碼後的幀，對第二視圖的幀進行解碼。據此，對利用視圖間預測編碼 後的多個視圖進行解碼。
進而，通過使緩衝存儲器900的大小變大，或者，通過使緩衝存儲器900高速讀入 數據，從而對利用視圖間預測編碼後的多個視圖更準確地進行解碼。圖12是本發明的實施例1涉及的3D圖像解碼裝置的變形例的方框圖，也是示出 圖1所示的3D圖像解碼裝置001的變形例的圖。除了圖1所示的3D圖像解碼裝置001的結構以外，還在第一視圖的解碼圖像的路 徑上設置延遲緩衝器904。據此，能夠調整第一視圖的顯示定時。圖13是示出圖12所示的3D圖像解碼裝置001中的各個視圖的實際的解碼時刻以 及顯示時刻的例子的圖。進行調整，從而與圖2所示的解碼時刻以及顯示時刻相比，在相同 的時刻顯示第一視圖和第二視圖。圖12所示的3D圖像解碼裝置001，由延遲緩衝器904， 在相同的時刻能夠顯示第一視圖和第二視圖。如上所述，實施例1中的3D圖像解碼裝置001，即使在解碼不瞬間地完成的情況 下，也能夠對利用視圖間預測編碼後的多個視圖進行解碼。並且，根據適當的緩衝存儲器的 大小、或高速讀入，對利用視圖間預測編碼後的多個視圖更準確地進行解碼。(實施例2)其次，說明實施例2。實施例2中的3D圖像解碼裝置包括兩個解碼器。而且，各個 解碼器，分別以與顯示幀率相同的速度進行解碼。圖14是本發明的實施例2涉及的3D圖像解碼裝置的方框圖。圖14所示的3D圖 像解碼裝置001包括與圖7所示的STD緩衝器902相同的STD緩衝器902。而且，STD緩衝 器902，不經由圖7所示的開關914，而與兩個解碼器連接。第一解碼器107a對第一視圖進 行解碼，第二解碼器112a對第二視圖進行解碼。第一解碼器107a，將解碼後的幀複製到外部存儲器109的第一幀存儲器110a，將 示出幀的位置的第一幀存儲器管理信息108a複製到外部存儲器109的第一幀存儲器管理 信息108b。第二解碼器112a，將外部存儲器109的第一幀存儲器管理信息108b，複製到第二 解碼器112a的第一幀存儲器管理信息108c。而且，第二解碼器112a，通過參考第一幀存儲 器管理信息108c，從而參考第一視圖的幀，對第二視圖進行解碼。並且，第二解碼器112a， 為了利用於畫面間預測，將解碼後的幀複製到外部存儲器109的第二幀存儲器111，保持示 出幀的位置的第二幀存儲器管理信息113。作為解碼後的幀的第一視圖的解碼圖像114以及第二視圖的解碼圖像115，經由 視頻輸出接口 116，被顯示在3D顯示器117。在此，第一視圖的路程上配置延遲緩衝器904。 據此，調整第一視圖的顯示定時。圖15是示出圖14所示的3D圖像解碼裝置001中的各個視圖的實際的解碼時刻 以及顯示時刻的例子的圖。圖14所示的3D圖像解碼裝置001，由於包括兩個解碼器，因此能夠對兩個視圖並 行進行解碼。因此，不需要交替進行解碼。另一方面，在圖14所示的3D圖像解碼裝置001 中，發生與幀周期At相同的時間的解碼延遲。而且，由於第二視圖的幀參考第一視圖的 幀，因此，在第一視圖的幀被解碼後，第二視圖的幀被解碼。其結果為，第二視圖的幀，延遲 幀周期At的時間後，與第一視圖的幀同時被解碼。圖16是示出圖14所示的3D圖像解碼裝置001中的各個視圖的實際的解碼時刻
18以及顯示時刻的例子的圖，也是示出與圖15所示的例子不同的例子的圖。圖16所示的解碼時刻以及顯示時刻被調整，與圖15所示的解碼時刻以及顯示時 刻相比，在相同的時刻顯示第一視圖和第二視圖。如此，圖14所示的3D圖像解碼裝置001， 由延遲緩衝器904，也可以在相同的時刻顯示第一視圖和第二視圖。而且，實施例2中的3D圖像解碼裝置001包括兩個解碼器，但也可以包括三個以 上的解碼器。並且，在此情況下，在3D圖像解碼裝置001中，在對利用視圖間預測編碼後的 多個視圖進行解碼時，發生被參考的視圖的階層的延遲。圖17是示出五個視圖的視圖間預測的參考關係的例子的圖。階層2的視圖參考 階層1的視圖，階層3的視圖參考階層2。在此情況下，即使賦予了相同的DTS的幀，也發生 兩個幀的解碼延遲。也就是說，發生與比多個視圖中包含的視圖的數量少且被參考的視圖 的階層的數量相對應的延遲期間。因此，在最大流入率為Rin、對各個幀的解碼需要的時間的最大值為Tmax、以及由 視圖間預測參考的視圖的階層的最大值為m的情況下，根據公式3得到相當於作為延遲期 間中讀入的數據量的DATA_IN的值。DATA_IN = Rin X Tmax X (m_l) (公式 3)也可以將如此決定的補償緩衝器與STD緩衝器相加。如上所述，實施例2中的3D圖像解碼裝置001，即使在包括多個解碼器的情況下， 也通過共享用於視圖間預測的參考圖像，從而能夠對利用視圖間預測編碼後的多個視圖進 行解碼。(實施例3)其次，說明實施例3。實施例2中的3D圖像編碼裝置進行編碼，從而即使在3D圖 像解碼裝置發生解碼延遲的情況下，也能夠進行解碼。圖18是本發明的實施例3涉及的3D圖像編碼裝置的方框圖。第一視圖的圖像 601以及第二視圖的圖像611，經由開關701，輸入到編碼處理部200的編碼器607b。在此， 也可以是，第二視圖的圖像611，經由幀緩衝器621輸入。據此，編碼處理部200，能夠使第 二視圖的圖像611的編碼開始，延遲到第一視圖的圖像601的編碼完成為止。編碼器607b，對第一視圖以及第二視圖進行編碼。並且，編碼器607b，將畫面間 預測所使用的第一視圖以及第二視圖的幀局部性地進行解碼，並分別複製到外部記存儲器 604的第一幀存儲器605b以及第二幀存儲器606。並且，保持示出幀的位置的第一幀存儲 器管理信息603d以及第二幀存儲器管理信息608。而且，編碼器607b，利用第一幀存儲器 管理信息603d，參考第一幀存儲器605b，從而對第二視圖進行編碼。速率控制部201，使編碼器607b進行編碼，從而3D圖像解碼裝置以規定的比率讀 入編碼後的比特流。例如，調整壓縮率、幀率以及像素數等。據此，能夠抑制3D圖像解碼裝 置的上溢的發生。而且，編碼後的第一視圖以及第二視圖，經由系統編碼器610輸出，以作為多路復 用比特流101。圖19是示出本發明的實施例3涉及的3D圖像編碼裝置的效果的圖。圖18所示的3D圖像編碼裝置，估計3D圖像解碼裝置包括圖19所示的估計大小 的基本流緩衝器，從而進行編碼。也就是說，3D圖像編碼裝置，將從3D圖像解碼裝置實際上包括的基本流緩衝器的大小減去在發生解碼延遲的期間讀入的比特流的大小而得到的結 果作為限制值，從而進行編碼。據此，在發生解碼延遲的期間，也準確地讀入比特流。而且，對於在發生解碼延遲的期間讀入比特流的大小，與實施例1所示的DATA_IN 相同，例如，根據實施例1中的公式2得到。也可以將進行編碼時的限制值，作為從估計解碼 瞬間地完成而決定的規定大小減去在發生解碼延遲的期間讀入比特流的大小而得到的值。圖20是本發明的實施例3涉及的3D圖像編碼裝置的方框圖。圖20所示的3D圖 像編碼裝置包括第一編碼器602a以及第二編碼器607a這兩個編碼器。並且，3D圖像編碼 裝置包括連接於第一編碼器602a以及第二編碼器607a的速率控制部202。與圖14所示的兩個解碼器相同，兩個編碼器共享幀。也就是說，第一編碼器602a 對第一視圖的幀進行編碼後，局部性地進行解碼，從而將第一視圖的幀容納到第一幀存儲 器605a。而且，將示出幀的位置的第一幀存儲器管理信息603a複製到第一幀存儲器管理信 息603b。第二編碼器607a，將第一幀存儲器管理信息603b複製到第一幀存儲器管理信息 603c。而且，通過參考第一幀存儲器管理信息603c，從而參考第一視圖的幀，利用視圖間預 測，對第二視圖進行編碼。與圖18中的速率控制部201相同，速率控制部202進行編碼的控制。也就是說， 速率控制部202，使第一編碼器602a以及第二編碼器607a進行編碼，從而3D圖像解碼裝置 以規定的比率讀入編碼後的比特流。而且，由兩個編碼器編碼後的比特流，經由開關609輸
出o根據所述結構，即使包括兩個編碼器的3D圖像編碼裝置，也能夠限制3D圖像解碼 裝置所讀入的比特流的大小。進而，通過共享利用視圖間預測的圖像，從而能夠高效率地進 行編碼。而且，也可以設想，與圖18所示的3D圖像編碼裝置相同，第二視圖的圖像611，經 由幀緩衝器621輸入。據此，編碼處理部200，能夠使第二視圖的圖像611的編碼開始，延遲 到第一視圖的圖像601的編碼完成為止。進而，也可以設想，由第一編碼器602a編碼後的第一視圖的比特流103，經由流緩 衝器622輸出。據此，第一視圖的比特流103，以第二視圖的相同的時刻的幀的編碼完成的 定時而被重疊。因此，相同的時刻的幀以相同的定時而被重疊。如上所述，實施例3中的3D圖像編碼裝置，利用視圖間預測對多個視圖進行編碼， 從而圖像解碼裝置不發生下溢。並且，即使在包括多個編碼器的情況下，也通過共享用於視 圖間預測的參考圖像，從而能夠利用視圖間預測對多個視圖進行編碼。(實施例4)其次，參照

本發明涉及的利用圖像編碼方法以及圖像解碼方法的實施例 4。實施例4的前提是，對於DTS以及PTS的值，針對各個視圖能夠設定不同的值。而且，對 於DTS以及PTS，即使在根據標準分別設定為相同的值的情況下，也可以利用實施例4所示 的DTS以及PTS，以作為實際上解碼並顯示的時刻。圖21是實施例4的3D圖像解碼裝置的方框圖。圖21的3D圖像解碼裝置包括第 一解碼器107a以及第二解碼器112a這兩個解碼器，該兩個解碼器具有以與3D影像的幀率 相同的速度來對3D影像的一側視圖的影像進行解碼的能力。而且，第一解碼器107a對第 一視圖進行解碼，第二解碼器112a對第二視圖進行解碼。由於參考第一視圖對第二視圖進行了編碼，因此，第二解碼器112a被構成為，能夠參考第一視圖的解碼圖像。說明圖21的3D圖像解碼裝置的工作。輸入後的多路復用比特流101，在開關102， 被分離為第一視圖的比特流103和第二視圖的比特流104。而且，分離後的各個比特流，分 別輸入到第一輸入緩衝器105或第二輸入緩衝器106。進而，輸入後的各個比特流，根據 DTS，輸入到第一解碼器107a或第二解碼器112a。第一解碼器107a以及第二解碼器112a，分別對輸入後的第一視圖的比特流103和 第二視圖的比特流104進行解碼。而且，各個解碼器，根據PTS，輸出第一視圖的解碼圖像 114或第二視圖的解碼圖像115。各個解碼圖像，經由視頻輸出接口 116，被顯示在3D顯示 器117上，以作為3D圖像。第一解碼器107a以及第二解碼器112a，在解碼處理中，將在畫面間預測編碼中參 考的解碼後的幀，複製到外部存儲器109上的第一幀存儲器110a或第二幀存儲器111。而 且，複製後的幀，直到不被參考為止，被保持在第一幀存儲器110a以及第二幀存儲器111。在各個幀存儲器保持多個幀，因此，第一解碼器107a以及第二解碼器112a的每一 個，通過保持第一幀存儲器管理信息108a以及第二幀存儲器管理信息113，從而管理哪個 時刻的幀被保持在第一幀存儲器110a或第二幀存儲器111上的哪個位置。在此，對於第二視圖的編碼，使用視圖間預測編碼，該視圖間預測編碼利用第一視 圖的幀進行預測。因此，第二解碼器112a需要，對第二視圖的解碼，參考第一視圖的解碼 圖像。於是，第一解碼器107a，每當幀的解碼結束時，將第一幀存儲器管理信息108a複製 到外部存儲器109上，以作為第一幀存儲器管理信息108b。而且，第二解碼器112a，在幀的 解碼開始之前，將第一幀存儲器管理信息108b複製到內部，保持為第一幀存儲器管理信息 108c。第二解碼器112a，根據第一幀存儲器管理信息108c，參考保持在第一幀存儲器 110a的第一視圖的所希望的幀的解碼圖像。而且，第二解碼器112a，對以包含視圖間預測 編碼的編碼方式編碼後的第二視圖的比特流104進行解碼。而且，對於第一視圖的比特流103，不參考其它的視圖，而能夠單獨地進行解碼。因 此，實施例4中的3D圖像解碼裝置，不使第二解碼器112a工作，而僅使第一解碼器107a，從 而也可以作為2D圖像解碼裝置來使用。並且，在第二解碼器112a的第二視圖的解碼處理中，檢測出比特流Syntax異常等 某種異常的情況下，3D圖像解碼裝置也可以，向上級系統通知第二解碼器112a的異常。而 且，3D圖像解碼裝置也可以，在達到比特流的隨機存取點(跳入播放可能點)等，從而能夠 重新開始正常解碼為止的期間，僅顯示第一視圖的解碼圖像。並且，也可以顯示第一視圖的 解碼圖像，以作為第二視圖的解碼圖像。根據所述的顯示等，能夠減輕視聽人的不快感。並且，在第一解碼器107a的第一視圖的解碼處理中，檢測出比特流Syntax異常等 某種異常的情況下，也不能對參考第一視圖的第二視圖正常地進行解碼。因此，3D圖像解碼 裝置也可以，向上級系統通知第一解碼器107a的異常。而且，3D圖像解碼裝置也可以，在達 到比特流的隨機存取點(跳入播放可能點)等，從而能夠重新開始正常解碼為止的期間，繼 續輸出最後第一視圖以及第二視圖都正常地被解碼的幀。根據所述的顯示等，能夠減輕視 聽人的不快感。圖22是示出圖21的3D圖像解碼裝置的解碼處理中的各個視圖的PTS以及DTS的關係的一個例子的圖。在圖22的例子中，各個視圖的幀，以顯示順序被編碼為I、B、B以 及P型(P型僅進行單方向的預測。B型包含雙方向的預測)，以編碼順序被編碼為I、P、B 以及B型。在視圖間預測中，由第二視圖參考第一視圖時，僅參考緊前被顯示的第一視圖的 幀。並且，第一視圖以及第二視圖交替被顯示。在本例子中，首先，第一視圖的開頭幀II被解碼。而且，第二視圖的開頭幀P1，參 考第一視圖的開頭幀II。因此，直到第一視圖的開頭幀II的解碼完成為止，不能開始第二 視圖的開頭幀P1的解碼。在圖21的3D圖像解碼裝置中，利用與顯示幀率相同速度的第一解碼器107a。因 此，對第一視圖的開頭幀II的解碼需要幀周期At(= 1/幀率)。據此，第二視圖的開頭幀 P1的DTS為，第一視圖的開頭幀11的DTS的At後。第一視圖的幀P4，將第一視圖的幀II 使用於預測。因此，第一視圖的幀II的解碼完成後，能夠開始解碼。在圖21的3D圖像解碼裝置中，由不同的解碼器對第一視圖和第二視圖進行解碼。 因此，能夠同時解碼第一視圖的幀P4和第二視圖的幀P1。據此，第一視圖的幀P4的DTS， 與第二視圖的幀P1的DTS相同。以後，按照第一視圖和第二視圖的幀B2和P4、B3和B2、 P7和B3、以及B5和P7的順序，以A t間隔，同時開始兩個視圖的幀的解碼。其次，說明PTS。針對顯示順序，解碼順序最晚的是，第二視圖的B幀。因此，以能 夠顯示第二視圖的B幀的時刻為基準，決定第一視圖以及第二視圖的幀的PTS。具體而言， 由於對一個幀的解碼需要At，因此，第二視圖的幀B2的PTS為DTS的At後。以該時刻 為基準，第一視圖的開頭幀II的PTS為DTS的5 At/2後，第二視圖的開頭幀PI的PTS為 DTS 的 2 At 後。圖23是製作圖21的3D圖像解碼裝置能夠解碼的比特流的3D圖像編碼裝置的一 個例子。圖23的3D圖像編碼裝置包括第一編碼器602a以及第二編碼器607a這兩個編碼 器，該兩個編碼器具有以與3D影像的幀率相同的速度來對3D影像的一側視圖的影像進行 編碼的能力。第一編碼器602a對第一視圖進行編碼，第二編碼器607a對第二視圖進行編 碼。由於參考第一視圖對第二視圖進行編碼，因此，第二編碼器607a被構成為，能夠參考第 一視圖的局部解碼圖像。用於參考局部解碼圖像的結構，與圖21所示的3D圖像解碼裝置相同。也就是說， 第二編碼器607a，根據第一幀存儲器管理信息603c，參考保持在第一幀存儲器605a的第一 視圖的所希望的幀的局部解碼圖像。而且，第二編碼器607a，以包含視圖間預測編碼的編碼 方式，對第二視圖的圖像611進行編碼。圖24是示出，在圖23的3D圖像編碼裝置的系統編碼器610中，按照圖22示出的 編碼順序，將DTS以及PTS交替地賦予給第一視圖的幀和第二視圖的幀的順序的流程圖。在 圖23的3D圖像編碼裝置中，通過根據圖24的流程圖賦予DTS以及PTS，從而能夠賦予圖 22示出的DTS以及PTS。據此，能夠製作在圖21的3D圖像解碼裝置中能夠不間斷地播放 3D影像的比特流。能夠將製作後的比特流記錄在光碟或硬碟來搬運。進而，能夠通過無線 LAN以及光纖維等的通信手段，傳輸到遠處。圖25是示出圖21的3D圖像解碼裝置的解碼處理中的各個視圖的PTS以及DTS 的關係的一個例子的圖。除了同時顯示第一視圖和第二視圖之處以外，與圖22相同。圖26是示出，在圖23的3D圖像編碼裝置的系統編碼器610中，按照圖25示出的編碼順序，將DTS以及PTS交替地賦予給向第一視圖的幀和第二視圖的幀的順序的流程圖。 在圖23的3D圖像編碼裝置中，通過根據圖26的流程圖賦予DTS以及PTS，從而能夠賦予圖 25示出的DTS以及PTS。據此，能夠製作在圖21的3D圖像解碼裝置中能夠不間斷地播放 3D影像的比特流。圖27是示出圖21的3D圖像解碼裝置的第一變形例的圖。對第二視圖進行解碼 的第二解碼器112b被構成為，能夠直接參考對第一視圖進行解碼的第一解碼器107b的第 一幀存儲器管理信息108b。根據該結構，不需要確保在外部存儲器109上以及第二解碼器 112b內保持第一視圖的幀存儲器管理信息的區域，從而能夠減少電路面積。圖27是示出圖21的3D圖像解碼裝置的第二變形例的圖。對第二視圖進行解碼 的第二解碼器112c被構成為，通過仿真對第一視圖進行解碼的第一解碼器107c的第一幀 存儲器管理信息108a的管理順序，從而保持與第一幀存儲器管理信息108a —致的第一幀 存儲器管理信息108e。在第二解碼器112c中也可以，在製作多路復用比特流101時，將對 管理順序的仿真需要的第一視圖的頭信息(幀的編碼型以及時間信息等)，嵌入到第二視 圖的比特流內。或者，也可以是，通過從圖28的3D圖像解碼裝置的上級系統向第二解碼器 112c通知等的方法，頭信息被通知到第二解碼器112c。如上所述，實施例4中的3D圖像編碼裝置，即使在包括多個編碼器的情況下，也通 過共享用於視圖間預測的參考圖像，從而能夠利用視圖間預測對多個視圖進行編碼。並且， 實施例4中的3D圖像解碼裝置，即使在包括多個解碼器的情況下，也通過共享用於視圖間 預測的參考圖像，從而能夠對利用視圖間預測編碼後的多個視圖進行解碼。(實施例5)參照

本發明涉及的利用圖像編碼方法以及圖像解碼方法的實施例5。實 施例5的前提是，對於DTS以及PTS的值，針對各個視圖能夠設定不同的值。而且，對於DTS 以及PTS，即使在根據標準分別設定為相同的值的情況下，也可以利用實施例5所示的DTS 以及PTS，以作為實際上解碼並顯示的時刻。圖29是示出實施例5的3D圖像解碼裝置的方框圖。圖29的3D圖像解碼裝置包 括解碼器112d，該解碼器112d具有以3D影像的幀率的2倍的速度來對3D影像的一側視圖 的影像進行解碼的能力。解碼器112d對第一視圖以及第二視圖這兩個視圖進行解碼。由 於參考第一視圖對第二視圖進行了編碼，因此，圖29的3D圖像解碼裝置被構成為，正在對 第二視圖進行解碼中能夠參考第一視圖的解碼圖像。說明圖29的3D圖像解碼裝置的工作。輸入後的多路復用比特流101，輸入到輸 入緩衝器901，根據DTS輸入到解碼器112d。解碼器112d，對輸入後的多路復用比特流101 進行解碼，根據PTS輸出解碼圖像。開關903，將輸出後的比特流，分離為第一視圖的解碼圖 像114以及第二視圖的解碼圖像115。各個解碼圖像，經由視頻輸出接口 116，被顯示在3D 顯示器117，以作為3D圖像。解碼器112d，在解碼處理中，將在畫面間預測編碼中參考的解碼後的幀，複製到外 部存儲器109上的第一幀存儲器110b以及第二幀存儲器111。而且，複製後的幀，直到不被 參考為止，被保持在第一幀存儲器110b以及第二幀存儲器111。在各個幀存儲器保持多個 幀，因此，解碼器112d，保持第一幀存儲器管理信息108f以及第二幀存儲器管理信息113， 管理哪個時刻的幀被保持在第一幀存儲器110b以及第二幀存儲器111上的哪個位置。
在此，對於第二視圖的編碼，使用視圖間預測編碼，該視圖間預測編碼利用第一視 圖的幀進行預測。因此，解碼器112d需要，對第二視圖的解碼，參考第一視圖的解碼圖像。 於是，解碼器112d，每當第一視圖的幀的解碼結束時，更新第一幀存儲器管理信息108f。而 且，正在進行第二視圖的解碼中，也保持第一幀存儲器管理信息108f。解碼器112d，根據第 一幀存儲器管理信息108f，參考保持在第一幀存儲器110b的第一視圖的所希望的幀的解 碼圖像。而且，解碼器112d，對以包含視圖間預測編碼的編碼方式編碼後的第二視圖的比特 流進行解碼。而且，對於第一視圖的比特流，不參考其它的視圖，而能夠單獨地進行解碼。因此， 解碼器112d跳讀第二視圖的比特流，從而能夠將3D圖像解碼裝置作為2D圖像解碼裝置使用。並且，在解碼器112d的第二視圖的解碼處理中，檢測出比特流Syntax異常等某種 異常的情況下，在達到比特流的隨機存取點(跳入播放可能點)等，從而能夠重新開始正常 解碼為止的期間，3D圖像解碼裝置也可以僅顯示第一視圖的解碼圖像。也可以顯示第一視 圖的解碼圖像，以作為第二視圖的解碼圖像。根據所述的顯示等，能夠減輕視聽人的不快感。並且，在解碼器112d的第一視圖的解碼處理中，檢測出比特流Syntax異常等某種 異常的情況下，也不能對參考第一視圖的第二視圖正常地進行解碼。因此，3D圖像解碼裝置 也可以，向上級系統通知解碼器112d的異常，在達到比特流的隨機存取點(跳入播放可能 點)等，從而能夠重新開始正常解碼為止的期間，繼續輸出最後第一視圖以及第二視圖都 正常地被解碼的幀。根據所述的輸出等，能夠減輕視聽人的不快感。圖30是示出圖29的3D圖像解碼裝置的解碼處理中的各個視圖的PTS以及DTS 的關係的一個例子的圖。在圖30的例子中，各個視圖的幀，以顯示順序被編碼為I、B、B以 及P型(P型僅進行單方向的預測。B型包含雙方向的預測)，以編碼順序被編碼為I、P、B 以及B型。在視圖間預測中，由第二視圖參考第一視圖時，僅參考緊前被顯示的第一視圖的 幀。並且，第一視圖以及第二視圖交替被顯示。在本例子中，首先，第一視圖的開頭幀II被解碼。而且，第二視圖的開頭幀P1，參 考第一視圖的開頭幀II。因此，直到第一視圖的開頭幀II的解碼完成為止，不能開始第二 視圖的開頭幀P1的解碼。圖29的3D圖像解碼裝置，利用顯示幀率的倍速度的解碼器112d， 因此，對第一視圖的開頭幀II的解碼需要幀周期At/2(At = 1/幀率)。因此，第二視圖的開頭幀P1的DTS為，第一視圖的開頭幀II的DTS的At/2後。 由於第一視圖的幀P4將第一視圖的幀II使用於預測，因此，本來，在第一視圖的幀II的解 碼完成後，能夠開始解碼。但是，在圖29的3D圖像解碼裝置中，由一個解碼器進行第一視 圖和第二視圖的解碼，因此，不能與第二視圖的幀P1同時進行解碼。於是，第一視圖的幀P4 的DTS為，在第二視圖的幀P1的DTS的At/2後。以後，以A t/2間隔來交替地開始第一 視圖和第二視圖的幀的解碼。其次，說明PTS。針對顯示順序，解碼順序最晚的是，第二視圖的B幀。因此，以能 夠顯示第二視圖的B幀的時刻為基準，決定第一視圖以及第二視圖的幀的PTS。具體而言， 由於對一個幀的解碼需要At/2，因此，第二視圖的幀B2的PTS為DTS的At/2後。以該時 刻為基準，第一視圖的開頭幀II的PTS為DTS的3 A t/2後，第二視圖的開頭幀PI的PTS為DTS的2 At後。圖31是製作圖29的3D圖像解碼裝置能夠解碼的比特流的3D圖像編碼裝置的一 個例子。圖31的3D圖像編碼裝置包括編碼器607b，該編碼器607b具有以3D影像的幀率 的倍速度來對3D影像的一側視圖的影像進行編碼的能力。編碼器607b對第一視圖以及第 二視圖進行編碼。由於參考第一視圖對第二視圖進行了編碼，因此，編碼器607b被構成為， 正在對第二視圖進行編碼中能夠參考第一視圖的局部解碼圖像。圖32是示出，在圖31的3D圖像編碼裝置的系統編碼器610中，按照圖30示出的 編碼順序，將DTS以及PTS交替地賦予給第一視圖的幀和第二視圖的幀的順序的流程圖。在 圖31的3D圖像編碼裝置中，通過根據圖32的流程圖賦予DTS以及PTS，從而能夠賦予圖 30示出的DTS以及PTS。據此，能夠製作在圖29的3D圖像解碼裝置中能夠不間斷地播放 3D影像的比特流。能夠將製作後的比特流記錄在光碟或硬碟來搬運。進而，能夠通過無線 LAN以及光纖維等的通信手段，傳輸到遠處。圖33是示出圖29的3D圖像解碼裝置的解碼處理中的各個視圖的PTS以及DTS 的關係的一個例子的圖。除了同時顯示第一視圖和第二視圖之處以外，與圖30相同。圖34是示出，在圖31的3D圖像編碼裝置的系統編碼器610中，按照圖33示出的 編碼順序，將DTS以及PTS交替地賦予給第一視圖的幀和第二視圖的幀的順序的流程圖。在 圖31的3D圖像編碼裝置中，通過根據圖34的流程圖賦予DTS以及PTS，從而能夠賦予圖 33示出的DTS以及PTS。據此，能夠製作在圖29的3D圖像解碼裝置中能夠不間斷地播放 3D影像的比特流。如上所述，實施例5的3D圖像編碼裝置，能夠利用視圖間預測對多個視圖進行編 碼。並且，實施例5的3D圖像解碼裝置，能夠對利用視圖間預測編碼後的多個視圖進行解碼。(實施例6)如圖22以及圖30所示，可見，根據3D圖像解碼裝置的結構(具有等速性能的雙 解碼器、或具有倍速性能的單解碼器)，DTS和PTS的賦予方法不同。於是，在實施例6中說 明，按照製作比特流時估計了的3D圖像解碼裝置的結構、與實際的3D圖像解碼裝置的結構 的組合，對解碼處理進行切換的方法。圖35是示出，在實際的3D圖像解碼裝置是具有等速性能的雙解碼器的情況下，按 照製作比特流時3D圖像編碼裝置所估計的3D圖像解碼裝置的結構，3D圖像解碼裝置對處 理進行切換的順序的流程圖。圖36示出，根據圖35所示的順序對處理進行切換的3D圖像 解碼裝置的例子。在實際的結構與估計的結構不同的情況下，圖36所示的3D圖像解碼裝置，通過 延遲緩衝器1601，使第二視圖的比特流延遲At/2，通過延遲緩衝器1602以及延遲緩衝器 1603，分別使第一視圖以及第二視圖的顯示延遲At。據此，能夠不間斷地播放3D影像。圖37是示出，在實際的3D圖像解碼裝置是具有倍速性能的單解碼器的情況下，按 照製作比特流時3D圖像編碼裝置所估計的3D圖像解碼裝置的結構，3D圖像解碼裝置對處 理進行切換的順序的流程圖。圖38示出，根據圖37所示的順序對處理進行切換的3D圖像 解碼裝置的例子。在實際的結構與估計的結構不同的情況下，圖38所示的3D圖像解碼裝置，由開關1701，將多路復用比特流101分離為第一視圖和第二視圖的比特流。而且，通過延遲緩 衝器1702，使第一視圖的比特流延遲At，通過延遲緩衝器1704，使第二視圖的比特流延遲 At/2。然後，第一視圖以及第二視圖的比特流，分別輸入到第一輸入緩衝器1703以及第二 輸入緩衝器1705，經由開關，輸入到解碼處理部100。以後的處理，與圖29所示的3D圖像
解碼裝置相同。因此，能夠不間斷地播放3D影像。如上所述，實施例6的3D圖像解碼裝置，在對利用視圖間預測編碼後的多個視圖 進行解碼時，通過使用緩衝器，從而調整解碼時刻以及顯示時刻。(其它的變形例)而且，根據所述的實施例說明了本發明，但是，當然，本發明不僅限於所述的實施 例。本發明也包含以下的情況。(1)具體而言，所述的各個裝置是，由微處理器、ROM (Read OnlyMemory 只讀存儲 器)、RAM(Random Access Memory 隨機存取存儲器)、硬碟單元、顯示器單元、鍵盤以及滑鼠 等構成的計算機系統。所述RAM或硬碟單元存儲有電腦程式。所述微處理器根據所述計 算機程序來工作，從而實現各個裝置的功能。在此，電腦程式是，為了實現規定的功能，組 合示出對計算機的指令的多個指令碼而構成的。(2)構成所述的各個裝置的構成要素的一部分或全部也可以，由一個系統 LSI (Large Scale Integration 大規模集成電路)構成。系統LSI是，將多個構成部集成 在一個晶片上而製造的超多功能LSI，具體而言，由微處理器、ROM、RAM等構成的計算機系 統。所述RAM存儲有電腦程式。所述微處理器根據所述電腦程式來工作，從而實現系 統LSI的功能。(3)構成所述的各個裝置的構成要素的一部分或全部也可以，由與各個裝置可裝 卸的ICdntegrated Circuit 集成電路)卡或單體的模塊構成。所述IC卡或所述模塊是， 由微處理器、R0M、RAM等構成的計算機系統。所述IC卡或所述模塊也可以包括所述的超多 功能LSI。微處理器根據電腦程式來工作，從而實現所述IC卡或所述模塊的功能。該IC 卡或該模塊也可以具有防竄改性。(4)本發明也可以是所述的方法。並且，也可以是由計算機實現這些方法的計算機 程序，還可以是由所述電腦程式構成的數位訊號。並且，本發明也可以，將所述電腦程式或所述數位訊號記錄到計算機可讀的記 錄介質，例如，記錄到軟盤、硬碟、CD-ROM、M0、DVD、DVD-ROM、DVD-RAM、BD (Blu-ray Disc)、半 導體存儲器等。並且，也可以是這些記錄介質所記錄的所述數位訊號。並且，本發明也可以，將所述電腦程式或所述數位訊號，經由電信電路、無線或 有線通信電路、以網際網路為代表的網絡、或數據廣播等傳輸。並且，本發明也可以，包括微處理器和存儲器的計算機系統，所述存儲器存儲所述 電腦程式，所述微處理器根據所述電腦程式工作。並且，也可以是，將所述程序或所述數位訊號記錄到所述記錄介質來傳送，或者， 將所述程序或所述數位訊號經由所述網絡傳送，從而由獨立的其它的計算機系統實施。(5)也可以是所述實施例、所述變形例、以及它們所示的構成要素的各個組合。而且，也可以從多個視圖中選擇的第一視圖不是基礎視圖。即使在第一視圖不是
26基礎視圖的情況下，也由本發明能夠得到相同的效果。並且，以3D圖像解碼裝置以及3D圖像編碼裝置中的例子為中心進行了說明，但 是，本發明不僅限於3D圖像解碼裝置以及3D圖像編碼裝置，也可以適用於利用視圖間預測 的圖像解碼裝置以及圖像編碼裝置。根據本發明的圖像解碼裝置以及圖像編碼裝置，通過利用MVC等的利用視圖間的 預測的高性能的圖像編碼方式，能夠將要求性能的增加抑制到最小限度，來對3D影像進行 編碼並解碼。據此，能夠向市場提供更高品位的3D影像的影片標題等的動畫內容，從而能 夠使電影市場或民用設備市場活性化。因此，本發明涉及的圖像解碼裝置以及圖像編碼裝 置，對電影產業或民用設備產業的利用可能性高。符號說明0013D圖像解碼裝置100解碼處理部101多路復用比特流101b，101e 數據包102,609,701,903,913,914,1701 開關103，104 比特流105，1703第一輸入緩衝器106，1705第二輸入緩衝器107a，107b，107c 第一解碼器108a, 108b, 108c, 108d, 108e, 108f, 108g, 603a, 603b, 603c, 603d 第一幀存儲器管
理信息109，604外部存儲器110a, 110b, 110c, 605a, 605b 第一幀存儲器111，121，606 第二幀存儲器112a，112b，112c 第二解碼器112d，112e 解碼器113，120,608第二幀存儲器管理信息114，115 解碼圖像116視頻輸出接口1173D 顯示器200編碼處理部201，202速率控制部601，611 圖像602a第一編碼器607a第二編碼器607b 編碼器610系統編碼器621幀緩衝器622流緩衝器
900緩衝存儲器901輸入緩衝器902STD 緩衝器902a，9021a，9022a 傳輸緩衝器(TB)902b，902lb，9022b 多路復用緩衝器(MB)902c, 9021c, 9022c 基本流緩衝器(EB)902d, 9022d 補償緩衝器904，1601，1602，1603，1702，1704 延遲緩衝器1801 光碟1802A,1802B,1802C,1803A,1803B, 1803C 流18042D播放裝置18053D播放裝置1806立體眼鏡
權利要求
一種圖像解碼裝置，對以包含視圖間預測的方法編碼後的具有多個視圖的比特流進行解碼，該多個視圖的各個視圖中包含圖片，所述圖像解碼裝置，包括解碼處理部，對編碼後的第一視圖的比特流、以及參考所述第一視圖而編碼後的第二視圖的比特流進行解碼；以及緩衝存儲器，被配置在所述解碼處理部的前級，以保持將要輸入到所述解碼處理部的比特流；所述解碼處理部，在賦予給所述第一視圖以及所述第二視圖的解碼時刻相同的情況下，在將賦予給所述第二視圖的解碼時刻與延遲時間相加而得到的時刻，對所述第二視圖的圖片進行解碼，所述延遲時間是直到所述第一視圖的圖片的解碼完成為止所需要的時間。
2.如權利要求1所述的圖像解碼裝置，根據賦予給所述比特流的數據讀入速率，所述比特流被讀入到所述緩衝存儲器，所述解碼處理部，在對所述多個視圖中包含的各個視圖的比特流進行解碼時，從所述 緩衝存儲器提取將要解碼的所述各個視圖的比特流，在加上所述延遲時間而得到的時刻，所述解碼處理部提取所述第二視圖的比特流的情 況下，所述緩衝存儲器的大小為在所述解碼處理部提取所述各個視圖的比特流時所述緩衝 存儲器不發生下溢的最小的大小以上。
3.如權利要求2所述的圖像解碼裝置，所述緩衝存儲器的大小為，將規定大小與在所述延遲時間中根據所述數據讀入速率將 要被讀入的比特流的大小相加而得到的大小以上，所述規定大小是以在賦予給所述各個視 圖的解碼時刻所述各個視圖的比特流被提取為前提來決定的大小。
4.如權利要求3所述的圖像解碼裝置，所述解碼處理部，依次對所述多個視圖的比特流進行解碼，在將所述多個視圖中包含的視圖的數量設為n、將所述多個視圖中包含的各個圖片的 解碼所需要的時間的最大值設為T、將所述數據讀入速率設為R、以及將所述規定大小設為 D的情況下，所述緩衝存儲器的大小為D+RXTX (n-1)以上的大小。
5.如權利要求3所述的圖像解碼裝置，所述解碼處理部，對所述多個視圖的比特流並行進行解碼，在將由視圖間預測參考的視圖的階層的最大值設為m、將所述多個視圖中包含的各個 圖片的解碼所需要的時間的最大值設為T、將所述數據讀入速率設為R、以及將所述規定大 小設為D的情況下，所述緩衝存儲器的大小為D+RXTX (m-1)以上的大小。
6.如權利要求2所述的圖像解碼裝置，所述解碼處理部，還包括外部存儲器，用於存儲所述多個視圖中包含的圖片；第一解碼器，對所述第一視圖的比特流進行解碼，使所述外部存儲器存儲在視圖間預 測所使用的圖片；以及第二解碼器，參考示出保持有所述圖片的所述外部存儲器內的位置的管理信息，從所 述外部存儲器獲得在視圖間預測所使用的圖片，從而對所述第二視圖的比特流進行解碼。
7.如權利要求1所述的圖像解碼裝置，在存在因所述延遲時間而未被讀入的比特流的情況下，以比賦予給所述比特流的數據 讀入速率高的速度，所述比特流被讀入到所述緩衝存儲器。
8.如權利要求7所述的圖像解碼裝置， 所述解碼處理部，還包括外部存儲器，用於存儲所述多個視圖中包含的圖片；第一解碼器，對所述第一視圖的比特流進行解碼，使所述外部存儲器存儲在視圖間預 測所使用的圖片；以及第二解碼器，參考示出保持有所述圖片的所述外部存儲器內的位置的管理信息，從所 述外部存儲器獲得在視圖間預測所使用的圖片，從而對所述第二視圖的比特流進行解碼。
9.一種圖像編碼裝置，以包含視圖間預測的方法，對各個視圖中包含圖片的多個視圖 進行編碼，所述圖像編碼裝置，包括編碼處理部，對所述多個視圖進行編碼，將相同的解碼時刻賦予給所述多個視圖；以及 速率控制部，在讀入編碼後的所述多個視圖的圖像解碼裝置的緩衝存儲器的大小為， 從規定大小減去在延遲時間中將要被讀入的編碼後的所述多個視圖的數據大小而得到的 大小以下的前提下，使編碼處理部進行編碼，所述規定大小是估計在所述解碼時刻解碼瞬 間地完成而決定的大小，所述延遲時間是直到由視圖間預測參考的視圖的解碼完成為止所 需要的時間。
10.如權利要求9所述的圖像編碼裝置，所述速率控制部，在將編碼後的所述多個視圖的數量設為n、將所述多個視圖中包含的 各個圖片的解碼所需要的時間的最大值設為T、將讀入編碼後的所述多個視圖時的數據讀 入速率設為R、以及將所述規定大小設為D的情況下，所述圖像解碼裝置的緩衝存儲器的大 小為D-RXTX (n-1)以下的大小的前提下，使編碼處理部進行編碼。
11.如權利要求9所述的圖像編碼裝置， 所述編碼處理部，還包括外部存儲器，用於存儲所述多個視圖中包含的圖片；第一編碼器，對所述多個視圖中包含的第一視圖進行編碼，使外部存儲器存儲在視圖 間預測所使用的圖片；以及第二編碼器，參考示出保持有所述圖片的所述外部存儲器內的位置的管理信息，從所 述外部存儲器獲得在視圖間預測所使用的所述第一視圖的圖片，從而利用視圖間預測對所 述多個視圖中包含的第二視圖進行編碼。
12.—種圖像解碼方法，對以包含視圖間預測的方法編碼後的具有多個視圖的比特流 進行解碼，該多個視圖的各個視圖中包含圖片，所述圖像解碼方法，包括解碼處理步驟，對編碼後的第一視圖的比特流、以及參考所述第一視圖而編碼後的第 二視圖的比特流進行解碼；以及數據保持步驟，在所述解碼處理步驟之前，保持將要輸入到解碼處理步驟的比特流； 在所述解碼處理步驟，在賦予給所述第一視圖以及所述第二視圖的解碼時刻相同的情 況下，在將賦予給所述第二視圖的解碼時刻與延遲時間相加而得到的時刻，對所述第二視圖的圖片進行解碼，所述延遲時間是直到所述第一視圖的圖片的解碼完成為止所需要的時 間。
13.一種圖像編碼方法，以包含視圖間預測的方法，對各個視圖中包含圖片的多個視圖 進行編碼，所述圖像編碼方法，包括編碼處理步驟，對所述多個視圖進行編碼，將相同的解碼時刻賦予給所述多個視圖；以及速率控制步驟，在讀入編碼後的所述多個視圖的圖像解碼裝置的緩衝存儲器的大小 為，從規定大小減去在延遲時間中將要被讀入的編碼後的所述多個視圖的數據大小而得到 的大小以下的前提下，使編碼處理步驟進行編碼，所述規定大小是估計在所述解碼時刻解 碼瞬間地完成而決定的大小，所述延遲時間是直到由視圖間預測參考的視圖的解碼完成為 止所需要的時間。
14.一種程序，使計算機執行權利要求12所述的圖像解碼方法中包括的步驟。
15.一種程序，使計算機執行權利要求13所述的圖像編碼方法中包括的步驟。
全文摘要
提供一種圖像解碼裝置，在解碼不瞬間地完成的情況下，也能夠對利用視圖間預測編碼後的多個視圖進行解碼。圖像解碼裝置包括解碼處理部(100)，對編碼後的第一視圖、和參考第一視圖而編碼後的第二視圖進行解碼；以及緩衝存儲器(900)，被配置在解碼處理部(100)；解碼處理部(100)，在賦予給第一視圖以及第二視圖的解碼時刻相同的情況下，在將賦予給第二視圖的解碼時刻與第一視圖的圖片的解碼完成為止所需要的延遲時間相加而得到的時刻，對第二視圖的圖片進行解碼。
文檔編號H04N7/32GK101861735SQ20098010101
公開日2010年10月13日 申請日期2009年9月14日 優先權日2008年9月18日
發明者佐佐木泰治, 矢羽田洋, 西孝啟, 遠間正真 申請人:松下電器產業株式會社