編碼裝置和編碼方法以及解碼裝置和解碼方法

2023-11-02 07:54:32 2

編碼裝置和編碼方法以及解碼裝置和解碼方法
【專利摘要】本發明涉及一種編碼裝置和編碼方法以及解碼裝置和解碼方法，其中可以減小在關於深度圖像的信息被包括在編碼流中的情況下的編碼流的編碼量。DPS編碼器將作為關於深度圖像的信息的深度圖像信息設置為與序列參數集和圖片參數集不同的DPS。切片編碼單元對深度圖像進行編碼，從而生成編碼數據。切片編碼單元傳送包含DPS和編碼數據的編碼流。本發明可適用於例如用於多視點圖像的編碼裝置。
【專利說明】編碼裝置和編碼方法以及解碼裝置和解碼方法

【技術領域】
[0001] 本技術涉及一種編碼裝置和編碼方法以及解碼裝置和解碼方法，具體地，涉及一 種被配置成在關於深度圖像的信息被包括在編碼流中的情況下減小編碼流的編碼量的編 碼裝置和編碼方法以及解碼裝置和解碼方法。

【背景技術】
[0002] 近年來，3D圖像已引起關注。作為觀看3D圖像的方案，如下方案（下文中稱為眼 鏡類型方案）是普遍的：戴上在顯示兩視點圖像之間的一個圖像時打開左眼快門而在顯示 另一圖像時打開右眼快門的眼鏡，並且觀看交替顯示的兩視點圖像。
[0003] 然而，在這樣的眼鏡類型方案中，觀看者需要與3D顯示裝置分開購買眼鏡，從而 降低了觀看者進行購買的購買意願。由於觀看者需要在觀看時戴上眼鏡，因此觀看者可能 感覺麻煩。因此，對在不需要戴上眼鏡的情況下來觀看3D圖像的觀看方案（下文中稱為非 眼鏡類型方案）的需求增加。
[0004] 在這樣的非眼鏡類型方案中，三個或更多個視點的視點圖像被顯示為使得可觀看 角度對於每個視點不同，因此觀看者可以在僅分別利用左眼和右眼觀看任意兩視點圖像時 觀看3D圖像而無需戴上眼鏡。
[0005] 作為在非眼鏡類型方案中顯示3D圖像的方法，設計了如下方法：獲取預定視點彩 色圖像和深度圖像，基於彩色圖像和深度圖像生成包括除預定視點之外的視點的多視點彩 色圖像，並顯示該多視點彩色圖像。這裡，多視點指的是是三個或更多個視點。
[0006] 作為對多視點彩色圖像和深度圖像進行編碼的方法，提出了分開對彩色圖像和深 度圖像進行編碼的方法（例如，參見專利文獻1)。
[0007] 引用列表
[0008] 非專利文獻
[0009] NPL1 :〃 Draft Call for Proposals ο η 3 D Video Coding Technology", INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION IS0/IEC JTC1/SC29/WG11C0DING OF MOVING PICTURES AND AUDI0，MPEG2010/N11679 廣州，中國，2010 年 10 月


【發明內容】

[0010] 技術問題
[0011] 然而，在關於深度圖像的信息被包括在編碼流中的情況下，沒有考慮編碼流的編 碼量的減小。
[0012] 本技術是鑑於這樣的情形而完成的，並且是用於在關於深度圖像的信息被包括在 編碼流中的情況下減小編碼流的編碼量的技術。
[0013] 問題的解決方案
[0014] 根據本技術的第一方面，提供了一種編碼裝置，其包括：設置單元，將作為關於深 度圖像的信息的深度圖像信息設置為不同於序列參數集和圖片參數集的參數集；編碼單 元，對深度圖像進行編碼以生成編碼數據；以及傳送單元，傳送包括由設置單元設置的參數 集和由編碼單元生成的編碼數據的編碼流。
[0015] 根據本技術的第一方面的編碼方法對應於根據本技術的第一方面的編碼裝置。
[0016] 根據本技術的第一方面，將作為關於深度圖像的信息的深度圖像信息設置為不同 於序列參數集和圖片參數集的參數集；對深度圖像進行編碼以生成編碼數據；並且傳送包 括參數集和編碼數據的編碼流。
[0017] 根據本技術的第二方面，提供了一種解碼裝置，其包括：獲取單元，從包括參數集 和深度圖像的編碼數據的編碼流中獲取參數集和編碼數據，該參數集中設置有作為關於深 度圖像的信息的深度圖像信息，並且該參數集不同於序列參數集和圖片參數集；解析處理 單元，從獲取單元獲取的參數集中解析深度圖像信息；以及解碼單元，對獲取單元獲取的編 碼數據進行解碼。
[0018] 根據本技術的第二方面的解碼方法對應於根據本技術的第二方面的解碼裝置。
[0019] 根據本技術的第二方面，從包括參數集和深度圖像的編碼數據的編碼流中獲取參 數集和編碼數據，該參數集中設置有作為關於深度圖像的信息的深度圖像信息，並且該參 數集不同於序列參數集和圖片參數集；從參數集中解析深度圖像信息；並且對編碼數據進 行解碼。
[0020] 根據第一方面的編碼裝置和根據第二方面的解碼裝置可以通過允許計算機執行 程序來實現。
[0021] 為了實現根據第一方面的編碼裝置和根據第二方面的解碼裝置，允許由計算機執 行的程序可以經由傳送介質來傳送或者可以記錄在記錄介質上以被提供。
[0022] 本發明的有利效果
[0023] 根據本技術的第一方面，可以在關於深度圖像的信息被包括在編碼流中的情況下 減小編碼流的編碼量。
[0024] 根據本技術的第二方面，可以對在關於深度圖像的信息被包括在編碼流中的情況 下減小了編碼流的編碼量的編碼流進行解碼。

【專利附圖】

【附圖說明】
[0025] 圖1是示出視差和深度的圖。
[0026] 圖2是示出應用本技術的實施例的編碼裝置的配置示例的框圖。
[0027] 圖3是示出圖2中的多視點圖像編碼單元的配置示例的框圖。
[0028] 圖4是示出編碼流的結構示例的圖。
[0029] 圖5是示出DPS的語法示例的圖。
[0030] 圖6是示出切片報頭的語法示例的圖。
[0031] 圖7是示出圖2中的編碼裝置的編碼處理的流程圖。
[0032] 圖8是示出圖7中的多視點編碼處理的細節的流程圖。
[0033] 圖9是示出圖8的DPS生成處理的細節的流程圖。
[0034] 圖10是示出應用本技術的實施例的解碼裝置的配置示例的框圖。
[0035] 圖11是示出圖10中的多視點圖像解碼單元的配置示例的框圖。
[0036] 圖12是示出圖10中的解碼裝置的解碼處理的流程圖。
[0037] 圖13是示出圖12中的多視點解碼處理的細節的流程圖。
[0038] 圖14是示出圖13中的生成處理的細節的流程圖。
[0039] 圖15是示出擴展SPS的語法示例的圖。
[0040] 圖16是示出擴展SPS的另一語法示例的圖。
[0041] 圖17是示出擴展slice_layer的定義的圖。
[0042] 圖18是示出擴展slice_layer的語法示例的圖。
[0043] 圖19是示出擴展切片報頭的語法示例的圖。
[0044] 圖20是示出擴展切片報頭的另一語法示例的圖。
[0045] 圖21是示出NAL單位的語法示例的圖。
[0046] 圖22是示出slice_layer的語法示例的圖。
[0047] 圖23是示出編碼流的另一結構示例的圖。
[0048] 圖24是示出實施例的計算機的配置示例的圖。
[0049] 圖25是示出應用本技術的電視機設備的總體配置示例的圖。
[0050] 圖26是示出應用本技術的可攜式電話的總體配置示例的圖。
[0051] 圖27是示出應用本技術的記錄再現設備的總體配置示例的圖。
[0052] 圖28是示出應用本技術的成像設備的總體配置示例的圖。

【具體實施方式】
[0053] 〈本說明書中的深度圖像（視差相關圖像）的描述〉
[0054] 圖1是示出視差和深度的圖。
[0055] 如圖1所示，當主體Μ的彩色圖像是由布置在位置C1處的攝像裝置cl和布置在 位置C2處的攝像裝置c2拍攝的時，作為在深度方向上攝像裝置cl (攝像裝置c2)與主體 的距離的主體Μ的深度Z由以下等式（a)來定義。
[0056] [數學式1]
[0057] Z = (L/d) X f . . . (a)
[0058] L是在水平方向上位置Cl與位置C2之間的距離（下文中稱為攝像裝置間距離）。 另外，d是通過從攝像裝置cl所拍攝的彩色圖像上的主體Μ的位置在水平方向上距該彩色 圖像的中心的距離ul減去攝像裝置c2所拍攝的彩色圖像上的主體Μ的位置在水平方向上 距該彩色圖像的中心的距離u2而獲得的值，S卩，視差。此外，f是攝像裝置cl的焦距，並且 在等式（a)中假設攝像裝置cl的焦距與攝像裝置c2的焦距相同。
[0059] 如等式（a)所表示的，視差d和深度Z可以唯一地進行轉換。因此，在本說明書中， 指示攝像裝置cl和c2所拍攝的兩視點彩色圖像之間的視差d的圖像以及指示深度Z的圖 像一般地稱為深度圖像。
[0060] 深度圖像可以是指示視差d或深度Z的圖像，並且可以將通過對視差d歸一化而 獲得的值、通過對深度Z的倒數1/Z歸一化而獲得的值等而非視差d或深度Z本身用作深 度圖像的像素值。
[0061] 通過以8位（0到255)對視差d歸一化而獲得的值I可以由以下等式（b)來獲得。 用於視差d的歸一化的位數不限於8位，而是可以使用其他位數，諸如10位或12位。
[0062] [數學式2]
[0063]

【權利要求】
1. 一種編碼裝置，包括： 設置單元，其將作為關於深度圖像的信息的深度圖像信息設置為不同於序列參數集和 圖片參數集的參數集； 編碼單元，其對所述深度圖像進行編碼以生成編碼數據；以及 傳送單元，其傳送包括由所述設置單元設置的參數集和由所述編碼單元生成的編碼數 據的編碼流。
2. 根據權利要求1所述的編碼裝置， 其中，所述設置單元在所述參數集中設置用於唯一地標識所述參數集的ID，以及 其中，所述傳送單元傳送包括與所述深度圖像對應的所述ID的所述編碼流。
3. 根據權利要求2所述的編碼裝置， 其中，所述設置單元在所述深度圖像的切片報頭中設置與切片單位的所述深度圖像對 應的所述ID，以及 其中，所述傳送單元傳送包括由所述設置單元設置的切片報頭的所述編碼流。
4. 根據權利要求1所述的編碼裝置，其中，所述設置單元對所述深度圖像信息執行差 分編碼，並將所述深度圖像信息的差分編碼結果設置為所述參數集。
5. 根據權利要求1所述的編碼裝置，其中，所述編碼單元基於所述深度圖像信息對所 述深度圖像進行編碼。
6. 根據權利要求1所述的編碼裝置，其中，所述深度圖像信息包括所述深度圖像的像 素值的最大值和最小值以及捕獲所述深度圖像的攝像裝置之間的距離。
7. 根據權利要求1所述的編碼裝置，其中，不同於序列參數集和圖片參數集的NAL(網 絡抽象層）單位類型被設置在所述參數集中。
8. 根據權利要求1所述的編碼裝置， 其中，所述設置單元設置用於標識所述深度圖像信息的存在的標識信息，以及 其中，所述傳送單元傳送包括由所述設置單元設置的標識信息的所述編碼流。
9. 一種編碼裝置的編碼方法，包括： 設置步驟，將作為關於深度圖像的信息的深度圖像信息設置為不同於序列參數集和圖 片參數集的參數集；以及 編碼步驟，對所述深度圖像進行編碼以生成編碼數據；以及 傳送步驟，傳送包括在所述設置步驟的處理中設置的參數集和在所述編碼步驟的處理 中生成的編碼數據的編碼流。
10. -種解碼裝置，包括： 獲取單元，其從包括參數集和深度圖像的編碼數據的編碼流獲取所述參數集和所述編 碼數據，所述參數集中設置有作為關於所述深度圖像的信息的深度圖像信息，並且所述參 數集不同於序列參數集和圖片參數集； 解析處理單元，其從所述獲取單元獲取的參數集中解析所述深度圖像信息；以及 解碼單元，其對所述獲取單元獲取的編碼數據進行解碼。
11. 根據權利要求10所述的解碼裝置， 其中，用於唯一地標識所述參數集的ID被設置在所述參數集中，以及 其中，所述編碼流包括與所述深度圖像對應的所述ID。
12. 根據權利要求11所述的解碼裝置，其中，所述編碼流包括設置有與切片單位的所 述深度圖像對應的所述ID的切片報頭。
13. 根據權利要求10所述的解碼裝置，還包括： 生成單元，其通過對所述深度圖像信息的差分編碼結果進行解碼而生成所述深度圖像 信息， 其中，所述編碼流包括設置有所述深度圖像信息的差分編碼結果的所述參數集，以及 其中，所述生成單元通過對被設置為所述參數集的所述深度圖像信息的差分編碼結果 進行解碼而生成所述深度圖像信息。
14. 根據權利要求10所述的解碼裝置，其中，所述解碼單元基於由解析處理單元解析 的所述深度圖像信息而對所述編碼數據進行解碼。
15. 根據權利要求10所述的解碼裝置，其中，所述深度圖像信息包括所述深度圖像的 像素值的最大值和最小值以及捕獲所述深度圖像的攝像裝置之間的距離。
16. 根據權利要求10所述的解碼裝置，其中，不同於序列參數集和圖片參數集的 NAL (網絡抽象層）單位類型被設置在所述參數集中。
17. 根據權利要求10所述的解碼裝置，其中，所述編碼流包括用於標識所述深度圖像 息的存在的標識息。
18. -種解碼裝置的解碼方法，包括： 獲取步驟，從包括參數集和深度圖像的編碼數據的編碼流獲取所述參數集和所述編碼 數據，所述參數集中設置有作為關於所述深度圖像的信息的深度圖像信息，並且所述參數 集不同於序列參數集和圖片參數集； 解析處理步驟，從在所述獲取步驟的處理中獲取的參數集中解析所述深度圖像信息； 以及 解碼步驟，對在所述獲取步驟的處理中獲取的編碼數據進行解碼。
【文檔編號】H04N13/00GK104067615SQ201380006563
【公開日】2014年9月24日 申請日期:2013年1月23日 優先權日:2012年1月31日
【發明者】服部忍, 櫻井裕音, 高橋良知 申請人:索尼公司