記錄設備和方法、再現設備和方法、程序和記錄再現設備的製作方法

2023-05-20 03:05:31

記錄設備和方法、再現設備和方法、程序和記錄再現設備的製作方法
【專利摘要】本技術涉及記錄設備、記錄方法、再現設備、再現方法、程序和記錄/再現設備，其中來自在成像時使用的多個相機的信息提供到再現側設備。本技術的一個方面的記錄設備提供有編碼單元和記錄控制單元。所述編碼單元使用H.264/MPEG-4MVC以編碼由第一相機拍攝的圖像和第二相機拍攝的圖像，並且對於非基視視頻流的每一幀記錄SEI，所述SEI包括對於第一相機和第二相機的以下的至少一個：光軸間隔信息、會聚角信息以及焦距信息。該記錄控制單元具有記錄單元，將基視視頻流和對於其記錄了SEI的非基視視頻流記錄到記錄介質上。
【專利說明】記錄設備和方法、再現設備和方法、程序和記錄再現設備
【技術領域】
[0001]本技術更具體地涉及能夠向在再現側的設備的記錄設備提供關於用於圖像捕獲的多個相機的信息、記錄方法、再現設備、再現方法、程序和記錄再現設備。
【背景技術】
[0002]最近幾年，可以立體觀看的記錄有圖像的3D內容受到關注。3D內容視頻數據包括左眼圖像(L圖像)和右眼圖像(R圖像)的數據。在L圖像中出現的被攝體和在R圖像中出現的被攝體之間存在對應於視差的偏差。
[0003]例如，具有視差的L圖像和R圖像被交替顯示，並且被傳遞到佩戴主動式快門眼鏡的用戶的左眼和右眼，從而能夠立體地識別被攝體。
[0004]引用列表
[0005]專利文獻
[0006]專利文獻I JP2OO7-28O5I6A
【發明內容】

[0007]技術問題
[0008]用戶感受到的視差根據觀看環境而不同，並且因此，難以允許用戶以最佳視差觀看圖像。例如，最佳視差根據顯示裝置上的顯示圖像的尺寸而不同，並且最佳視差根據觀看距離而不同。
[0009]從L圖像和R圖像估計相機在圖像捕獲期間的位置等，並且試圖根據其調節視差，但是再現側難以完全恢復圖像捕獲期間的狀況。
[0010]鑑於這些情況做出了本技術，並且本技術向在再現側的設備提供關於用於圖像捕獲的多個相機的信息。
[0011]技術方案
[0012]根據本技術的第一方面的記錄設備包括:編碼單兀，根據H.264/MPEG-4MVC對由第一相機捕獲的圖像和由第二相機捕獲的圖像進行編碼，並且記錄包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視(non-base view)視頻流的每個畫面的SEI ;以及記錄控制單元,將基視(base view)視頻流和記錄有SEI的非基視視頻流記錄到記錄介質。
[0013]第一相機和第二相機中的每一個至少具有鏡頭。可以提供第一相機的圖像捕獲器件和第二相機的圖像捕獲器件中的每一個作為執行由鏡頭接收到的光的光電轉換的圖像捕獲器件，或者可以由第一相機和第二相機共享和使用一個圖像捕獲器件。
[0014]可以將第一相機和第二相機提供在記錄設備內，或者在記錄設備外。當其提供於記錄設備外時，可以通過有線或者無線通信將第一相機和第二相機捕獲的圖像提供到記錄設備。
[0015]可以進一步提供捕獲左眼圖像的第一相機和捕獲右眼圖像的第二相機。在這種情況下，可以使編碼單元將由第一相機捕獲的左眼圖像編碼為基視視頻流，而將由第二相機捕獲的右眼圖像編碼為非基視視頻流。
[0016]編碼單元能夠將包括兩個值的信息記錄為關於光軸間隔的信息。在這種情況下，通過從兩個值中的一個減去兩個值中的另一個來表示第一相機和第二相機之間的光軸間隔。
[0017]編碼單元能夠記錄包括兩個值的信息作為關於會聚角的信息。在這種情況下，通過從兩個值中的一個減去兩個值中的另一個來表示第一相機和第二相機的會聚角。
[0018]根據本技術的第二方面的再現設備包括:解碼單元，解碼基視視頻流和非基視視頻流，該基視視頻流通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像而獲得的基視視頻流，且非基視視頻流記錄有包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI作為每個畫面的SEI。
[0019]可以進一步提供顯示控制單元，其調節並且顯示通過解碼基視視頻流獲得的圖像與基於SEI解碼非基視視頻流獲得的圖像之間的視差。
[0020]顯示控制單元可以使通過解碼基視視頻流獲得的圖像顯示為左眼圖像，並且顯示控制單元可以使通過解碼非基視視頻流獲得的圖像顯示為右眼圖像。
[0021]根據本技術的第三方面的記錄再現設備包括:編碼單兀，根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像，並且將包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息和關於焦距的信息中的至少一個的SEI記錄為構成非基視視頻流的每個畫面的SEI ;記錄控制單元，將基視視頻流和記錄有SIE的非基視視頻流記錄到記錄介質；解碼單元，解碼記錄到記錄介質的基視視頻流和非基視視頻流。
[0022]技術效果
[0023]根據本技術，可以向在再現側的設備提供關於用於圖像捕獲的多個相機的信息。
【專利附圖】

【附圖說明】
[0024]圖1是示出根據本技術實施例的記錄再現系統的配置示例的示意圖。
[0025]圖2是用於解釋H.264/MPEG-4MVC的示意圖。
[0026]圖3是用於解釋基線長度和會聚角的示意圖。
[0027]圖4是示出記錄設備的配置示例的框圖。
[0028]圖5是示出非基視視頻流的數據結構的示意圖。
[0029]圖6是不出user_data_unregistered SEI的語法的不意圖。
[0030]圖7是示出mdp_id的示意圖。
[0031]圖8 是示出 BASELINE LENGTH pack O 的示意圖。
[0032]圖9 是示出 CONVERGENCE ANGLE pack O 的示意圖。
[0033]圖10是用於解釋記錄設備的記錄處理的流程圖。
[0034]圖11是示出再現設備的配置示例的框圖。
[0035]圖12是用於解釋再現設備的再現處理的流程圖。
[0036]圖13是用於解釋在圖12的步驟S23執行的視差調節處理的流程圖。
[0037]圖14是用於解釋會聚角、基線長度和視差之間的關係的示意圖。[0038]圖15是用於解釋視差的調節的示意圖。
[0039]圖16是示出記錄再現系統的配置示例的框圖。
[0040]圖17是示出記錄再現系統的另一個配置示例的框圖。
[0041]圖18是示出計算機的配置示例的框圖。
【具體實施方式】
[0042]下面將解釋本技術的【具體實施方式】。請注意，以下面的順序進行解釋。
[0043]1.記錄再現系統
[0044]2.記錄設備
[0045]3.再現設備
[0046]4.修改
[0047]
[0048]圖1是示出根據本技術實施例的記錄再現系統的配置示例的示意圖。
[0049]圖1的記錄再現系統由記錄設備1、再現設備2和顯不設備3組成。再現設備2和顯示設備3通過諸如高清晰度多媒體接口(HDMI)線纜的線纜4連接。
[0050]記錄設備I是能夠捕獲並記錄3D圖像的攝像機。在記錄設備I的前表面，在相對於從記錄設備I到被攝體的方向的右側位置提供鏡頭11R，而鏡頭IlL提供在左側位置。在記錄設備I中，提供了右眼相機和左眼相機。右眼相機具有用於根據鏡頭IlR收到的光產生R圖像的光學系統。左眼相機具有用於根據鏡頭IlL收到的光產生L圖像的光學系統。
[0051]記錄設備I根據H.264/MPEG-4多視圖視頻編碼(MVC)對R圖像和L圖像編碼，並且根據諸如高級視頻編解碼高清晰度(AVCHD)的記錄格式將該R圖像和L圖像記錄到在其中提供的記錄介質。
[0052]在這種情況下，將參考圖2解釋H.264/MPEG-4MVC。在H.264/MPEG-4MVC中，定義被稱為基視視頻流的視頻流和被稱為非基視視頻流的視頻流。
[0053]基視視頻流是通過例如根據H.264/AVC對L圖像和R圖像中的L圖像編碼而獲得的流。如圖2的垂直方向上的箭頭所示，不允許基視的畫面經歷使用另一視圖的畫面作為基準圖像的預測編碼。
[0054]另一方面，允許非基視的畫面經歷使用基視的畫面作為基準圖像的預測編碼。例如，當在將L圖像用作基視，而將R圖像用作非基視時進行編碼時，作為由此獲得的R圖像的視頻流的非基視視頻流的數據量小於作為L圖像的視頻流的基視視頻流的數據量。
[0055]因為這是根據H.264/AVC的編碼，所以在如圖2的水平方向上的箭頭所示的時間方向上，基視的畫面經歷預測編碼。非基視的畫面不僅經歷視圖間預測，而且經歷時間方向上的預測編碼。為了對非基視的畫面進行解碼，應當預先結束在編碼期間參考到的相應基視的畫面的解碼。
[0056]根據這種H.264/MPEG-4MVC對由記錄設備I捕獲的L圖像和R圖像編碼。在記錄設備I中，在編碼L圖像和R圖像期間，將作為關於相機的，即，用於捕獲L圖像的左眼相機和用於捕獲R圖像的右眼相機的狀況的信息的相機信息記錄到非基視視頻流。
[0057]相機信息例如包括表示如下內容的信息。
[0058]1.相機光軸間隔(基線長度)[mm][0059]2.會聚角(度)
[0060]3.35mm 等效焦距[mm]
[0061]如圖3所示，基線長度是作為鏡頭IlR的光軸位置的位置PR與作為鏡頭IlL的光軸位置的位置PL之間的長度(_)。在被攝體的位置是位置P時，會聚角是連接位置P和位置PR的直線與連接位置P和位置PL的直線之間的夾角。
[0062]35mm等效焦距是圖像捕獲期間左眼相機與右眼相機之間等效於35mm的焦距
(mm) η
[0063]如下所述,記錄設備I在非基視視頻流的user_data_unregistered SEI中定義被稱為改進型DV包元(MDP)的數據結構，並且利用該數據結構，記錄相機信息。uSer_data_unregistered SEI是任何給定的用戶數據，並且將其附於每個畫面。MDP是圖像捕獲期間實時記錄的附加信息。
[0064]圖1的再現設備2是能夠再現根據AVCHD記錄的視頻數據的播放器。通過通用串行總線(USB)線纜、HDMI線纜等，記錄設備2導入由記錄設備I捕獲的3D視頻數據，並且將其記錄到記錄設備I中的記錄介質，並且再現3D視頻數據。
[0065]再現設備2通過利用在圖像捕獲期間記錄在非基視視頻流中的相機信息，調節通過再現基視視頻流獲得的L圖像與通過再現非基視視頻流獲得的R圖像之間的視差。為了在顯示在顯示設備3的顯示裝置上時獲得最佳視差，根據需要，視差的調節採用諸如顯示設備3的顯示裝置的尺寸之類的信息。
[0066]再現設備2通過線纜4將調節了其視差的L圖像和R圖像輸出到顯示設備3，並且交替地顯示L圖像和R圖像。顯示設備3是支持立體圖像的顯示的電視接收機。顯示設備3提供有由液晶顯示器(IXD)等構成的顯示裝置。
[0067]這樣，將關於用於捕獲L圖像和R圖像的相機的信息記錄到非基視視頻流，由此記錄設備I能夠將關於圖像捕獲期間相機的安裝位置等的狀況提供給再現設備2。
[0068]再現設備2能夠通過參考記錄到非基視視頻流的相機信息，而獲得圖像捕獲處理期間相機的狀況。此外，再現設備2根據圖像捕獲處理期間相機的狀況調節L圖像與R圖像之間的視差，使得能夠再現記錄設備I和被攝體的位置關係，從而可以向用戶提供容易看的圖像。
[0069]
[0070][記錄設備的配置]
[0071]圖4是示出記錄設備I的配置示例的框圖。記錄設備I由相機單元21、記錄單元22以及記錄介質23組成。
[0072]相機單元21由右眼相機31R和左眼相機31L組成。
[0073]右眼相機31R由鏡頭IlR和圖像捕獲器件12R組成，並且圖像捕獲器件12R對鏡頭IlR收到的光執行光電轉換。右眼相機31R對通過執行光電轉換獲得的視頻信號執行諸如A/D轉換的處理，並且輸出R圖像的數據。
[0074]左眼相機31L由鏡頭IlL和圖像捕獲器件12L組成，並且圖像捕獲器件12L對鏡頭IlL收到的光執行光電轉換。左眼相機31L對通過執行光電轉換獲得的視頻信號執行諸如A/D轉換的處理，並且輸出L圖像的數據。
[0075]記錄單元22由MVC編碼器41、相機信息獲得單元42以及記錄控制單元43組成。[0076]MVC編碼器41根據H.264/MPEG-4MVC對由右眼相機31R捕獲的R圖像和由左眼相機31L捕獲的L圖像進行編碼。MVC編碼器41包括:基視視頻編碼器51、非基視視頻編碼器52以及組合單元53。將從右眼相機31R輸出的R圖像數據輸入到非基視視頻編碼器52中，而將從左眼相機31L輸出的L圖像數據輸入到基視視頻編碼器51和非基視視頻編碼器52中。
[0077]基視視頻編碼器51根據H.264/AVC對由左眼相機31R捕獲的L圖像進行編碼，並且將基視視頻流輸出到組合單元53。
[0078]非基視視頻編碼器52根據需要利用由左眼相機31L捕獲的L圖像作為基準圖像對右眼相機31R捕獲的R圖像進行編碼，並且產生非基視視頻流。
[0079]非基視視頻編碼器52附加由相機信息獲得單元42提供的指示基線長度、會聚角和35mm等效焦距的user_data_unregistered SEI,作為非基視視頻流的每個畫面的SEI。相機信息獲得單元42提供關於右眼相機31R和左眼相機31L的基線長度、會聚角和35mm等效焦距的?目息，該?目息是從相機單兀21獲得的相機彳目息。
[0080]圖5是示出非基視視頻流的數據結構的示意圖。
[0081]圖5中的A是示出存儲包括在一個畫面組(GOP)中的畫面當中的第一畫面的數據的存取單元的數據結構的示意圖。在H.264/AVC中，一個畫面的數據存儲在一個存取單元中。
[0082]如圖5中的A所示，存儲非基視的第一畫面的數據的存取單元由視圖與從屬表示定界符、子集序列參數集(SPS)、畫面參數集(PPS)、補充增強信息(SEI)和片段(Slice)組成。
[0083]視圖與從屬表示定界符指示第一存取單元。子集SPS包括關於整個序列的編碼的信息，並且PPS包括關於其數據存儲在存取單元中的畫面的編碼的信息。SEI是附加信息並且包括諸如 MVC_scalable_nesting SE1、user_data_unregistered SEI 之類的各種 SEI消息。
[0084]在圖5的A的示例中，例如，在再現期間顯示關於字幕視差的信息(偏移元數據)的user_data_unregistered SEI 。記錄由相機信息獲得單元42獲得的關於基線長度、會聚角和35mm等效焦距的信息,作為與關於字幕的視差的信息的user_data_unregistered SEI不同的 user_data_unregistered SE10
[0085]SEI之後的片段是I個GOP的第一畫面(R圖像)的數據。在片段之後，可以包括填充數據、序列的結尾、流的結尾。
[0086]圖5中的B是示出存儲包括在一個GOP中的畫面中的第二和後續畫面的數據的存取單元的數據結構。如圖5的B所示，存儲一個GOP的第二和後續畫面的數據的存取單元包括視圖與從屬表示定界符和片段。還可以包括諸如PPS、SEI的信息。
[0087]除了未記錄表示基線長度、會聚角和35mm等效焦距的user_data_unregisteredSEI,由基視視頻編碼器51產生的基視視頻流的存取單元的數據結構與圖5中所示的數據結構具有基本上相同的數據結構。
[0088]圖6是示出存儲關於基線長度、會聚角和35mm等效焦距的MDP的user_data_unregistered SEI的語法的示意圖。
[0089]第二行中的uuid_iso_iec_11578是具有128位的欄位。在該欄位中設定「 17ee8c60-f84d-lld9-8cd6-0800200c9a66」。
[0090]第三行中的TypelndicatOT是具有32位的欄位，並且指示由SEI消息發送的用戶數據的類型。「0x4D44504D」表示MDP。當TypeIndicator是「0x4D44504D」時，設定第五行和後續行的 ModifiedDVPackMetaO。ModifiedDVPackMetaO 包括 number—of—modified—dv—pack—entries 和 one—modified—dv—pack 。
[0091]第六行中的number—of—modified—dv—pack—entries是具有8位的欄位，並且表不包括在 user—data—unregistered SEI 中的 one—modified—dv—pack O 的數量。one_modified—dv—pack 包括 mdp_id 和 mdp_data。
[0092]第九行中的mdp—id是具有8位的欄位，並且表示包括該欄位的one—modified—dv—pack O的類型。
[0093]圖7是示出mdp—id的示意圖。如圖7所示，當mdp—id是0x20時，這指示one—modified—dv—pack O 是 BASELINE LENGTH pack。BASELINE LENGTH pack是包括關於基線長度的信息作為mdp—data的one—modified—dv—pack O ?
[0094]當 mdp—id 是 0x21 時，這指不 one—modified—dv—pack是 CONVERGENCE ANGLEpack o CONVERGENCE ANGLE pack是包括關於會聚角的信息作為mdp—data的one—modified—dv—pack O。
[0095]35mm等效焦距表示現有Consumer Camera2pack (消費者相機2包)中的FOCAL—LENGTH。在 mdp_id 是 0x71 時，Consumer Camera2pack是 one—modified—dv—pack O。
[0096]圖6中第十行中的mdp—data是具有32位的欄位，並且表示基線長度、會聚角和35mm等效焦距中的任何一個。可以始終將mdp—data設定為固定值。
[0097]向ModifiedDVPackMetaO 應用下面的規則。
[0098]包括競爭阻止字節的一個ModifiedDVPackMetaO的大小等於或者小於255位元組。
[0099]在一個幽面中，不能附加包括ModifiedDVPackMetaO的多個user—data—unregistered SEI 消息。
[0100]當在補充欄位對的第一欄位中不存在包括ModifiedDVPackMetaO的user—data—unregistered SEI消息時，第二欄位可以不包括含有ModifiedDVPackMetaO的user—data—unregistered SEI 消息。
[0101]在基視和非基視的每個中，mdp—data的和等於或者小於255位元組，並且user—data—unregistered—SEI的和等於或者小於511位元組。
[0102]圖8 是示出 BASELINE LENGTH pack O 的示意圖。
[0103]BASELINE LENGTH pack O 包括 mdp—id、mdp—datal 和 mdp—data2。如上所述，BASELINE LENGTH pack的 mdp—id 是 0x20。
[0104]mdp—data和mdp—data2中的每個都是具有16位的欄位，並且以兩個值，即，mdp—datal和mdp—data2以mm為單位指示基線長度。由下面的表達式(1)表示基線長度[mm]。
[0105]基線長度[mm]=mdp—datal/mdp—data2…(1)
[0106]當利用兩個值表示基線長度時，可以表示等於或者小於Imm的長度。當mdp—datal=mdp_data2=0xFFFF成立時，這指示基線長度未知，或者沒有信息。
[0107]圖9 是示出 CONVERGENCE ANGLE pack O 的示意圖。
[0108]CONVERGENCE ANGLE pack包括 mdp—id、mdp—datal 和 mdp—data2。如上所述，CONVERGENCE ANGLE pack的 mdp_id 是 0x21。
[0109]mdp_datal和mdp_data2中的每個都是具有16位的欄位,並且以兩個值，即，mdp_datal和mdp_data2以度為單位指示會聚角。由下面的表達式(2)表示會聚角[度]。會聚角等於或者大於O度，但是小於180度。
[0110]會聚角[度]=mdp_datal/mdp_data2…(2)
[0111]當利用兩個值表示會聚角時，可以表示等於或者小於I度的角度。當mdp_datal=mdp_data2=0xFFFF成立時,這指示會聚角未知，或者沒有信息。
[0112]如上所述，圖4的非基視視頻編碼器52將記錄有關於基線長度、會聚角和35mm等效焦距的信息的非基視視頻流輸出到組合單元53。
[0113]組合單元53將從基視視頻編碼器51提供的基視視頻流和從非基視視頻編碼器52提供的非基視視頻流組合，並且將其作為基於H.264/MPEG-4MVC編碼的數據輸出到記錄控制單元43。
[0114]相機信息獲得單元42例如從相機單元21獲得關於基線長度、會聚角和35mm等效焦距的信息，並且將該信息輸出到非基視視頻編碼器52。
[0115]記錄控制單元43例如根據AVCHD將從MVC編碼器41提供的編碼數據記錄到記錄介質23。
[0116]記錄介質23由閃速存儲器、硬碟等構成，並且根據記錄控制單元43的控制來記錄編碼數據。插入在記錄設備I的外殼中提供的槽中的存儲卡可以用作記錄介質23。當記錄設備I通過USB線纜等連接到再現設備2時，記錄到記錄介質23的編碼數據傳輸到再現設備2。
[0117][記錄設備I的操作]
[0118]下面將參考圖10的流程圖解釋記錄設備I的記錄處理。當將由右眼相機31R捕獲的R圖像和由左眼相機31L捕獲的L圖像輸入到記錄單元22中時，開始圖10的處理。
[0119]在步驟SI，MVC編碼器41利用H.264/MPEG-4MVC對從相機單元21收到的圖像進行編碼。更具體地說，基視視頻編碼器51根據H.264/AVC對由左眼相機31L捕獲的L圖像進行編碼，並且產生基視視頻流。非基視視頻編碼器52根據需要利用L圖像作為基準圖像對由右眼相機31R捕獲的R圖像進行編碼，並且產生非基視視頻流。
[0120]在步驟S2，相機信息獲得單元42從相機單元21獲得此時的關於基線長度、會聚角和35mm等效焦距的彳目息。
[0121]在步驟S3，非基視視頻編碼器52將表示基線長度的BASELINE LENGTH pack O、表不會聚角的 CONVERGENCE ANGLE pack O 和表不 35mm 等效焦距的 Consumer Camera2pack O記錄到非基視的每個畫面的user_data_unregistered SEI。由基視視頻編碼器51產生的基視視頻流和由非基視視頻編碼器52產生的記錄有BASELINE LENGTH pack O、CONVERGENCE ANGLE pack 、Consumer Camera2pack 的非基視視頻流由組合單兀 53 組合，並且提供到記錄控制單元43。
[0122]在步驟S4，記錄控制單元43將從組合單元53提供的H.264/MPEG-4MVC的編碼數據記錄到記錄介質23。
[0123]在步驟S5，MVC編碼器41確定是否存在來自相機單元21的任何輸入圖像，並且當MVC編碼器41確定存在來自相機單元21的輸入圖像時，重複步驟SI和後續步驟的處理。對每個畫面的圖像數據執行步驟SI至S4的處理。另一方面，當相機單元21完成圖像捕獲，並且在步驟S5確定不存在輸入圖像時，終止該處理。
[0124]根據上述處理，記錄設備I能夠將關於與用於捕獲立體圖像的相機有關的基線長度、會聚角和35mm等效焦距的信息記錄到非基視的每個畫面的編碼數據，並且能夠將相機信息提供到再現設備2。
[0125]此外，記錄設備I不將相機信息記錄到基視視頻流，而將其記錄到非基視視頻流，使得再現設備2可以通過再現基視視頻流，而僅顯示L圖像(2D圖像)。基視視頻流是根據
H.264/AVC編碼的流，並且因此，即使是現有的再現設備2，支持H.264/AVC的任何裝置可以再現從記錄設備I導入的視頻數據。
[0126]在上面的解釋中，將關於基線長度、會聚角和35mm等效焦距的信息記錄到非基視視頻流，但是會聚角可以是固定值，並且可以僅記錄關於基線長度的信息，或者基線長度可以是固定值，而僅記錄關於會聚角的信息。作為選擇地，可以記錄關於35mm等效焦距的信
肩、O
[0127]此外，除了基線長度和會聚角，可以記錄關於右眼相機31R和左眼相機31L的安裝狀況的信息。
[0128]〈再現設備2>
[0129][再現設備2的配置]
[0130]將解釋用於再現由記錄設備I捕獲並且記錄到記錄介質23的H.264/MPEG-4MVC的編碼數據的再現設備2。
[0131]圖11是示出再現設備2的配置示例的框圖。再現設備2由獲得單元101、再現單元102以及顯示控制單元103組成。
[0132]獲得單元101通過USB線纜等從記錄設備I獲得並且輸出作為H.264/MPEG-4MVC的編碼數據的3D視頻數據。從獲得單元101輸出的3D視頻數據輸入到MVC解碼器111的基視視頻解碼器121和非基視視頻解碼器122中。可以一次性將從記錄設備I導入的3D視頻數據記錄到再現設備2中的記錄介質，並且可以由獲得單元101從記錄介質導入3D視頻數據。
[0133]再現單元102由MVC解碼器111和相機信息提取單元112組成。MVC解碼器111根據H.264/MPEG-4MVC對3D視頻數據進行解碼。MVC解碼器111包括基視視頻解碼器121和非基視視頻解碼器122。
[0134]基視視頻解碼器121根據H.264/AVC對包括在從獲得單元101提供的3D視頻中的基視視頻流進行解碼，並且輸出L圖像。將從基視視頻解碼器121輸出的L圖像提供到非基視視頻解碼器122和顯示控制單元103。
[0135]非基視視頻解碼器122在需要時使用由基視視頻解碼器121解碼的L圖像作為基準圖像對包括在從獲得單元101提供的3D視頻中的非基視視頻流進行解碼，並且輸出R圖像。將從非基視視頻解碼器122輸出的R圖像提供到顯示控制單元103。
[0136]相機信息提取單元112從要由非基視視頻解碼器122解碼的非基視的每個畫面的user_data_unregistered SEI 獲得表不基線長度的BASELINE LENGTH pack、表不會聚角的 CONVERGENCE ANGLE pack O 和表不 35mm 等效焦距的 Consumer Camera2pack O。
[0137]相機信息提取單元112通過根據包括在BASELINE LENGTH pack O中的兩個值計算上述表達式(I)而獲取基線長度，並且通過根據包括在CONVERGENCE ANGLE pack O中兩個值計算上述表達式(2)而獲取會聚角。相機信息提取單元112還從ConsumerCamera2pack標識35mm等效焦距。相機信息提取單元112將關於基線長度、會聚角和35mm等效焦距的信息輸出到顯示控制單元103。
[0138]顯示控制單元103通過利用從相機信息提取單元112獲得的關於基線長度、會聚角和35mm等效焦距的信息，調節從基視視頻編碼器提供的L圖像與從非基視視頻解碼器122提供的R圖像之間的視差。顯示控制單元103與顯示設備3通信，以從顯示設備3獲得關於例如顯示設備3的顯示裝置的尺寸等的信息，並且利用其調節視差。
[0139]顯示控制單元103將L圖像和R圖像輸出到顯示設備3，並且因此，顯示L圖像和R圖像，其中，當在顯示設備3的顯示裝置上顯示時，調節該L圖像和R圖像的視差以得到最佳視差。
[0140][再現設備2的操作]
[0141]下面將參考圖12的流程圖解釋再現設備2的再現處理。當例如將3D視頻數據從獲得單元101輸入到再現單元102中時，開始圖12的處理。
[0142]在步驟S21，MVC解碼器111利用H.264/MPEG-4MVC對從獲得單元101輸入的3D視頻數據進行解碼。更具體地說，基視視頻解碼器121根據H.264/AVC對基視視頻流進行解碼。非基視視頻解碼器在需要時利用由基視視頻解碼器121解碼的L圖像作為基準圖像對非基視視頻流進行解碼。
[0143]將基視視頻解碼器121解碼基視視頻流時獲得的L圖像和非基視視頻解碼器122解碼非基視視頻流時獲得的R圖像提供到顯示控制單元103。
[0144]在步驟S22，相機信息提取單元112從非基視的每個畫面的user_data_unregistered SEI 提取 BASELINE LENGTH pack O、CONVERGENCE ANGLE pack 和 ConsumerCamera2pack。相機信息提取單元112將關於根據BASELINE LENGTH pack O獲取的基線長度、根據CONVERGENCE ANGLE pack O獲取的會聚角和從Consumer Camera2pack O獲得的35mm等效焦距的信息輸出到顯示控制單元103。
[0145]在步驟S23，顯示控制單元103執行視差調節處理。稍後將參考圖13的流程圖解釋視差調節處理。
[0146]在步驟S24，顯示控制單元103將已經調節了其視差的L圖像和R圖像輸出到顯示設備3，並顯示L圖像和R圖像。
[0147]在步驟S25，MVC解碼器111確定是否存在要解碼的任何編碼數據，並且當MVC解碼器111確定存在要解碼的編碼數據時，重複步驟S21和後續步驟的處理。對每個畫面的編碼數據執行步驟S21至S24的處理。另一方面，當對所有編碼數據解碼，並且因此，在步驟S25確定再沒有編碼數據時，終止該處理。
[0148]隨後，將參考圖13的流程圖解釋在圖12的步驟S23執行的視差調節處理。
[0149]在步驟S31，顯示控制單元103與顯示設備3通信，並且獲得顯示設備3的顯示裝置的尺寸。可以由用戶直接以再現設備2設定顯示設備3的顯示裝置的尺寸。
[0150]在步驟S32，顯示控制單元103從顯示設備3獲得作為從顯示設備3的顯示裝置的表面到用戶的距離的視距。可以由用戶直接以再現設備2設定視距。
[0151]用戶感受到的視差量還根據視距變化。因此，當能夠獲得視距時，利用該信息可以更精確地調節視差。在下面的解釋中，將解釋不考慮視距而調節視差的情況。
[0152]在步驟S33，顯示控制單元103獲取未調節視差時在顯示設備3的顯示裝置上的L圖像和R圖像的視差。
[0153]在步驟S34，顯示控制單元103確定顯示裝置上的L圖像和R圖像的視差是否大於閾值。
[0154]當在步驟S34確定顯示裝置上的L圖像和R圖像的視差不大於閾值時，則顯示控制單元103將L圖像和R圖像原樣地輸出到顯示設備3，而不調節視差，並且在步驟S35，顯7]n L圖像和R圖像。
[0155]另一方面，當在步驟S34確定顯示裝置上的L圖像和R圖像的視差大於閾值時，顯示控制單元103將顯示裝置上的L圖像和R圖像在水平方向上移位，以減小L圖像和R圖像的視差，並且因此，在步驟S36，顯示L圖像和R圖像。此後，再一次執行圖12的步驟S23，並且執行其後的處理。
[0156]圖14是 用於解釋會聚角、基線長度和視差之間的關係的示意圖。
[0157]在圖14所示的物面上，虛線箭頭#1所指示的範圍是由左眼相機31L捕獲的範圍，而虛線箭頭#2所指示的範圍是由右眼相機31R捕獲的範圍。α表示會聚角，且B表示基線長度。F表示物距。
[0158]當要計算顯示裝置上的視差時，首先，顯示控制單元103獲取由左眼相機31L和右眼相機31R在水平方向上捕獲了多少聚焦位置的圖像(被攝體的圖像)。水平方向上的偏移量使得實線箭頭#3所指示的差就是視差X。
[0159]當假定左眼相機31L和右眼相機31R的圖像捕獲器件的水平寬度是35mm，可以獲取視差量(_)時，可以由關於顯示裝置的水平寬度的信息計算顯示裝置上的視差量(步驟S33)。當顯示裝置上的視差量大於閾值時，顯示控制單元103將L圖像和R圖像在水平方向上移位，以減小視差(步驟S36)。
[0160]在這種情況下，如圖15所示，將考慮到下面的情況:水平布置左眼相機31L和右眼相機31R這兩個相機(會聚角α =0)。在這種情況下，基線長度與視差相同。
[0161]在幀大小是X，並且35mm等效焦距是f時，則從下面的表達式(3)獲得水平視角q。
[0162]tan(q/2) =x/2f…(3)
[0163]從水平視角q和物距F[m]獲取水平方向上的圖像捕獲範圍D [m]。當以1920像素的解析度捕獲圖像捕獲範圍D[m]時，轉換為像素的視差的大小是1920X (B/D)[像素]。視差B是左眼相機31L的圖像捕獲範圍D[m]與右眼相機31R的圖像捕獲範圍D[m]之間的差。
[0164]在這種情況下，已經在AVCHD的修改的DV包元中定義了 35mm等效焦距和物距，並且因此，能夠使用其。如上所述，35mm等效焦距由F0CAL_LENGTH表示，並且物距(聚焦位置)由FO⑶S表示。
[0165]當顯示設備3的顯示裝置在水平方向上的尺寸是S[m]時，對應於顯示裝置上的視差的長度是SX (B/D) [m]。當該值大於閾值時，通過將圖像在水平方向上移位來減小視差，從而能夠以適當視差來顯示L圖像和R圖像。
[0166]根據上述處理，再現設備2可以以最佳視差顯示L圖像和R圖像。
[0167]〈修改例〉[0168]第一修改例
[0169]圖16是不出記錄再現系統的配置不例的框圖。圖16的記錄設備I不僅提供有相機單元21、記錄單元22和記錄介質23，而且提供有再現單元102和顯示控制單元103。更具體地說，圖16的記錄設備I不僅具有記錄設備I的功能，而且具有再現設備2的功能。
[0170]具有圖16的配置的記錄設備I捕獲3D視頻，並且根據參考圖12解釋的處理，再現作為圖像捕獲處理的結果而獲得的3D視頻。由記錄設備I再現的L圖像和R圖像輸出到顯示設備3，並且顯示。記錄設備I和顯示設備3通過例如HDMI線纜連接。
[0171]第二修改例
[0172]圖17是示出記錄再現系統的另一配置示例的框圖。圖17所示的記錄設備I提供有:相機單元21、記錄單元22和記錄介質23，並且再現設備2提供有獲得單元101和再現單元102。顯示設備3提供有顯示控制單元103。
[0173]更具體地說，圖17所示的再現設備2具有根據H.264/MPEG-4MVC對從記錄設備I導入的3D視頻進行解碼的功能，但是與圖11的再現設備2不同，圖17的再現設備2不具有調節作為解碼的結果獲得的L圖像和R圖像的視差的功能。L圖像和R圖像的視差由顯示設備3調節。
[0174]具有圖17的配置的記錄設備I捕獲3D視頻，並且將作為圖像捕獲的結果獲得的該3D視頻傳送到再現設備2。
[0175]再現設備2的獲得單元101從記錄設備I獲得3D視頻數據，並且再現單元102根據H.264/MPEG-4MVC對由獲得單元101獲得的3D視頻數據進行解碼。再現單元102將作為解碼的結果獲得的L圖像和R圖像以及從非基視視頻流的user_data_unregistered SEI獲得的關於基線長度、會聚角和35_等效焦距的信息輸出到顯示設備3。
[0176]根據參考圖13解釋的處理，顯示設備3的顯示控制單元103基於從再現設備2提供的關於基線長度、會聚角和35mm等效焦距的信息調節從再現設備2提供的L圖像和R圖像的視差，並且顯示調節了其視差的L圖像和R圖像。在這種情況下，用於調節視差的例如關於顯示裝置等的尺寸的信息是對執行視差調節的顯示設備3已知的信息。
[0177]第三修改例
[0178]在上面的解釋中，將關於用於捕獲L圖像的相機和用於捕獲R圖像的相機的相機信息記錄到H.264/MPEG-4MVC的非基視視頻流，但是也可以將相機信息記錄到根據並列方法記錄有L圖像和R圖像的一個流。
[0179]例如，H.264AVC根據並列方法用於L圖像和R圖像的編碼方法。將相機信息記錄到例如 AVC 流的 user_data_unregistered_SEI O。
[0180][計算機的配置示例]
[0181]上面解釋的一系列處理可以由硬體執行，或者由軟體執行。當利用軟體執行該一系列處理時，構成軟體的程序從程序記錄介質安裝到併入了專用硬體的計算機，或者例如通用計算機。
[0182]圖18是示出利用程序執行上述一系列處理的計算機的硬體的配置示例的框圖。
[0183]中央處理單元(CPU) 151、只讀存儲器(ROM) 152以及隨機存取存儲器(RAM) 153通過總線154互相連接。
[0184]該總線154還連接到輸入/輸出接口 155。輸入/輸出接口 155連接到由鍵盤、滑鼠等構成的輸入單元156和由顯示器、揚聲器等構成的輸出單元157。輸入/輸出接口155連接到由硬碟、非易失性存儲器等構成的存儲單元158、由網絡接口等構成的通信單元159、以及用於驅動可拆卸介質161的驅動器160。
[0185]在如上所述配置的計算機中，例如，CPU151通過輸入/輸出接口 155和總線154將存儲在存儲單元158中的程序加載到RAM153，並且執行該程序，從而執行上述一系列處理。
[0186]例如，將由CPU151執行的程序記錄到可拆卸介質161，或者通過諸如區域網、網際網路和數字廣播之類的有線或者無線傳輸介質提供該程序，並且將該程序安裝到存儲單元158。
[0187]由計算機執行的程序可以是利用其以根據該說明書中解釋的順序的時序執行處理的程序，也可以是利用其並行或者在需要的定時例如在調用時執行處理的程序。
[0188]本技術的實施例並不限於上述實施例，並且只要在本技術的原理範圍內，就可以以各種方式改變上述實施例。
[0189][配置的組合示例]
[0190]可以如下配置本技術。
[0191](I) 一種記錄設備，包括:
[0192]編碼單元，根據H.264/MPEG-4MVC對由第一相機捕獲的圖像和由第二相機捕獲的圖像進行編碼，並且記錄包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視視頻流的每個畫面的SEI ；以及
[0193]記錄控制單元,將基視視頻流和記錄有SEI的非基視視頻流記錄到記錄介質。
[0194](2)根據(I)所述的記錄設備，還包括:
[0195]第一相機，捕獲左眼圖像；以及
[0196]第二相機，捕獲右眼圖像，
[0197]其中，編碼單元將由第一相機捕獲的左眼圖像編碼為基視視頻流並且將由第二相機捕獲的右眼圖像編碼為非基視視頻流。
[0198](3)根據(I)或者(2)所述的記錄設備，其中，編碼單元記錄包括兩個值的信息作為關於光軸間隔的信息，並且
[0199]通過從兩個值中的一個減去兩個值中的另一個表不第一相機和第二相機之間的光軸間隔。
[0200](4)根據(I)至(3)中的任何一項所述的記錄設備,其中，編碼單元記錄包括兩個值的信息作為關於會聚角的信息，並且
[0201]通過從兩個值中的一個減去兩個值中的另一個表示第一相機和第二相機的會聚角。
[0202](5) 一種記錄方法,包括步驟:
[0203]根據H.264/MPEG-4MVC對由第一相機捕獲的圖像和由第二相機捕獲的圖像進行編碼；
[0204]記錄包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視視頻流的每個畫面的SEI ;以及
[0205]將基視視頻流和記錄有SEI的非基視視頻流記錄到記錄介質。[0206](6) 一種用於使計算機執行處理的程序，該處理包括步驟:
[0207]根據H.264/MPEG-4MVC對由第一相機捕獲的圖像和由第二相機捕獲的圖像進行編碼；
[0208]記錄包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視視頻流的每個畫面的SEI ;以及
[0209]將基視視頻流和記錄有SEI的非基視視頻流記錄到記錄介質。
[0210](7) 一種再現設備，包括:解碼單元，對通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像而獲得的基視視頻流和記錄有包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息、以及關於焦距的信息中的至少一個的SEI作為每個畫面的SEI的非基視視頻流進行解碼。
[0211](8)根據(7)所述的再現設備，進一步包括:顯示控制單元，調節並且顯示根據SEI解碼基視視頻流獲得的圖像與解碼非基視視頻流獲得的圖像之間的視差。
[0212](9)根據(7)或者(8)所述的再現設備，其中，顯示控制單元使通過解碼基視視頻流獲得的圖像顯示為左眼圖像，並且
[0213]顯示控制單元使通過解碼非基視視頻流獲得的圖像顯示為右眼圖像。
[0214](10) 一種再現方法，包括步驟:
[0215]解碼通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像而獲得的基視視頻流和記錄有包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中至少一個的SEI作為每個畫面的SEI的非基視視頻流。
[0216](11) 一種用於使計算機執行處理的程序，該處理包括步驟:
[0217]解碼通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像獲得的基視視頻流和記錄有包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中至少一個的SEI作為每個畫面的SEI的非基視視頻流。
[0218](12) 一種記錄再現設備，包括:
[0219]編碼單元，根據H.264/MPEG-4MVC對由第一相機捕獲的圖像和由第二相機捕獲的圖像進行編碼，並且將包括關於第一相機和第二相機的光軸間隔的信息、關於會聚角的信息和關於焦距的信息中的至少一個的SEI記錄為構成非基視視頻流的每個畫面的SEI ；
[0220]記錄控制單元,將基視視頻流和記錄有SEI的非基視視頻流記錄到記錄介質；
[0221]解碼單元，對記錄到記錄介質的基視視頻流和非基視視頻流進行解碼。
[0222]附圖標記列表
[0223]1:記錄設備，2:再現設備，3:顯示設備，21:相機單元，22:記錄單元，23:記錄介質，101:獲得單元，102:再現單元，103:顯示控制單元。
【權利要求】
1.一種記錄設備，包括: 編碼單元，根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像，並且記錄包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視視頻流的每個畫面的SEI ;以及 記錄控制單元，將基視視頻流和記錄有SEI的所述非基視視頻流記錄到記錄介質。
2.根據權利要求1所述的記錄設備，進一步包括: 所述第一相機，捕獲左眼圖像；以及 所述第二相機，捕獲右眼圖像， 其中，所述編碼單元將由所述第一相機捕獲的所述左眼圖像編碼為所述基視視頻流並且將由所述第二相機捕獲的所述右眼圖像編碼為所述非基視視頻流。
3.根據權利要求1所述的記錄設備，其中，所述編碼單元記錄包括兩個值的信息，作為所述關於光軸間隔的信息，並且 通過從所述兩個值中的一個減去所述兩個值中的另一個表示所述第一相機和所述第二相機的光軸間隔。
4.根據權利要求1所述的記錄設備，其中，所述編碼單元記錄包括兩個值的信息，作為所述關於會聚角的信息，並且 通過從所述兩個值中的一個減去所述兩個值中的另一個表示所述第一相機和所述第二相機的會聚角。
5.—種記錄方法,包括步驟: 根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像； 記錄包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視視頻流的每個畫面的SEI ;以及 將基視視頻流和記錄有SEI的所述非基視視頻流記錄到記錄介質。
6.一種用於使計算機執行處理的程序，所述處理包括步驟: 根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像； 記錄包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中的至少一個的SEI，作為構成非基視視頻流的每個畫面的SEI ;以及 將基視視頻流和記錄有SEI的所述非基視視頻流記錄到記錄介質。
7.一種再現設備，包括:解碼單元，解碼基視視頻流和非基視視頻流，所述基視視頻流通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像而獲得，所述基視視頻流記錄有包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息、以及關於焦距的信息中的至少一個的SEI，作為每個畫面的SEI。
8.根據權利要求7所述的再現設備，進一步包括:顯示控制單元，調節並且顯示根據SEI解碼所述基視視頻流獲得的圖像與解碼所述非基視視頻流獲得的圖像之間的視差。
9.根據權利要求8所述的再現設備，其中，所述顯示控制單元使通過解碼所述基視視頻流獲得的圖像顯示為左眼圖像，並且 所述顯示控制單元使通過解碼所述非基視視頻流獲得的圖像顯示為右眼圖像。
10.一種再現方法，包括步驟:解碼基視視頻流和非基視視頻流，所述基視視頻流通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像而獲得，所述非基視視頻流記錄有包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中至少一個的SEI作為每個畫面的SEI。
11.一種用於使計算機執行處理的程序，所述處理包括步驟: 解碼基視視頻流和非基視視頻流，所述基視視頻流通過根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像而獲得，所述非基視視頻流記錄有包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息以及關於焦距的信息中至少一個的SEI作為每個畫面的SEI。
12.—種記錄再現設備，包括: 編碼單元，根據H.264/MPEG-4MVC編碼由第一相機捕獲的圖像和由第二相機捕獲的圖像，並且將包括關於所述第一相機和所述第二相機的光軸間隔的信息、關於會聚角的信息和關於焦距的信息中的至少一個的SEI記錄為構成非基視視頻流的每個畫面的SEI ； 記錄控制單元，將基視視頻流和記錄有SEI的所述非基視視頻流記錄到記錄介質； 解碼單元，解碼記錄到所述記錄介質的基視視頻流和非基視視頻流。
【文檔編號】H04N13/02GK103548345SQ201280024910
【公開日】2014年1月29日 申請日期:2012年5月22日 優先權日:2011年5月30日
【發明者】浜田俊也, 有留憲一郎, 前篤 申請人:索尼公司