立體影像製作裝置以及立體影像製作方法

2023-06-12 23:50:41

專利名稱：立體影像製作裝置以及立體影像製作方法
技術領域：
本發明涉及立體影像製作裝置以及立體影像製作方法，尤其涉及從ニ維影像製作三維影像的立體影像製作裝置以及立體影像製作方法。
背景技術：
作為受人關注的技術有關於3D (Three Dimensions 三維)的技術。與3D相關的技術的適用範圍較廣，從軍用導航到エ業上的檢查、一般消費者用的電子設備等均有應用。 近些年，像眾多的電視製造商銷售的3D電視機、以及各種3D電影院上映的3D電影等，適用了 3D技術的應用程式或產品不斷地在市場上出現。而且，還有進行實驗性地播放3D頻道的電視廣播公司。這樣，通過適用與3D相關的技木，從而人們增加了與立體影像(3D影像) 接觸的3D體驗的機會。並且，從1838年開始就已開始了有關3D技術的立體圖像的研究。由於人的左眼與右眼之間具有視差，因此能夠感到深度的感覺。因此，對於人來說生成具有恰當的視差的左眼圖像和右眼圖像，若能夠將生成的左眼圖像和右眼圖像分別傳送到人的左眼和右眼， 則人能夠鑑賞具有臨場感的立體圖像(3D圖像)。因此，為了能夠向人提供良好的3D體驗，因此開發了各種技木。在被開發的技術中具有實現ー連串的3D處理的各種功能的技術，這些ー連串的3D處理包括3D圖像的攝影技木、3D影像的拍攝技術、後處理技術、數據包(3D內容)、3D內容的分發以及3D顯示。3D電視在近些年雖然有了顯著的發展，但是用於家庭用戶能夠鑑賞的3D內容卻不完備。對於這種狀況能夠利用兩個解決方法來緩解。一個是促進新的3D攝像機的開發，向市場提供更多的3D攝像機的方法。但是要想實現這些的話需要花費時間。而且，購買新的3D攝像機等對於用戶而言，負擔較大。還有ー個方法是，將2D (ニ維)影像的內容變換為3D (三維)影像。例如有將現有的2D影像的內容變換為3D影像的內容的方法，以及在以通常攝像機或數碼攝像機 (Camcorder)拍攝2D影像的同吋，變換為3D影像的內容的方法。這種方法的較好之處是， 與開發新的3D攝像機等相比，可以不必花費成本就能夠向人們提供良好的3D體驗。在專利文獻1中公開的技術是，能夠應對複雜性(計算成本低)，且自動地從2D圖像(2D影像)變換到3D圖像(3D影像)。在專利文獻1公開的技術中，首先將幀分類為平坦圖像以及非平坦圖像。接著，平坦圖像直接被變換為3D立體顯示形式，非平坦圖像則根據預先估計的深度圖而被變換。並且，根據深度圖的立體變換與更多的種類相對應。專利文獻2公開的技術是，將2D圖像信號變換為3D圖像信號，並輸出變換後的3D 圖像信號。在專利文獻2公開的技術中，首先分析各個幀的運動，並將這些幀分類為三種。 具體而言，分類為(1)包含水平方向的運動而不包含場面變化的幀、( 不包含水平方向的運動以及場面變化的幀、C3)不包含水平方向的運動的幀。接著，在包含水平方向的運動而不包含場面變化的情況下，直接利用對象幀和下ー幀來建立立體對。在非專利文獻1中公開了根據SFM (structure from motion 運動估計結構)的
5立體變換方法。在非專利文獻1公開的技術中，首先通過SFM算法來估計位置、旋轉、以及焦距等攝像機參數。接著，根據推定的攝像機參數，從原影像序列中選擇左眼圖像的候補以及與其對應的右眼圖像。(現有技術)(專利文獻)專利文獻1美國專利申請公開第2008/0150945號說明書專利文獻2國際公開第2010/0M479號(非專利文獻)非專利又獻 IGuofeng Zhang,Wei Hua, Xueying Qin, Tien-Tsin Wong, and Hujun Bao,"Stereoscopic Video Synthesis from a Monocular Viaeo，，，IEEE iransactions on Visualization and Computer Graphics,13(4) : 686-696 (2007)非專利文獻2"International Joint Conference on Artificial Intelligence，， 中的Bruce D. Lucas 以及Takeo Kanade 的「An Iterative Image Registration Technique with an Application to Stereo Vision(1981)，，非專利文獻3 "Alvey vision conference，，中的 C. Harris 以及 Μ· Stephens 的「A combined corner and edge detector (1988)，，非專禾Ij 文 4R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, London,2000然而，在上述的以往的技術中，具有以下的問題。首先，在上述專利文獻1公開的技術中，由於計算過於複雜，因此不能即時地進行質量高的深度圖的估計。並且，在根據質量低的深度圖變換到3D圖像(3D影像)的情況下， 不能滿足變換到使人能夠舒適地感受3D圖像的條件。接著，在專利文獻2公開的技術中存在不能充分滿足舒適的3D條件的問題。具體而言，在實際的影像中幾乎不會發生僅包含水平方向的運動的幀。因此，在上述的專利文獻 2公開的技術中，大多情況是根據被估計的深度圖來將2D影像變換為3D影像。深度圖的估計由於是根據水平邊界來估計的，因此容易受到噪聲的影響。並且，在估計質量高的深度圖時需要花費時間。最後，在非專利文獻1公開的技術中存在的問題是，立體變換的性能依存於SFM 的精確度。高精確度的SFM是需要花費時間的處理，因此即時地適用是困難的。而且，雖然記載了在在線的變換中利用離線的SFM，但是實現性較低。

發明內容
本發明鑑於上述問題，目的在於提供ー種從2D影像製作恰當且舒適的3D影像的立體影像製作裝置以及立體影像製作方法。為了達成上述的目的，本發明的一個實施例所涉及的立體影像製作裝置，從ニ維影像製作三維影像，該立體影像製作裝置包括接收部，接收ニ維影像；選擇部，從構成所述ニ維影像的多個幀中，將與對象幀具有共同的圖像區域的共同區域所佔的區域大小在預先規定的值以上的多個幀選擇為立體同伴幀候補，該立體同伴幀候補是與該對象幀一起構成立體圖像的幀的候補；決定部，根據規定的基準，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構成立體圖像的幀；立體對生成部，利用所述對象幀與所述立體同伴幀，生成與所述對象幀對應的構成立體圖像的立體對；以及變換部，從所述對象幀與由所述選擇部選擇的所述立體同伴幀候補中，生成用於使所述立體同伴幀候補變形的變換矩陣，通過將生成的所述變換矩陣應用於所述立體對，來變換所述立體對。根據此構成，可以不必進行由計算成本高的SFM執行的推定就能夠生成立體影像。並且，本發明的立體影像製作裝置可以不必進行花費時間的縱深圖的推定就能夠生成立體影像。據此，能夠實現從ニ維影像製作恰當且舒適的三維影像的立體影像製作裝置。本發明不僅可以作為裝置來實現，而且可以作為具備這些裝置所包括的處理單元的集成電路來實現，並且可以作為將構成這些裝置的處理單元作為步驟的方法來實現，還可以作為使計算機執行這些步驟的程序來實現。並且，程序也可以通過CD — ROM等記錄介質或網際網路等通信介質來分發。通過本發明，能夠實現ー種從2D影像製作恰當且舒適的3D影像的立體影像製作裝置以及立體影像製作方法。


圖1是示出本發明的實施例1中的立體影像製作裝置的構成的方框圖。圖2是示出本發明的實施例1中的穩定化部的詳細構成的方框圖。圖3是示出本發明的實施例1中的立體影像製作部的詳細構成的方框圖。圖4是示出本發明的實施例1中的立體影像變換部的處理的流程圖。圖5是示出本發明的實施例1中的穩定化部的處理的流程圖。圖6示出了本發明的實施例1中的利用手持式攝像機的成為拍攝對象的場面的例子。圖7示出了本發明的實施例1中的手持式攝像機所拍攝的穩定化之前的2D影像。圖8示出了本發明的實施例1中的手持式攝像機所拍攝的穩定化後的2D影像。圖9示出了本發明的實施例1中的對象幀以及與其對應的立體同伴幀候補的共同區域。圖10是示出本發明的實施例1中的決定部的處理的流程圖。圖11是用於說明本發明的實施例1中的生成變換矩陣的處理的流程圖。圖12A是用於說明本發明的實施例1中的用語的概念的圖。圖12B是用於說明本發明的實施例1中的用語的概念的圖。圖13示出了本發明的實施例1中的對以攝像機拍攝的穩定化後的2D影像進行立體變換後的3D影像。圖14是示出本發明所涉及的立體影像製作裝置的最小構成的方框圖。圖15是示出圖14所示的立體影像製作裝置的工作的流程圖。圖16是示出本發明的實施例2中的立體影像製作裝置的構成的方框圖。圖17是示出本發明的實施例3所涉及的圖像裝置的構成的方框圖。
具體實施方式
以下，參照附圖對本發明的實施例進行說明。(實施例1)圖1是示出本發明的實施例1中的立體影像製作裝置的構成的方框圖。圖2是示出本發明的實施例1中的穩定化部的詳細構成的方框圖。圖3是示出本發明的實施例1中的立體影像製作部的詳細構成的方框圖。圖1所示的立體影像製作裝置100從2D (ニ維)影像製作3D影像，並輸出製作的 3D (三維)影像。被輸出的3D影像由外部的顯示部112顯示，或者由外部的存儲發送裝置 114存儲。該立體影像製作裝置100具備接收部101、立體影像變換部106、影像輸出部 108、以及內部緩衝器110。接收部101接收2D影像。接收部101例如由圖1所示的存儲介質閱讀器102和視頻解碼器104構成。存儲介質閱讀器102累積構成2D影像的多個幀(圖像數據)。視頻解碼器104從存儲介質閱讀器102獲得圖像數據S11，並輸出到立體影像變換部106。視頻解碼器104在圖像數據Sll被編碼的情況下，按照需要將解碼了圖像數據Sll的2D影像數據S13輸出到立體影像變換部106。立體影像變換部106由穩定化部116和立體影像製作部118構成。立體影像變換部106利用穩定化部116和立體影像製作部118將2D影像數據S13穩定化，之後變換為3D 影像(立體影像)。穩定化部116通過在構成2D影像(2D影像數據S13)的多個幀中校正該多個幀之間的搖晃，從而使該多個幀穩定化。在此，多個幀之間的搖晃例如是在拍攝2D影像時的手的震動而造成的影像的晃動。並且，穩定化例如是指校正為不搖晃的影像。穩定化部116如圖2所示由檢測部121和算出部122構成。穩定化部116通過利用投影變換矩陣，來對多個幀之間的搖晃進行校正，所述投影變換矩陣是根據幀中具有特徵的、且在規定幀與多個近鄰幀之間具有對應關係的特徵點而被算出的，所述多個近鄰幀是在時間上與規定幀近的幀。具體而言，檢測部121檢測在規定幀與近鄰幀之間具有對應關係的多個特徵點， 該多個特徵點是具有特徵的點，所述近鄰幀是與規定幀近的幀。算出部122，將使規定幀變形的投影變換矩陣作為穩定化矩陣來算出，以使規定幀的多個特徵點與對應的近鄰幀中的被加權後的多個特徵點具有相同的坐標值。例如，算出部122利用加權函數來算出多個近鄰幀的權重。算出部122在對應的近鄰幀為在時間上與規定幀最近的幀的情況下，利用加權函數，算出與1更近的值的權重。並且，在對應的近鄰幀為在時間上與規定幀遠的幀的情況下，利用加權函數，算出比1小的值的權重。這樣，穩定化部116將算出的投影變換矩陣適用於規定幀，並對所有的幀進行同樣的處理，從而將構成2D影像數據的多個幀穩定化。立體影像製作部118如圖3所示，由選擇部123、決定部124、立體對生成部125、以及變換部1 構成，從被穩定化後的2D影像數據S13製作3D影像。選擇部123從構成2D影像的多個幀中，將與對象幀具有共同的圖像的區域的共同區域所佔區域的大小為預先規定的值以上的多個幀，選擇為立體同伴幀候補，該立體同伴幀候補是與對象幀一起構成立體圖像的幀的候補。例如，選擇部123從構成2D影像的多個幀中，選擇與對象幀為同一場面拍攝的多個幀，以作為立體同伴幀候補。具體而言，選擇部123在共同區域佔對象幀的大小的比例以及共同區域佔立體同伴幀候補的大小的比例分別為預先規定的值(例如0.9)以上的情況下，則判斷為立體同伴幀候補為與對象幀在同一場面被拍攝的幀。在此，共同區域是根據特徵點而被算出的，該特徵點是在對象幀與立體同伴幀候補之間具有對應關係的、幀中具有特徵的點。並且，選擇部123例如在構成2D影像的多個幀中，也可以將作為在時間上與對象幀接近的幀的近鄰幀作為立體同伴幀候補來選擇。決定部IM根據第一基準，從立體同伴幀候補中在決定立體同伴幀，該立體同伴幀是與對象幀一起構成立體圖像的幀。換而言之，決定部1 通過利用幀中的具有特徵的點的特徵點，來判斷是否滿足第一基準，從而決定立體同伴幀，所述特徵點並且是通過執行圖像處理能夠檢測到的點。立體對生成部125利用對象幀和立體同伴幀，來生成與對象幀對應的構成立體圖像的立體對。並且，第一基準是由垂直方向差基準、水平視差基準、平滑化基準、以及變形減少基準構成的基準。具體而言，在垂直方向差基準規定了，將對象幀的共同區域與垂直方向的位置的差略等於零的幀作為立體同伴幀。在水平視差基準規定了，將對象幀的共同區域與水平方向的位置的差(視差)包含在規定的範圍內的幀作為立體同伴幀。並且，在平滑化基準規定了，將在時間上連續的立體對之間的、共同區域的位移為平滑的幀作為立體同伴幀。 在變形減少基準規定了，將共同區域所佔區域的大小與對象幀中的共同區域所佔區域中的大小均在預先規定的值以上的幀作為立體同伴幀。變換部126，從對象幀以及由選擇選擇123選擇的立體同伴幀候補中，生成用於使立體同伴幀候補變形的變換矩陣，並通過將生成的變換矩陣適用於立體對，從而對生成的立體對進行變換。在此，變換部1 根據在對象幀與立體同伴幀之間具有對應關係的、且是幀中具有特徵的特徵點來生成變換矩陣。具體而言，變換部126使算出的投影變換矩陣、傾斜變換矩陣以及平移變換矩陣組合，從而生成變換矩陣。更具體而言，首先變換部1 在對象幀與立體同伴幀候補之間算出基本矩陣。接著，變換部126根據基本矩陣算出投影變換矩陣，以使立體對中的對象幀與立體同伴幀候補之間的垂直方向差最小化。接著，變換部1 在維持由投影變換矩陣變換的立體同伴幀中的共同區域與變換前的正交性和縱橫比相同的狀態下，算出傾斜變換矩陣。接著，變換部126算出平移變換矩陣，以使對象幀與被適用了投影變換矩陣以及傾斜變換矩陣的立體同伴幀之間的視差、與該對象幀以前的對象幀和立體同伴幀之間的視差成為相同。內部緩衝器110相當於本發明的存儲部，存儲由變換部126變換的立體對。具體而言，內部緩衝器存儲在立體影像製作部118生成的立體對，以作為由影像輸出部108輸出之前的數據的中間數據。換而言之，立體影像變換部106通過內部緩衝器110，將生成的立體對數據S15發送到影像輸出部108。影像輸出部108相當於本發明的輸出部，輸出被存儲在內部緩衝器110的被變換後的立體對。並且，影像輸出部108輸出由變換部1 變換的立體對，該立體對是與構成2D 影像的多個幀的每個幀相對應的立體對。並且，影像輸出部108將被輸入的立體對數據S15調整為與優選的輸出形式相對應的輸出影像形式(立體對數據S17)，並輸出到顯示部112。具體而言，影像輸出部108為了能夠使顯示部112進行顯示，從而將輸出影像形式調整為與顯示部112的顯示形式相一致的形式。例如，作為輸出影像形式例如有用於不佩戴眼鏡而直接用肉眼來看立體裝置的形式，但是並非受此所限。例如也可以是使用眼鏡來看的灰色/彩色立體圖片的形式，也可以是交錯形式。並且，也可以是方格形式，或者可以是利用主動式快門眼鏡來看幀連續型的立體顯示裝置的其他的形式。並且，影像輸出部108也可以利用存儲發送裝置114來對立體對數據S17進行存儲以及發送。存儲發送裝置114例如是以快閃記憶體為主的內存卡、硬碟驅動器、或光學驅動器，但並非受此所限。例如，存儲發送裝置114可以是HDMI接ロ(高清晰度多媒體接ロ)、USB接ロ、 無線接ロ或direct-to-printer (直接連接印表機)接ロ，不過並非受此所限。另外，存儲發送裝置114也可以進行任意地可逆或不可逆壓縮，來進行存儲以及發送。如以上所述，構成了立體影像製作裝置100。並且，立體影像製作裝置100(或構成立體影像製作裝置的立體影像變換部106等) 通常可以由IC (集成電路)、ASIC (專用集成電路)、或LSI (大規模電路)來實現，並且可以由多個晶片構成也可以由ー個晶片構成。並且，立體影像製作裝置100或立體影像變換部 106等的實現並非受LSI的形式所限。也可以按照集成度而以被稱為IC (集成電路)、系統 LSI、超級LSI、或極超級LSI。並且，立體影像製作裝置100等也可以利用專用電路或通用處理器等被集成化後來實現。作為專用電路例如有能夠按照程序指令來進行控制的DSP (數位訊號處理器)等特殊化後的微處理器。並且，立體影像製作裝置100等在LSI製造後，也可以利用可編程的FPGA(現場可編程門陣列)或LSI的連接或者可重構的處理器。將來，在製造以及處理技術提高之後，在以全新的技術來取代LSI的情況下，也可以利用該技木，通過進行集成化來實現。並且，立體影像製作裝置100也可以被組裝到以時間序列來顯示圖像(影像)的液晶顯示裝置、等離子體顯示裝置、附加有柱狀透鏡層的顯示裝置、或能夠顯示其他的種類的顯示裝置等的立體圖像的顯示裝置。並且，立體影像製作裝置100也可以被安裝在DVD播放器、藍光碟播放器、以及其他種類的數字媒體播放器等的數字媒體播放裝置。也可以安裝在其他種類的裝置中。上述的任何ー種情況均不限定本發明的範圍。圖4是示出本發明的實施例1所涉及的立體影像變換部106的工作的流程圖。首先，在S102，2D影像被輸入到立體影像變換部106。具體而言，立體影像變換部 106被輸入有來自接收部101的2D影像數據S13。接著，在S104，立體影像變換部106檢測在相鄰的幀之間的具有對應關係的特徵
好、ο在此，在具有對應關係的特徵點的檢測(註冊/追蹤)中採用現有技術中公開的方法。並且，用於追蹤特徵的現有的方法例如由非專利文獻2公開。並且，註冊特徵的現有的方法例如由非專利文獻3公開。並且，特徵點的檢測(註冊/追蹤)的方法並非受上述非專利文獻2以及非專利文獻3公開的方法所限。
接著，在S106，立體影像變換部106使2D影像穩定化。具體而言，立體影像變換部106利用基於在對象(參考)幀與多個近鄰幀之間的彼此對應的特徵點而被算出的矩陣， 來進行針對規定幀的穩定化變換。更具體而言，通過利用基於在規定幀與多個近鄰幀之間的彼此對應的幀中的具有特徵的特徵點而被算出的投影變換矩陣，從而對該多個幀之間的搖晃進行校正，所述多個近鄰幀是指，在時間上與規定幀接近的幀。這樣，立體影像變換部 106能夠使2D影像穩定化。接著，在S108，立體影像變換部106選擇與對象幀對應的立體同伴幀候補。具體而言，立體影像變換部106從構成2D影像的多個幀中，選擇具有共同區域的、且該共同區域所佔的區域的大小在預先規定的值(例如0. 9)以上的多個幀，以作為與對象幀一起構成立體圖像的幀的候補的立體同伴幀候補，所述共同區域是與對象幀共同的區域。例如，立體影像變換部106從構成2D影像的多個幀中選擇包含有與對象幀具有相同場面的幀。接著，在S110，立體影像變換部106決定與對象幀對應的立體同伴幀。具體而言， 立體影像變換部106根據第一基準，從立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與對象幀一起構成立體圖像的幀。在此，第一基準如以上所述，包括以下的基準a)至基準d)。即，在決定形成立體對的立體同伴幀和對象幀時需要以下的基準基準a)垂直方向差幾乎為零(垂直方向差基準)，基準b)具有充分且恰當的水平視差(水平視差基準)，基準c)與相鄰的立體對的對應點的視差相似(平滑化基準)，以及基準d)變形為最小(變形減少基準)。接著，在Sl 12，立體影像變換部106生成立體對。具體而言，立體影像變換部106 利用對象幀和立體同伴幀，生成與對象幀對應的構成立體圖像的立體對。即，立體影像變換部106利用被穩定化的對象幀與基於第一基準而被決定的立體同伴幀，生成立體對。接著，在S114，立體影像變換部106保存或顯示生成的立體對(對象立體對)。例如，立體影像變換部106將生成的對象立體對保存到內部緩衝器110。接著，在S115，立體影像變換部106確認生成的對象立體對的對象幀是否為構成 2D影像的多個幀中的最後的幀。在S115，立體影像變換部106在確認到生成的對象立體對的對象幀不是最後的幀的情況下(sii5的「否」)，返回到Sioe0另外，立體影像變換部106在確認到生成的對象立體對的對象幀是最後的幀的情況下(S115的「是」)，則進入到S116。最後，在S116輸出以在立體影像變換部106被生成的立體對構成的立體影像(3D 影像)。如以上所述，立體影像變換部106將2D影像變換為3D影像。接著，對本申請的特徵性處理S106、S108、以及SllO進行詳細說明。首先，對S106進行詳細說明。例如，在被輸入到立體影像變換部106的2D影像是由攝像機等拍攝的情況下，將要解決的課題之ー是由於手的晃動以及其他的理由而造成的攝像機的晃動。即，在以因手的晃動等而晃動的攝像機拍攝2D影像吋，則2D影像成為含有搖晃等的不穩定影像。因此， 即使從不穩定的2D影像製作3D影像，製作後的3D影像也成為不穩定的3D影像。不穩定的3D影像在由人視聽吋，會給人帶來不健全且不愉快的感覺。
因此，通過對因手的晃動或其他的理由而造成的幀間的晃動進行校正，從而能夠使不穩定的2D影像穩定化。以下，對穩定化部116進行的穩定化處理(S106)的詳細進行說明。圖5是示出本發明的實施例1中的穩定化部116的處理的流程圖。首先，在S201，2D影像被輸入到穩定化部116。具體而言，2D影像數據S13從接收部101被輸入到穩定化部116。接著，在S202，穩定化部116在構成2D影像(2D影像數據S13)的多個幀中檢測 (追蹤)在相鄰的幀之間的具有對應關係的特徵點。具體而言，檢測部121在構成2D影像的多個幀中檢測多個特徵點，該多個特徵點是在規定幀與近鄰幀之間的彼此對應的具有特徵的點，所述近鄰幀是與規定幀接近的幀。接著，在S204，穩定化部116根據在規定幀以及多個近鄰幀之間具有對應關係的特徵點，算出使規定幀變形的穩定化矩陣。具體而言，算出部122算出作為使規定幀變形的穩定化矩陣的投射變換矩陣，以使規定幀的多個特徵點與對應的近鄰幀的被加權後的多個特徵點具有相同的坐標值。具體而言，在S204算出穩定化矩陣Sm，針對作為規定幀的第m個幀Lii算出矩陣， 該矩陣能夠平穩地變更對應的多個近鄰幀Nm= {Im_k，· · ·，Inri，Iffl, Im+1，· · ·，Im+k}的特徵點。穩定化矩陣、是作為使式1的目標函數最小化的矩陣而被算出的。(數式1 )
m+kSm = ai-gmin SPm 一 WjVj ||2 (式 ι)
S j~rfi-k在此，S是3X3投影變換矩陣，、是被推定的3X3穩定化矩陣。P〗是包含第j個幀的所有的特徵點(K個)的3XK矩陣。這些矩陣的各個列是特徵點的三維齊次坐標。ろ 是在第j個幀的特徵點的權重。在第j個幀離第m個對象幀遠的情況下，權重變小。在第 j個幀離第m個對象幀近的情況下，權重變大。權重是通過式2所示的高斯函數算出的。(數式2)
權利要求
1.ー種立體影像製作裝置，從ニ維影像製作三維影像，該立體影像製作裝置包括 接收部，接收ニ維影像；選擇部，從構成所述ニ維影像的多個幀中，將與對象幀具有共同的圖像區域的共同區域所佔的區域大小在預先規定的值以上的多個幀選擇為立體同伴幀候補，該立體同伴幀候補是與該對象幀一起構成立體圖像的幀的候補；決定部，根據規定的基準，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構成立體圖像的幀；立體對生成部，利用所述對象幀與所述立體同伴幀，生成與所述對象幀對應的構成立體圖像的立體對；以及變換部，從所述對象幀與由所述選擇部選擇的所述立體同伴幀候補中，生成用於使所述立體同伴幀候補變形的變換矩陣，通過將生成的所述變換矩陣應用於所述立體對，來變換所述立體對。
2.如權利要求1所述的立體影像製作裝置，該立體影像製作裝置還包括穩定化部，該穩定化部通過在構成所述ニ維影像的多個幀中對該多個幀之間的搖晃進行校正，從而使該多個幀變得穩定；所述選擇部，從由所述穩定化部穩定後的構成所述ニ維影像的多個幀中，選擇立體同伴幀候補。
3.如權利要求1或2所述的立體影像製作裝置， 所述立體影像製作裝置包括存儲部，用於存儲由所述變換部變換後的立體對；以及輸出部，用於輸出由所述存儲部存儲的被變換後的立體對；所述輸出部，通過輸出由所述變換部變換後的立體對，從而從所述ニ維影像生成三維影像，所述變換後的立體對與構成所述ニ維影像的多個幀的每ー個相對應。
4.如權利要求1至3的任一項所述的立體影像製作裝置，所述選擇部，從構成所述ニ維影像的多個幀中，選擇與所述對象幀為在同一場面拍攝的多個幀，以作為所述立體同伴幀候補。
5.如權利要求4所述的立體影像製作裝置，所述選擇部，在所述共同區域的大小佔所述對象幀的比例、以及所述共同區域的大小佔所述立體同伴幀候補的比例分別在所述預先規定的值以上的情況下，判斷所述立體同伴幀候補是與所述對象幀在同一場面拍攝的幀；所述共同區域是根據幀中具有特徵的、且在所述對象幀與所述立體同伴幀候補之間具有對應關係的特徵點而被算出的。
6.如權利要求4或5所述的立體影像製作裝置，所述選擇部，在構成所述ニ維影像的多個幀中，選擇在時間上與所述對象幀近的近鄰幀，以作為所述立體同伴幀候補。
7.如權利要求1至6的任一項所述的立體影像製作裝置，所述規定的基準包括垂直方向差基準、水平視差基準、平滑化基準、以及減少失真基準；在所述垂直方向差基準中規定了，將與所述對象幀的所述共同區域在垂直方向的位置上的差略等於零的幀，作為所述立體同伴幀；在所述水平視差基準中規定了，將與所述對象幀的所述共同區域在水平方向的位置上的差屬於規定的範圍內的幀，作為所述立體同伴幀；在所述平滑化基準中規定了，將在時間上連續的立體對之間的所述共同區域的變位成為平滑的幀，作為所述立體同伴幀；在所述減少失真基準中規定了，將所述共同區域所佔的區域中的大小與所述對象幀同樣，均為所述預先規定的值以上的幀，作為所述立體同伴幀。
8.如權利要求7所述的立體影像製作裝置，所述決定部，利用通過進行圖像處理而能夠檢測到的、作為幀中的具有特徵的點的特徵點，來判斷是否滿足所述規定的基準，以便決定所述立體同伴幀。
9.如權利要求1或2所述的立體影像製作裝置，所述變換部，根據作為幀中具有特徵的、且在所述對象幀與所述立體同伴幀之間具有對應關係的特徵點來生成所述變換矩陣。
10.如權利要求1或2所述的立體影像製作裝置，所述變換部，對算出的投影變換矩陣、傾斜變換矩陣以及平移變換矩陣進行組合以便生成所述變換矩陣，並且將生成的所述變換矩陣應用於所述立體對；所述變換部，在所述對象幀與所述立體同伴幀候補之間算出基本矩陣； 所述變換部，根據所述基本矩陣算出所述傾斜變換矩陣，以使所述立體對中的對象幀與所述立體同伴幀候補之間的垂直方向差成為最小；所述變換部，算出所述投影變換矩陣，以使由所述投影變換矩陣變換後的所述立體同伴幀中的所述共同區域，維持與變換前相同的正交性和縱橫比；所述變換部，算出所述平移變換矩陣，以使以下的兩種視差成為相同，該兩種視差是指所述對象幀與被應用了所述投影變換矩陣以及所述傾斜變換矩陣後的立體同伴幀之間的視差、以及所述對象幀之前的對象幀與立體同伴幀之間的視差。
11.如權利要求2所述的立體影像製作裝置，所述穩定化部，通過利用投影變換矩陣來對多個幀之間的搖晃進行校正，該投影變換矩陣是基於幀中具有特徵的、且在規定幀與在時間上和所述規定幀接近的多個近鄰幀之間具有對應關係的特徵點而被算出的。
12.如權利要求2所述的立體影像製作裝置， 所述穩定化部包括檢測部，檢測多個特徵點，該多個特徵點是在規定幀和與所述規定幀鄰近的近鄰幀之間具有對應關係且具有特徵的點；以及算出部，算出使所述規定幀變形的投影變換矩陣，以使所述規定幀的多個特徵點、與對應的所述近鄰幀中被加權後的多個特徵點具有相同的坐標值；所述穩定化部通過將所述投影變換矩陣應用於所述規定幀，從而使該多個幀變得穩疋。
13.如權利要求12所述的立體影像製作裝置， 所述多個近鄰幀是在時間上與所述規定幀近的幀。
14.如權利要求12所述的立體影像製作裝置，所述算出部利用加權函數，算出所述多個近鄰幀的權重； 所述算出部，在對應的所述近鄰幀為在時間上與所述規定幀最近的幀的情況下，利用所述加權函數，算出值為更近於1的權重；在對應的所述近鄰幀為在時間上離所述規定幀遠的幀的情況下，利用所述加權函數， 算出值為比1小的權重。
15.如權利要求2所述的立體影像製作裝置，所述接收部，接收用戶以拍攝裝置拍攝的ニ維影像； 所述立體影像製作裝置進ー步包括分析部，分析所述拍攝裝置的動作，生成用於引導所述用戶的信息，以便拍攝穩定的ニ 維影像；反饋部，根據由所述分析部生成的信息，生成用於向所述用戶反饋的反饋信息；以及顯示部，顯示被生成的所述反饋信息以及所述ニ維影像。
16.ー種立體影像製作方法，從ニ維影像製作三維影像，該立體影像製作方法包括 接收步驟，接收ニ維影像；選擇步驟，從構成所述ニ維影像的多個幀中，將與對象幀具有共同的圖像區域的共同區域所佔的區域大小在預先規定的值以上的多個幀選擇為立體同伴幀候補，該立體同伴幀候補是與該對象幀一起構成立體圖像的幀的候補；決定步驟，根據所述規定的基準，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構成立體圖像的幀；立體對生成步驟，利用所述對象幀與所述立體同伴幀，生成構成立體圖像的立體對；以及變換步驟，從所述對象幀與由所述選擇部選擇的所述立體同伴幀候補中，生成用於使所述立體同伴幀候補變形的變換矩陣，通過將生成的所述變換矩陣應用於所述立體對，來變換所述立體對。
全文摘要
本發明的立體影像製作裝置(100)包括接收部(101)，接收二維影像；選擇部(123)，從構成所述二維影像的多個幀中，將與對象幀共同的共同區域所佔的區域大小在預先規定的值以上的多個幀選擇為立體同伴幀候補；決定部(124)，根據第一基準，從所述立體同伴幀候補中決定立體同伴幀，該立體同伴幀是與該對象幀一起構成立體圖像的幀；立體對生成部(125)，利用所述對象幀與所述立體同伴幀，生成與所述對象幀對應的構成立體圖像的立體對；以及變換部(126)，根據對象幀和被決定的所述立體同伴幀生成變換矩陣，根據第二基準將生成的所述變換矩陣應用於所述立體對，從而對所述立體對進行變換。
文檔編號H04N13/02GK102598683SQ201180004478
公開日2012年7月18日 申請日期2011年9月16日 優先權日2010年9月17日
發明者山田整, 李博, 王振珀, 申省梅 申請人:松下電器產業株式會社