內插圖像生成裝置、重構圖像生成裝置及生成內插圖像的方法
2023-10-31 20:34:22 2
專利名稱：內插圖像生成裝置、重構圖像生成裝置及生成內插圖像的方法
技術領域：
本發明涉及生成內插圖像的技術、以及使用內插圖像來生成重構圖像的技術。本申請主張以2011年9月8日申請的日本國專利申請特願2011-196577為基礎的優先權，並將該基礎申請的內容全部弓丨用到本申請中。
背景技術：
通過取得從多個視點拍攝的被攝體的多個圖像來取得從被攝體進入照相機的鏡頭的全部光線的方向和光量的技術是公知的。將從不同的視點拍攝被攝體而得到的多個圖像的集合稱作光場圖像，將構成光場圖像的一個一個的圖像稱作子圖像。另外，取得由少量的高解析度的子圖像構成的光場圖像並從該取得的光場圖像來對重對焦圖像或景深不同的圖像等進行重構的技術是公知的。在該光場圖像中，在相鄰的子圖像之間會產生與取得了兩圖像的視點的偏離(視差)對應的像素缺陷。該像素缺陷在從光場圖像重構新的圖像時成為周期性的噪聲的原因。為了解決上述問題，在特表2009-532993號公報中，提出了在2個子圖像之間生成被估計為是從位於與2個子圖像對應的視點之間的視點拍攝的內插圖像，並使用該內插圖像來對像素缺陷進行內插。但是，特表2009-532993號公報僅提出了使用內插圖像來進行重構的技術，並沒有公開生成內插圖像的方法。
發明內容
本發明的第I觀點所涉及的內插圖像生成裝置具備圖像取得部，其取得從多個視點拍攝被攝體而得到的多個拍攝圖像；實際像素提取部，其(i)針對構成所述多個拍攝圖像的每個實際像素，從與包含該實際像素的拍攝圖像不同的拍攝圖像的像素中提取被估計為與被攝體的相同的部位對應的實際像素來作為該實際像素的對應實際像素，( )進而針對各實際像素來計算與所提取出的對應實際像素之間的可靠度；雛形定義部，其定義與未包含在所述多個視點中的新的視點對應的內插圖像的雛形；內插像素提取部，其針對每個所述實際像素，基於(i)拍攝該實際像素的視點的位置、(ii)拍攝該實際像素的對應實際像素的視點的位置、(iii)所述新的視點的位置，來從構成內插圖像的雛形的內插像素中提取被估計為與該實際像素所對應的被攝體的部位對應的內插像素的候補；判別部，其基於(i)所述實際像素的可靠度、或(ii)與所述內插像素的候補相鄰的內插像素所對應的實際像素的可靠度，來判別該內插像素的候補各自是否與該實際像素對應；以及內插圖像生成部，其通過基於所述實際像素的像素值對所述判別部判別為與該實際像素對應的內插像素的像素值進行更新，來生成所述內插圖像。本發明的第2觀點所涉及的重構圖像生成裝置具備圖像取得部，其取得使用多個微透鏡來拍攝由主透鏡成像的被攝體的光學像而得到的多個拍攝圖像；實際像素提取部，其(i)針對構成所述多個拍攝圖像的每個實際像素，從與包含該實際像素的拍攝圖像不同的拍攝圖像的像素中提取被估計為與被攝體的相同的部位對應的實際像素來作為該實際像素的對應實際像素，( )進而針對各實際像素來計算與所提取出的對應實際像素之間的可靠度；雛形定義部，其定義與未包含在所述多個微透鏡的光學中心之中的新的視點對應的內插圖像的雛形；內插像素提取部，其針對每個所述實際像素，基於(i)拍攝該實際像素的視點的位置、(ii)拍攝該實際像素的對應實際像素的視點的位置、(iii)所述新的視點的位置，來從構成內插圖像的雛形的內插像素中提取被估計為與該實際像素所對應的被攝體的部位對應的內插像素的候補；判別部，其基於(i)所述實際像素的可靠度、或(ii)與所述內插像素的候補相鄰的內插像素所對應的實際像素的可靠度，來判別該內插像素的候補各自是否與該實際像素對應；內插圖像生成部，其基於所述實際像素的像素值更新由所述判別部判別為與該實際像素對應的內插像素的像素值，來生成所述內插圖像；重構部，其從由所述圖像取得部取得的多個圖像、和由所述內插圖像生成部生成的內插圖像，重構重新對焦的圖像；以及圖像信息輸出部，其對重構後的所述圖像的信息進行輸出。本發明的第3觀點所涉及的內插圖像生成方法具備圖像取得步驟，取得從多個·視點拍攝被攝體而得到的多個拍攝圖像；對應實際像素提取步驟，針對構成所述多個拍攝圖像的每個實際像素，從與包含該實際像素的拍攝圖像不同的拍攝圖像的像素中提取被估計為與被攝體的相同的部位對應的實際像素來作為該實際像素的對應實際像素；可靠度計算步驟，針對各實際像素來計算與所提取出的對應實際像素之間的可靠度；雛形定義步驟，定義與未包含在所述多個視點中的新的視點對應的內插圖像的雛形；內插像素提取步驟，針對每個所述實際像素，基於(i)拍攝該實際像素的視點的位置、(ii)拍攝該實際像素的對應實際像素的視點的位置、(iii)所述新的視點的位置，來從構成內插圖像的雛形的內插像素中提取被估計為與該實際像素所對應的被攝體的部位對應的內插像素的候補；判別步驟，基於(i)所述實際像素的可靠度、或(ii)與所述內插像素的候補相鄰的內插像素所對應的實際像素的可靠度，來判別該內插像素的候補各自是否與該實際像素對應；以及內插圖像生成步驟，基於所述實際像素的像素值更新被判別為與該實際像素對應的內插像素的像素值，來生成所述內插圖像。
結合附圖考慮以下詳細的記述，來獲得對本發明更深的理解。圖1是表示本發明的實施方式I所涉及的數位照相機的構成的圖。圖2是表示實施方式I所涉及的數位照相機的光學形成的構成的圖。圖3是表示實施方式I所涉及的光場圖像的示例的圖。圖4A是表示實施方式I所涉及的內插圖像生成裝置的物理構成的圖。圖4B是表示實施方式I所涉及的內插圖像生成裝置的功能構成的圖。圖5A 圖5C是表示實施方式I所涉及的實際圖像與EPI的關係的圖。圖6是表示實施方式I所涉及的直線估計處理的概要的圖。圖7是表示實施方式I所涉及的直線估計處理的概要的圖。圖8是表示實施方式I所涉及的實際像素信息列表的示例的圖。圖9是表示實施方式I所涉及的內插像素插入處理的概要的圖。圖10是表示實施方式I所涉及的內插像素列表的示例的圖。
圖1lA 圖1lC是表示實施方式I所涉及的像素值相加處理的概要的圖。圖12是表示實施方式I所涉及的內插圖像生成處理的流程圖。圖13是表示實施方式I所涉及的角度Θ登記處理的流程圖。圖14是表示實施方式I所涉及的角度Θ估計處理的流程圖。圖15是表示實施方式I所涉及的像素值相加處理的流程圖。圖16是表示實施方式I所涉及的基於關注實際像素的內插處理的流程圖。圖17A、圖17B是表示實施方式I所涉及的二維內插圖像生成處理的概要的圖。
圖18是表示實施方式I所涉及的重構圖像生成處理的流程圖。圖19是表示實施方式2所涉及的光學裝置的圖。圖20是表示本發明的實施方式2所涉及的像素值相加處理的流程圖。
具體實施例方式下面，參照附圖來說明用於實施本發明的方式所涉及的內插圖像生成裝置以及重構圖像生成裝置。另外，對在圖中相同或相當的部分賦予相同的符號。(實施方式I)實施方式I所涉及的內插圖像生成裝置30搭載於圖1所示的數位照相機I中。數位照相機I具備如下功能i)拍攝被攝體來獲得圖像的功能；ii)生成用於填補信息缺陷(差距；gap)的內插圖像的功能，該信息缺陷因從多個視點拍攝相同的被攝體而得到的多個圖像(子圖像)間的視點的偏離(視差)而產生；iii)使用子圖像和內插圖像來生成任意的重構圖像的功能。內插圖像生成裝置30承擔這些功能中的生成內插圖像的功能。如圖1所示，數位照相機I由攝像部10、包含內插圖像生成裝置30的信息處理部20、存儲部40、接口部(I/F)50構成。數位照相機I通過這樣的構成而取得光線信息，並顯示錶徵光線信息的圖像。攝像部10由光學裝置110、圖像傳感器120構成，並進行拍攝動作。如圖2所示，光學裝置110由快門111、光圈112、主透鏡ML、微透鏡陣列LA構成，並通過主透鏡ML來捕捉來自外部的光線，將以各子透鏡SL的光學中心為視點而取得的光學像投影到圖像傳感器120上。圖像傳感器120將光學裝置110所投影的光學像變化為電信號並傳輸給信息處理部20，例如由CCD (電荷耦合器件)或CMOS (互補金屬氧化物半導體)等攝像元件、以及將由攝像元件生成的電信號傳輸給信息處理部20的傳輸部構成。快門111對外部光到圖像傳感器120的入射和屏蔽進行控制。光圈112對入射到圖像傳感器120的光的光量進行控制。主透鏡ML由I個或多個凸透鏡構成，將被攝體OB的光作為光學像，而使其成像於主透鏡ML與微透鏡陣列LA之間的虛擬的成像面IP上。微透鏡陣列LA由在平面上配置為格子狀的MXN個子透鏡(微透鏡)SL構成。微透鏡陣列LA將由主透鏡ML成像於成像面IP上的光學像設為以各個子透鏡SL的光學中心為視點而觀測出的光學像，並使其成像於構成圖像傳感器120的圖像傳感器的攝像面IE上。將由主透鏡ML所成的平面以及攝像面IE所成的平面構成的空間稱作光場。攝像部10通過上述構成，對包含經過光場的全部光線的信息在內的光場圖像進行拍攝。圖3示出了拍攝塊狀的被攝體OB而得到的光場圖像LF的一例。該光場圖像LF由與配置為格子狀的MXN個子透鏡SL分別對應的圖像(子圖像S、Sn Smn)構成。例如，左上的子圖像S11相當於從左上拍攝被攝體而得到的圖像，右下的子圖像Smn相當於從右下拍攝被攝體而得到的圖像。第i行的子圖像(橫向的I串子圖像)Sil Sffl相當於將主透鏡ML所成像的像用微透鏡陣列LA的橫向排列的第i行的子透鏡SL進行成像而得到的立體圖像。同樣地，第j列的子圖像(縱向的I串子圖像)Slj SMj相當於將主透鏡ML所成像的像用微透鏡陣列LA的縱向排列的第j列的子透鏡SL進行拍攝而得到的立體圖像。另外，各子圖像S是灰度圖像，構成子圖像的各像素具有像素值(標量值)。圖1所示的信息處理裝置20在物理上由CPU (中央處理單元)、RAM (隨機存取存
儲器)、內部總線、I/o埠構成，作為圖像處理部210、內插圖像生成裝置30、圖像重構部220、攝像控制部230而發揮功能。圖像處理部210從圖像傳感器120取得電信號，基於存儲在存儲部40的攝像設定存儲部410中的攝像設定信息，將所取得的電信號變換成圖像數據。圖像處理部210將圖像數據和攝像設定信息傳輸給內插圖像生成裝置30。攝像設定信息包括與光場圖像的各子圖像對應的視點(子透鏡SL的光學中心)的位置信息、關於主透鏡ML的對焦的信息、光圈(F值)的信息、圖像傳感器120的設定信息等。內插圖像生成裝置30根據由圖像處理部210生成的圖像數據和從存儲部40讀取的攝像設定信息，來生成用於對構成由圖像處理部210生成的圖像(光場圖像)的子圖像進行內插的內插圖像。另外，關於內插圖像生成裝置30的構成以及內插圖像的生成方法，在後面敘述。內插圖像生成裝置30將已生成的內插圖像的圖像數據以及內插圖像的設定信息與從圖像處理部210傳輸來的光場圖像的圖像數據以及攝像設定信息一起，傳輸給圖像重構部220。圖像重構部220使用從內插圖像生成裝置30傳輸來的光場圖像和內插圖像，來生成與存儲在存儲部40的重構設定存儲部420中的重構設定一致的重構圖像。另外，重構圖像的生成方法是任意的。圖像重構部220將生成的重構圖像存儲於存儲部40的圖像存儲部430。攝像控制部230基於存儲在存儲部40的攝像設定存儲部410中的攝像設定信息來控制攝像部10。存儲部40由如下構成由RAM (隨機存取存儲器)等構成的主存儲裝置；以及由閃速存儲器、硬碟等非易失性存儲器構成的外部存儲裝置。主存儲裝置加載存儲在外部存儲裝置中的控制程序和信息，並被用作信息處理部20的工作區域。外部存儲裝置預先存儲用於使信息處理部20進行後述的處理的控制程序和信息，按照信息處理部20的指示將這些控制程序和信息傳輸給主存儲裝置。另外，外部存儲裝置按照信息處理部20的指示來存儲基於信息處理部20的處理的信息和從接口部50傳輸來的信息。存儲部40在功能上由攝像設定存儲部410、重構設定存儲部420、圖像存儲部430構成。攝像設定存儲部410存儲攝像設定信息。攝像設定信息包括構成微透鏡陣列LA的各子透鏡SL的位置信息、微透鏡陣列LA與圖像傳感器120的攝像面IE的距離、主透鏡ML與微透鏡陣列LA的距離、和用於確定曝光時間的信息。攝像設定信息還包括從接口部50的操作部530輸入的拍攝的F值、快門速度、放大率等攝像參數。攝像設定存儲部410將攝像設定信息中的攝像參數傳輸給攝像控制部230。另外，攝像設定存儲部410將表示攝像部10的物理特性的信息和攝像設定信息傳輸給圖像處理部210。
重構設定存儲部420存儲從操作部530輸入的重構設定信息。重構設定信息由表示重構處理的具體內容的信息和重構參數構成。在此，說明對重對焦了光場圖像LF後的圖像進行重構的情況。此時，重構設定信息包含進行重對焦的意思的信息、以及確定新的圖像的焦點與透鏡的距離的信息。圖像存儲部430存儲圖像重構部220所重構的圖像。圖像存儲部430將已存儲的圖像傳輸給接口部50的I/O部510和顯示部520。接口部(在圖中記述為Ι/F部)50是涉及數位照相機I與其使用者(用戶)或外部裝置之間的接口的構成，由I/O部510、顯示部520、操作部530構成。I/O部(輸入/輸出部)510在物理上由USB (通用串行總線)連接器或視頻輸出端子、輸入輸出控制部構成。I/o部510將存儲在存儲部40中的信息輸出給外部的計算機，並將從外部傳輸來的信息傳輸給存儲部40。顯示部520由液晶顯示裝置或有機EL(電致發光)顯示器等構成，對用於輸入存儲在攝像設定存儲部410或重構設定存儲部420中的設定信息的畫面、用於操作數位照相機I的畫面進彳丁顯不。另外，顯不部520對存儲在圖像存儲部430中的圖像進彳丁顯不。操作部530例如由在數位照相機I上所具備的各種按鈕或在顯示部520中所具備的觸控面板、以及檢測在各種按鈕或觸控面板進行的操作的信息並將檢測結果傳輸給存儲部40和信息處理部20的控制部構成，且輸入通過用戶操作而輸入的信息。接下來，參照圖4A、圖4B來說明內插圖像生成裝置30的構成。如圖4A所示，內插圖像生成裝置30由信息處理部31、主存儲部32、外部存儲部33、操作部34、顯示部35、輸入輸出部36、內部總線37構成。信息處理部31由CPU (中央處理單元)、RAM(隨機存取存儲器)構成。主存儲部32具有與存儲部40的主存儲裝置相同的物理構成。外部存儲部33具有與存儲部40的外部存儲裝置相同的物理構成，存儲有程序38。操作部34具有與操作部530相同的物理構成。顯示部35具有與顯示部520相同的物理構成。輸入輸出部36具有與I/O部510相同的物理構成。內部總線37將主存儲部32、外部存儲部33、操作部34、顯示部35、輸入輸出部36連接起來。主存儲部32、外部存儲部33、操作部34、顯示部35、輸入輸出部36、內部總線37也可以是通過數位照相機I的信息處理部20的內部電路、存儲部40、和接口部50而實現的功能塊。
內插圖像生成裝置30將存儲在外部存儲部33中的程序38以及數據複製到主存儲部32中，信息處理部31通過使用主存儲部32來執行程序38，從而執行後述的內插圖像生成處理。如圖4B所示，內插圖像生成裝置30通過上述那樣的物理構成而作為輸入部310、信息處理部320、存儲部330、操作部340、輸出部350發揮功能。輸入部310由從圖像處理部210取得光場圖像LF的圖像取得部311、以及對在取得該光場圖像LF時的攝像設定信息進行取得的圖像設定取得部312構成。信息處理部320基於圖像取得部311所取得的光場圖像LF、圖像設定取得部312所取得的該光場圖像LF的攝像設定信息、和存儲於內插設定存儲部332中的內插設定，來生成內插圖像。信息處理部320將已生成的內插圖像與圖像取得部311所取得的圖像一起，存儲到存儲部330的內插信息存儲部333中。存儲部330存儲出廠時所存儲的設定信息、用戶使用操作部340而輸入的輸入信息、信息處理部320的處理結果。存儲部330將從信息處理部320請求的信息傳輸給信息處理部320。另外，存儲部330將存儲的信息傳輸給輸出部350。信息處理部320通過執行下述的處理，而作為EPI生成部321、角度估計部322、內插圖像設置部323、對應檢測部324、對應評價部325、像素值相加部326發揮功能。EPI生成部321在分別從輸入部310的圖像取得部311接受光場圖像LF、從圖像設定取得部312接受該通常圖像LF的攝像設定信息時，生成EPI (Epipolar Plane Image,極平面圖像)。EPI生成部321將生成的EPI傳輸給角度估計部322、內插圖像設置部323。在此，參照圖5A 圖5C來說明由EPI生成部321從光場圖像LF生成的EPI。為了容易理解，在此，如圖5A所示，說明基於從在橫(X軸)方向排列的4個子透鏡(SL1 SL4)來拍攝位於無限遠的背景B、和在Z軸方向上離開透鏡(子透鏡WL1 SL4距離z的物體A而得到的光場圖像LF來生成EPI的情況。另外，設背景B由與彼此不同的像素對應的部分B1 B25構成。另外，設物體A由與彼此不同的像素對應的部分A1 A7構成。子透鏡SL1 SL4分別使子圖像S1 S4成像於圖像傳感器120的攝像面IE上。換言之，子圖像S1 S4是分別以子透鏡SL1 SL4的光學中心為視點對被攝體進行拍攝而得到的圖像。如圖5B所示，子圖像S1 S4分別將縱向(V軸方向)V個、橫向(U軸方向)u(在此設為25)個像素排列成格子狀而構成。子透鏡SL1 SL4的光學中心分別逐次隔開距離(視差)Cl1 d3。在此，設視差Cl1 d3為相同的值d。在使用微透鏡陣列LA來進行拍攝的情況下，視差d的值由微透鏡陣列LA的物理上的構成來確定。視差d的值包含在攝像設定信息中。子圖像S1 S4的縱(V軸)向相當於被攝體空間的Y軸方向，橫(U軸)向相當於被攝體空間的X方向。子圖像S1 S4的相同行(例如第i行)的各像素串是與同一極平面對應的像素串。極平面是被攝體的關注點、拍攝被攝體的2個視點這3個點所形成的平面。將與某極平面對應的像素串配置成相 對應的視點的順序而得到的圖像是EPI。下面，將構成EPI的實際所拍攝的圖像(實際圖像)的各串標記為實際像素串，將實際像素串的各像素標記為實際像素。另外，在圖5A 圖5C的示例中，EPI能從子圖像S1 S4中定義子圖像的V軸方向的像素串的數量V個。圖5C表示將圖5B的子圖像S1 S4的第i行的各像素串依次排列而生成的EPI。在此，EPI的縱向(圖5C的X軸)與被攝體空間(圖5A)的X軸對應。另外，EPI的橫向(圖5C的U軸)與子圖像(圖5B)的U軸對應。對構成EPI的U軸方向的各串的像素分配像素號(在此為I 25)。EPI的各行在X軸方向上以與相應的視差Cl1 d3對應的間隔而進行配置。另外，在視差Cl1 d3大致相同的情況下，也可以使各行間相鄰地配置。
在圖5C的EPI的各像素內，記載有表示與該像素對應的被攝體的部分的符號(A1 A7、B1 B25)。例如，與物體A的部分A1對應的像素在實際像素串I (R1)中表現為像素號7的像素，在實際像素串2 (R2)中表現為像素號10的像素。實際像素串I與實際像素串2中的像素號之差Ai為3。將各EPI的行間(實際像素串I(R1)與實際像素串2 (R2)之間、實際像素串2(R2)與實際像素串3(R3)之間、實際像素串3(R3)與實際像素串4(R4)之間)產生的像素號之差Λ (A1 A3)稱作該被攝體的EPI視差。在視差(!( = 4 = 4 = d3)相等的情況下，EPI視差(A1 A3)也相等。實際像素串I (R1) 實際像素串4(R4)隔開與相應的子透鏡SL1 SL4之間的視差(I1 d3對應的間隔來進行配置，因此，與同一被攝體對應的EPI上的像素在EPI上排列於直線上。具體地，例如與物體A的右端(A7)的部分對應的像素在圖5C的直線L(A7)上排列。在此，將直線L (A7)稱作被攝體部分A7的EPI直線。對應的被攝體越接近，EPI直線相對於EPI的X軸的角度越大。這是因為，若被攝體(例如A7)越接近，則從被攝體(A7)進入到透鏡L1 L4的光的角度就因視差Cl1 d3而越大地變化，因此，對應的像素的位置(像素號)就彼此越大地在U軸方向上偏離。另一方面，例如在被攝體如背景B那樣位於充分遠離透鏡L1 L4的位置的情況下，由於光大致平行地進入到透鏡L1 L4中，因此，對應的像素的位置(像素號)在U軸方向上沒有變化，如EPI直線L(B1)那樣，與EPI的X軸平行。與被攝體上的某點Q對應的EPI直線L(Q)與X軸的交叉角度Θ (Q)根據點Q與子透鏡之間的距離Zq、視差d、微透鏡陣列LA與攝像面IE之間的距離、攝像元件間的距離等來確定。若EPI視差Λ( = A1= A2 = A3)大，則在EPI的各行存在大的信息的差距(像素缺陷)。該像素缺陷(信息差距)成為進行圖像的重構時的噪聲的原因。為此，在本實施方式中，在子圖像之間生成虛擬的內插圖像，並將其配置於EPI的實際像素串之間來用於重構圖像的生成，由此減少因像素缺陷而引起的噪聲。返回圖4Β，EPI生成部321將生成的EPI傳輸給角度估計部322和內插圖像設置部 323。在存在橫向N個、縱向M個子圖像S、且各個實際圖像由縱向V個像素串、橫向U個像素串構成的情況下，總共能定義V · M+U · N個ΕΡΙ。EPI生成部321若取得由Μ·Ν個子圖像S構成的光場圖像LF，則生成上述(V · M+U · N)個 EPI 全部。
角度估計部322若被EPI生成部321傳輸來EPI上的各實際像素使用存儲在內插設定存儲部332中的內插設定，並估計EPI直線與X軸所成的角度Θ。內插設定的信息包含生成的內插圖像的數量、設置內插圖像的相對位置、在角度估計中所使用的參數等。內插設定由用戶使用操作部340來定義，並存儲在內插設定存儲部332中。內插設定可以是出廠時預先存儲在內插設定存儲部332中的信息。說明針對成為處理對象的實際像素來估計EPI直線與X軸交叉的角度Θ的處理的概要。將關注實際像素標記為像素Pxl (Rx，u)。Rx表示關注實際像素為實際像素串Rx (第X列的實際像素串)的像素，U表示關注實際像素為實際像素串Rx中的第U個的像素。然後，將經過關注實際像素Pxl (Rx，u)的與X軸所成角度為角度Θ的直線標記為Line(0)。在圖6中示出將實際像素串2 (R2)的像素號16的像素Pxl (R2,16)作為了關注實 際像素的、對角度Θ進行估計的處理的示例。圖6示出了針對Pxl (R2,16)而定義的、與多個Θ對應的多條直線Line ( Θ )。並且，對位於各直線Line( Θ )上的R1 R4的實際像素，基於位於直線上的像素值之差來計算Pxl (Rx，u)的直線Line(0)為EPI直線的可靠性(likelihood)的評價值C。基於式(I)來計算評價值C。評價值C的值(C值)越小，則直線Line(0)上的實際像素的像素值的誤差越小，該直線上的像素所對應的可靠度就越高。導出評價值C的可靠度最高的角度Θ，並將其設為針對該實際像素而估計出的EPI直線的角度Θ。C = — [I Λ·-/ I …⑴
K keEPI式(I)的I是關注實際像素的像素值，EPI是表徵位於Line( Θ )上的關注實際像素以外的各像素的參數，Ik是位於直線上的關注實際像素以外的各像素的像素值，K是位於直線上的關注實際像素以外的像素的數量。另外，評價值C並不限於式(I)，也可以使用直線Line(e)上的各像素的像素值的誤差越大則解就越大的任意的計算式來進行計算。例如，例如，評價值C還可以使用如下計算式來計算將關注實際像素的像素值與直線上的像素值之差取平方後再相加，然後再除以K。另外，通過以下的處理來提取存在於直線Line(e)上的像素。(I)求取Line(Q)與各像素串的中心線的交點Pc。(2)在交點Pc位於像素串的像素A的中心與像素B的中心的中間的情況下，像素A和像素B中中心更接近於交點Pc的像素被選擇為該像素串中存在於Line ( Θ )上的像素。(3)在交點Pc為像素A的中心的情況下，選擇像素A作為該像素串中存在於Line( Θ )上的像素。(4)在交點Pc偏出了像素串的情況下(在圖6的示例中，位於像素號I或像素號25的外側的情況)，該像素串中不存在Line( Θ )上的像素。圖4B所示的角度估計部322將評價值C的可靠度最高的角度Θ作為該像素的估計EPI直線，若該C值為規定的閾值以下，則將該角度Θ登記到後述的實際像素信息列表中。例如，與圖6的關注實際像素Pxl (R2,16)所對應的被攝體A7對應的像素存在於Line(Q2)上，因此，對像素(R2,16)登記角度Θ 2。此時，存在難以估計EPI直線的像素。例如，與圖6的像素Pxl (R4,13)對應的被攝體是圖5A所示的背景B的部分B13。若不存在物體A，則與B13對應的像素應當存在於與X軸平行的角度O的EPI直線(Pxl (R4,16)的Line (O))上。但由於B13在實際像素串I 3中被物體A遮蔽，因此與像素Pxl (R4,13)對應的像素並不存在於實際像素串I 3中。故而無法估計EPI直線。另外，例如，與Pxl (R4,8)對應的被攝體是背景B的部分B8。與部分B8對應的像素雖然在實際像素串2 3中存在於Pxl (R4,8)的Line( Θ 0)上,但在實際像素串I中由於被物體A遮蔽，因此不存在。故而，存在無法根據Pxl (R1,8)的像素值來正確地估計直線Line(O)從而對Pxl (R4,8)登記與角度O不同的角度Θ的可能性。於是，內插圖像生成裝置30重複進行估計處理，將得到了可靠度高的估計直線的像素在下一次重複的估計處理中從處理對象中排除來進行估計處理。參照圖7來說明該處理。首先，由於圖7中以斜線或網狀線所示的實際像素在EPI上的實際像素串I 4的全部中都存在對應的實際像素，因此，若不考慮噪聲的影響，則能估計高的可靠度(小的C值)的EPI直線。僅在C值為被預先設定為小的數值以使可靠度高的閾值以下的情況下才登記角度Θ，在這樣的條件下來執行第I次的估計處理。其結果，僅針對對應關係可靠的像素(斜線的像素以及網狀線的像素)估計EPI直線，登記角度Θ。然後，在從下一次起以後的循環中，從計算對象中將登記了角度Θ的實際像素排除。接下來，僅使用在第I次的估計處理中未登記角度Θ的實際像素來進行第2次的估計處理。此時，即使閾值與第I次的估計處理相同，式(I)的作為計算對象的像素也減少了，因此，在第2次的估計處理中，能針對橢圓所示的像素估計角度Θ。例如，在第2次的估計處理中估計Pxl (R4,7)的直線時，從計算對象中排除Pxl (R1,7)的像素值。故而，由於在式⑴中不再相加Pxl (R4,7)的像素值與Pxl (R1,7)的像素值之差，因此，角度O能不受Pxl (R1,7)的像素值的影響地正確估計EPI直線。以後，僅使用未登記角度Θ的的實際像素來依次執行相同的動作。根據本實施方式，通過對各直線計算評價值C，並將評價值C小的直線設為估計EPI直線，得到了能在EPI上簡便地估計與各實際像素對應的實際像素這樣的效果。另外，通過將登記了角度Θ —次的像素在從下一次開始的角度Θ估計處理中從比較對象排除出去，並從與對應關係可靠(未因遮擋而屏蔽)的被攝體對應的像素起依次登記角度Θ，從而能進一步不受與屏蔽的被攝體對應的像素的影響地來估計與因遮擋而屏蔽的被攝體對應的像素的對應關係。根據某像素是在第幾次的估計處理中登記了角度Θ，能評價與該像素對應的被攝體因被遮擋而被屏蔽的程度。能將以越少的處理次數登記了角度Θ的像素評價為對應的被攝體因被遮擋而被屏蔽的可能性越低。於是，將在第幾次的處理(反覆)中登記角度Θ、和該次數(反覆數)作為該像素的角度Θ的評價值IT，來與像素建立對應地進行存儲。
另外，如圖7中塗黑的Pxl (R4,13)那樣，還存在無對應的像素從而無法進行角度的估計的(無法估計具有比規定的閾值(閾值的最大值)小的C值的EPI直線)的像素。針對這樣的像素，將角度Θ存儲為空(NULL)。在因噪聲而未能檢測出C值比閾值低的直線的情況下也相同。圖4B所示的角度估計部322針對各像素，生成將估計出的EPI直線的角度Θ、和在EPI直線的估計過程中所計算出的該直線的評價值IT (反覆數)建立對應地進行了登記的實際像素信息列表，並將其存儲在實際像素信息存儲部331中。在此，參照圖8來說明存儲在實際像素信息存儲部331中的實際像素信息列表。實際像素信息列錶針對實際像素串上的各像素，將估計出的EPI直線的角度Θ、與角度Θ的評價值IT(登記了角度θ的反覆數)建立對應地進行存儲。實際像素ID是唯一地表徵在該行中所登記的像素的標識符。 實際像素串ID表示在該行中所登記的像素是哪個像素串的像素。像素號表示該行中所登記的像素的像素號。例如,某行的實際像素串ID為#01、像素號為I,示出了該行登記了像素串R1的第I個像素Pxl (R1, D的角度Θ和評價值IT。Θ是針對該行的實際像素所估計的EPI直線與X軸的角度Θ。Θ為O意味著被推測為與該像素對應的被攝體距透鏡較遠(視同無限遠的程度)。另一方面，Θ大表示與該像素對應的被攝體存在於接近透鏡的位置。Θ取從O起至根據照相機的性質而確定的最大值θ_為止的任意的值。另外，θ_的值存儲在攝像設定存儲部410中。評價值IT是表示對該像素登記的角度Θ是在第幾次的反覆中被登記的數值。該數值越小，對該像素所登記的角度Θ的可靠度就越高。基於圖4Β來繼續說明。內插圖像設置部323在從EPI生成部321傳輸來EPI時，基於內插設定存儲部332所存儲的內插設定信息，來在EPI上定義內插圖像的像素串。在此，參照圖9來說明在EPI上所定義的內插圖像的像素串。在從EPI生成部321傳輸來的EPI上，隔著與視差對應的間隔而配置有所拍攝的圖像的像素串。在圖9中，沿襲上述的示例，示出隔著與視差d對應的間隔而配置有實際像素串I 4(EPI的第I行、第4行、第7行、第10行)的示例。內插圖像設置部323基於內插設定信息，在實際像素串之間配置規定數量的內插像素串。在此，設根據內插補正信息而定義為在實際像素串之間以每2串為一組均衡地插入內插像素串。在此情況下，按照內插設定信息，在EPI上插入內插圖像的像素串(內插像素串I 6、V1 V6) (EPI的第2行、第3行、第5行、第6行、第8行、第9行)。內插圖像設置部323在實際像素串與實際像素串之間插入內插像素串。此時所插入的內插像素串的各像素(內插像素)的像素值為零。該處理等同於在子透鏡SL1 SL4(實際透鏡)之間設置虛擬的透鏡(內插透鏡)，並將被推測為從內插透鏡得到的、圖像的像素串的雛形配置在EPI上。例如，圖9的內插像素串I是被估計為從存在於與實際圖像S1對應的子透鏡SLp和與實際圖像S2對應的子透鏡^之間的內插透鏡SLvl得到的、虛擬的子圖像(內插圖像)Svl的第V行的像素串。內插透鏡SLvl存在於子透鏡SL1 SL4所成的直線上的與子透鏡SLi離開虛擬視差dv( = di/3)的位置。插入內插像素串的EPI上的位置以及插入的像素串的數量能通過內插設定來適當地確定。例如，可以將與實際像素串I離開虛擬視差dvl =屯/5的內插圖像的內插像素串1、以及與實際像素串I離開虛擬視差dv2 = d,/2的內插像素串2，插入到實際圖像S1的實際像素串I和實際圖像S2的實際像素串2之間。另外，還能進行在實際像素串I和實際像素串2之間插入3個內插像素串、在實際像素串2和實際像素串3之間不插入內插像素串這樣的設定。返回圖4B來繼續說明。內插圖像設置部323將插入了內插像素串後的EPI傳輸給對應檢測部324。對應檢測部324針對傳輸來的EPI的各實際像素，提取與該像素對應的內插像素。對應檢測部324針對EPI上的各實際像素，將該實際像素、以及針對該實際像素而 登記的估計EPI直線上的內插像素作為對應的像素的集合進行檢測。該處理從可靠度高(所登記的評價值IT小)的實際像素起依次進行。對各像素的集合，將實際像素的評價值IT設為其對應關係的可靠度(評價值I!；)。對應檢測部324在提取表示I個實際像素、與該實際像素對應的內插像素的集合、其對應的評價值Ι ；的信息(下面記作對應信息)時，將該對應信息傳輸給對應評價部325。對應評價部325在從對應檢測部324傳輸來對應信息時，評價該對應關係的可靠性。該評價基於其對應的評價值IT,、以及存儲在內插信息存儲部333中的後述的內插像素列表來進行。具體的評價方法在後面敘述。對應評價部325在針對I個對應信息而完成對應的可靠性的評價後，將對應信息和評價結果傳輸給像素值相加部326。像素值相加部326基於所傳輸來的對應信息和評價結果，對EPI的內插像素相加像素值。然後，將和值結果存儲到存儲於內插信息存儲部333中的內插像素列表中。在此，參照圖10來說明存儲於內插信息存儲部333中的內插像素列表。內插像素列表將唯一表示EPI上的各內插像素的內插像素ID (內插像素串ID和像素號)、該內插像素的到目前為止的像素值、對該內插像素相加了實際像素的像素值的次數(相加次數)、以及該內插像素的評價值I!；建立對應地進行了存儲。在像素值連一次都未相加的情況下，像素值和評價值ITr為NULL。在此，內插像素的評價值I!；是與該像素對應的實際像素(到此為止對該內插像素相加像素值而得到的實際像素)中的評價值IT最小(可靠度最高)的實際像素的評價值。在此，參照圖1lA 圖1lC來說明由對應檢測部324、對應評價部325、像素值相加部326進行的內插像素值相加處理的概要。在圖1lA 圖1lC中，用內插像素串的內插像素內的數值來表示對該內插像素相加了像素值的次數。另外，省略了相加次數O的標記。首先，對應檢測部324將圖1lA中斜線所示的實際像素Pxl (R1, 7)作為關注實際像素，從存儲於實際像素信息存儲部331中的實際像素信息列表讀取所登記的角度Θ，並基於角度Θ檢測Pxl (V1,8)、Pxl (V2，9)、Pxl (V3，11)、…，來作為對應的內插像素(所估計出的EPI直線上的內插像素)。
接下來，對應評價部325評價Pxl (R1, 7)與Pxl (V1,8)之間的對應的可靠性。S卩，參照內插像素列表來判別像素值是否已經從評價值IT比Pxl(R1J)更低的(可靠度更高)的實際像素相加到Pxl (V1,8)的兩側相鄰的像素上。在未將像素值從具有更低評價值IT的實際像素加到兩側相鄰的像素上的情況下，估計為對應是可靠(likely)的。在圖1lA的情況下，由於在Pxl (V1,8)的兩側相鄰(Pxl (V1, 7)和Pxl (V1,9))上還未相加像素值，因此，對應評價部325判別為Pxl (R1, 7)與Pxl (V1,8)之間的對應是可靠的。然後，像素值相加部326將Pxl (R1, 7)的像素值相加到Pxl (V1,8)上。具體地，使內插像素列表的Pxl (V1,8)的行的相加次數自增(increment)，並加上像素值。進而，若該·行的評價值為NULL，則將實際像素Pxl (R1, 7)的評價值IT登記到評價值II；中。在已經完成了一次以上的像素值相加的情況下，將使用下面的式(2)而算出的數值登記為相加後的數值。
「 川[V · t) + Vcd,P=-----…(2)
r τ I此時，V為更新後的像素值，V為更新前的像素值，Val為關注實際像素的像素值，t為自增前的相加次數。下面，對針對關注實際像素Pxl (R1, 7)而提取出的其它的內插像素(Pxl(V2，9)、Pxl (V3,11)…)，也同樣地進行判別處理、相加處理。針對Pxl (R1, 7)的處理結束時，選擇下一關注實際像素，同樣地在對應的內插像素上追加像素值。圖1lB示出了下一個關注實際像素是Pxl (R2,10)的關注實際像素的情況下的處理結果。處理進一步進行，在圖1lC中示出了在第η次的步驟中與背景B的部分B9對應的像素Pxl (R2,9)被選為關注實際像素的情況下的處理。登記在Pxl (R2,9)中的Θ值為0，提取ΡχΚν^ΚΡχΚν^ΚΡχΚ )…來作為對應的內插像素的候補。在圖1lB中，將Pxl (R2,10)的像素值加到Pxl (V1,8)、Pxl (V2，9)、Pxl(V3,11)上。對應評價部325 針對該 Pxl (R2,9)與 Pxl (V1,9)、Pxl (V2,9)、Pxl (V3，9)的每一個，評價對應的可靠性。S卩，判別與提取出的對應候補像素的每一個相鄰的內插像素是否為已經被加上了具有更小的評價值IT的實際像素的像素值的內插像素(具有比關注實際像素更小的ITr的內插像素)(圖1lC的X所示的像素)。相鄰的像素的兩者都具有比關注實際像素小的ITr的內插像素(例如Pxl (V1,9))，被估計為是與因遮擋而被屏蔽的被攝體對應的像素(遮擋像素)。故而，該內插像素判別為不與關注實際像素Pxl (R2,9)對應，不相加像素值。另一方面，在相鄰的內插像素的至少一者的I!；為關注實際像素IT以上的情況下(Pxl(V2，9)以及Pxl (V3，9))，基於該內插像素不是遮擋像素的判別，相加關注實際像素Pxl (R2,9)的像素值。此時，在僅有相鄰的內插像素的一者已經被相加了評價值IT更小的實際像素的像素值的情況下，也相加Pxl (R2,9)的像素值。認為這樣的內插像素相當於對應的被攝體因遮擋而隱藏的邊緣部分。通過相加與比邊緣部分更遠的被攝體對應的像素的像素值，能使邊緣變得「圓潤」。通過判別是否登記有評價值IT比相鄰的內插像素小(可靠度高)的實際像素的像素值來簡便地判別是否為遮擋像素，從而能生成保持了光場圖像的縱深信息的內插圖像。另外，在此，只有在相加了評價值IT小於相鄰的內插像素的雙方的實際像素的像素值的情況下，才將該內插像素判別為遮擋像素。但是，是否為遮擋像素的判別基準並不限於此。例如，也可以在相加了評價值小於相鄰的像素的至少I個的實際像素的像素值的情況下，將該內插像素判別為是遮擋像素。根據這樣的判別方法，能更嚴密地判定實際像素與內插像素的對應。 另外，也可以不是相鄰的像素，而是在該內插像素自身上已經被相加了評價值IT更小的實際像素的像素值的情況下，將該像素判別為是遮擋像素。在像素值相加處理結束、登記在內插信息存儲部333中的內插像素列表被更新時，像素值相加部236將針對當前的關注實際像素而結束了處理的情況傳輸給對應檢測部324。然後，對應檢測部324針對下一實際像素來檢測對應，同樣地繼續處理。在針對全部的實際像素進行了上述的處理時，針對該EPI，結束內插圖像的生成。對EPI生成部321所生成的全部的EPI生成內插圖像結束時，生成部350對外部裝置輸出內插完成的EPI (內插圖像和實際圖像)。然後，內插圖像生成裝置30結束處理。接下來，參照圖12 圖19來說明具有上述構成的內插圖像生成裝置30生成內插圖像的處理。內插圖像生成裝置30的信息處理部320在由輸入部310取得光場圖像LF以及攝像設定信息時，開始圖12所示的內插圖像生成處理。若開始內插圖像生成處理，則從輸入部310對EPI生成部321傳輸該光場圖像LF和該攝像設定信息(步驟S101)。EPI生成部321根據已取得的光場圖像LF、攝像設定信息來生成圖5C所示的EPI (步驟 S102)。EPI生成部321計算所生成的EPI的數量J，對照地用I J的數值對各個EPI進行編號。另外，將I代入到計數器j中(步驟S103)。接下來，EPI生成部321對焦至第j個EPI。步驟S105 S108針對對焦後的EPI而被執行(步驟S104)。角度估計部322針對第j個EPI執行角度Θ登記處理(步驟S105)。關於角度Θ登記處理在後面進行敘述。在角度Θ登記處理結束、對第j個EPI的各實際像素登記了角度Θ、並將實際像素信息列表存儲到實際像素信息存儲部331時，如圖9所示，內插圖像設置部323將內插像素串插入到第j個EPI中(步驟S106)。在內插像素串的插入結束時，對應檢測部324、對應評價部325、像素值相加部326進行圖1lA 圖1lC所示的像素值相加處理(步驟S107)。關於像素值相加處理(像素值相加處理I)在後面敘述。在像素值相加處理結束時，針對其EPI也結束處理。然後，將j與J進行比較，來判別是否還剩餘未處理的EPI (步驟S108)。在j小於J而剩餘未處理的EPI的情況下(步驟S108 :否)，使j自增(步驟S109)，重複步驟S104 步驟S108的處理。另一方面，在j為J以上、未剩餘未處理的EPI的情況下(步驟S108 :是)，信息處理部320結束內插圖像生成處理。在結束內插圖像生成處理時，輸出部350將存儲在內插信息存儲部333中的、內插圖像及實際圖像傳輸給圖像重構部220。關於之後的處理在後面敘述。接下來，參照圖13來詳細說明角度Θ登記處理(步驟S105)。在角度Θ登記處理中，首先，角度估計部322對變量進行初始化(步驟S201)。具體地，將I代入it，將I代入計數器n，將最初的閾值THtl代入th。另外，取得EPI上的實際像素的數量N、總反覆次數ITmax。在此，ITmax和THtl是存儲於內插設定存儲部332中的數值。ITmax和THtl既可以是通過實驗等而求取並在初始設定中確定的數值，也可 以是由用戶輸入的任意的數值。另外，角度估計部322用I N的數字來在步驟S201中對EPI上的實際像素進行編號。在步驟S201結束時，接下來，角度估計部322選擇第η個像素作為關注實際像素(S202)。然後，角度估計部322參照存儲在實際像素信息存儲部331中的實際像素信息列表，判別是否已對關注實際像素登記了角度Θ (步驟S203)。在已經登記的情況下(步驟S203 :是)，角度估計部322對該實際像素結束處理。即，使η自增(步驟S209)，返回至步驟S202。在還未對關注實際像素登記角度Θ的情況下(步驟S203 :否)，角度估計部322針對關注實際像素進行角度Θ估計處理(步驟S204)。關於角度Θ估計處理在後面敘述。在角度Θ估計處理結束、計算出針對關注實際像素所估計出的角度Θ、與角度Θ的評價值C時，接下來，角度估計部322判別角度Θ的評價值C是否大於閾值th (步驟S205)。在角度Θ的評價值C大於閾值th的情況下(步驟S205 :是)，由於該角度Θ在本次的反覆中未具有充分的的可靠度，因此，針對該像素，不在本次的反覆中登記角度Θ。即，使η自增(步驟S209)，返回至步驟S202。另一方面，在角度Θ的評價值C為閾值th以下的情況下(步驟S205 :否)，角度估計部322針對關注實際像素，將其角度Θ、評價值IT (=當前的反覆次數it)登記到實際像素信息存儲部331的實際像素信息列表中(步驟S206)。然後，接下來，角度估計部322判別η是否為N以上(步驟S207)。在η小於N的情況下(步驟S207 :否)，由於在當前的反覆中存在未處理的實際像素，因此，角度估計部322使η自增(步驟S209)，返回至步驟S202。另一方面，在η為N以上的情況下(步驟S207 :是)，由於在該反覆中結束了對全部實際像素的處理，因此，接下來角度估計部322判別反覆次數是否結束(步驟S208)。BP,在it不足ITmax的情況下(步驟S208 :否)，由於規定的反覆次數還未結束，因此使it自增，對η進行初始化，將th更新為新的閾值THit (步驟S210)。然後使處理從S202起重複。此時，閾值th的更新規則根據存儲在內插設定存儲部332中的內插設定來確定。越對反覆進行重複，則閾值th變得越大(直線的判別基準變得寬鬆)。在此，THit是在當前的th上加上規定的差Λ th後得到的數值。
另外，儘管在此設為了在新的反覆中必定更新閾值th，但在對反覆進行重複的情況下更新閾值的方法並不限於此。在該反覆中對新的實際像素登記了角度Θ的情況下，由於在下一次的Θ估計處理中排除掉該登記了角度的像素後再進行估計處理，因此在下一次的反覆中，即使利用相同的閾值th也能將角度Θ登記至新的實際像素。故而，在當前的反覆中，在將角度Θ登記至新的實際像素的情況下，THit也可以與當前的th相同。另一方面，在it為ITmax以上的情況下(步驟S208 :是)，由於結束了規定的反覆次數，因此角度估計部322結束角度Θ登記處理。接下來，參照圖14來說明角度Θ登記處理在步驟S204所執行的角度Θ估計處理。角度估計部322開始角度Θ估計處理時，首先進行變量的初始化(步驟S301)。即，將I代入計數器m，將空NULL代入針對關注實際像素所估計的角度(成為角度Θ估計處理的解的角度Θ)即角度變量Θ·以及表示到目前為止的評價值的變量max，將初始值 Qtl代入表示成為當前的處理對象的角度的變量θπ。另外，提取角度Θ估計處理的重複次數Μ。M和Qtl是存儲在內插設定存儲部332中的數值。M和Θ ^既可以是通過實驗等而求取並在初始設定中確定的數值，也可以是由用戶輸入的任意的數值。在此，將Qtl設為設計上的最大角度即θ_。在步驟S301結束時，角度估計部322接下來提取作為EPI上的實際像素的、存在於經過關注實際像素的角度θπ的直線上且還未登記角度Θ的像素(步驟S302)。然後，角度估計部322在式(I)中使用步驟S302中提取出的像素的像素值，來求取經過關注實際像素的直線Line ( Θ J。角度估計部322接下來比較變量max和評價值C,來判別在步驟S303中計算出的評價值C是否為以前的循環中針對關注實際像素而計算出的評價值C中最小的值，即該直線Line(Qm)是否為關注實際像素最可靠的直線(步驟S304)。另外，在max的值為NULL的情況下，將NULL作為無限大來進行計算。在max彡評價值C的情況下(步驟S304 :否)，由於Θ m是在當前時間點的關注實際像素的最可靠的直線，因此將在步驟S303計算出的評價值C代入變量max，將Θ m代入變量 Gans (步驟 S305)。另一方面，在max <評價值C的情況下(步驟S304 :是)，由於在關注實際像素中已經登記了可靠性更高的角度Θ，因此，不登記角度θπ，跳過步驟S305。接下來，角度估計部322比較m和M來判別規定的重複次數是否已結束(步驟S306)。在m彡M的情況下(步驟S306 :是)，由於規定的重複次數M次處理結束，因此角度估計部322結束角度Θ估計處理，將Θ·作為關注實際像素的估計角度，將max的值作為其評價值C，來開始角度Θ登記處理的步驟S205。另一方面，在m < M的情況下(步驟S306 :否)，由於處理還未結束規定的重複次數，因此，角度估計部322使計數器m自增，將θπ更新為Θ'，並從步驟S302起重複處理。在此，Qni的更新規則遵循內插設定存儲部332中所存儲的設定。在此，設Θ，是從更新前的θπ中減去規定的數值Λ Θ而得到的值。
接下來，參照圖15來說明圖12所示的內插圖像生成處理的像素值相加處理(步驟S107)的第I具體例(像素值相加處理I)。在像素值相加處理I中，首先，對應檢測部324對變量進行初始化(步驟S401)。在步驟S401中，對應檢測部324將I代入表示當前的反覆次數的變量U2以及計數器變量k。另外，取得EPI上的實際像素的數量N、以及像素值相加處理I的總反覆次數ITmax。另外，取得在角度Θ登記處理中所登記的實際像素的編號信息。在此，各實際像素的編號根據該實際像素登記在存儲於實際像素信息存儲部331中的實際像素信息列表的第幾行來確定。在此，實際像素的數量N是在角度Θ登記處理中所提取的實際像素的數量N。另夕卜，總反覆次數ITmax與在角度Θ登記處理中提取的ITmax相同。在初始化結束時，對應檢測部324選擇第k個實際像素作為關注實際像素(步驟S402)。具體地，提取登記在實際像素信息列表的第k行上的實際像素的信息，並將該實際 像素作為關注實際像素。接下來，對應檢測部324判別在關注實際像素中是否登記有角度Θ (步驟S403)。即，判別實際像素信息列表的第k行的角度Θ的值是否不為NULL，在為NULL的情況下，判別為未對關注實際像素登記角度Θ (步驟S403:否)。然後，針對該像素結束處理，跳到步驟 S406。另一方面，在實際像素信息列表的第k行的角度Θ不為NULL、對關注實際像素登記了角度Θ的情況下(步驟S403 :是)，接下來，對應檢測部324對關注實際像素的評價值IT和當前的反覆次數U2進行比較(步驟S404)。在關注實際像素的評價值IT與當前的反覆次數U2不同的情況下(步驟S404 否)，由於該像素在本次的反覆中不是處理對象，因此，對應檢測部324對該像素結束處理。S卩，對應檢測部324跳到步驟S406。另一方面，在關注實際像素的評價值IT與當前的反覆次數U2相等的情況下(步驟S404 :是)，對應檢測部324執行基於關注實際像素的內插處理(步驟S405)。關於在步驟S405所執行的處理在後面敘述。在此，關注實際像素的評價值IT是表示關注實際像素的角度Θ是在角度Θ登記處理(圖14)的第幾次的反覆中被登記的數值。如此，基於具有與反覆次數U2相等的評價值IT的實際像素來執行內插處理，對反覆進行重複是從評價值小而被推測為由於遮擋而引起的對應關係的分歧的發生可能性更小的實際像素起執行內插處理。在基於關注實際像素的內插處理(步驟S405)結束時，對應檢測部324判別是否還剩餘未處理的實際像素(步驟S406)。具體地，判別k是否為N以上，在小於N的情況下(步驟S406 :否)，對應檢測部324判別為在該反覆中存在未處理的實際像素。然後，使k自增(步驟S407)，將下一實際像素設為關注實際像素，從步驟S402起重複處理。另一方面，在k為N以上、判別為在該反覆中已對全部的實際像素進行了處理的情況下(步驟S406 :是)，對應檢測部324結束該反覆。然後，比較it2和ITmax，來判別反覆是否被重複了規定的次數ITmax(步驟S408)。在U2小於ITmax時(步驟S408 :否)，判別為未重複處理規定的反覆次數，對應檢測部324移轉到下一反覆。
具體地，對應檢測部324使U2自增，將I代入k (步驟S409)，使處理從步驟S402
起重複。另一方面，在it2為ITmax以上的情況下(步驟S408 :是)，對應檢測部324結束像素值相加處理I。接下來，參照圖16來說明在像素值相加處理I的步驟S405中所執行的基於關注實際像素的內插處理。在基於關注實際像素的內插處理中，首先，對應檢測部324從實際像素信息存儲部331的實際像素信息列表中提取該關注實際像素的角度Θ。然後，基於所提取的角度Θ來定義關注實際像素的估計EPI直線Line(0)，提取位於EPI直線上的內插像素(步驟S501)。
接下來，對應檢測部324取得所提取出的內插像素的數量I，將I代入計數器變量i (步驟S502)。進而，對應檢測部324用I至I來對在步驟S502中提取出的各內插像素進行編號。對應檢測部324結束步驟S502時，接下來，對應評價部325參照存儲在內插信息存儲部333中的內插像素列表，提取與第i個內插像素相鄰的內插像素(步驟S503)。BP,對應評價部325從內插像素列表中提取第i個內插像素的內插像素串ID(IDi)和像素號(Ni),提取內插像素串ID為IDp像素號為隊+1的內插像素和N1-1的內插像素。然後，對應評價部325判別第i個的內插像素是否為遮擋像素(步驟S504)。根據到前次為止的反覆中，在步驟S503中提取出的相鄰的內插像素的兩者上是否都被加上了像素值(對於相鄰的內插像素，比當前的反覆次數it2小的評價值ITr是否被登記在內插像素列表中)來判別是否為遮擋像素。在相鄰的2個內插像素的兩者都登記有比U2小的評價值IT,的情況下，能推測為第i個內插像素是遮擋像素，不與關注實際像素對應。即，能推測為第i個內插像素是與位於關注實際像素所對應的被攝體的更前方的被攝體對應的像素。故而，若對應評價部325判別為第i個內插像素為遮擋像素(步驟S504 :是)，則不對像素值相加部326指示像素值的相加，而跳到步驟S506。另一方面，若判別為第i個內插像素不是遮擋像素(步驟S504 :否)，則基於第i個內插像素與關注實際像素之間相對應的推測，對應評價部325將對第i個內插像素相對關注實際像素值的情況傳輸給像素值相加部326。像素值相加部326基於式(2)來相加第i個內插像素的像素值，並將相加得到的像素值登記到與內插像素列表的第i個內插像素對應的行(步驟S505)。另外，在步驟S505中，在當前的反覆次數U2為所登記的II；以下的情況下，像素值相加部326將U2作為該行的新的評價值I!；而予以登記。在像素值相加部326將關注實際像素的像素值加到內插像素上而更新了內插像素列表後，對應檢測部324比較i和I來判別是否已對步驟S501中提取出的全部內插像素結束了處理(S506)。若i為I以上而判別為對全部的提取出的內插像素結束了上述處理(步驟S506 是)，則對應檢測部324結束基於關注實際像素的內插處理。另一方面，在i小於I而判別為剩餘未處理的內插像素的情況下(步驟S506 :否)，對應檢測部324使i自增(步驟S507)，針對下一內插像素從步驟S503起重複處理。在針對全部的像素而結束內插像素的相加處理時，結束針對該EPI已結束內插圖像的生成這樣的判斷的基礎、基於關注實際像素的內插處理。內插圖像生成裝置30通過上述的一系列的處理來生成內插圖像。內插圖像生成裝置30通過重複執行上述處理，來相對於實際像素平面地生成內插圖像。參照圖17A、圖17B來說明該平面性的內插圖像的生成處理。首先，從圖17A中的圓所示的實際圖像(實n 實12···)縱橫地生成第I階段的EPI的集合(EPI (縱U、EPI (縱2}.. EPI (橫U、EPI (橫2}..)。橫向的EPI的集合(EPI (橫I1)、EPI (橫2^…)分別由V個EPI構成，能定義微透鏡LA的縱向的子透鏡的數量(M個)。即，橫向的EPI能定義V ·Μ個。同樣地，縱向的EPI能定義N ·υ個。因此，EPI總共能定義V· Μ+Ν· U個。內插圖像生成裝置30使用實際圖像首先生成V · Μ+Ν · U個正方形所示的第I階段的內插圖像(圖17Α)。另外，正方形的內部的數字為I表示正方形是第I階段的內插圖 像。接下來，將第I階段的內插圖像作為虛擬的實際圖像，來生成第2階段的EPI集合(EPI (縱I2)、EPI (縱22)、EPI (縱32)…)。然後，生成第2階段的內插圖像(圖17Β)。另夕卜，正方形的內部的數字為2表示該正方形為第2階段的內插圖像。如此，通過分為2個階段來平面地生成內插圖像，本實施方式的內插圖像生成裝置30不用增加透鏡或攝像元件就能虛擬地提升捕捉被攝體的平面性的採樣數。另外，儘管在此使用了縱向的EPI集合來生成第2階段的內插圖像，但第2階段的EPI的生成方法並不限於此。也可以用橫向的EPI集合來生成第2階段的內插圖像。另夕卜，也可以對在縱向生成的中間階段的內插圖像與在橫向生成的中間階段的內插圖像取平均而生成的內插圖像作為第2階段的內插圖像。在生成上述全部的內插圖像時，內插圖像生成裝置30將在圖像重構部220生成的圖像、以及實際透鏡和內插透鏡的位置信息輸出給圖像重構部220，並結束處理。實施方式I所涉及的內插圖像生成裝置30通過上述處理，能僅基於被估計為與更近前的被攝體對應的實際像素來決定被估計為發生了遮擋的內插像素的像素值，因此，能生成與遮擋對應的內插圖像。另外，實施方式I所涉及的內插圖像生成裝置30使登記角度Θ的閾值按每次反覆而可變，最初使角度Θ的估計基準嚴格，越到後面越寬鬆。由此，在初始的反覆中，不會產生遮擋，對對應關係可靠的像素登記角度Θ，在之後的反覆中，在因遮擋或噪聲而對應關係不可靠的像素中也定義對應關係。故而，在被估計為與內插像素對應的實際像素有多個的情況下，能挑選對應關係更可靠的實際像素，並基於挑選出的實際像素的像素值來決定內插像素的像素值。接下來，使用圖18、19來說明由圖像重構部220從內插圖像生成裝置30所生成的光場圖像LF(內插完成的EPI)重構圖像的處理。在此，設從光場圖像LF重構在重對焦至相隔主透鏡ML距離al的地點後的圖像。圖像重構部220在從內插圖像生成裝置30傳輸來內插完成的EP1、以及實際透鏡及內插透鏡的位置信息時，執行圖18所示的重構圖像生成處理。在開始圖18的重構圖像生成處理時，圖像重構部220首先進行初始化處理(步驟S601)。在步驟S601中，圖像重構部220從存儲部40的重構設定存儲部420中取得重構圖像的設定。此時，重構圖像的設定包含重對焦的距離al的信息。另外，從攝像設定存儲部410取得攝像設定信息。進而，將I代入作為計數器變量的I和P。進而，將O代入表示對像素P (第P個像素)相加了像素值的次數的變量tp。進而，取得內插圖像的實際透鏡和內插透鏡的合計數L、以及重構圖像的總像素數P。另外，用I P的數字來對重構圖像的各像素進行編號。進而，用I C的數字來對實際透鏡和內插透鏡合起來進行編號。在結束上述的初始化處理(步驟S601)時，圖像重構部220從取得的圖像中選擇與第I個透鏡(透鏡I)對應的子圖像S (步驟S602)。接下來，在從與重構圖像上的關注像素P對應的位置PS發出了光的情況下，圖像重構部220使用該光經過包含在微透鏡陣列LA中的子透鏡I而到達攝像面IE為止的軌跡透鏡I (對應的第I個子透鏡)的位置信息來確定該光，確定沿著特定的軌跡的光到達了攝像元件的表面IE的到達點PE上所在的子圖像上的像素(步驟S603)。具體地，設圖19所示的X軸方向上的關注像素的OB上的對應的位置PS與光軸OA的距離為X，設到達點PE與光軸OA的距離為X"。在此，在步驟S601中所取得的攝像設定中包含主透鏡ML的焦距fML、從主透鏡ML起到微透鏡陣列LA為止的距離Cl、從微透鏡陣列LA起到攝像面IE為止的距離c2。另外，對從基於透鏡位置信息而算出的光軸OA起到透鏡I的光學中心為止的距離d進行計算。另夕卜，以在步驟S601中所取得的距離信息來表徵的距離是從主透鏡ML起到焦點位置為止的被攝體距離al。圖像重構部220將焦距以及被攝體距離al用到以下的式(3)中，來計算從主透鏡ML起到主透鏡的成像面IP為止的距離bl。
權利要求
1.一種內插圖像生成裝置，具備圖像取得部，其取得從多個視點拍攝被攝體而得到的多個拍攝圖像；實際像素提取部，其(i)針對構成所述多個拍攝圖像的每個實際像素，從與包含該實際像素的拍攝圖像不同的拍攝圖像的像素中提取被估計為與被攝體的相同的部位對應的實際像素來作為該實際像素的對應實際像素，( )進而針對各實際像素來計算與所提取出的對應實際像素之間的可靠度；雛形定義部，其定義與未包含在所述多個視點中的新的視點對應的內插圖像的雛形；內插像素提取部，其針對每個所述實際像素，基於(i)拍攝該實際像素的視點的位置、 ( )拍攝該實際像素的對應實際像素的視點的位置、(iii)所述新的視點的位置，來從構成內插圖像的雛形的內插像素中提取被估計為與該實際像素所對應的被攝體的部位對應的內插像素的候補；判別部，其基於(i)所述實際像素的可靠度、或(ii)與所述內插像素的候補相鄰的內插像素所對應的實際像素的可靠度，來判別該內插像素的候補各自是否與該實際像素對應；和內插圖像生成部，其通過基於所述實際像素的像素值對所述判別部判別為與該實際像素對應的內插像素的像素值進行更新，來生成所述內插圖像。
2.根據權利要求1所述的內插圖像生成裝置，其中，所述判別部按照所述實際像素的可靠度從高到低的順序來執行判別處理，比較⑴該實際像素的可靠度、與(ii)到前次為止的判別處理中判別為與相鄰於該內插像素的候補的內插像素對應的實際像素中所定義的可靠度，並基於該比較結果來判別所述內插像素的候補各自是否與該實際像素對應。
3.根據權利要求1所述的內插圖像生成裝置，其中，所述判別部從與更位於近前的被攝體的部位對應的實際像素起依次執行判別處理，比較⑴該實際像素的可靠度、與(ii)到前次為止的判別處理中判別為對應於與該內插像素的候補相鄰的內插像素的實際像素中所定義的可靠度，並基於該比較結果來判別所述內插像素的候補各自是否與該實際像素對應。
4.根據權利要求1所述的內插圖像生成裝置，其中，所述實際像素提取部針對每個所述實際像素，通過在極平面圖像上基於表示直線上的實際像素間的像素值彼此不同的程度的誤差值進行直線檢測，來提取對應的實際像素。
5.根據權利要求4所述的內插圖像生成裝置，其中，所述實際像素提取部使用不同的檢測基準來重複直線檢測多次，並在從下次開始的重複處理中將直線檢測已完成的實際像素從直線檢測的誤差值的計算對象中排除。
6.根據權利要求5所述的內插圖像生成裝置，其中，所述實際像素提取部將所述誤差值為規定的閾值以下設為所述直線檢測的檢測基準， 使該閾值隨著對直線檢測進行重複而變大。
7.根據權利要求5所述的內插圖像生成裝置，其中，所述實際像素提取部按照更前面的重複處理中所直線檢測的實際像素的可靠度更高的方式來計算所述實際像素的可靠度。
8.根據權利要求4所述的內插圖像生成裝置，其中，所述實際像素提取部基於(i)由所述實際像素提取部檢測出的直線、與(ii)所述極平面圖像的法線所形成的角度，來計算所述可靠度。
9.一種重構圖像生成裝置，具備圖像取得部，其取得使用多個微透鏡來拍攝由主透鏡成像的被攝體的光學像而得到的多個拍攝圖像；實際像素提取部，其(i)針對構成所述多個拍攝圖像的每個實際像素，從與包含該實際像素的拍攝圖像不同的拍攝圖像的像素中提取被估計為與被攝體的相同的部位對應的實際像素來作為該實際像素的對應實際像素，( )進而針對各實際像素來計算與所提取出的對應實際像素之間的可靠度；雛形定義部，其定義與未包含在所述多個微透鏡的光學中心之中的新的視點對應的內插圖像的雛形；內插像素提取部，其針對每個所述實際像素，基於(i)拍攝該實際像素的視點的位置、 ( )拍攝該實際像素的對應實際像素的視點的位置、(iii)所述新的視點的位置，來從構成內插圖像的雛形的內插像素中提取被估計為與該實際像素所對應的被攝體的部位對應的內插像素的候補；判別部，其基於(i)所述實際像素的可靠度、或(ii)與所述內插像素的候補相鄰的內插像素所對應的實際像素的可靠度，來判別該內插像素的候補各自是否與該實際像素對內插圖像生成部，其基於所述實際像素的像素值更新由所述判別部判別為與該實際像素對應的內插像素的像素值，來生成所述內插圖像；重構部，其從由所述圖像取得部取得的多個圖像、和由所述內插圖像生成部生成的內插圖像，重構重新對焦的圖像；和圖像信息輸出部，其對重構後的所述圖像的信息進行輸出。
10.一種生成內插圖像的方法，具備圖像取得步驟，取得從多個視點拍攝被攝體而得到的多個拍攝圖像；對應實際像素提取步驟，針對構成所述多個拍攝圖像的每個實際像素，從與包含該實際像素的拍攝圖像不同的拍攝圖像的像素中提取被估計為與被攝體的相同的部位對應的實際像素來作為該實際像素的對應實際像素；可靠度計算步驟，針對各實際像素來計算與所提取出的對應實際像素之間的可靠度； 雛形定義步驟，定義與未包含在所述多個視點中的新的視點對應的內插圖像的雛形； 內插像素提取步驟，針對每個所述實際像素，基於(i)拍攝該實際像素的視點的位置、 ( )拍攝該實際像素的對應實際像素的視點的位置、(iii)所述新的視點的位置，來從構成內插圖像的雛形的內插像素中提取被估計為與該實際像素所對應的被攝體的部位對應的內插像素的候補；判別步驟，基於(i)所述實際像素的可靠度、或(ii)與所述內插像素的候補相鄰的內插像素所對應的實際像素的可靠度，來判別該內插像素的候補各自是否與該實際像素對應；和內插圖像生成步驟，基於所述實際像素的像素值更新被判別為與該實際像素對應的內插像素的像素值，來生成所述內插圖像。
全文摘要
本發明提供內插圖像生成裝置、重構圖像生成裝置和生成內插圖像的方法。內插圖像生成裝置(30)中，由輸入部(310)取得從多個視點得到的多個拍攝圖像及其攝像設定信息，EPI生成部(321)從多個圖像生成EPI，角度估計部(322)在EPI上估計各EPI的實際像素所對應的直線的角度，內插圖像設置部(323)將內插圖像設置在EPI上，對應檢測部(324)檢測實際像素與內插圖像的像素(內插像素)之間的對應，對應檢測部(324)評價實際像素與內插像素之間的對應關係的可靠性，像素值相加部(326)基於對應關係的可靠性來相加內插像素的像素值，由此生成內插圖像。
文檔編號H04N5/232GK103002215SQ201210332358
公開日2013年3月27日 申請日期2012年9月10日 優先權日2011年9月8日
發明者長坂知明, 中込浩一 申請人:卡西歐計算機株式會社