距離推定裝置、距離推定方法、集成電路、電腦程式的製作方法

2023-06-08 12:36:31 2

專利名稱：距離推定裝置、距離推定方法、集成電路、電腦程式的製作方法
技術領域：
本發明涉及，拍攝運動圖像或連續靜止圖像時推定與圖像中的所有的被攝體之間的距離的裝置以及方法。
背景技術：
一般而言，對於基於傳感的距離推定方式，可以主要大致劃分為以下的兩種。一種為，主動傳感型。例如，該主動傳感型的方式有利用雷射以及超聲波的飛行時間法；在顯微鏡等上常用的共焦點法；以及利用多個光源的光度立體法等。另一種為，被動傳感型。該被動傳感型的方式有拍攝立體圖像，並根據各個攝像圖像中所拍攝的物體位置的差來推定距離的方法；以及雖然同時拍攝一張圖像，但是利用透鏡焦點的不同的焦點法。焦點法為，主要用於實現相機的自動對焦(以下，稱為「AF(Auto Focus) )功能的技術。焦點法中的方法有用於小型數字相機的對比AF (Auto Focus)等的DFF法(Depth From R)CUS:對焦深度)；用於單鏡頭反光相機的AF等的瞳孔分割相位差檢測法；以及DFD 法(D印th From Defocus 散焦深度)。在DFD法中，針對圖像中的一點，計算在該一點的對比度，逐漸進行對焦位移，在判斷為接近合焦狀態時，停止對焦位移，來確定距離。在該DFD法中，需要依次進行對焦位移，直到成為合焦狀態為止，而且，針對圖像中的所有的像素執行該方法。因此，測量距離所需要的時間非常長。因此，對移動物體的測量不合適。並且，如AF的情況那樣，在測量特定的物體的距離的情況下，通過所述的方法能夠實現，但是，若想要針對圖像中的所有的像素進行距離推定，必然需要拍攝合焦位置不同的許多圖像。也就是說，存在的缺點是，需要從拍攝後的這些許多圖像中選擇合焦於各個像素的圖像，進行距離推定。對於瞳孔分割相位差檢測法，通過測量相位差檢測傳感器的成像間隔，從而能夠直接推定距離，為了推定距離而不需要花費時間，但是，不能將相位差檢測傳感器排列為被分配到圖像中的所有的像素。因此，僅在圖像中的預先限定的點，能夠推定距離。並且，用於實現其功能的機構尺寸，與其他的方式相比，必然大。DFD法是指，拍攝互不相同的兩個聚焦位置的兩張圖像，根據各個圖像以及透鏡的模糊參數來直接求出合焦距離的方法(例如，參照非專利文獻1以及2)。在此，模糊參數是表示亮度信息的模糊的值，也是與透鏡的點擴展函數(PSF Point Spread Function)的方差相關的值。在此，PSF是表示理想的點像通過光學系統時的光線的擴展的函數。也稱為散焦特性。對於DFD法，與所述的瞳孔分割相位差檢測法相同，為了推定距離而不需要花費時間，並且，拍攝的張數為最小限度的兩張即可，但是，需要預先獲得透鏡的模糊參數。而且，實際上，在模糊圖像中，除了存在由透鏡的模糊以外，還存在由攝像元件的孔徑的模糊、 由薄膜特性的模糊等。因此，還需要預先獲得並考慮這些模糊。DFD法的問題是，在拍攝互不相同的兩個聚焦位置的兩張圖像時，在該兩張之間， 需要不使像倍率發生變化。另一方，在通常的光學系統中，不是這樣的設計的情況多。也就是說，需要採用像方遠心光學系統(例如，參照非專利文獻3)。並且，除此以外，還存在的問題是，只能以比較小的模糊，保持距離推定精度。對於該問題的第一原因是，通過圖像處理，來進行匹配，並推定距離，因此，會有相對難以得到功率小時即模糊大時的距離推定精度的情況。第二原因是，雖然這是在理想的透鏡模型例如高斯模型以及pillbox模型中不會產生的問題，但是，基於實際透鏡(組合透鏡)的模糊模型中存在如下傾向，即，模糊越大， 模糊的變化就越小。也就是說，因此存在的問題是，在模糊的變化量小的、模糊大的區域，導致距離推定精度降低。針對這樣的問題，在通常的光學系統中有如下想法，S卩，用於決定模糊的性質的瞳孔(孔徑)形狀為圓形，並模糊的變化小，因此距離推定精度低。而且，對於基於該想法的方法，提出了以下的方法，即，採用結構化瞳孔遮罩，利用模糊的變化大的模型，來推定距離 (例如，參照非專利文獻4)。由於採用結構化瞳孔遮罩，因此，與圓形孔徑的情況相比，針對深度方向，模糊的變化的區別更明顯，距離推定精度提高。並且，在推定距離的同時，能夠生成All-in-focus圖像(以下，稱為「全焦點圖
像」。)。而且，使該想法進一步發展而還提出了 Coded Aperture (編碼孔徑)方式，其中， 通過進一步研究瞳孔形狀，從而按圖像的每個部分區域，進行更高精度的距離測量(例如， 參照非專利文獻5)。這樣的研究瞳孔形狀的方法的問題是，雖然距離推定精度提高，但是光量減少、且全焦點圖像的畫質也略降低。對於該問題，關注之處是這樣的方法採用以下的想法，S卩，通過研究瞳孔形狀，在作為光學系統整體的頻率傳遞特性上，生成零點，使距離推定精度提高。也就是說，因此，與被攝體無關，而能夠進行穩健的距離推定，反而，在復原全焦點圖像時，存在因零點而消失的信息(在頻率區域成為零的成分)。因此，包含像在後級的信號處理也不能復原該信息那樣的根源性問題。據此，產生所述的問題。對於用於解決該問題的方法，有以下的方法。該方法是指，通過將以兩張的、互不相同的光圈形狀拍攝的兩個圖像，作為一對來使用，從而同時實現距離推定精度的提高和全焦點圖像的復原性能劣化防止的方法。還提出了基於該方法的Coded Aperture Pairs 方式(例如，參照非專利文獻6)。這是因為，期待以下效果的緣故，即，通過以兩張的、互不相同的光圈形狀拍攝被攝體，從而互補彼此的零點。另一方面，設定在任何光學系統、任何距離上都一定能夠彼此互補零點的瞳孔形狀的組合是困難的。並且，即使以特定的光學系統為前提，也設定在任何距離上都一定能夠彼此互補零點的瞳孔形狀是困難的。
也就是說，不能避免與通常的光學系統相比，復原後的全焦點圖像劣化。另一方面，也有以下的方法，S卩，最初獲得全焦點圖像，將獲得的全焦點圖像、和由以後的通常拍攝的圖像組合，根據焦點的不同來推定與物體之間的距離(例如，參照非專利文獻7以及專利文獻1)。從前存在稱為R)cal Stack的方式，該方式是指，拍攝合焦位置互不相同的多張圖像，並從各個圖像分別提取有可能合焦的區域來合成，從而獲得EDOF (Extended Depth of Field(Focus))圖像(景深擴展圖像)即全焦點圖像。利用如此獲得的全焦點圖像、以及另一張的對焦於任意的距離例如最靠前(近端)的距離時的實際的圖像，推定距離。通過進行測量等，預先獲得對焦於近端時的各個被攝體距離的模糊參數。按圖像的每個區域，比較利用所述的模糊參數來對全焦點圖像的按每個被攝體距離的模糊進行模擬的多個圖像的每一個、與所述的近端實際圖像，將最類似的圖像所示的距離判斷為其被攝體的距離。對於實現這樣的方式所需要的結構，利用圖8進行說明。圖8是示出距離推定裝置9的結構的方框圖，該距離推定裝置9利用全焦點圖像、 和對焦於特定的距離時的實際的圖像，來推定距離。距離推定裝置9包括全焦點圖像生成部91、特定深度合焦圖像獲得部9101、模糊參數群獲得部9102、模糊圖像群生成部9103、類似模糊判斷部9104、以及距離圖生成部 9105。全焦點圖像生成部91，生成全焦點圖像(圖8的圖像91a)。而且，對於全焦點圖像生成部91的具體結構，通過景深擴張(以下，稱為「ED0F」。) 技術，獲得全焦點圖像的方法中的結構是所周知的。對於全焦點圖像生成部91，例如，也可以採用該結構。而且，一般而言，主要有以下的五個方式。第一方式是稱為R)cal Stack的方式，該方式是指，拍攝合焦位置互不相同的多張圖像，並從各個圖像分別提取有可能合焦的區域來合成。據此，獲得EDOF圖像(景深擴展圖像)即全焦點圖像。第二方式是指，通過插入稱為相位板的光學元件，使深度方向的模糊均勻，根據預先通過測量或模擬而獲得的模糊模式，進行圖像復原處理，從而獲得EDOF圖像即全焦點圖像。這稱為Wavefront Coding (波前編碼)(例如，參照非專利文獻8)。第三方式是指，在曝光時間中，通過使聚焦透鏡或攝像元件變動，在深度方向卷積一律合焦的圖像(即，與以各個深度使模糊均勻同義)，根據預先通過測量或模擬而獲得的模糊模式，進行圖像復原處理，從而獲得EDOF圖像即全焦點圖像。這稱為Flexible DOF (例如，參照非專利文獻9)。第四方式是指，雖然與R)cal Stack相似的方法，但是，不拍攝多張圖像，而利用透鏡的軸向色差，根據一張顏色圖像，推定深度，或者，檢測圖像的清晰度，通過圖像處理，獲得整體清晰的圖像，以作為全焦點圖像(例如，參照非專利文獻10)。第五方式是指，利用多焦點透鏡，使深度方向的模糊均勻，根據預先通過測量或模擬而獲得的模糊模式，進行圖像復原處理，從而獲得全焦點圖像(例如，參照非專利文獻11)。由如上所舉出的五個方式中的任何方式，都能夠實現全焦點圖像生成部91。特定深度合焦圖像獲得部9101，從全焦點圖像生成部91生成全焦點圖像時使用了的圖像群中選擇任意的一張，或者，另外拍攝新的圖像。特定深度合焦圖像獲得部9101， 據此，獲得在特定深度即距離合焦的圖像(圖像9101a)。而且，如此，特定深度合焦圖像獲得部9101使相機在設定的特定深度合焦，獲得在該合焦深度合焦的圖像。模糊參數群獲得部9102，讀出記錄的模糊參數。也就是說，預先以數值來記錄模糊參數(數據910 )，該模糊參數(數據9102a)表示在使相機在特定深度合焦圖像獲得部 9101所設定的特定深度合焦時，按任意的深度(距離)，發生怎樣的模糊。例如，由模糊參數群獲得部9102進行該記錄。而且，模糊參數群獲得部9102，讀出如此記錄的模糊參數。或者，在能夠使透鏡的模糊方法定式化的情況下，利用其算式，計算模糊參數(數據9102a)。模糊圖像群生成部9103，從全焦點圖像生成部91接受全焦點圖像。並且，從模糊參數群獲得部9102接受按任意的深度的模糊參數。而且，針對全焦點圖像，按任意的深度， 卷積模糊參數。這意味著，如此獲得的按任意的深度的模糊圖像群為，假設在其深度存在所有的被攝體時的模擬圖像群。類似模糊判斷部9104，對模糊圖像群生成部9103所獲得的按任意的深度的模糊圖像群的各個圖像(在各個深度(距離)的圖像9103a)、與特定深度合焦圖像獲得部9101 所獲得的在特定深度合焦的實際拍攝圖像(圖像9101a)，以這樣的兩個圖像中包含的區域為單位進行比較，判斷模糊的類似性。其結果為，以圖像中包含的區域為單位，判斷在哪個深度(距離)的圖像(圖像9103a)、與實際拍攝圖像(圖像9101a)之間產生類似。具體而言，利用以下的(式1)，計算評價函數。(算式1)
權利要求
1.一種距離推定裝置，包括第一深度合焦圖像獲得部，獲得相對於第一深度合焦的第一深度合焦圖像；第二深度合焦圖像獲得部，獲得相對於與所述第一深度不同的第二深度合焦的第二深度合焦圖像；全焦點圖像生成部，生成在比所述第一深度合焦圖像的合焦範圍至所述第二深度合焦圖像的合焦範圍寬的範圍內合焦的全焦點圖像；第一生成部，設定所述全焦點圖像的深度範圍內的多個深度，根據所述全焦點圖像，生成在所述第一深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第一深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第一距離圖；第二生成部，根據所述全焦點圖像，生成在所述第二深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第二深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第二距離圖；以及距離圖合成部，根據生成後的所述第一距離圖和所述第二距離圖，合成距離圖。
2.如權利要求1所述的距離推定裝置，生成的所述全焦點圖像為，至少在所述第一深度與所述第二深度之間的所有的深度合焦的圖像，所述第一生成部，包括第一模糊參數群獲得部，獲得第一模糊參數群，該第一模糊參數群為，在所述第一深度合焦的狀態下至少表示在所述第一深度與所述第二深度之間的各個深度的模糊程度的模糊參數的組；第一模糊圖像群生成部，針對生成後的所述全焦點圖像，卷積被獲得的所述第一模糊參數群中包含的各個深度的所述模糊參數，生成包含各個深度的所述模糊圖像而成的第一模糊圖像群；第一類似模糊判斷部，按每個圖像區域，對被獲得的所述第一深度合焦圖像、與生成後的所述第一模糊圖像群中包含的各個深度的所述模糊圖像進行比較，按每個所述圖像區域，判斷作為所述最類似的圖像的所述模糊圖像；以及第一距離圖生成部，按每個所述圖像區域，生成將被判斷的所述模糊圖像的深度作為該圖像區域的距離來表示的所述第一距離圖，所述第二生成部，包括第二模糊參數群獲得部，獲得第二模糊參數群，該第二模糊參數群為，在所述第二深度合焦的狀態下至少表示在所述第一深度與所述第二深度之間的各個深度的模糊程度的模糊參數的組；第二模糊圖像群生成部，針對生成後的所述全焦點圖像，卷積被獲得的所述第二模糊參數群中包含的各個深度的所述模糊參數，生成包含各個深度的所述模糊圖像而成的第二模糊圖像群；第二類似模糊判斷部，按每個圖像區域，對被獲得的所述第二深度合焦圖像、與生成後的所述第二模糊圖像群中包含的各個深度的所述模糊圖像進行比較，按每個所述圖像區域，判斷作為所述最類似的圖像的所述模糊圖像；以及第二距離圖生成部，按每個所述圖像區域，生成將被判斷的所述模糊圖像的深度作為該圖像區域的距離來表示的所述第二距離圖。
3.如權利要求1所述的距離推定裝置， 所述距離推定裝置還包括第一圖像特徵提取部，提取被獲得的所述第一深度合焦圖像的第一圖像特徵；以及第二圖像特徵提取部，提取被獲得的所述第二深度合焦圖像的第二圖像特徵， 所述距離圖合成部，根據所述第一圖像特徵和所述第二圖像特徵，對合成後的所述距離圖進行合成。
4.如權利要求3所述的距離推定裝置， 所述距離圖合成部，包括第一圖加權部，通過將根據被提取的所述第一圖像特徵而決定的第一權重係數、與生成後的更新前的所述第一距離圖的值相乘，從而將更新前的所述第一距離圖更新為更新後的所述第一距離圖；第二圖加權部，通過將根據被提取的所述第二圖像特徵而決定的第二權重係數、與生成後的更新前的所述第二距離圖的值相乘，從而將更新前的所述第二距離圖更新為更新後的所述第二距離圖；以及距離圖加法部，通過將更新後的所述第一距離圖的值、與更新後的所述第二距離圖的值相加，從而對合成後的所述距離圖進行合成。
5.如權利要求3所述的距離推定裝置，各個圖像特徵為，對應的所述第一深度合焦圖像以及所述第二深度合焦圖像之中的、 具有該圖像特徵的合焦圖像中的對比度。
6.如權利要求3所述的距離推定裝置，各個圖像特徵為，對應的所述第一深度合焦圖像以及所述第二深度合焦圖像之中的、 具有該圖像特徵的合焦圖像中的亮度值的方差的值。
7.如權利要求5所述的距離推定裝置， 所述距離圖合成部，在所述對比度為比較高的第一對比度的情況下，針對根據具有作為該對比度的所述圖像特徵的對應的合焦圖像而確定的所述距離的值，乘以作為所述權重係數的比較大的第一值，在所述對比度為比較低的第二對比度的情況下，針對根據具有作為該對比度的所述圖像特徵的對應的合焦圖像而確定的所述距離的值，乘以作為所述權重係數的比較小的第二值。
8.如權利要求1所述的距離推定裝置，所述第二深度合焦圖像為，合焦於所述第一深度合焦圖像中未被合焦的被攝體的圖像，根據所述第一深度合焦圖像和所述全焦點圖像而確定的所述被攝體的第一所述距離的精度為比較低的精度，根據所述第二深度合焦圖像和所述全焦點圖像而確定的所述被攝體的第二所述距離的精度為比較高的精度，所述第一生成部確定第一所述距離， 所述第二生成部確定第二所述距離，根據合成後的所述距離圖而確定的所述被攝體的距離的精度為，所述比較高的精度以下且比所述比較低的精度高。
9.一種距離推定方法，包括第一深度合焦圖像獲得步驟，獲得相對於第一深度合焦的第一深度合焦圖像； 第二深度合焦圖像獲得步驟，獲得相對於與所述第一深度不同的第二深度合焦的第二深度合焦圖像；全焦點圖像生成步驟，生成在比所述第一深度合焦圖像的合焦範圍至所述第二深度合焦圖像的合焦範圍寬的範圍內合焦的全焦點圖像；第一生成步驟，設定所述全焦點圖像的深度範圍內的多個深度，根據所述全焦點圖像， 生成在所述第一深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第一深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第一距離圖；第二生成步驟，根據所述全焦點圖像，生成在所述第二深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第二深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第二距離圖；以及距離圖合成步驟，根據生成後的所述第一距離圖和所述第二距離圖，合成距離圖。
10.一種集成電路，包括第一深度合焦圖像獲得部，獲得相對於第一深度合焦的第一深度合焦圖像； 第二深度合焦圖像獲得部，獲得相對於與所述第一深度不同的第二深度合焦的第二深度合焦圖像；全焦點圖像生成部，生成在比所述第一深度合焦圖像的合焦範圍至所述第二深度合焦圖像的合焦範圍寬的範圍內合焦的全焦點圖像；第一生成部，設定所述全焦點圖像的深度範圍內的多個深度，根據所述全焦點圖像，生成在所述第一深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第一深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第一距離圖；第二生成部，根據所述全焦點圖像，生成在所述第二深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第二深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第二距離圖；以及距離圖合成部，根據生成後的所述第一距離圖和所述第二距離圖，合成距離圖。
11.一種電腦程式，用於使計算機執行以下的步驟第一深度合焦圖像獲得步驟，獲得相對於第一深度合焦的第一深度合焦圖像； 第二深度合焦圖像獲得步驟，獲得相對於與所述第一深度不同的第二深度合焦的第二深度合焦圖像；全焦點圖像生成步驟，生成在比所述第一深度合焦圖像的合焦範圍至所述第二深度合焦圖像的合焦範圍寬的範圍內合焦的全焦點圖像；第一生成步驟，設定所述全焦點圖像的深度範圍內的多個深度，根據所述全焦點圖像， 生成在所述第一深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第一深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第一距離圖；第二生成步驟，根據所述全焦點圖像，生成在所述第二深度合焦時的所述多個深度的多個模糊圖像，將作為與所述第二深度合焦圖像中包含的各個圖像區域的圖像最類似的圖像的所述模糊圖像，從所述多個深度的所述多個模糊圖像中揀選，生成將揀選的所述模糊圖像的深度作為該圖像區域的距離來表示的第二距離圖；以及距離圖合成步驟，根據生成後的所述第一距離圖和所述第二距離圖，合成距離圖。
全文摘要
距離推定裝置(1x)為，能夠解消作為採用利用全焦點圖像和任意焦點圖像這兩張來進行距離推定的方式時的缺點的距離推定精度的偏差，且在任何被攝體距離中都能夠獲得高的距離推定精度的裝置，包括第一生成部(10w)，生成表示由全焦點圖像和第一深度合焦圖像確定的深度的第一距離圖；第二生成部(11w)，生成表示由所述全焦點圖像和第二深度合焦圖像確定的深度的第二距離圖；以及距離圖合成部(14)，根據生成後的第一距離圖和第二距離圖合成距離圖。
文檔編號G01C3/06GK102472622SQ20118000333
公開日2012年5月23日 申請日期2011年6月17日 優先權日2010年6月17日
發明者P·拉桑, 河村嶽 申請人:松下電器產業株式會社