用於估計場景中精確和相對物體距離的算法的製作方法
2023-05-02 15:22:01
專利名稱：用於估計場景中精確和相對物體距離的算法的製作方法
技術領域：
本發明涉及圖像處理領域。更具體地，本發明涉及場景中物體距離的確定。
背景技術：
深度圖(Depth Map, DM)是示出從相機傳感器到針對每單個像素的在場景中的對應點的距離的圖。傳統的DM生成方法包括測距傳感器(range sensor)和立體系統，測距傳感器使用聲波或者投射雷射圖案或者利用一些其他手段來掃描場景以測量離相機的距離，立體系統使用兩個以上相機/鏡頭來獲取場景的多個圖像並且然後對它們進行匹配以便對場景中的點進行三角測量。在這兩種情況中，單鏡頭相機需要額外硬體以生成DM。
發明內容
兩圖片匹配曲線信息能被用來確定場景中的精確物體距離或相對物體距離。除了曲線信息之外還獲取具有不同模糊信息的兩個圖像使得設備能夠確定場景中的物體的距離信息。距離信息能被用在包括生成深度圖在內的圖像處理中，深度圖然後能被用在許多成像應用中。在一個方面，一種在設備上實現的方法包括獲取場景的第一圖像；獲取場景的第二圖像；以及利用曲線信息來確定場景中的物體的設備到物體距離(device-to-objectdistance)。曲線信息被預先計算出。利用曲線信息包括確定用來將第一圖像和第二圖像之一模糊為第一圖像和第二圖像中的另一者的模糊度的卷積的數目；利用卷積的數目來基於曲線信息確定物體到焦點位置距離(object-to-focus position distance);計算設備到焦點位置距離(device-to-focus position distance);以及將物體到焦點位置距離和設備到焦點位置距離相加來確定設備到物體距離。曲線信息包括多條曲線。該方法還包括生成曲線信息。生成曲線信息包括以不同的模糊量獲取多個圖像。第一圖像和第二圖像具有不同的模糊量。不同的模糊量是通過在獲取第一圖像和第二圖像之間改變焦點位置而實現的。該方法還包括生成深度圖。該方法還包括存儲深度圖。該方法還包括利用深度圖執行應用。應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。在另一實施例中，一種在設備上實現的被配置為確定圖像中物體的距離的系統包括圖像獲取模塊，被配置為獲取第一圖像和第二圖像；曲線生成模塊，可操作地被耦合到圖像獲取模塊，曲線生成模塊被配置為生成曲線信息；以及距離計算模塊，可操作地被耦合到曲線生成模塊，距離計算模塊被配置為計算圖像內的物體的設備到物體距離。距離計算模塊通過如下操作來利用曲線信息確定用來將第一圖像和第二圖像之一模糊為第一圖像和第二圖像中的另一者的模糊度的卷積的數目；利用卷積的數目來基於曲線信息確定物體到焦點位置距離；計算設備到焦點位置距離；以及將物體到焦點位置距離和設備到焦點位置距離相加來確定設備到物體距離。曲線信息是通過以不同模糊量獲取多個圖像的目標數據而被確定的。曲線信息包括多條曲線。第一圖像和第二圖像具有不同的模糊量。不同的模糊量是通過在獲取第一圖像和第二圖像之間改變焦點位置而實現的。該系統還包括可操作地耦合到距離計算模塊的深度圖生成模塊，深度圖生成模塊被配置為生成深度圖。深度圖被存儲。深度圖被利用來執行應用。應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。設備是從包括如下項的組中選出的 個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。在另一方面，一種設備包括用於存儲應用的存儲器和耦合到存儲器的處理組件，處理組件被配置為處理應用，應用被配置為獲取場景的第一圖像；獲取場景的第二圖像；以及利用曲線信息來確定場景中的一個或多個物體的距離。利用曲線信息包括確定用來將第一圖像和第二圖像之一模糊為第一圖像和第二圖像中的另一者的模糊度的卷積的數目；利用卷積的數目來基於曲線信息確定物體到焦點位置距離；計算設備到焦點位置距離；以及將物體到焦點位置距離和設備到焦點位置距離相加來確定設備到物體距離。曲線信息被預先確定。曲線信息包括多條曲線。應用還被配置為生成曲線信息。生成曲線信息包括以不同的模糊量獲取多個圖像。第一圖像和第二圖像具有不同的模糊量。不同的模糊量是通過在獲取第一圖像和第二圖像之間改變焦點位置而實現的。應用還被配置為生成深度圖。深度圖被存儲。應用還被配置為利用深度圖執行成像應用。成像應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。在另一方面，一種在設備上生成曲線信息的方法包括獲取場景中的測試物體的第一圖像和第二圖像，其中針對第二圖像改變焦點位置；計算第一圖像和第二圖像之間的模糊的改變；以及針對多個不同焦點位置重複a和b，以生成曲線信息。該方法還包括標識場景中的測試物體。測試物體的圖像以固定變焦(zoom)和光圈被獲取。生成曲線信息是在校準設備時發生的。曲線信息被存儲在設備上。設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。
圖I圖示出了根據一些實施例的曲線的圖表。
圖2A-2B圖示出了根據一些實施例的相機獲取圖片的示圖。圖3A-3B圖示出了根據一些實施例的利用卷積來影響圖片的聚焦的示圖。圖4圖示出了根據一些實施例的卷積和距離的示圖。圖5圖示出了根據一些實施例的曲線。圖6圖示出了根據一些實施例的示例性圖像以及使圖像模糊的一組卷積。圖7圖示出了根據一些實施例的用於確定圖像中的距離的示圖。圖8圖示出了根據一些實施例的一系列曲線的示圖。圖9圖示出了根據一些實施例的利用設備確定物體距離的方法的流程圖。圖10圖示出了根據一些實施例的被配置為確定物體距離的示例性計算設備的框圖。
具體實施例方式早先已描述了基於簡單透鏡模型利用數學公式來計算場景中的物體距離。該數學公式的輸入是諸如焦距、光圈大小和其它信息之類的固有相機參數以及兩圖片匹配曲線信
肩、O取代利用先前描述的數學公式，兩圖片匹配曲線信息能被用來確定場景中的精確物體距離或相對物體距離。兩圖片匹配曲線是從由採用電荷耦合器件(CXD)或互補金屬氧化物半導體(COMS)傳感器的任意成像設備捕獲的數據計算出的物理量。兩圖片匹配曲線上的特定點是以如下方式生成的。對於固定的相機變焦和光圈，測試目標或物體的圖片針對特定相機焦點位置被捕獲。接下來，相機焦點位置被改變某個小的量並且第二張圖片被捕獲。然後計算測試目標或物體的模糊改變。然後針對不同的相機焦點位置重複該處理，從而生成兩圖片匹配曲線。如果相鄰相機焦點位置被重複改變與M倍景深(其中M是非零有理數量)相對應的某個固定量，則當應用高斯卷積核(kernel)時，計算出的兩圖片匹配曲線理論上是線性的。否則，曲線是單調遞增/遞減的。由於相機鏡頭中的瑕疵，即使相對於其先前相機焦點位置針對每個新的相機焦點位置將相機焦點位置改變固定的M倍景深，線性也僅針對固定範圍而存在。所捕獲的兩圖片匹配曲線的示例在圖I中被示出。水平軸被定義為圖片編號，而垂直軸被定義為迭代數目(=卷積)。圖片編號參照(與不同相機焦點位置相關聯的)所捕獲圖片。在自然場景中，迭代被計算並被與場景中的非重疊區域相關聯。編號然後可被用來確定場景中物體的相對順序(例如，哪些物體離相機更近以及哪些物體更遠)或者用來近似場景中物體的實際距離。包含迭代信息的矩陣被定義為迭代圖(iteration map)。確定相對物體距離例如，所關注的場景具有如下的基本的3 X 3迭代圖。-5 3 I2 8 6 4-7 3如果該矩陣的左上角被定義為項(entry) (1，I)，並且該矩陣的右下角被定義為項(3，3)，則位於項(2，2)處的物體對應於迭代圖編號8。該物體與相機最接近。類似地，與迭代圖編號-7相對應的位於項(3，2)處的物體離相機最遠。類似地，與迭代圖編號I相對應的位於項(1，3)處的物體與相機的當前焦點位置最接近。迭代圖的維度是η X m。另外，迭代圖通常包含非重疊區域，非重疊區域包含與邊界區域相對應的兩個不同深度(例如，前景物體和背景物體)。在這些位置，迭代圖信息是不準確的。一般地，基本的濾波或聚類方案能夠用來改進非邊界位置處的迭代圖估計。迭代圖中的信息然後能夠用來確定相對的和精確的物體距離。然而，在假設所關注物體包括數個非重疊區域/迭代圖中的多個相鄰項的情況下，通過採用簡單聚類算法，相對物體距離可被確定。確定精確物體距離如果每個鄰近相機位置對應於M倍景深的移動，則迭代數目能夠用來計算物體距離。這在圖I中被例示出。 在圖I中，在當前焦點位置處，針對所關注物體的迭代次數為K。通過圖示說明的方式，與當前焦點位置相關聯的兩圖片匹配曲線在圖I中示出。利用該曲線，K與離當前相機焦點位置[(N+8)-N] = 8個單位遠的圖片編號相對應。物體的距離然後可被確定為8*M倍景深。每個連續圖片編號位置是從數學公式計算出的。一種可能是從某個參考圖片編號
I[或Nmax]或者I與Nmax之間的某個其它圖片編號起來計算每個連續圖片編號位置作為向前[或向後]景深位置。下面示出的代碼(其中，sign(depth_of_fields) == I)能夠應用來利用當前相機焦點位置計算物體位置。通過代入新計算出的向前景深位置來計算每個新的相機焦點位置。在下面給出的示例中，相機焦距、光圈F值(fnumber)和起始焦點距離(對應於圖片編號N=I)分別為63mm、5. 2和1cm。該處理被迭代8次以便確定物體距離。
flength_check = 63/1000; % unit of meters fnumber -- 5.2
%coc of camera - 0.18 % unit of millimeters distance_focus = I ; % unit of centimeters depth_of_fields = 8;
H = ((flength * 100)A2) / (fnumber * 0.0018); % all units now in cm Dno = (H* distance_focus) / H+distance_focus);Dfo = (H* distance—focus) / H-distance_focus);
if sign(depth of fields) == I Dnewl - - Dfo;
s_new = distance_focus; % Dfo; for loop_dof = I :abs(depth_of_fields),
Dnewl = (H * s_new) /(H- s_new);
s—new = Dnewl;
distance I (loop_dof) = s_new;
end
elseif sign (depth_of_fields) ==-1 %Dnewl —— Dno; s_new = distance_focus; for loop dof = I :abs (depth_of_fields)
Dnewl = (H * s_new) / (H + s_new); s—new = Dnewl; distance2(loop_dof) = s_new;
end
else
aa= 11111111111111111111111
end類似地，向後景深位置可被計算出並被使用。在此情況中，distance_focus =H/2[對應於 N = Nmax]和 sign(depth_of_fields)選項被選為等於-I。類似地，可基於「教科書」景深定義來在向前方向上計算新的圖片編號位置。這裡，distance_focus = I,並且Dnol和Dfol兩者利用以上公式來計算。為了計算與下一圖片編號位置相對應的下一焦點位置，下面的等式然後被求解。Dno2 = Dfol ；distance_focus2 = (Dno2*H)/(H_Dno2)；該處理被重複以生成所有後續距離焦點位置。Dfo2 = (H*distance_focus2)/(H_distance_focus2)；Dno3 = Dfo2 ；類似地，基於「教科書」景深定義來在逆方向上計算新的圖片編號位置。這裡，distance_focus = H/2,並且Dnol和Dfol兩者利用以上公式來計算。為了計算與下一圖片編號位置相對應的下一焦點位置，下面的等式然後被求解。
Dfo2 = Dnol ；distance—focus2 = (Dfo2*H)/ (H+Dfo2)該處理被重複以生成所有後續距離焦點位置。Dno2 = (H*distance—focus2)/(H+distance—focus2)；Dfo3 = Dno2定義和公式的其它變體也可被使用。利用預定數學公式來計算圖片編號位置。通過迭代數學公式，與特定迭代數目相關聯的物體深度然後可被確定。圖2A圖示出了根據一些實施例的相機捕獲圖片的示圖。對場景取景的相機具有指定設置，例如，變焦(zl)和光圈大小(al)。該相機還具有焦點位置(fl)。從該信息可以計算出距離(Dl)。在圖2A中，示出了聚焦在人上而太陽被模糊的圖像。從相機到相機聚焦的位置(在人那兒)的距離為D1。圖2B圖不出了根據一些實施例的相機捕獲圖片時的不圖。變焦和光圈大小保持相同，但焦點位置(f2)改變。然後，從此信息能夠計算出距離(D2)。一般地，距離=函數(zL，aL，fL)。在圖2B中，與圖2A相比，圖像被聚焦為更接近太陽，而人被模糊。從相機到相機聚焦的位置(在人之外)的距離為D2。因此，當將在圖2A和圖2B中捕獲的圖像相比較時，一個圖像聚焦著人並使太陽模糊，另一圖像使人模糊並使太陽不太模糊。這些圖像能夠用來確定圖像中諸如人之類的所有物體的距離。圖3A圖示出了根據一些實施例的利用卷積來影響圖片的聚焦的示圖。兩個圖片被拍攝，例如，第一圖片最初聚焦在人上並使太陽模糊，第二圖片被聚焦為更接近太陽而使人模糊。為了使第一圖片中的人與第二圖片中的人同樣模糊，數學卷積運算可被應用。卷積被迭代並且在每次迭代之後檢查第一圖片與第二圖片的接近度。因此，每次迭代會使人更模糊。最終，模糊將匹配，並且超過其的模糊將導致第一圖片比第二圖片更模糊。卷積的數目可被記錄為例如M次卷積。圖3B圖示出了根據一些實施例的利用卷積來影響圖片的聚焦的示圖。與圖3A中使人模糊的卷積類似，能夠在N次卷積中使太陽模糊以獲得匹配的模糊。圖4圖示出了根據一些實施例的卷積和距離的示圖。當在聚焦點(例如，測試目標的焦點位置)以外拍攝圖片對時，卷積運算符的符號為正，並且當圖片對在聚焦點之前時，符號為負。換言之，當圖片對在聚焦點以外時，第二圖片比第一圖片更模糊；因此，卷積運算符將為正。然而，當圖片對在聚焦點之前時，第一圖片比第二圖片更模糊；因此，卷積運算符為負。符號指示方向。這使得能夠獲取取決於圖片對被拍攝的位置的數字序列。如在圖I中所述的，曲線能夠被生成。然後，利用這些圖片對、與圖片對相關的卷積以及所生成的曲線，距離能夠被確定，如圖5所示。圖6圖示出了根據一些實施例的示例性圖像以及使圖像模糊的一組卷積。圖7圖示出了根據一些實施例的用於確定圖像中的距離的示圖。將圖6中較清晰的車模糊為不太清晰的車的卷積數目為L次卷積。然後，利用曲線，L次卷積得到車的距離d_car。焦點位置是已知的；因此，從焦點位置到車的距離能夠被確定。從車到相機的距離為d_car+d_camera。曲線是針對每個相機生成的。在一些實施例中，當相機被校準時，曲線被生成並被、存儲在相機中。在一些實 施例中，多條曲線被生成以提高性能。取決於諸如相機被聚焦的位置之類的多種因素，曲線的斜率可能略微不同，因此可能使用某一條曲線比另一曲線更適當。在一些實施例中，曲線是基於相機被聚焦的位置而從曲線集中選擇的。在一些實施例中，曲線是基於另外的因素被選擇的。獲取圖片對涉及捕獲具有某個小數倍的景深間隔的兩個圖片。在一些實施例中，景深間隔是有理數。例如，間隔為I倍景深、2倍景深、I. 5倍景深或其它。一條或多條曲線被存儲在諸如相機之類的設備中。圖8圖示出了根據一些實施例的一系列曲線的示圖。然後，兩個圖片的焦點位置被用來確定哪條曲線是適當的，以及基於該曲線來確定距離。如果相機參數被改變，則曲線能夠被修改。利用上述曲線和信息，圖片中物體的距離和深度圖可被確定。深度圖可通過如下操作來確定為場景中的許多物體建立距離，其隨後被繪製出來，從而生成深度圖。曲線可以以諸如查找表之類的任意數據結構被存儲。圖9圖示出了根據一些實施例的利用設備確定物體距離的方法的流程圖。在步驟900，第一圖像被獲取。在步驟902，第二圖像被獲取。第一圖像和第二圖像具有不同的模糊量。在步驟904，所確定的曲線被利用來確定所獲取圖像中的一個或多個物體的距離。該距離是通過如下操作來計算的確定用來將較清晰圖像(例如，第一圖像)模糊為不太清晰圖像(例如，第二圖像)的卷積數目，然後利用卷積數目來基於曲線(參見圖5)確定從物體到焦點位置的距離(例如，物體到焦點位置距離)。由於焦點位置是已知的，因此從相機到焦點位置的距離(例如，設備到焦點位置距離)能夠被計算出。然後，將從相機到焦點位置的距離與從焦點位置到物體的距離相加就是物體離相機的總距離。除了計算物體到相機的距離之外，還可以計算相對物體距離。例如，如果針對兩個分離的物體計算焦點位置到物體距離，則這些距離可被用來確定相對物體距離。如上所述，通過獲取目標的具有不同模糊量的圖像來確定曲線。在一些實施例中，在步驟906，基於所確定的距離生成深度圖。在一些實施例中，所確定曲線在第一圖像被獲取之前被確定並被存儲。在步驟908，深度圖被存儲。在一些實施例中，深度圖不被存儲並且步驟908可被跳過。在步驟910，深度圖被利用來執行如下面描述的那些應用之類的應用。圖10圖示出了根據一些實施例的被配置為確定圖像中物體的距離的示例性計算設備的框圖。計算設備1000可用來獲取、存儲、計算、傳輸和/或顯示諸如圖像和視頻之類的信息。例如，計算設備1000可獲取並存儲圖片並且利用來自所獲取圖片的信息執行計算。一般地，適於實現計算設備1000的硬體結構包括網絡接口 1002、存儲器1004、處理器1006、( 一個或多個)I/O設備1008、總線1010和存儲設備1012。處理器的選擇不是嚴格的，只要選擇具有足夠速度的合適處理器即可。存儲器1004可以是本領域已知的任何傳統計算機存儲器。存儲設備1012可包括硬碟驅動器、⑶ROM、⑶RW、DVD、DVDRW、快閃記憶體卡或任何其它存儲設備。計算設備1000可包括一個或多個網絡接口 1002。網絡接口的示例包括連接到乙太網或其它類型的LAN的網絡卡。(一個或多個)I/O設備1008可包括以下中的一者或多者鍵盤、滑鼠、監視器、顯示器、印表機、數據機、觸控螢幕、按鈕接口和其它設備。用來執行距離方法的(一個或多個)距離應用1030有可能被存儲在存儲設備1012和存儲器1004中並且像應用通常被處理的那樣被處理。圖10所示的更多或更少的組件可被包括在計算設備1000中。在一些實施例中，距離處理硬體1020被包括。雖然圖10中的計算設備1000包括應用1030和用於距離應用的硬體1020，但是距離應用還能夠以硬體、固件、軟體或它們的任意組合在計算設備上實現。在一些實施例中，(一個或多個)距離應用1030包括數個應用和/或模塊。在一些實施例中，(一個或多個)距離應用1030包括被配置為獲取多個圖像/圖片/視頻(例如，第一圖像/圖片/視頻和第二圖像/圖片/視頻)的圖像/圖片/視頻獲取模塊1032、被配置為生成曲線的曲線生成模塊1034、被配置為確定/計算圖像/圖片/視頻內物體的距離的距離計算模塊1036以及被配置為生成深度圖的深度圖生成模塊1038。 合適計算設備的示例包括個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機、家庭娛樂系統或者任何其它合適計算設備。為了利用所確定的距離和深度圖，應用的一些方面可應用於成像處理的不同階段。在圖像/視頻被獲取之前，利用距離和/或深度圖的應用能夠設置如下參數，包括但不限於自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置和快門速度。這些應用能夠自動地被實現或者由用戶手動實現。然後，用戶能夠如他獲取任何圖像/視頻一樣(例如，對準目標並按下按鈕)來獲取圖像/視頻。當圖像/視頻被獲取時，另外的應用能夠影響圖像，包括但不限於白平衡、降噪、伽馬校正、運動估計和圖像/視頻壓縮。在圖像/視頻被存儲之後，可進行後處理。例如，圖像被存儲在相機/攝錄像機或者諸如計算機之類的另外的設備上。利用輸入機構，用戶能夠對圖像/視頻執行後處理操作。在一些實施例中，後護理自動發生而無需用戶輸入。圖像後處理的示例包括但不限於生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。所有這些步驟可受益於距離信息和深度圖。在操作中，在利用曲線信息和兩個以上圖像確定距離信息和/或深度圖時，可以以多種方式來改進圖像/視頻處理。利用所獲取的圖像信息來生成曲線。然後，通過獲取具有不同模糊度的兩個以上圖像，將較清晰圖像模糊為更模糊圖像的卷積的數目可被記錄並且然後與曲線一起被用來確定距離(例如物體到焦點位置距離)。從焦點位置到相機的距離可被計算。這兩個距離一起是從物體到相機或其它設備的距離。可以通過在圖像/視頻被獲取之前適當地配置相機設置來改進圖像獲取。對所獲取圖像的圖像處理可被改進。還可以利用距離信息來改進對圖像的後處理。改進包括更高效的處理、更好質量的圖像/視頻、另外的特徵以及其它改進。已根據包含有細節的具體實施例描述了本發明，以輔助理解本發明的操作和構成的原理。這裡對具體實施例及其細節的提及不旨在限制所附權利要求的範圍。本領域技術人員將容易清楚，在不脫離由權利要求限定的本發明的精神和範圍的情況下，可以對被選擇用於圖示說明的實施例作出其他各種修改。
權利要求
1.一種在設備上實現的方法，包括 a.獲取場景的第一圖像； b.獲取所述場景的第二圖像；以及 c.利用曲線信息來確定所述場景中的物體的設備到物體距離。
2.如權利要求I所述的方法，其中，所述曲線信息被預先計算出。
3.如權利要求I所述的方法，其中，利用所述曲線信息包括 a.確定用來將所述第一圖像和所述第二圖像之一模糊為所述第一圖像和所述第二圖像中的另一者的模糊度的卷積的數目； b.利用所述卷積的數目來基於所述曲線信息確定物體到焦點位置距離； c.計算設備到焦點位置距離；以及 d.將所述物體到焦點位置距離和所述設備到焦點位置距離相加來確定所述設備到物體距離。
4.如權利要求I所述的方法，其中，所述曲線信息包括多條曲線。
5.如權利要求I所述的方法，還包括生成所述曲線信息。
6.如權利要求5所述的方法，其中，生成所述曲線信息包括以不同的模糊量獲取多個圖像。
7.如權利要求I所述的方法，其中，所述第一圖像和所述第二圖像具有不同的模糊量。
8.如權利要求7所述的方法，其中，所述不同的模糊量是通過在獲取所述第一圖像和所述第二圖像之間改變所述焦點位置而實現的。
9.如權利要求I所述的方法，還包括生成深度圖。
10.如權利要求9所述的方法，還包括存儲所述深度圖。
11.如權利要求10所述的方法，還包括利用所述深度圖執行應用。
12.如權利要求11所述的方法，其中，所述應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。
13.如權利要求I所述的方法，其中，所述設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。
14.一種在設備上實現的被配置為確定圖像中物體的距離的系統，該系統包括 a.圖像獲取模塊，被配置為獲取第一圖像和第二圖像； b.曲線生成模塊，可操作地被耦合到所述圖像獲取模塊，所述曲線生成模塊被配置為生成曲線信息；以及 c.距離計算模塊，可操作地被耦合到所述曲線生成模塊，所述距離計算模塊被配置為計算所述圖像內的物體的設備到物體距離。
15.如權利要求14所述的系統，其中，所述距離計算模塊通過如下操作來利用所述曲線信息 a.確定用來將所述第一圖像和所述第二圖像之一模糊為所述第一圖像和所述第二圖像中的另一者的模糊度的卷積的數目；b.利用所述卷積的數目來基於所述曲線信息確定物體到焦點位置距離； C.計算設備到焦點位置距離；以及 d.將所述物體到焦點位置距離和所述設備到焦點位置距離相加來確定所述設備到物體距離。
16.如權利要求14所述的系統，其中，所述曲線信息是通過以不同模糊量獲取多個圖像的目標數據而被確定的。
17.如權利要求14所述的系統，其中，所述曲線信息包括多條曲線。
18.如權利要求14所述的系統，其中，所述第一圖像和所述第二圖像具有不同的模糊量。
19.如權利要求18所述的系統，其中，所述不同的模糊量是通過在獲取所述第一圖像和所述第二圖像之間改變所述焦點位置而實現的。
20.如權利要求14所述的系統，還包括可操作地耦合到所述距離計算模塊的深度圖生成模塊，所述深度圖生成模塊被配置為生成深度圖。
21.如權利要求21所述的系統，其中，所述深度圖被存儲。
22.如權利要求22所述的系統，其中，所述深度圖被利用來執行應用。
23.如權利要求23所述的系統，其中，所述應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。
24.如權利要求14所述的系統，其中，所述設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。
25.—種設備,包括 a.用於存儲應用的存儲器，所述應用被配置為 i.獲取場景的第一圖像； ii.獲取所述場景的第二圖像；以及 iii.利用曲線信息來確定所述場景中的一個或多個物體的距離；以及 b.耦合到所述存儲器的處理組件，所述處理組件被配置為處理所述應用。
26.如權利要求25所述的設備，其中，利用所述曲線信息包括 a.確定用來將所述第一圖像和所述第二圖像之一模糊為所述第一圖像和所述第二圖像中的另一者的模糊度的卷積的數目； b.利用所述卷積的數目來基於所述曲線信息確定物體到焦點位置距離； c.計算設備到焦點位置距離；以及 d.將所述物體到焦點位置距離和所述設備到焦點位置距離相加來確定所述設備到物體距離。
27.如權利要求25所述的設備，其中，所述曲線信息被預先確定。
28.如權利要求25所述的設備，其中，所述曲線信息包括多條曲線。
29.如權利要求25所述的設備，其中，所述應用還被配置為生成所述曲線信息。
30.如權利要求29所述的設備，其中，生成所述曲線信息包括以不同的模糊量獲取多個圖像。
31.如權利要求25所述的設備，其中，所述第一圖像和所述第二圖像具有不同的模糊量。
32.如權利要求31所述的設備，其中，所述不同的模糊量是通過在獲取所述第一圖像和所述第二圖像之間改變所述焦點位置而實現的。
33.如權利要求25所述的設備，其中，所述應用還被配置為生成深度圖。
34.如權利要求34所述的設備，其中，所述深度圖被存儲。
35.如權利要求35所述的設備，其中，所述應用還被配置為利用所述深度圖執行成像應用。
36.如權利要求36所述的設備，其中，所述成像應用是從包括如下應用的組中選出的自動聚焦、自動曝光、變焦設置、光圈設置、閃光燈設置、快門速度、白平衡、降噪、伽馬校正、運動估計、圖像/視頻壓縮、生成模糊、質量改善、生成3-D圖像、陰影去除以及物體分割。
37.如權利要求25所述的設備，其中，所述設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。
38.一種在設備上生成曲線信息的方法,包括 a.獲取場景中的測試物體的第一圖像和第二圖像，其中針對所述第二圖像改變焦點位置； b.計算所述第一圖像和所述第二圖像之間的模糊的改變；以及 c.針對多個不同焦點位置重複a和b，以生成所述曲線信息。
39.如權利要求38所述的方法，還包括標識所述場景中的所述測試物體。
40.如權利要求38所述的方法，其中，所述測試物體的圖像以固定變焦和光圈被獲取。
41.如權利要求38所述的方法，其中，生成所述曲線信息是在校準所述設備時發生的。
42.如權利要求38所述的方法，其中，所述曲線信息被存儲在所述設備上。
43.如權利要求38所述的方法，其中，所述設備是從包括如下項的組中選出的個人計算機、膝上型計算機、計算機工作站、伺服器、大型計算機、手持計算機、個人數字助理、蜂窩/行動電話、智能設備、遊戲控制器、數位相機、數字攝錄像機、相機電話、iPod 、視頻播放器、DVD刻錄機/播放器、電視機和家庭娛樂系統。
全文摘要
兩圖片匹配曲線信息可被用來確定場景中的精確物體距離或相對物體距離。獲取除曲線信息之外的具有不同模糊信息的兩個圖像使得設備能夠確定場景中物體的距離信息。距離信息可被用在包括生成深度圖在內的圖像處理中，深度圖然後可被用在許多成像應用中。
文檔編號G06T15/10GK102640189SQ201080054810
公開日2012年8月15日 申請日期2010年12月2日 優先權日2009年12月16日
發明者中村真備, 厄爾·王, 杉浦守, 李平山, 村上芳弘, 櫛田英功, 索羅吉·特裡特亞帕拉賽 申請人:索尼公司, 索尼電子有限公司