從圖像序列中計算攝像機焦距的實時方法

2023-10-09 15:10:39 5

專利名稱：從圖像序列中計算攝像機焦距的實時方法
技術領域：
本發明涉及計算機視覺領域，尤其涉及從圖像序列中恢復場景三維模型的實現方法。
背景技術：
在計算機視覺領域，人們對從圖像序列中如何獲取攝像機運動和場景三維模型的 研究由來已久。最初的應用體現在機器視覺方面，研究人員通過從圖像序列中提取的幾何 信息來判斷場景的空間關係，並進一步指導機器人的運動，這類研究通常需要使用特殊而 且昂貴的採集設備，並且對應用場景也有較大的局限。隨著硬體設備的發展和普及，研究人 員希望能夠從普通採集設備獲得的序列圖像中計算場景的三維模型，其中涉及的關鍵技術 就是攝像機的標定工作。攝像機的標定技術是計算機視覺研究中的重要步驟，廣泛地使用在三維重建、導 航等領域。從發展的歷史看，攝像機標定技術可以分為傳統標定技術、主動標定技術和自 標定技術。傳統標定技術使用精確製作的標定物，根據標定物特徵點的三維坐標和二維圖 像投影之間建立映射來求取攝像機參數，傳統標定技術能夠得到比較準確的結果，但是操 作不便，只能在某些特殊場合應用；主動標定技術通過向場景中投射特殊的幾何圖案，通過 幾何特徵和圖像之間的聯繫完成攝像機標定。該方法的優點在於避免了標定物的使用，並 且能夠通過精確的投影，能夠恢復準確的攝像機參數，缺點在於加入了投影單元，增加了設 備複雜度，不具有通用性。近年來得到廣泛研究的攝像機自標定技術，利用攝像機內參的約 束計算出對應攝像機的焦距值，該技術不需要場景和攝像機運動的信息，能夠在各種圖像 序列中靈活應用。攝像機自標定技術的研究始於20世紀90年代初，首先由Faugeras，Luong和 Maybank提出自標定的概念，並且在早期的自標定方法研究中引入Kruppa方程，利用絕對 二次曲線和極線變換建立圖像之間的方程組，最後直接求解方程組得到攝像機的內參數。 但是基於Kruppa方程的方法得到的解存在多義性，並且直接求解高次方程組比較困難。 Bill Triggs在97年提出了基於絕對對偶二次曲面的自標定方法。該方法同時包含攝像機 內參數和無窮遠平面的參數，利用攝像機內參數約束聯立方程組求解。該方法相比Kruppa 方程擁有更強的約束，並且可以通過線性和非線性的方法進行求解，在操作性和準確性上 都有提高，缺點在於求解過程中要求半正定的約束往往難以滿足。

發明內容
本發明旨在至少解決上述技術問題之一。為此，本發明的一個目的在於提出一種從圖像序列中計算攝像機焦距的實時方 法，該方法解決了攝像機自標定在實際應用中的不足，實現了快速、準確的對攝像機焦距參 數的估計。為達到上述目的，本發明提出了一種從圖像序列中計算攝像機焦距的實時方法，包括以下步驟從圖像序列中選取相鄰兩張圖像；對所述的兩張圖像進行特徵點匹配以得 到匹配點對；對所述匹配點對中任意七組匹配點對求解以得到焦距的多個可能解；評估所 述每個可能解的準確性且把評估值作為所述每個可能解的權重；依據所述權重對所述每個 可能解計算加權求和以評估得到焦距的概率密度函數；在所述焦距的概率密度函數曲面上 進行多次採樣以得到多個採樣點；運用高斯函數擬合所述採樣點，並以所述函數峰值作為 最終焦距值。在本發明的一個實施例中，所述對兩張圖像進行特徵點匹配以得到匹配點對進一 步包括以圖像的顏色信息作為特徵，以運用特徵點選取算法選取若干特徵點；根據所述 特徵點在所述兩張圖像中找到若干組匹配點對，其中，在匹配過程中把顏色特徵最相近的 兩個特徵點組成一組匹配點對。在本發明的一個實施例中，所述每一組匹配點對中的兩個特徵點是場景中同一個 點分別在兩張圖像上的投影結果。在本發明的一個實施例中，所述對所述匹配點對中任意七組匹配點對求解以得到 焦距的多個可能解進一步包括從所述兩張圖像的所有匹配點對中隨機選擇七組匹配點 對；把所述七組匹配點對代入相關數學方程求解以得到一個多元高次方程組；求解所述多 元高次方程組以得到焦距的若干個可能解。在本發明的一個實施例中，在得到焦距的若干個可能解之後還包括從所述兩張 圖像的剩餘匹配點對中隨機選擇另外七組匹配點對；把所述另外七組匹配點對代入相關數 學方程求解以得到一個多元高次方程組；求解所述多元高次方程組以再次得到焦距的若干 個可能解。在本發明的一個實施例中，直到沒有足夠多的剩餘匹配點或者求解達到預定次數 後停止執行且輸出所有可能解。在本發明的一個實施例中，所述評估每個可能解的準確性且把評估值作為每個可 能解的權重進一步包括把所述圖像對的剩餘匹配點對代入所述相應可能解中，以對所述 剩餘匹配點進行相關約束驗證為判斷所述可能接的正確性；把滿足約束的匹配點數在所有 匹配點對中的比例作為所述可能解的權重。在本發明的一個實施例中，所述依據所述權重對所述每個可能解計算加權求和以 評估得到焦距的概率密度函數進一步包括將所述焦距記為一個二維的隨機變量；所述每 一個可能解對應為概率空間上的一個核函數；在概率空間上對所述每一個核函數進行加權 求和，以得到焦距的概率密度函數，其中，所述每一個核函數的權重為對應所述可能解的權重。在本發明的一個實施例中，所述每個採樣點的值為對應可能解的出現概率。在本發明的一個實施例中，運用高斯函數擬合所述採樣點，並以所述函數峰值作 為最終焦距值為運用所述採樣點集合在所述概率空間中擬合出一個高斯曲面，其中，所述 高斯曲面峰值對應的二維隨機變量的值為相應兩張圖像相機的焦距值。本發明的另一方面提出了一種從圖像序列中計算攝像機焦距的裝置，包括圖像 選取模塊，用於從圖像序列中選取相鄰兩張圖像；圖像匹配模塊，用於對所述的兩張圖像進 行特徵點匹配以得到匹配點對；焦距計算模塊，用於對所述匹配點對中任意七組匹配點對 求解以得到焦距的多個可能解；權重評估模塊，用於評估所述每個可能解的準確性且把評
5估值作為所述每個可能解的權重；概率密度函數構造模塊，用於依據所述權重對所述每個 可能解計算加權求和以評估得到焦距的概率密度函數，且在所述焦距的概率密度函數曲面 上進行多次採樣以得到多個採樣點；和高斯函數構造模塊，用於運用高斯函數擬合所述採 樣點，並以所述函數峰值作為最終焦距值。通過本發明提出的從圖像序列中計算攝像機焦距的實時方法，不但解決了攝像機 自標定在實際應用中的不足，而且實現了快速、準確的對攝像機焦距參數的估計。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。


本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發明實施例的從圖像序列中計算攝像機焦距實時方法的流程圖；圖2為本發明實施例的圖像序列的特徵點和匹配點對示意圖；圖3為本發明實施例的非參數方法估計焦距概率密度函數的示意圖；圖4為本發明實施例的對概率密度函數重採樣的示意圖；圖5為本發明實施例的對重採樣點進行高斯擬合示意圖；和圖6為本發明實施例的從圖像序列中計算攝像機焦距的裝置結構圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。本發明是針對現有攝像機自標定技術中的不足，而提出的一種從圖像序列中計算 攝像機焦距的實時方法，通過該方法能夠快速、準確的估計出攝像機焦距參數值。為了能夠對本發明實施例提出的從圖像序列中計算攝像機焦距的實時方法有更 清楚的理解，以下就該方法做出簡要描述該方法首先對相鄰兩張圖像選擇和匹配特徵點， 並隨機選取其中七組匹配點對求解得到焦距的多個可能解，然後對所有可能的解進行準確 性評估，並將評估值作為權重用於非參數估計，以便得到焦距的概率密度函數，最後在概率 密度函數上重採樣，並利用新的採樣點進行高斯擬合，進一步把擬合後函數的峰值作為攝 像機焦距的最終解。即為本發明實施例提出的攝像機焦距參數值。具體地，如圖1所示，為本發明實施例的從圖像序列中計算攝像機焦距的實時方 法的流程圖，包括以下步驟步驟S101，從圖像序列中選取相鄰兩張圖像。更為具體地，將所述圖像序列中的圖 像進行編號，例如可以記為I1,12,13...當然也可以記為其它可以把圖像區分開的任何形 式的記號。在編號完成後首先選取I1,12兩張圖像使用本發明提出的方法進行攝像機焦距 的求解，在求解完畢後選取13，I4進行求解，以此類推，直到序列中所有圖像對應的焦距都 已經利用被發明提出的方法求解完成。(以下以I1,12為例)。步驟S102，對所述的兩張圖像進行特徵點匹配以得到匹配點對。
2. 1，以圖像的顏色信息作為特徵，利用圖像特徵點提取算法SIFT算法從兩張圖 像中分別提取出若干特徵點(如圖像的角點、拐點等)，並且對每個特徵點記錄其在圖像中 的像素坐標，記為(X，y)，和一個128維的特徵矢量，特徵矢量為多個尺度空間下的局部顏 色特徵。2. 2，對於I1中的每個特徵點，記為pl，在I2中的所有特徵點，記為{Pi}。在{pj 中找到特徵點P2，使得p2的特徵矢量與pl的特徵矢量在歐式空間上的距離是所有特徵點 中最近的。因此，(pl，p2)組成一個匹配點對，在本發明的一個實施例中把這個匹配點對記
為 IIlo結合圖2，為本發明實施例的圖像序列的特徵點和匹配點對示意圖，從圖2中能夠 清楚地看到匹配點對，從圖中還能夠看出對於每一組匹配點對中的兩個特徵點，是拍攝時 場景中的同一個點分別在兩張圖像上投影的結果。步驟S103，對所述匹配點對中任意七組匹配點對求解以得到焦距的多個可能解。3. 1，從兩張圖像的所有匹配點對中隨機選擇七組匹配點對，記為Hi1, m2. . . m7。3. 2，對於3. 1中的每一組匹配點對Hii中的特徵點，記為Pil，Pi2，都相應的滿足下 面的方程pi2T*F*pn = 0· · · (1)其中Pil = (xn, yn, 1)，pi2 = (xi2, yi2,1)，F為一個3*3的未知矩陣。並將七組匹 配點對代入上式中，可以得到由七個方程組成的線性方程組。3. 3，對3. 2中的線性方程組進一步求解得到F的通解F1, F2，滿足F = ^FfF2,其 中χ為未知的係數；接下來，將上述F的表達式代入到下面的方程(矩陣形式表示)中det (F) = 0... (2)2FQFTQF-trace (FQFtQ) F = O ... (3)其中det (F)表示F矩陣的行列式，trace (.)表示矩陣的跡，Q矩陣為對角矩陣 肚叫([111/(樹2)])，fi; f2為攝像機對應的焦距；由(2) (3)式得到由十個多元高次方程組成的方程組，求解該方程組，得到多個 解，記為{SJ。其中每一個解包含了兩張圖像的焦距&，&，它們都是數學意義上正確的解， 因為都滿足上述的多元高次方程組，但因為在匹配過程中可能出現錯誤的匹配點對，所以 在實際圖像中並不能保證每個解都是物理意義上正確的解。3. 4，將3. 1,3. 2,3. 3循環執行若干遍，以便得到焦距的更多可能解。步驟S104，評估所述每個可能解的準確性且把評估值作為所述每個可能解的權 重。4. 1，對每一個可能解Si,能夠求出一個矩陣，記為F，將其他的所有匹配點對和該 F矩陣代入到3. 2中的式(1)中，把滿足等式的匹配點對稱為Si的支持點。對於一個可能 解，支持點越多，則表明該可能解的正確性越高。4. 2，把支持點數在所有匹配點對中的比例作為該可能解的權重值，記為wi0步驟S105，依據所述權重對所述每個可能解計算加權求和以評估得到焦距的概率 密度函數。5. 1，首先將攝像機的焦距記為一個二維的隨機變量(f1; f2)。
5. 2，對於步驟S104中的每一個解，對應了概率空間上的一個核函數，在本發明的 一個實施例中使用了高斯核函數，如圖3所示，為本發明實施例的非參數方法估計焦距概 率密度函數的示意圖。從圖3能能夠看到本發明實施例的焦距的概率密度函數的函數圖形 和高斯核函數的函數圖形。(為了直觀顯示，畫出了一維情況的示意圖，二維情況相同，只是 從曲線轉為曲面)。5. 3，在概率空間上，對5. 2中的每一個核函數進行加權求和，得到焦距的概率密 度函數，記為P (f」 f2)。每一個核函數的權重即為對應4. 2中的可能解的權重Wi。步驟S106，在所述焦距的概率密度函數曲面上進行多次採樣以得到多個採樣點。 具體地，對於加權求和得到的概率密度函數曲面，在每一個可能解的位置進行採樣以得到 一個採樣點(樣本點)，這樣能夠得到所有可能解對應的所有採樣點(樣本點)。每個採樣 點(樣本點)的值對應該可能解的出現概率。更為具體地，如圖4所示，為本發明實施例的 對概率密度函數多次採樣的示意圖(為了直觀顯示，畫出了一維情況的示意圖，二維情況 相同，只是從曲線轉為曲面)。在圖4中能夠明顯看到多個採樣點(樣本點)。對於加權求 和得到的概率密度函數曲面記為P(f\，f2)，在每一個可能解(fn，fi2)的位置進行採樣，得到 相應的採樣點(樣本點)，每個採樣點(樣本點)，即(fn，fi2，Pi) Wpi對應了該可能解的 出現概率。步驟S107，運用高斯函數擬合所述採樣點(樣本點)，並以所述函數峰值作為最終 焦距值。為了對本發明有更清楚的認識，結合圖5，為本發明實施例的對重採樣點進行高斯 擬合示意圖(為了直觀顯示，畫出了一維情況的示意圖，二維情況相同，只是從曲線轉為曲 面)。不難看出，從該圖5中能夠明顯看到本發明實施例的高斯函數圖像、從採樣點圖像和 最終估計的焦距值。具體地7. 1，運用步驟S106中的新的樣本點集合{(fn，fi2，Pi)}在概率空間中擬合出一個 高斯曲面。7. 2,7. 1中所述高斯曲面峰值對應的二維隨機變量的值分別為兩張圖像對應的焦 距值f」 f2。本發明還提出了一種從圖像序列中計算攝像機焦距的裝置，如圖6所示，為本發 明實施例的從圖像序列中計算攝像機焦距的裝置結構圖。該從圖像序列中計算攝像機焦 距的裝置100包括圖像選取模塊110、圖像匹配模塊120、焦距計算模塊130、權重評估模塊 140、概率密度函數構造模塊150和高斯函數構造模塊160。其中，圖像選取模塊110，用於 從圖像序列中選取相鄰兩張圖像；圖像匹配模塊120，用於對所述的兩張圖像進行特徵點 匹配以得到匹配點對；焦距計算模塊130，用於對所述匹配點對中任意七組匹配點對求解 以得到焦距的多個可能解；權重評估模塊140，用於評估所述每個可能解的準確性且把評 估值作為所述每個可能解的權重；概率密度函數構造模塊150，用於依據所述權重對所述 每個可能解計算加權求和以評估得到焦距的概率密度函數，且在所述焦距的概率密度函數 曲面上進行多次採樣以得到多個採樣點；和高斯函數構造模塊160，用於運用高斯函數擬 合所述採樣點，並以所述函數峰值作為最終焦距值。但是本領域的技術人員知道，所述概率密度函數構造模塊150可以細化為功能更 為具體的多個功能模塊，如用於依據所述權重對所述每個可能解計算加權求和以評估得 到焦距的概率密度函數的功能模塊，和用於在所述焦距的概率密度函數曲面上進行採樣以得到採樣點的功能模塊。這些也應當屬於本發明的保護範圍之內。通過本發明提出的從圖像序列中計算攝像機焦距的實時方法，不但解決了攝像機 自標定在實際應用中的不足，而且實現了快速、準確的對攝像機焦距參數的估計。儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以 理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發明的範圍由所附權利要求及其等同限定。
權利要求
一種從圖像序列中計算攝像機焦距的實時方法，其特徵在於，包括以下步驟從圖像序列中選取相鄰兩張圖像；對所述的兩張圖像進行特徵點匹配以得到匹配點對；對所述匹配點對中任意七組匹配點對求解以得到焦距的多個可能解；評估所述每個可能解的準確性且把評估值作為所述每個可能解的權重；依據所述權重對所述每個可能解計算加權求和以評估得到焦距的概率密度函數；在所述焦距的概率密度函數曲面上多次採樣以得到多個採樣點；運用高斯函數擬合所述採樣點，並以所述函數峰值作為最終焦距值。
2.如權利要求1所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，所述 對兩張圖像進行特徵點匹配以得到匹配點對進一步包括以圖像的顏色信息作為特徵，以運用特徵點選取算法選取若干特徵點； 根據所述特徵點在所述兩張圖像中找到若干組匹配點對，其中，在匹配過程中把顏色 特徵最相近的兩個特徵點組成一組匹配點對。
3.如權利要求2所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，所述 每一組匹配點對中的兩個特徵點是場景中同一個點分別在兩張圖像上的投影結果。
4.如權利要求1所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，所述 對所述匹配點對中任意七組匹配點對求解以得到焦距的多個可能解進一步包括從所述兩張圖像的所有匹配點對中隨機選擇七組匹配點對；把所述七組匹配點對代入相關數學方程求解以得到一個多元高次方程組；求解所述多元高次方程組以得到焦距的若干個可能解。
5.如權利要求4所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，在得 到焦距的若干個可能解之後還包括從所述兩張圖像的剩餘匹配點對中隨機選擇另外七組匹配點對； 把所述另外七組匹配點對代入相關數學方程求解以得到一個多元高次方程組； 求解所述多元高次方程組以再次得到焦距的若干個可能解。
6.如權利要求5所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，直到 沒有足夠多的剩餘匹配點或者求解達到預定次數後停止執行且輸出所有可能解。
7.如權利要求1所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，所述 評估每個可能解的準確性且把評估值作為每個可能解的權重進一步包括把所述圖像對的剩餘匹配點對代入所述相應可能解中，以對所述剩餘匹配點進行相關 約束驗證為判斷所述可能接的正確性；把滿足約束的匹配點數在所有匹配點對中的比例作為所述可能解的權重。
8.如權利要求7所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，所述 依據所述權重對所述每個可能解計算加權求和以評估得到焦距的概率密度函數進一步包 括將所述焦距記為一個二維的隨機變量； 所述每一個可能解對應為概率空間上的一個核函數；在概率空間上對所述每一個核函數進行加權求和，以得到焦距的概率密度函數，其中， 所述每一個核函數的權重為對應所述可能解的權重。
9.如權利要求8所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，所述 每個採樣點的值為對應可能解的出現概率。
10.如權利要求9所述的從圖像序列中計算攝像機焦距的實時方法，其特徵在於，運用 高斯函數擬合所述採樣點，並以所述函數峰值作為最終焦距值為運用所述採樣點集合在所 述概率空間中擬合出一個高斯曲面，其中，所述高斯曲面峰值對應的二維隨機變量的值為 相應兩張圖像相機的焦距值。
11.一種從圖像序列中計算攝像機焦距的裝置，其特徵在於，包括 圖像選取模塊，用於從圖像序列中選取相鄰兩張圖像；圖像匹配模塊，用於對所述的兩張圖像進行特徵點匹配以得到匹配點對； 焦距計算模塊，用於對所述匹配點對中任意七組匹配點對求解以得到焦距的多個可能解；權重評估模塊，用於評估所述每個可能解的準確性且把評估值作為所述每個可能解的 權重；概率密度函數構造模塊，用於依據所述權重對所述每個可能解計算加權求和以評估得 到焦距的概率密度函數，且在所述焦距的概率密度函數曲面上進行多次採樣以得到多個採 樣點；和高斯函數構造模塊，用於運用高斯函數擬合所述採樣點，並以所述函數峰值作為最終 焦距值。
12.如權利要求11所述的從圖像序列中計算攝像機焦距的裝置，其特徵在於，所述每 一組匹配點對中的兩個特徵點是場景中同一個點分別在兩張圖像上的投影結果。
13.如權利要求11所述的從圖像序列中計算攝像機焦距的裝置，其特徵在於，直到沒 有足夠多的剩餘匹配點或者求解達到預定次數後停止執行且輸出所有可能解。
全文摘要
本發明提出了一種從圖像序列中計算攝像機焦距的實時方法，包括以下步驟從圖像序列中選取相鄰兩張圖像；對所述的兩張圖像進行特徵點匹配以得到匹配點對；對所述匹配點對中任意七組匹配點對求解以得到焦距的多個可能解；評估所述每個可能解的準確性且把評估值作為所述每個可能解的權重；依據所述權重對所述每個可能解計算加權求和以評估得到焦距的概率密度函數；在所述焦距的概率密度函數曲面上多次採樣以得到多個採樣點；運用高斯函數擬合所述採樣點，並以所述函數峰值作為最終焦距值。通過本發明的計算攝像機焦距的實時方法，解決了攝像機自標定在實際應用中的不足，實現了快速、準確的對攝像機焦距參數的估計。
文檔編號G06T7/00GK101894369SQ20101022234
公開日2010年11月24日 申請日期2010年6月30日 優先權日2010年6月30日
發明者戴瓊海, 邵航 申請人:清華大學