一種3d圖像拼接方法及裝置製造方法
2023-10-09 10:35:14
一種3d圖像拼接方法及裝置製造方法
【專利摘要】本發明涉及圖像拼接【技術領域】，尤其涉及一種3D圖像拼接方法及裝置。該方法包括：獲取目標監測區域的已布點攝像機拍攝的待拼接圖像，拼接圖像兩兩之間具有設定比例的重疊區域；確定待拼接圖像中的圖像特徵點的位置對應關係；利用圖像特徵點的全局方位信息確定幾何投影平面；根據圖像特徵點的位置對應關係，將所有待拼接圖像投影到幾何投影平面，確定全局圖架構；根據圖像特徵點的全局坐標進行圖像融合，得到三維全景圖像。本發明的該3D圖像拼接方法及裝置，能夠快速進行目標監測區域的圖像拼接實現3D場景展示，有效克服了現有的逆向三維建模工作量大、周期長、模型難以復用的缺點，使得本發明方案，更能滿足用戶進行三維場景展現的實際需求。
【專利說明】一種3D圖像拼接方法及裝置
【技術領域】
[0001] 本發明涉及圖像拼接【技術領域】，具體而言，涉及一種3D圖像拼接方法及裝置。
【背景技術】
[0002] 目前，多利用攝像設備對重點場所、重點設備進行監控。採用攝像設備監控獲取的 圖像均為二維圖像，且每臺監控設備僅能獲取監控場所或設備的部分圖像，不便於用戶對 監控場所或設備進行全景監測。例如，在變電站的監控中，布置了數十臺攝像機，分別監控 不同的物理和場景對象，如何進行基於三維全景可視化的變電站場景展現與監測是電力用 戶的業務需求之一。
[0003] 現有的三維全景可視化場景展現與監測的方法主要是三維巡視、仿真培訓和設備 資產管理等，在實現過程中多採用逆向三維建模手段，包括：對已有的監測設備或場景的實 體模型進行拍照或掃描，得到監測模型圖像；在三維環境中，基於監測模型圖像建立三維數 字模型；將獲取的監測場景的監測圖像投影到三維數字模型中，進行三維全景可視化展現。
[0004] 上述的方法雖然能夠實現三維場景的可視化，但因為監測場所或設備的不同，例 如每個變電站都有不同類型的設備和獨特的空間分布特徵，若都採用上述三維逆向建模的 方法進行三維場景的展現，需要對每個設備、場所進行建模，導致三維逆向建模工作量大、 周期長、模型難以復用，不能滿足用戶三維場景展現的實際需求。
【發明內容】
[0005] 本發明的目的在於提供一種3D圖像拼接方法及裝置，以解決上述的問題。
[0006] 在本發明的實施例中提供了一種3D圖像拼接方法，包括：獲取目標監測區域的已 布點攝像機拍攝的待拼接圖像，所述待拼接圖像兩兩之間具有設定比例的重疊區域；確定 所述待拼接圖像中的圖像特徵點的位置對應關係；利用所述圖像特徵點的全局方位信息確 定幾何投影平面；根據所述圖像特徵點的所述位置對應關係，將所有所述待拼接圖像投影 到所述幾何投影平面，確定全局圖架構；根據所述圖像特徵點的全局坐標進行圖像融合，得 到三維全景圖像。
[0007] 優選地，該方法還包括：獲取所述目標監測區域的已布點攝像機的攝像機信息，所 述攝像機信息包括：攝像機個數、攝像機類型及攝像機物理參數。
[0008] 優選地，所述確定所述待拼接圖像中的圖像特徵點的位置對應關係，包括：基於尺 度不變特徵轉換SIFT算法提取所述待拼接圖像中的圖像特徵點；採用特徵點自適應匹配 方法對所述圖像特徵點進行匹配，得到特徵點對；基於外極線約束幾何模型和攝像機成像 原理計算所述特徵點對之間的位置關係。
[0009] 優選地，所述採用特徵點自適應匹配方法對所述圖像特徵點進行匹配，得到特徵 點對，包括：根據所述圖像特徵點的橫坐標或縱坐標把所述重疊區域均勻分布；兩兩計算 所述圖像特徵點的特徵向量的歐氏距離，將所述歐氏距離小於設定的閾值的特徵點匹配加 入特徵點對。
[0010] 優選地，所述基於外極線約束幾何模型和攝像機成像原理計算特徵點對之間的位 置關係，包括：基於RANSAC算法估算關於特徵點對的基本矩陣；通過外極線約束幾何模型 約束所述基本矩陣的估算結果，並聯立攝像機成像原理，計算所述圖像特徵點對的位置關 系。
[0011] 優選地，所述利用所述圖像特徵點的全局方位信息確定幾何投影平面，包括：基於 圖像特徵點到幾何投影平面距離最小的原則，採用最小二乘法擬合所述幾何投影平面。
[0012] 優選地，所述根據所述圖像特徵點的全局坐標進行圖像融合，得到三維全景圖像， 包括：採用柱面正射投影，將所述待拼接圖像投影到柱面全局坐標中，基於所述圖像特徵點 與柱面之間的映射關係進行圖像融合。
[0013] 本發明實施例還提供了一種3D圖像拼接裝置，包括：圖像獲取裝置，用於獲取目 標監測區域的已布點攝像機拍攝的待拼接圖像，所述拼接圖像兩兩之間具有設定比例的重 疊區域；位置關係確定模塊，用於確定所述待拼接圖像中的圖像特徵點的位置對應關係； 投影模塊，用於利用所述圖像特徵點的全局方位信息確定幾何投影平面；根據所述圖像特 徵點的所述位置對應關係，將所有所述待拼接圖像投影到所述幾何投影平面，確定全局圖 架構；圖像融合模塊，用於根據所述圖像特徵點的全局坐標進行圖像融合，得到三維全景圖 像。
[0014] 優選地，所述位置關係確定模塊，包括：圖像特徵點提取子模塊，用於基於尺度不 變特徵轉換SIFT算法提取所述待拼接圖像中的圖像特徵點；匹配子模塊，用於採用特徵點 自適應匹配方法對所述圖像特徵點進行匹配，得到特徵點對；位置關係確定子模塊，用於基 於外極線約束幾何模型和攝像機成像原理計算所述特徵點對之間的位置關係。
[0015] 本發明實施例的3D圖像拼接方法及裝置，利用已布點攝像機獲取的圖像作為待 拼接圖像，通過待拼接圖像中的圖像特徵點的位置對應關係在幾何投影平面中進行投影、 拼接，利用該方法無需預先建立目標監測區域的模型，能夠快速進行目標監測區域的圖像 拼接實現3D場景展示，有效克服了現有的逆向三維建模工作量大、周期長、模型難以復用 的缺點，使得本發明的方法及裝置，更能滿足用戶進行三維場景展現的實際需求。
[0016] 另外，本方法中，為了達到真實展現場景或設備的目的，基於圖像特徵點全局框架 圖的正投影方法，不會出現累積誤差所造成圖像失真變形的情況，可以達到真實模擬場景 的需求。
【專利附圖】
【附圖說明】
[0017] 圖1示出了本發明實施例中3D圖像拼接方法的一種流程圖；
[0018] 圖2示出了本發明實施例中3D圖像拼接方法的另一種流程圖；
[0019] 圖3示出了本發明實施例中外極線約束幾何模型；
[0020] 圖4示出了本發明實施例中3D圖像拼接裝置的結構示意圖。
【具體實施方式】
[0021] 下面通過具體的實施例子並結合附圖對本發明做進一步的詳細描述。
[0022] 本發明基於目標監測區域（例如變電站）三維可視化的應用需求，研究與目標監 測區域視頻監控系統相結合的三維全景可視化方法，提出基於攝像機粗精度監控方位實時 監控圖像獲取，運用自適應圖像特徵點匹配技術計算匹配點對，估算匹配點基本矩陣，在此 基礎上基於外極線約束和攝像機成像原理計算匹配點對之間的位置關係；利用特徵點對應 關係進行圖像的正射投影，將待拼接圖像投影到全局圖中，對圖像進行融合，從而構建具 有真實場景的實時三維全景圖像。
[0023] 基於上述思想，本發明實施例提供了一種3D圖像拼接方法，如圖1所示，主要處理 步驟包括：
[0024] 步驟Sll :獲取目標監測區域的已布點攝像機拍攝的待拼接圖像，待拼接圖像兩 兩之間具有設定比例的重疊區域；
[0025] 步驟S12:確定待拼接圖像中的圖像特徵點的位置對應關係；
[0026] 步驟S13:利用圖像特徵點的全局方位信息確定幾何投影平面；
[0027] 步驟S14:根據圖像特徵點的位置對應關係，將所有待拼接圖像投影到幾何投影 平面，確定全局圖架構；
[0028] 步驟S15:根據圖像特徵點的全局坐標進行圖像融合，得到三維全景圖像。
[0029] 利用該方法無需預先建立目標監測區域的模型，能夠快速進行目標監測區域的圖 像拼接實現3D場景展示，有效克服了現有的逆向三維建模工作量大、周期長、模型難以復 用的缺點，使得本發明的方法，更能滿足用戶進行三維場景展現的實際需求。
[0030] 另外，本方法中，為了達到真實展現場景或設備的目的，基於圖像特徵點全局框架 圖的正投影方法，不會出現累積誤差所造成圖像失真變形的情況，可以達到真實模擬場景 的需求。
[0031] 如圖2所示，本發明還提供了一種基於上述思想的優選實施方法，該方法主要包 括：
[0032] 步驟S21:實時獲取待監測區域已布點攝像機拍攝的待拼接圖像。
[0033] 在監測區域中，已布點有攝像機。通過布點的攝像機能夠實時獲取到監測區域的 監測圖像。
[0034] 對於已布點攝像機獲取的待拼接圖像，兩兩之間具有設定比例的重疊區域，優選 地，待拼接圖像兩兩之間至少具有20%的重疊區域。
[0035]另外，該方法中預先獲取有已布點攝像機的攝像機信息，具體攝像機信息可以包 括攝像機個數、攝像機類型和攝像機物理參數。對於攝像機類型，其可以選擇範圍包括球 機、槍機、高清攝像機等；攝像機參數包括：攝像機位置、攝像機的焦距、光軸方向、變倍值、 成像元件尺寸及解析度等。
[0036] 步驟S22:基於SIFT算法提取待拼接圖像中的圖像特徵點。
[0037] 其中，通過SIFT算法提取待拼接圖像中的圖像特徵點的步驟包括：
[0038]1)、尺度空間極值點的檢測；在尺度空間通過高斯微分函數來檢測潛在的對於尺 度和旋轉不變的興趣點；
[0039] 2)、關鍵點定位；在興趣點位置上，確定關鍵點的位置和尺度；
[0040]3)、關鍵點方向確定；基於圖像局部的梯度方向，給每個關鍵點分配方向；
[0041] 4)、計算關鍵點的描述子；在每個關鍵點的領域內測量圖像局部的梯度，最終用一 個特徵向量來表達。
[0042] 上述確定出的關鍵點即待拼接圖像中的圖像特徵點。
[0043] 步驟S23:採用特徵點自適應匹配方法，快速判斷對圖像特徵點是否匹配，如果匹 配，則進行步驟S24,否則，重複步驟S23直至找到所有圖像特徵點的位置關係。
[0044] 對於每個圖像特徵點，其描述子是一個128維的特徵向量。兩幀圖像中相匹配的 關鍵點是最相關的，所以歐氏距離最短的，基於此，本步驟中快速判斷對圖像特徵點是否匹 配的方法包括：
[0045] 首先假設特徵點對在兩幅圖的重疊區域上是均勻分布的，利用橫坐標或縱坐標把 重疊區域平均分配，通過計算兩個圖像特徵點的特徵向量的歐氏距離，將距離小於設定的 閾值的圖像特徵點匹配加入特徵點對；從特徵點對集合中按歐氏距離從小到大的順序取出 特徵點個數，即滿足特徵點對平均分布的要求，又最大化特徵點的匹配程度。
[0046] 其中，計算兩個特徵點之間的歐氏距離公式為：
[0047]
【權利要求】
1. 一種3D圖像拼接方法，其特徵在於，包括： 獲取目標監測區域的已布點攝像機拍攝的待拼接圖像，所述待拼接圖像兩兩之間具有 設定比例的重疊區域； 確定所述待拼接圖像中的圖像特徵點的位置對應關係； 利用所述圖像特徵點的全局方位信息確定幾何投影平面； 根據所述圖像特徵點的所述位置對應關係，將所有所述待拼接圖像投影到所述幾何投 影平面，確定全局圖架構； 根據所述圖像特徵點的全局坐標進行圖像融合，得到三維全景圖像。
2. 根據權利要求1所述的3D圖像拼接方法，其特徵在於，該方法還包括：獲取所述目 標監測區域的已布點攝像機的攝像機信息，所述攝像機信息包括：攝像機個數、攝像機類型 及攝像機物理參數。
3. 根據權利要求1所述的3D圖像拼接方法，其特徵在於，所述確定所述待拼接圖像中 的圖像特徵點的位置對應關係，包括： 基於尺度不變特徵轉換SIFT算法提取所述待拼接圖像中的圖像特徵點； 採用特徵點自適應匹配方法對所述圖像特徵點進行匹配，得到特徵點對； 基於外極線約束幾何模型和攝像機成像原理計算所述特徵點對之間的位置關係。
4. 根據權利要求3所述的3D圖像拼接方法，其特徵在於，所述採用特徵點自適應匹配 方法對所述圖像特徵點進行匹配，得到特徵點對，包括： 根據所述圖像特徵點的橫坐標或縱坐標把所述重疊區域均勻分布； 兩兩計算所述圖像特徵點的特徵向量的歐氏距離，將所述歐氏距離小於設定的閾值的 圖像特徵點匹配加入特徵點對。
5. 根據權利要求3所述的3D圖像拼接方法，其特徵在於，所述基於外極線約束幾何模 型和攝像機成像原理計算特徵點對之間的位置關係，包括： 基於RANSAC算法估算關於特徵點對的基本矩陣； 通過外極線約束幾何模型約束所述基本矩陣的估算結果，並聯立攝像機成像原理，計 算所述特徵點對的位置關係。
6. 根據權利要求1所述的3D圖像拼接方法，其特徵在於，所述利用所述圖像特徵點的 全局方位信息確定幾何投影平面，包括： 基於圖像特徵點到幾何投影平面距離最小的原則，採用最小二乘法擬合所述幾何投影 平面。
7. 根據權利要求1所述的3D圖像拼接方法，其特徵在於，所述根據所述圖像特徵點的 全局坐標進行圖像融合，得到三維全景圖像，包括： 採用柱面正射投影，將所述待拼接圖像投影到柱面全局坐標中，基於所述圖像特徵點 與柱面之間的映射關係進行圖像融合。
8. -種3D圖像拼接裝置，其特徵在於，包括： 圖像獲取裝置，用於獲取目標監測區域的已布點攝像機拍攝的待拼接圖像，所述拼接 圖像兩兩之間具有設定比例的重疊區域； 位置關係確定模塊，用於確定所述待拼接圖像中的圖像特徵點的位置對應關係； 投影模塊，用於利用所述圖像特徵點的全局方位信息確定幾何投影平面；根據所述圖 像特徵點的所述位置對應關係，將所有所述待拼接圖像投影到所述幾何投影平面，確定全 局圖架構； 圖像融合模塊，用於根據所述圖像特徵點的全局坐標進行圖像融合，得到三維全景圖 像。
9.根據權利要求8所述的3D圖像拼接裝置，其特徵在於，所述位置關係確定模塊，包 括： 圖像特徵點提取子模塊，用於基於尺度不變特徵轉換SIFT算法提取所述待拼接圖像 中的圖像特徵點； 匹配子模塊，用於採用特徵點自適應匹配方法對所述圖像特徵點進行匹配，得到特徵 點對； 位置關係確定子模塊，用於基於外極線約束幾何模型和攝像機成像原理計算所述特徵 點對之間的位置關係。
【文檔編號】G06T15/00GK104318604SQ201410567869
【公開日】2015年1月28日 申請日期:2014年10月21日 優先權日:2014年10月21日
【發明者】胡娟, 顏江, 馮宇 申請人:四川華雁信息產業股份有限公司