一種基於概率模型的多視角目標檢索方法

2024-01-23 00:12:15 2

一種基於概率模型的多視角目標檢索方法
【專利摘要】本發明公開了一種基於概率模型的多視角目標檢索方法，包括以下步驟：在多視角模型庫中，提取各物體的初始視圖集的Zernike矩得到初始特徵向量集，將所有物體的初始特徵向量集合併得到總初始特徵向量集，定義為多視角特徵庫；從多視角模型庫中隨機選擇一物體作為查詢目標，再選取任一物體作為比較目標，檢索任務為從多視角模型庫中找到與查詢目標相似的物體；理論分析得到基於高斯模型的概率函數，通過樣本訓練得到模型參數，進而計算查詢目標和比較目標的匹配概率；將查詢目標與多視角模型庫中所有模型的匹配概率降序排列，得到最終的檢索結果。本發明避免了採集初始視圖時對攝像機空間位置信息的依賴，可以應用於任何基於視圖的多視角目標資料庫。
【專利說明】一種基於概率模型的多視角目標檢索方法

【技術領域】
[0001] 本發明涉及多視角目標檢索領域，特別涉及一種基於概率模型的多視角目標檢索 方法。

【背景技術】
[0002] 人類生活在三維空間中並通過視覺感知外界信息。三維物體能夠提供比文字更加 生動形象的感受效果、比二維圖像更加直觀立體的視覺體驗，因而被廣泛應用於計算機制 圖、電腦輔助設計、醫學成像等各領域。可由其多視角視圖表示的三維物體，稱為多視角目 標。伴隨著網際網路技術的應用與發展，多視角目標的數目呈指數型增長 [1]。如何使用戶能 從海量資料庫中快速、準確地找到符合需求的目標，進而實現資源重用的課題吸引了眾多 科研工作者的目光，多視角目標檢索順理成章地成為了當下的研究熱點。
[0003] 多視角目標檢索是基於數字圖像處理、計算機視覺和機器學習等技術，藉助於計 算機處理技術，對資料庫中物體的多視角視圖進行分析比較的過程。目前，多視角目標檢索 技術主要分為三類：基於文本的檢索、基於語義的檢索以及基於內容的檢索。基於文本的 檢索 [2]通過用戶使用文本關鍵字來標記多視角目標或場景。此方法簡單高效，但其主觀性 和片面性較強，無法對多視角模型進行充分的描述，檢索準確率不高，常出現檢索失敗的情 況。基於語義的檢索 [3]是通過計算不同多視角目標的語義特徵進而計算匹配概率來進行檢 索的。隨著語義的層次越高，涉及的領域越多，計算越複雜。基於內容的檢索 [4]對多視角 目標的視圖進行預處理後提取其特徵向量，通過計算特徵向量之間的相似度完成檢索。此 方法原理簡單、描述特徵豐富多樣且適用範圍廣泛。三類方法各有優劣，但由於基於內容的 檢索能夠利用發展較成熟的二維圖像處理技術而得到了廣泛應用 [5]。
[0004] 多視角目標檢索領域目前面臨的主要挑戰為：採集初始視圖時，大多數方法對照 相機的擺放角度和空間位置具有高度依賴性，導致只有當兩物體的每一對應視圖的角度和 數目完全相同時才能進行相互檢索，限制了實際應用範圍。


【發明內容】

[0005] 本發明提供了一種多視角目標檢索方法，避免了採集初始視圖時對攝像機空間位 置信息的依賴，提高了多視角目標檢索的精度，降低了計算的複雜度，詳見下文描述。
[0006] -種基於概率模型的多視角目標檢索方法，所述方法包括以下步驟：
[0007] (1)採集各物體的多視角彩色視圖，提取掩膜後得到各物體的初始視圖集，將所有 物體的總視圖集定義為多視角模型庫；
[0008] (2)在多視角模型庫中，提取各物體的初始視圖集的任意視覺特徵，得到初始特 徵向量集，將所有物體的初始特徵向量集合併得到總初始特徵向量集，定義為多視角特徵 庫；
[0009] (3)從多視角模型庫中隨機選擇一物體作為查詢目標，再選取任一物體作為比較 目標，檢索任務為從多視角模型庫中找到與查詢目標相似的物體；
[0010] (4)理論分析得到基於生成式概率模型的函數，通過樣本訓練得到模型參數，進而 計算查詢目標和比較目標的匹配概率；
[0011] (5)選取多視角模型庫中的下一個比較模型，重複上述步驟（2)至步驟（4)，直至 遍歷模型庫中的所有模型；
[0012] (6)將查詢目標與多視角模型庫中所有模型的匹配概率降序排列，得到最終的檢 索結果。
[0013] 所述步驟⑶具體為：
[0014] 採用κ-means函數對查詢目標和比較目標的初始特徵向量集和分別聚類，將各聚 類中心作為查詢目標和比較目標的代表性視圖的特徵向量集，只使用特徵向量集進行後續 的匹配概率計算。
[0015] 本發明提供的技術方案的有益效果是：
[0016] 1、避免了採集初始視圖時對攝像機空間位置信息的依賴，可以應用於任何基於視 圖的多視角目標資料庫。即當查詢物體與資料庫中模型的視圖數目和角度不同時，本方法 依然可行；
[0017] 2、採用高斯模型擬合多視角目標視圖之間的匹配概率，實現了基於概率模型的多 視角目標檢索；
[0018] 3、結合使用正負匹配樣例來訓練模型參數，提高了匹配精確度。

【專利附圖】

【附圖說明】
[0019] 圖1為一種基於概率模型的多視角目標檢索方法的流程圖；
[0020] 圖2為物體的彩色視圖樣例；
[0021] 圖3為物體的初始視圖樣例；
[0022] 圖4為三種算法的查準-查全曲線。

【具體實施方式】
[0023] 為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方 式作進一步的詳細描述。
[0024] 為了解決以上問題，需要能夠全面、自動、準確提取多視角目標的特徵並進行檢索 的方法。研究表明：多視角目標視圖的特徵分布情況與其匹配概率有非常緊密的聯繫，可以 通過比較兩個物體之間視圖特徵的相似程度進而判斷兩物體的匹配概率 [6]。本發明提出了 基於概率模型的多視角目標檢索方法，參見圖1，詳見下文描述：
[0025] 101 :採集S個物體的多視角彩色視圖，提取掩膜後得到各物體的初始視圖集 Vi，將所有物體的總視圖集V = 定義為多視角模型庫MD(Model Database)，其中 i e {1，2, · · ·，S};
[0026] 本發明實施例首先採集S個物體的多視角彩色視圖（本例中S = 253)，過程如下： 將三個KINECT攝像頭（此攝像頭為本領域所公知，全稱為"ΧΒ0Χ 360第一代KINECT"，型 號為1414,美國專利號為6483918和6775708)分別置於可旋轉工作檯的水平、堅直和斜向 上45°三個視角。每個物體旋轉一圈時三攝像頭分別勻速拍攝A i張彩色視圖（根據物體 幾何複雜度大小，Ai可設定不同值，最終每個物體得到3化張彩色視圖，本例取A i = 36)，示 意圖如圖2。
[0027] 提取各視圖的掩膜，即分離前景物體與背景區域：視圖中RGB值滿足 G-f-f=〇條件的區域判斷為物體，否則為背景。提取背景中的物體即可得各物體的初 始視圖集P = {ν?,ν"··.,ν?，··.,ν;4}，示意圖如圖3,其中V丨為第i個物體的第a張初始視 圖，a e {1，2,. . .，3AJ，3化為每個物體的初始視圖總數。將S個物體的初始視圖集合併得到 總初始視圖集V = {V1，V2,…，Vi,…，Vs}，將其定義為多視角模型庫MD (Model Database)， 其中 i e {1，2，...，S};
[0028] 102 :在多視角模型庫MD中，提取各物體的初始視圖集Vi的任意視覺特徵，由於 Zernike矩在視圖的平移、縮放和旋轉中具有不變性，所以不失一般性的，採用Zernike矩 為例進行實驗，得到初始特徵向量集V i ;
[0029] 將所有物體的初始特徵向量集合得到總初始特徵向量集Ψ = { Ψ \ Ψ2,…，Ψ \…，Ψs},定義為多視角特徵庫FD (Feature Database),其中 i e {1，2, · · ·，S}。
[0030] Zernike矩是圖像的特徵描述符之一，能夠表示圖像的基本特徵。且Zernike矩已 被證明在視圖的平移、縮放和旋轉中具有不變性，相比較於其它矩更適合進行圖像特徵的 比較，已應用於各類目標識別和模型分析中。
[0031] 根據參考文獻[7]和[8]提取各物體初始視圖的Zernike特徵後，第i個物體的 初始視圖集^二以^…^"…^^丨轉化為初始特徵向量集卜^%,…，〗,…，^^}， 其中V；!為初始視圖<對應的Zernike特徵向量。將所有物體的初始特徵向量集合併得 到總初始特徵向量集Ψ = {ψ1，Ψ2，...，Vi,...，Vs}，定義為多視角特徵庫FD (Feature Database)，其中 i e {1，2, · · ·，S}。
[0032] 103 :從多視角模型庫MD中隨機選擇一物體作為查詢目標Q，再選取任一物體作為 比較目標M，檢索任務為從MD中找到與Q相似的物體。
[0033] 採用任意聚類方式對Q和M的初始特徵向量集￥0和別聚類，不失一般性的， 採用K-means函數聚類。將各聚類中心作為Q和M的代表性視圖的特徵向量集0和, 只使用和Ys7進行後續的匹配概率計算；
[0034] 選定查詢目標Q，假設M為多視角模型庫MD中任一多視角模型，檢索任務為從MD 中找到與Q相似的物體。
[0035] 用P = {vf,Vf Vf丨表示Q的初始視圖集，vf表示Q的第i個初始視圖，m 表示Q的初始視圖個數（本例中m = 108)。對Q的每個初始視圖vf提取Zernike矩後得 到初始特徵向量Ke，則Q的初始特徵向量集為Ve = 。對於多視角模 型庫MD中的比較模型M，其初始視圖集為Fv/ = {vf, vf，..., vf, vf表示M的第j個初 始視圖，n表示M的初始視圖個數（本例中η = 108)。對M的每個視圖vf提取Zernike矩 後得到初始特徵向量，則M的初始特徵向量集為^￥={，…，}。
[0036] 利用Matlab軟體自帶的K-means函數，輸入查詢目標Q的初始特徵向量集Ψ0以 及聚類個數S (根據檢索精度和計算複雜度自定，本例中選取δ = 15)，則輸出為滿足方 差最小標準的S個聚類中心。將各聚類中心作為代表性視圖，只使用代表性視圖進行後續 匹配概率的計算。聚類後Q的代表性特徵向量集為其中δ為 Q的聚類個數，表示聚類後Q的第i個代表性視圖的特徵向量；同理，若M的聚類個數為 τ (本例中選取τ =15)，則聚類後M的代表性特徵向量集為0 = 其中表示聚類後M的第j個代表性視圖的特徵向量。
[0037] 104 :理論分析得到基於生成式概率模型（如單高斯模型，混合高斯模型，貝葉斯 網絡，馬爾可夫網等）的函數，不失一般性，採用高斯模型為例，通過樣本訓練得到模型參 數，進而計算Q和M的匹配概率；
[0038] 下面詳細介紹得到基於高斯模型的概率函數的具體過程：
[0039] 定義兩個物體之間的匹配關係：
[0040] 若兩物體的匹配概率較高，說明它們相似，則定義為正匹配，用Λ = 1表示；若兩 物體的匹配概率較低，說明它們不相似，則定義為負匹配，用Λ =〇表示。
[0041] 根據下式計算Q和M的匹配概率：
[0042] G (Q, Μ) = ρ (ΜI Q, Δ = I) -p (M | Q, Δ = 0)
[0043] 其中G (Q, M)表示物體Q和M的匹配概率，p (MI Q, Λ = 1)表示假設Q和M正匹配 時Q和M的匹配概率，ρ (M| Q，Λ = 0)表示假設Q和M負匹配時Q和M的匹配概率。
[0044] 下面分別計算 p(M|Q, Δ = 1)和 p(M|Q, Δ = 〇)。
[0045] 計算 p (M| Q, Δ = 1):
[0046] Q和M正匹配時，將物體Q和M之間的匹配概率轉化為各自的代表性視圖之間的匹 配概率，為了表達的簡潔性，以下均用代表性視圖的特徵向量Ψ表示代表性視圖V :

【權利要求】
1. 一種基於概率模型的多視角目標檢索方法，其特徵在於，所述方法包括w下步驟： (1) 採集各物體的多視角彩色視圖，提取掩膜後得到各物體的初始視圖集，將所有物體 的總視圖集定義為多視角模型庫； (2) 在多視角模型庫中，提取各物體的初始視圖集的任意視覺特徵，得到初始特徵向量 集，將所有物體的初始特徵向量集合併得到總初始特徵向量集，定義為多視角特徵庫； (3) 從多視角模型庫中隨機選擇一物體作為查詢目標，再選取任一物體作為比較目標， 檢索任務為從多視角模型庫中找到與查詢目標相似的物體； (4) 理論分析得到基於生成式概率模型的函數，通過樣本訓練得到模型參數，進而計算 查詢目標和比較目標的匹配概率； (5) 選取多視角模型庫中的下一個比較模型，重複上述步驟（2)至步驟（4)，直至遍歷 模型庫中的所有模型； (6) 將查詢目標與多視角模型庫中所有模型的匹配概率降序排列，得到最終的檢索結 果。
2. 根據權利要求1所述的一種基於概率模型的多視角目標檢索方法，其特徵在於，所 述步驟（3)具體為： 採用K-means函數對查詢目標和比較目標的初始特徵向量集和分別聚類，將各聚類中 也作為查詢目標和比較目標的代表性視圖的特徵向量集，只使用特徵向量集進行後續的匹 配概率計算。
【文檔編號】G06F17/30GK104462365SQ201410745090
【公開日】2015年3月25日 申請日期:2014年12月8日 優先權日:2014年12月8日
【發明者】劉安安, 蘇育挺, 李希茜 申請人:天津大學