一種基於雙目視覺的高精度虛擬裝配系統算法
2023-10-09 08:33:49 2
一種基於雙目視覺的高精度虛擬裝配系統算法
【專利摘要】一種基於雙目視覺的高精度虛擬裝配系統算法，該算法通過Kinect傳感器採集用戶運動空間信息作為虛擬裝配系統的輸入信息，應用OpenGL建立手部模型，將建立的手部模型與採集的手部圖像進行對比，計算得到手部模型與手部圖像的相似度，採用改進的粒子群優化算法，最終得到採集圖像的手部模型，基於手部模型以及Kinect傳感器的標定信息，最終渲染得到深度圖像，實現對手勢的跟蹤識別，完成虛擬裝配系統的信息輸入，進而實現高精度虛擬裝配過程。本發明能實現對手勢進行準確穩定的三維實時跟蹤，不需要特殊的標記或複雜的圖像採集設備，降低了硬體設備的要求和成本；也不需要訓練樣本，從而更容易進行應用擴展。
【專利說明】一種基於雙目視覺的高精度虛擬裝配系統算法
【技術領域】
[0001] 本發明涉及一種基於雙目視覺的高精度虛擬裝配系統算法。
【背景技術】
[0002] 在產品的設計和製造過程中，裝配是一個很重要的環節，裝配的效率和質量直接 影響產品的最終質量。據有關資料介紹，裝配工作的成本佔總製造成本的30%?50%，甚 至還可能更高。在傳統的裝配過程中，由於裝配通常並不能一次性完成，必須要反覆的裝配 和修改設計，且修改過程中需依賴實物模型。這種繁複的工作不僅使得裝配過程極其複雜， 也使得裝配成本頗高。虛擬裝配是利用計算機工具，在沒有產品或支撐工藝的物理實現情 況下，通過分析、虛擬模型、可視化和數據表達，做出或輔助做出裝配關係工程的決定。不同 於傳統設計必須依靠實物模型進行裝配，虛擬裝配技術可以在數字環境中進行裝配，從而 對設計進行檢驗和修改，並形成評價模型。虛擬裝配技術的應用可以簡化產品的優化設計， 縮短設計周期，減少設計成本，提高產品精度和生產自動化程度。實現手部姿勢的高精度立 體跟蹤是虛擬裝配系統的一個關鍵性且具有挑戰性的問題。為了開發一種有效的且高效的 解決方案，研究者們需要考慮一些複雜的、相互關聯的因素，例如手部動作會存在的高維度 的問題、手的外觀顏色的均勻度的問題和嚴重的自遮擋問題。為了解決以上這些問題，一些 非常成功的方法應用於專門進行動作捕捉的硬體或者用來進行視覺標記。遺憾的是，這些 方法需要一個複雜的、昂貴的硬體設備或者它們會受到觀測場景的幹擾，或者兩種情況同 時存在。由於上述原因，從而影響虛擬裝配系統的用戶體驗效果和推廣普及。
[0003] 對於通過無標記視覺數據來解決手勢的立體跟蹤識別問題，現有的方法可以分 為基於模型和基於外觀兩種。基於模型的方法提供連續的解決方案，但是需要昂貴的成本 和依賴於豐富的視覺信息的可用性，這些信息一般由多功能攝像機系統提供。基於外觀的 方法需要相對較少的計算成本和不那麼複雜的硬體，但是它們對手勢的識別是不連續的， 不能實現對手勢的準確跟蹤識別。
【發明內容】
[0004] 本發明的目的是為了克服【背景技術】中的不足之處，基於Kinect傳感器系統，融合 手勢識別跟蹤技術及人機互動方式，提供一種基於雙目視覺的高精度虛擬裝配系統算法。 該算法主要是依靠Kinect傳感器採集的信息作為輸入，在基於模型方法的基礎上，將手勢 的識別跟蹤問題轉化為一個利用改進的PS0算法解決的最優化問題，並利用GPU提高最優 化性能。
[0005]為了解決上述存在的技術問題，本發明是通過以下技術方案實現的：
[0006] -種基於雙目視覺的高精度虛擬裝配系統算法，該算法內容如下：
[0007] 通過Kinect傳感器採集用戶運動空間信息，包括上肢動作信息、手勢信息包括靜 態手勢和動態手勢信息作為虛擬裝配系統的輸入信息，從而使用自然習慣動作完成虛擬裝 配過程；
[0008] 採用Kinect傳感器拍攝手部姿態的彩色圖像和對應的深度圖像信息作為輸入信 息，通過膚色檢測結合深度信息，分割出手部圖像，得到觀察的模型；應用OpenGL建立手部 模型，採用球體、圓柱體、橢球體和椎體四個基本圖元，建立一個用27個參數表徵的具有26 個自由度的3D手部模型；
[0009] 將建立的手部模型與採集的手部圖像進行對比，計算得到手部模型與手部圖像的 相似度，採用改進的粒子群優化算法，通過相異性計算公式E(h，0)，估算出觀察對象與模型 對象之間的相異程度，不斷優化手部模型的27個參數，使得相似度度量達到最大，最終得 到採集圖像的手部模型，基於手部模型以及Kinect傳感器的標定信息，最終渲染得到深度 圖像，實現對手勢的跟蹤識別，完成虛擬裝配系統的信息輸入，進而實現高精度虛擬裝配過 程。
[0010] 所述的相異性計算公式E(h，0)為：
[0011] E(h，0) =D(0,h，C) + 入k ?kc(h) (1)
[0012] 其中Ak是一個標準化因數，c表示攝像機的校準信息，h代表模型對象，0代表觀 察對象；函數D(0，h，c)表示為：
[0013]
【權利要求】
1. 一種基於雙目視覺的高精度虛擬裝配系統算法，其特徵在於該算法內容如下： 通過Kinect傳感器採集用戶運動空間信息，包括上肢動作信息、手勢信息包括靜態手 勢和動態手勢信息作為虛擬裝配系統的輸入信息，從而使用自然習慣動作完成虛擬裝配過 程； 採用Kinect傳感器拍攝手部姿態的彩色圖像和對應的深度圖像信息作為輸入信息， 通過膚色檢測結合深度信息，分割出手部圖像，得到觀察的模型；應用OpenGL建立手部模 型，採用球體、圓柱體、橢球體和椎體四個基本圖元，建立一個用27個參數表徵的具有26個 自由度的3D手部模型； 將建立的手部模型與採集的手部圖像進行對比，計算得到手部模型與手部圖像的相 似度，採用改進的粒子群優化算法，通過相異性計算公式E(h，0)，估算出觀察對象與模型 對象之間的相異程度，不斷優化手部模型的27個參數，使得相似度度量達到最大，最終得 到採集圖像的手部模型，基於手部模型以及Kinect傳感器的標定信息，最終渲染得到深度 圖像，實現對手勢的跟蹤識別，完成虛擬裝配系統的信息輸入，進而實現高精度虛擬裝配過 程。
2. 根據權利要求1所述的一種基於雙目視覺的高精度虛擬裝配系統算法，其特徵在 於：所述的相異性計算公式E(h，0)為： E(h, 0) =D(0,h,C) +Ak ?kc(h) 其中Ak是一個標準化因數，C表示攝像機的校準信息，h代表模型對象，0代表觀察對 象；函數D(0，h，C)表示為：
函數D(0，h，C)中的絕對值表示觀察對象與模型對象的箝位深度差，e用來防止分母 為零。
【文檔編號】G06F17/50GK104408760SQ201410596344
【公開日】2015年3月11日 申請日期:2014年10月28日 優先權日:2014年10月28日
【發明者】張立國, 王鵬, 金梅, 蔣再毅 申請人:燕山大學