基於立體視覺的吊車避障系統的製作方法

2023-12-10 05:06:11 1

專利名稱：基於立體視覺的吊車避障系統的製作方法
技術領域：
本發明屬於非線性欠驅動系統自動控制的技術領域，特別涉及一種基於立體視覺的吊車避障系統。
背景技術：
吊車系統運行過程中，監控人員發現(潛在)碰撞危險的情況，通過緊急制動按鈕來實現吊車的緊急制動。但是，這種緊急制動策略取決於監控人員的判斷時機，實時性達不到，極易發生碰撞，危險性高，極大的降低了吊車系統的效率。隨著計算機視覺技術的不斷發展，視覺傳感器在各類機電系統中得到了越來越廣泛的應用。雙目視覺傳感器以其結構簡單、非接觸測量、準確度高等諸多優點被廣泛地用於視場內環境的監控和測量。在吊車系統運行過程中，通過立體視覺系統完成運動物體檢測、 吊車空間的三維重建，在線計算出負載與障礙物的運動信息(位置信息、速度信息)和尺寸信息，來進行碰撞預測，決定是否採用緊急制動，實現吊車系統的安全運行。

發明內容
本發明目的是解決現有吊車系統的控制達不到實時性要求、極易發生碰撞，使危險性高等問題，提供一種基於立體視覺的吊車避障系統。該系統的主要功能是標定雙目立體視覺系統，得到左右相機的內參數，以及左右相機之間的外參數；使用立體視覺系統拍攝吊車工作場景的圖像，重建吊車工作空間中的靜態障礙物；在吊車系統運送負載的工程中，實時檢測突然進入吊車工作空間的運動物體 (人、車輛、或者其它障礙物等)，同時預測出負載與工作空間中的靜態障礙物和運動障礙物是否發生碰撞。如果發生碰撞，則採取緊急制動策略，避免負載與障礙物發生碰撞。本發明提供的基於立體視覺的吊車避障系統共由四部分組成，包括第1、雙目立體視覺系統的標定第1. 1、模型分析相機模型採用通常的針孔模型描述三維歐式空間到二維圖像平面的投影變換，雙目立體視覺系統一般由左右兩個相機組成，其成像模型均採用所述的針孔模型；在雙目立體視覺系統中，需要標定的參數包括左相機和右相機的內參數ApAp A1為左相機的內參數矩陣，4為右相機的內參數矩陣，以及左相機和右相機之間的外參數R和t，R和t分別表示左相機和右相機之間外參數的旋轉矩陣和平移向量；第1. 2、基於全局代價函數優化的立體標定立體標定包括左相機和右相機的內參數標定、左相機和右相機分別與標定板之間的外參數標定、鏡頭畸變係數的標定、以及左右相機之間外參數標定；引入左右相機之間外參數保持不變這一約束條件，並選取全局代價函數作為優化目標進行非線性優化，所述基於全局代價函數優化的立體標定方法包括角點提取、2維單應矩陣的估計、相機內外參數的估計、徑向畸變的估計，以及基於全局代價函數的非線性優化五個步驟第1.2. 1、左右相機同時各拍攝3幅以上的標定圖像，利用Harris角點檢測算法提取出角點坐標，精確至亞像素精度；第1. 2. 2、對於每幅圖像，計算左右相機圖像平面與標定板之間的2維單應矩陣；第1. 2. 3、估計得到左右相機的內參數，以及它們與標定板之間的外參數；第1. 2. 4、採用最小二乘方法估計徑向畸變係數；第1. 2. 5、引入左右相機之間外參數不變這一約束條件，基於全局代價函數進行非線性優化；第2、吊車工作空間中靜態障礙物的重建首先提取圖像的邊緣特徵；然後利用極線約束和鄰域灰度信息，沿特徵點的主方向建立描述符；同時通過「冗餘角閾值」策略來選擇合適的候選匹配點；最後通過計算特徵點與候選匹配點之間的相關度，得到正確的匹配點。第2. 1、具有旋轉不變性的邊緣點匹配算法針對傳統邊緣匹配算法對圖像旋轉敏感，易發生誤匹配的缺點，提出了一種具有旋轉不變性的邊緣點匹配算法，通過將SIFT算子的旋轉不變性引入匹配中來提高對圖像旋轉的魯棒性，具體包括五個步驟第2. 1. 1、圖像預處理，包括灰度化處理，直方圖均衡化，圖像平滑濾波操作；第2. 1. 2、特徵點提取，特徵點提取在圖像空間中進行，利用Carmy邊緣檢測算子得到樣本圖和搜索圖的輪廓點信息，並保存搜索圖的輪廓圖像；第2. 1. 3、特徵點描述符的建立對任意特徵點，首先計算特徵點主方向；在以該特徵點為中心的鄰域窗口內採樣， 使用梯度方向直方圖統計鄰域像素的梯度方向和幅值；直方圖的峰值代表該特徵點鄰域內梯度的主方向，即特徵點的主方向；獲得特徵點主方向後，利用鄰域灰度信息，沿特徵點主方向來建立描述符，從而保證特徵點描述符具備旋轉不變性；第2. 1. 4、候選匹配點的選取為了消除旋轉對匹配結果的影響，採用SIFT算子的旋轉不變性來建立特徵點描述符，但匹配結果出現二義性，即一個樣本點可能對應多個搜索點，為此，採用一種「冗餘角閾值」策略對二義性問題進行處理，在匹配時，僅僅將搜索圖中對應主方向附近的特徵點作為候選，以剔除錯誤的匹配點；第2. 1. 5、特徵點描述符相關度的計算特徵點的匹配，實質是計算特徵點描述符之間的相關度；對兩個點Pl、p2，設其描述符分別為Vl、V2 ;Vl和V2的相關度越高，則兩個點的匹配度越高；反之，則匹配度越低；使用如下向量夾角餘弦值來計算兩個描述符之間的相關度，當餘弦值等於1時，兩特徵點具有最佳匹配；當餘弦值等於0時，則匹配度最低；使用該方法對吊車工作場景進行重建，最終得到吊車工作空間中靜態障礙物的位置信息和尺寸大小；第3、吊車工作空間中動態障礙物的檢測與跟蹤使用背景差分法，實時檢測出突然進入吊車工作空間的運動物體。再使用 camshift算法，實時跟蹤負載和運動障礙物，估計它們各自的位置信息和尺寸信息。最後對這些信息進行kalman濾波，得到準確的估計值；
第3. 1、基於背景差分法的運動檢測第3. 1. 1、一般情況下，前景的運動目標的灰度值與背景的灰度值之間有很大的差異，而運動物體本身的灰度值一般不會有很大差異，因此通過圖像差分就能很好地反映出兩幀圖像之間的變化，如能檢測出這種變化，就可以將運動目標提取出來並分析其運動特徵；第3. 1. 2、由於噪聲及背景提取存在的誤差，需要對得到的差分圖像進行二值化處理，即將屬於背景的靜止像素和屬於目標的運動像素分開，得到二值化圖像；第3. 1. 3、得到二值化圖像後，對圖像進行腐蝕和膨脹操作，消除孤立點或較小的孤立區域，連通碎化的區域，然後統計連通區域個數，判斷是否有運動障礙物進入，對運動物體進行編號；同時統計連通區域的外接矩形，可以估計運動物體的尺寸信息，還可以用於 camshift跟蹤算法的初始化；第3. 2、尺寸信息估計根據第3. 1. 3步得到的圖像上連通區域的外接矩形，估計運動物體的實際尺寸信息；第3. 2. 1、匹配左圖像和右圖像中的連通區域，根據圖像上連通區域的中心位置， 來計算物體中心的實際坐標，得到物體的深度值4 ；第3. 2. 2、已知連通區域的外接矩形的長軸a，短軸b，以及外接矩形與水平方向的偏轉角度為θ，可以得到長邊在u，ν方向上的長度Au，Δν;根據投影原理，可以得到物體在X。，Ye方向上的長度八^和Δ Ye，進一步得到物體的包圍球半徑r;第3. 3、camshift 跟蹤算法Camshift算法可以分為兩大部分，第一部分meanshift查找目標，第二部分自適應調整搜索窗口的長、寬、方向；對於每一幅圖像，先採用meanshift算法計算出目標包圍窗口，在通過公式自適應的計算出下一幅圖像的初始搜索框的長和寬，這樣就完成了對搜索框的自適應更新；第3. 4、kalman 濾波以上第3. 3步跟蹤算法得到的只是物體每時刻位置的估計，這個估計是不準確， 可以將這些不準確簡單地看作跟蹤過程中的噪聲；為了最大限度地估計物體的運動，使用多個測量的累積可以檢測出不受噪聲影響的部分觀測軌跡；應用在吊車系統中，我們將物體的狀態用三個位置變量x、y和z，以及三個速度變量vx，vy和Vz表示，這六個變量組成狀態向量&的元素；我們用立體視覺來測量物體的位置，作為觀測值來進行更新，就可以得到最優的估計值；第4、碰撞預測使用包圍球來表示負載和障礙物的碰撞模型，以靜止包圍球的碰撞相交算法為基礎，得到運動的包圍球碰撞算法；負載在場景中運動，根據運動包圍球碰撞算法，實時預測負載與靜態或者動態障礙物是否發生碰撞，以啟動緊急制動控制；第4.1、碰撞模型包圍球碰撞模型，是指包含物體的最小球體，包括球體中心坐標C和半徑R ；第4. 1. 1、靜態障礙物的包圍球創建根據立體匹配重建得到的物體輪廓的點集Xj (0 ( j ( n)，首先，累積所有點的坐標向量獲取平均向量C，即為包圍球的中心點；然後再根據所有點到中心點的最大距離確定包圍球的半徑R ；第4. 1. 2、動態障礙物的包圍球創建根據第3步實時跟蹤並經過kalman濾波後得到的中心點位置作為包圍球的中心點，實時估計的最大半徑作為包圍球的半徑，並可以在線更新；第4. 2、運動碰撞預測算法第4. 2. 1、計算負載包圍球中心O1與障礙物包圍球中心O0之間的距離Cl1,判斷障礙物是否在安全半徑範圍之內，如果在，進行下一步；其中，安全半徑Rs.由吊車負載的最大安全制動距離ds.、負載包圍球半徑Ii1和障礙物包圍球半徑I 。組成；第4. 2. 2、計算負載與障礙物的相對速度是否為零，如果相對速度為零，則兩個物體不會發生碰撞；若不為零，則進行下一步；其中，相對速度Vrel由負載速度V1和障礙物速度V。生成；第4. 2. 3、計算直線與平面的交點Pintre ；其中，直線過負載中心點且方向向量為相對速度方向，平面過障礙物中心點且法向量為相對速度方向；第4. 2. 4、然後計算交點Pinto與障礙物中心點之間距離d2 ；如果d2小於R1和R。之和，則負載與障礙物發生碰撞，反之，則不發生碰撞；第4. 2. 5、當預測負載與障礙物將發生碰撞時，及時採取制動措施。本發明的優點和積極效果本發明基於工程實際需要，將立體視覺應用於吊車系統的運行過程中。使用立體視覺系統重建吊車工作空間中靜態障礙物。同時在負載運送過程中，實時檢測突然進入吊車工作空間的運動物體(人、車輛、或者其它障礙物等)，同時預測出負載與工作空間中的靜態障礙物和運動障礙物是否發生碰撞。如果預測出碰撞，則採取緊急制動策略，避免負載與障礙物發生碰撞。考慮到各國現有吊車的控制基本均由人工進行操縱，由監控人員發現潛在的碰撞危險，通過緊急制動按鈕來實現吊車的緊急制動。但是，這種緊急制動策略取決於監控人員的判斷時機，實時性達不到，極易發生碰撞，危險性高，極大的降低了吊車系統的效率。研究該方向的自動控制方法無疑對安全、效率、精確性的提升有較大幫助具有明顯的優點與積極效果。


圖1是系統硬體邏輯示意圖。圖2是三維橋式吊車實驗平臺機械部分。圖3是相機固定支架示意圖。圖4是系統軟體邏輯示意圖。圖5是基於全局代價函數優化的立體標定方法流程圖。圖6是標定實驗平臺。圖7是重投影殘差。圖8是左攝像機的內參數和畸變係數。圖9是右攝像機的內參數和畸變係數。
圖10是左右攝像機之間的外參數。圖11是具有旋轉不變性的邊緣點匹配算法流程圖。圖12是冗餘角閾值策略示意圖。圖13是左相機拍攝的圖像。圖14是右相機拍攝的圖像。圖15是重建場景中的靜態障礙物。圖16是動態障礙物檢測與跟蹤流程圖。圖17是背景差分法檢測運動物體流程圖。圖18是物體投影圖。圖19是尺寸信息估計示意圖。圖20是運動碰撞檢測算法流程圖。圖21是碰撞包圍球模型。圖22是運動碰撞檢測示意圖。圖23是負載與運動障礙物的尺寸估計。圖M是負載與障礙物之間的距離。圖25是負載的速度估計。圖沈是運動障礙物的速度估計。圖中，1相機固定支架，2相機，3固定板，4旋轉支架，5導軌，6標定板。
具體實施例方式實施例1 本發明所涉及系統的硬體結構如圖1所示。在吊車(如圖2)的工作空間中，通過相機固定支架1(如圖幻將左右相機固定在吊車上，調整相機角度使其觀測範圍儘可能最大。根據同步信號，左右相機同時拍攝吊車工作場景，將圖像通過圖像採集卡和1394總線與主機相連。主機進行立體視覺系統標定，圖像處理，吊車工作空間中靜態障礙物的重建、 動態障礙物的檢測與跟蹤，負載的跟蹤，估計運動物體的速度信息、位置信息和尺寸信息， 生成碰撞模型，進行碰撞預測。檢測出發生碰撞，則通過設備USB4711A發出觸發信號，再接入光電開關電路，切換到緊急制動控制。表1硬體配置
權利要求
1. 一種基於立體視覺的吊車避障系統，其特徵在於該系統由四部分組成，包括 第1、雙目立體視覺系統的標定第1.1、模型分析相機模型採用通常的針孔模型描述三維歐式空間到二維圖像平面的投影變換，雙目立體視覺系統一般由左右兩個相機組成，其成像模型均採用所述的針孔模型；在雙目立體視覺系統中，需要標定的參數包括左相機和右相機的內參數 Af、式，4為左相機的內參數矩陣，4為右相機的內參數矩陣，以及左相機和右相機之間的外參數 和ι, 和#分別表示左相機和右相機之間外參數的旋轉矩陣和平移向量； 第1. 2、基於全局代價函數優化的立體標定立體標定包括左相機和右相機的內參數標定、左相機和右相機分別與標定板之間的外參數標定、鏡頭畸變係數的標定、以及左右相機之間外參數標定；引入左右相機之間外參數保持不變這一約束條件，並選取全局代價函數作為優化目標進行非線性優化，所述基於全局代價函數優化的立體標定方法包括角點提取、2維單應矩陣的估計、相機內外參數的估計、徑向畸變的估計，以及基於全局代價函數的非線性優化五個步驟第1.2. 1、左右相機同時各拍攝3幅以上的標定圖像，利用Harris角點檢測算法提取出角點坐標，精確至亞像素精度；第1. 2. 2、對於每幅圖像，計算左右相機圖像平面與標定板之間的2維單應矩陣； 第1. 2. 3、估計得到左右相機的內參數，以及它們與標定板之間的外參數； 第1. 2. 4、採用最小二乘方法估計徑向畸變係數；第1. 2. 5、引入左右相機之間外參數不變這一約束條件，基於全局代價函數進行非線性優化；第2、吊車工作空間中靜態障礙物的重建首先提取圖像的邊緣特徵；然後利用極線約束和鄰域灰度信息，沿特徵點的主方向建立描述符；同時通過「冗餘角閾值」策略來選擇合適的候選匹配點；最後通過計算特徵點與候選匹配點之間的相關度，得到正確的匹配點； 第2. 1、具有旋轉不變性的邊緣點匹配算法針對傳統邊緣匹配算法對圖像旋轉敏感，易發生誤匹配的缺點，提出了一種具有旋轉不變性的邊緣點匹配算法，通過將SIFT算子的旋轉不變性引入匹配中來提高對圖像旋轉的魯棒性，具體包括五個步驟第2. 1. 1、圖像預處理，包括灰度化處理，直方圖均衡化，圖像平滑濾波操作； 第2. 1. 2、特徵點提取，特徵點提取在圖像空間中進行，利用Carmy邊緣檢測算子得到樣本圖和搜索圖的輪廓點信息，並保存搜索圖的輪廓圖像； 第2. 1. 3、特徵點描述符的建立對任意特徵點，首先計算特徵點主方向；在以該特徵點為中心的鄰域窗口內採樣，使用梯度方向直方圖統計鄰域像素的梯度方向和幅值；直方圖的峰值代表該特徵點鄰域內梯度的主方向，即特徵點的主方向；獲得特徵點主方向後，利用鄰域灰度信息，沿特徵點主方向來建立描述符，從而保證特徵點描述符具備旋轉不變性；第2. 1.4、候選匹配點的選取為了消除旋轉對匹配結果的影響，採用SIFT算子的旋轉不變性來建立特徵點描述符， 但匹配結果出現二義性，即一個樣本點可能對應多個搜索點，為此，採用一種「冗餘角閾值」 策略對二義性問題進行處理，在匹配時，僅僅將搜索圖中對應主方向附近的特徵點作為候選，以剔除錯誤的匹配點；第2. 1. 5、特徵點描述符相關度的計算特徵點的匹配，實質是計算特徵點描述符之間的相關度；對兩個點A、Λ，設其描述符分別為V1 ,V3 和％的相關度越高，則兩個點的匹配度越高；反之，則匹配度越低；使用如下向量夾角餘弦值來計算兩個描述符之間的相關度，當餘弦值等於1時，兩特徵點具有最佳匹配；當餘弦值等於0時，則匹配度最低；使用該方法對吊車工作場景進行重建，最終得到吊車工作空間中靜態障礙物的位置信息和尺寸大小； 第3、吊車工作空間中動態障礙物的檢測與跟蹤使用背景差分法，實時檢測出突然進入吊車工作空間的運動物體； 再使用camshift算法，實時跟蹤負載和運動障礙物，估計它們各自的位置信息和尺寸 fn息；最後對這些信息進行kalman濾波，得到準確的估計值； 第3. 1、基於背景差分法的運動檢測第3. 1. 1、一般情況下，前景的運動目標的灰度值與背景的灰度值之間有很大的差異， 而運動物體本身的灰度值一般不會有很大差異，因此通過圖像差分就能很好地反映出兩幀圖像之間的變化，如能檢測出這種變化，就可以將運動目標提取出來並分析其運動特徵；第3. 1. 2、由於噪聲及背景提取存在的誤差，需要對得到的差分圖像進行二值化處理， 即將屬於背景的靜止像素和屬於目標的運動像素分開，得到二值化圖像；第3. 1.3、得到二值化圖像後，對圖像進行腐蝕和膨脹操作，消除孤立點或較小的孤立區域，連通碎化的區域，然後統計連通區域個數，判斷是否有運動障礙物進入，對運動物體進行編號；同時統計連通區域的外接矩形，可以估計運動物體的尺寸信息，還可以用於 camshift跟蹤算法的初始化； 第3. 2、尺寸信息估計根據第3. 1. 3步得到的圖像上連通區域的外接矩形，估計運動物體的實際尺寸信息； 第3. 2. 1、匹配左圖像和右圖像中的連通區域，根據圖像上連通區域的中心位置，來計算物體中心的實際坐標，得到物體的深度值Zc ；第3. 2. 2、已知連通區域的外接矩形的長軸,短軸 ,以及外接矩形與水平方向的偏轉角度為5，可以得到長邊在方向上的長度AlAv ；根據投影原理，可以得到物體在Zc,!^方向上的長度AZc^nAfe,進一步得到物體的包圍球半徑廣；第3. 3、camshift跟蹤算法Camshift算法可以分為兩大部分，第一部分meanshift查找目標，第二部分自適應調整搜索窗口的長、寬、方向；對於每一幅圖像，先採用meanshift算法計算出目標包圍窗口， 在通過公式自適應的計算出下一幅圖像的初始搜索框的長和寬，這樣就完成了對搜索框的自適應更新；第 3. 4、kalman 濾波以上第3. 3步跟蹤算法得到的只是物體每時刻位置的估計，這個估計是不準確，可以將這些不準確簡單地看作跟蹤過程中的噪聲；為了最大限度地估計物體的運動，使用多個測量的累積可以檢測出不受噪聲影響的部分觀測軌跡；應用在吊車系統中，我們將物體的狀態用三個位置變量χ、y和z，以及三個速度變量K ,、和&表示，這六個變量組成狀態向量A的元素；我們用立體視覺來測量物體的位置，作為觀測值來進行更新，就可以得到最優的估計值；第4、碰撞預測使用包圍球來表示負載和障礙物的碰撞模型，以靜止包圍球的碰撞相交算法為基礎， 得到運動的包圍球碰撞算法；負載在場景中運動，根據運動包圍球碰撞算法，實時預測負載與靜態或者動態障礙物是否發生碰撞，以啟動緊急制動控制； 第4. 1、碰撞模型包圍球碰撞模型，是指包含物體的最小球體，包括球體中心坐標t和半徑/ ； 第4. 1. 1、靜態障礙物的包圍球創建根據立體匹配重建得到的物體輪廓的點集式,(0 Sj < )，首先，累積所有點的坐標向量獲取平均向量e，即為包圍球的中心點；然後再根據所有點到中心點的最大距離確定包圍球的半徑 ；第4. 1. 2、動態障礙物的包圍球創建根據第3步實時跟蹤並經過kalman濾波後得到的中心點位置作為包圍球的中心點，實時估計的最大半徑作為包圍球的半徑，並可以在線更新； 第4. 2、運動碰撞預測算法第4. 2. 1、計算負載包圍球中心"-Λ與障礙物包圍球中心A之間的距離、判斷障礙物是否在安全半徑範圍之內，如果在，進行下一步；其中，安全半徑代_由吊車負載的最大安全制動距離式_、負載包圍球半徑巧和障礙物包圍球半徑式組成；第4. 2. 2、計算負載與障礙物的相對速度是否為零，如果相對速度為零，則兩個物體不會發生碰撞；若不為零，則進行下一步；其中，相對速度Gd由負載速度巧和障礙物速度生成；第4. 2. 3、計算直線與平面的交點『；其中，直線過負載中心點且方向向量為相對速度方向，平面過障礙物中心點且法向量為相對速度方向；第4. 2. 4、然後計算交點P4^與障礙物中心點之間距離式；如果式小於為和氏之和，則負載與障礙物發生碰撞，反之，則不發生碰撞；第4. 2. 5、當預測負載與障礙物將發生碰撞時，及時採取制動措施。
全文摘要
一種基於立體視覺的吊車避障系統。包括標定雙目立體視覺系統，得到左右相機的內參數，以及左右相機之間的外參數；使用立體視覺系統拍攝吊車工作場景的圖像，重建吊車工作空間中的靜態障礙物；在負載運送的過程中，實時跟蹤負載，同時檢測突然進入吊車工作空間的運動物體(人、車輛、或者其它障礙物等)，並估計負載和運動物體的運動信息、位置信息和尺寸信息；根據碰撞預測策略，預測負載與障礙物(靜態障礙物和運動物體)是否發生碰撞，以決定是否採取緊急制動，避免負載與障礙物發生碰撞。
文檔編號G01C11/00GK102175222SQ20111005207
公開日2011年9月7日 申請日期2011年3月4日 優先權日2011年3月4日
發明者劉笑含, 孫寧, 方勇純, 王鵬程, 苑英海 申請人:南開大學