足球機器人視覺快速識別方法
2023-07-03 21:14:26 1
專利名稱：足球機器人視覺快速識別方法
技術領域：
本發明是針對機器人進行足球比賽時的數位化圖像處理和識別。涉及到實時軟體編程，數位訊號處理，計算機科學和工程光學等多個領域。
背景技術：
機器人足球是由加拿大不列顛哥倫比亞大學的Alan Mackworth教授於1992年正式提出。這一科技及娛樂項目於二十世紀九十年代興起，並在歐美及閂本等發達地區風行。
機器人足球賽最重要的目的是檢驗人工智慧的前沿研究、特別是多主體系統研究的最新成果，這些成果可以轉化並應用在其他的工業或民用機器人上。可以說足球機器人能作為研究一切機器人和人工智慧的標準平臺。另外，足球本身就是一項娛樂性很強的運動，因此機器人足球是集科技和娛樂於一體的智慧機器人，是以體育競賽為載體的前沿科研競爭和高科技對抗，是展示高科技進展的生動窗口和促進科技成果實用化和產業化的新途徑。
機器人足球賽的比賽規則與人類正規的足球賽類似。機器人在比賽中不受人類控制，完全自主地進行比賽。為了實現這一目標，機器人必須由以下五部分組成，即視覺子系統、決策子系統、無線通訊子系統、運動控制子系統和機械子系統。視覺和決策子系統是機器人的眼睛和大腦，無線通訊子系統是機器人的耳朵和嘴巴，運動控制子系統相當於人類的神經系統，而機械子系統就是機器人的手腳。
其中，視覺子系統必須向決策系統提供足夠多的場上信息以使機器人能對場上形勢做出準確判斷並採用適當的策略。由於足球機器人是一個高度動態的系統，故視覺系統處理的快速性和精確性對整個系統有著至關重要的影響。過去的圖像識別方法存在著種種弊端。主要體現在搜索速度慢，識別精度低，對不同環境的適應性差，光源一旦改變，就會出現目標丟失和誤識別。這直接導致機器人的跑位出現偏差，甚至出現混亂場面。這主要是由以下幾點原因造成1．目前大多數圖像識別技術採用的色彩模型都是紅綠藍RGB顏色空間，隨著光強不同，相同的顏色經攝像機和圖像卡的捕捉後也會發生變化，RGB模型很容易受到光源的影響，系統無法自適應環境所引起的變化情況。
2．攝像頭因採用廣角鏡會產生桶形失真，並且由於機器人與球存在的高度差會產生機器人位置偏差，使得辨識出的機器人位置不精確，影響了圖像識別的精確性。
3．若對攝像機攝下的所有區域進行識別(即全局識別)會耗用大量的時間。為了解決這一問題，目前的圖像搜索方法是以前一幀識別出的目標位置為中心，以一定的順序向外搜索。但是如果上一幀未識別出或發生了誤識別，那麼目標將在很長時間內以錯誤的路徑搜尋目標，反而影響了識別速度。
發明內容
本發明的目的在於提供一種足球機器人視覺快速識別方法，具有搜索速度快，識別精度高，對環境的適應性強的特點，為足球機器人的決策系統提供足夠多的場上信息。
為達到上述目的，本發明採用下述技術方案一種足球機器人視覺快速識別方法，包括將攝像機安裝在場地上方使其拍攝範圍完全覆蓋球場；將視頻採集卡安裝在工作站上，其輸入連接攝像機的輸出，視頻採集卡輸出數位化的圖像數據，由計算機對數位化圖像處理，達到確定球門和邊線位置，實時提場上隊員的位置、方向、速度和加速度，以及球的位置數據；其特徵在於程序通過VC++MFC實現，其步驟如下(1)目標的特徵提取和校正參數的整定提取的特徵是顏色特徵，每個機器人的頂蓋上均貼有代表球隊和個人的色標，這些顏色都與球的顏色相區別；採用由色調·飽和度·亮度組成的HSV模型為進行目標顏色特徵提取的色彩模型；校正是對原圖像進行像素坐標的空間幾何變換，使像素落在正確的位置，以非線性方程的形式實現，在現場據實際場地和攝像機擺放位置，現場整定校正參數。
(2)圖像預處理對數位化圖像均值濾波，去除突變幹擾點。
(3)目標識別設每個機器人上都有4個顏色不同的色標，通過它們的相互關係，以確定機器人的位置和方向。
(4)校正處理將識別到的目標位置進行幾何畸變校正和高度誤差校正。
上述的目標的特徵提取和校正參數的整定按如下具體步驟進行(1)通過圖像處理卡將圖像採集到內存中，並顯示在屏幕上；(2)通過圖像處理卡的庫函數調整畫面的對比度、亮度、色調和色飽和度，以改變圖像採集效果，直到圖像中機器人的色標和球與場地顏色區分最大；(3)依次採集小球和色標色彩信息首先，點擊被採集目標的中心，程序就將該像素點及其周圍7*7的像素點顏色分開顯示出來；使用者將符合實際顏色的點全選中後，程序就能得到該目標HSV的閾值信息；如果用戶不滿意該值，可直接改變HSV閾值範圍；(4)用滑鼠在計算機屏幕上選取所顯示的場地邊線上的八個點，程序以將此八點圍成的圖形校正成矩形為標準，採用以下各種校正方法整定出校正係數(a)桶形失真校正X』＝K11×(1+K12(X2+Y2))XY』＝K21×(1+K22(X2+Y2))Y式中K11、K21為圖像比例係數，K12K22為失真校正係數；(b)攝像機傾斜校正X』＝K1×X/320×Y+XY』＝K2×Y/240×X+Y式中K1、K2為X和Y方向傾斜校正係數；(c)攝像機旋轉角度校正X』＝(X2+Y2)1/2×cos(arctan(X/Y)+λ)Y』＝(X2+Y2)1/2×sin(arctan(X/Y)+λ)式中λ為旋轉角度。
以上X、Y為攝像機攝下的圖像上的坐標，X』、Y』為幾何校正後的坐標；不斷改變校正係數，直到校正成功，以此確定所有的校正係數；其中桶形失真校正成功標準為校正後場地四邊均為直線，攝像機傾斜參數判斷整定成功標準為校正後場地為矩形，攝像機旋轉角度參數整定判斷成功標準為校正後場地四邊與圖像邊框平行。
上述的目標識別按下述具體步驟進行
(1)首先依次以球和機器人球隊色標為目標，以該目標上一幀被識別的位置為起點，以矩形螺旋方式向外搜尋與目的具有相同顏色的像素點；矩形螺旋搜索算法即環繞搜索中心點一層一層地作矩形的螺旋狀搜索，使用循環方式搜索四條邊上的點來完成一次搜索；(2)搜索到機器人的隊標後，再以隊標為中心的一定範圍內搜索表示機器人號碼和方向的隊員色標，根據識別出的隊員色標的組合方式判斷具體隊員號和方向；(3)若發現識別出的目標位置和方向與正常邏輯不符，就認為該目標被誤識別，需要進行誤識別處理；誤識別分如下三種情況(a)當發現有超過實際色標大小並符合閾值的像素點群，則判定為誤識別；(b)如果搜到的色標排列方式同實際的色標排列方式不一致，即沒有一個隊員色標排列與之一致，則可認為搜索到的隊員號碼不正確，確定為誤識別；(c)搜索到的機器人號碼並非當前搜索號碼，則認為是誤識別。
(4)一旦在一定範圍內未能找到球或隊標，那麼將在下一幀中對該目標採用全局搜索算法，該算法將全場劃塊並分優先級搜索，以丟失前一幀的識別位置為最高優先級由近至遠搜索。
本發明與已有技術相比較，具有如下顯而易見的突出實質性特點和顯著優點本發明的視覺識別方法是以軟體的方式實現的，程序通過VC++MFC實現，達到確定球門和邊線位置，實時提供場上隊員的位置、方向、速度和加速度以及球的位置等數據給足球機器人的決策系統，具有搜索速度快、識別精度高和對環境適應性強等特點。
圖1是視覺識別的工作流程框圖。
圖2是機器人色標和球的照像圖。
圖3是目標顏色閾值採樣畫面圖。
圖4是校正參數整定流程框圖。
圖5是目標識別總流程框圖。
圖6是以上一幀獲得的中心點為種子點矩形螺旋形搜索路徑示意圖。
圖7是誤識別處理流程框圖。
圖8是幾何校正過程框圖。
圖9是校正前後對比的示圖。
具體實施例方式
本發明的一個優選實例結合附圖詳述如下本足球機器人視覺快速識別方法是以軟體的方式實現的，它必須是基於一系列的硬體基礎。其基本的硬體設備是攝像機和視頻採集卡，攝像機安裝在場地上方，拍攝範圍必須完全覆蓋球場。視頻採集卡安裝在工作站上(可以是PC機)，它的輸入連接到攝像機的輸出，視頻採集卡輸出的是數位化的圖像數據。本發明就是對這些數據進行處理和識別。
程序通過VC++MFC實現，達到確定球門和邊線位置，實時提供場上隊員的位置、方向、速度和加速度以及球的位置等數據的目的。
本視覺識別方法的工作流程如附圖1所示。
1．目標的特徵提取和校正參數的整定要跟蹤目標就先要得到使目標從背景中提取出來所需的區別目標與非目標的特徵。本發明提取的特徵是顏色特徵。每個機器人的頂蓋上均貼有代表球隊和個人的色標，這些顏色都與球的顏色相區別。(如附圖2所示)進行目標顏色特徵提取所採用的色彩模型為色調·飽和度·亮度(HSV)模型。色彩模型的選取對於正確識別顏色有非常大的影響，HSV是相對較好的色彩模型。HSV模型由色調h，飽和度s和亮度v組成，接近人眼對色彩的感知。其中的色調屬性能比較準確地反映顏色種類，對外界光照條件的變化敏感程度低。對同一顏色屬性物體，h具有比較穩定和較窄的數值變化範圍，作為主要判斷條件。飽和度s作為輔助判斷條件。RGB到HSV的轉換公式如下v＝max(r，g，b)；s＝1-min(r，g，b)/v；=cos-1((r-g)+(r-b)2(r-g)2+(r-b)(g-b))]]>h=,bg360-,bg]]>此外，因為成像系統本身具有的非線性和攝像的視角不同造成了圖像和實際的偏差，這些就需要校正。校正就是對原圖像進行象素坐標的空間幾何變換，使象素落在正確的位置。經過反覆實踐，本發明將這一映射以非線性方程的形式實現。而校正方程係數必須與實際場地和攝像機擺放位置有關，所以，校正參數須現場整定。
以上兩部分都是在賽前完成，需要人機互動。就是告訴機器人，什麼顏色是球，什麼顏色是機器人的色標，以及攝下的圖像和實際情況如何對應。這一過程相當於對機器人的訓練。
目標的特徵提取和校正參數整定的具體步驟如下(a)通過圖像處理卡將圖像採集到內存中，並顯示在屏幕上。
(b)通過圖像處理卡的庫函數調整畫面的對比度，亮度，色調和色飽和度，以改變圖像採集的效果，直到圖像中機器人上的色標和球與場地區分最大。
(c)依次採集小球和色標色彩信息。首先，點擊被採集目標的中心，程序就將該象素點及其周圍7*7的象素點顏色分開顯示出來(見附圖3)。使用者將符合實際顏色的點全選中後，程序就能得到該目標HSV的閾值信息。如果用戶不滿意該值可直接改變HSV閾值範圍。
(d)用滑鼠在計算機屏幕上選取所顯示的場地邊線上的八個點。程序以將此八點圍成的圖形校正成矩形為標準，採用以下各種校正方法整定出校正係數桶形失真校正(由廣角鏡引起)x』＝k11×(1+k12(x2+y2))x(k11，k21為圖像比例係數。K12,k22為失真校正係數)y』＝k21×(1+k22(x2+y2))x攝像機傾斜校正x』＝k1×x/320×y+x(k1,k2為x和y方向傾斜校正係數)y』＝k2×y/240×x+y攝像機旋轉角度校正x,=x2+y2cos(arctan(x/y)+)]]>(α為旋轉角度)y,=x2+y2sin(arctan(x/y)+)]]>以上x，y為攝像機攝下的圖像上的坐標，x』，y』為實際情況的坐標。所有校正係數都必須確定，不斷改變校正係數，直到校正成功為止。其中桶形失真校正成功標準為校正後場地四邊均為直線。攝像機傾斜參數判斷整定成功標準為校正後場地為矩形。攝像機旋轉角度參數整定判斷成功標準為校正後場地四邊與圖像邊框平行。(整定流程圖見附圖4)2.圖像預處理由視頻採集卡數位化後的圖像，於實際情況相比總是存在許多噪音。這些是攝像機和本身精度以及外界幹擾決定的。因此，本發明在進行目標識別前要對數位化圖像均值濾波。濾波窗口為3×3，即每個象素點的HSV值由其周圍3×3範圍的象素點的均值共同決定，這樣就將突變幹擾點去除了。
3.目標識別本發明識別的目標是規則的幾何圖形，球和隊標均是圓形的。每臺小車上都有3個顏色不同的色標，通過它們的相互關係以確定小車的位置和方向。目標識別總流程見附圖5。
目標識別的具體步驟如下(a)首先依次以球和機器人球隊色標為目標。以該目標上一幀被識別的位置為起點，以矩形螺旋方式嚮往搜尋與目標具有相同顏色的象素點。
矩形螺旋搜索算法即環繞搜索中心點一層一層地作矩形的螺旋狀搜索，使用循環方式搜索四條邊上的點來完成一次搜索。此算法從中心向外搜索，並且能夠符合像素點的矩形排列方式。如圖所示P為上一幀獲得的中心點為種子點，搜索順序如附圖6中箭頭所示。
(b)搜索到機器人的隊標後，再以隊標為中心的一定範圍內搜索表示機器人號碼和方向的隊員標。根據識別出的隊員標的組合方式判斷具體隊員號和方向。
(c)若發現識別出的目標位置和方向與正常邏輯不符，就認為該目標被誤識別，需要進行誤識別處理。
誤識別分為三種情況。
其一，當發現有超過實際色標大小並符合閾值的象素點群，則判定為誤識別。
其二，由於我方隊員識別色標的排列有唯一性，所以如果搜到的色標排列方式同實際的色標排列方式不一致，即沒有一個隊員色標排列與之一致，則可以認為搜索到的隊員號碼不正確，確定為誤識別。
其三，搜到的機器人號碼並非當前搜索號碼，則認為是誤識別。
對第一種情況只要不將該象素點群判定為目標即可。
對後二種情況進行誤識別處理。流程圖見附圖7。
搜索中記錄識別出的物體位置信息以及當前搜索的隊員號碼，並且記錄這些搜索框並跳過，之後繼續進行矩形螺旋搜索，如果搜索到新的隊員號碼和位置信息，則記錄位置信息，直到本輪搜索結束。如果搜索結束之後還沒搜索到所要搜索的隊員，則進行其他隊員的搜索。如果之前認為搜索到的隊員在其自己的搜索輪中被搜到了，則可以確定之前誤搜索的隊員不在記錄的疑似位置，則可對之前的誤搜索信息進行排除；反之，之前隊員確實在疑似的位置處，則對搜到的隊員進行位置信息的賦值操作，並且清空之前的疑似信息。所有隊員全部搜索完畢之後，查看有沒有疑似誤搜索的位置信息，如有，查找這一幀沒有被賦予位置信息的隊員，對其進行位置賦值操作。如果有多個隊員有疑似誤搜索的現象，則可以參照上一幀的位置信息以及方向和運動指令信息，判斷每名隊員這一幀的位置，並進行賦值操作。
因為一旦發生誤識別，就無法通過隊員識別色標來精確計算隊員的實際位置和方向角，只能把搜索到的隊標中心作為此隊員的位置，而此隊員的方向則需要通過對上一幀的方向，與上一幀所發出的行動指令，並且參照隊員識別色標的排列方式，來計算一個大概角度作為這一幀時這名隊員的方向。雖然這樣的定位不夠精確，但至少給出了位置信息，並且為下一幀的搜索提供了搜索的起始位置信息，方便下一幀的搜索。
(d)一旦在一定範圍內未能找到球或隊標，那麼將在下一幀中對該目標採用全局搜索算法，該算法將全場劃塊並分優先級搜索，以丟失前一幀的識別位置為最高優先級最高向外搜索。
4.校正處理校正流程圖見圖8。將識別到的目標位置進行幾何校正，校正方程前所述。
此外，由於機器人存在的高度不可忽略，使得識別出的機器人位置為其投影位置，與實際位置有偏差。因此必須對其進行高度校正，方程如下r=x2+y2]]>r』＝r-r/3×h(h為機器人的高度)x』＝r』×cos(arctan(y/x))y』＝r』×sin(arctan(y/x))進行了以上校正後，圖像的場地幾何形狀達到標準矩形，機器人高度影響消除，使定位更加準確。校正前後效果見附圖9。
權利要求
1.一種足球機器人視覺快速識別方法，包括將攝像機安裝在場地上方使其拍攝範圍完全覆蓋球場；將視頻採集卡安裝在工作站上，其輸入連接攝像機的輸出，視頻採集卡輸出數位化的圖像數據，由計算機對數位化圖像處理，達到確定球門和邊線位置，實時提供場上隊員的位置、方向、速度和加速度，以及球的位置數據；其特徵在於程序通過VC++MFC實現，其步驟如下(1)目標的特徵提取和校正參數的整定提取的特徵是顏色特徵，每個機器人的頂蓋上均貼有代表球隊和個人的色標，這些顏色都與球的顏色相區別；採用由色調·飽和度·亮度組成的HSV模型為進行目標顏色特徵提取的色彩模型；校正是對原圖像進行像素坐標的空間幾何變換，使像素落在正確的位置，以非線性方程的形式實現，在現場根據實際場地和攝像機擺放位置，現場整定校正參數。(2)圖像預處理對數位化圖像均值濾波，去除突變幹擾點。(3)目標識別設每個機器人頂蓋上都有4個顏色不同的色標，通過它們的相互關係，以確定機器人的位置和方向。(4)校正處理將識別到的目標位置進行幾何畸變校正和高度誤差校正。
2.根據權利要求1所述的足球機器人視覺快速識別方法，其特徵在於所述的目標的特徵提取和校正參數的整定按如下具體步驟進行(1)通過圖像處理卡將圖像採集到內存中，並顯示在屏幕上；(2)通過圖像處理卡的庫函數調整畫面的對比度、亮度、色調和色飽和度，以改變圖像採集效果，直到圖像中機器人的色標和球及場地顏色區分最大；(3)依次採集小球和色標色彩信息首先，點擊被採集目標的中心，程序就將該像素點及其周圍7*7的像素點顏色分開顯示出來；使用者將符合實際顏色的點全選中後，程序就能得到該目標HSV的閾值信息；如果用戶不滿意該值，可直接改變HSV閾值範圍；(4)用滑鼠在計算機屏幕上選取所顯示的場地邊線上的八個點，程序以將此八點圍成的圖形校正成矩形為標準，採用以下各種校正方法整定出校正係數(a)桶形失真校正X』＝K11×(1+K12(X2+Y2))XY』＝K21×(1+K22(X2+Y2))Y式中K11、K21為圖像比例係數，K12K22為失真校正係數；(b)攝像機傾斜校正X』＝K1×X/320×Y+XY』＝K2×Y/240×X+Y式中K1、K2為X和Y方向傾斜校正係數；(c)攝像機旋轉角度校正X』＝(X2+Y2)1/2×cos(arctan(X/Y)+λ)Y』＝(X2+Y2)1/2×sin(arctan(X/Y)+λ)式中λ為旋轉角度。以上X、Y為攝像機攝下的圖像上的坐標，X』、Y』為幾何校正後的坐標；不斷改變校正係數，直到校正成功，以此確定所有的校正係數；其中桶形失真校正成功標準為校正後場地四邊均為直線，攝像機傾斜參數判斷整定成功標準為校正後場地為矩形，攝像機旋轉角度參數整定判斷成功標準為校正後場地四邊與圖像邊框平行。
3.根據權利要求1所述的足球機器人視覺快速識別方法，其特徵在於所述的目標識別按下述具體步驟進行(1)首先依次以球和機器人球隊色標為目標，以該目標上一幀被識別的位置為起點，以矩形螺旋方式向外搜尋與目標具有相同顏色的像素點；矩形螺旋搜索算法即環繞搜索中心點一層一層地作矩形的螺旋狀搜索，使用循環方式搜索四條邊上的點來完成一次搜索；(2)搜索到機器人的隊標後，再以隊標為中心的一定範圍內搜索表示機器人號碼和方向的隊員色標，根據識別出的隊員色標的組合方式判斷具體隊員號和方向；(3)若發現識別出的目標位置和方向與正常邏輯不符，就認為該目標被誤識別，需要進行誤識別處理；誤識別分如下三種情況(a)當發現有超過實際色標大小並符合閾值的像素點群，則判定為誤識別；(b)如果搜到的色標排列方式同實際的色標排列方式不一致，即沒有一個隊員色標排列與之一致，則可認為搜索到的隊員號碼不正確，確定為誤識別；(c)搜索到的機器人號碼並非當前搜索號碼，則認為是誤識別。(4)一旦在一定範圍內未能找到球或隊標，那麼將在下一幀中對該目標採用全局搜索算法，該算法將全場劃塊並分優先級搜索，以丟失前一幀的識別位置為最高優先級由近至遠搜索。
全文摘要
本發明涉及一種足球機器人視覺快速識別方法。它包括將攝像機安裝在場地上方使其拍攝範圍完全覆蓋球場；將視頻採集卡安裝在工作站上，其輸入連接攝像機的輸出，視頻採集卡輸出數位化的圖像數據，由計算機對數位化圖像處理，達到確定球門和邊線位置，實時提供場上隊員的位置、方向、速度和加速度，以及球的位置數據，程序通過VC++MFC實現；步驟為(1)目標的特徵提取和校正參數的整定；(2)圖像預處理；(3)目標識別；(4)校正處理。本發明的識別方法具有搜索速度快、識別精度高和對環境適應性強等特點。
文檔編號G06K9/80GK1716281SQ200510027280
公開日2006年1月4日 申請日期2005年6月29日 優先權日2005年6月29日
發明者陳萬米, 魏延欽, 蔣徵波, 張冰, 費敏銳, 郭夢琦, 夏冰玉 申請人:上海大學