一種立體視覺智能控制方法
2023-10-11 19:20:39
專利名稱：一種立體視覺智能控制方法
技術領域：
本發明涉及一種智能控制方法，尤其涉及一種擁有立體視覺功能的智能控制方法。
背景技術：
視覺是人類感知和理解客觀世界的一個重要信息來源。機器視覺也稱計算機視覺，就是希望通過對圖像的理解，用電子或者計算機等手段來模擬人類的視覺功能。然而，這通常是一個非常複雜的任務客觀世界是三維的，圖像傳感器、攝像機等設備所能提供的只是二維的圖像信息，成像過程實質上是一個三維向二維投影的過程，在這個過程中必然會損失大量的信息。如果處理對象是動態的，或者圖像採集設備本身是動態的，那麼情況將更加複雜。
雙目立體視覺是機器視覺的一個重要分支，它利用兩個不同位置的攝像機拍攝同一場景，通過計算空間點在兩幅圖像中的視差，恢復出該點的深度(距離)信息。80年代，美國麻省理工學院人工智慧實驗室的Marr教授提出了視覺計算理論，使兩張有視差的平面圖產生了具有深度信息的立體圖形，奠定了雙目立體視覺發展理論基礎。相對於其它類似的立體成像的方法，如透鏡板三維成像、投影式三維顯示、全息照相等，雙目立體視覺模擬了人眼的功能，具有探測範圍寬、目標信息完整等優勢，在許多領域極具應用價值，如位姿檢測與控制、機器人導航與航測、三維測量學及虛擬實境等。
近年來雙目立體視覺已經成為了一個研究熱點，並取得了不少成果。例如，日本大阪大學自適應機械方法研究院研製的自適應雙目視覺伺服方法，日本東京大學開發的仿真機器人動態行走導航方法，美國卡內基·梅隆大學發明的Navlab自主駕駛視覺導航方法，華盛頓大學與微軟公司合作開發的寬基線立體視覺方法，以及著名的「勇氣號」和「機遇號」火星探測機器人等等。此外，許多汽車廠商都在積極嘗試將機器視覺技術運用到現代汽車中去。通過對車內和車外捕捉到的高速視頻影像進行處理，可以實現車道偏離監測、碰撞前警示、避免碰撞、後倒車燈警示和車距計算等任務，可以顯著提高汽車的安全性。
然而視覺方法涉及到動態圖像的處理，往往存在數據量大、計算過程複雜、硬體要求高等問題。上述研究成果大都方法複雜、成本高昂，不利於推廣使用。
發明內容
本發明的目的是提供一種能根據周圍環境的變化自主採取行動策略的立體視覺智能控制方法。
為實現上述目的，本發明設計目標有兩點1)設計一種雙目立體視覺算法。該算法能夠減少計算的數據量、降低方法複雜度、具有良好的實時性，並且有一定的可靠性。
2)搭建一個雙目立體視覺平臺，實現一個簡單應用。在本設計中利用雙目立體視覺技術，實現移動系統自主檢測障礙距離，避免碰撞。
立體視覺是人類獲取環境三維信息的主要途徑。人類的許多能力，如識別和定位物體，迴避障礙物，和搜索物體等都要依靠立體視覺。人眼產生立體視覺工作原理如圖1所示。在研究人的視覺時常用視差角來表示視差。固定點的視差為零，如果物體點在固定點的前方(離透鏡較近，圖1(a))這時的視差稱為收斂視差。如果物體點在固定點後方(圖1(b))，這時的視差稱為發散視差。視差直接反映物體點距固定點的距離，而固定點的位置可通過改變雙目光軸的夾角進行調整。例如，人在觀察近處的物體時就需要把雙目的光軸會聚在近處。
雙目立體視覺正是從人的雙目產生立體感中獲得啟示，研究如何通過兩個不同位置的攝像模塊得到的同一場景的兩幅圖像中獲取深度信息[3]。這面臨許多困難，主要原因有以下幾點●成像系統將三維的客觀世界透視投影成為二維的圖像，這個過程中會有大量信息損失。例如，場景中某一點到光心連線上的所有點最後只投影為一個像素點。通過圖像測量從二維信息恢復三維信息過程是受約束的，必須加入其它輔助信息才有可能實現。
●圖像灰度信息和三維幾何場景的關係非常複雜。像素點的灰度值會受到物體表面反射特性參數，表面方向、類型和照明方位，以及觀測者位置等因素的影響。
●場景中的遮擋現象，圖像中的噪聲以及許多算法的時間複雜度也都為立體視覺的實現帶來了困難。
立體視覺是年輕的領域，目前還沒有統一的理論。各個不同的研究小組對立體視覺的任務有不同的理解，比較有代表性的有Marr理論、Aloimonos理論和Wechsler理論。Marr的視覺計算理論是首次提出的闡述視覺機理的方法理論，對人類視覺和計算機視覺的研究都產生了深遠的推動作用。他認為立體視覺是「從一幅(或者一系列)圖像中，提取出精確描述三維場景的信息，並且能夠定量地確定場景中物體屬性」。Marr提出計算機視覺方法就像一個信息處理設備，應該從三個層次理解
1)計算理論層確定設備的功能，輸入輸出信號，以及實現功能的邏輯策略。
2)表示和算法層提出計算如何執行，例如信號的表示、算法的實現等。
3)實現層算法的物理實現，即具體應用到軟體和硬體上。
雙目測距的方法有許多種，在立體視覺智能控制方法中採用透視投影模型，如圖2所示。圖2(a)是兩攝像模塊觀察同一點P的情況。圖中兩個攝像機的成像平面xlyl、xryr處於同一平面並且與Z軸垂直，焦距相等，光心o1、o2處於X軸。這種條件下，攝像機被稱為處於平行對準狀態。圖2(b)是P點在XZ平面上的投影圖。xl、xr分別為點P(Xp，Yp，Zp)在左、右攝像機成像平面中的投影，稱為成像點對，也即是在匹配過程中所尋找的在左右兩幅圖像上代表空間同一點的一對匹配點。
根據攝像機透射投影模型，可以求出P點坐標ZpZp=dfD]]>其中D＝xl-xr，為點P在兩攝像機中成像所形成的視差，Zp就是所要求的空間點P到兩攝像機中心的距離，即到觀測者的距離。d為兩攝像機光心之間的距離，f為攝像機的焦距。構建雙目視覺方法要求左右兩個攝像機焦距相同。xl、xr為攝像機成像平面坐標系下的坐標值。f、xl、xr的單位均為像素數，Zp的單位和d相同。根據圖2(b)容易求得Xp=dxl+xr2D]]>將P點向YZ平面投影，同理可得Yp=dyl+yr2D]]>這樣，P點相對於觀測者的位置就可完全確定了，從而能夠為實現避障提供充分的信息。
本發明是通過如下技術方案實現的①通過兩個攝像頭採集圖像數據，存入DSP數據緩衝區；②並從每一幅圖中取一行數據，通過一定的雙目立體視覺算法，計算出障礙物的距離；③利用DSP晶片計算出的距離信息，由此控制方法採取相應的動作(如前進或者後退)。
④方法不斷的循環上述步驟，從而自主行動。
本發明中，步驟②所述立體視覺測距算法是一種基於競爭機制的立體匹配方法。
本發明中，所述的基於競爭機制的立體匹配方法，採用如下步驟
①運用外極線約束原理重整圖像，取兩幅圖像中滿足外極線約束的一行進行處理；②運用Deriche算子對這兩行圖像進行濾波、提取邊緣點；③隨後根據Marr立體視覺約束條件，制定出一套競爭規則。
本發明中，所述的步驟③的Marr立體視覺約束條件，是相容性約束，唯一性約束和連續性約束；本發明中，所述的步驟③由Marr立體視覺約束條件制定的如下規則①幾何學約束，左圖中的邊緣l和右圖中的邊緣r如果匹配，則必須滿足xl＞xr；②斜坡約束，具有相同的梯度符號的邊緣才有可能匹配；③唯一性約束，左圖中某個邊緣只能和右圖中一個邊緣匹配，反之亦然；④順序約束，假設左圖像中有兩個邊緣點l1、l2，右圖像中有也兩個邊緣點r1、r2，l1與r1匹配，如果xl1＞xl2，xr1＜xr2，則l2不可能與r2匹配；⑤連續性約束，匹配得到的視差值的變化在圖像中幾乎處處平滑。
本發明中，所述的基於立體視覺的競爭匹配方法，依據競爭規則將邊緣特徵點構造成匹配矩陣，並由此獲取匹配點，從而得到該點在兩攝像模塊中空間上的視差，並計算出該點到測試系統的距離。
本發明提出了基於競爭機制的立體匹配算法，並且充分考慮硬體製作的成本要求和方法實時性，對於每幅圖像，只處理一行數據，相比傳統的視覺處理方法，在保證結果準確度的前提下，大大簡化了計算複雜度和降低了計算量。
圖1是人眼立體視覺工作原理的收斂視差圖。
圖2是人眼立體視覺工作原理的發散視差圖。
圖3是雙目測距原理的雙目視覺透圖。
圖4是雙目測距原理的X-Z平面投影圖。
圖5是外極線約束原理圖。
圖6是匹配矩陣圖。
圖7是立體視覺智能控制系統框圖。
圖8是系統程序流程圖。
圖.9是雙目測距流程圖。
具體實施例方式
下面結合附圖所示對本發明的實施方式作進一步的詳細描述獲得障礙物的距離信息關鍵是需要在左、右圖像中發現與同一空間點對應的成像點對，這個問題就稱為匹配問題。匹配問題是立體視覺中的一個難點問題，主要體現在(1)計算數據量大，實時性差；(2)容易出現多義性問題，即對於一幅圖中給定的匹配基元在另一幅圖中出現不止一個匹配基元與之匹配。本發明為此設計了一種競爭匹配方法，該方法計算數據量小，實時性好。
立體匹配是立體視覺中的難點問題，不是簡單地把兩幅圖中象素的灰度作比較就能解決的。左、右圖像中單個象素點的灰度不夠穩定，即使認為它們是穩定的話，也很容易出現在相當大的區域裡象素具有相同灰度的情況，這樣就造成了嚴重的多義性問題。
立體視覺處理對搜索匹配點時的多義性問題可分兩步來解決。第一步，是在單幅圖像作預處理時通過抽取圖像局部結構較為豐富的描述來減少錯誤對應的可能性；第二步，是在兩幅圖的對應點間作匹配時應用選擇性規則來限制搜索空間。各種算法間的區別主要在於它們在匹配時選擇什麼樣的匹配基元作為表面位置標誌的基本元素，以及選用什麼規則來限制搜索空間和刪除不合適的匹配。
根據匹配基元的不同，立體匹配可分為區域匹配、特徵匹配和相位匹配三大類區域匹配是考察圖像局部灰度的相關程度；特徵匹配提取圖像邊緣特徵作為匹配基元；相位匹配以圖像中的相位信息作為匹配基元，對圖像的高頻噪聲有很好的抑制作用，適於並行處理。
立體視覺根據其本身特性，有許多匹配約束條件。Marr提出立體匹配的三個約束條件相容性約束，唯一性約束和連續性約束。文獻進一步歸納為兩類約束本地約束和全局約束。本地約束中包括(1)幾何學約束，左圖中的邊緣l和右圖中的邊緣r如果匹配，則必須滿足xl＞xr；(2)斜坡約束，具有相同的梯度符號的邊緣才有可能匹配。全局約束包括(1)唯一性約束，左圖中某個邊緣只能和右圖中一個邊緣匹配，反之亦然；(2)順序約束，假設左圖像中有兩個邊緣點l1、l2，右圖像中有也兩個邊緣點r1、r2，l1與r1匹配。如果xl1＞xl2，xr1＜xr2，則l2不可能與r2匹配；(3)連續性約束，匹配得到的視差值的變化在圖像中幾乎處處平滑。
立體視覺匹配還必須滿足外極線約束。外極線約束原理如圖3所示，P為空間一點，OL、OR分辨是左、右圖像傳感器光心，平面P-OL-OR分別與兩個成像平面相交於直線lL、lR。lL、lR互為外極線，P點在直線lL上像點的匹配點一定在直線lR上。運用外極線約束重整圖像，可以顯著減少計算的數據量。
本發明提出的競爭匹配雙目測距算法首先依據外極線約束條件，對圖像進行重整。使方法的兩個攝像模塊始終處於平行對準姿態，選取左圖像第n行作為輸入時，那麼它上面某點的匹配點一定在右圖像的第n行。然後將選定的兩行圖像轉為灰階圖像Y＝0.299R-0.148G+0.615BY為8位數據，代表每個象素點的灰度值。兩行圖像數據量為320Bytes。利用Deriche算子依次對圖像進行濾波、求導，提取出圖像中的邊緣點。以邊緣點作為匹配基元，依據Marr約束條件制定競爭規則，構造匹配矩陣(如圖4所示)。矩陣中的元素代表潛在的匹配點，它們之間按照競爭規則互相競爭，最後的勝者即為最佳匹配點。得到匹配點，也即得到了空間該點在兩攝像模塊的視差，根據前面所述的雙目測距原理容易求得該點的距離。
本發明提出的競爭匹配雙目測距算法，具有計算的數據量小、實現簡單、實時性好的特點，適用於本發明在接下來部分所要敘述的立體視覺智能控制方法。
本方法採用的攝像模塊為臺灣原相公司的CMOS圖像傳感器PAS109B，工作電壓為2.4～3.6伏，解析度為160×120，象素大小為7.25μm×7.25μm，圖像幀率最高為60fps(frame per second)，支持I2C接口。處理器是臺灣駿億公司提供的DMCU處理器KBD0001C。DMCU是為了適應於現代便攜設備發展而出現的一種全新的體系結構，整合了DSP高效的運算能力和MCU強大的控制能力。KBD0001C字長16位，尋址空間為16MB，IROM可用空間256KW，RAM可用空間24KW，其中XRAM 16KW，YRAM 8KW，可在一個時鐘周期內分別從這兩個RAM中得到兩個操作數。KBD0001C最高工作頻率為24.576MHz，4級流水線結構。KBD0001C提供48個通用I/O接口，支持SPI、I2C、UART、PWM，內嵌了LCD控制器。另外方法還配有一塊LCD S6B33BOA。
立體視覺智能控制系統框圖如圖7所示，整個系統由4部分組成(1)、KBD0001C子板和母板組成DMCU_ICE_D0001C V2.1開發板，這是本系統的核心部分，實現控制和計算功能，充分體現了DMCU將DSP和MCU結合的優勢；(2)、CIS轉接板T0409DS008，通過CON1和CON2與DMCU_ICE_D0001C連接，這部分主要實現按鍵、LCD以及攝像模塊的轉接功能；(3)、兩個攝像模塊及其和T0409DS008連接的電路板，該電路板除了實現雙攝像模塊的轉接功能，還使用L293D實現了電機驅動功能；(4)、系統主體部分。
圖8為本發明系統程序流程圖。系統首先初始化，包括初始化作業系統和創建系統任務——鍵盤掃描任務、LCD顯示任務和用戶接口任務，然後在作業系統的安排下依據不同的優先級執行這些任務。系統初始化後，顯示主菜單，等待命令。如果啟動，KBD0001C依次讀取兩個攝像模塊，並顯示到LCD左半部分和右半部分。然後執行雙目測距算法，比較測量距離和預設安全距離，如果小於預設安全距離，調整PWM輸出佔空比為0，使系統停止前進。
雙目測距算法如圖9所示，大致可以分為三步(1)、用Deriche算子對圖像濾波，提取邊緣特徵信息，提取出的邊緣信息用白色「+」動態地標識在LCD上；(2)、獲得匹配基元，構成匹配矩陣，依據競爭規則得到最佳匹配點、以及匹配點對應的視差，最佳匹配點用藍色「+」在LCD上標識；(3)、根據攝像機透視投影模型，計算得出障礙物的距離。
權利要求
1.一種立體視覺智能控制方法，其特徵在於它採用如下步驟①通過兩個攝像頭分時採集圖像數據，存入DSP數據緩衝區；②從每一幅圖中取一行數據，通過一定的雙目立體視覺算法，計算出障礙物的距離；③利用DSP晶片計算出的距離信息，由此控制系統採取前進或後退相應的動作；④循環上述步驟，實現自主行動。
2.如權利要求1所述的一種立體視覺智能控制方法，其特徵在於步驟②所述立體視覺測距算法是一種基於競爭機制的立體匹配方法。
3.如權利要求2所述的一種立體視覺智能控制方法，其特徵在於所述的基於競爭機制的立體匹配方法，採用如下步驟①運用外極線約束原理重整圖像，取兩幅圖像中滿足外極線約束的一行進行處理；②運用Deriche算子對這兩行圖像進行濾波、提取邊緣點；③隨後根據Marr立體視覺約束條件，制定出一套競爭規則。
4.如權利要求3所述的一種立體視覺智能控制方法，其特徵在於所述的步驟③的Marr立體視覺約束條件，是相容性約束，唯一性約束和連續性約束；
5.如權利要求3所述的一種立體視覺智能控制方法，其特徵在於所述的步驟③由Marr立體視覺約束條件制定的如下規則①幾何學約束，左圖中的邊緣l和右圖中的邊緣r如果匹配，則必須滿足xl＞xr；②斜坡約束，具有相同的梯度符號的邊緣才有可能匹配；③唯一性約束，左圖中某個邊緣只能和右圖中一個邊緣匹配，反之亦然；④順序約束，假設左圖像中有兩個邊緣點l1、l2，右圖像中有也兩個邊緣點r1、r2，l1與r1匹配，如果x11＞x12，xr1＜xr2，則l2不可能與r2匹配；⑤連續性約束，匹配得到的視差值的變化在圖像中幾乎處處平滑。
6.如權利要求2，3，5任一所述的一種立體視覺智能控制方法，其特徵在於所述的基於立體視覺的競爭匹配方法，依據競爭規則將邊緣特徵點構造成匹配矩陣，並由此獲取匹配點，從而得到該點在兩攝像模塊中空間上的視差，並計算出該點到測試系統的距離。
全文摘要
本發明公開了一種立體視覺智能控制方法。該方法使用兩個攝像模塊採集外界視覺信息，通過一定的算法理論進行計算，得出自身與周圍障礙物的距離關係，並採取相應的行進措施。本發明方法實現了立體視覺處理場景信息並據此控制方法動作的功能。相比傳統的測量距離並且控制自身動作的方法，本發明具有測量準確，不受障礙物幹擾，探測範圍寬、目標信息完整、適應性強等優點；相比類似的視覺處理算法，本發明採用的算法極大的降低了計算複雜度和計算量，並且擁有良好的實時性和測量準確性，極具推廣價值。
文檔編號H04N13/00GK1842169SQ20051003004
公開日2006年10月4日 申請日期2005年9月27日 優先權日2005年9月27日
發明者陸起湧, 熊超, 王力超 申請人:復旦大學