移動機器人及其控制方法和程序的製作方法
2023-07-10 10:32:56
專利名稱：移動機器人及其控制方法和程序的製作方法
技術領域：
本發明涉及可以執行各種動作的移動機器人及其控制方法和程序，該移動機器人能夠執行的動作例如是給人作嚮導或引路、運輸物體以及來回走動或巡邏；更具體而言，本發明涉及行進到目的地位置並同時從捕獲的照相機圖像中估計當前行進位置的移動機器人及其控制方法和程序。
背景技術：
最近，除了工作在製造場所的工業機器人之外，對適合人們用於例如家用、福利、醫療服務和公共事務的移動機器人的開發也正在進行中。這樣的機器人需要根據自我位置估計方法的自動移動功能，在此自我位置估計方法中，機器人自身在行進中的位置被利用(一個或多個)傳感器估計出，以便沿目標軌跡(路徑)而行。作為移動機器人的自我位置估計方法，推算定位(dead reckoning)被頻繁採用，該推算定位根據轉角傳感器利用移動機器人的模型獲得的輪子轉角來估計行進位置。機器人利用環境中的特定標記來識別位置的方法也被採用，所述特定標記例如是如白線等之類的路標、磁軌以及角隅稜鏡(corner cube)。此外，作為不使用特定標記的方法，還提出了通過根據照相機獲得的圖像測量牆或地面的邊緣的位置和方向來估計機器人的位置和姿態的方法(JP 09-053939)。
但是，這些傳統的機器人自我位置估計方法包含以下問題。首先，根據輪子轉角估計移動機器人行進位置的推算定位方法的問題在於輪子的滑動等會導致誤差積累。因此，將推算定位和陀螺傳感器組合起來的方法被廣泛採用；但是，雖然滑動等的影響可以消除，但是仍舊存在由於陀螺儀的偏移導致的誤差積累。機器人利用特定標記識別環境中的位置的方法的問題在於必須在環境中放置特定標記，這提高了成本。此外，在通過根據照相機的圖像測量牆和地面的邊緣的位置和方向來估計機器人的位置和姿態的方法中，必須預先註冊多種指定圖像特性在真實空間中的位置。在當前環境下，這種註冊操作是一種人為操作，其中在每次測量和註冊的地點及其位置上，特性例如是利用人眼來確定的，這存在需要長時間工作的問題。
發明內容
另外，根據本發明，提供了一種能夠通過利用照相機的圖像來容易而精確地估計行進位置的移動機器人及其控制方法和程序。
本發明提供了一種移動機器人。在本發明中，一種在諸如工廠之類環境中行進的移動機器人，其特徵在於具有路徑規劃單元，該單元基於估計出的當前行進位置規劃到目的地的行進路徑並輸出行進命令；行進控制單元，該單元執行行進控制，以便基於所述路徑規劃單元的行進命令來沿所述行進路徑而行；位置預測單元，該單元將由輪子的轉角傳感器檢測到的行進距離累加到所述估計出的當前行進位置中，並預測當前行進位置；預測圖像生成單元，該單元基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在所述位置預測單元預測的當前行進位置上和在所述當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成單元，該單元從由所述成像單元捕獲的行進方向上的實際圖像中提取出邊緣信息並生成實際邊緣圖像；以及位置估計單元，該單元將所述實際邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置作為行進位置，並更新所述路徑規劃單元和所述位置預測單元中的行進位置。
這裡，所述位置估計單元計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的相關性，並估計出相關性最大的預測邊緣圖像的候選位置，作為所述行進位置。
所述位置估計單元可以計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的重疊像素的數目，並估計出重疊像素數目最多的預測邊緣圖像的候選位置，作為所述行進位置。
所述預測圖像生成單元針對每個所述候選位置改變所述成像單元的圖像捕獲方向，並生成所述多個預測邊緣圖像。
所述預測圖像生成單元基於所述成像單元的照相機參數和所述布局信息的三維坐標生成所述預測邊緣圖像。
本發明的移動機器人每隔預定行進距離或每隔預定移動時間重複基於所述實際邊緣圖像和所述多個預測邊緣圖像對當前行進位置的估計過程。
(方法)本發明提供了一種對移動機器人的控制方法。在本發明中，一種對在諸如工廠之類環境中行進的移動機器人的控制方法，其特徵在於具有路徑規劃步驟，在該步驟中，基於估計出的當前行進位置對到目的地的行進路徑進行規劃並輸出行進命令；行進控制步驟，在該步驟中，執行行進控制，以便基於所述路徑規劃步驟的行進命令來沿所述行進路徑而行；位置預測步驟，在該步驟中，將由輪子的轉角傳感器檢測到的行進距離累加到所述估計出的當前行進位置中，並預測當前行進位置；預測圖像生成步驟，在該步驟中，基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在所述位置預測步驟中預測的當前行進位置上和在所述當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成步驟，在該步驟中，從由所述成像單元捕獲的行進方向上的實際圖像中提取出邊緣信息並生成實際邊緣圖像；以及位置估計步驟，在該步驟中，將所述實際邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置作為行進位置，並更新所述路徑規劃步驟和所述位置預測步驟中的行進位置。
(程序)本發明提供了一種控制移動機器人的程序。本發明的程序的特徵在於致使在諸如工廠之類環境中行進的移動機器人的計算機執行以下步驟
路徑規劃步驟，在該步驟中，基於估計出的當前行進位置對到目的地的行進路徑進行規劃並輸出行進命令；行進控制步驟，在該步驟中，執行行進控制，以便基於所述路徑規劃步驟的行進命令來沿所述行進路徑而行；位置預測步驟，在該步驟中，將由輪子的轉角傳感器檢測到的行進距離累加到所述估計出的當前行進位置中，並預測當前行進位置；預測圖像生成步驟，在該步驟中，基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在所述位置預測步驟中預測的當前行進位置上和在所述當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成步驟，在該步驟中，從由所述成像單元捕獲的行進方向上的實際圖像中提取出邊緣信息並生成實際邊緣圖像；以及位置估計步驟，在該步驟中，將所述實際邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置作為行進位置，並更新所述路徑規劃步驟和所述位置預測步驟中的行進位置。
根據本發明，在利用輪子的轉角傳感器通過推算定位預測出的移動機器人的當前行進位置附近設置多個候選位置，基於環境的布局信息(例如柱子和牆的位置和高度)生成預測邊緣圖像，這些預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在每個候選位置上時捕獲到的，在候選位置上的預測邊緣圖像被與由從實際圖像中提取出的邊緣信息構成的實際邊緣圖像相比較，並估計出與之最相似的預測邊緣圖像的候選位置，作為機器人的當前行進位置。因此，僅通過在移動機器人中預先存儲描述牆、柱子位置等的環境的相對簡單的布局信息，就可以容易地生成預測邊緣圖像，不需要執行預先註冊實際空間中的多種指定圖像特性的位置的操作，並且可以簡單而精確地執行利用照相機圖像的自我位置估計。
此外，當通過預測邊緣圖像和實際邊緣圖像之間的比較對相似度的確定是利用圖像的相關性值來評價的，並且相關性值最大的預測邊緣圖像的坐標位置被估計出以作為行進位置時，預測邊緣圖像和實際邊緣圖像的不同細節的影響被消除，從而可以實現穩定的比較過程，此外，由於該過程是通過對邊緣信息的相關性計算來執行的，因此減少了計算量，並且可以利用小設備來實現。
此外，當通過預測邊緣圖像和實際邊緣圖像之間的比較對相似度的確定是利用邊緣圖像的重疊像素數目來評價的，並且重疊像素數目最多處的預測邊緣圖像的候選位置被估計出以作為行進位置時，與圖像相關相比，可以實現更穩定的比較過程，並且因為計算的是相應邊緣像素的總數，因此與相關性計算相比，可以以更小計算量來實現。
此外，多個預測邊緣圖像是在針對每個候選位置改變成像單元的圖像捕獲方向的同時生成的；因此，在同一候選位置上生成多個具有不同圖像捕獲方向的預測邊緣圖像，並且這些預測邊緣圖像被與實際邊緣圖像相比較。即使實際圖像的圖像捕獲方向偏離了規劃的行進方向，只要可以獲得具有最大相似度的預測邊緣圖像，就可以估計出正確的行進位置，並且可以進一步增強行進位置的估計精確度。
此外，在生成預測邊緣圖像(預測邊緣圖像是在成像單元被假設布置在候選位置上時生成的)的過程中，可以基於成像單元的照相機參數和布局信息的三維坐標來容易而精確地執行所述生成過程。
此外，以預定行進距離或預定移動時間的處理周期，基於實際邊緣圖像和多個預測邊緣圖像對當前行進位置的估計過程被重複；因此，可以通過縮短處理周期來提高估計精確度。從以下參考附圖的詳細描述中，本發明的上述和其他目的、特徵和優點將變得更加明顯。
圖1是根據本發明的移動機器人的實施例的說明圖；圖2是應用了圖1的實施例的移動機器人的硬體配置的框圖；圖3是示出根據本發明的移動機器人控制設備的實施例的功能配置的框圖；圖4是利用本發明的路徑規劃生成的規劃路徑的說明圖；圖5是根據本發明實施例在行進期間執行的使用照相機捕獲的圖像的行進位置估計過程的說明圖；
圖6是被設置在用於生成預測邊緣圖像的預測行進位置附近的候選位置的說明圖；圖7是在本發明實施例的位置估計過程中利用相關性計算獲得實際邊緣圖像和預測邊緣圖像之間相似度的過程的說明圖；圖8是在本發明實施例的位置估計過程中利用重疊像素的數目獲得實際邊緣圖像和預測邊緣圖像之間相似度的過程的說明圖；以及圖9A和9B是本發明實施例中的行進位置估計過程的流程圖。
具體實施例方式
圖1是根據本發明的移動機器人的實施例的說明圖。在圖1中，本實施例的移動機器人10包括五個單元，即頭部單元12、身體14、移動單元16、左臂20-1和右臂20-2。當水平觀察移動機器人10時，其大小為直徑大約60cm，其高度大約130cm。頭部單元12可以相對於身體14水平轉動，並且使用成像設備(例如CCD)的照相機18朝向前方並附接到頭部單元12。照相機18的視線方向可以通過轉動頭部單元12來調整。如果在頭部單元12上安裝多個具有不同視線方向的照相機，則可以通過切換照相機來立即改變視覺方向，而無需使用上下左右旋轉(pan/tilt)機制。在左臂20-1和右臂20-2中，分別提供了具有四個自由度的關節和抓取操作所需的鉗子，利用關節，手可以移動到任意位置。裝配有觸控螢幕的LCD22被安裝在身體14上，從而使得可以執行移動機器人10的各種顯示和所需操作。在移動單元16中提供了左和右驅動輪以及輔助輪，並且可以通過獨立驅動左和右驅動輪來直行、後退和轉向。
圖2是併入在本實施例的移動機器人中的硬體配置的框圖。在圖2中，在移動機器人10中，併入了CPU板46、DSP板48和圖像處理板50，作為移動機器人的控制設備，並且這些控制設備通過網絡總線52彼此相連。裝配有觸控螢幕的LCD 22和揚聲器54被連接到CPU板46，而CPU板46執行用戶界面和操作指令的過程。各個傳感器32-1到32-n經由傳感器板56連接到DSP板48，用在各種驅動器中的馬達28-1到28-n經由馬達控制板58也連接到DSP板48。DSP板48主要執行實時處理，例如包括移動機器人的行進控制。加載在移動機器人上的多個照相機18-1到18-n經由照相機切換板60連接到圖像處理板50。圖像處理板50利用照相機切換板60切換到並選擇將經歷圖像處理的照相機18-1到18-n中的任意一個，並且從所選照相機中讀取的圖像信息被圖像處理板50進行圖像處理，以便執行必要的機器人操作。
圖3是示出根據本發明的移動機器人控制設備的實施例的功能配置的框圖，該移動機器人控制設備是利用根據圖2所示移動機器人的硬體配置的環境來實現的。在圖3中，本實施例的移動機器人控制設備包括路徑規劃單元24、行進控制單元26、行進位置預測單元34、預測圖像生成單元36、環境布局信息資料庫38、位置估計單元40、圖像輸入單元42和邊緣圖像生成單元44。路徑規劃單元24基於位置估計單元40確定的當前行進位置規劃到目的地(預先設置的)的行進路徑並將行進命令發布到行進控制單元26。響應於該行進命令，行進控制單元26通過驅動馬達28-1和28-2來獨立驅動左和右驅動輪30-1和30-2並致使移動機器人沿規劃的路逕行進到目的地。行進控制單元26連接到作為控制負載的馬達28-1和28-2，並且馬達28-1和28-2獨立驅動設置在圖1的移動單元26中的左和右驅動輪30-1和30-2。針對輔助輪30-3和30-4設置了輪轉角傳感器32，該輪轉角傳感器32輸出與輔助輪30-3和30-4伴隨驅動輪30-1和30-2的移動發生的旋轉相對應的脈衝信號。輔助輪的數目可以是一個。例如，當採用圖4的布局環境作為示例時，根據規劃路徑對移動機器人的行進控制如下所述。當相對移動機器人10的當前位置設置了任意目的地62時，路徑規劃單元24例如規劃出作為期望路徑64的最短路線，該最短路線穿過通向目的地62並由房間66-1到66-4包圍的走廊68。當規劃出期望路徑64時，從位置估計單元40獲得的當前行進位置被與期望路徑64相比較，並向行進控制單元26輸出行進命令以沿期望路徑64而行。行進控制單元26使得移動機器人通過驅動馬達28-1和28-2而藉助驅動輪30-1和30-2的驅動作用來沿期望路徑64行進。根據來自路徑規劃單元24的行進命令，在期望路徑64中的直行移動距離L1、L2和L3以及在轉向點P1和P2的轉向信息被利用；行進距離是通過對在行進期間從輪轉角傳感器32檢測到的脈衝計數，將其中每個脈衝乘以每個脈衝的行進距離，再將它們累加而獲得的；當等於期望路徑64中設置的距離L1時，得知到達轉向點P1；行進方向向左轉90度；隨後行進直行距離L2；在轉向點P2處行進方向向右轉90度，最後通過行進行進距離L3到達目的地62。在行進控制單元26基於根據期望路徑64來自路徑規劃單元24的行進命令進行行進控制時，由於例如輪子的滑率會在輪轉角傳感器32的檢測精度方面引起誤差，並且在估計的行進位置和實際行進位置之間引起誤差；因此，在本實施例中，通過利用照相機18拍攝的圖像估計移動機器人的正確當前行進位置並在更新行進位置的同時執行行進控制，從而能夠根據期望路徑64精確而平滑地執行到目的地62的行進。在本實施例中，對移動機器人的當前行進位置的估計是由行進位置預測單元34、預測圖像生成單元36、充當成像單元的照相機18、圖像輸入單元42、邊緣圖像生成單元44和位置估計單元40來執行的。行進位置預測單元34將基於來自輪轉角傳感器32的檢測到的脈衝計算出的相對於在位置估計單元40中估計出的行進位置的行進距離累積起來並預測當前行進位置。預測圖像生成單元36假設基於預先存儲在環境布局信息資料庫38中的環境布局信息(例如柱子和牆的位置和高度)將照相機18放置在由行進位置預測單元34預測的當前行進位置及其附近的候選位置上，並生成由成像邊緣信息構成的多個預測邊緣圖像。在此過程中，由預測圖像生成單元36執行的預測邊緣圖像的生成在每次行進位置預測單元34獲得的行進距離達到預定距離ΔL(例如ΔL＝1m)時被執行。每次行進位置預測單元34行進了預定距離ΔL時，由照相機18拍攝的移動機器人的行進方向的圖像被輸入圖像輸入單元42，並且圖像輸入單元將其輸出到邊緣圖像生成單元44，生成實際邊緣圖像並將其輸出到位置估計單元40，其中在實際邊緣圖像中，僅提取出實際圖像中的柱子和牆的邊緣。位置估計單元40將從邊緣圖像生成單元44輸出的實際邊緣圖像與由預測圖像生成單元36生成的多個候選位置的預測邊緣圖像相比較，估計與當前行進位置有最大相似度的預測邊緣圖像的候選位置，並將路徑規劃單元24和行進位置預測單元34中的行進位置更新為估計的正確位置。
圖5是在行進期間利用照相機捕獲的圖像執行的根據本實施例的行進位置估計過程的說明圖。圖5是在移動機器人10沿著圖4所示規劃路徑64行進期間，移動機器人10在規劃路徑64的行進方向改變點P1點處向左轉90度之後移動機器人10的狀態，並且假設在此時執行利用照相機捕獲的圖像的行進位置估計過程。在此情況下，移動機器人10在箭頭所示方向上行進，並且裝載在移動機器人上的照相機18也處於箭頭所示的視線方向上並以虛線所示角度α拍攝實際圖像。在圖5中移動機器人10的位置被看作預測位置，該預測位置是相對於圖3的行進位置預測單元34中先前估計的位置的行進距離的累積，該行進距離的累積是基於輪轉角傳感器32的檢測的脈衝計算出的。由於該預測位置在實踐中包括由於輪子滑動引起的誤差，因此移動機器人10的預測位置和當前位置不總是匹配。在基於移動機器人10的行進位置預測單元34預測的行進位置處，圖3的預測圖像生成單元36設置p×q的候選位置矩陣72，其例如圍繞預測行進位置70在x方向上包含p塊，並在y方向上包含q塊(與圖6一樣)，並且包括候選位置矩陣72的預測行進位置70的矩陣的交叉點被設置為候選位置。然後，通過在將照相機18假設放置在候選位置時捕獲圖像獲得的邊緣圖像被作為來自布局信息的預測邊緣圖像生成，其中所述布局信息例如是預先存儲在環境布局信息資料庫38中的柱子和牆的位置和高度。在圖6的候選矩陣72的情況下，候選位置的數目為p×q，其中包括預測行進位置70。對於候選位置矩陣72，例如設置一個候選區域，該候選區域距離穿過預測行進位置70的中心線±15cm，並且例如設置大約1000個點作為候選點的數目(p×q)。此外，在本實施例中，在包括預測行進位置70的候選位置中的每個位置處，照相機的視線方向假設被定向在視線方向74-2和74-3(這兩個方向相對於與機器人移動方向相對應的視線方向74-1向左和向右偏離大約±6度)上，並且從布局信息中生成預測邊緣圖像。因此，除了關於當前預測進行位置的對行進位置的正確估計之外，在預測行進位置70處關於移動機器人的移動方向的正確方向估計也可被實現。在候選位置矩陣72中每個候選位置處，照相機的視線方向可能僅被固定在對應於移動方向的視線方向74-1上，並且向在左和右方向上±6度的視線方向74-2和74-3上的移動可被省略。對於設置在預測行進位置70附近的用於生成預測邊緣圖像的候選位置的數目，可以根據安裝在移動機器人上的圖2所示圖像處理板50的處理能力來確定任意數目的候選位置。這裡，由圖3所示位置估計單元40執行的實際邊緣圖像和預測邊緣圖像之間的比較和對相似度最大的候選位置的確定可以使用以下兩種方法中的任一方法來執行(1)在一種方法中，計算實際邊緣圖像和預測邊緣圖像之間的相關性，並估計出相關性最大的候選位置作為行進位置，或者(2)在另一方法中，計算實際邊緣圖像和預測邊緣圖像的重疊像素的數目，並估計出重疊像素數目最多的候選位置作為行進位置。
圖7是根據相關性計算確定相似度的過程的說明圖。在圖7中，例如通過對照相機18捕獲的實際圖像76執行微分處理來對圖像76執行邊緣提取78，並且獲得實際邊緣圖像80，該實際邊緣圖像80包括提取出的邊緣部分，這些邊緣部分充當實際圖像76中的走廊、牆和天花板之間的邊界。同時，與實際圖像76的輸入同步地，基於照相機18被放置在設置在預測行進位置70附近的候選位置上(例如如圖6所示)的假設，從布局信息中生成預測邊緣圖像82-1到82-n。然後，在相關性計算84中，分別對實際邊緣圖像80和預測邊緣圖像82-1到82-n執行相關性計算。這裡，基於布局信息的預測邊緣圖像82-1到82-n可以從基於處於如下狀態的照相機18的照相機參數的計算中生成和獲得在所述狀態中，照相機18假設被放置在設置在預測行進位置70附近的候選位置上(見圖6)。在本實施例中，預測邊緣圖像可以通過以下方式由設置在候選位置上的照相機捕獲由照相機將基於布局信息的三維布局空間轉換成從設置在候選位置上的照相機觀察到的二維平面圖像。當這種關係被數學化時，預測邊緣圖像可以作為在照相機被假設設置在每個候選位置上的情況下的三維布局空間的平面圖像而生成。在將三維布局空間轉換成二維平面圖像的關係表達式中使用的係數是照相機參數。更具體而言，當布局三維空間中的點(X，Y，Z)出現在照相機圖像中的點(Xc，Yc)處時，它們之間的關係可以由以下表達式提供。
HcXcHcYcHc=C11C12C13C14C21C22C23C24C31C32C33C34XYZ1---(1)]]>這裡，Hc是中間變量。3×4矩陣的係數C11到C34是照相機參數並且包括所有信息，例如照相機的位置與姿態以及鏡頭的價格。由於總共存在12個照相機參數C11到C34，因此照相機參數C11到C34的值可以由布局三維空間和照相機的二維圖像中的6個或更多個參考點預先確定。當照相機參數C11到C34的值是以這種方式預先確定的時，並且當照相機被放置在任意候選位置上時，將布局三維空間轉換成預測邊緣圖像的轉換表達式可以由以下表達式提供。
Xc=C11X+C12Y+C13Z+C14C31X+C32Y+C33Z+C34---(2)]]>Yc=C21X+C22Y+C23Z+C24C31X+C32Y+C33Z+C34---(3)]]>當表達式(2)和(3)被應用到代表基於候選位置獲得的布局三維空間中的邊緣的所有像素坐標(X，Y，Z)時，代表預測邊緣圖像中的邊緣的所有像素可被獲得。圖7中的在實際邊緣圖像80和預測邊緣圖像82-1到82-n之間執行的相關性計算84可以由以下表達式提供。
NCC=(Rij-Rm)(Sij-Sm)(Sij-Sm)2(Rij-Rm)2,Rm=1nRij,Sm=1nSij---(4)]]>這裡，表達式(4)中的Rij代表布局三維空間中的邊緣圖像的每個像素，Sij代表預測邊緣圖像的每個像素值，並且n代表圖像中的像素數目。在本實施例中這種利用圖像對當前行進位置的估計中，實際邊緣圖像是從實際圖像中提取出的，將與其進行比較的環境是預測邊緣圖像，預測邊緣圖像僅由充當代表不與實際環境的圖像信息相關的柱子和牆的位置和高度的地圖信息的布局信息構成，布局信息的數據量與實際環境圖像相比要小得多並且可以容易地從諸如環境的設計圖之類的信息中獲得，並且將布局信息註冊到移動機器人的過程可以被容易地執行。而且，在對當前行進位置的估計過程中，相似度最大的候選位置是通過藉助從實際圖像中提取出的實際邊緣圖像和從設置在預測行進位置附近的候選位置中觀察到並基於布局信息生成的預測邊緣圖像之間的相關性計算來匹配相似度而估計出的；因此，由於它們是邊緣圖像，因此即使對於圖像處理，像素數目也會少得多，並且對正確當前位置的估計可以由小設備以更高速度執行。圖8是本實施例的位置估計中，根據構成邊緣的重疊像素數目獲得實際邊緣圖像和預測邊緣圖像之間的相似度的過程的說明圖。在圖8中，邊緣提取78是通過對實際圖像76執行微分處理來執行的，以便確定實際邊緣圖像80。同時，分別針對設置在預測行進位置附近的候選位置從布局信息中生成預測邊緣圖像82-1到82-n。在該狀態中，與實際邊緣圖像80最相似的預測邊緣圖像被檢測出；因此，在本實施例中，例如，生成重疊確定圖像86-1，其中實際邊緣圖像80與預測邊緣圖像82-1相重疊，並且在重疊確定圖像86-1中，在實際邊緣圖像80的邊緣部分與預測邊緣圖像82-1的邊緣部分相重疊的部分中的總像素數目被計算出。針對這樣的實際邊緣圖像80和預測邊緣圖像82-1到82-n的重疊確定圖像86-1到86-n中的每一個獲得邊緣圖像的重疊像素的數目，確定重疊像素數目最多的預測邊緣圖像82-i，並估計出其候選位置，作為當前行進位置。在比較藉助圖7的相關性計算確定最大相似度的方法和藉助重疊像素數目確定最大相似度的方法時，在對實際邊緣圖像80的提取不充分並且邊緣不連續的情況下，在相關性計算的情況下，相關性值以與不連續性相對應的方式減小；但是，在邊緣重疊像素的數目的情況下，即使在實際邊緣圖像的邊緣中生成了不連續性，邊緣的不連續性也不會影響對重疊像素的數目的確定，只要邊緣的不連續性處於邊緣的重疊部分之外的其他部分中即可，並且與相關性計算相比，可以更穩定地執行最大相似度的比較處理。藉助圖7的相關性計算來確定最大相似度的過程和藉助圖8的重疊像素確定最大相似度的過程可以單獨執行，也可以組合執行。例如，由圖7的相關性計算獲得的相關性值可以被排序，頂部的預定數目個候選位置可被選出，對圖8的重疊像素的數目的確定過程可被應用到所選候選位置的預測邊緣圖像，並且與有最多重疊像素的預測邊緣圖像相對應的候選位置可被估計出，作為行進位置。
圖9A和9B是本實施例中的行進位置估計過程的流程圖，並且下面將參考圖3來描述該流程圖。在圖9A和9B中，首先，在步驟S1中，例如由行進位置預測單元34基於從輪轉角傳感器32輸出的脈衝來檢查行進距離是否已經到達設置的距離ΔL；並且，當其已到達設置的距離ΔL時，在步驟S2中清除行進距離，然後從步驟S3開始啟動行進位置估計過程。在行進位置估計過程中，在步驟S3中，最大相似度被初始化為0；然後，在步驟S4中，圖像輸入單元42獲得照相機18在該點捕獲的照相機圖像，並且邊緣圖像生成單元44通過微分處理生成邊緣圖像。然後，在步驟S5中，由行進位置預測單元34預測的當前行進位置被獲得，並且在步驟S6中，由預測圖像生成單元36例如像圖6那樣在預測行進位置附近設置候選位置。接下來，在步驟S7中，選擇候選位置之一，並生成在所選候選位置處的預測邊緣圖像。具體而言，假設照相機18被假設放置在所選候選位置上，並且利用上述表達式(2)和(3)中的照相機參數C11到C34將從環境布局信息資料庫38的布局信息中獲得的關於布局三維空間的布局三維信息的邊緣圖像轉換成二維平面邊緣圖像，從而生成預測邊緣圖像。接下來，在步驟S8中，實際邊緣圖像和預測邊緣圖像的相似度被計算。該相似度的計算是如圖7所示的相關性計算84或如圖8所示的對邊緣重疊像素數目的計算。隨後，在步驟S9中，計算出的相似度被與該點的最大相似度相比較。由於這是第一比較過程，因此最大相似度為0(如步驟S3所初始化的)；因此，計算出的相似度總是大於等於0，並且過程前進到步驟S10，其中最大相似度被更新為在步驟S8中計算出的相似度，並且該點處的候選位置被記錄。隨後，過程前進到步驟S11，如果被處理的候選位置的數目小於預先確定的預定閾值，過程則返回步驟S6，生成下一候選位置並重複步驟S7到S10的過程。作為重複步驟S6到S11的過程的結果，多個候選點的預測邊緣圖像中具有最大相似度的候選位置總是留作記錄的結果。當候選位置的數目在步驟S11中超過閾值時，過程前進到步驟S12，其中由於在步驟S10中記錄的候選位置是具有最大相似度的候選位置，因此其被設置為當前行進位置。隨後，在步驟S13中檢查是否已經到達目的地。如果尚未到達，過程則返回步驟S1，並重複類似的過程；如果已經到達目的地，則終止行進位置估計過程的序列。本發明還提供了由裝載在移動機器人(具體而言，如圖2所示硬體配置)上的計算機執行的程序，並且程序的內容是根據圖9A和9B的流程圖的內容。本發明還包括不損害其目的和優點的任意修改，並且本發明不受以上描述的實施例中所示的數字值所限制。
權利要求
1.一種在諸如工廠之類環境中行進的移動機器人，其特徵在於具有路徑規劃單元，該單元基於估計出的當前行進位置規劃到目的地的行進路徑並輸出行進命令；行進控制單元，該單元執行行進控制，以便基於所述路徑規劃單元的行進命令來沿所述行進路徑而行；位置預測單元，該單元將由輪子的轉角傳感器檢測到的行進距離累加到所述估計出的當前行進位置中，並預測當前行進位置；預測圖像生成單元，該單元基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在所述位置預測單元預測的當前行進位置上和在所述當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成單元，該單元從由所述成像單元捕獲的行進方向上的實際圖像中提取出邊緣信息並生成實際邊緣圖像；以及位置估計單元，該單元將所述實際邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置作為行進位置，並更新所述路徑規劃單元和所述位置預測單元中的行進位置。
2.如權利要求1所述的移動機器人，其特徵在於所述位置估計單元計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的相關性，並估計出相關性最大的預測邊緣圖像的候選位置，作為所述行進位置。
3.如權利要求1所述的移動機器人，其特徵在於所述位置估計單元計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的重疊像素的數目，並估計出重疊像素數目最多的預測邊緣圖像的候選位置，作為所述行進位置。
4.如權利要求2或3所述的移動機器人，其特徵在於所述預測圖像生成單元針對每個所述候選位置改變所述成像單元的圖像捕獲方向，並生成所述多個預測邊緣圖像。
5.如權利要求1所述的移動機器人，其特徵在於所述預測圖像生成單元基於所述成像單元的照相機參數和所述布局信息的三維坐標生成所述預測邊緣圖像。
6.如權利要求1所述的移動機器人，其特徵在於所述基於所述實際邊緣圖像和所述多個預測邊緣圖像對當前行進位置的估計過程每隔預定行進距離或每隔預定移動時間被執行一次。
7.一種對在諸如工廠之類環境中行進的移動機器人的控制方法，其特徵在於具有路徑規劃步驟，在該步驟中，基於估計出的當前行進位置對到目的地的行進路徑進行規劃並輸出行進命令；行進控制步驟，在該步驟中，執行行進控制，以便基於所述路徑規劃步驟的行進命令來沿所述行進路徑而行；位置預測步驟，在該步驟中，將由輪子的轉角傳感器檢測到的行進距離累加到所述估計出的當前行進位置中，並預測當前行進位置；預測圖像生成步驟，在該步驟中，基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在所述位置預測步驟中預測的當前行進位置上和在所述當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成步驟，在該步驟中，從由所述成像單元捕獲的行進方向上的實際圖像中提取出邊緣信息並生成實際邊緣圖像；以及位置估計步驟，在該步驟中，將所述實際邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置作為行進位置，並更新所述路徑規劃步驟和所述位置預測步驟中的行進位置。
8.如權利要求7所述的對移動機器人的控制方法，其特徵在於，在所述位置估計步驟中，計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的相關性，並估計出相關性最大的預測邊緣圖像的候選位置，作為所述行進位置。
9.如權利要求7所述的對移動機器人的控制方法，其特徵在於，在所述位置估計步驟中，計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的重疊像素的數目，並估計出重疊像素數目最多的預測邊緣圖像的候選位置，作為所述行進位置。
10.如權利要求8或9所述的對移動機器人的控制方法，其特徵在於，在所述預測圖像生成步驟中，針對每個所述候選位置改變所述成像步驟的圖像捕獲方向，並生成所述多個預測邊緣圖像。
11.如權利要求7所述的對移動機器人的控制方法，其特徵在於，在所述預測圖像生成步驟中，所述預測邊緣圖像是基於所述成像步驟的照相機參數和所述布局信息的三維坐標生成的。
12.如權利要求7所述的對移動機器人的控制方法，其特徵在於，所述基於所述實際邊緣圖像和所述多個預測邊緣圖像對當前行進位置的估計過程每隔預定行進距離或每隔預定移動時間被執行一次。
13.一種存儲有程序的計算機可讀存儲介質，所述程序的特徵在於致使在諸如工廠之類環境中行進的移動機器人的計算機執行以下步驟路徑規劃步驟，在該步驟中，基於估計出的當前行進位置對到目的地的行進路徑進行規劃並輸出行進命令；行進控制步驟，在該步驟中，執行行進控制，以便基於所述路徑規劃步驟的行進命令來沿所述行進路徑而行；位置預測步驟，在該步驟中，將由輪子的轉角傳感器檢測到的行進距離累加到所述估計出的當前行進位置中，並預測當前行進位置；預測圖像生成步驟，在該步驟中，基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在成像單元被假設放置在所述位置預測步驟中預測的當前行進位置上和在所述當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成步驟，在該步驟中，從由所述成像單元捕獲的行進方向上的實際圖像中提取出邊緣信息並生成實際邊緣圖像；以及位置估計步驟，在該步驟中，將所述實際邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置作為行進位置，並更新所述路徑規劃步驟和所述位置預測步驟中的行進位置。
14.如權利要求13所述的存儲介質，其特徵在於，在所述位置估計步驟中，計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的相關性，並估計出相關性最大的預測邊緣圖像的候選位置，作為所述行進位置。
15.如權利要求13所述的存儲介質，其特徵在於，在所述位置估計步驟中，計算通過對實際圖像的微分處理生成的實際邊緣圖像與每個預測邊緣圖像之間的重疊像素的數目，並估計出重疊像素數目最多的預測邊緣圖像的候選位置，作為所述行進位置。
16.如權利要求14或15所述的存儲介質，其特徵在於，在所述預測圖像生成步驟中，針對每個所述候選位置改變所述成像步驟的圖像捕獲方向，並生成所述多個預測邊緣圖像。
17.如權利要求13所述的存儲介質，其特徵在於，在所述預測圖像生成步驟中，所述預測邊緣圖像是基於所述成像步驟的照相機參數和所述布局信息的三維坐標生成的。
18.如權利要求13所述的存儲介質，其特徵在於，所述基於所述實際邊緣圖像和所述多個預測邊緣圖像對當前行進位置的估計過程每隔預定行進距離或每隔預定移動時間被執行一次。
全文摘要
本發明公開了一種在諸如工廠之類環境中行進的移動機器人，其包括路徑規劃單元，該單元基於估計出的當前行進位置規劃到目的地的行進路徑，並向行進控制單元輸出行進命令來執行行進控制，以便沿所述行進路徑而行；行進位置預測單元，該單元將由輪轉角傳感器檢測到的行進距離累加到估計出的當前行進位置中，以便預測當前行進位置；預測圖像生成單元，該單元基於所述環境的布局信息生成多個預測邊緣圖像，所述多個預測邊緣圖像由邊緣信息構成，並且是在照相機被假設放置在預測出的當前行進位置上和在當前行進位置附近的候選位置上時捕獲到的；邊緣圖像生成單元，該單元從照相機捕獲的實際圖像中生成實際邊緣圖像；以及位置估計單元，該單元將邊緣圖像與所述多個預測邊緣圖像相比較，估計出相似度最大的預測邊緣圖像的候選位置，並更新路徑規劃單元和行進位置預測單元中的行進位置。
文檔編號B25J5/00GK101078632SQ20061015237
公開日2007年11月28日 申請日期2006年9月28日 優先權日2006年5月26日
發明者沢崎直之 申請人:富士通株式會社