信息處理設備、信息處理方法和程序的製作方法
2023-06-22 15:47:16 1
專利名稱：信息處理設備、信息處理方法和程序的製作方法
技術領域：
本發明涉及一種將測量對象與測量對象的模型進行比較的信息處理設備。
背景技術：
近年來，用於使機器人進行諸如工廠等中所進行的組裝等的任務的需求正日益增大。在這些需求中，在機器人應對位置和姿勢總不恆定的作業對象(工件)的情況下，需要用於測量作業對象的位置和姿勢的單元，並且通常使用視覺傳感器作為該單元。然而，在作業對象的位置/姿勢處於三維不確定的情況下，普通照相機在信息方面不足，因此進行在該設備中添加用於獲取三維信息的傳感器的嘗試。另外，在工廠自動化 (FA)領域，存在以更高精度和更快速度測量作業對象的位置/姿勢的要求，因此三維精確測量技術變得重要。三維測量技術包括光切方法、立體方法和飛行時間(TOF)方法等。光切方法是用於通過利用照相機和狹縫光(slit light)投射器的組合進行三角測量來獲得物體的三維信息的技術。該技術使得用戶能夠容易地獲得與無定形物體有關的三維信息，並且也開始應用於工業機器人。立體方法是用於通過準備兩組以上的照相機並使用根據圖像之間的視差的三角測量的原理來獲得三維信息的技術。TOF方法是飛行時間的縮寫，並且是如下的技術利用來自發光二極體(LED)光源的光照射目標物體，並且利用傳感器(光接收單元)接收其反射光並測量時間，從而測量距離。此外，當利用機器人應對作業對象時，由於通常已知作業對象的數據(維數和計算機輔助設計(CAD)數據)，因而存在用於通過在利用視覺傳感器所獲得的信息和數據之間進行比較和匹配來進行位置測量的方法。為了進行更高精度的位置/姿勢測量，還利用了用於組合使用以下兩種技術的技術上述三維測量技術；以及使用CAD數據等的三維模型擬合。日本特開平09-212643號公報討論了一種使用從測量對象的拍攝圖像所提取的特徵部分在測量對象和測量對象的模型之間進行的三維模型擬合。該三維模型擬合是用於通過將從拍攝圖像所獲取的測量對象的特徵部分與模擬測量對象的三維模型的特徵部分進行匹配來獲取測量對象的位置和/或姿勢的技術。該三維模型擬合廣泛用作用於從拍攝圖像獲得測量對象的位置和/或姿勢的技術。然而，特徵部分之間進行匹配時的三維模型的位置和/或姿勢的可設置範圍寬，因此計算機進行該三維模型擬合通常需要大量計算時間。
發明內容
本發明涉及一種信息處理設備，該信息處理設備可以縮短計算機在將測量對象的位置和/或姿勢與測量對象的模型的位置和/或姿勢進行比較時所使用的計算時間。根據本發明的一個方面，一種信息處理設備，用於使測量對象的位置和/或姿勢與所述測量對象的模型的位置和/或姿勢相匹配，所述信息處理設備包括獲取單元，用於獲取所述測量對象的拍攝圖像；計算單元，用於基於所述拍攝圖像，計算表示所述測量對象的表面形狀的信息；以及限定單元，用於基於表示所述表面形狀的信息，限定所述模型的位置和/或姿勢。通過以下參考附圖對典型實施例的詳細說明，本發明的其它特徵和方面將變得明
Mo
包含在說明書中並構成說明書一部分的附圖示出了本發明的典型實施例、特徵和方面，並與說明書一起用來解釋本發明的原理。圖1示出根據本發明第一典型實施例的信息處理設備的結構。圖2示出與圖1所示的設備的各個組件相對應的第一典型實施例中的功能結構圖。圖3示出第一典型實施例中的處理流程。圖4示出在正進行測量對象的三維測量時的場景。圖5示出參數空間限定的場景。圖6示出第一典型實施例中要定義的坐標系。圖7示出基於邊緣的三維模型擬合的場景。圖8示出用於利用線段的信息來計算三維模型的位置/姿勢參數的方法。圖9示出根據本發明第二典型實施例的信息處理設備的結構。圖10示出本發明第三典型實施例中的處理流程。圖11示出在第三典型實施例中無法進行充分參數約束的情況。圖12示出根據本發明第四典型實施例的信息處理設備的結構。圖13示出第四典型實施例中的處理流程。圖14示出根據第四典型實施例的信息處理設備的結構。圖15示出第四典型實施例中的照射位置/姿勢設置步驟的處理流程。圖16示出根據本發明第五典型實施例的信息處理設備的結構。圖17示出第五典型實施例中的處理流程。圖18示出本發明第六典型實施例中的三維模型和照射曲面。圖19示出根據本發明第七典型實施例的信息處理設備的功能結構。圖20示出根據本發明第七典型實施例的信息處理設備的結構。圖21示出第七典型實施例中的用於計算測量對象面的方法。
具體實施例方式下面將參考附圖詳細說明本發明的各種典型實施例、特徵和方面。圖1示出根據本發明第一典型實施例的信息處理設備的結構。狹縫雷射投射器10利用作為圖案光(pattern light)的雷射投射狹縫光束。將光掃描部11配置在狹縫雷射投射器10的前面。光掃描部11包括可移動式檢電鏡或多稜鏡，並且設計成根據來自外部的控制命令改變雷射狹縫光的光投射角度。照相機20能夠拍攝預定作業區域的圖像。獲得利用照相機20所獲得的拍攝圖像作為利用眾所周知的校準技術消除了鏡頭像差的圖像。測量對象30被配置在預定作業區域中，並且成為照相機20的攝像對象。測量對象30例如是工廠內的機器人的作業對象，並且為了利用機器人進行作業，需要計算測量對象30的位置/姿勢。計算機40與光掃描部11和照相機20連接，並且進行各種控制操作和圖像處理。 計算機40具有與通用計算機相同的結構，包括中央處理單元(CPU)、諸如隨機存取存儲器 (RAM)等的臨時存儲單元和諸如ROM(只讀存儲器)等的存儲單元。在存儲單元中，存儲有包括用於控制光掃描部11的掃描控制程序、用於控制照相機20的攝像的攝像控制程序以及用於對照相機20所獲取的拍攝圖像進行圖像處理的圖像處理程序的電腦程式。圖像處理程序包括用於從拍攝圖像檢測圖案光的校準程序、用於計算測量對象30的位置和/或姿勢的三維模型、以及用於限定三維模型的可移動範圍的限定程序。此外，將照相機20所獲取的拍攝圖像等存儲在臨時存儲單元中。當操作該信息處理設備時，狹縫雷射投射器10將狹縫光100投射至測量對象30 上，並且如果測量對象30位於狹縫光100的光投射方向上，則在測量對象30的表面上生成光切線101。照相機20在計算機40的控制下拍攝測量對象30的圖像，並且計算機40使用拍攝圖像中的光切線101來計算測量對象30的位置和/或姿勢。圖2是與圖1所示的設備的各個組件相對應的本典型實施例中的功能結構圖。下面將參考圖2說明本典型實施例中的功能結構。光投射單元AlOO將圖案光投射至測量對象30上。光投射單元AlOO對應於狹縫光投射器10。攝像單元A200獲取測量對象30的圖像數據，並且與光投射單元AlOO相互獨立或相結合地進行安裝。攝像單元A200對應於照相機20。計算單元A300進行各種計算，並且控制光投射單元AlOO和攝像單元A200。計算單元A300對應於計算機40。計算單元A300包括如下多個單元。作為計算單元A300的結構的一部分的測量控制單元A350用作用於控制光投射單元AlOO的光投射方向和光投射強度等的光投射控制單元，並且用作用於控制攝像單元 A200的攝像操作的攝像控制單元。作為計算單元A300的結構的一部分的圖像數據存儲單元A301用作用於從攝像單元A200獲取拍攝圖像的獲取單元，並且用作用於將拍攝圖像作為數據進行存儲的存儲單兀。作為計算單元A300的結構的一部分的校準值計算單元A310從存儲在圖像數據存儲單元A301中的拍攝圖像提取圖案光的區域(光切線101)。作為計算單元A300的結構的一部分的校準值存儲單元A302用作用於存儲與通過校準值計算單元A310所計算出的圖案光的區域有關的信息的存儲單元。作為計算單元A300的結構的一部分的三維測量值計算單元A320使用存儲在校準值存儲單元A302中的圖案光的區域，計算圖案光的坐標(光切線上的各個亮點位置的坐標值)。此外，三維測量值計算單元A320用作用於使用三維測量值來計算表示測量對象30的表面形狀的信息(例如，平面方程)的計算單元。作為計算單元A300的結構的一部分的三維模型數據存儲單元A303用作用於存儲計算測量對象30的位置和/或姿勢所要使用的測量對象30的三維模型數據的存儲單元。 三維模型數據包括諸如計算機圖形等的數據，並且可以通過進行與測量對象30的三維模型擬合，來判斷測量對象30的位置和/或姿勢。
6
作為計算單元A300的結構的一部分的對象位置/姿勢計算單元A340用作用於通過使用三維模型數據進行三維模型擬合來計算測量對象30的位置和/或姿勢的位置/姿勢計算單元。作為計算單元A300的結構的一部分的參數空間限定單元A330用作用於使用表示測量對象30的表面形狀的信息來限定進行三維模型擬合時的三維模型的可移動範圍的限定單元。接著將參考圖3中的處理流程來說明本典型實施例中的信息處理設備的處理流程。步驟SlOO是信息處理設備的處理的開始步驟。步驟SllO是圖像數據獲取步驟， 在該步驟中，光投射單元AlOO將圖案光投射至測量對象30上，並且攝像單元A200獲取測量對象30的拍攝圖像。測量控制單元A350通過向光投射單元AlOO和攝像單元A200發送控制信號來進行如上所述的本步驟的處理。將攝像單元A200所獲取的拍攝圖像的數據發送並存儲至圖像數據存儲單元A301。步驟S120是三維測量步驟，用於從存儲在圖像數據存儲單元A301中的拍攝圖像提取圖案光的區域，並且根據所提取的圖案光的區域來計算光切線上的各個亮點的坐標值。通過校準值計算單元A310和三維測量值計算單元A320進行如上所述的本步驟的處理。步驟S130是測量對象面估計步驟，用於使用步驟S120所計算出的坐標值來確定表示被圖案光照射的測量對象的表面形狀的信息(平面方程或者曲面方程)。更具體地，測量對象面估計步驟用於對三維測量步驟S120所獲得的三維信息進行聚類或分割，並且估計被照射的測量對象30的表面部分的平面方程(法線矢量和照射平面)。通過使用三維測量步驟S120所獲得的三維信息相互比較相鄰信息並進行擴展處理，可以實現聚類和分割用的方法，或者通過對圖像數據獲取步驟SllO所獲得的圖像預先進行聚類，也可以實現聚類和分割用的方法。具體地，通過哈弗(Hough)變換等進行直線檢測，並且預先檢測具有相同斜率或亮度梯度的光切線或者光切線上的亮點位置。然後，通過僅使用屬於相同類的光切線上的亮點位置，使用最小二乘法等來估計平面方程。在圖5的情況下，測量對象面102 變成光切線101以及測量對象的邊緣從已獲得的估計平面所切割出的範圍。通過三維測量值計算單元A320進行如上所述的本步驟的處理。步驟S140是參數空間限定步驟，用於使用步驟S130所計算出的表示表面形狀的信息，來限定對象位置/姿勢計算單元A340進行三維模型擬合時的三維模型的可移動範圍。更具體地，在世界坐標上形成測量對象面估計步驟S130所獲得的平面，並且改變存儲在三維模型數據存儲單元A303中的三維模型的位置/姿勢。然後，繪製使得該平面和三維模型的平面相互匹配的三維模型的位置/姿勢，作為參數空間內的參數搜索範圍(約束條件)(參考圖5)。通過使與三維模型上的照射部分相對應的表面匹配於照射表面，並且利用平面約束改變三維模型的位置，來計算照射平面的輪廓線(光切線)上的點存在於與三維模型相匹配的表面內的範圍。通常，基於六個自由度來確定三維模型的位置/姿勢。然而，在根據本步驟將三維模型的移動範圍限定在平面上的情況下，變成可以基於三個自由度來確定該移動範圍，這三個自由度包括平面上的兩個方向的平行移動以及轉動。也就是說，根據本步驟，通過限定三維模型的可移動範圍，可以明顯縮短計算機在進行三維模型擬合時所使用的計算時間。通過參數空間限定單元A330進行如上所述的本步驟的處理。步驟S150是對象位置/姿勢計算步驟，用於基於存儲在三維模型數據存儲單元 A303中的三維模型數據來進行三維模型擬合。更具體地，對象位置/姿勢計算步驟用於在參數空間限定步驟S140所獲得的參數空間中進行最優化計算(為使得位置/姿勢參數的均方誤差變成最小所進行的參數提取)，並且計算最終的三維模型的位置/姿勢參數。在參數空間限定步驟S140所獲得的參數空間內存在多個搜索範圍的情況下，在所有部分空間中都進行最優化計算。然後，最終將圖像坐標上的三維模型和被投射至圖像的測量對象的位置/姿勢參數之間的誤差中最小的誤差假定為正解值。在圖5的情況下，由於三維模型受到通過測量對象面估計步驟S130所獲得的平面的平面約束，因而按照如下求出平面約束下的圖像雅克比矩陣(Jacobian)。在限定的參數空間內選擇三維模型的位置/姿勢參數各自的初始值。通過對象位置/姿勢計算單元A340進行如上所述的本步驟的處理。步驟S160是信息處理設備的處理的終止步驟。接著說明本典型實施例中的校準方法。假定通過經由投影矩陣α的坐標變換將世界坐標系中的任意點X= [Χ，Υ，Ζ]Τ變換成標準化圖像坐標系上的點χ = [X，Y，Ζ]τ。此時，按照如下表示圖像坐標系中的X的相應點 U = [U, ν]τ。[數學式1]
1 _ 1「 =-Χ = _ Λ
ζ ζ(1)其中，u'和X'是假定u和X的比例因子為1的齊次坐標，並且各自表示為U' =[u，v，l]T、X' = [X，Y，Z，1]T。投影矩陣α是3X4矩陣，並且可以通過拍攝世界坐標已知的六個以上點並測量這些點的投影位置，根據作為線性方程的方程(1)來確定投影矩陣 α ο此外，可以通過將狹縫光照射至預先已知世界坐標系中的坐標值的夾具上、在圖像上測量其照射位置、並且使用投影矩陣α計算三維位置，來確定狹縫光平面的方程。在本典型實施例中，由於設計成通過光掃描部11改變狹縫光的照射角度，因而需要在各照射角度確定狹縫光平面的方程。利用K個光切線實現一次掃描，並且假定用於獲得第k個光切線的從光掃描部11的原點位置開始的狹縫光照射角度為Φ 。K和Φ1 ΦΚ是預先定義的固定值，並且假定在校準時和在實際作業時使用相同的值。按照如下表示狹縫光平面的方程。[數學式2]AkX+BkY+CkZ+Dk = 0 (k=l，2，...，K)(2)在實際三維測量中，通過利用狹縫光束照射測量對象，在圖像坐標上獲得第k個光切線。根據光切線上的亮點位置U" = [u"，V"，1]τ，按照如下表示世界坐標系中的光切線上的亮點位置X' i=[X' i，Y' i，Z' i，l]T。[數學式3]X' i = Z(CItCI)W(3)通過將方程( 代入相應方程(3)的狹縫光平面方程中，可以確定出世界坐標系中的照射位置X' i。
接著，以下將說明本典型實施例中的三維模型擬合的具體處理。首先，如圖6所示定義坐標系。坐標系包括三維模型坐標系70、假定約束平面為XY平面並且平面的法線矢量為Z軸的平面坐標系71、世界坐標系72、以及照相機坐標系73。儘管圖6沒有示出，但是還存在圖像坐標系。三維空間中的任意平面可以通過與該平面垂直的矢量(法線矢量)和從世界坐標系的原點到該平面的帶符號的距離進行定義。根據長度1標準化的法線矢量的自由度為2， 並且帶符號的距離的自由度為1，基於三個自由度來表示該平面。在該處理中，相對於世界坐標軸來定義平面的法線矢量。世界坐標系是圍繞世界坐標系的y軸而轉動的θ，並且是圍繞轉動之後的世界坐標軸的χ軸而轉動的φ。假定平面的法線矢量是此時的轉動之後的ζ軸，表示平面的姿勢的轉動矩陣Rwp如方程(4)那樣進行表不。[數學式4]
權利要求
1.一種信息處理設備，用於使測量對象的位置和/或姿勢與所述測量對象的模型的位置和/或姿勢相匹配，所述信息處理設備包括獲取單元，用於獲取所述測量對象的拍攝圖像；計算單元，用於基於所述拍攝圖像，計算表示所述測量對象的表面形狀的信息；以及限定單元，用於基於表示所述表面形狀的信息，限定所述模型的位置和/或姿勢。
2.根據權利要求1所述的信息處理設備，其特徵在於，還包括光投射控制單元，所述光投射控制單元用於使光投射單元將圖案光投射至所述測量對象上，其中，所述計算單元從所述拍攝圖像中提取所述圖案光的區域，並且基於所提取出的圖案光的區域和所述光投射單元的投射方向，計算表示所述表面形狀的信息。
3.根據權利要求2所述的信息處理設備，其特徵在於，所述光投射控制單元使所述光投射單元從第一方向投射第一圖案光，並且從不同於所述第一方向的第二方向投射第二圖案光，所述獲取單元獲取利用所述第一圖案光所拍攝的第一拍攝圖像和利用所述第二圖案光所拍攝的第二拍攝圖像，所述計算單元從所述第一拍攝圖像中提取所述第一圖案光的區域，基於所提取出的第一圖案光的區域和所述第一方向來計算表示所述測量對象的第一表面形狀的信息，從所述第二拍攝圖像中提取所述第二圖案光的區域，並且基於所提取出的第二圖案光的區域和所述第二方向來計算表示所述測量對象的第二表面形狀的信息，以及所述限定單元基於表示所述第一表面形狀的信息和表示所述第二表面形狀的信息，限定對所述模型的位置和/或姿勢的設置。
4.根據權利要求2所述的信息處理設備，其特徵在於，由所述光投射單元所投射的圖案光是多狹縫照明光。
5.根據權利要求1所述的信息處理設備，其特徵在於，還包括位置/姿勢計算單元，所述位置/姿勢計算單元用於通過使所述測量對象的位置和/或姿勢與所述模型的位置和/ 或姿勢相匹配來計算所述測量對象的位置和/或姿勢。
6.根據權利要求1所述的信息處理設備，其特徵在於，表示所述表面形狀的信息是表示所述測量對象的表面的平面方程，以及所述限定單元將所述模型的位置和/或姿勢限定至使所述模型在由所述平面方程所表示的平面上轉動和/或平行移動時的可移動範圍。
7.根據權利要求1所述的信息處理設備，其特徵在於，表示所述表面形狀的信息是表示所述測量對象的表面的曲面方程。
8.根據權利要求1所述的信息處理設備，其特徵在於，所述拍攝圖像是由立體照相機所拍攝的立體拍攝圖像，以及所述計算單元基於所述立體拍攝圖像和所述立體照相機的視差，計算表示所述測量對象的表面形狀的信息。
9.一種信息處理方法，用於使測量對象的位置和/或姿勢與所述測量對象的模型的位置和/或姿勢相匹配，所述信息處理方法包括以下步驟獲取所述測量對象的拍攝圖像；基於所述拍攝圖像，計算表示所述測量對象的表面形狀的信息；以及基於表示所述表面形狀的信息，限定所述模型的位置和/或姿勢。
10.一種用於使計算機用作信息處理設備的電腦程式，所述信息處理設備用於使測量對象的位置和/或姿勢與所述測量對象的模型的位置和/或姿勢相匹配，所述信息處理設備包括獲取單元，用於獲取所述測量對象的拍攝圖像；計算單元，用於基於所述拍攝圖像，計算表示所述測量對象的表面形狀的信息；以及限定單元，用於基於表示所述表面形狀的信息，限定所述模型的位置和/或姿勢。
11.一種信息處理設備，包括獲取單元，用於獲取測量對象的拍攝圖像； 解析度降低單元，用於降低所述拍攝圖像的解析度；以及光投射控制單元，用於基於解析度降低的拍攝圖像，使光投射單元將圖案光投射至所述測量對象上。
全文摘要
一種信息處理設備，用於使測量對象的位置和/或姿勢與所述測量對象的模型的位置和/或姿勢相匹配，所述信息處理設備包括獲取單元，用於獲取所述測量對象的拍攝圖像；計算單元，用於基於所述拍攝圖像，計算表示所述測量對象的表面形狀的信息；以及限定單元，用於基於表示所述表面形狀的信息，限定所述模型的位置和/或姿勢。
文檔編號G01B11/24GK102460065SQ201080028670
公開日2012年5月16日 申請日期2010年6月21日 優先權日2009年6月25日
發明者猿田貴之, 真繼優和, 青葉雅人 申請人:佳能株式會社