裝卸用起重機中的貨櫃位置檢測方法及裝置、及貨櫃著地、摞放控制方法
2023-10-05 20:51:54 2
專利名稱：裝卸用起重機中的貨櫃位置檢測方法及裝置、及貨櫃著地、摞放控制方法
技術領域：
本發明涉及一種裝卸用起重機中的貨櫃位置檢測方法及裝置，特別涉及一種將吊具本身、或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃上、或將吊具把持著的貨櫃摞放在地上的指定位置的裝卸用起重機中的貨櫃位置檢測方法及裝置、及貨櫃著地、摞放控制方法。
背景技術：
為了用貨櫃堆放場用橋式起重機那樣的裝卸用起重機抓住摞放在地上的貨櫃而在將吊具(一般稱為撒播器(スプレツダ-))著落於貨櫃上時、或摞放貨櫃時(包括將貨櫃摞放在地上的指定位置的情況)、需要將吊具或被吊具把持的貨櫃相對於摞放在地上的貨櫃或相對於地上的指定位置以規定的角度定位。特別是在摞放貨櫃時，需要使上下的貨櫃沒有水平錯位地進行摞放。
為了進行這樣的運轉，必須檢測所要摞放貨櫃的地上的指定位置、或成為作為吊具所要抓持的對象的、或被吊具所抓著的貨櫃摞放在其上的對象的地上的貨櫃(在以下的說明中，將上述的地上的指定位置、及作為抓取對象、或摞放對象的地上的貨櫃稱為「對象貨櫃」)與吊具或吊具把持的貨櫃(在以下的說明中稱為懸吊貨櫃)的相對位置，並且使相對位置沒有偏移地進行控制。
另外，以下的說明，只要不作特別的說明，是將吊具所把持的貨櫃摞放在摞放於地上的貨櫃上的運轉作為對象進行的，當然，也在使吊具著落於摞放在地上的貨櫃上的運轉、或將被吊具把持著的貨櫃摞放在地上的指定位置的運轉中可以使用同樣的技術。在以下說明中，關於懸吊貨櫃的邊緣檢測的說明只要沒有特別的說明也適用於吊具本身邊緣的檢測，另外，關於對象貨櫃的邊緣的檢測，只要沒有特別的說明，也適用於設置在地上使第一層的摞放變容易的目標標記的邊緣的檢測。
在裝卸用起重機中，作為檢測對象貨櫃的位置的現有技術，如日本特開平5-170391號公報(發明專利公報第2831190號)所示出的那樣，為人所知的有由安裝在吊具上的超音波式等的水平距離檢測器檢測吊具與貨櫃側面之間的距離，由其檢測值檢測出對象貨櫃的位置、及由安裝在吊具上的CCD攝像機等的攝像裝置拍攝吊具下方，由其圖像數據用圖像處理技術找出對象貨櫃的邊緣，由此檢測出對象貨櫃的位置的技術等。
另外，在歐洲專利公報0440915A1中公開了一種技術，該技術是由朝下地安裝在吊具上的CCD攝像機那樣的攝像裝置拍攝與吊具連接的對象物的角部，從圖像處理技術檢測出吊具與對象貨櫃的相對位置，由根據其的吊具的位置控制自動地進行貨櫃相對於吊具連接時的定置。
在由水平距離檢測器檢測吊具與貨櫃側面之間的距離的技術中，存在水平距離檢測器與貨櫃幹涉的問題，當在對象貨櫃和懸吊貨櫃的水平錯位量大的階段要使水平距離檢測器位於檢測位置時，有水平距離檢測器與對象貨櫃衝撞的危險，在實際中難以實用化。
在由CCD攝像機等的攝像裝置拍攝吊具下方，從其圖像數據由圖像處理技術找出對象貨櫃的邊緣的技術，雖然沒有幹涉、衝撞的危險，但是，在實際的起重機運轉環境中，對於處理由CCD攝像機等拍攝的圖像數據沒有誤差地找出對象貨櫃也存在問題。在實際的運轉環境中，除了天氣氣候條件的變化、太陽光強度的變化、起重機自身、懸吊貨櫃、或相鄰的摞放貨櫃等所產生的陰影等的影響之外，還有貨櫃噴漆的斑、貨櫃表面的反射率的不同等帶來影響，若不排除這些影響則不能實現實用的對象貨櫃的找出。
發明內容
因此，本發明的目的是提供一種裝卸用起重機中的貨櫃位置檢測方法、及使用於實施其方法的貨櫃位置檢測裝置、或貨櫃著地、摞放控制方法，該裝卸用起重機中的貨櫃位置檢測方法、及使用於其方法實施的貨櫃位置檢測裝置、或貨櫃著地、摞放控制方法，解除了對於上述的CCD攝像機等的攝像裝置的圖像數據處理所進行的對象貨櫃的邊緣抽出中，由於實際運轉下的環境條件、對象貨櫃的條件等的影響而產生的問題，可以通過排除實際運轉環境中的各種狀態、條件的影響而可靠性高、確實地進行由設在吊具上的CCD攝像機等的攝影裝置獲得的圖像數據的處理所進行的對象貨櫃的邊緣抽出，由此，高精度、確實地進行對象貨櫃和懸吊貨櫃的相對位置的檢測，由此推進裝卸用起重機的自動運轉化。
實現上述目的的技術方案的基本著眼點是(1)檢測對象的形狀是長方形，(2)從上方看對象貨櫃或表示貨櫃摞放場所的目標位置的標記的形狀(長方形)的各邊與懸吊貨櫃的所對應的各邊被在此未詳述的其它方法使之保持相互基本平行，(3)懸吊貨櫃和對象貨櫃的大致相對高度由其它的檢測裝置已知，(4)對象貨櫃和懸吊貨櫃的水平距離由後述的方法保持在規定的範圍中。
所謂上述(1)的利用對象貨櫃是長方體，指的是，在通過處理從設置在吊具上的CCD等攝像裝置獲得的對象貨櫃的圖像數據可將近似的直線與產生預先設定的值以上的亮度變化、或色像變化的像素群的配置吻合時，構成以那樣的直線可近似的配置的像素群作為該貨櫃的稜線、即表示貨櫃的邊緣的信息來檢測對象貨櫃的位置。但是，由於對象貨櫃本身的色斑、鏽跡、周邊的影響等，在貨櫃的邊緣以外的部分也產生亮度變化，上述那樣地抽出的直線多大都不能定為一條。
從作為表示邊緣的候補的多根直線確定對象貨櫃的邊緣，是利用上述(2)、(3)及(4)或它們其中的任何一個。即、同時可拍攝對象貨櫃和懸吊貨櫃地配置設置在吊具上的CCD攝像機等的攝像裝置。這樣，可以相互對應地比較表示由上述圖像處理得到的與懸吊貨櫃邊的對應的邊緣的直線和表示相當於對象貨櫃對應的邊的邊緣的直線。
當使表示對象貨櫃的邊緣的直線和表示懸吊貨櫃的對應的邊緣的直線相對應時，兩者處於基本平行的位置關係。另外，由於用其它的手段檢測出懸吊貨櫃和對象貨櫃的大致相對高度，因此可以從由設置在吊具上的CCD等的攝像裝置獲得的圖像數據平面上的對象貨櫃的邊緣候補直線與懸吊貨櫃的相對應的邊緣直線間的關係求得兩者間的實際的水平距離的概略值。如前所述，由於懸吊貨櫃相對於對象貨櫃被定位在預先設定的水平距離的範圍內，因此對於從圖像數據求得的上述概略的水平距離，只有判定為預先設定的值的範圍內的候補直線才是表示對象貨櫃邊緣的直線。
在使用上述的解決手段時，最初進行表示懸吊貨櫃的一邊的直線的抽出。懸吊貨櫃被吊具把持著，它與設置在吊具上的CCD等的攝像裝置的相對位置關係不變化。因此，在該懸吊貨櫃移動到目標位置附近之前的期間，對於從CCD等的攝像裝置獲得的圖像數據，調查像素的亮度變化，反覆進行相對於產生預先設定的值以上的亮度變化的像素群的配置的近似直線的重合處理，在使直線經常地重合在圖像數據平面內的相同位置時，將其直線作為懸吊貨櫃的邊緣。在此，所謂圖像數據平面，指的是二維地分布由CCD等的攝像裝置獲得的圖像數據的面。各像素的位置由設定在圖像數據平面上的二維坐標定義。
在使吊具著落於對象貨櫃上時，需要檢測吊具與對象貨櫃的相對位置，需要與對上述懸吊貨櫃進行說明的同樣地檢測吊具自身的位置。在實際中，以可同時地拍攝吊具和對象貨櫃的方式將攝像裝置配置在吊具上是困難的，但是，由於在吊具上配置攝像裝置是已知的技術，因此可以相對從攝像裝置獲得的圖像數據的平面假想地設定表示吊具的邊緣的直線位置，通過與懸吊貨櫃的邊緣線進行比較，可以由與檢測對象貨櫃邊緣線的同樣的方法進行相對於吊具的對象貨櫃邊緣的檢測。
在由圖像數據處理進行對象貨櫃的邊緣檢測時，在與表示上述的懸吊貨櫃的邊緣的圖像數據平面內的直線並行的、具有相當於懸吊貨櫃與對象貨櫃之間的預先設定的水平距離範圍寬度的帶狀圖像數據平面的區域調查各像素的亮度或色相的變化。進行近似產生超過預先設定的值的亮度變化的像素群的配置的直線的重合。作為充當這些像素群的排列的近似的直線是成為表示對象貨櫃的邊緣的候補的直線。
由於對象貨櫃的塗漆的反射率變化、相鄰的起重機的陰影等，作為上述處理結果有時檢測出多條直線。因此，校驗作為邊緣的候補被檢測出的各直線與表示懸吊貨櫃的邊的直線的平行度，抽出基本平行的直線，根據上述的平行度校對結果檢測出多條候補直線時，再將其中的最長的直線作為對象貨櫃的邊緣加以確定。
在將貨櫃摞放在地上時，將具有與檢測出貨櫃位置時同樣效果的形狀、標記設置在摞放位置，通過用同樣的方法檢測出它們的形狀或標記可以實現其目的。
另外，通過相互比較參照從由分別配置在吊具的同一邊的兩端部的兩臺攝像裝置拍攝吊具下方的圖像數據獲得的各對象貨櫃的邊緣候補直線，可以確實地檢測出對象貨櫃的邊緣。該兩臺攝像裝置在吊具上的配置是相對於安裝它們的一邊的中點使兩者處於基本對稱的位置關係的配置。由這樣地配置的兩臺攝像裝置拍攝吊具下方，進行各圖像數據中的上述亮度或色相變化校驗及檢測出邊緣候補直線。當比較分別檢測出的候補直線之間選擇形成幾乎一條直線的候補直線時，這就檢測出對象貨櫃的相同的邊，可以進行比只由一臺攝像裝置進行檢測時精度更高的檢測。
在該發明的貨櫃位置檢測方法中，在由上述兩臺攝像裝置的圖像數據分別抽出對象貨櫃的邊緣時，在根據從一方攝像裝置獲得的圖像數據不能確定對象貨櫃的設置著該攝像裝置的一側的邊緣線時，可以參照另一方的攝像裝置的圖像數據中的對象貨櫃的邊緣位置的檢測結果將與其邊緣線的延長線接近的線作為不能確定邊緣的一側的邊緣線。
在實施上述的方法時，CCD等攝像裝置從形成吊具的外周的構造突出地設置，在吊具把持著貨櫃時也需要以使吊具不會遮攔攝像裝置的視野、可確實地捕捉對象貨櫃的像的方式配置CCD等攝像裝置。
另外，在由於吊具所把持的貨櫃的負荷分布不均等等的理由而使吊具傾斜、其結果攝像裝置的視野中心方向傾斜的情況下，吊具與對象貨櫃的相對位置檢測量產生誤差。為了補正吊具傾斜的影響，在吊具上設置傾斜檢測裝置，由其檢測值補正相對位置檢測值。作為檢測吊具的傾斜的其它的方法，也可檢測起重鋼纜的張力，利用張力差與傾斜基本處於正比例關係來進行該補正。
為了進行貨櫃的裝卸，需要對對象貨櫃的長邊方向和短邊方向檢測與被吊具把持著的貨櫃的相對位置。在這時，只要將由上述的攝像裝置獲得的圖像數據處理方法分別應用於長邊方向和短邊方向即可。但是，這些裝置必須是兩套，存在經濟性上的問題。
如上所述，由從攝像裝置獲得的圖象數據的處理作為表示長或短邊方向的邊緣的位置而檢測出的直線是基本處於其線上的、其處的亮度或色相的變化基本相等的像素群所構成的線或其延長。因此，在將該直線作為表示長邊方向的邊緣位置的線檢測出時，在超過了對象貨櫃的長邊方向的貨櫃端部的該直線的範圍中，具有與相當於對象貨櫃的邊緣的範圍同樣的亮度或色相變化的像素的分布密度極低。這樣的像素分布密度急劇地變化的該直線上的點是表示對象貨櫃的長邊方向端部的位置。
由於對象貨櫃形狀是長方體，若其長邊方向的端部位置被決定，則可以從該點用與表示上述長邊方向的邊緣位置的直線正交的直線作為短邊側的邊緣加以確定。同樣的方法也可以應用於對短邊側檢測出邊緣位置，利用其結果檢測出長邊方向的邊緣位置的情況。即，由於可以由長邊或短邊方向的任何一個邊緣的檢測進行另一方的邊緣的檢測，可以節約攝像裝置等的設備。
以下，對以上所說明了的利用了由設在吊具上的攝像裝置所獲得的圖像數據的處理檢測出吊具或被吊具把持著的貨櫃與對象貨櫃的相對位置的方法及裝置的裝卸用起重機的自動控制進行說明。該控制也包括上述的將懸吊貨櫃和對象貨櫃的水平距離保持在預先設定的範圍中的功能。
裝卸起重機中的自動控制是，在第一目標位置用吊具抓住摞放在地上的貨櫃，將該貨櫃移動到第二目標位置，在允許的位置偏移內摞放到處於第二目標位置的摞放在地上的其它的貨櫃上。另外，第一目標位置中的貨櫃有時處於拖車等的車箱等上，另外，第二位置的貨櫃摞放位置也有時是地上或拖車等的車箱上。
第二目標位置處的貨櫃的摞放位置在是地上或拖車等的車箱上時，在地上或車箱等的周邊施加具有與後述的進行與對象貨櫃的相對位置檢測時類似的效果的形狀或記號。
位於地上的對象貨櫃的位置以從地上的基準點距離被給予。另外，在裝卸用起重機中，懸吊負荷的位置作為從設定在起重機體上的基準點的距離被檢測出。在這種情況下，為了進行自動控制需要將相對於其中起重機上的基準點被檢測的懸吊負荷的位置變換為相對於地上的基準點的位置數據。該變換是首先通常相對上述地上的基準上點來檢測出起重機的腿部的位置，在其上加上從腿部到上述起重機的基準點的位置的偏移及從該基準點到作為懸吊負荷的支承點的吊車的位置偏移來進行。
最終，再需要加上以吊車作為基準的懸吊負荷的位置偏移。由於在這樣的變換結果中加上起重機腿部相對於地上基準點的位置等的與上述的變換有關的全部的計測值的誤差，因此，需要極高精度的計測，還需要補正起重機的構造變形等的影響。特別是，在無軌起重機中，難以進行起重機腿位置相對地上基準點的位置的高精度計測，而且，也難以進行對於行走車輪的變形的補正，在實施自動運轉上有問題。將從起重機上的基準點檢測到的懸吊負荷的位置變換為相對於地上的基準點的位置為基礎的自動控制稱為絕對位置控制。
在利用檢測吊具或懸吊貨櫃與對象貨櫃的相對位置的上述檢測方法時，沒有絕對位置控制那樣的困難，可以容易地實現自動化，需要高度精度的位置檢測、位置控制雖然是最終吊具或懸吊貨櫃著落於對象貨櫃上進行摞放時，但是，本發明所涉及的相對位置檢測方法，與地上基準點沒有關係，可以直接地檢測出吊具或懸吊貨櫃相對於對象貨櫃的相對位置，通過以消除相對位置的偏移的方式控制吊車等的位置，可以自動地進行著地、摞放。將以使相對位置檢測和相對位置偏移為零為基礎的控制方法稱為相對位置控制模式。
另外，上述相對位置檢測在吊具或被吊具把持的貨櫃與對象貨櫃在水平方向上相互位於適當的範圍內時可以進行。為了以使吊具或被吊具把持的貨櫃與對象貨櫃都在水平方向上相互位於適當的範圍內的方式進行控制，需要進行與上述的絕對位置控制類似的控制。即為了與作為自地上的基準點起的距離被給予的對象貨櫃的位置重合，需要控制為將起重機腿位置、吊車位置、吊具位置等的起重機的各部位置到達被決定的位置。但是，在利用相對位置檢測的控制中，相對於以地上的基準點被給予的對象貨櫃位置的定位控制只要求達到上述的相對位置檢測可以發揮功能的程度的範圍，用低精度的控制就足夠。將吊具定位在上述的相對位置檢測可以進行的位置關係的範圍中的控制稱作絕對位置控制模式。
如以上的敘述可知的那樣，組合相對位置模式和絕對位置模式，將吊具和懸吊貨櫃從對象貨櫃的位置離開著的(相對位置檢測不能發揮作用的範圍)期間，在接近了在將絕對位置控制模式接近了(相對位置檢測起作用的範圍)後，通過自動地切換為相對位置控制模式，不需要起重機腿部位置、吊車位置、相對於吊車的懸吊負荷位置等的高精度的位置檢測、定位控制，而且可以實現不受起重機基體變形等的影響控制。這樣的控制在難以進行相對於地上基準點的起重機腿的位置的檢測、定位、而且起動機構造、行走輪胎車輪的變形大的無軌起重機中效果特別顯著。
在將被吊具把持著的貨櫃放置在貨櫃放置場地上的第一層的情況下，不能使用由已經摞放著的貨櫃的邊緣的抽出檢測相對位置偏移的上述的方法。作為解決該問題的手段，在作為地上的貨櫃摞放位置的長方形的區域的周邊在該長方形的外部在設置在吊具上的攝影裝置可以進行攝像的範圍中與該長方形的一邊或多邊平行地施加地上的表面亮度或色彩不同的帶狀著色(包括粘接帶、塗漆)，由此以與檢測摞放著的貨櫃的邊緣相同的方法可以檢測懸吊貨櫃與地上的摞放區域的相對位置。另外，通過將帶有直線稜的物體配置在同樣的位置來代替在地上著色也可以獲得同樣的效果。
在此，將具有在上述的貨櫃放置場所地上施加的帶狀的著色或具有稜的物體稱作目標位置記號。目標位置記號相對貨櫃放置場地上的規定貨櫃摞放位置具有預先決定的水平方向位置關係。因此，使用本發明的貨櫃位置檢測方法檢測被吊具把持的貨櫃相對於對象貨櫃或目標位置記號的上述水平方向相對位置關係的偏差，在該偏差小於允許值時，通過吊具把持的貨櫃坐落在對象貨櫃上的或地上的規定位置，可以進行自動地使吊具把持的貨櫃坐落在地上的規定位置等的控制。另外，在進行兩層以上的摞放時，將懸吊貨櫃和上述目標位置記號的相對位置關係的檢測量代替懸吊貨櫃和對象貨櫃的相對位置檢測進行使用或並用它們可進行自動地進行摞放的控制。
在用手動運轉摞放被吊具把持的貨櫃時，也可以將相對位置的檢測結果顯示在顯示裝置上，作為運轉操作的援助手段。在進行手動運轉時有時不能目視被吊具把持的貨櫃和對象貨櫃的位置關係，增加了運轉操作性的困難性，有時帶來作業效率的降低。通過將上述的相對位置檢測結果表示在配置於駕駛室等的駕駛員容易利用的場所，進行使所表示的相對位置偏移消除的運轉操作，可以解決由視野的制約所產生的運轉操作的困難性，可以改善作業效率。
以上所述的懸吊貨櫃和對象貨櫃間的相對位置檢測方法也可以使用於防止懸吊貨櫃或吊具向與對象貨櫃相鄰的貨櫃摞放的衝撞。即，在與對象貨櫃的相對位置檢測中，通過將設定的帶狀圖像數據校對範圍設定在設定於相鄰的貨櫃存在範圍中，可以由與以上所述的相同的圖像處理檢測出相對於相鄰貨櫃的相對位置、可以進行使吊具或懸吊貨櫃不與相鄰貨櫃衝撞的控制。
圖1是表示使用本發明的貨櫃位置檢測裝置的起重機的整體構成的立體圖。
圖2是表示該發明的貨櫃位置檢測裝置的一實施例的框圖。
圖3是在本發明的貨櫃位置檢測中，從圖像數據檢測出對象貨櫃的邊緣線的候補的處理流程的說明圖。
圖4是本發明中的、從邊緣候補線群選擇確定對象貨櫃的邊緣線的處理中的、校驗與懸吊貨櫃的邊緣線的平行度所進行的處理流程的說明圖。
圖5是本發明中的、從邊緣候補線群選擇確定對象貨櫃的邊緣線的處理中的、將最長的候補線作為目的邊緣的處理流程的說明圖。
圖6是本發明中的、從邊緣候補線群選擇確定對象貨櫃的邊緣線的處理中的、比較從分別配置在吊具的左右端部的圖像攝影裝置獲得的邊緣候補直線彼此間而進行的處理流程的說明圖。
圖7是本發明中的、從邊緣候補線群選擇確定對象貨櫃的邊緣線的處理中的、比較從分別配置在吊具的左右端部的圖像攝影裝置獲得的邊緣候補直線彼此間而進行其它的方法的處理流程的說明圖。
圖8是利用對對象貨櫃的一邊檢測出的邊緣線檢測另外的垂直的邊的邊緣端部的處理流程的說明圖。
圖9是對調查包含於圖3所示的圖像數據的像素的亮度變化的區域進行說明的說明圖。
圖10是在圖3所示的處理流程中檢測出邊緣線候補的處理的說明圖。
圖11是通過比較從圖6及圖7所示的兩臺CCD攝像機的圖像數據獲得的邊緣線來確定目的邊緣線的處理的說明圖。
圖12是利用對圖8所示的對象貨櫃的一邊對應的邊緣線檢測另外的垂直的邊的邊緣端部的處理流程的說明圖。
具體實施例方式
以下，參照附圖詳細說明本發明的裝卸起重機的貨櫃位置檢測方法及裝置、或貨櫃著地、層積控制方法的實施例。
首先，參照圖1說明使用了本發明的貨櫃位置檢測裝置的起重機的整體構成。該起重機是摞放貨櫃的輪胎式貨場用橋形起重機，具有由輪胎式行走裝置11在無軌道面上行走的門形起重機行走機體10。在起重機行走機體10的水平的上部梁12上設有沿上部梁12向水平方向移動的橫行吊車13。在橫行吊車13上搭載著卷上裝置14，由卷上裝置14進行卷上、放出的吊纜15懸掛貨櫃用的吊具(撒播器)16。吊具16可結合脫離地把持作為懸吊負荷的貨櫃A。
在吊具16的一邊16a的兩端朝向下地分別安裝著拍攝吊具下方的兩臺CCD攝像機20R、20L。另外，在本實施例中，在與邊16a平行的另一邊16b的兩端部也分別朝下地安裝著拍攝吊具下方的兩臺CCD攝像機21R、21L。
這時因為，即使在懸吊貨櫃A相對對象貨櫃B朝向任何一側偏著也可以進行對象貨櫃B的邊緣抽出。CCD攝像機20R、20L、21R及21L由於適當地成對地被設置，因此在此對CCD攝像機20R、20L成對的情況進行說明。
圖2表示本發明的貨櫃位置檢測裝置的一實施例，貨櫃位置檢測裝置包括圖像處理裝置30。圖像處理裝置30由圖像處理用的電子計算機構成，從兩臺CCD攝像機20R、20L分別輸入圖像數據。圖像處理裝置30具有處理從CCD攝像機20L及20R取入的圖像數據來表示對象貨櫃B的邊緣的直線的候補群抽出部30A、及來自抽出的邊緣直線候補群的對象貨櫃B邊緣線確定部30B和懸吊貨櫃A的相對位置檢測部30C。在30C中，從作為對象貨櫃B的邊緣線在圖像數據平面內確定的直線與作為對象貨櫃A的邊緣線在相同平面內確定的直線的相對關係檢測對象貨櫃B和懸吊貨櫃A的相對位置。
另外，在將吊具所把持的貨櫃放置在貨櫃放置貨場地上的第一層上時，在作為地上的貨櫃的摞放位置的長方形的區域的周邊，在該長方形的外部，在設在吊具上的攝影裝置可進行攝像的範圍中與該長方形的一邊或多邊平行地施加地上的表面亮度、或色彩不同的帶狀著色(包括粘貼帶、噴塗油漆)，由兩臺CCD攝像機20R、20L及圖像處理裝置30檢測出該著色的邊緣，從而可以檢測出懸吊貨櫃與地上的摞放區域的相對位置。另外，也可以代替在地上著色，而將具有直線稜的物體配置在上述長方形的區域周邊將該稜作為邊緣檢測來檢測出懸吊貨櫃與地上的摞放區域的相對位置。
圖3是表示圖2中的表示對象貨櫃B的邊緣的直線候補群抽出部30A的處理內容的圖。在圖3中，33作為檢測出懸吊貨櫃A的邊緣線的處理是在吊具把持了該懸吊貨櫃後，由起重機移動到對象貨櫃B近旁之前的期間進行。處理內容是與圖3的34、34-1、35、36L及圖4所示的37、38及39的內容相同，但是，由於吊具與懸吊貨櫃A的位置關係、即CCD攝像機20R、20L與懸吊貨櫃的位置經常保持一定，因此在向對象貨櫃B移動的過程中，可以通過反覆進行圖3及圖4所示的上述處理進行檢測。
在圖3的34以下所表示的處理是對於向對象貨櫃近旁移動後所進行的對象貨櫃B的圖像處理及邊緣檢測處理。在處理34中，取入對象貨櫃B的圖像，輸入到圖3的34-1以下的圖像處理部。在34-1中，由於對象貨櫃B保持與懸吊貨櫃A基本平行的關係，處於預先設定的距離範圍內，因此，調查圖像數據平面中的、相對由處理33檢測出的懸吊貨櫃A的邊緣線平行並帶有預先設定的距離的寬度的帶狀區域中的圖像數據的像素亮度變化。在圖像數據是由彩色攝像機拍攝的圖像數據時，也可以代替亮度而調查色彩的變化。調查圖像數據的像素的變化的帶狀區域是用沿圖9所示的懸吊貨櫃A的邊緣線設定的陰影線所表示的區域。在34-1中，通過對作為對象的帶狀區域的各個像素進行空間微分處理，檢測出亮度變化的像素位置。抽出亮度變化超過設定的閾值的像素群。
在圖3的35中，由於設定與在上述34-1的處理中抽出的像素群的配置近似的直線，對其像素群進行霍夫(Hough)變換，設定適當的直線。在上述帶狀的區域內也有時由於由懸吊貨櫃遮擋太陽光所生成的影、或由於貨櫃的表面噴漆的反射率變化等而使由亮度變化校對和霍夫變換設定直線成為多條。在第3圖的36L中，在由上述理由檢測出多條直線時，檢測出它們的全部，輸入從那些候補直線中確定表示對象貨櫃B的邊緣的直線的處理。
在圖3的36L-1中，作為邊緣線確定處理所需要的數據，保存在候補直線檢測處理中獲得的、屬於各候補直線上的亮度變化超過設定的閾值的像素個數及其像素的圖像數據平面內的位置數據。另外，在以上的說明中是將配置在吊具的左側的CCD攝像機作為對象進行的，但是，也可以同樣地對右側進行。圖10是說明同一亮度變化像素群的分布與相對於其設定的候補直線的關係的圖，候補直線在相對於圖像數據空間設定的兩維坐標系中被確定。
圖4、圖5、圖6及圖7表示用於從由上述的處理獲得的對象貨櫃的邊緣線候補直線選擇確定對象貨櫃的邊緣線的處理。從圖4的處理開始通過依次進行這些處理來確定對象貨櫃B的邊緣，但是，在任何一個處理階段中如果確定了所求得的直線，當然也不一定需要進行全部的處理。
圖4表示對上述圖3的36L的處理中獲得的候補直線由與懸吊貨櫃A的邊緣的平行度校對來確定對象貨櫃的邊緣線的處理。本圖中所示的處理是分別單獨地對左側的CCD攝像機和右側CCD攝像機的圖像數據進行處理。以下的說明只對一側進行。在圖4的37中，校對各候補直線與懸吊貨櫃A的邊緣線的平行度，在38中，從對象貨櫃B的邊緣線候補中選擇判定為在設定的閾值內與懸吊貨櫃A的邊緣線平行的直線。在圖4的39中如果所選擇的候補直線判定為是唯一的，則將其直線確定為對象貨櫃B的邊緣線。在39中在檢測出多條候補直線時，進入以下的處理。以上對於右側的CCD攝像機的圖像數據也進行同樣的處理。
圖5表示從候補直線中將最長的直線確定為對象貨櫃B的邊緣線的處理。該處理也分別單獨地對左右CCD攝像機進行。為了比較候補直線的長度，利用由圖3的36L-1獲得的屬於候補直線的像素數量的數據，將其像素數量多的直線作為長直線。
圖6是由以上所述的圖5之前的處理未確定目的邊緣線時、或再次對由圖5之前的處理確定的目的邊緣線進行確認時的處理。圖6的處理中，左右攝像機向吊具的配置是已知的形式，分別比較從雙方的CCD攝像機圖像獲得的候補直線，在檢測出左右重合的直線時，將其作為目的邊緣線。左右的CCD攝像機由於是拍攝懸吊貨櫃底部稜的同一邊，因此，當考慮到左右CCD攝像機的配置而將從一方的攝像機的圖像數據獲得的候補直線假想地延長到另一方的CCD攝像機的設置位置，與從另一方的CCD的攝像機的圖像獲得的各候補直線進行比較時，有時有與其中的某一個重合的情況，這樣地一致的一對候補直線彼此是對象貨櫃B的邊緣線。
圖11(a)是說明圖6的處理內容的圖。在圖11(a)中，CL是相對於左側的CCD攝像機圖像的圖像數據平面，CR是相對於右側的攝像機的同樣的平面。另外，AL是左側攝像機拍攝到的懸吊貨櫃A的邊緣線，AR是由右側的攝像機拍攝到的懸吊貨櫃A的邊緣線。BL01、BL02是由左側攝像機拍攝到的對象貨櫃B的邊緣線的候補，BR01、BR02是由右側的攝像機拍攝的對象貨櫃B的邊緣線候補。BLE01、BLE02、ALE是將由左側攝像機得到的對象貨櫃、懸吊貨櫃的邊緣線候補及邊緣線假想地延長到右側攝像機設定位置的線。將與BL02的延長即BLE02最重合的BR02確定為對象貨櫃的邊緣線。
圖7是表示從左右CCD攝像機的圖像獲得的候補直線相互比較的其它的方法的圖，其中，代替將從一方CCD攝像機獲得的候補直線向另一方延長，而是在使由左右攝像機獲得的各個懸吊貨櫃的邊緣線位置一致時，在左側CCD攝像機的候補直線的右端部與右側CCD攝像機的候補直線的左端部最接近、且那些候補直線相對懸吊貨櫃A的邊緣線所成的角度一致時，將它們作為對象貨櫃B的邊緣線。
圖11(b)是圖7的處理的說明圖。圖中的記號的意義與圖11(a)的相同。為了使由左側CCD攝像機和右側CCD攝像機的圖像數據處理獲得的懸吊貨櫃A的邊緣線(AL及AR)一致而平行移動右側的攝像機的圖像平面的對象貨櫃B的邊緣線候補(BR01、BR02、BR03)。在由左側攝像機得到的圖像平面中，在對象貨櫃B的邊緣線候補(BL01、BL02)的周邊設定成為與右側攝像機的邊緣線候補的一致識別的閾值的範圍(圖11中的施加了剖面線的範圍。該範圍只表示了BL02)。在被設定的範圍內一致的右側攝像機的邊緣線候補若被確定為一根，則將其確定為對象貨櫃B的邊緣線。在該處理中未確定為一根時，選擇邊緣線候補與懸吊貨櫃A的邊緣線所成的角(TL、TR)最接近的直線，確定邊緣線。
圖8表示利用對象貨櫃長邊方向的邊緣檢測結果檢測短邊方向邊緣的處理。如圖3的36L-1(或36R-1)所示，在設定候補直線時，保存屬於候補直線的像素位置的數據。對於從配置在吊具左側的CCD攝像機獲得的圖像，處於與圖像數據平面的右端部接近的位置的對象貨櫃B的邊緣線的部分表示實際存在的對象貨櫃的邊，但是，邊緣線的左側端部儘管不存在貨櫃的邊，它僅是從右側延長的部分。因此，屬於直線的右側部分的像素的分布密度高，相反，在圖像數據在的左側由於存在對象貨櫃長邊方向端部(這樣地配置CCD攝像機)在該邊緣線的左側存在所屬的像素密度降低的點，該點是短邊方向的邊緣的端部。
圖12是說明圖8所示的屬於邊緣直線的像素分布的圖。利用圖的36L-1獲得的像素的位置數據，像圖8的52處理所示的那樣，求出從圖像數據平面的右側朝向左側(對於左側配置的CCD攝像機)依次相鄰的像素間的距離，在每次向左方向求圖像間的間隔時，取包括過去的間隔數據的平均。在向左求間隔的中途，如圖8的54所示，在發現了比相對過去的間隔平均設定的閾值大的間隔點時，將其一次前的像素作為邊緣線的端部。
圖8所示的流程是利用由CCD攝像機20L檢測到的對象貨櫃B的長邊方向邊緣直線檢測對象貨櫃B的短邊方向左側邊緣的情況。其它的情況也可以由同樣的處理進行檢測。
將這樣地檢測出的被吊具把持的貨櫃的邊緣和對象貨櫃的邊緣的相對位置偏差量反饋到起重機的控制系統，在該偏差量處於允許值以內時，可以將吊具把持的貨櫃著落在對象貨櫃上。另外，在反饋吊具把持的貨櫃的邊緣與目標位置標記的邊緣之間所存在的規定的相對位置關係的偏差量並且該偏差量為允許值以內時，可以使吊具所把持的貨櫃著落在目標位置標記的規定位置。這樣，可以以高的位置精度且迅速地將吊具所把持的貨櫃著落在對象貨櫃上或著落在與目標位置標記對應的規定位置。因此，可以減小坐落空間的邊際，可以有效地利用船內或貨櫃摞放場所等的空間。另外，可以縮短貨櫃摞放作業所需要的時間，由於即使不需要人工仔細地修正，也可以提高落地精度，因此其摞放作業不麻煩。
從以上的說明可知，按照本發明的裝卸用懸吊機的貨櫃位置檢測方法及裝置、或貨櫃著地、摞放控制方法，通過處理配置在吊具的端部的CCD攝像機那樣的攝像裝置的圖像數據，可以排除由吊具或周邊貨櫃產生的影子的影響等的運轉環境、條件的影響，進行對象貨櫃的邊緣抽出，由此，可以高精度確實地進行對象貨櫃的位置檢測。利用了這樣的相對位置檢測的裝卸用起重機的自動控制不需要像絕對位置控制那樣的起重機各部分的高精度的位置檢測、位置控制，可靠性高且成本低。
如上所述，本發明的裝卸用起重機的貨櫃位置檢測方法及裝置、或貨櫃著地、摞放控制方法，可以應用於將吊具本身、或吊具把持著的懸吊貨櫃坐落或摞放在對象貨櫃上、或將吊具把持著的貨櫃摞放在地上的指定位置，有助於推進裝卸用起重機的自動運轉化。
權利要求
1.一種貨櫃位置檢測方法，它是將吊具或吊具把持著的懸吊貨櫃著落或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的貨櫃位置檢測方法，其特徵在於，將攝像裝置可同時拍攝貨櫃和著落目標位置標記地配置在吊具的一邊的端部，該貨櫃在吊具的下方被吊具把持，該目標位置標記是為了表示對象貨櫃或貨櫃摞放場所中的落地目標位置而設置的，對於由該攝像裝置拍攝的圖像數據進行包含在該圖像數據中的像素的亮度或色相變化檢測處理，通過用直線近似產生設定的值以下的亮度或色相變化的像素群的配置，檢測出表示位於配置在該吊具端部的攝像裝置的下方的對象貨櫃的端部附近邊緣或目標位置標記的邊緣的作為候補的直線群，而且，檢測出對於上述攝像裝置的圖像數據進行同樣的處理而獲得的、表示位於該攝像裝置下方的吊具上所把持的貨櫃的端部附近的邊緣的直線，比較上述直線與表示上述對象貨櫃的邊緣或目標位置標記的邊緣的各候補直線群的平行度、相互的水平距離，將表示對象貨櫃的邊緣或目標位置標記的邊緣的候補直線群中所包含的直線內的、相對於表示吊具把持的貨櫃的邊緣的直線的角度和水平距離是預先設定的值以內的直線確定為表示攝像裝置下方的對象貨櫃端部的邊緣或目標位置標記的邊緣的直線，從這樣地確定的對象貨櫃的邊緣線或目標位置標記的邊緣線與吊具把持的貨櫃的邊緣線的相對關係檢測出吊具或被吊具把持的貨櫃與對象貨櫃或目標標記的相對位置。
2.一種貨櫃位置檢測方法，它是將吊具或吊具把持著的懸吊貨櫃著落或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的貨櫃位置檢測方法，其特徵在於，關於分別比較由權利要求1所述的方法檢測出的、表示攝像裝置設置位置下方的對象貨櫃的端部的邊緣或目標位置的標記的邊緣的直線候補群與表示吊具把持的懸吊貨櫃的對應端部邊緣的直線來確定對象貨櫃的邊緣線或目標位置標記邊緣線，將由權利要求1所述的、由平行度、水平距離的比較選擇的對象貨櫃的邊緣或目標位置標記的邊緣候補直線群內的最長的直線確定為對象貨櫃或目標位置標記的邊緣線，從這樣地確定的對象貨櫃的邊緣線或目標位置標記的邊緣線與被吊具把持的貨櫃的邊緣線的相對關係檢測出吊具或被吊具把持的貨櫃與對象貨櫃或目標位置標記的相對位置。
3.一種貨櫃位置檢測方法，它是將吊具或吊具把持著的懸吊貨櫃著落或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的貨櫃位置檢測方法，其特徵在於，將權利要求1所述的攝像裝置分別在吊具的同一邊的左側和右側的兩端部配置一組，對於各攝像裝置下方端部附近的圖像數據，由上述的方法檢測出表示各側的端部附近的對象貨櫃的邊緣或表示貨櫃摞放場所的目標位置的標記的邊緣的候補直線群與表示被吊具把持的貨櫃邊緣的直線，將一側的對象貨櫃或目標位置標記的邊緣候補直線及被吊具把持的貨櫃邊緣線假想地延長到相當於另一攝像裝置設置位置的位置，再將由另一方的攝像位置得到的被吊具把持的貨櫃的邊緣線位置與由上述一方的攝像裝置得到的被吊具把持的貨櫃的邊緣線重合，與此對應在將表示上述另一方的攝像裝置所得到的對象貨櫃或目標位置標記的邊緣的候補直線群相對地移動了後，進行上述對象貨櫃或目標位置標記的邊緣候補直線的延長與另一方的對象貨櫃或目標位置標記的邊緣候補直線的相互比較，找出一對最重合的邊緣候補直線，將其一對邊緣候補直線確定為對象貨櫃或目標位置標記的邊緣線。從這樣地確定的對象貨櫃或目標位置標記的邊緣線與被吊具把持的貨櫃的邊緣線的相對關係檢測出吊具或被吊具把持的貨櫃與對象貨櫃或目標位置標記的相對位置。
4.一種貨櫃位置檢測裝置，其特徵是，在將吊具或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的貨櫃位置檢測中由權利要求1所述的方法檢測對象貨櫃或目標位置標記的位置。
5.一種貨櫃位置檢測裝置，其特徵是，是由將吊具或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃上或貨櫃摞放場所的目標位置上的裝卸用起重機的、權利要求2所述的方法檢測對象貨櫃或目標位置標記的位置。
6.一種貨櫃位置檢測裝置，其特徵是，是由將吊具或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的、權利要求3所述的方法檢測對象貨櫃或目標位置標記的位置。
7.一種貨櫃位置檢測裝置，其特徵是，自動地選擇使用將吊具或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的、權利要求1、2或3所述的方法檢測對象貨櫃或目標位置標記的位置。
8.一種貨櫃著地、摞放控制方法，其特徵是，具有組合將吊具或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃上或摞放場所的目標位置上的裝卸用起重機的、權利要求4、5、6或7所述的貨櫃位置檢測裝置的一或二以上而構成的吊具或吊具把持著的懸吊貨櫃與對象貨櫃或目標位置標記的相對位置檢測裝置，反饋由上述檢測裝置檢測出的吊具或吊具把持著的懸吊貨櫃與對象貨櫃相對位置偏差量、或被吊具把持著貨櫃與目標位置標記的規定的相對位置關係的偏差量，在該偏差量是允許值以內時，使吊具或吊具把持的貨櫃著落在對象貨櫃上或將把持在吊具上的貨櫃著地於目標位置標記對應的規定位置。
9.一種貨櫃著地、摞放控制方法，其特徵是，在將吊具或吊具把持著的懸吊貨櫃著地或摞放在對象貨櫃或貨櫃摞放場所的目標位置上的裝卸用起重機中，具有相對為了特定對象貨櫃或摞放目標位置標記的位置而設定的基準點檢測吊具或被吊具把持的貨櫃的位置的裝置，具有第一工序，該第一工序中，反饋由上述裝置檢測到的吊具或吊具把持著的起重機貨櫃的位置數據與相對上述基準點被給予的對象貨櫃或摞放目標位置標記的位置數據的偏差量而進行吊具或被吊具把持著貨櫃的位置控制，具有組合權利要求4、5、6或7所述的貨櫃位置檢測裝置之一或二以上而構成的吊具或吊具把持著的懸吊貨櫃與對象貨櫃或目標位置標記的相對位置檢測裝置，具有第二工序，在該第二工序中，反饋由上述相對位置檢測裝置測出的吊具或吊具把持著的懸吊貨櫃與對象貨櫃相對位置偏差量、或來自被吊具把持著貨櫃與目標位置標記的規定的相對位置關係的偏差量，在該偏差量是允許值以內時，使吊具或吊具把持的貨櫃著落在對象貨櫃上或將把持在吊具上的貨櫃著地於目標位置標記對應的規定位置，在由第一工序在對象貨櫃或摞放目標位置標記的附近作為可使用上述相對位置檢測裝置的範圍而預先設定的領域內移動吊具或吊具把持的貨櫃後，自動地切換為第二工序，使吊具或被吊具把持的貨櫃著落在對象貨櫃上、或將吊具把持的貨櫃著落在與目標位置標記對應的規定位置。
全文摘要
在通過處理從設置在吊具上的CCD等的攝像裝置獲得的對象貨櫃的圖像數據，可以確定與產生預先設定的值以上的亮度變化、或色相變化的像素群的配置近似的直線時，用那樣的直線構成可近似的配置的像素群作為表示該貨櫃的稜線、即貨櫃的邊緣的像素群，通過檢測對象貨櫃的位置，可以排除實際的運轉環境中的各種狀態、條件的影響而可靠性高、確實地進行由設置在吊具上的CCD攝像機等的攝像裝置獲得的圖像數據處理的對象貨櫃的邊緣抽出，利用此可以高精度確實地進行對象貨櫃與懸吊貨櫃的相對位置檢測。
文檔編號B66C13/08GK1394190SQ01803312
公開日2003年1月29日 申請日期2001年10月22日 優先權日2000年10月27日
發明者內田浩二, 宮田紀明, 小幡寬治, 吉川博文 申請人:三菱重工業株式會社