機器人系統以及圖像顯示裝置製造方法
2023-04-28 04:20:01 1
機器人系統以及圖像顯示裝置製造方法
【專利摘要】本發明提供機器人系統以及圖像顯示裝置，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。機器人系統包含機器人、顯示部、使機器人動作的控制部，該機器人系統使從第一方向拍攝機器人的操作對象物的第一拍攝圖像的拍攝範圍和從與第一方向不同的方向拍攝操作對象物的第二拍攝圖像的拍攝範圍顯示於顯示部。
【專利說明】機器人系統以及圖像顯示裝置
【技術領域】
[0001 ] 本發明涉及機器人系統以及圖像顯示裝置。
【背景技術】
[0002]在專利文獻I中公開如下技術:至少將機器人、工件以及視覺傳感器裝置的拍攝部的三維模型配置並同時顯示於畫面，在進行機器人的動作模擬的模擬裝置中，具備將拍攝部的視場以三維形狀顯示於畫面上的機構。
[0003]專利文獻1:日本特開2005-135278號公報
[0004]在實際使用機器人的現場，為了根據拍攝作業對象物而得的圖像來實施視覺控制，需要從拍攝的圖像取得作業對象物的三維信息來把握作業對象物的位置等。為了取得作業對象物的三維信息，需要從不同的多個方向拍攝作業對象物而得的至少2張圖像。
[0005]在取得該至少2張圖像中的第二張以後的圖像時，在不清楚已經取得的圖像的拍攝範圍等的情況下，作業者若不對實際拍攝的結果進行確認，則不能判斷多個圖像的拍攝範圍是否適當地重疊，即不能判斷是否能夠取得作業對象物的三維信息。因此，作業者必須重複以下試錯:嘗試實際取得多張圖像，對多個圖像的拍攝範圍是否適當地重疊進行確認，在多個圖像的拍攝範圍沒有適當地重疊的情況下，重新取得圖像，因此會存在作業者的負擔變重的問題。
[0006]專利文獻I中記載的發明是用於解決如下問題:在使用一個照相機拍攝I張圖像的情況下，把握視場的三維形狀，所以能夠獲知I張圖像的拍攝範圍。然而，專利文獻I中記載的發明並沒有考慮拍攝多個圖像的情況，對取得作業對象物的三維信息的問題沒有啟
/Jn ο
【發明內容】
[0007]因此，本發明的目的在於提供能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔的機器人系統以及圖像顯示裝置。
[0008]用於解決上述問題的第一實施方式的機器人系統的特徵在於，該機器人系統包含機器人、顯示部、以及使上述機器人動作的控制部，上述機器人系統使從第一方向拍攝上述機器人的操作對象物的第一拍攝圖像的拍攝範圍和從與上述第一方向不同的方向拍攝上述操作對象物的第二拍攝圖像的拍攝範圍顯示於上述顯示部。
[0009]根據第一實施方式，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。此外，本發明的拍攝是包含虛擬拍攝和實際拍攝的概念。特別是在進行虛擬拍攝的情況下，實際上不使機器人運動，就能夠通過較少的試錯來獲知能夠拍攝適當的立體圖像的照相機的位置以及姿勢。
[0010]在此，上述第二拍攝圖像也可以是在時間上連續的實時取景圖像。由此，能夠在實際拍攝靜態圖像之前獲知拍攝範圍，減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0011]在此，上述第二拍攝圖像也可以在取得上述第一拍攝圖像之後取得。由此，在按圖像的順序來拍攝多個圖像的情況下，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而減輕作業者的負擔。
[0012]在此，上述控制部也可以使表示上述機器人的圖像以及表示上述第一拍攝部的圖像顯示於上述顯示部。由此，能夠對機器人、第一拍攝部的位置與拍攝範圍的關係進行確認。
[0013]在此，上述控制部可以對上述顯示部進行如下控制:將上述第二拍攝圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息重疊顯示於上述第二拍攝圖像來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，在拍攝的第二張拍攝圖像顯示表示拍攝的第一張圖像的拍攝範圍的信息，因而能夠容易地把握第一張拍攝範圍與第二張拍攝範圍的重合程度和重合範圍。
[0014]在此，上述控制部可以將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息以不同的顏色顯示於上述顯示部。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0015]在此，上述控制部可以將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息以不同的形狀顯示於上述顯示部。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0016]在此，上述控制部將上述第一拍攝圖像的拍攝範圍在上述顯示部顯示為以線顯示的框來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0017]在此，上述控制部將上述第一圖像的拍攝範圍顯示為以能夠與上述第一圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0018]用於解決上述問題的第二實施方式的圖像顯示裝置的特徵在於，該圖像顯示裝置具備:機器人控制部，其使機器人動作；以及顯示控制部，其使從第一方向拍攝上述機器人的操作對象物的第一拍攝圖像的拍攝範圍和從與上述第一方向不同的方向拍攝上述操作對象物的第二拍攝圖像的拍攝範圍顯示於顯示部。由此，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0019]用於解決上述問題的其它實施方式的機器人控制裝置系統的特徵在於，該機器人控制裝置系統是使用由拍攝部對機器人的操作對象物進行多次拍攝而取得的多個拍攝圖像來取得上述操作對象物的三維信息的機器人系統，該機器人系統將表示上述拍攝部從第一方向拍攝上述操作對象物的拍攝範圍的信息和表示上述拍攝部從與上述第一方向不同的方向亦即第二方向拍攝上述操作對象物的拍攝範圍的信息顯示於顯示部。
[0020]由此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。此外，本發明的拍攝是包含虛擬拍攝和實際拍攝的概念。特別是在進行虛擬拍攝的情況下，實際上不使機器人運動，就能夠通過較少的試錯來獲知能夠拍攝適當的立體圖像的照相機的位置以及姿勢。
[0021]用於解決上述問題的其它實施方式的機器人系統的特徵在於，該機器人系統具備:第一拍攝部；機器人；圖像取得部，其取得從第一方向對上述機器人的操作對象物進行拍攝的第一拍攝圖像和上述第一拍攝部從與上述第一方向不同的方向拍攝上述操作對象物的圖像亦即第二拍攝圖像；顯示部；以及顯示控制部，其將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息顯示於上述顯示部。
[0022]由此，取得從第一方向對上述機器人的操作對象物進行拍攝的第一拍攝圖像和上述第一拍攝部從與上述第一方向不同的方向拍攝上述操作對象物的圖像亦即第二拍攝圖像，並使表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息顯示於顯示部。此外，本發明的拍攝包含虛擬拍攝和實際拍攝的概念。由此，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，減輕作業者的負擔。特別是在進行虛擬拍攝的情況下，實際上不使機器人運動，就能夠通過較少的試錯來獲知能夠拍攝適當的立體圖像的照相機的位置以及姿勢。
[0023]在此，第二拍攝圖像可以是在時間上連續的實時取景圖像。由此，能夠在實際拍攝靜態圖像之前獲知拍攝範圍，從而減少在取得機器人的作業對象物的三維信息時的試錯，減輕作業者的負擔。
[0024]在此，第二拍攝圖像可以在取得第一拍攝圖像之後被取得。由此，在按圖像的順序拍攝多個圖像的情況下，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0025]在此，上述顯示控制部可以使表示上述機器人的圖像以及表示上述第一拍攝部的圖像顯示於上述顯示部。由此，能夠對機器人、第一拍攝部的位置與拍攝範圍的關係進行確認。
[0026]在此，具備俯瞰圖像生成部，其將上述機器人、上述第一拍攝部以及上述操作對象物配置於虛擬空間內，生成從該虛擬空間的任意的視點觀察配置於上述虛擬空間內的上述機器人、上述第一拍攝部以及上述操作對象物的圖像亦即俯瞰圖像，上述顯示控制部將上述俯瞰圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息以及表示上述第二拍攝圖像的拍攝範圍的信息重疊顯示於上述俯瞰圖像。由此，在能夠獲知虛擬空間內的位置關係的俯瞰圖像顯示表示第一張圖像的拍攝範圍的信息和表示第二張圖像的拍攝範圍的信息，所以能夠容易地把握多個圖像的拍攝範圍如何不同。
[0027]在此，上述顯示控制部還可以將上述第二拍攝圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息重疊顯示於上述第二拍攝圖像來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，在拍攝的第二張拍攝圖像顯示有表示拍攝的第一張圖像的拍攝範圍的信息，所以能夠容易地把握第一張拍攝範圍和第二張拍攝範圍的重疊程度和重疊範圍。
[0028]在此，上述顯示控制部可以以不同的顏色顯示表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0029]在此，上述顯示控制部可以以不同的形狀顯示表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0030]在此，上述顯示控制部還可以將上述第一拍攝圖像的拍攝範圍顯示為以線顯示的框來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0031]在此，上述顯示控制部還可以將上述第一圖像的拍攝範圍顯示為以能夠與上述第一圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0032]在此，上述顯示控制部還可以將上述第二拍攝圖像的拍攝範圍顯示為以線顯示的框來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0033]在此，上述顯示控制部還可以將上述第二圖像的拍攝範圍顯示為以能夠與上述第二圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0034]在此，上述顯示控制部還可以對上述第一拍攝部的光軸進行顯示。由此，能夠容易地把握拍攝圖像的拍攝方向。
[0035]在此，上述顯示控制部還可以是對表示上述第一拍攝圖像的拍攝範圍的立體圖形進行顯示來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠更加容易地把握拍攝範圍。
[0036]在此，上述顯示控制部還可以是對表示上述第二拍攝圖像的拍攝範圍的立體圖形進行顯示。由此，能夠更容易地把握拍攝範圍來作為表示上述第二拍攝圖像的拍攝範圍的信息。特別是在以立體圖形顯示第一拍攝圖像的拍攝範圍和上述第二拍攝圖像的拍攝範圍的情況下，能夠容易地比較拍攝範圍的差異。
[0037]在此，還可以具備拍攝信息取得部，其取得與上述第一拍攝圖像以及上述第二拍攝圖像的拍攝範圍相關的信息亦即拍攝信息。由此，能夠顯示拍攝範圍。
[0038]在此，上述第一拍攝部可以被設置於上述機器人的頭部以及上述機器人的臂中的至少一方。由此，能夠利用設置於機器人的照相機拍攝圖像。
[0039]在此，也可以是上述機器人具有多個臂，上述第一拍攝部設置於上述多個臂之中的一個臂，在上述多個臂之中的上述一個臂以外的臂設置有拍攝上述第一拍攝圖像的第二拍攝部。由此，能夠使用多個臂來拍攝圖像。
[0040]在此，上述機器人可以具有改變上述第一拍攝部的拍攝範圍的拍攝控制部。由此，能夠利用相同的拍攝部拍攝多個圖像。
[0041]在此，可以具備第二拍攝部，其設置於上述機器人以外，拍攝上述第一拍攝圖像。由此，能夠使用未被設置於機器人的照相機拍攝圖像。
[0042]在此，還可以具備拍攝上述第一拍攝圖像的第二拍攝部，上述第二拍攝部被設置於上述機器人的頭部以及上述機器人的臂中的至少一方。由此，能夠利用被設置於機器人的照相機拍攝圖像。
[0043]在此，還可以具備拍攝上述第一拍攝圖像的第二拍攝部，上述機器人具有多個臂，上述第二拍攝部被設置於上述多個臂之中的一個臂，在上述多個臂之中的上述一個臂以外的臂設置有上述第一拍攝部。由此，能夠使用多個臂來拍攝圖像。
[0044]在此，上述機器人可以具有改變上述第二拍攝部的拍攝範圍的拍攝控制部。由此，能夠利用相同的拍攝部來拍攝多個圖像。
[0045]在此，上述第一拍攝部可以被設置於上述機器人以外。由此，能夠使用未被設置於機器人的照相機來拍攝圖像。
[0046]用於解決上述問題的其它的實施方式的機器人的特徵在於，該機器人使用由拍攝部多次拍攝操作對象物而取得的多個拍攝圖像來取得上述操作對象物的三維信息，並將表示上述拍攝部從第一方向拍攝上述操作對象物的拍攝範圍的信息和表示上述拍攝部從與上述第一方向不同的方向亦即第二方向拍攝上述操作對象物的拍攝範圍的信息顯示於顯示部。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。此外，本發明的拍攝是包含虛擬拍攝和實際拍攝的概念。特別是在進行虛擬拍攝的情況下，實際上不使機器人運動，就能夠通過較少的試錯來獲知能夠拍攝適當的立體圖像的照相機的位置以及姿勢。
[0047]用於解決上述問題的其它實施方式的機器人的特徵在於，該機器人具備:第一拍攝部；圖像取得部，其取得從第一方向拍攝操作對象物的第一拍攝圖像和上述第一拍攝部從與上述第一方向不同的方向拍攝上述操作對象物的圖像亦即第二拍攝圖像；顯示部；顯示控制部，其將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息顯示於上述顯示部。由此，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0048]在此，第二拍攝圖像可以是在時間上連續的實時取景圖像。由此，能夠在實際拍攝靜態圖像之前獲知拍攝範圍，從而能夠減少在取得機器人的作業對象物的三維信息時的試錯，進而能夠減輕作業者的負擔。
[0049]在此，第二拍攝圖像可以在取得第一拍攝圖像之後被取得。由此，在按圖像的順序拍攝多個圖像的情況下，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0050]在此，上述顯示控制部可以使表示上述機器人的圖像以及表示上述第一拍攝部的圖像顯示於上述顯示部。由此，能夠對機器人、第一拍攝部的位置與拍攝範圍的關係進行確認。
[0051]在此，還可以具備俯瞰圖像生成部，其將上述第一拍攝部以及上述操作對象物配置於虛擬空間內，該俯瞰圖像生成部生成從該虛擬空間的任意的視點觀察配置於上述虛擬空間內的上述拍攝部以及上述操作對象物的圖像亦即俯瞰圖像，上述顯示控制部將上述俯瞰圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息以及表示上述第二拍攝圖像的拍攝範圍的信息重疊顯示於上述俯瞰圖像。由此，在能夠獲知虛擬空間內的位置關係的俯瞰圖像顯示表示第一張圖像的拍攝範圍的信息和表示第二張圖像的拍攝範圍的信息，所以能夠容易地把握多個圖像的拍攝範圍不同的程度。
[0052]在此，上述顯示控制部還可以將上述第二拍攝圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息重疊顯示於上述第二拍攝圖像來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，在拍攝的第二張拍攝圖像顯示表示拍攝的第一張圖像的拍攝範圍的信息，所以能夠容易地把握第一張拍攝範圍和第二張拍攝範圍的重疊程度、重疊範圍。
[0053]在此，上述顯示控制部可以以不同的顏色對表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息進行顯示。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0054]在此，上述顯示控制部可以以不同的形狀對表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息進行顯示。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0055]在此，上述顯示控制部還可以將上述第一拍攝圖像的拍攝範圍顯示為以線顯示的框來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0056]在此，上述顯示控制部還可以將上述第一圖像的拍攝範圍顯示為以能夠與該第一圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0057]在此，上述顯示控制部還可以將上述第二拍攝圖像的拍攝範圍顯示為以線顯示的框來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0058]在此，上述顯示控制部還可以將上述第二圖像的拍攝範圍顯示為以能夠與該第二圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0059]在此，上述顯示控制部可以顯示上述第一拍攝部的光軸。由此，能夠容易地把握拍攝圖像的拍攝方向。
[0060]在此，上述顯示控制部可以對表示上述第一拍攝圖像的拍攝範圍的立體圖形進行顯示來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠更容易地把握拍攝範圍。
[0061]在此，上述顯示控制部還可以對表示上述第二拍攝圖像的拍攝範圍的立體圖形進行顯示來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠更容易地把握拍攝範圍。特別是在以立體圖形對第一拍攝圖像的拍攝範圍和上述第二拍攝圖像的拍攝範圍進行顯示的情況下，能夠容易地比較拍攝範圍的差異。
[0062]在此，可以具備拍攝信息取得部，其取得與上述第一拍攝圖像以及上述第二拍攝圖像相關的拍攝範圍的信息亦即拍攝信息。由此，能夠顯示拍攝範圍。
[0063]在此，上述第一拍攝部可以被設置於上述機器人的頭部以及上述機器人的臂中的至少一方。由此，能夠利用設置於機器人的照相機拍攝圖像。
[0064]在此，還可以具有多個臂，上述第一拍攝部被設置於上述多個臂之中的一個臂，在上述多個臂之中的上述一個臂以外的臂設置有拍攝上述第一拍攝圖像的第二拍攝部。由此，能夠使用多個臂來拍攝圖像。
[0065]在此，可以具有改變上述第一拍攝部的拍攝範圍的拍攝控制部。由此，能夠利用相同的拍攝部來拍攝多個圖像。
[0066]在此，也可以具備拍攝上述第一拍攝圖像的第二拍攝部，上述第二拍攝部被設置於上述機器人的頭部以及上述機器人的臂中的至少一方。由此，能夠利用被設置於機器人的照相機來拍攝圖像。
[0067]在此，也可以具備拍攝上述第一拍攝圖像的第二拍攝部和多個臂，上述第二拍攝部被設置於上述多個臂之中的一個臂，在上述多個臂之中的上述一個臂以外的臂設置有上述弟一拍攝部。
[0068]在此，可以具有改變上述第二拍攝部的拍攝範圍的拍攝控制部。由此，能夠利用相同的拍攝部來拍攝多個圖像。
[0069]用於解決上述問題的其它實施方式的圖像顯示裝置的特徵在於，該圖像顯示裝置使用由拍攝部多次拍攝機器人的操作對象物而取得的多個拍攝圖像來取得上述操作對象物的三維信息，並將表示上述拍攝部從第一方向拍攝上述操作對象物的拍攝範圍的信息和表示上述拍攝部從與上述第一方向不同的方向、亦即第二方向拍攝上述操作對象物的拍攝範圍的信息顯示於顯示部。由此，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0070]用於解決上述問題的其它實施方式的圖像顯示裝置的特徵在於，該顯示裝置具備:圖像取得部，其取得從第一方向拍攝機器人的操作對象物的第一拍攝圖像和從與上述第一方向不同的方向拍攝的圖像、即第二拍攝圖像；顯示部；以及顯示控制部，其將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息顯示於上述顯示部。由此，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0071]在此，第二拍攝圖像可以是在時間上連續的實時取景圖像。由此，能夠在實際拍攝靜態圖像之前獲知拍攝範圍，從而減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0072]在此，第二拍攝圖像可以在取得第一拍攝圖像之後被取得。由此，在按圖像的順序拍攝多個圖像的情況下，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而減輕作業者的負擔。
[0073]在此，上述顯示控制部可以將表示上述機器人的圖像以及表示上述第一拍攝部的圖像顯示於上述顯示部。由此，能夠對機器人、第一拍攝部的位置與拍攝範圍的關係進行確認。
[0074]在此，也可以具備俯瞰圖像生成部，其將上述第一拍攝部以及上述操作對象物配置於虛擬空間內，該俯瞰圖像生成部生成從該虛擬空間的任意的視點觀察配置於上述虛擬空間內的上述拍攝部以及上述操作對象物的圖像亦即俯瞰圖像，上述顯示控制部將上述俯瞰圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息以及表示上述第二拍攝圖像的拍攝範圍的信息重疊顯示於上述俯瞰圖像。由此，在能夠獲知虛擬空間內的位置關係的俯瞰圖像顯示有表示第一張圖像的拍攝範圍的信息和表示第二張圖像的拍攝範圍的信息，所以能夠容易地把握多個圖像的拍攝範圍不同的程度。
[0075]在此，上述顯示控制部也可以將上述第二拍攝圖像顯示於上述顯示部，並且將表示上述第一拍攝圖像的拍攝範圍的信息重疊顯示於上述第二拍攝圖像來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，在拍攝的第二張拍攝圖像顯示表示拍攝的第一張圖像的拍攝範圍的信息，所以能夠容易地把握第一張拍攝範圍和第二張拍攝範圍的重疊程度、重疊範圍。
[0076]在此，上述顯示控制部可以以不同的顏色對表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息進行顯示。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0077]在此，上述顯示控制部可以以不同的形狀對表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息進行顯示。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0078]在此，上述顯示控制部可以將上述第一拍攝圖像的拍攝範圍顯示為以線顯示的框來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0079]在此，上述顯示控制部可以將上述第一圖像的拍攝範圍顯示為以能夠與該第一圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0080]在此，上述顯示控制部可以將上述第二拍攝圖像的拍攝範圍顯示為以線顯示的框來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0081]在此，上述顯示控制部可以將上述第二圖像的拍攝範圍顯示為以能夠與該第二圖像的拍攝範圍以外的範圍區別開的顏色全面塗抹而得的圖形來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠容易地把握多個圖像的拍攝範圍的差異。
[0082]在此，上述顯示控制部可以顯示上述第一拍攝部的光軸。由此，能夠容易地把握拍攝圖像的拍攝方向。
[0083]在此，上述顯示控制部可以對表示上述第一拍攝圖像的拍攝範圍的立體圖形進行顯示來作為表示上述第一拍攝圖像的拍攝範圍的信息。由此，能夠更容易地把握拍攝範圍。
[0084]在此，上述顯示控制部可以對表示上述第二拍攝圖像的拍攝範圍的立體圖形進行顯示顯示來作為表示上述第二拍攝圖像的拍攝範圍的信息。由此，能夠更容易地把握拍攝範圍。特別是在以立體圖形對第一拍攝圖像的拍攝範圍和上述第二拍攝圖像的拍攝範圍進行顯示的情況下，能夠容易地比較拍攝範圍的差異。
[0085]在此，可以具備拍攝信息取得部，該拍攝信息取得部取得與上述第一拍攝圖像以及上述第二拍攝圖像的拍攝範圍相關的信息、即拍攝信息。由此，能夠顯示拍攝範圍。
[0086]用於解決上述問題的其它實施方式的圖像顯示方法的特徵在於，該圖像顯示方法具有如下步驟:a.取得從第一方向拍攝機器人的操作對象物的第一拍攝圖像；b.取得從與上述第一方向不同的方向拍攝的圖像亦即第二拍攝圖像；c.根據與上述第一拍攝圖像以及上述第二拍攝圖像的拍攝範圍有關的信息亦即拍攝信息將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息顯示於顯示部。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而能夠減輕作業者的負擔。
[0087]在此，可以重複進行上述b以及上述c的步驟。由此，能夠在拍攝立體圖像的第二張靜態圖像之前獲知圖像的拍攝範圍。
[0088]用於解決上述問題的其它實施方式的圖像顯示程序的特徵在於，該圖像顯示程序使運算裝置執行如下步驟:a.取得從第一方向拍攝機器人的操作對象物的第一拍攝圖像；b.取得從與上述第一方向不同的方向拍攝的圖像亦即第二拍攝圖像；c.根據與上述第一拍攝圖像以及上述第二拍攝圖像的拍攝範圍有關的信息亦即拍攝信息將表示上述第一拍攝圖像的拍攝範圍的信息和表示上述第二拍攝圖像的拍攝範圍的信息顯示於顯示部。因此，能夠減少在取得機器人的作業對象物的三維信息時的試錯，從而減輕作業者的負擔。
[0089]在此，還可以使運算裝置執行重複進行上述b以及上述c的步驟的處理。由此，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。
【專利附圖】
【附圖說明】
[0090]圖1是表示本發明的第一實施方式的機器人系統的結構的一個例子的圖。
[0091]圖2是表示臂的結構的一個例子的圖。
[0092]圖3是表示機器人系統的功能構成的一個例子的框圖。
[0093]圖4是表示控制部的硬體構成的一個例子的圖。
[0094]圖5是表示拍攝位置決定處理的流程的一個例子的流程圖。
[0095]圖6是表不機器人系統的顯不畫面的一個例子的圖。
[0096]圖7是表不機器人系統的顯不畫面的一個例子的圖。
[0097]圖8是表不機器人系統的顯不畫面的一個例子的圖。
[0098]圖9是表示機器人的變形例的一個例子的圖。
[0099]圖10是表示機器人系統的顯示畫面的變形例的圖。
[0100]圖11是表示機器人系統的顯示畫面的變形例的圖。
[0101]圖12是表示本發明的第二實施方式的機器人系統的決定拍攝位置的處理的流程的一個例子的流程圖。
【具體實施方式】
[0102]參照附圖對本發明的一個實施方式進行說明。
[0103]第一實施方式
[0104]圖1是表不本發明的一個實施方式的機器人系統I的結構的一個例子的系統構成圖。本實施方式的機器人系統I主要具備機器人10、控制部20、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41。
[0105]機器人10是具有2個臂的臂式機器人。在本實施方式中，以具備2個臂亦即右臂IlR以及左臂IlL (以下，在統一表示右臂IlR以及左臂IlL的情況下，稱為臂11)的雙臂機器人為例進行說明，但機器人10的臂11的個數也可以是I個。
[0106]圖2是對臂11詳細地進行說明的圖。在圖2中，例示出右臂11R，右臂IlR與左臂IlL的結構相同。以下，以右臂IlR為例進行說明，而省略左臂IlL的說明。
[0107]右臂IlR具備多個聯軸器(關節)12和多個連杆13。
[0108]在右臂IlR的前端設置有手部14 (所謂的終端執行器或末端作用器)，該手部14能夠把持機器人10的操作對象物亦即工件A、能夠把持工具對對象物進行規定的作業。
[0109]在聯軸器12以及手部14設置有使它們動作的促動器(未圖示)。促動器具備例如伺服馬達、編碼器等。編碼器輸出的編碼器值被用於控制部20對機器人10的反饋控制。
[0110]在手部14的內部或者臂11的前端等設置有力覺傳感器(未圖示)。力覺傳感器對施加於手部14的力進行檢測。力覺傳感器例如可以使用6軸力覺傳感器，其能夠同時檢測沿3個軸向的力分量和繞3個軸的力矩分量這6個分量。另外，力覺傳感器使用的物理量是電流、電壓、電荷量、電感、變形、阻抗、電磁感應、磁、氣壓、光等。力覺傳感器能夠通過將所希望的物理量變換為電信號來檢測6個分量。此外，力覺傳感器並不局限於6軸，例如也可以是3軸。另外，設置力覺傳感器的位置只要是能夠對施加於手部14的力進行檢測即可，並沒有特別限定。
[0111]另外，在右臂I IR的前端設置有右手眼相機15R。在本實施方式中，右手眼相機15R按右手眼相機15R的光軸15Ra與臂11的軸Ila正交(包含略微錯開的情況)的方式設置。但是，右手眼相機15R也可以按光軸15Ra與軸Ila平行的方式設置，也可以按光軸15Ra與軸Ila構成任意的角度的方式設置。此外，光軸是指通過包含於手眼相機15等拍攝部的透鏡的中心、並垂直於透鏡面的直線。右手眼相機15R以及左手眼相機15L相當於本發明的拍攝部以及第一拍攝部或第二拍攝部。
[0112]此外，對機器人10的結構而言，在對本實施方式的特徵進行說明時，對主要結構進行了說明，但並不局限於上述結構。不排除一般的把持機器人所具備的結構。例如，在圖1中，示出了 6軸的臂，但可以進一步增加軸數(聯軸器數)，也可以減少軸數(聯軸器數)。也可以增減連杆的數。另外，也可以適當地改變臂、手部、連杆以及聯軸器等各種部件的形狀、大小、配置以及結構等。另外，終端執行器並不局限於手部14。
[0113]回到圖1的說明。控制部20具備顯示器(相當於本發明的顯示部)等輸出裝置26，進行控制機器人10的整體的處理。控制部20可以設置於遠離機器人10的主體的位置，也可以內置於機器人10等。在控制部20設置於遠離機器人10的主體的位置的情況下，控制部20以有線或無線的方式與機器人10連接。
[0114]第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41是分別從不同角度拍攝機器人10的作業區域附近，生成圖像數據的單元。第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41例如包含照相機，並被設置於作業臺、頂板、壁等。在本實施方式中，第一拍攝部30以及第二拍攝部31被設置於作業臺，第一頂板拍攝部40以及第二頂板拍攝部41被設置於頂板。第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41可以採用可見光照相機、紅外線照相機等。第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41相當於本發明的拍攝部以及第二拍攝部。
[0115]第一拍攝部30和第二拍攝部31是取得供機器人10在進行視覺伺服時使用的圖像的拍攝部。第一頂板拍攝部40以及第二頂板拍攝部41是取得用於把握作業臺上的物品的配置等的圖像的拍攝部。
[0116]第一拍攝部30和第二拍攝部31以及第一頂板拍攝部40和第二頂板拍攝部41分別設置成拍攝的圖像的視場角的一部分重疊，以便能夠獲得進深方向的信息。
[0117]第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41分別與控制部20連接，由第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41拍攝的圖像被輸入至控制部20。此外，第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41也可以不與控制部20連接而與機器人10連接。該情況下，由弟一拍攝部30、弟二拍攝部31、弟一頂板拍攝部40以及弟二頂板拍攝部41拍攝的圖像經由機器人10輸入至控制部20。
[0118]接下來，對機器人系統I的功能構成例進行說明。圖3是控制部20的功能框圖的一個例子。控制部20主要具有機器人控制部201、圖像處理部202以及圖像取得部203。
[0119]機器人控制部201主要具有驅動控制部2011和拍攝控制部2012。
[0120]驅動控制部2011根據促動器的編碼器值以及傳感器的傳感器值等來控制臂11以及手部14。例如，驅動控制部2011驅動促動器來使臂11 (手眼相機15)按從控制部20輸出的移動方向以及移動量來移動。
[0121]拍攝控制部2012控制手眼相機15，以在任意的時刻以任意的次數拍攝圖像。手眼相機15拍攝的圖像可以是靜態圖像，也可以是實時取景圖像。此外，實時取景圖像是按照規定的幀速率在時間內連續地取得靜態圖像的圖像。
[0122]圖像取得部203取得由手眼相機15、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41拍攝的圖像。圖像取得部203取得的圖像被輸出至圖像處理部 202。
[0123]圖像處理部202主要具有照相機參數取得部2021、三維模型信息取得部2022、俯瞰圖像生成部2023、實時取景圖像生成部2024以及顯示控制部2025。
[0124]照相機參數取得部2021取得手眼相機15、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41的內部照相機參數(焦距、像素尺寸)以及外部照相機參數(位置姿勢)。由於手眼相機15、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41保持有與內部照相機參數以及外部照相機參數(以下稱為照相機參數)有關的信息，所以照相機參數取得部2021能夠從手眼相機15、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41取得上述信息。照相機參數取得部2021相當於本發明的拍攝信息取得部。另外，照相機參數相當於本發明的拍攝信息。
[0125]三維模型信息取得部2022取得機器人10、作業臺、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40、第二頂板拍攝部41以及工件A等的三維模型的信息。三維模型是例如使用CAD (Computer Aided Design:計算機輔助設計)軟體創建的數據文件(三維CAD數據)。該三維模型是對多個由連結各結構點(頂點)而形成的多邊形(例如三角形)構成的多邊形進行組合而構成。三維模型信息取得部2022直接或經由網絡取得存儲於與控制部20連接的未圖示的外部設備的三維模型的信息。此外，三維模型信息取得部2022還可以取得存儲於存儲器22、外部存儲裝置23 (參照圖4)的三維模型的信息。
[0126]此外，可以代替三維模型信息取得部2022取得三維模型的信息而使用被導入控制部20的CAD軟體來創建三維模型。
[0127]俯瞰圖像生成部2023根據由照相機參數取得部2021、三維模型信息取得部2022取得的信息、從圖像取得部203輸入的圖像數據等來將機器人10、作業臺、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40、第二頂板拍攝部41以及工件A等三維模型配置於虛擬空間內。各三維模型的配置位置能夠根據從圖像取得部203輸入的圖像數據等來決定。
[0128]而且，俯瞰圖像生成部2023生成從虛擬空間內的任意的視點位置觀察配置於虛擬空間內的三維模型的圖像、即俯瞰圖像。俯瞰圖像生成部2023將三維模型配置於虛擬空間內的處理以及俯瞰圖像生成部2023生成俯瞰圖像的處理由於能夠採用已經公知的各種技術，所以省略詳細的說明。俯瞰圖像生成部2023相當於本發明的俯瞰圖像生成部。
[0129]實時取景圖像生成部2024根據由俯瞰圖像生成部2023生成的俯瞰圖像、以及由照相機參數取得部2021取得的照相機參數來生成由配置於虛擬空間內的手眼相機15、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41在虛擬空間內進行拍攝時獲得的拍攝圖像(以下稱為虛擬拍攝圖像)。虛擬拍攝圖像可以是靜態圖像，也可以是實時取景圖像。實時取景圖像生成部2024相當於本發明的圖像取得部。
[0130]顯示控制部2025將俯瞰圖像生成部2023所生成的俯瞰圖像、實時取景圖像生成部2024所生成的虛擬拍攝圖像輸出至輸出裝置26。另外，顯示控制部2025根據由照相機參數取得部2021取得的照相機參數將表示手眼相機15的拍攝範圍的圖像顯示於俯瞰圖像以及虛擬拍攝圖像。顯示控制部2025相當於本發明的顯示控制部。
[0131]圖4是表示控制部20的簡略構成的一個例子的框圖。如圖所示，例如由計算機等構成的控制部20具備:運算裝置即CPlKCentral Processing Unit:中央處理器)21 ;存儲器22，其由易失性存儲裝置亦即RAM (Random Access Memory:隨機存儲器)和非易失性存儲裝置即ROM (Read only Memory:只讀存儲器)構成；外部存儲裝置23 ;通信裝置24，其與機器人10等外部的裝置進行通信；滑鼠、鍵盤等輸入裝置25 ;顯示器等輸出裝置26 ;以及接口(I / F) 27，其連接控制部20與其它的單元。
[0132]上述的各功能部例如通過由CPU21將儲存於外部存儲裝置23等的規定的程序讀取到存儲器22等中並執行而實現。此外，規定的程序例如可以被預先安裝於外部存儲裝置23等，也可以經由通信裝置24從網絡下載來安裝或更新。
[0133]對以上的機器人系統I的構成而言，在對本實施方式的特徵進行說明時，對主要構成進行了說明，但並不局限於上述構成。例如，機器人10可以具備控制部20、第一拍攝部30以及第二拍攝部31。另外，不排除一般的機器人系統所具備的構成。
[0134]接下來，對本實施方式的、由上述構成而形成的機器人系統I的特徵的處理進行說明。
[0135]圖5是表示圖像處理部202進行的模擬處理的流程的流程圖。該處理在任意的時亥IJ，例如通過經由未圖示的按鈕等輸入模擬開始的指示而開始。
[0136]在本實施方式中，為取得工件A的位置、形狀等三維信息，而取得使用右手眼相機15R從不同角度拍攝工件A的2張圖像(以下，稱為立體圖像)，以該情況為例進行說明。
[0137]俯瞰圖像生成部2023生成俯瞰圖像(步驟S100)，實時取景圖像生成部2024將手眼相機15、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41的虛擬拍攝圖像生成為實時取景圖像(步驟S102)。
[0138]顯示控制部2025生成顯示圖像P，該顯示圖像P包含在步驟S100中生成的俯瞰圖像和在步驟S102中生成的虛擬拍攝圖像，並將該顯示圖像P輸出至輸出裝置26 (步驟S104)。
[0139]圖6是在步驟S104中生成的顯示圖像P的顯示例。如圖6所示，在顯示圖像P的上部設置有顯示俯瞰圖像的俯瞰圖像顯示區域Pl。
[0140]在俯瞰圖像顯示區域Pl的下方向設置有虛擬拍攝圖像顯示區域P2，該虛擬拍攝圖像顯示區域P2顯示第一頂板拍攝部40的虛擬拍攝圖像，並在上述虛擬拍攝圖像顯示區域P2的旁邊設置有虛擬拍攝圖像顯示區域P3，該虛擬拍攝圖像顯示區域P3顯示第二頂板拍攝部41的虛擬拍攝圖像。另外，在俯瞰圖像顯示區域Pl的下方向設置有虛擬拍攝圖像顯示區域P42，該虛擬拍攝圖像顯示區域P42顯示左手眼相機15L的虛擬拍攝圖像，並在上述虛擬拍攝圖像顯示區域P42的旁邊設置有虛擬拍攝圖像顯示區域P5，該虛擬拍攝圖像顯示區域P5顯示右手眼相機15R的虛擬拍攝圖像。並且，在俯瞰圖像顯示區域Pl的下方向設置有虛擬拍攝圖像顯示區域P6，該虛擬拍攝圖像顯示區域P6顯示第一拍攝部30的虛擬拍攝圖像，並在上述虛擬拍攝圖像顯示區域P6的旁邊設置有虛擬拍攝圖像顯示區域P7，該虛擬拍攝圖像顯示區域P7顯示第二拍攝部31的虛擬拍攝圖像。
[0141]此外，由於通過步驟S102在虛擬拍攝圖像的基礎上生成為實時取景圖像，所以在步驟S104中，顯示控制部104每次更新實時取景圖像時便適當地改變各虛擬拍攝圖像顯示區域P2?P7的顯示。S卩，步驟S102以及步驟S104的處理持續進行至圖5所示的處理結束為止。此外，由於根據實時取景圖像而適當地改變顯示的方法已經公知，所以省略說明。
[0142]實時取景圖像生成部2024根據在步驟S102中生成的右手眼相機15R的虛擬拍攝圖像將立體圖像中的第一張虛擬拍攝圖像作為靜態圖像而虛擬進行拍攝(步驟S106)。虛擬圖像的拍攝能夠通過作業者經由輸入裝置25輸入拍攝指示來進行，也能夠由實時取景圖像生成部2024自動地進行。例如，在由實時取景圖像生成部2024自動地進行的情況下，可以在圖像的規定範圍包含工件A時進行虛擬的拍攝。
[0143]實時取景圖像生成部2024根據在步驟S102中生成的右手眼相機15R的虛擬拍攝圖像來對立體圖像中的第二張虛擬拍攝圖像的、作為實時取景圖像的第一張圖像虛擬地進行拍攝(步驟S108)。
[0144]此外，在步驟S106中取得的虛擬拍攝圖像和步驟S108中取得的虛擬拍攝圖像中需要改變右手眼相機15R的照相機參數。照相機參數的改變可以通過作業者經由輸入裝置25而適當地輸入照相機參數來進行，也可以由實時取景圖像生成部2024自動地進行。例如，在由實時取景圖像生成部2024自動地進行的情況下，可以通過從取得在步驟S106中取得的虛擬拍攝圖像時右手眼相機15R的位置向右方向(也可以向左方向，也可以向上方向，也可以向下方向，也可以向傾斜方向)移動預先設定的大小來改變照相機參數。
[0145]若改變右手眼相機15R的照相機參數，則右臂IlR的位置等會自動地改變，所以俯瞰圖像也需要改變。因此，每次改變照相機參數，俯瞰圖像生成部2023進行步驟SlOO的處理，顯示控制部2025改變俯瞰圖像顯示區域Pl的顯示。
[0146]顯示控制部2025使表示步驟S106中虛擬地拍攝的虛擬圖像的拍攝範圍的圖像和表示步驟S108中虛擬地拍攝的虛擬圖像的拍攝範圍的圖像重疊顯示於在顯示圖像P的各顯示區域Pl?P7顯示的圖像(步驟S110)。
[0147]圖6是在立體圖像的第一張虛擬拍攝圖像與第二張虛擬拍攝圖像的拍攝範圍基本一致的情況下的顯示圖像P。
[0148]作為表示步驟S106中虛擬地拍攝的立體圖像的第一張虛擬圖像的拍攝範圍的圖像，在顯示圖像P顯示矩形的框F1。另外，作為表示步驟S108中虛擬地拍攝的立體圖像的第二張虛擬拍攝圖像虛擬圖像的拍攝範圍的圖像，在顯示圖像P顯示矩形的框F2。在圖6中，由於框Fl的位置與框F2的位置幾乎相同，所以省略框F2。但是，也可以不省略框F2，還可以省略框Fl而不省略框F2。
[0149]在此，對顯示控制部2025生成框F1、F2並進行顯示的方法進行說明。
[0150]顯示控制部2025根據照相機參數取得部2021取得的照相機參數，在虛擬空間內生成表示右手眼相機15R的視場的四稜錐。例如，顯示控制部2025根據右手眼相機15R的像素比來決定四稜錐的底邊的四邊形的縱橫比。而且，顯示控制部2025根據右手眼相機15R的焦距來決定底面相對於距離頂點的距離的大小。
[0151]接下來，顯示控制部2025在虛擬空間內，在生成的四稜錐與作業臺、工件A等交錯時，生成框F1、F2。通過像這樣生成框F1、F2，能夠簡化處理。
[0152]然後，顯示控制部2025根據虛擬空間內的框Fl、F2的位置將框Fl、F2顯示於顯示圖像P。由此，在顯示於顯示圖像P的各顯示區域Pl?P7的圖像重疊顯示框F1、F2。此夕卜，在本實施方式中，為能夠識別框Fl與框F2，框Fl以粗線顯示、框F2以細線顯示。但是，為能夠識別框Fl與框F2，也可以用不同的形狀或不同的顏色來顯示框Fl與框F2，並不局限於改變線的粗細的方式。
[0153]圖7是相對於圖6所示的情況、在虛擬空間內使右臂IlR (即，右手眼相機15R)向右方移動的情況的顯示圖像P。在圖7中，由於右臂IlR能夠大範圍移動，所以在俯瞰圖像顯示區域P1、虛擬拍攝圖像顯示區域P2以及虛擬拍攝圖像顯示區域P7中，在不同的位置顯示框Fl和框F2。
[0154]另外，在虛擬拍攝圖像顯示區域P5中，在圖6所示的情況下，在虛擬拍攝圖像顯示區域P5的周邊附近，框Fl僅被顯示一邊，與此相對，在圖7所示的情況下，在虛擬拍攝圖像顯示區域P5的中央附近顯示有框F1。
[0155]圖8是相對於圖7所示的情況，在虛擬空間內使右臂IlR向上方(遠離作業臺的方向)移動的情況的顯示圖像P。在圖8中，由於右臂IlR與作業臺的距離比圖7所示的情況遠，所以框F2的大小比圖7的大。
[0156]這樣，由於在俯瞰圖像顯示區域P1、虛擬拍攝圖像顯示區域P2以及虛擬拍攝圖像顯示區域P7 (特別是俯瞰圖像顯示區域Pl)顯示框Fl與框F2，所以能夠容易地把握多個圖像的拍攝範圍如何地不同。另外，通過在顯示第二張拍攝圖像的虛擬拍攝圖像顯示區域P5顯示框F1，能夠容易地把握第一張拍攝範圍與第二張拍攝範圍的重疊程度和重疊範圍。
[0157]此外，在圖6?圖8中，與框F1、F2同時重疊顯示有右手眼相機15R的光軸X。由此，能夠容易地把握照相機的位置、拍攝圖像的拍攝方向。
[0158]顯示控制部2025判斷是否結束立體圖像中的第二張虛擬拍攝圖像的、實時取景圖像的拍攝(步驟S112)。顯示控制部2025在經由輸入裝置25等輸入結束指示的情況下，能夠判斷為結束實時取景圖像的拍攝。或者，顯示控制部2025也可以根據在步驟SllO中顯示的框Fl與框F2的位置關係來判斷是否結束實時取景圖像的拍攝。例如，在框Fl與框F2的重疊區域為框F1、F2的大小的八成左右的情況下，可以判斷是否結束實時取景圖像的拍攝。
[0159]對未結束實時取景圖像的拍攝的情況而言(在步驟S112為否)，實時取景圖像生成部2024根據在步驟S102中生成的右手眼相機15R的虛擬拍攝圖像對立體圖像中的第二張虛擬拍攝圖像的、作為實時取景圖像的下一幀的圖像虛擬地拍攝(步驟S114)。然後，進行步驟S110。在該步驟SllO中，將虛擬圖像顯示區域P5的顯示變更為在步驟S114取得的圖像,並且,將表示步驟S106中虛擬地拍攝的虛擬圖像的拍攝範圍的圖像和表示步驟SI 14中虛擬地拍攝的虛擬圖像的拍攝範圍的圖像重疊顯示於在顯示圖像P的各顯示區域Pl?P7顯示的圖像。
[0160]對結束實時取景圖像的拍攝的情況而言(在步驟S112為是)，實時取景圖像生成部2024將在步驟S108中虛擬地拍攝的實時取景圖像作為第二張虛擬拍攝圖像的靜態圖像來虛擬地拍攝(步驟S116)。然後，結束處理。
[0161]根據本實施方式，在模擬中，能夠在拍攝立體圖像之前獲知圖像的拍攝範圍。特別是在本實施方式中，由於在能夠獲知虛擬空間內的位置關係的圖像(在本實施方式中是俯瞰圖像顯示區域Pl)顯示表示第一張圖像的拍攝範圍的圖像和表示第二張圖像的拍攝範圍的圖像，所以能夠容易地把握多個圖像的拍攝範圍如何地不同。因此，能夠減少在模擬中取得立體圖像時的試錯，從而能夠減輕作業者的負擔。
[0162]另外，在本實施方式中，由於在虛擬地拍攝的第二張拍攝圖像顯示表示虛擬地拍攝的第一張圖像的拍攝範圍的圖像，所以在模擬中能夠容易地把握第一張拍攝範圍與第二張拍攝範圍的重疊程度和重疊範圍。
[0163]特別是在本實施方式中，在利用模擬拍攝立體圖像時，由於能夠獲知已經拍攝到的圖像的拍攝範圍，所以不使機器人實際運動，就能夠以較少的試錯而獲知能夠拍攝適當的立體圖像的照相機的位置以及姿勢。
[0164]此外，在本實施方式中，能夠利用右手眼相機15R來虛擬地拍攝取得工件A的三維信息的立體圖像，但拍攝立體圖像的並不局限於手眼相機。例如，如圖9所示，也可以在相當於機器人1A的頭的部分設置拍攝部16，從而利用拍攝部16來拍攝立體圖像。
[0165]另外，在本實施方式中，使用右手眼相機15R對立體圖像的第一張圖像以及第二張圖像這雙方虛擬地拍攝，但拍攝立體圖像的第一張圖像的拍攝部與拍攝第二張圖像的拍攝部也可以不同。例如，可以使用第二頂板拍攝部41來虛擬地拍攝第一張圖像，使用右手眼相機15R來虛擬地拍攝第二張圖像。另外，例如，可以在右臂IlR設置多個照相機，分別使用不同的照相機來虛擬地拍攝各自的圖像。例如，可以在右臂IlR設置2個焦距不同的照相機，使用焦距長的照相機來虛擬地拍攝第一張圖像，使用焦距短的照相機來虛擬地拍攝第二張圖像。
[0166]另外，在本實施方式中，作為表示立體圖像的拍攝範圍的信息而顯示框F1、F2，但表示立體圖像的拍攝範圍的信息並不局限於框。例如，如圖10所示，在虛擬空間內，顯示控制部2025可以通過顯示四邊形(圖形)亦即圖形F3來表示立體圖像的拍攝範圍，該四邊形是對在表示拍攝範圍的四稜錐與作業臺、工件A等交錯時的拍攝範圍內包含的部分以與其它的部分不同的顏色全面塗抹的四邊形。此外，框、以顏色全面塗抹的圖形的形狀並不局限於四邊形。另外，圖形F3是以一種顏色全面塗抹四邊形的內部的圖像，但全面塗抹框的方式並不局限於此。例如，可以通過在四邊形的內部附加兩種顏色相間花紋等的圖案、在四邊形的內部劃有影線來全面塗抹四邊形的內部。
[0167]另外,例如,如圖11所示，顯示控制部2025可以通過將表示拍攝範圍的四稜錐F4重疊顯示於俯瞰圖像來表示立體圖像的拍攝範圍。由此，能夠更容易地把握拍攝範圍。此夕卜，表示拍攝範圍的四稜錐能夠通過拉引連結光軸上的任意的點與框F2 (或框Fl)的頂點的線來生成。作為立體圖形，並不局限於四稜錐，也可以是四稜台。
[0168]另外，在本實施方式中，作為表示立體圖像的拍攝範圍的信息，與框F1、F2—起顯示了光軸X，但光軸的顯示並不是必須的。例如，可以僅是框F1、F2等圖形。或者，可以取代框F1、F2等圖形而僅顯示拍攝虛擬拍攝圖像的照相機的光軸X。但是，與框F1、F2 一起顯示光軸X的情況同其它的情況相比，具有能夠獲得較多的信息的效果。
[0169]另外，在本實施方式中，按順序取得立體圖像的第一張圖像和第二張圖像，但對該第一張圖像、第二張圖像而言，為了方便，可以使用2個拍攝部來同時拍攝2張圖像。該情況下，對2張圖像，一邊拍攝實時取景圖像，一邊使表示2張圖像的拍攝範圍的信息重疊顯示即可。
[0170]另外，在本實施方式中，以靜態圖像取得立體圖像的第一張圖像，作為實時取景圖像取得立體圖像的第二張圖像，但靜態圖像以及實時取景圖像作為拍攝的一個方式進行例示，立體圖像的第一張圖像以及第二張圖像的拍攝方式並不局限於此。本發明的拍攝是包含按下快門(釋放)來取得靜態圖像或動畫的情況、不按快門(釋放)而取得實時取景圖像的情況的概念。
[0171]另外，在本實施方式中，在已經配置有機器人10、第一拍攝部30、第二拍攝部31、第一頂板拍攝部40以及第二頂板拍攝部41等的狀態下，為獲知工件A的位置、形狀等而拍攝了立體圖像，但拍攝立體圖像的目的並不局限於此。例如，也可以在第一拍攝部30和第二拍攝部31的配置位置未被決定的狀態下，在虛擬空間內暫時配置第一拍攝部30和第二拍攝部31，並將第一拍攝部30和第二拍攝部31的拍攝範圍重疊顯示於俯瞰圖像，參考上述情況來決定第一拍攝部30和第二拍攝部31的配置位置。
[0172]另外，在本實施方式中，以由2張圖像構成的立體圖像為例進行了說明，但構成立體圖像的圖像的張數並不局限於2張。
[0173]第二實施方式
[0174]本發明的第一實施方式是在通過模擬來虛擬地拍攝立體圖像時顯示表示拍攝範圍的圖像的實施方式，但顯示表示拍攝範圍的圖像的情況並不局限於通過模擬來拍攝圖像的情況。
[0175]本發明的第二實施方式是在拍攝實際的圖像時顯示表示拍攝範圍的圖像的實施方式。以下，對第二實施方式的機器人系統2進行說明。其中，機器人系統2的結構由於與機器人系統I的結構相同，所以省略說明。另外，關於機器人系統2的作用，對與第一實施方式相同的部分標註相同的附圖標記，並省略說明。
[0176]圖12是表示圖像處理部202根據實際拍攝的圖像來顯示表示拍攝圖像的範圍的圖像的處理的流程的流程圖。該處理例如由實際拍攝立體圖像的第一張圖像而開始。
[0177]若拍攝控制部2012控制右手眼相機15R來輸出靜態圖像的拍攝指示，則對圖像取得部203而言，右手眼相機15R取得拍攝的靜態圖像，並輸出至圖像處理部202(步驟S200)。
[0178]若拍攝控制部2012控制右手眼相機15R來輸出實時取景圖像的拍攝指示，則對圖像取得部203而言，右手眼相機15R取得拍攝的實時取景圖像中的第一幀的圖像，並輸出至圖像處理部202 (步驟S202)。
[0179]若顯示控制部2025取得了右手眼相機15R拍攝的實時取景圖像，則將取得的圖像輸出至輸出裝置26 (步驟S204)。由此，在輸出裝置26顯示實時取景圖像。由於在本實施方式中利用右手眼相機15R進行拍攝，所以此時顯示的實時取景圖像與在圖6等中的在虛擬拍攝圖像顯示區域P5中表示的圖像幾乎相同。
[0180]顯示控制部2025將框Fl顯示於在實時取景圖像中、在步驟S200中取得的第一張圖像的位置(步驟S206)。框Fl的位置例如能夠根據右臂IlR的移動量、右手眼相機15R的照相機參數算出。另外，框Fl的位置能夠根據在步驟S200拍攝的圖像和俯瞰圖像生成部2023生成的俯瞰圖像來算出。
[0181]顯示控制部2025判斷是否結束立體圖像中的第二張拍攝圖像的、實時取景圖像的拍攝(步驟S208)。與第一實施方式相同，對顯示控制部2025而言，在經由輸入裝置25等被輸入結束指示的情況下，能夠判斷為結束實時取景圖像的拍攝。或者，與第一實施方式相同，顯示控制部2025也可以根據第一張圖像的拍攝範圍與第二張圖像的拍攝範圍的位置關係來判斷是否結束實時取景圖像的拍攝。
[0182]在未結束實時取景圖像的拍攝的情況下(在步驟S208為否)，拍攝控制部2012經由右手眼相機15R對立體圖像中的第二張虛擬拍攝圖像的、作為實時取景圖像的下一幀的圖像進行拍攝，從而圖像取得部203取得該圖像(步驟S210)。然後，進行步驟S204。
[0183]在結束實時取景圖像的拍攝的情況下(在步驟S208為是)，顯示控制部2025結束處理。
[0184]根據本實施方式，能夠在實際拍攝立體圖像之前獲知圖像的拍攝範圍。因此，能夠減少在取得立體圖像的第二張以後的圖像時的試錯，從而能夠減輕作業者的負擔。特別是由於在拍攝的第二張拍攝圖像顯示有表示拍攝的第一張圖像的拍攝範圍的信息，所以能夠容易地把握第一張拍攝範圍與第二張拍攝範圍的重疊程度和重疊範圍。
[0185]此外，在本實施方式中，立體圖像的第一張圖像、第二張圖像實際上都是使用右手眼相機15R拍攝的，但實際上也可以僅對立體圖像的第一張圖像使用右手眼相機15R進行拍攝，然後通過模擬來進行顯示圖像P以及框F1、F2的顯示(代替圖5所示的步驟S106而進行步驟S200)。另外，也可以是立體圖像的第一張圖像通過模擬取得，而第二張圖像為實際拍攝取得(進行圖5所示的步驟S106之後進行圖10的步驟S204)。
[0186]以上，使用實施方式對本發明進行了說明，但本發明的技術範圍並不局限於上述實施方式所記載的範圍。本領域技術人員很清楚可以對上述實施方式實施多樣的改變或改進。另外，實施上述改變或改進的實施方式也包含於本發明的技術範圍內，但可以根據權利要求的記載來明確。特別是在第一、第二實施方式中，例示了提供獨立設置機器人與機器人控制部的機器人系統的情況，但可以提供獨立設置機器人與機器人控制部的機器人系統，也可以提供在機器人中包含機器人控制部等的機器人，也可以提供只有機器人控制部或由機器人控制部以及拍攝部構成的機器人控制裝置。另外，本發明還能夠提供控制機器人等的程序、存儲程序的存儲介質。
[0187]而且，在提供機器人控制部的情況中，在本發明的技術的範圍中包含如下2種情況:1.機器人控制部包含拍攝部的情況、2.機器人控制部不含拍攝部的情況。另外，在提供機器人系統以及機器人的情況下，在本發明的技術的範圍包含如下4種情況:1.機器人包含拍攝部以及機器人控制部的情況；2.機器人包含拍攝部、但不含機器人控制部的情況；
3.機器人包含機器人控制部、但不含拍攝部的情況；4.機器人不含拍攝部和機器人控制部，拍攝部與機器人控制部在不同的殼體或拍攝部與機器人控制部在相同的殼體的情況。
[0188]附圖標記說明:
[0189] 1、2…機器人系統；10、10A...機器人；11…臂；11L...左臂；11R…右臂；lla…軸；12…聯軸器；13…連杆;14…手部;15…手眼相機;15L...左手眼相機;15R…右手眼相機；15a…光軸;16…拍攝部;20…控制部;2Ρ..〇Ρυ ;22…存儲器；23…外部存儲裝置;24…通信裝置；25…輸入裝置；26…輸出裝置；30…第一拍攝部；31…第二拍攝部；40…第一頂板拍攝部；41…第二頂板拍攝部；200…圖像取得部；201…機器人控制部；202…圖像處理部；203…圖像取得部；2011…驅動控制部；2012…拍攝控制部；2021…照相機參數取得部；2022…三維模型信息取得部；2023…俯瞰圖像生成部；2024…實時取景圖像生成部；IND
O
【權利要求】
1.一種機器人系統,其特徵在於， 該機器人系統包含機器人、顯示部、以及使所述機器人動作的控制部， 所述機器人系統使從第一方向拍攝所述機器人的操作對象物的第一拍攝圖像的拍攝範圍和從與所述第一方向不同的方向拍攝所述操作對象物的第二拍攝圖像的拍攝範圍顯示於所述顯示部。
2.根據權利要求1所述的機器人系統，其特徵在於， 所述第二拍攝圖像是時間上連續的實時取景圖像。
3.根據權利要求1或2所述的機器人系統，其特徵在於， 所述第二拍攝圖像在取得所述第一拍攝圖像之後被取得。
4.根據權利要求1?3中任一項所述的機器人系統，其特徵在於， 所述控制部將表示所述機器人的圖像以及表示所述第一拍攝部的圖像顯示於所述顯示部。
5.根據權利要求1?4中任一項所述的機器人系統,其特徵在於， 所述控制部對所述顯示部進行如下控制:將所述第二拍攝圖像顯示於所述顯示部，並且，將表示所述第一拍攝圖像的拍攝範圍的信息重疊顯示於所述第二拍攝圖像來作為表示所述第二拍攝圖像的拍攝範圍的信息。
6.根據權利要求1?5中任一項所述的機器人系統,其特徵在於， 所述控制部將表示所述第一拍攝圖像的拍攝範圍的信息和表示所述第二拍攝圖像的拍攝範圍的信息以不同的顏色顯示於所述顯示部。
7.權利要求1?6中任一項所述的機器人系統,其特徵在於， 所述控制部將表示所述第一拍攝圖像的拍攝範圍的信息和表示所述第二拍攝圖像的拍攝範圍的信息以不同的形狀顯示於所述顯示部。
8.根據權利要求1?7中任一項所述的機器人系統，其特徵在於， 所述控制部將所述第一拍攝圖像的拍攝範圍在所述顯示部顯示為以線顯示的框來作為表示所述第一拍攝圖像的拍攝範圍的信息。
9.根據權利要求1?8中任一項所述的機器人系統，其特徵在於， 所述控制部將所述第一圖像的拍攝範圍顯示為以能夠與所述第一圖像的拍攝範圍以外的範圍識別開的顏色全面塗抹而得的圖形來作為表示所述第一拍攝圖像的拍攝範圍的信息。
10.一種圖像顯示裝置，其特徵在於，具備: 機器人控制部，其使機器人動作；以及 顯示控制部，其使從第一方向拍攝所述機器人的操作對象物的第一拍攝圖像的拍攝範圍和從與所述第一方向不同的方向拍攝所述操作對象物的第二拍攝圖像的拍攝範圍顯示於顯示部。
【文檔編號】B25J9/16GK104070524SQ201410093619
【公開日】2014年10月1日 申請日期:2014年3月13日 優先權日:2013年3月25日
【發明者】丸山健一, 恩田健至 申請人:精工愛普生株式會社