用於裝置的並列虛擬-真實圖像檢查的系統及方法

2023-05-12 15:36:56 2

專利名稱：用於裝置的並列虛擬-真實圖像檢查的系統及方法
技術領域：
本發明涉及使用攝像機的檢查系統及方法。
背景技術：
對於工業裝置及設備，根據攝像機圖像的計算機化檢查提供了非常準確的信息。然而，如果被檢查對象是複雜的(例如，現代燃氣輪機)，並且當涉及多個攝像機以及攝像機的多個配置時，檢查變得困難。經常無法直覺地想像出各攝像機或攝像機配置與被檢查裝置之間的空間關係。這妨礙了檢查的生產率。當被檢查裝置是複雜的時，檢查處理特別困難。例如，用現有檢查系統及方法檢查現代燃氣輪機產生了諸多困難。關於這一點，一個原因是因為裝置巨大而具有複雜形狀，當查驗該檢查的錄像時會難以定位。據此，對於檢查複雜裝置，需要新的和改進的系統及方法。

發明內容
本發明提供直接支持，以讓檢查裝置的檢查者意識到攝像機配置相對於被檢查裝置的確切情形。根據本發明的一方面，將攝像機安裝在致動器上，後者能夠被帶有用戶接口裝置(包括控制杆、鍵盤以及滑鼠)的計算機來控制。攝像機可以有多個自由度。計算裝置中的軟體完全控制致動器，並且知道每個攝像機的空間位置及取向。被檢查對象的CAD模型是可以得到的，並被加載至計算裝置上的軟體。將來自攝像機的視頻圖像實時地傳送至計算機。採用上述可用信息，本發明的系統能選擇性地並列呈現:來自攝像機的實況圖像；進入CAD模型的攝像機的虛擬視圖、以及攝像機和CAD模型的場面概況，以實況圖像重疊於CAD模型上。利用這些視圖，檢查者將準確地知道攝像機相對於被檢查裝置在何處，沒有接通攝像機視頻時這些視圖看起來像什麼，以及來自攝像機的真實圖像是什麼，所有這些同時都在同一應用中。這將大大有助於用戶建立預定配置、進行訓練、以及執行實際檢查。因此，根據本發明的不同方面，提供了用於檢查裝置的新的、改進的方法及系統。根據本發明的一個方面，提供了一種用於檢查裝置的的方法。將被檢查的裝置相對於多個活動攝像機布置在已知位置，多個活動攝像機被安裝在可控致動器上。然後，移動致動器，以使多個攝像機瞄準該裝置。由檢查者/用戶利用用戶接口來控制可控致動器，以定位攝像機。計算裝置訪問被檢查裝置的CAD模型，並且根據該CAD模型繪製被檢查裝置的虛擬圖像。
然後，由攝像機(或多個攝像機)在顯示器上產生被檢查裝置的圖像。計算裝置還使得該裝置的被繪製的虛擬圖像顯示在顯示器上。根據本發明的一方面，由攝像機產生的該裝置的圖像以及根據CAD模型的繪製的虛擬圖像並列顯示在顯示器上。根據本發明的另一方面，由攝像機產生的該裝置的圖像以及根據CAD模型的繪製的虛擬圖像，還按照以該圖像重疊於繪製的虛擬圖像上的重疊方式顯示，使得該圖像適當地位於該CAD模型的繪製的虛擬圖像上。根據本發明的另一方面，來自多個攝像機的一個或多個附加圖像，按照以多個圖像重疊於繪製的虛擬圖像上的重疊方式顯示，使得多個圖像的每一個適當地位於該CAD模型的繪製的虛擬圖像上。根據本發明的另一方面，該裝置可以在取得該裝置的圖像之後進行檢查。在這種情況下，圖像由攝像機取得像，然後被存儲，以便根據本發明的方面進行分析。根據本發明的該方面，計算裝置檢索該裝置的圖像、產生該圖像的攝像機的多個物理特徵、該攝像機的位置及取向、以及該裝置相對於該攝像機的校準。該計算裝置還檢索被檢查裝置的CAD模型。該計算裝置根據該裝置的CAD模型繪製該裝置的虛擬圖像。取決於該裝置被感興趣的區段，該計算裝置可以繪製該CAD模型的一部分或其全部。然後，該計算裝置使得該裝置的圖像和該裝置虛擬圖像的對應區段同時顯示。由攝像機產生的該裝置的圖像以及根據CAD模型的繪製的虛擬圖像可以並列顯示在顯示器上。附加地，由攝像機產生的該裝置的圖像以及根據CAD模型的繪製的虛擬圖像可以按照以該圖像重疊於繪製的虛擬圖像上的重疊方式顯示，使得該圖像適當地位於CAD模型的繪製的虛擬圖像上。來自多個攝像機的一個或更多的附加圖像按照可以按照以多個圖像重疊於繪製的虛擬圖像上的重疊方式顯示，使得多個圖像的每一個適當地位於CAD模型的繪製的虛擬圖像上。根據本發明的方面，還提供了執行上面所描述的方法以及這裡所描述的其它方法的系統。根據本發明的一方面，一種用於檢查裝置的檢查系統，包括:多個攝像機，多個攝像機中的每一個被安裝於可控致動器，並且瞄準該裝置。該系統還包括該裝置的CAD模型，其存儲在可由計算裝置訪問的存儲器中。計算裝置繪製被檢查裝置至少一個區段的虛擬圖像。該系統包括至少一個顯示器，其與多個攝像機連接，以便顯示來自多個攝像機中一個或多個攝像機的圖像。該計算裝置與每個可控致動器連接，並且與該至少一個顯示器連接，以及，該計算裝置包括用戶接口，以便控制每個可控致動器。該計算裝置還使得繪製的虛擬圖像被顯示在該至少一個顯示器上。


圖1圖示了根據本發明一個方面的用於檢查裝置的系統；圖2圖示了由計算裝置顯示在顯示器上的致動器的位置數據；以及圖3圖示了根據本發明一個方面的計算裝置顯示在顯示器上的窗口。
具體實施例方式圖1圖示了被檢查裝置以及根據本發明一個方面的檢查系統。示出了正在被檢查的裝置10。裝置10可以是大量裝置中的任何一種，這些裝置包括渦輪機、燃氣輪機，等等。被檢查裝置在尺寸上以及在形狀上都可能相當複雜。當使用攝像機進行檢查時，相當容易失去定位缺陷所在的蹤跡。這些缺陷可能包括損傷、裂縫、汙點以及其它缺陷。多個攝像機12、14在被檢查裝置10內移動，以便進行檢查。攝像機12、14被安裝於活動、可控的致動器16上。根據本發明的一個方面，致動器16包括第一臂18和第二臂20。雖然示出了兩個攝像機12、14，但也可使用單一攝像機。可選擇地，還可以使用兩個以上的攝像機。第一臂18可以控制使其沿箭頭22所示方向移動。因此，可以使攝像機12、14移過被檢查裝置10的中心，以便執行檢查。第二臂20可以在箭頭24所示方向轉動。還能使第二臂20於圖面內外轉動。因此，可控活動制動器16具有多個自由度。使致動器16沿方向22移動時，可以使第二臂20轉動，以便查驗被檢查裝置10的全部內部區段。根據本發明的另一方面，將傳輸電路安裝於致動器16，以便經由接口 28將致動器16的位置及取向傳送給計算裝置26。傳輸電路也能將攝像機12和14的全部物理特徵傳輸給計算裝置26。以這種方式，計算裝置26知道攝像機12和14正看著裝置10的什麼，以及計算裝置26理解攝像機12和14的特徵。根據本發明一個方面用於檢查裝置的系統進一步示於圖2中。示出了待檢查的裝置30。該裝置通常是一種複雜裝置，諸如燃氣輪機。該系統包括多個攝像機32和34。與之前一樣，儘管示出了兩個攝像機，但可以使用兩個以上的攝像機。根據本發明的其它方面，也可以使用單一攝像機。所使用攝像機的類型是用於執行複雜裝置檢查的標準工業攝像機。每個攝像機32和34被分別安裝於致動器36和38。根據本發明的一個方面，致動器36和38是包括多個部分的單一結構的部分。可選擇地，每個致動器36和38可以是單獨的致動器結構。致動器36和38為多個攝像機32和34的每一個提供多個自由度。以這種方式，能使攝像機32、34瞄準被檢查裝置上的任何期望的部位。致動器可以由計算裝置40通過接口 42進行控制。該計算裝置可以是任何類型的計算裝置，包括個人計算機、便攜計算機、或者特別設計的計算機。由用戶接口控制致動器36和38相對於被檢查裝置的位置及取向，該用戶接口是計算裝置40的部分。可以使用的用戶接口包括滑鼠、鍵盤、小鍵盤、觸控螢幕、以及控制杆。它們被作為計算裝置的部分提供。本系統包括一個或多個顯示器44，其與多個攝像機32和34的每一個相連接。在本發明的一種實施例中，將每個攝像機32和34與顯示器44連接。根據本發明的另一方面，一個攝像機可以單獨與一個顯示器連接。在存儲器48中存儲了多個可能被檢查裝置的一個或多個CAD模型。存儲器48可以是遠程伺服器的部分，由計算裝置40以遠程方式對該遠程伺服器進行訪問。存儲器48包括被檢查裝置30的CAD模型。
計算裝置40根據被檢查裝置的CAD模型繪製被檢查裝置的虛擬圖像。這種繪製可以使用公開可得到的軟體諸如openGL進行。計算裝置40能繪製整個被檢查裝置的完整虛擬圖像，或者能繪製被檢查裝置一些部分的虛擬圖像，以節省時間。從計算裝置40上的用戶接口來控制攝像機32和34的位置及取向，以便獲得被檢查裝置的圖像。根據本發明的一個方面，同時顯示來自被檢查裝置的圖像以及繪製的虛擬圖像。圖3圖示了由計算裝置40顯示的窗口 50。圖像52和54是來自被檢查裝置的實況圖像。如果有缺陷，諸如損傷、裂縫、脫色(decoloration)等等，這些缺陷將呈現在這裡。然而，簡單查驗這些圖像會留給檢查者被檢查裝置中有關它們位置的不確定性。檢查者也會不確定被檢查裝置的自然狀態以及事實上是否有缺陷。因此，相對於實況圖像，本發明還顯示繪製的虛擬圖像，如圖像56和58。因此，使實況圖像52與繪製的虛擬圖像58相關。此外，使實況圖像54與繪製的虛擬圖像56相關。一般地，在給定虛擬攝像機位置和內部特徵的情況下，根據CAD模型繪製虛擬圖像。為了建立虛擬圖像與實況圖像之間的相互關係，虛擬攝像機必須具有與實況攝像機相同的位置和內部特性。內部校準過程評價實況攝像機的內部特性。在內部校準過程之後，根據致動器位置的讀取，計算實況攝像機在任何時間關於CAD模型的位置。一旦得到實況攝像機的位置和內部參數，由虛擬攝像機使用它們，以便使用計算機圖形技術諸如OpenGL繪製根據CAD模型的虛擬圖像56或58。虛擬圖像和實況圖像示出類似的結構，諸如實況圖像54和虛擬圖像56中上面中央處的孔。因此，本發明的方面允許被檢查裝置的實況圖像與繪製的虛擬圖像一起顯示。根據本發明的一個方面，將實況圖像54與繪製的虛擬圖像56相鄰顯示。這些圖像可以並列顯示。這讓處於檢查之下的裝置中的缺陷更容易識別，因為檢查者能觀察處於其未使用狀態下的該裝置的模型，同時查驗已經被使用的被檢查裝置的圖像。附加或者替換地，在窗口 60中，可以將實況視頻圖像52重疊在繪製的虛擬圖像62的較大版本上作為圖像64。這是通過使位置互相關聯做到的。因為致動器將其位置報告給計算裝置，計算裝置知道這些攝像機的位置及取向。此外，可以將必要的攝像機的物理特徵通過致動器接口傳送給計算裝置。可選擇地，攝像機的物理特徵可以被存儲在存儲器中，並且在需要時由計算裝置訪問。計算裝置使用這種信息，以便在繪製的虛擬圖像62上定位實況圖像64和66。如圖3中所示，多個圖像64和66可以重疊於處在檢查之下裝置的繪製的虛擬圖像62上。顯示器60幫助檢查者容易地識別圖像的部位、以及位於實況圖像52、54中的任何缺陷的部位。可以按不同模式使用本發明的檢查站。在第一模式中，將由被檢查裝置的實時檢查產生的實況圖像傳送至計算裝置。在這種情況下，該計算裝置實時地執行上述步驟，並且可以用來控制致動器的位置，並因此控制攝像機的位置。根據本發明的另一方面，使用攝像機和活動可控制動器可以產生裝置的圖像，並且將這些圖像存儲在存儲器中。當來到分析時間時，將圖像存儲在由計算裝置可訪問的存儲器中。
如之前那樣，計算裝置可以訪問被檢查裝置的CAD模型。使用例如openGL，計算裝置根據CAD模型繪製被檢查裝置的虛擬圖像。然後，計算裝置使得一個或更多的實況圖像與繪製的虛擬圖像同時顯示。如上面所描述的那樣，實況圖像和繪製的虛擬圖像的顯示或者並列、或者按重疊方式，或者以二者方式。在圖3中示出了並列顯示和重疊顯示。在檢查之前，將被檢查裝置相對攝像機/致動器布置在已知位置。這允許計算裝置使這些圖像與該裝置的CAD模型的適當區段相關聯。這被稱為校準。校準可以手動方式執行，並且將校準的細節報告給計算裝置。雖然示出、描述並且指出了本發明應用於其優選實施方式時的基本新穎特徵，但是應當理解，在所示出的方法及系統的形式和細節中以及在其操作中都可以由本領域技術人員進行各種省略、置換以及改變，而不偏離本發明的精神。因此，本發明只由權利要求的範圍所指示的那樣被限定。
權利要求
1.一種用於檢查裝置的方法，包括: 將所述裝置相對於多個活動攝像機布置在已知位置，所述多個活動攝像機被安裝在可控致動器上； 將所述多個攝像機瞄準所述裝置； 利用用戶接口控制所述可控致動器，以便定位所述攝像機； 利用計算裝置根據所述裝置的CAD模型繪製虛擬圖像； 將由所述攝像機產生的所述裝置的圖像顯示在顯示器上；以及 所述計算裝置使得所述裝置的繪製的虛擬圖像顯示在所述顯示器上。
2.根據權利要求1所述的方法，其中，由所述攝像機產生的所述裝置的圖像以及根據所述CAD模型的繪製的虛擬圖像被並列顯示在所述顯示器上。
3.根據權利要求1所述的方法，其中，由所述攝像機產生的所述裝置的圖像以及根據所述CAD模型的繪製的虛擬圖像，還按照以所述圖像重疊於所述繪製的虛擬圖像上的重疊方式顯示，使得所述圖像適當地位於所述CAD模型的繪製的虛擬圖像上。
4.根據權利要求3所述的方法，其中，來自所述多個攝像機的一個或多個附加圖像，按照以所述多個圖像重疊於所述繪製的虛擬圖像上的重疊方式顯示，使得所述多個圖像的每一個適當地位於所述CAD模型的繪製的虛擬圖像上。
5.根據權利要求3所述的方法，其中，當顯示所述圖像和所述繪製的虛擬圖像時，根據所述可控致動器的所述定位及取向，以及根據所述多個攝像機中至少一個的所述物理特徵，所述計算裝置處理所述圖像和所述繪製的虛擬圖像。
6.根據權利要求3所述的方法，其中，所述可控致動器能以多個自由度移動。
7.根據權利要求6所述的方法，其中，所述可控致動器將位置及取向報告給所述計算裝置，以及所述計算裝置使用所述位置及取向以及有關所述多個攝像機的物理特徵的信息來繪製所述虛擬圖像。
8.一種用於檢查裝置的方法，包括: 計算裝置，其檢索所述裝置的圖像、產生所述圖像的攝像機的多個物理特徵、所述攝像機的位置及取向、以及所述裝置相對於所述攝像機的校準； 所述計算裝置檢索所述裝置的CAD模型； 所述計算裝置根據所述裝置的CAD模型繪製所述裝置的虛擬圖像； 所述計算裝置使得所述裝置的所述圖像與所述裝置的虛擬圖像的對應區段同時顯示。
9.根據權利要求8所述的方法，其中，將由所述攝像機產生的所述裝置的圖像與根據所述CAD模型的繪製的虛擬圖像並列顯示在所述顯示器上。
10.根據權利要求8所述的方法，其中，將由所述攝像機產生的所述裝置的圖像以及根據所述CAD模型的繪製的虛擬圖像，按照以所述圖像重疊於所述繪製的虛擬圖像上的重疊方式顯示，使得所述圖像適當地位於所述CAD模型的繪製的虛擬圖像上。
11.根據權利要求10所述的方法，其中，將來自所述多個攝像機的一個或更多的附加圖像，按照以所述多個圖像重疊於所述繪製的虛擬圖像上的重疊方式顯示，使得所述多個圖像的每一個適當地位於所述CAD模型的繪製的虛擬圖像上。
12.根據權利要求10所述的方法，其中，當顯示所述圖像以及所述繪製的虛擬圖像時，根據所述可控致動器的位置及取向，以及根據所述多個攝像機中至少一個的物理特徵，所述計算裝置處理所述圖像以及所述繪製的虛擬圖像。
13.一種用於檢查裝置的檢查系統，包括: 多個攝像機，所述多個攝像機中的每一個被安裝在可控致動器上並且瞄準所述裝置； 所述裝置的CAD模型，其被存儲在可由計算裝置訪問的存儲器中，其中，所述計算裝置繪製被檢查的所述裝置的至少一個區段的虛擬圖像； 至少一個顯示器，與所述多個攝像機連接，以便顯示來自所述多個攝像機中的一個或多個的圖像； 所述計算裝置與每個可控致動器連接，並且與所述至少一個顯示器連接，所述計算裝置包括用戶接口，以便控制每個可控致動器； 其中，將所述繪製的虛擬圖像也顯示在所述至少一個顯示器上。
14.根據權利要求13所述的系統，其中，由所述攝像機產生的所述裝置的圖像與根據所述CAD模型的繪製的虛擬圖像被並列顯示在所述顯示器上。
15.根據權利要求13所述的系統，其中，由所述攝像機產生的所述裝置的圖像以及根據所述CAD模型的繪製的虛擬圖像，按照以所述圖像重疊於所述繪製的虛擬圖像上的重疊方式被顯示，使得所述圖像適當位於所述CAD模型的繪製的虛擬圖像上。
16.根據權利要求15所述的系統，其中，來自所述多個攝像機的一個或更多的附加圖像，按照以所述多個圖像重疊於所述繪製的虛擬圖像上的重疊方式被顯示，使得所述多個圖像的每一個適當地位於所述CAD模型的繪製的虛擬圖像上。
17.根據權利要求13所述的系統，其中，所述可控致動器能以多個自由度移動。
18.根據權利要求17所述的系統，其中，所述可控致動器將位置及取向報告給所述計算裝置，以及所述計算裝置使用所述位置及取向以及有關所述多個攝像機的物理特徵的信息來繪製所述虛擬圖像。
全文摘要
本發明披露了用於檢查裝置的系統及方法。本方法包括將該裝置相對於多個活動攝像機(32、34)布置在已知位置。多個活動攝像機被安裝在可控致動器(36、38)上。通過利用用戶接口控制可控致動器來定位攝像機，使多個攝像機瞄準該裝置。計算裝置(40)利用計算裝置根據該裝置的CAD模型繪製虛擬圖像。將由攝像機產生的該裝置的圖像顯示在顯示器(44)上。該計算裝置還使得該裝置的繪製的虛擬圖像顯示在該顯示器上。攝像機圖像和繪製圖像能夠以並列方式、重疊方式、或以二者方式顯示。
文檔編號G01B11/16GK103119425SQ201180045661
公開日2013年5月22日 申請日期2011年9月23日 優先權日2010年9月24日
發明者謝炳龍, Y.金克, 高翔 申請人:西門子公司