用於檢測和減輕光學系統中的光學損傷的方法和裝置與流程

2023-07-14 07:32:21 4

本發明一般地涉及諸如可包括在機器視覺系統或其它光電子系統中的光學系統，並且特別地涉及檢測和減輕光學系統中的機械不對準。

背景技術：

光學系統在各種行業中被廣泛地使用。光電子系統特別地提供寶貴的監視和對象檢測能力，包括在安全關鍵應用中。作為示例，可使用單相機或多相機成像系統來監視或「保護」工業機器人、金屬壓機或其它危險機器周圍的區域，並響應於檢測到人類正進入受保護的危險區域的侵入而提供應急停止信令。

許多機器視覺系統使用體視（stereoscopic）視覺或多相機成像，其涉及到具有重疊視場的兩個或更多相機。通過從不同的視角觀察相同的一個或多個對象，多個視圖中的各個視圖中的對象位置之間的觀察到的差異（disparity）提供用於計算到那些對象的距離的基礎。在示例性情況下，機器視覺系統使用體視圖像處理來檢測被監視區中的對象並計算到那些對象的距離。此類檢測可以是安全關鍵的，諸如當被監視區表示工業機器周圍的危險區域或體積且依賴於機器視覺系統以便檢測對象進入被監視區域的侵入時。在這裡，術語「對象」可以被寬泛地理解成包括人類。

機器視覺系統的準確度和總體性能取決於許多關鍵的機械對準。考慮例如圖1，其描繪了可能包括在機器視覺系統的傳感器頭或其它相機組件內的示例性透鏡6和圖像傳感器8（「成像器8」）。在適用製造精度和公差的極限內，相機組件固定透鏡6和成像器8的相對定位，成像器8其可以是電荷耦合器件（CCD）或其它像素陣列。

在圖2的背景下更好地理解這些關鍵對準，圖2示出了關於透鏡6的焦平面的成像器8的圖像平面。在沒有不對準問題的情況下，相機組件將圖像平面平行於焦平面固定，並且將圖像平面固定在距焦平面適當距離d處。

然而，由於老化、熱膨脹、振動、衝擊等，可引入各種類型的機械不對準，諸如成像器8在垂直於光軸的方向上相對於透鏡6的相對移位或平移。這些橫向移位（無論是由透鏡6還是成像器8還是兩者的移動引起的）使圖像平面的光學中心或原點R從光軸移開且與焦平面的光學中心或原點O不對準。

此外，透鏡6和/或成像器8可能沿著光軸移位。這些移位（被稱為縱向平移）改變透鏡6與成像器8之間的距離d。縱向平移有效地改變相機組件的放大率或焦距。

作為不對準的另一示例，成像器8可繞著光軸旋轉。此類旋轉有效地使圖像投影從透鏡6旋轉到圖像平面上。此外，透鏡6和/或成像器8的任何相對傾斜將導致圖像平面不再與焦平面平行。傾斜改變到圖像平面上的圖像投影，並且類似於另一個（前述不對準），降低機器視覺系統準確地處理從其相機獲得的圖像的能力。

在聚焦質量和/對比度的背景下出現其它問題。透鏡6可具有例如聚焦質量輪廓，其中，透鏡6的聚焦質量在透鏡中心處最高且在透鏡的邊緣處最低。圖3描繪了用於透鏡6的示例性聚焦質量輪廓。

雖然透鏡6的聚焦質量輪廓一般將使得透鏡的最低聚焦質量是可接受的，至少在標稱操作條件下，透鏡6和/或成像器8上的朦朧、霧化、油汙、灰塵等將降低在從成像器8獲取的圖像中看到的聚焦質量和/或對比度。諸如場景照明中的變化之類的其它環境變化也可使對比度或其它圖像參數退化。

技術實現要素：

根據本文中的教導的一個方面，一種方法和裝置在機器視覺系統的運行時操作期間檢測機器視覺系統中的機械不對準，並且基於檢測到的不對準來補償圖像處理，除非檢測到的不對準過多。可通過基於它們來確定最壞情況誤差來檢測過多不對準。如果最壞情況誤差超過定義極限，則機器視覺系統過渡至故障狀態。故障狀態可包括中斷危險機器的操作或執行一個或多個其它故障狀態操作。在檢測到的不對準之中的是用於成像的單獨相機內的內部不對準以及相機之間的相對不對準。該方法和裝置還可執行焦點的運行時驗證，並響應於檢測到不足的聚焦質量而使機器視覺系統過渡至故障狀態。

在示例性實施例中，在運行狀態下操作的機器視覺系統實現一種方法，該方法包括從包括立體相機對並對包含一個或多個參考標記的場景進行成像的第一和第二相機獲得一對圖像或當前幀。本方法包括基於將當前參考標記位置與最初的參考標記位置相比較來估計第一和第二相機中和/或之間的機械不對準。在這裡，根據當前幀來確定當前參考標記位置，而從存儲在機器視覺系統中的設置數據而已知最初的參考標記位置。本方法進一步包括根據估計的機械不對準來計算用於由機器視覺系統進行的立體視覺處理的最壞情況誤差，並且響應於確定最壞情況誤差超過經定義的閾值而使機器視覺系統從運行操作狀態過渡至故障操作狀態。

在另一示例性實施例中，一種機器視覺系統包括接口電路，其被配置成從包括立體相機對並對包含一個或多個參考標記的場景進行成像的第一和第二相機獲得圖像。該機器視覺系統還包括處理電路，其被與接口電路操作地相關聯，並且在機器視覺系統的運行狀態操作期間，被配置成估計第一和第二相機中和/或之間的機械不對準。該估計是基於處理電路將當前參考標記位置與最初的參考標記位置相比較，並且處理電路被配置成根據所估計的機械不對準來計算用於由機器視覺系統進行的立體視覺處理的最壞情況誤差。該處理電路進一步被配置成響應於確定最壞情況誤差超過經定義的閾值而使機器視覺系統從運行操作狀態過渡至故障操作狀態。

當然，本發明不限於上述特徵和優點。本領域普通技術人員在閱讀以下詳細描述時以及在觀察附圖時將認識到附加特徵和優點。

附圖說明

圖1是相機組件內的示例性透鏡和圖像傳感器的圖，並且圖示出其之間的關鍵機械對準。

圖2是對應於圖1的透鏡和圖像傳感器的焦平面和圖像平面的圖，並且圖示出透鏡與圖像傳感器之間的機械對準的其它方面。

圖3圖示出用於相機透鏡的示例性聚焦質量輪廓。

圖4是圖示出根據本文中的教導的機器視覺系統的一個實施例的框圖。

圖5是在機器視覺系統的運行時操作期間檢測機械不對準的方法的一個實施例的邏輯流程圖。

圖6是在機器視覺系統的運行時操作期間檢測機械不對準的方法的另一實施例的邏輯流程圖。

圖7是圖示出適用於來自立體相機對的幀或立體圖像對的不同坐標系之間的示例性關係的圖。

圖8是圖示出被用來估計用於立體視覺處理的最壞情況誤差的拐角位置確定的示例的圖。

具體實施方式

圖4是根據一個實施例的裝置10的框圖。在下文中稱為「機器視覺系統10」的裝置10包括控制單元12和一個或多個傳感器頭或SH 14。為了方便起見，僅圖示出一個傳感器頭14。然而，在一個或多個實施例中，控制單元12可被通信耦合到兩個或更多此類傳感器頭14，例如傳感器頭14-1、14-2等。

每個傳感器頭14提供多視圖成像能力，例如體視成像能力。在本示例性實施例中，傳感器頭14（其也可稱為相機頭或相機單元）包括第一和第二相機組件16-1和16-2，其操作為立體相機對。相機組件16-1和16-2在下文中簡單地稱為相機16-1和16-2或者簡單地稱為「相機16」，除非為了明了起見需要後綴。

每個相機16包括包含一個或多個透鏡的透鏡組件18、被放置成與透鏡組件18精確光學對準的成像器20，以及圖像處理器22，其可以是被配置成操作成像器20、提供圖像傳感器數據的讀出、控制曝光時間等的預處理器或其它處理電路。在下文中，將每個透鏡組件18簡單地稱為「透鏡18」，並且將每個圖像傳感器20簡單地稱為「成像器20」。

傳感器頭14還包括立體圖像處理電路24，其可包括一個或多個基於微處理器、基於DSP、基於ASIC和/或基於FPGA的電路。寬泛地，立體圖像處理電路24包括被配置成對由相機16-1和16-2捕捉的立體圖像執行立體圖像相關處理的數字處理電路。特別地，針對傳感器頭14包括超過兩個相機16的情況，一個或多個實施例中的立體圖像處理電路24更一般地執行多視圖圖像處理，諸如生成深度圖、確定到被成像場景內的對象的距離等。

在示例性實施例中，立體圖像處理電路24從相機16-1和16-2中的每一個接收連續圖像，也稱為「幀」。在這裡，「幀」或「圖像」包括針對給定圖像捕捉的來自涉及到的成像器20的圖像數據，例如像素數據。例如，立體圖像處理電路24在連續捕捉間隔中的每一個期間接收一對圖像，一個來自第一相機16-1且一個來自第二相機16-2。幀速率或捕捉速率確定由相機16捕捉新圖像的速率。

立體圖像處理電路24基於跨來自兩個相機16-1和16-2的相應圖像對執行相關處理來對捕捉圖像執行3D測距。兩個相機16-1和16-2可被沿著水平線布置在某個分隔距離處，以實現作為左圖像和右圖像相機的操作。針對相同的被成像對象或特徵，在左圖像與右圖像中的像素位置之間看到的「差異」或位移提供用於確定3D測距信息的基礎，如本領域普通技術人員所理解的。可將兩個相機16-1和16-2之間的水平距離稱為「基線」。

在一個或多個實施例中，立體圖像處理電路24包括存儲設備26或與之相關聯。存儲設備26將被理解為包括在非臨時的基礎上提供用於電腦程式28和配置數據30的一個或多個項目的非臨時存儲的一種計算機可讀介質（例如，快閃記憶體或EEPROM）。在這裡，「非臨時」不一定意指永久性或不變的存儲，並且可包括易失性存儲，而是意味著一定定義的持久性的存儲且不包括僅僅傳播的信號。

在某些實施例中，立體圖像處理電路24特別地適合於基於其執行電腦程式指令（包括電腦程式28）而執行在本文中講授的相應處理。此外，配置數據30包括例如操作配置設置，諸如被用來定義監視邊界或其它關鍵對象檢測距離的3D距離或範圍。

傳感器頭14還包括控制單元接口電路32，其將控制單元12通信耦合到傳感器頭14，從而允許傳感器頭14向控制單元12提供圖像數據和/或導出的對象檢測數據，並且允許控制單元12為傳感器頭14提供配置數據30和/或用來導出配置數據30的信息。當然，可在控制單元12與傳感器頭14之間載送其它信令，例如測試等。

控制單元12因此包括用於將控制單元12接合到本質上任何數目的傳感器頭14的相應一個或多個傳感器頭接口電路34。控制單元12還包括處理電路36，其在一個或多個實施例中包括提供用於電腦程式40和配置數據42的非臨時存儲的存儲設備38或與之相關聯。存儲設備38包括計算機可讀介質，諸如FLASH或EEPROM，其提供用於電腦程式40和配置數據42的非臨時存儲。

在這裡，配置數據42可以是從用戶（或用戶設備）接收到的，或者可從此類信息導出的，並且其可與傳感器頭14中的配置數據30重疊或提供用於導出該配置數據30的基礎。配置數據42包括例如監視區定義以及控制行為定義，例如定義控制單元12如何對由傳感器頭14所指示的對象檢測進行響應，包括何時從控制單元12輸出哪些控制信號。此類信令是從控制/安全接口電路44輸出的，並且經由配置和/或監視接口電路來交換來自用戶（用戶設備，諸如膝上型計算機）的數據。

在某些實施例中，處理電路36包括一個或多個微處理器、DSP、ASIC、FPGA或其它數字處理電路。更寬泛地，處理電路36包括固定電路或編程電路以及固定和編程電路的某種組合。在至少一個實施例中，例如，在處理電路36包括一個或多個處理器或其它可編程電路的情況下，處理電路36特別地適合於基於其執行包括電腦程式40的電腦程式指令根據本文中的教導進行操作。

鑑於上述內容，傳感器頭14經由相機16-1和16-2的其立體成像對來提供用於重疊視場（FOV）50的成像。當然，機器視覺系統10可具有附加相機16，其還具有至少部分地重疊的FOV 50。配置數據42例如就定義有界區域或有界體積的3D範圍或坐標而言定義一個或多個監視或危險區52。

可例如存在警告區和關鍵（critical）「停止」或停工區。例如，可將警告區定義為在距被機器視覺系統10監視的危險機器的六米的距離處開始並延伸至距機器兩米的距離，在該距離處停工區開始。

在示例性配置中，在警告區內的坐標位置處檢測到的對象引起機器視覺系統10輸出一個或多個警告信號和/或記錄相應檢測數據等。相反地，在關鍵停止區內的坐標位置處檢測到的對象引起機器視覺系統10輸出一個或多個機器停止和/或其它安全關鍵信號。

請注意，FOV 50具有放置在其內部（例如在位於FOV 50內的底的一部分上）的一個或多個參考標記54。參考標記54（RM）可具有已知尺寸、形狀、色彩和/或圖案化，使得其被機器視覺系統10認為是RM 54。在至少一個實施例中，傳感器頭14中的立體圖像處理電路24被配置成識別包括從相機16-1和16-2輸出的立體圖像對的像素數據中的RM 54。至少在其中圖像數據被從傳感器頭14傳送至控制單元12的實施例中，可在控制單元12的處理電路36中提供相同功能。配置數據30和/或42包括例如指示RM 54的已知或預期屬性的信息，諸如尺寸、色彩、形狀、圖案細節以及在FOV 50內的位置，例如對應於RM 54的位置的坐標。

鑑於上述內容，在示例性實施例中，機器視覺系統10包括被配置成從第一和第二相機16-1和16-2獲得一對圖像的接口電路。在這裡，該對圖像包括當前幀，即來自相機16-1和16-2的當前立體圖像對，其中一個圖像來自第一相機16-1且一個圖像來自第二相機16-2。在這裡，假設第一和第二相機16-1和16-2對包含一個或多個RM 54的場景進行成像。

機器視覺系統10還包括與接口電路操作地相關聯的處理電路。如果處理電路被合併在包含第一和第二相機16-1和16-2的傳感器頭14中，例如立體圖像處理電路24，則接口電路將被理解為包括立體圖像處理電路24和/或從成像器20讀入圖像數據的相應圖像處理器22中的接口電路。如果處理電路被合併在控制單元12中，例如處理電路36，則接口電路將被理解為包括將控制單元12通信耦合到傳感器頭14的接口電路34。為了方便起見，參考這些可能性，處理電路將被稱為「處理電路24和/或36」或者簡單地稱為「處理電路24、36」。兩個命名都應被理解為表示「和/或」，除非根據上下文顯而易見或敘述了不同的意義。

在機器視覺系統的運行狀態操作期間，處理電路24和/或36被配置成基於將當前參考標記位置與最初的參考標記位置相比較來估計第一和第二相機16-1和16-2中和/或之間的機械不對準。當前參考標記位置是根據當前幀（即如在組成當前幀的圖像數據中觀察到的）確定的，並且從存儲在機器視覺系統10中的設置數據得知最初的參考標記位置。配置數據30和/或配置數據42包括例如設置數據。

關於估計的機械不對準，一個或多個實施例中的處理電路24和/或36被配置成基於被配置成估計以下各項中的至少一項來估計機械不對準：每相機（per-camera）成像器移位、每相機放大率變化、相機之間的相對旋轉以及相機之間的放大率比。每相機成像器移位估計慮及例如透鏡18與成像器20之間的相對平移，其垂直於涉及到的相機16的光軸。每相機放大率變化說明（account for）透鏡18與成像器20之間的距離的變化，即沿著光軸的平移，並且每相機放大率變化可以用來確定相機之間的放大率比。

雖然處理電路24和/或36的某些實施例被配置成估計所有上面識別的不對準，但還設想估計少於全部，諸如在處理電路24和/或36僅估計每相機成像器移位並補償檢測到的移位和/或相對於檢測到的移位執行故障處理的情況。

在任何情況下，處理電路24和/或36進一步被配置成根據所估計的機械不對準來計算用於由機器視覺系統10進行的立體視覺處理的最壞情況誤差。此外，處理電路24和/或36被配置成響應於確定最壞情況誤差超過經定義的閾值而使機器視覺系統10從運行操作狀態過渡至故障操作狀態。定義的閾值例如是在配置數據30和/或42中定義的，並且最壞情況誤差涉及機器視覺系統10的立體相關性能，使得相機16-1或16-2內或其之間的過多機械不對準引起機器視覺系統10過渡至故障操作狀態。

在一個或多個實施例中，處理電路24和/或36被配置成在機器視覺系統10的經定義的響應時間內執行上述操作的獲得、估計和計算。這裡的經定義的響應時間與由機器視覺系統10執行的安全關鍵對象檢測功能相關聯。

在相同或其它實施例中，處理電路24和/或36被配置成基於每個幀重複獲得、估計和計算的操作，除非在任何給定幀中計算的最壞情況誤差超過經定義的閾值，或者機器視覺系統10的運行操作狀態以其他方式被中斷。

例如，機器視覺系統10可針對由立體相機對輸出—或者來自與機器視覺系統10相關聯的任何數目的立體相機對中的每一個—的每個幀檢查機械不對準和最壞情況誤差。根據此每個幀檢查，處理電路24和/或36繼續機器視覺系統10在運行狀態下的操作，除非檢測到過多最壞情況誤差，或者發生另一故障，或者其它操作（諸如控制信令進入機器視覺系統10）指示應結束或中止運行狀態操作。

在至少某些實施例中，處理電路34和/或36被配置成獲得來自第一和第二相機16-1和16-2的一定數目的幀範圍內的機械不對準的已過濾估計。相應地，處理電路24和/或36被配置成從已過濾估計獲得已過濾最壞情況誤差，並且如果已過濾最壞情況誤差超過經定義的閾值，則使機器視覺系統10從運行操作狀態過渡至故障操作狀態。

例如，處理電路24和/或36被配置成基於被配置成獲得一定數目的幀的範圍內的已過濾參考標記位置並通過根據已過濾參考標記位置來計算第一和第二相機中和之間的機械不對準而獲得機械不對準的已過濾估計而獲得一定數目的幀範圍內的機械不對準的已過濾估計。替換地，作為在一定數目的幀範圍內對參考標記位置進行過濾的替代，處理電路24和/或36被配置成對在每個涉及到的幀中的估計的估計的機械不對準進行過濾，以獲得已過濾機械不對準。

一般地，在本文中設想的至少一個實施例中，處理電路34和/或36被配置成獲得來自第一和第二相機16-1和16-2的一定數目的幀範圍內的機械不對準的已過濾估計。相應地，處理電路24和/或36被配置成根據已過濾機械不對準而補償機器視覺系統10相對於第一和第二相機16-1和16-2的立體視覺處理。在至少一個此類實施例中，處理電路24和/或36被配置成通過使被機器視覺系統10在對從第一和第二相機16-1和16-2獲得的圖像對進行修正時所使用的一個或多個校準參數適應而補償立體視覺處理。

一個或多個校準參數結合或取決於檢測到的不對準，並且處理電路24和/或36更新被用於已修正坐標系中的第一和第二相機圖像之間的差異確定和/或其它相關處理的相關存儲值。因此，可針對檢測到的成像器移位、檢測到的相機中或之間的放大率變化以及檢測到的相機之間的相對旋轉的變化中的一個或多個來補償第一和第二相機圖像中的對象之間的「表觀」差異。

雖然可以將圖4理解為圖示出用於機器視覺系統10的有利示例性布置，但可將處理電路的其它布置等用於獲得並處理來自立體相機對的幀。因此，可以將在圖5中看到的方法500理解為經由圖4中所示的機器視覺系統10的固定和/或編程配置來實現，但是該示例是非限制性的，並且可以用其它電路布置來實現圖5的處理。

此外，將認識到的是方法500中所示的一個或多個步驟或操作可按照除由圖提出的順序之外的順序實現，或者可並行地執行，或者可在進行中（例如重複或循環）執行。事實上，在至少某些實施例中，在機器視覺系統10在運行狀態下操作的同時基於每個幀而循環或重複方法500，並且相對於任何數目的立體相機對執行。

鑑於上述可能性，方法500包括從第一和第二相機16-1和16-2獲得（方框502）的獲得包括當前幀的一對圖像。如前所述，相機16-1和16-2包括對包含一個或多個RM 54的場景進行成像的立體相機對。

方法500還包括估計（方框504）第一和第二相機16-1和16-2中和之間的機械不對準。估計處理是基於將當前參考標記位置與最初的參考標記位置相比較，其中，當前參考標記位置是根據當前幀確定的，並且最初的參考標記位置是根據存儲在機器視覺系統中的設置數據而已知的。例如，可就色彩、尺寸、形狀以及圖案中的任何一個而言識別RM 54，並且將包括當前幀的像素或圖像數據中的RM 54的觀察到的x-y位置與RM 54的最初的x-y位置相比較。

機械不對準的估計（方框505）包括每相機不對準的估計（方框504A）和/或相機16-1和16-2之間的相對不對準的估計（方框504B），可將其稱為「跨相機」不對準。例如，方框504A包括估計每個相機16-1和16-2的成像器移位和/或放大率變化。方框504B包括例如估計相機16-1和16-2之間的相對旋轉和/或相機16-1和16-2之間的放大率比。

方法500還包括計算（方框506）用於由機器視覺系統10進行的立體視覺處理的最壞情況誤差。根據所估計的機械不對準來計算最壞情況誤差，並且方法500還包括響應於確定最壞情況誤差超過經定義的閾值（來自方框508的NO）而使機器視覺系統10從運行操作狀態過渡（512）至故障操作狀態。另一方面，如果最壞情況誤差被確定為在定義極限內（來自方框508的YES），則方法500包括繼續機器視覺系統10的運行狀態操作（方框510）。

圖6圖示出檢測機器視覺系統10中的機械不對準並對其進行響應的另一實施例。可以將方法600理解為方法500的擴展或更詳細版本。雖然不限於在圖4中看到的機器視覺系統10，但將認識到的是圖4的機器視覺系統10在一個或多個實施例中被配置成執行方法600。方法600基於每個幀而重複，並且可相對於一個或多個立體相機對中的每一個串行地或並行地執行。還應認識到的是方法600包括當前幀值的處理以及處理已過濾的和/或在先幀值。

在步驟1（方框602）處，方法600包括「跟蹤」當前幀中的RM 54的位置。在這裡，「跟蹤」表示觀察到的RM位置與預期RM位置的比較。觀察到的RM位置是如在包括當前幀的圖像數據中檢測到的位置，而預期RM位置是例如從機器視覺系統10的最初的設置配置已知的最初的位置。

RM位置跟蹤可使用已修正坐標來完成。在這裡，可注意到的是每個相機16具有相機坐標系，可將其稱為「原始」或「畸變」坐標系，因為其包括透鏡畸變等效應。因此，當參考從任何給定相機獲取的任何給定圖像時，將認識到的是圖像可在畸變坐標系中或在無畸變坐標系中或者在已修正坐標系中。基於表達涉及到的相機透鏡的已知或表徵畸變的配置數據，可將畸變坐標系中的圖像變換成無畸變坐標系。此外，可將無畸變坐標系中的圖像變換到已修正坐標系中，該已修正坐標系被用來修整立體圖像對中的左圖像和右圖像，使得兩個圖像具有相同的水平參考系。

處理繼續進行步驟2（方框604），其也表示相對於當前幀的每幀處理，並且包括子方框604A、604B和604C。總體上，方框604表示「損失」測試，其中機器視覺系統10確定從檢測到的機械不對準產生的最壞情況誤差是否超過適用的誤差預算所允許的誤差。在這裡，可將術語「損失」理解為機器視覺系統10對象檢測能力的損失，至少相對於某個指定水平的檢測性能，諸如用最小對象尺寸、距離檢測準確度等表示的。

損失測試是基於檢測機械不對準，包括垂直於和沿著光軸兩者的每相機成像器移位。損失測試還包括確定相機之間的放大率比（即兩個相機16-1和16-2之間的放大率的失配）和相機16-1和16-2之間的相對旋轉。這些估計然後被用來確定用於由機器視覺系統10進行的立體視覺處理的最壞情況誤差，並且確定最壞情況誤差是否超過定義極限（方框604B）。

如果是這樣（來自方框604B的YES），則處理繼續至方框604C，在那裡，機器視覺系統10從運行操作狀態過渡至故障操作狀態，其為本示例性方法中的「機器停止」條件。在這裡，「機器停止」表示其中使用機器視覺系統10來保護或監視製造設備或其它機器的項目周圍的區域或體積，並且響應於在機器周圍定義的距離或邊界內的對象的侵入且響應於檢測到檢測能力的損失或其它故障而將機器停止的示例性情形。

假設方框604的處理遵循從方框604B到方框606中的「NO」路徑，方法600繼續進行方框606A所表示的處理，其包括針對「退化」的不對準和放大率測試。也就是說，方框604表示針對機器視覺系統10的檢測能力損失的測試，例如相對於某些定義性能要求（諸如最小對象尺寸、最小距離估計準確度等）的檢測能力的損失。相反地，方框606表示針對機器視覺系統10的檢測能力退化的測試。

可以將這些退化理解為引起在針對機器視覺系統10定義的誤差預算所允許的公差內的誤差。在這裡，「誤差預算」包括其每個由機器視覺系統10的圖像獲取和處理流程中的不同組件或操作引起的許多組成誤差。將理解的是本文討論中的機械不對準全部對誤差預算內的組成誤差有所貢獻。

此外，雖然在方框604中討論的損失測試關於每幀值（即關於機械不對準和結果產生的最壞情況誤差計算）進行操作，但作為基於在當前幀中觀察到的RM位置，在方框606中討論的退化測試使用已過濾值進行操作，或者另外使用來自當前幀和一個或多個先前幀的值。在這裡，「值」一般地被用來指代以下各項中的任何一個或多個：跟蹤的RM位置、檢測到的機械不對準、估計最壞情況誤差以及在此類計算中使用的任何中間值。

雖然方框604在機器視覺系統10的經定義的響應時間（RT）內檢測檢測損失並對損失做出反應，但作為非限制性示例，方框606的測試一般用完較長的持續時間（諸如在圖中表示的五秒（5S））。在這裡，機器視覺系統10的「響應時間」是其在檢測到對象侵入到危險區域中和/或檢測到檢測能力的損失與關聯的被保護機器的關斷之間必須呈現的經定義的反應時間。

在方框606的一個示例性實施方式中，機器視覺系統10將針對當前幀計算的最壞情況誤差與針對在先幀（例如來自過去的一定秒數的幀）計算的最壞情況誤差相比較（方框606A）。如果兩個最壞情況誤差之間的差超過經定義的閾值（來自方框606B的YES），則機器視覺系統10從運行操作狀態過渡至故障操作狀態。可以將此處理理解為檢測逐漸增加的誤差並對其進行響應。

另一方面，如果不存在故障（來自方框606B的NO），則處理繼續進行方框606D中的系統誤差消除。系統誤差消除使機器視覺系統10在其立體視覺處理中使用的一個或多個參數適應。例如，為了確定到存在於FOV 50中的對象的距離，機器視覺系統10確定從相機16-1和從相機16-2觀察的對象之間的立體差異。在這裡，「立體差異」是兩個圖像中的相應點之間的位置的差。在機器視覺系統10的初始設置時，立體差異取決於兩個相機16之間的實際間隔（「基線」）及其相對角度或定位。寬泛地，配置數據準確地捕捉或說明初始的總體相機對準。

在設置時確定或加載的校準參數然後被機器視覺系統10在其後續的運行狀態機器視覺處理期間（例如在修正立體對中的圖像時和當計算立體差異時）使用。然而，關鍵地，校準參數隨著在機器視覺系統10的後續操作期間出現機械不對準而變得不準確。

因此，在方框606D中，機器視覺系統10響應於檢測到相對於設置條件的機械不對準而更新其校準參數中的一個或多個。例如，機器視覺系統10保持或更新反應相機之間的相對旋轉角（例如，以度為單位）的參數並使用檢測到的相對旋轉角來補償圖像修正。在這裡，可以將圖像「修正」理解為使得來自立體相機對的左圖像和右圖像相對於相機之間的基線而言共面，即所有極線（epipolar line）平行於由相機16之間的基線確立的橫軸。

通過連續地或重複地估計相機16-1和16-2之間的相對旋轉角，機器視覺系統10可以保持用於表示或關於相對旋轉角的校準參數的已更新值。對於相機之間的放大率中的失配和放大率比而言同樣如此。此外，可將例如可用圖像坐標或像素行-列值表示的x-y偏移值保持在配置數據30和/或42中，以捕捉檢測到的成像器移位，並且可使用此類值來補償立體差異計算等。

特別地，一個或多個實施例中的機器視覺系統10在其系統誤差消除處理中使用過濾。也就是說，作為基於與一個幀相關聯的值來更新校準參數的替代（該值可能有噪聲），機器視覺系統10可使用已過濾值。例如，機器視覺系統10使用已過濾RM位置（例如，在一定數目的幀（例如100個幀）內觀察）來計算機械不對準，並且基於那些不對準進行其校準參數更新。替換地，作為對觀察到的RM位置進行過濾的替代，機器視覺系統10跨一定數目的幀對機械不對準進行過濾，並且基於已過濾機械不對準進行其校準參數更新。

還看到圖6在方框608中包括焦點測試，方框608包括方框608A、608B和608C。在方框608A中，機器視覺系統10執行焦點測試。如果焦點測試失敗（來自方框608B的YES），則處理繼續進行機器視覺系統10從運行操作狀態過渡至故障操作狀態。如果焦點測試通過（來自方框608B的NO），則處理在運行操作狀態下繼續。可在例如被用於方框606的時間幀內（即比機器視覺系統10的基礎響應時間要求更緩慢地）執行方框608，並且其可將已過濾值用於此類測試和/或可在拋出故障之前要求一定次數的失敗。

在焦點測試的一個示例中，應理解的是RM 54具有促進焦點測試的一個或多個視覺屬性，諸如色彩、形狀、圖案、與背景的對比度等。相應地，為了檢測不聚焦（out of focus）條件，機器視覺系統10在一個或多個實施例中：（1）計算在對應於每個RM 54的圖像數據中觀察到的高頻圖像分量的量，該RM可在策略上被置於場景中從而出現在圖像拐角處或附近；並且（2）估計圖像中的最壞模糊效果的程度。如果該程度超過被定義為可容忍的水平，則機器視覺系統10從運行狀態過渡至機器停止或其它指定故障條件。

此外，為了放鬆對在被成像場景內的RM放置的要求，機器視覺系統10在一個或多個實施例中：（1）存儲表徵涉及到的相機透鏡的散焦分布的信息（通過設計得知或者由出廠表徵）；並且（2）根據在圖像內的某個RM位置處測量的實際散焦水平來估計最壞散焦水平。也就是說，機器視覺系統10可使用涉及到的透鏡的焦點輪廓根據正在圖像中的哪裡評估焦點而評估焦點質量。

為了以更詳細的方式且在一個或多個示例性實施例的背景下更好地理解上述處理，考慮圖7。針對立體對中的相機16中的第一個或主要的一個，圖描繪了已修正坐標系和用於已修正圖像的x-y維度的相應符號。該圖進一步描繪了針對主要相機的無畸變坐標系和用於無畸變圖像的相應符號。此外，該圖描繪了畸變或原始圖像坐標系和用於畸變圖像的x-y維度的相應符號。針對成對相機16之中的第二個或副的一個給出了相應坐標系和維度表達式，其中，用針對「副」的「s」而不是針對「主要」的「p」來對這些項加上標。

由涉及到的相機16提供的圖像最初在那些相機16的畸變坐標系中。針對對象檢測及其它處理，機器視覺系統10將圖像從畸變坐標系變換到相應無畸變坐標系，並且然後從無畸變坐標繫到已修正坐標系。

當在本公開的上下文中提及「圖像」時，圖像可採取任何上述坐標系和/或可在一個坐標系中對圖像執行某些操作，同時對該圖像執行其它操作，但是在將其變換到另一坐標系之後。因此，可將來自給定相機16的當前幀中的給定圖像輸出稱為原始或畸變圖像或者稱為無畸變圖像或者稱為已修正圖像，全部取決於哪個坐標系在該特定時間或在視覺處理流程中的特定點處可用。

例如，在本文中設想的一個或多個實施例中，機器視覺系統10使用已修正圖像來跟蹤RM位置，但是使用無畸變圖像來估計立體相機對中的相機16之間的相對旋轉。因此，當處理組成由相機16-1和16-2的立體對輸出的當前幀的圖像對時，機器視覺系統10將該圖像對變換成其相應的無畸變坐標系，並且使用無畸變圖像來估計相機16-1和16-2之間的相對旋轉。然而，機器視覺系統10使用已修正坐標系來確定來自每個相機16-1和16-2的圖像內的RM位置的移位的表觀移動。

坐標系之間的變換是基於上述配置數據30和/或42，其包括上述校準參數，包括被用於圖像修正的那些參數。因此，根據適用關係，可以將已修正圖像中的RM位置變換成無畸變坐標系和畸變圖像坐標系。

更詳細地，3D相機坐標與圖像坐標K之間的關係是固有相機矩陣，並且可以定義為。這裡，f是焦距【像素】，【像素】是相機16的主點。W 每個圖像坐標具有其自己的K。坐標系中的3D位置被如下用K投射到圖像坐標。此轉換使用針孔相機模型。

針對每個相機16，用賦予坐標系之間的相對旋轉的旋轉矩陣R來表示已修正坐標系與無畸變坐標系之間的關係。此外，為了從主相機16-1的無畸變坐標系投射或轉換成副相機16-2的無畸變坐標系，可使用轉換矢量t。在這裡，矢量t表示主相機16-1的無畸變坐標系的原點與副相機16-2的無畸變坐標系的原點之間的移位。因此，可以如下使用這兩個參數使3D坐標可在兩個相機16-1和16-2的無畸變坐標系之間變換：

。

關於無畸變坐標與已修正坐標之間的關係，僅定義相對旋轉，因為已修正坐標是使得屬於立體相機對的圖像相互平行的虛擬坐標。關於無畸變圖像與畸變圖像之間的關係，用適用的透鏡畸變模型和畸變係數k和p來表示該關係。係數對應於徑向畸變。係數對應於切向畸變。

因此，可以如下將無畸變圖像坐標轉換成畸變圖像坐標：

。

當在相機16-1和16-2中或之間發生機械移位時，諸如在圖4的示例中看到的，可以假設映射到機器視覺系統10所使用的一個或多個校準參數的變化。相應地，圖8圖示出基於使用「拐角移動矢量」來確定用於由機器視覺系統10進行的立體視覺處理的最壞情況誤差的示例性方法。

首先，機器視覺系統10從立體相機對16-1和16-2獲得幀，即包括左圖像和右圖像或主圖像和副圖像的一對圖像。機器視覺系統10將那些圖像變換成涉及相機16-1和16-2的已修正坐標系，確定已修正圖像中的觀察到的RM位置相對於從設置開始的其最初的位置之間的差，並且使用那些差來確定每相機不對準，包括成像器20相對於相機16的光軸的垂直移位或偏移和相機16的放大率比。可相對於在設置時已知或確定的相應參數來確定或表示這些檢測。

機器視覺系統10基於每相機放大率確定來確定相機16-1和16-2之間的相對放大率比，並且進一步確定相機16-1和16-2之間的相對旋轉。在這裡，相對旋轉的估計是基於機器視覺系統10將觀察到的RM位置從已修正坐標系變換成相應無畸變坐標系。機器視覺系統10使用機械不對準的這些估計（即每相機移位）以及根據其RM位置跟蹤確定的跨相機放大率比和相對旋轉，以估計用於由機器視覺系統10進行的立體視覺處理的最壞情況誤差。

特別地，機器視覺系統10在一個或多個實施例中使用「拐角移動矢量」來估計最壞情況誤差，因為可預期立體差異誤差對於圖像拐角而言將處於其最壞情況。看圖8中的主相機列時，拐角移動矢量處理從「點A」開始，其是已修正坐標系中的拐角位置。機器視覺系統10將來自已修正坐標系的點A變換成主相機16的無畸變坐標系中的「點B」，並且將點B變換成主相機16的畸變坐標系中的「點C」。

機器視覺系統10然後將針對主相機16確定的每相機不對準應用於點C，這具有將點C移位至畸變坐標系中的「點D」的效果。從那裡，機器視覺系統10將點D變換回到無畸變坐標系（作為「點E」），並且將點E變換到已修正坐標系作為「點F」。

機器視覺系統10然後在主相機16的已修正坐標系中基於點A與點F之間的x-y位置差來計算第一拐角移動矢量。可將點A表示為，並且可將點F表示為。因此，可將第一拐角移動矢量表示為

。

機器視覺系統10還計算第二拐角移動矢量，其不僅考慮到副相機16的每相機不對準，而且考慮到主相機與副相機16之間的相對旋轉。首先，機器視覺系統10將點B從主相機16的無畸變坐標系投射到副相機16的無畸變坐標系中，以獲得「點H」。可將點B表示為，並且可將點H表示為，並且將理解的是通過應用上文所解釋的變換（被針對由機器視覺系統10基於觀察的RM位置的其評估而確定的相對旋轉進行調整）而獲得。

機器視覺系統10然後對副相機16的無畸變坐標系內的點H進行移位以獲得「點I」。特別地，根據主相機和副相機16之間的檢測到的相對旋轉來對點H進行移位。機器視覺系統10然後將點I變換成第二相機16的畸變坐標系中的「點J」。機器視覺系統10然後將點J移位至畸變坐標系中的「點K」，其中，根據由機器視覺系統10針對副相機16確定的每相機不對準來計算移位。處理繼續進行機器視覺系統10將點K變換到副相機16的無畸變坐標系中，以獲得「點L」。點L然後被變換到副相機16的已修正坐標系中，以獲得「點M」。機器視覺系統10進一步基於將點H從副相機16的無畸變坐標系變換到副相機16的已修正坐標系中而獲得副相機16的已修正坐標系中的「點N」。

點N並未說明主和副相機16之間的相對旋轉，並且替代地說明沒有任何機械不對準的情況下的相應拐角「移動」。然而，點M說明主相機和副相機16之間的相對旋轉和副相機16的每相機不對準兩者。根據點M和N的x-y位置的差來計算第二移動矢量。如果將點M表示為並將點N表示為，則可將第二拐角移動矢量表示為

。

因此，可以將用於在機器視覺系統10的設置時存在的不對準的極線誤差和差異表示為：

其中，按照在設置條件期間的計算，是圖8中的點A且是圖8中的點N。機器視覺系統10的運行時操作期間的這些不對準的範圍或性質的變化改變極線誤差和差異。因此，可以將用於機器視覺系統10的運行時操作期間的任何點的極線誤差和差異表示為：

其中，是圖8中的點F，並且是圖8中的點M。

因此可以將運行時操作期間的用於由機器視覺系統10進行的立體視覺處理的最壞情況誤差理解為相對於機器視覺系統10的設置條件而言的極線誤差和差異的變化或差。就這些項而言，可以將最壞情況誤差表示為：

。

通過簡單替代，可看到是第一拐角移動矢量與第二拐角移動矢量之間的差，即：

。

因此，相對於圖5的方框508中的討論中的每幀處理和/或相對於圖6中的方框604的每幀處理，將理解的是在一個或多個實施例中，機器視覺系統10確定機械不對準，其中，短語「機械不對準」在這裡並不意圖寬泛地涵蓋本文所述的每相機和跨相機（相機之間）不對準和差，並且然後使用那些確定的機械不對準來計算第一和第二拐角移動矢量，並且然後使用那些拐角移動矢量來計算最壞情況誤差。

然而，此每幀誤差確定在一個或多個實施例中被配置成對幀間變化進行操作。例如，可使用「t-n」來表示具有機械不對準的「有效」確定的前一幀，並且使用「t」來表示當前幀。然後，假設用於當前幀的機械不對準確定也是有效的，可以執行關於用於當前幀的最壞情況誤差是否在容許極限內的確定作為表示為下式的幀間變化確定：

，

其中，n例如在在緊接地前面的幀有效的情況下等於1，或者在其有效之前的幀的情況下等於2，以此類推。

因此，在某些實施例中，根據確定最壞情況誤差中的幀間變化是否在定義極限內來進行方框508中的YES/NO判定和/或方框604B中的YES/NO判定。多個其它評論適用於用於故障檢測的這種方法。

首先，基於跟蹤幀間變化的故障檢測本身並未慮及緩慢變化不對準。因此，圖6的方框606B中的故障檢測可以例如執行相同類型的變化評定，但是可將用於當前幀的最壞情況誤差與來自在過去更遠（例如來自三秒前）的幀的最壞情況誤差相比較。當然，可在方框606B中使用過濾來計算最壞情況誤差值，但是儘管如此，通過將在當前幀中確定的最壞情況誤差與較早（例如早90或100個幀）確定的最壞情況誤差相比較，機器視覺系統10也檢測逐漸的變化中的不對準並對其進行響應。

其次，在確定幀間變化的上述說明中，應注意的是使用「有效」幀。如果針對該幀進行的機械不對準確定在定義極限內，則可認為該幀是有效的，並且可將那些極限定義為Δ（delta）或允許偏移，其可以被用來確定在任何給定幀中確定的機械不對準是否過大，或者表示如此大的變化以致於被認為對於由機器視覺系統10使用而言是不準確的。

鑑於上述內容，在一個或多個實施例中且在參考圖8中看到的點標記，處理電路24和/或36被配置成根據相機16-1和16-2的立體對中的第一相機16-1的成像器移位和放大率變化來計算第一拐角移動矢量，根據第二相機16-2的成像器移位和放大率變化來計算第二拐角移動矢量，並且進一步根據第一和第二相機16-1和16-2之間的相對旋轉和放大率比，確定第一和第二拐角移動矢量之間的差，並且將該差與對應於從設置數據已知的最初的第一和第二拐角移動矢量的參考差（例如，上文所解釋的確定）相比較。

上述處理是基於處理電路24和/或36基於被配置成通過將用於第一相機16-1的最初的圖像拐角位置（點A）從已修正坐標系變換到第一相機16-1的無畸變坐標系中（點B）且從無畸變坐標系變換到第一相機16-1的畸變坐標系中（點C）來獲得變換拐角位置（點F）而計算第一拐角移動矢量。在這裡，第一相機16-1的畸變坐標系是用於第一相機16-1的原始坐標系，其反應第一相機16-1的透鏡畸變。

處理電路24和/或36進一步被配置成根據用於相機16-1的估計的機械不對準和變換拐角位置（點C）來計算用於第一相機16-1的移動拐角位置（點D），並通過將經移動的拐角位置（點D）從第一相機16-1的畸變坐標系變換回到已修正坐標系（即，到點E且然後到點F）中來獲得用於第一相機16-1的變換移動拐角位置（點F）。從那裡，根據變換移動拐角位置（點F）與最初的圖像拐角位置（點A）之間的差來計算處理電路24和/或36被配置成將第一拐角移動矢量。

此外，處理電路24和/或36被配置成基於被配置成通過基於將用於第一相機16-1的最初的圖像拐角位置（點A）從第一相機16-1的已修正坐標系變換到第一相機16-1的無畸變坐標系中且將變換拐角位置（點B）投射到第二相機16-2的無畸變坐標系中來獲得變換拐角位置（點 B）而獲得投影拐角位置（點H）以計算第二拐角移動矢量。

處理電路24和/或36然後通過將投射拐角位置變換到第二相機16-2的已修正坐標系中來獲得第二變換拐角位置（點N），並且通過根據第一和第二相機16-1和16-2之間的相對旋轉來使經投射的拐角位置（點H）移位並在所述移位之後將投影拐角位置（點I）變換到第二相機16-2的畸變坐標系中（點J）來獲得第三變換拐角位置（點I）。

處理電路24和/或36然後根據針對第二相機估計的估計成像器移位和估計放大率變化來使第三變換拐角位置（點J）在畸變坐標系內移位（這產生點K），並且然後通過在第二相機的畸變坐標系中的所述移位（點K）之後將第三變換拐角位置變換到第二相機16-2的無畸變坐標系中（點L）且然後到第二相機16-2的已修正坐標系中（點M）來獲得第四變換拐角位置（點M）。根據第二變換拐角位置（點N）與第四變換拐角位置（點M）之間的差來計算處理電路24和/或36然後將第二拐角移動矢量。

並且，如所述，處理電路24和/或36在一個或多個實施例中被配置成評估當前幀或一定數目的幀，以檢測RM 54的模糊並響應於檢測到超過經定義的閾值的模糊水平而使機器視覺系統10從運行操作狀態過渡至故障操作狀態。模糊可由透鏡劣化和/或均勻汙染（諸如灰塵、油等）而引起。在至少一個此類實施例中，處理電路24和/或36被配置成根據涉及到的一個或多個圖像內的RM 54的位置和針對第一和第二相機16-1和16-2的透鏡18已知的相應焦點質量輪廓來使經定義的模糊閾值適應。

此外，機器視覺系統10可被配置成要求在被相機16-1和16-2的立體對成像的場景中存在一定數目的RM 54。在此類實施例中，處理電路24和/或36被配置成例如在每個幀中評估圖像數據，確定最小所需數目的RM 54是否可見，並且如果不可見，則從運行操作狀態過渡至故障操作狀態。

特別地，已受益於在前文描述和關聯附圖中提出的教導的本領域的技術人員將想到所公開發明的修改及其它實施例。例如，本文中的教導適用於任何數目的立體相機對以及超過兩個相機的使用，例如，其中，具有重疊視場的三個、四個或更多相機中和之間的不對準被用於3D測距和對象檢測。

因此，要理解的是本發明不限於公開的特定實施例，並且修改及其它實施例意圖被包括在本公開的範圍內。雖然在本文中可採用特定術語，但其僅是在一般且描述性的意義上使用而不是出於限制的目的。