用於動態後視鏡的圖像超解析度的製作方法
2023-06-03 13:18:31 2
用於動態後視鏡的圖像超解析度的製作方法
【專利摘要】本發明公開了用於動態後視鏡的圖像超解析度。用於將超解析度應用到由車輛的相機設備捕獲到的圖像的方法包括接收由相機設備捕獲到的多個圖像幀。對於每個圖像幀，在圖像幀內識別要求增加與每像素細節有關的解析度的關注區域。將空間上實施的超解析度應用到每個圖像幀內的關注區域以提高關注區域內的圖像清晰度。
【專利說明】用於動態後視鏡的圖像超解析度
[0001]相關申請的交叉引用
此申請要求2013年I月7日提交的序號為61/749，778的美國臨時申請的權益，該申請以引用的方式併入本文。
【技術領域】
[0002]此披露涉及改進與圖像的像素細節有關的解析度。
【背景技術】
[0003]這個部分中的陳述僅提供與本披露有關的背景信息。因此，這些陳述並不意欲構成對現有技術的承認。
[0004]車輛系統可以使用車載視覺系統用於後視場景觀看或檢測、側視場景觀看或檢測以及前視場景觀看或檢測。在一個示例中，從主車輛的後視攝像設備獲得的原始圖像可能要求放大該原始圖像的中心區域以供顯示在車輛內的後視鏡設備(例如，動態後視鏡)上。在此示例中，放大的中心區域通過伸展原始圖像來產生，由此導致中心區域中基於每個像素的解析度降低。
[0005]超解析度(SR)是一種用於提高與由包括攝像設備的成像系統獲得的圖像的每像素細節有關解析度的技術。多幀SR方法是在時間上實施的並且可以使用同一個場景的多個低解析度圖像之間的子像素平移，從而通過合併來自所有這些低解析度圖像的信息來產生與圖像的每像素細節有關的改進的解析度。單幀SR方法是在空間上實施的，並且試圖在不弓I入模糊的情況下放大原始圖像。
[0006]已知的是，當噪音使得原始圖像降級時應用多次曝光圖像降噪。噪音可以通過平均多次曝光以獲得最適合的組合從而減少噪音來降低。另外已知的是，在某些情形下，諸如當存在光學離焦和光學像差時，在圖像中應用單幀去模糊以減輕模糊。單幀去模糊在衍射強制的通帶中應用空間頻率過濾。
【發明內容】
[0007]用於將超解析度應用到由車輛的攝像設備捕獲到的圖像的方法包括接收由攝像設備捕獲到的多個圖像幀。對於每個圖像幀，在該圖像幀內識別要求增加與每像素細節有關的解析度的關注區域。將空間上實施的超解析度應用到每個圖像內的關注區域，以提高關注區域內的圖像清晰度。
[0008]方案1.用於將超解析度應用到由車輛的攝像設備捕獲到的圖像的方法，包括: 獲得由攝像設備捕獲的多個圖像幀；
對於每個圖像幀:
在圖像幀內識別要求增加與每像素細節有關的解析度的關注區域；以及
將空間上實施的超解析度應用到圖像幀內的關注區域以提高關注區域內的圖像清晰度。[0009]方案2.如方案I所述的方法，其中識別的關注區域對應於在伸展由攝像設備捕獲的具有光學像差的原始圖像之後的顯示圖像幀的放大中心區域，放大中心區域具有與每像素細節有關的減小的解析度。
[0010]方案3.如方案I所述的方法，其中識別的關注區域包括整個圖像幀。
[0011]方案4.如方案I所述的方法，其中將空間上實施的超解析度應用到圖像幀內的關注區域包括:
應用去噪濾波器以通過平滑化關注區域內的一個或多個識別的平面同時保持識別的關注區域內的一個或多個識別的邊緣來降低噪音。
[0012]方案5.如方案4所述的方法，其中應用去噪濾波器包括:
監測識別的關注區域內的圖像梯度；
在監測的圖像梯度是至少梯度邊緣閾值處識別一個或多個邊緣；
在監測的圖像梯度小於梯度邊緣閾值處識別一個或多個平面；以及用來自一個或多個識別的平面內的鄰近像素的像素值的加權平均值來替換識別的一個或多個平面內的每個像素的像素值。
[0013]方案6.如方案I所述的方法，其中將空間上實施的超解析度應用到圖像幀內的關注區域包括:
應用取決於位置的銳化濾波器以實現關注區域內的希望的銳化增加，所述希望的銳化增加是基於調整與關注區域相關的銳化濾波器的濾波器設置來實現。
[0014]方案7.如方案6所述的方法，其中應用取決於位置的銳化濾波器進一步在關注區域外部的區域中實現希望的銳化減少，所述希望的銳化減少是基於調整與關注區域外部的相應區域相關的銳化濾波器的濾波器設置來實現。
[0015]方案8.如方案6所述的方法，其中調整銳化濾波器的濾波器設置包括:
關注區域內的識別的邊緣的調整的半徑，調整的半徑與調整的過衝量成反比；以及 用於控制與將被銳化的識別的邊緣相關的像素的最小強度改變的調整的強度閾值。
[0016]方案9.如方案I所述的方法，其進一步包括:
對於已經對其應用空間上實施的超解析度的多個圖像幀:
根據圖像幀的每一個內的位置將時間上實施的超解析度應用到圖像幀，所述位置包括識別的關注區域；以及
基於應用到圖像幀的時間上實施的超解析度來產生所得圖像。
[0017]方案10.如方案9所述的方法，其進一步包括:
在已經對其應用空間上實施的超解析度的多個圖像幀中檢測物體運動的程度；以及如果物體運動程度包括顛簸、不運動和小於運動閾值的運動量中的一個則僅將時間上實施的超解析度應用到圖像幀。
[0018]方案11.如方案9所述的方法，其中將時間上實施的超解析度應用到圖像幀包括:
對於圖像幀中的每一個:
識別靜止區域和移動區域；
應用圖像配準以辨別靜止區域和移動區域的每一個內的特徵和物體中的至少一個；
基於應用的圖像配準來識別圖像幀的每一個之間的差異； 從圖像幀中的相應幀去除識別的差異；以及
在去除識別的差異之後，在輸入圖像幀中應用時間上實施的超解析度以產生具有提高的解析度的所得圖像幀。
[0019]方案12.用於將超解析度應用到由主車輛的攝像設備捕獲到的一個或多個圖像的方法，包括:
對於表不主車輛後方視場的場景的一個時間段期間的多個圖像巾貞:
識別多個圖像幀內的關注區域；
在多個圖像幀中檢測物體運動的程度；
如果物體運動程度包括顛簸、不運動和小於運動閾值的小量運動中的一個，則應用圖像配準以辨別輸入圖像幀內的物體和特徵中的至少一個；
應用時間上實施的超解析度以提高多個圖像幀的關注區域內的解析度；以及 基於已經對其應用時間上實施的超解析度的多個圖像幀產生所得圖像。
[0020]方案13.如方案12所述的方法，其進一步包括:
對於表示主車輛後方視場的場景的單個圖像幀:
識別單個圖像幀內的關注區域；
應用取決於位置的空間上實施的超解析度以提高識別的關注區域內的解析度，所述空間上實施的超解析度包括各自取決於對應於關注區域的位置的去噪濾波器和銳化濾波器中的至少一個。
[0021]方案14.如方案12所述的方法，其中多個圖像幀中的每一個對應於以下各項之
在檢測物體運動程度之前已經對其應用取決於位置的空間上實施的超解析度的單個圖像幀中的相應圖像幀；以及
由攝像設備捕獲到的原始圖像幀中的相應圖像幀。
[0022]方案15.如方案13所述的方法，其中已經對識別的關注區域應用取決於位置的空間上實施的超解析度的單個圖像對應於以下各項之一:
基於多個圖像幀產生的所得圖像；以及 由攝像設備捕獲到的原始圖像幀。
[0023]方案16.如方案12所述的方法，其中識別的關注區域對應於通過伸展由攝像設備捕獲到的原始圖像產生的顯示圖像的放大中心區域，放大中心區域具有與每像素細節有關的減小的解析度。
[0024]方案17.如方案13所述的方法，其中銳化濾波器包括非銳化屏蔽濾波器並且去噪濾波器包括雙邊濾波器。
[0025]方案18.如方案12所述的方法，其進一步包括:
如果物體運動程度檢測到顛簸，則在應用圖像配準之前應用圖像穩定。
[0026]方案19.用於將超解析度應用到由主車輛的基於視覺的成像系統捕獲到的一個或多個圖像的裝置，包括:
配置成捕獲表示主車輛後方視場的場景的多個圖像幀的後視攝像設備；以及 處理設備，所述處理設備配置成:
接收由後視攝像設備捕獲到的多個圖像幀， 在每個圖像幀內識別具有與每像素細節有關的減少的解析度的放大中心區域，
將去噪濾波器和銳化濾波器中的至少一個應用到每個圖像幀內的放大中心區域以提高放大中心區域內的解析度，
對於已經對其應用去噪濾波器和銳化濾波器中的至少一個的多個圖像幀:
根據圖像幀的每一個內的位置將時間上實施的超解析度應用到圖像幀，所述位置包括識別的關注區域，
基於應用到圖像幀的時間上實施的超解析度產生所得圖像，以及 配置成顯示由後視攝像設備捕獲到的圖像的後視鏡顯示設備。
【專利附圖】
【附圖說明】
[0027]現在將參照附圖通過示例來描述一個或多個實施例，附圖中:
圖1示出根據本披露的包括基於視覺的周圍視野的成像系統的主車輛；
圖2-1和2-2示出根據本披露的由圖1的後視攝像設備捕獲到的表示車輛後方視場的圖像；
圖3示出根據本披露的用於圖像的清晰度提高的示例性非銳化屏蔽濾波器；
圖4示出根據本披露的用以提高圖像幀內識別的關注區域的清晰度的示例性銳化濾波器；
圖5示出根據本披露的成像晶片的示例性實施例；
圖6示出根據本披露的由圖1的後視設備捕獲到的表示車輛後方視場的多個圖像幀；圖7示出根據本披露的由圖1的處理器執行以將時間上實施的超解析度應用於多個圖像幀的示例性控制器；以及
圖8示出根據本披露的空間上實施的超解析度和時間上實施的超解析度組合應用於由攝像設備捕獲到的多個圖像幀的非限制性實施例的示例性流程圖。
【具體實施方式】
[0028]現在參照圖式，其中展示僅用於示出某些示例性實施例的目的而並不用於對其限制，圖1示出根據本披露的包括基於視覺的周圍視野的成像系統12的主車輛(車輛)10。該車輛沿道路行駛並且基於視覺的成像系統12捕獲道路圖像。基於視覺的成像系統12基於一個或多個基於視覺的攝像設備的位置來捕獲車輛周圍的圖像。在本文描述的實施例中，基於視覺的成像系統將被描述為捕獲車輛後方的圖像；然而，還應理解，基於視覺的成像系統12可以延伸為捕獲車輛前方和車輛側方的圖像。
[0029]基於視覺的成像系統12可以包括用於捕獲車輛10的前方視場(FOV)的前視攝像設備14、用於捕獲車輛10的後方FOV的後視攝像設備16、用於捕獲車輛10的左側FOV的左側視攝像設備18以及用於捕獲車輛10的右側FOV的右側視攝像機的任何組合。攝像機14-18可以是適用於本文描述的實施例的任何攝像機，其中一些是汽車技術中已知的，它們能夠接收光或其他輻射並且使用例如電荷耦合設備(CCD)傳感器或互補金屬氧化物半導體(CMOS)傳感器中的一個將光能轉換成像素格式的電信號。攝像機14-18以一定數據幀速率產生圖像數據幀，這些圖像數據幀可以被存儲以用於隨後處理。攝像機14-18可以安裝在是車輛零件的任何適合結構內或其上，諸如保險槓、擾流板、車尾行李箱蓋、儀錶板、格柵、側視鏡、門板等，如本領域技術人員將很好理解和了解的。來自攝像機14-18的圖像數據被發送到永久性處理設備22 (例如，處理器)，該處理設備處理圖像數據以產生可以顯示在後視鏡顯示設備24上的圖像。
[0030]控制模塊、模塊、控制、控制器、控制單元、處理器以及類似術語意味著以下各項中的一個或多個的任一個或各種組合:(多個)特定用途集成電路(ASIC)、(多個)電子電路、執行一個或多個軟體或固件程序或例行程序的(多個)中央處理單元(優選地是微處理器)和相關的內存和存儲器(只讀、可編程只讀、隨機存取、硬碟驅動器等)、(多個)組合邏輯電路、(多個)輸入/輸出電路和設備、適當的信號調節和緩衝器電路以及用以提供所述功能性的其他部件。軟體、固件、程序、指令、例行程序、代碼、算法和類似術語意味著包括校準和查找表的任何指令集。控制模塊具有執行以提供所需功能的一組控制例行程序。例行程序通過諸如中央處理單元來執行，並且可操作以監測來自感測設備和其他聯網控制模塊的輸入，並且執行控制和診斷例行程序以控制致動器的操作。例行程序可以以規則的時間間隔(例如在前進的發動機和車輛操作過程中每3.125,6.25、12.5、25以及100微秒)執行。或者，可以響應於事件的發生來執行例行程序。
[0031]圖2-1和2-2示出根據本披露的由圖1的後視攝像設備16捕獲到的表示車輛10後方視場(FOV)的圖像。後視攝像設備16可以是本領域中已知的魚眼攝像設備。在非限制的示例性實施例中，後視攝像設備16被配置成以向下縱傾捕獲車輛後方180° F0V。來自攝像設備16的圖像數據可以由圖1的處理器22處理以產生可以顯示在包括圖1的後視鏡顯示設備24的任何適合的車輛顯示單元上。在一個實施例中，後視鏡顯示設備集成在車輛的人機界面(HMI)內。在另一個實施例中，後視顯示設備與安裝在車輛內部內的後視鏡集成。雖然本文描述的實施例涉及配置成捕獲車輛後方FOV的後視攝像設備16，但是將理解，本文實施例可以類似地應用於捕獲表示車輛前方或車輛側方FOV的圖像的攝像設備。
[0032]參照圖2-1，原始圖像100由攝像設備捕獲，其示出車輛後方F0V。原始圖像包括光學像差(諸如球面像差)，從而導致關注區域105所環繞的變形的中心區域。在一個實施例中，當原始圖像由魚眼攝像設備捕獲到時，出現導致變形的中心區域的球面像差。將了解，變形的中心區域是不希望的，因為主車輛後方的物體(諸如跟隨車輛)被感覺成小於並且更加遠離它們實際的情況。
[0033]參照圖2-2，處理器22對圖2_1的原始圖像100應用數字或圖像處理，以產生包括由關注區域107環繞的放大的中心區域的顯示圖像102。關注區域107環繞的放大的中心區域對應於圖2-1的關注區域105環繞的變形的中心區域。具體來說，處理器22所應用的數字或圖像處理伸展原始圖像從而放大由關注區域107環繞的中心區域。因此，關注區域107內的區域具有降低的圖像解析度。如本文所使用的，術語「圖像解析度」是指每像素細節。關注區域107內該降低的圖像解析度由在關注區域105環繞的變形的中心區域通過原始圖像100的伸展而放大時關注區域107內的像素密度導致。簡單來說，圖2-1的關注區域105內的每像素細節均等地分布，而圖2-2的關注區域107內的每像素細節被減少，因為在原始圖像100被伸展之後更多數量的像素用來描述相同細節。
[0034]本文示例性實施例是針對將超解析度應用於一個或多個圖像幀內識別的關注區域以提高中心區域中的解析度。雖然此披露涉及圖像幀內的關注區域是「中心區域」，但是應了解此披露的實施例可以包括含有整個圖像幀的關注區域。如本文所使用的，術語「超解析度」是指由圖1的基於位置的永久性處理設備22 (例如，處理器)執行以提高指示具有與每像素細節有關的減少的解析度的識別的關注區域的解析度的信號處理方法。如本文所使用的，術語「提高解析度」可以指在識別的關注區域內降低噪音、提高圖像清晰度或減少模糊。在示例性實施例中，識別的關注區域對應於圖2-2的顯示圖像102的關注區域107所環繞的放大的中心區域。因此，在伸展了原始圖像來放大中心區域之後應用超解析度。在替代實施例中，識別的關注區域也可以對應於圖2-1的原始圖像100的關注區域105所環繞的變形的中心區域，因為關注區域105將通過原始圖像100的上述伸展而變大並且因此要求增加與每像素細節有關的解析度。將了解，當攝像設備(例如，後視攝像設備16)的參數已知時，可以提前預先確定關注區域105和107以減少處理功率。應用到識別的關注區域的基於位置的超解析度可以包括用於單個圖像幀的空間上實施的超解析度或者用於多個圖像幀的時間上實施的超解析度。此外，當獲得多個圖像幀時，空間上實施的超解析度被單獨地應用於每個圖像幀上識別的關注區域。
[0035]空間上實施的超解析度的一個示例包括應用去噪濾波器。如本文所使用的，術語「去噪濾波器」是指用以降低識別的關注區域內的噪音的濾波器。非限制的示例性去噪濾波器包括雙邊濾波器，該雙邊濾波器通過平滑化識別的圖像平面同時保持識別的關注區域內的識別的邊緣來降低識別的關注區域內的噪音。識別的關注區域內的邊緣和平面可以基於監測圖像幀的圖像梯度來識別。在監測的圖像梯度是至少梯度邊緣閾值處可以識別出一個或多個邊緣。類似地，在監測的圖像梯度小於梯度邊緣閾值處可以在識別的關注區域內識別出一個或多個平面。以下更加詳細描述去噪濾波器應用通過用來自一個或多個識別的平面內的鄰近像素的像素值的加權平均值來替換識別的一個或多個平面內的每個像素的像素值。
[0036]去噪濾波器是在假定鄰近像素通常可能具有類似像素值的情況下起作用。如本文所使用的，術語「像素值」是指強度或顏色信息。如本文所使用的，術語「鄰近像素」是指佔據空間位置的多於一個像素。因此，兩個像素可以彼此「靠近」，即，佔據鄰近的空間位置，或者它們可以可能以有感知意義的方式彼此「類似」，即，具有鄰近像素值。術語「靠近」是指在圖像幀的領域中附近並且術語「類似」是指在圖像幀的範圍內附近。因此，去噪濾波器可以組合範圍和領域濾波以計算用於鄰近像素的像素值的加權平均值，其中識別的關注區域內的識別的平面被平滑化並且識別的邊緣得以保存。簡單來說，去噪濾波器平均掉噪音引起的鄰近像素值的像素值之間的小的、弱相關的差異。去噪濾波器可適用於應用到灰階圖像幀和彩色圖像幀。在非限制性實施例中，當圖像幀包括彩色圖像幀時，去噪濾波器的應用僅將感知上類似的色彩一起平均從而導致保持僅感知上重要的邊緣。
[0037]空間上實施的超解析度的另一個示例包括由圖1的處理器22執行的銳化濾波器的應用。如本文所使用的，術語「銳化濾波器」是指用來提高圖像幀的識別的關注區域中的清晰度並且因此減少圖像模糊的濾波器。在一個實施例中，在應用去噪濾波器之後將銳化濾波器應用於識別的關注區域。在非限制的示例性實施例中，銳化濾波器包括非銳化屏蔽(USM)濾波器。
[0038]圖3示出根據本披露的用於捕獲到的原始圖像200的清晰度提高的示例性USM濾波器。USM濾波器的應用可以取決於位置，其中圖像200的底部205包括應用到其的USM濾波器。[0039]示例性實施例是針對銳化濾波器(其是取決於位置的銳化濾波器)以實現識別的關注區域中的希望的銳化增加。諸如圖3的USM濾波器的銳化濾波器使用多個濾波器設置來控制包括過衝量、半徑和強度閾值的銳化。該多個濾波器設置可以被調整以實現希望的銳化增加。例如，可以調整關注區域內的每個識別的邊緣的過衝量。過衝量可以指示圖像對比度並且可以被表示為百分比。可以調整關注區域內的每個識別的邊緣的半徑。半徑影響有待增強的識別的邊緣的大小，其中較小半徑增強較小範圍的細節而較大半徑可以導致邊緣處的虛化，例如，可檢測到的繞物體的模糊的邊緣線。具體來說，調整半徑允許人們設置識別的邊緣的每側上多少像素將受到銳化影響。將了解，過衝量與半徑成反例。例如，減小過衝量和半徑中的一個使得過衝量和半徑中的另一個能夠增加。強度閾值控制與將被銳化的識別的邊緣相關的像素的最小強度改變，例如，亮度。像素的最小強度改變可以基於從圖像幀減去圖像幀的模糊副本來確定，如以下在圖4的銳化濾波器的非限制性實施例中所描述。因此，對強度閾值的調整可以由處理器22來使用以防止平滑的區/區域變得有斑點同時更多的明顯的邊緣可以得到銳化。此外，增加強度閾值起作用以排除較低對比度的區/區域。在示例性實施例中，減小半徑和減小強度閾值增加關注區域的銳化，其中半徑和強度閾值中的每一個都包括調整的值以實現希望的銳化增加。此外，取決於位置的銳化濾波器可以操作以實現在關注區域外部的區域中的希望的銳化減小以用於增強邊緣平滑化，其中希望的銳化減少可以使用處理濾波器設置的增加的半徑和增加的強度閾值。
[0040]圖4示出根據本披露的示例性銳化濾波器300以提高圖像幀內識別的關注區域的銳度。銳化濾波器300可以包括由圖1的處理器22執行的USM濾波器。銳化濾波器接收輸入圖像幀302。在所示實施例中，去噪濾波器已經應用到輸入圖像幀302以減少噪音，其中輸入圖像幀302表示主車輛(例如，圖1的車輛10)後方的F0V。輸入圖像幀302可以被感知為清晰且平滑。輸入圖像幀302的副本通過高斯濾波來模糊從而獲得模糊的圖像304。模糊的圖像304可以被感知為平滑。具體來說，多個濾波器設置中的上述半徑被調整以獲得模糊的圖像304。雖然模糊的圖像304是指整個圖像幀，但是將了解，銳化濾波器可以是取決於位置的，其中可以調整半徑來實現所識別出的關注區域(例如，增大的中心區域)內的希望的清晰或平滑。
[0041]僅為了說明目的，差異單元305將模糊的圖像304與輸入圖像幀302進行比較以產生差異圖像306。差異圖像306可以包括輸入圖像幀302與模糊的圖像304之間的與識別的邊緣相關的強度改變或像素差異。可以調整上述強度閾值來控制與將被銳化的識別的邊緣相關的最小強度改變或像素差異。因此，差異圖像306中與具有超出強度閾值的強度改變的邊緣相關的像素將得到保持，而具有小於強度閾值的強度改變的像素將被去除。包括超出強度閾值的像素的差異圖像306由添加器307添加以產生所得圖像309。所得圖像309被感知為由銳化濾波器銳化。在一個實施例中，所得圖像309可以顯示在圖1的後視鏡顯示設備24上。在另一個實施例中，與相同場景的一個或多個其他所得圖像組合併且已經對其應用銳化濾波器的所得圖像309可以取決於所得圖像中每個內的位置使所得圖像經受時間上實施的超解析度。
[0042]將了解，參照圖4所描述的示例性銳化濾波器僅用於說明目的。例如，差異單元305和添加單元307實際上不存在，而僅是展示來示出由銳化濾波器執行的區分和添加。此夕卜，示例性銳化濾波器並不如圖4的說明性實施例中所描繪的在一系列順序步驟或部分中執行，而是，說明性圖像302、304和309的每個同時執行以通過示例性銳化濾波器300實現希望的銳化增加。
[0043]參照圖5，示出根據本披露的包括像素陣列550的成像晶片500的示例性實施例。成像晶片500包括濾波器部分501和電路部分503。雖然並不單獨區分，但是濾波器部分501和電路部分503僅為了說明目的而分離以描述本文描述的示例性實施例。在所示實施例中，像素550包括綠色(Gr和Gb)、藍色(B)和紅色(R)像素，這些像素由於不同的濾色器而各自具有對光的相應響應。雖然所示實施例中的濾波器部分501包括濾色器，但是將了解，本文的實施例並不限於包括單色濾波器部分的濾波器部分501。參照電路部分503，每個像素550能夠每次在短曝光時間和長曝光時間中的一個之間進行調整。使用成像晶片500，處理器22可以在時間上獲得用於給定時間周期的短曝光和長曝光。例如，每個像素550可以包括第一時間周期期間的短曝光時間以獲得短曝光圖像，並且隨後每個像素550可以被調整以包括第二時間周期期間的長曝光時間以獲得長曝光圖像。
[0044]圖6示出根據本披露的由圖1的後視攝像設備16捕獲到的表示車輛後方FOV的多個圖像幀502、504和506。雖然描繪三個圖像幀，但是可以選擇任何數量的圖像幀。圖像幀502,504和506的每個包括環繞行駛在主車輛(例如，圖1的車輛10)後方的目標車輛的關注區域505。在所示實施例中，第二圖像幀504比第一圖像幀502在時間上稍晚被捕獲到，並且第三圖像幀506比第二圖像幀504在時間上稍晚被捕獲到。分別參照第一圖像幀502和第二圖像幀504，關注區域505內的目標車輛在第二圖像幀中比在第一圖像幀中更加靠近。因此，目標車輛正在移動。分別參照第二圖像幀504和第三圖像幀506，關注區域505內的目標車輛在第三圖像幀506中比在第二圖像幀504中更加靠近。因此，由於在所示實施例中目標車輛比主車輛移動得快，所以關注區域505內的目標車輛的位置在第一、第二和第三圖像幀502-506的每一個中已經移動。其他實施例可以包括目標車輛比主車輛移動得慢或者目標車輛橫向移動到相對於主車輛的方向的左側或右側。
[0045]本披露的示例性實施例可以根據多個圖像幀中的每一個內的位置將時間上實施的超解析度應用到多個圖像幀，並且隨後基於對該多個圖像幀的時間上實施的超解析度來產生所得圖像。在一個實施例中，每個圖像幀對應於已經對其應用空間上實施的超解析度(例如，去噪濾波器或銳化濾波器)的圖像幀，如以上在圖4的非限制的示例性實施例中所描述。在另一個實施例中，每個圖像幀對應於在被伸展以放大每個圖像幀內中心區域之後的圖像幀。在又一個實施例中，每個輸入圖像幀對應於在應用數字或圖像處理以通過伸展原始圖像來放大每個圖像幀內的中心區域之前由攝像設備捕獲到的原始圖像幀中的相應圖像幀。因此,本文的實施例並不針對應用空間上實施的超解析度和時間上實施的超解析度的任何次序。例如，圖4的銳化濾波器300中所示的輸入圖像幀302可以對應於基於應用到多個原始捕獲到的圖像幀的時間上實施的超解析度所產生的所得圖像。
[0046]通常，時間上實施的超解析度從一組低解析度圖像重建高解析度所得圖像。諸如關於圖6的圖像502-506所示的動態場景通常因為場景與攝像設備(例如，圖1的後視攝像設備16)之間的相對運動而導致顯示的圖像扭曲。例如，圖像幀由於大氣湍流和攝像設備而通過點分布函數來模糊。此外，圖像幀可以在成像晶片處被離散從而產生數位化的噪音圖像幀。在非限制性示例中，純平移運動可以通過時間上實施的超解析度來處理，其中與平移運動的更小偏離顯著降級性能。然而，比純平移運動複雜的運動可以使用不同的圖像配準例行程序通過時間上實施的超解析度來處理。雖然空間上實施的超解析度單獨地涉及每個圖像幀中的邊緣保持和銳化邊緣，但是時間上實施的超解析度需求與運動誤差、模糊、離群值和在合併的圖像中未明確模型化的其他種類誤差相關的穩健性。時間上實施的超解析度可以包括三個階段:運動檢測、插值和恢復。這些步驟可以分別或同時實施。
[0047]運動檢測包括以分數像素精確度來估計與參考圖像幀相比較的多個圖像幀之間的運動信息。因此，必須在圖像幀之間估計子像素運動。由於多個像素幀之間的移位不會始終與均勻間隔的格柵相匹配，所以不均勻的插值是從多個圖像幀(例如，多個低解析度圖像幀)的不均勻間隔的組成物獲得均勻間隔的所得圖像(例如，高精度圖像)所必要的。最後，圖像恢復被應用到具有增強的解析度的上採樣的所得圖像以去除模糊和噪音。圖像恢復可以包括用於去噪、縮放和偏移的像素值的多幀平均值以消除在多個圖像中的一個或多個中發現的差異。
[0048]時間上實施的超解析度領域中已知的各種方法是預期的，其包括但不限於表達超解析度圖像重建的直觀理解的非均勻插入方法和有助於看出如何開發多個低解析度圖像之間的混淆關係的頻域方法。確定性和隨機規則化方法也預期為時間上實施的超解析度領域中已知的方法。
[0049]圖7示出根據本披露的由圖1的處理器22執行以用於將時間上實施的超解析度應用於多個圖像幀的示例性控制器700。控制器700包括輸入圖像模塊602、運動檢測模塊604、運動決定模塊606、超解析度消除模塊608、圖像配準模塊610、圖像穩定模塊612以及多幀超解析度模塊614。
[0050]輸入圖像模塊602將多個圖像幀輸入到運動檢測模塊604。可以在一個時間周期內選擇多個圖像幀。在一個實施例中，來自輸入圖像模塊602的多個圖像幀各自已經應用了空間上實施的超解析度。在另一個實施例中，多個圖像幀對應於由攝像設備捕獲到的原始圖像，如以上在圖2-1中所示的原始圖像100的非限制性示例中所描述的。在又一個實施例中，多個圖像幀對應於包括放大的中心區域的顯示圖像，如以上在圖2-2中所示的顯示圖像102的非限制性示例中所描述的。
[0051]運動檢測模塊604檢測多個輸入圖像幀中的物體運動程度。運動檢測模塊604可以首先識別靜止區域和移動區域。如以上提及，時間上實施的超解析度可以取決於位置並且應用到多個圖像的識別的區域(例如，放大的中心區域)以增加處理器22的計算效率。檢測物體運動的程度可以包括但不限於監測光流、追蹤特徵點和在多個輸入圖像幀中模板匹配。多個輸入圖像幀中的物體運動程度隨後被輸入到運動決定模塊606。如果運動決定模塊606確定由運動決定模塊606檢測到的物體運動程度包括大量運動，例如，物體運動程度是至少運動閾值，則控制器700取消在超解析度消除模塊608處的超解析度的任何應用。如果運動決定模塊606確定物體運動程度包括顛簸，則在圖像穩定模塊612執行圖像穩定。如本文所使用的，「顛簸」是指場景與攝像設備(例如，圖1的後視攝像設備16)之間的相對運動的不一致。例如，行駛在粗糙表面上的主車輛可能導致場景與捕獲圖像幀的主車輛的攝像設備之間的相對運動的不一致。因此，圖像穩定模塊612穩定多個輸入圖像幀中的每一個，例如，穩定由所識別出的關注區域環繞的區，以去除由檢測到的顛簸導致的「跳動效果」。在一個實施例中，圖像穩定可以包括應用尺度不變特徵轉換(SIFT)以檢測和描述多個輸入圖像幀中的局部特徵，例如，物體。例如，可以在子像素水平穩定和配準物體片段。在圖像穩定模塊612處執行圖像穩定之後，在圖像配準模塊610處執行圖像配準。如果運動決定模塊606確定物體運動程度包括不運動或小量運動，例如，物體運動程度小於運動閾值，則在圖像配準模塊610對多個輸入圖像執行圖像配準。在一個實施例中，圖像配準包括模板匹配以識別輸入圖像幀內的物體和特徵中的至少一個。物體的示例可以包括行駛在路面上的車輛、行人、野生動物和基礎設施。基於模板匹配，可以在每個圖像幀之間識別出差異。例如，在每個圖像中一致的特徵點可以被配準在子像素水平，而可以使用諸如縮放和偏移的方法來去除識別的差異。通過從多個輸入圖像幀去除差異並保持特徵點，可以在多幀超解析度模塊614在多個輸入圖像中應用多幀超解析度，從而產生具有提高的解析度的所得圖像幀。
[0052]在多個輸入圖像幀中應用超解析度可以包括應用雙邊濾波器來降低噪音。例如，噪音降低可以通過用多個輸入圖像幀中的空間位置內的每個像素的像素值的加權平均值來替換每個圖像幀中每個像素的像素值來實現。此外或者替代地，對多個輸入圖像幀中的每個輸入圖像進行超解析度可以包括應用銳化濾波器來提高多個輸入圖像中的每一個內的清晰度並減少模糊。超解析度可以進一步通過在多個輸入圖像中應用插值來執行，其中一個或多個輸入圖像可以用來將超解析度應用推斷到其他輸入圖像。
[0053]圖8根示出據本披露的示例性流程圖800，該流程圖示出空間上實施的超解析度和時間上實施的超解析度組合應用於由攝像設備捕獲到的多個圖像幀的非限制性實施例。示例性流程圖800可以由圖1中所示的永久性處理設備22執行並且在其內實施。輸入幀902、902』、902』』指示在一個時間周期內主車輛10後方的相同道路場景，並且可以包括具有縮小的中心區域的原始圖像幀或在應用軟體來伸展原始圖像之後具有增大的中心區域的顯示圖像幀。在所示實施例中，示出三個輸入圖像幀902、902』、902然而，應了解，在所示實施例中可以包括任何多個輸入圖像幀。空間上實施的超解析度被個別地應用到每個輸入圖像幀，如由虛線框910、910，、910』 』所描繪的。對於每個輸入圖像幀902、902』、902』，，可以識別出要求增加每像素細節有關的解析度的關注區域，並且空間上實施的超解析度可以應用到每個輸入圖像幀902、902』、902』』中的關注區域以提高每個關注區域內的圖像清晰度。在對每個輸入圖像幀902、902』、902』』應用空間上實施的超解析度之後產生空間上增強的輸入圖像幀904、904』、904』 』。
[0054]在空間上增強的輸入圖像幀904、904』、904』 』中應用時間上實施的超解析度，如由虛線框920所描繪的。時間上實施的超解析度可以僅應用到空間上增強的輸入圖像幀904、904』、904』 』中如利用諸如模板匹配的方法通過圖像配準來識別特徵或物體確定的特徵點。因此，在空間上增強的輸入圖像幀904、904』、904』 』中應用時間上實施的超解析度產生具有提高的解析度的所得圖像906。將了解，僅在物體運動程度包括顛簸、不運動和小於運動閾值的小量運動中的一個的情況下應用時間上實施的超解析度，如以上參照圖7的示例性控制器700所描述的。
[0055]將了解，超解析度的應用(無論是空間上實施的還是時間上實施的)可以與每個輸入圖像幀中的關注區域的位置相關。例如，使用成像或數字處理放大的原始捕獲圖像中的減小的中心區域通常包括現在放大的中心區域中減少或降低的解析度。在應用銳化濾波器的實施例中，希望的銳化增加可以通過使用銳化濾波器的處理濾波器設置的減小的半徑和減小的強度閾值而與每個輸入圖像的中心區域的位置相關。[0056]本披露已經描述了某些優選實施例和對其的修改。其他人可以在閱讀和理解說明書之後產生其他修改和變更。因此，本披露並不意欲限於作為考慮用於執行本披露的最佳模式所披露的(多個)具體實施例，而是本披露將包括落入隨附權利要求範圍內的所有實施例。
【權利要求】
1.用於將超解析度應用到由車輛的攝像設備捕獲到的圖像的方法，包括: 獲得由攝像設備捕獲的多個圖像幀； 對於每個圖像幀: 在圖像幀內識別要求增加與每像素細節有關的解析度的關注區域；以及 將空間上實施的超解析度應用到圖像幀內的關注區域以提高關注區域內的圖像清晰度。
2.如權利要求1所述的方法，其中識別的關注區域對應於在伸展由攝像設備捕獲的具有光學像差的原始圖像之後的顯示圖像幀的放大中心區域，放大中心區域具有與每像素細節有關的減小的解析度。
3.如權利要求1所述的方法，其中識別的關注區域包括整個圖像幀。
4.如權利要求1所述的方法，其中將空間上實施的超解析度應用到圖像幀內的關注區域包括: 應用去噪濾波器以通過平滑化關注區域內的一個或多個識別的平面同時保持識別的關注區域內的一個或多個識別的邊緣來降低噪音。
5.如權利要求4所述的方法，其中應用去噪濾波器包括: 監測識別的關注區域內的圖像梯度； 在監測的圖像梯度是至少梯度邊緣閾值處識別一個或多個邊緣； 在監測的圖像梯度小於梯度邊緣閾值處識別一個或多個平面；以及用來自一個或多個識別的平面內的鄰近像素的像素值的加權平均值來替換識別的一個或多個平面內的每個像素的像素值。
6.如權利要求1所述的方法，其中將空間上實施的超解析度應用到圖像幀內的關注區域包括: 應用取決於位置的銳化濾波器以實現關注區域內的希望的銳化增加，所述希望的銳化增加是基於調整與關注區域相關的銳化濾波器的濾波器設置來實現。
7.如權利要求6所述的方法，其中應用取決於位置的銳化濾波器進一步在關注區域外部的區域中實現希望的銳化減少，所述希望的銳化減少是基於調整與關注區域外部的相應區域相關的銳化濾波器的濾波器設置來實現。
8.如權利要求6所述的方法，其中調整銳化濾波器的濾波器設置包括: 關注區域內的識別的邊緣的調整的半徑，調整的半徑與調整的過衝量成反比；以及 用於控制與將被銳化的識別的邊緣相關的像素的最小強度改變的調整的強度閾值。
9.用於將超解析度應用到由主車輛的攝像設備捕獲到的一個或多個圖像的方法，包括: 對於表不主車輛後方視場的場景的一個時間段期間的多個圖像幀: 識別多個圖像幀內的關注區域； 在多個圖像幀中檢測物體運動的程度； 如果物體運動程度包括顛簸、不運動和小於運動閾值的小量運動中的一個，則應用圖像配準以辨別輸入圖像幀內的物體和特徵中的至少一個； 應用時間上實施的超解析度以提高多個圖像幀的關注區域內的解析度；以及 基於已經對其應用時間上實施的超解析度的多個圖像幀產生所得圖像。
10.用於將超解析度應用到由主車輛的基於視覺的成像系統捕獲到的一個或多個圖像的裝置，包括: 配置成捕獲表示主車輛後方視場的場景的多個圖像幀的後視攝像設備；以及 處理設備，所述處理設備配置成: 接收由後視攝像設備捕獲到的多個圖像幀， 在每個圖像幀內識別具有與每像素細節有關的減少的解析度的放大中心區域， 將去噪濾波器和銳化濾波器中的至少一個應用到每個圖像幀內的放大中心區域以提高放大中心區域內的解析度， 對於已經對其應用去噪濾波器和銳化濾波器中的至少一個的多個圖像幀: 根據圖像幀的每一個內的位置將時間上實施的超解析度應用到圖像幀，所述位置包括識別的關注區域， 基於應用到圖像幀的時間上實施的超解析度產生所得圖像，以及 配置成顯示由後 視攝像設備捕獲到的圖像的後視鏡顯示設備。
【文檔編號】G06T5/00GK103914810SQ201410005996
【公開日】2014年7月9日 申請日期:2014年1月7日 優先權日:2013年1月7日
【發明者】W.張, J.王, K.S.利貝克, J.S.皮亞塞基, R.M.弗拉克斯, T.S.赫斯特 申請人:通用汽車環球科技運作有限責任公司