圖像處理設備及其控制方法
2023-05-22 23:32:51 1
專利名稱：圖像處理設備及其控制方法
技術領域：
本發明涉及一種圖像處理設備和圖像處理設備的控制方法，尤其涉及一種用於校正由用於拍攝圖像的光學系統的像差所引起的圖像劣化的技術。
背景技術：
諸如數位照相機等的攝像設備所拍攝的圖像受到了諸如攝像鏡頭等的光學系統所引起的倍率色像差和畸變像差的影響。聚焦於所拍攝圖像的像素表明在無像差系統中應該在感興趣像素上形成的圖像由於像差而移動，並且形成在連接該感興趣像素和該圖像的中心的線上。由於多像素圖像傳感器或具有廣角或高變焦比的光學系統的使用，使得因像差所引起的圖像質量劣化變得明顯，因而一些新近的攝像設備通過圖像處理來校正像差的影響。眾所周知，基於表示與圖像中心的距離的圖像高度和光學系統的特性來獲得在無像差系統中校正用於定義由於像素的像差而移動的像素的信息所要使用的校正量。不一定對圖像傳感器的每一像素都進行由像差而引起的圖像移動。圖像有時被移動至圖像傳感器的像素之間的點(缺失像素(missing pixel))。因此，需要插值運算來校正像差的影響。日本特開2001-186533和2005-057605公開了如下技術通過將多個像素乘以校正函數來求出校正後的感興趣像素的像素值，以校正所拍攝圖像中的倍率色像差或畸變像差。然而，儘管公開了用於校正像差的影響的處理方法，但是上述現有技術沒有提及基於校正處理期間的存儲區域的容量的校正限制。更具體地，在如上所述包括多像素圖像傳感器的攝像設備中，所拍攝圖像的容量也正在增長。由於該原因，為了向所獲得的圖像應用例如對像差影響的校正的圖像處理，需要將圖像分割成許多區域，將各區域順次讀出到存儲區域，然後進行校正處理。如視頻記錄模式等那樣，為縮短從攝像到記錄所需的時間， 需要儘可能地避免重複區域讀出。需要通過針對每一區域進行一個周期的讀出來完成圖像處理。也就是說，由於像差校正量受到存儲區域的容量的限制，因而需要考慮校正限制來進行校正。
發明內容
考慮到現有技術的問題做出了本發明。本發明考慮到校正限制來校正由光學系統的像差所引起的所拍攝圖像的圖像質量劣化。本發明的第一方面提供一種圖像處理設備，用於針對使用光學系統所拍攝的圖像的各像素，校正所述光學系統的像差在所述圖像中的影響，所述圖像處理設備包括存儲部件，用於讀出並存儲所述圖像的部分區域的圖像；計算部件，用於使用所述存儲部件所存儲的部分區域的圖像的感興趣像素的圖像高度的信息和所述光學系統的信息，計算所述感興趣像素和應該在所述感興趣像素的位置處形成但由於所述光學系統的像差而進行了移動的圖像之間在所述部分區域的圖像上的距離，作為校正量；以及校正部件，用於通過將如下
4的像素值相加來求出所述感興趣像素在校正後的像素值，其中，要相加的像素值是通過將以與所述感興趣像素相距由所述計算部件計算出的距離的位置為中心的、預定數量的周邊像素各自的像素值乘以通過預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值，所述預定插值函數是相對於與所述感興趣像素相距由所述計算部件計算出的距離的位置的距離的函數，其中，如果在所述存儲部件中存儲的周邊像素的數量少於所述預定數量，則所述校正部件改變所述預定插值函數，以使得所述預定插值函數的頻率響應特性與當在所述存儲部件中存儲了所述預定數量的周邊像素時的頻率響應特性相比更平緩，並且所述校正部件通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值，其中， 要相加的像素值是通過將數量少於所述預定數量的周邊像素各自的像素值乘以通過改變後的所述預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值。本發明的第二方面提供一種圖像處理設備的控制方法，其中，所述圖像處理設備用於針對使用光學系統所拍攝的圖像的各像素，校正所述光學系統的像差在所述圖像中的影響，所述控制方法包括以下步驟將所述圖像的部分區域的圖像讀出並存儲在存儲部件中；計算步驟，用於使用所述存儲部件所存儲的部分區域的圖像的感興趣像素的圖像高度的信息和所述光學系統的信息，計算所述感興趣像素和應該在所述感興趣像素的位置處形成但由於所述光學系統的像差而進行了移動的圖像之間在所述部分區域的圖像上的距離， 作為校正量；以及校正步驟，用於通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值，其中，要相加的像素值是通過將以與所述感興趣像素相距在所述計算步驟計算出的距離的位置為中心的、預定數量的周邊像素各自的像素值乘以通過預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值，所述預定插值函數是相對於與所述感興趣像素相距在所述計算步驟計算出的距離的位置的距離的函數，其中，在所述校正步驟中， 如果在所述存儲部件中存儲的周邊像素的數量少於所述預定數量，則改變所述預定插值函數，以使得所述預定插值函數的頻率響應特性與當在所述存儲部件中存儲了所述預定數量的周邊像素時的頻率響應特性相比更平緩，並且通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值，其中，要相加的像素值是通過將數量少於所述預定數量的周邊像素各自的像素值乘以通過改變後的所述預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值。通過以下(參考附圖)對典型實施例的說明，本發明的其它特徵將變得明顯。
圖1是示出根據本發明實施例的數位照相機的功能結構的框圖；圖2A和2B是用於說明根據本發明實施例的像素坐標生成電路的圖；圖3AJB和3C是用於說明根據本發明計算校正量要使用的近似函數求出方法的圖；圖4是示出根據本發明實施例的係數生成電路的電路結構的框圖；圖5是說明用於求出校正後的像素值的方法的圖；圖6A、6B和6C是說明插值函數的時間特性的圖；圖6D、6E和6F是說明插值函數的頻率響應特性的圖；圖7是示出根據本發明實施例的頻率特性控制電路的電路結構的框圖8A、8B和8C是說明插值函數的抑制係數的圖；圖9是說明根據本發明實施例的用於求出校正後的像素值的方法的圖；圖IOA是示出根據本發明實施例的光學校正電路的電路結構的框圖；圖IOB和IOC是示出根據本發明實施例的光學校正電路中的插值電路的電路結構的電路圖；圖11A、11B、11C和IlD是說明插值運算要使用的緩衝存儲器上的參考像素的圖；圖12A、12B和12C是示出根據本發明實施例的圖像高度和校正量之間的關係的圖；圖13A、i;3B、13C、13D、13E、13F、13G和13H是示出根據本發明實施例的校正限制量和各參數之間的關係的圖；圖14是示出根據第三實施例的校正特性信息生成電路的電路結構的框圖；以及圖15A、15B和15C是示出根據本發明第四實施例的特徵檢測電路的電路結構的框圖。
具體實施例方式第一實施例現參考附圖詳細說明本發明的實施例。注意，在下面的實施例中，將說明本發明應用於作為圖像處理設備並可校正因光學系統而在所拍攝圖像中生成的倍率色像差或畸變像差的數位照相機的例子。然而，本發明可應用於能夠校正由於拍攝圖像的光學系統的像差而在輸入圖像中所引起的圖像質量劣化的裝置。注意，在本實施例中，儘管像差校正量和圖像高度之間的關係在倍率色像差和畸變像差之間有所不同，但由於該像差校正量依賴於圖像高度，因而下面將說明RGB各自的倍率色像差或畸變像差的校正量。圖1是示出根據本發明實施例的數位照相機100的功能結構的框圖。注意，在本實施例中，將僅通過示出校正數位照相機100拍攝的圖像中所生成的像差的影響所需的功能結構來進行說明，並且沒有示出與圖像記錄和顯示有關的組件。微計算機101是控制數位照相機100的整體處理並進行計算和將諸如計算結果等的數據傳送給其它塊的塊。微計算機101包含存儲與數位照相機100的整體處理相關聯的運算程序的非易失性存儲器、以及執行該運算程序並臨時存儲計算結果和輸入數據的工作存儲器。光學系統102包括諸如變焦透鏡和調焦透鏡等的透鏡。由被攝體反射的並經由光學系統102和光圈106所接收到的光在後面所述的圖像傳感器108上形成這裡被稱為被攝體圖像的被攝體的圖像。根據從微計算機101所提供的驅動位置信息，通過變焦透鏡致動器103、調焦透鏡致動器104和光圈致動器105來驅動光學系統102和光圈106，以光學地調整被攝體圖像。在計算提供給光學系統102的驅動位置信息所要使用的信息中包括焦距、焦點位置和光圈值。光學系統102和光圈106的位置是影響倍率色像差和畸變像差的因素，並且在以下對這些像差的影響的校正的說明中，將其通稱為光學參數。通過色分離稜鏡107將來自被攝體的經由光學系統102和光圈1066進入數位照相機100的反射光分成RGB，以在RGB各自的圖像傳感器108上形成圖像。各圖像傳感器108均由CXD或CMOS傳感器等構成。對在各圖像傳感器108上形成的光學圖像進行光電轉換。根據從模擬前端(AFE) 109輸入的驅動波形，按照掃描順序將由此得到的模擬圖像信號輸出給AFE 109。AFE109是將輸入的模擬圖像信號轉換成數字圖像信號的塊。AFE109 將從RGB的圖像傳感器108所輸入的模擬圖像信號轉換成數字圖像信號Sr、Sg和Sb，並且將數字圖像信號Sr、Sg和Sb輸出給後面說明的光學校正電路115。由AFE 109生成的用於使圖像傳感器108輸出模擬圖像信號的圖像傳感器108的驅動波形依賴於從時序發生器 (TG) 110輸出給AFE 109的水平同步信號HD和垂直同步信號VD。TG 110從微計算機101 接收與數位照相機100中設置的圖像傳感器108的驅動有關的信息，並且生成水平同步信號HD和垂直同步信號VD，並將水平同步信號HD和垂直同步信號VD輸出給AFE 109和像素坐標生成電路111。與圖像傳感器108的驅動有關的信息包括例如與圖像傳感器108輸出一個水平線內的模擬圖像信號所需的時間有關的信息以及與輸出所有模擬圖像信號即讀出一幀內的模擬圖像信號所需的時間有關的信息。像素坐標生成電路111將與各像素位置有關的信息轉換成極坐標以校正像差的影響。倍率色像差和畸變像差依賴於作為與光學中心的距離的圖像高度。因此，像素坐標生成電路111使用光學中心作為極點，將與各像素位置有關的信息轉換成極坐標。將參考圖2A和2B更詳細地說明像素坐標生成電路111。圖2A示出像素坐標生成電路111的電路結構的例子。對從TG 110輸入的水平同步信號HD和垂直同步信號VD進行計數，以獲得與當前從圖像傳感器108輸出給AFE 109 的像素位置有關的信息燈和竹。將信息燈和竹輸入給極坐標變換電路201。另外，從微計算機101提供所拍攝圖像的光學中心的像素位置的信息Cx和Cy，並且將Cx和Cy輸入給極坐標變換電路201。基於這些輸入信息，極坐標變換電路201利用下面的等式計算表示如圖2B所示當前輸出給AFE 109的像素的極坐標的極徑Rt和極角θ t的信息
權利要求
1.一種圖像處理設備，用於針對使用光學系統所拍攝的圖像的各像素，校正所述光學系統的像差在所述圖像中的影響，所述圖像處理設備包括存儲部件，用於讀出並存儲所述圖像的部分區域的圖像；計算部件，用於使用所述存儲部件所存儲的部分區域的圖像的感興趣像素的圖像高度的信息和所述光學系統的信息，計算所述感興趣像素和應該在所述感興趣像素的位置處形成但由於所述光學系統的像差而進行了移動的圖像之間在所述部分區域的圖像上的距離， 作為校正量；以及校正部件，用於通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值， 其中，要相加的像素值是通過將以與所述感興趣像素相距由所述計算部件計算出的距離的位置為中心的、預定數量的周邊像素各自的像素值乘以通過預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值，所述預定插值函數是相對於與所述感興趣像素相距由所述計算部件計算出的距離的位置的距離的函數，其中，如果在所述存儲部件中存儲的周邊像素的數量少於所述預定數量，則所述校正部件改變所述預定插值函數，以使得所述預定插值函數的頻率響應特性與當在所述存儲部件中存儲了所述預定數量的周邊像素時的頻率響應特性相比更平緩，並且所述校正部件通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值，其中，要相加的像素值是通過將數量少於所述預定數量的周邊像素各自的像素值乘以通過改變後的所述預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值。
2.根據權利要求1所述的圖像處理設備，其特徵在於，如果針對所述感興趣像素所計算出的校正量超過由所述存儲部件的容量所確定出的第一上限值，則所述計算部件將所述校正量設置為所述第一上限值。
3.根據權利要求2所述的圖像處理設備，其特徵在於，所述計算部件設置小於所述第一上限值的第二上限值，所述第二上限值是由所述圖像中所述校正量超過所述第一上限值的圖像高度範圍和所述圖像高度範圍中的圖像高度的最小值所確定出的預定校正量，並且所述第二上限值隨著所述圖像高度範圍的變寬而被設置得越大，並隨著所述圖像高度的最小值的變大而被設置得越小，以及如果針對所述感興趣像素所計算出的校正量超過所述第二上限值，則所述計算部件將所述校正量設置為所述第二上限值。
4.根據權利要求1所述的圖像處理設備，其特徵在於，還包括獲取部件，所述獲取部件用於針對所述圖像的各像素獲取所述光學系統的調製傳遞函數信息，其中，所述計算部件設置在所述圖像中由所述調製傳遞函數信息的值所確定出的所述校正量的預定第三上限值，所述預定第三上限值對於調製傳遞函數信息的值越低的感興趣像素設置越小的校正量，以及如果針對所述感興趣像素所計算出的校正量超過所述預定第三上限值，則所述計算部件將所述校正量設置為所述預定第三上限值。
5.根據權利要求1所述的圖像處理設備，其特徵在於，還包括邊緣檢測部件，所述邊緣檢測部件用於根據所述感興趣像素和所述感興趣像素周圍的周邊像素來檢測所述感興趣像素的邊緣成分，其中，所述計算部件設置在所述圖像中由所述邊緣成分的大小所確定出的所述校正量的預定第四上限值，所述預定第四上限值對於所述邊緣成分越小的感興趣像素設置越小的校正量，以及如果針對所述感興趣像素所計算出的校正量超過所述預定第四上限值，則所述計算部件將所述校正量設置為所述預定第四上限值。
6.根據權利要求1所述的圖像處理設備，其特徵在於，還包括矢量檢測部件，所述矢量檢測部件用於基於在所述圖像之後連續拍攝的圖像和包括所述感興趣像素的部分區域中的圖像，檢測包括所述感興趣像素的部分區域中的圖像的運動矢量，其中，所述計算部件設置在所述圖像中由所述運動矢量的量的倒數所確定出的所述校正量的預定第五上限值，所述預定第五上限值對於所述運動矢量越大的區域中所包括的感興趣像素設置越小的校正量，以及如果針對所述感興趣像素所計算出的校正量超過所述預定第五上限值，則所述計算部件將所述校正量設置為所述預定第五上限值。
7.一種圖像處理設備的控制方法，其中，所述圖像處理設備用於針對使用光學系統所拍攝的圖像的各像素，校正所述光學系統的像差在所述圖像中的影響，所述控制方法包括以下步驟將所述圖像的部分區域的圖像讀出並存儲在存儲部件中；計算步驟，用於使用所述存儲部件所存儲的部分區域的圖像的感興趣像素的圖像高度的信息和所述光學系統的信息，計算所述感興趣像素和應該在所述感興趣像素的位置處形成但由於所述光學系統的像差而進行了移動的圖像之間在所述部分區域的圖像上的距離， 作為校正量；以及校正步驟，用於通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值， 其中，要相加的像素值是通過將以與所述感興趣像素相距在所述計算步驟計算出的距離的位置為中心的、預定數量的周邊像素各自的像素值乘以通過預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值，所述預定插值函數是相對於與所述感興趣像素相距在所述計算步驟計算出的距離的位置的距離的函數，其中，在所述校正步驟中，如果在所述存儲部件中存儲的周邊像素的數量少於所述預定數量，則改變所述預定插值函數，以使得所述預定插值函數的頻率響應特性與當在所述存儲部件中存儲了所述預定數量的周邊像素時的頻率響應特性相比更平緩，並且通過將如下的像素值相加來求出所述感興趣像素在校正後的像素值，其中，要相加的像素值是通過將數量少於所述預定數量的周邊像素各自的像素值乘以通過改變後的所述預定插值函數所獲得的周邊像素各自的插值係數而獲得的像素值。
全文摘要
本發明涉及一種圖像處理設備及其控制方法。計算因光學系統而在區域的各像素中引起的像差的校正量。使以與該像素相距同計算出的像差校正量相對應的距離的位置為中心的預定數量的周邊像素乘以通過插值函數所獲得的插值係數，並且進行相加，從而求出校正後的該像素位置的像素值。如果在讀出的區域中不存在相距與計算出的像差校正量相對應的距離的位置周圍的預定數量的周邊像素，則通過改變插值函數來實現像差校正。更具體地，改變該插值函數，以使得該插值函數的頻率響應特性與給出校正處理所使用的用以與預定數量的周邊像素相乘的插值係數的插值函數的頻率響應特性相比更平緩。
文檔編號H04N5/232GK102208098SQ20111007918
公開日2011年10月5日 申請日期2011年3月29日 優先權日2010年3月29日
發明者寺澤見 申請人:佳能株式會社