圖像處理設備、圖像處理方法及程序的製作方法

2023-08-09 14:45:11

專利名稱：圖像處理設備、圖像處理方法及程序的製作方法
技術領域：
本公開涉及圖像處理設備、圖像處理方法及程序，更具體地，涉及能夠減少發生在圖像中的鋸齒的圖像處理設備、圖像處理方法及程序。
背景技術：
例如，當將由相機捕獲的圖像列印 輸出或顯示時，輸出對象的圖像輪廓不同於原始對象的輪廓。即，在某些情況下，輸出對象的圖像輪廓輸出為階梯狀、鋸齒狀的輪廓。階梯狀、鋸齒狀的形狀通常被稱為鋸齒(jaggy)。鋸齒是一種圖像失真噪聲。迄今為止已經提出了各種減少鋸齒的圖像處理方法。例如，日本未審查專利申請公開第2010-67272號公開了一種通過確定執行邊緣檢測的方向、以及通過增加在還平行於邊緣的方向上的平滑分量的權重並且執行每個方向上的混合處理來減少鋸齒的方法。但是，該方法具有的問題在於，由於當使用質心偏移的像素執行邊緣保持平滑時，以亞像素為單位在垂直於邊緣的方向上彼此偏離的像素之間執行平滑，所以解析度會惡化。另外，日本未審查專利申請公開第2009-070123號公開了一種通過使低解析度的圖像經過高解析度處理而在邊緣附近具有高解析度來抑制鋸齒的重點的方法。但是，會出現的問題在於，在高解析度處理中計算量通常相當大，並且通過小尺寸的電路難以實現。另外，日本未審查專利申請公開第2004-234623號公開了一種生成高質量圖像的方法，其中，通過匹配和疊加連續捕獲的圖像的位置來減少鋸齒。但是，在該方法中，會出現的問題在於，即使當匹配位置稍微彼此偏移時，邊緣也變得模糊，因此解析度惡化。另外，還會出現的問題在於，難以既考慮到作為整個圖像的運動信息的全局運動又考慮到作為部分運動信息的局部運動來準確地計算圖像間的位置偏移，以及難以提高圖像的整個區域的解析度。

發明內容
期望提供一種能夠以簡單的配置來實現鋸齒的減少的圖像處理設備、圖像處理方法及程序。根據本公開的實施例，提供了一種圖像處理設備，包括邊緣強度計算單元，其將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以將從輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度；內插像素值計算單元，其計算作為像素塊中的多個方向的平滑分量的內插像素值；權重計算單元，其基於由邊緣強度計算單元計算的多個方向的邊緣強度，來計算作為多個方向的平滑分量的內插像素值的權重；以及混合處理單元，其通過執行作為多個方向的平滑分量的內插像素值和由權重計算單元計算的權重的加權相加的混合處理，來計算作為像素塊的中心像素的校正對象像素的像素值。在根據本公開的實施例的圖像處理設備中，多個方向可為水平方向、垂直方向、右上方向和左上方向的四個方向。在根據本公開的實施例 的圖像處理設備中，像素數目減少圖像可為具有拜耳(Bayer)布置圖像的圖像。在根據本公開的實施例的圖像處理設備中，像素數目減少圖像可為具有拜耳布置圖像的圖像，以及校正對象像素是G像素。在根據本公開的實施例的圖像處理設備中，邊緣強度計算單元可以以將校正對象像素用作中心像素的像素塊為單位計算多個拉普拉斯絕對值，以及通過應用計算的多個拉普拉斯絕對值來計算在校正對象像素的位置處的多個方向的邊緣強度。在根據本公開的實施例的圖像處理設備中，內插像素值計算單元可基於存在於像素塊中設定的特定方向的線上的像素的像素值來計算多個平滑分量，以及基於計算的多個平滑分量來計算作為對應於校正對象像素的平滑分量的內插像素值。在根據本公開的實施例的圖像處理設備中，內插像素值計算單元可基於包括在像素數目減少圖像中並且發生質心偏移的像素來計算內插像素值。在根據本公開的實施例的圖像處理設備中，權重計算單元可執行將預定的裁剪函數應用於由邊緣強度計算單元計算的多個方向的邊緣強度中的每個的裁剪處理，以及基於經過裁剪處理的多個方向的邊緣強度，來計算作為多個方向的平滑分量的內插像素值的權重。在根據本公開的實施例的圖像處理設備中，像素數目減少圖像可為具有拜耳布置圖像的圖像，而校正對象像素為G像素。圖像處理設備還可包括去馬賽克處理單元，其對具有由混合處理單元輸出的G像素的校正圖像執行去馬賽克處理。在根據本公開的實施例的圖像處理設備中，去馬賽克處理單元可使用拜耳布置中的G像素與R像素之間的關係和拜耳布置中的G像素與B像素之間的關係來執行設定各個像素的RGB像素值的去馬賽克處理。根據本公開的另一實施例的圖像處理設備，提供了一種圖像處理設備，包括圖像校正單元，其基於未經過像素增加或疏化處理的原始圖像的解析度，來計算從通過成像元件中的像素增加或疏化處理而獲得的原始圖像中的對象G像素的中心穿過的邊緣方向，以及對在垂直於所計算的邊緣方向的直線附近的G像素進行投影，在垂直於邊緣的方向上對投影的G像素執行重採樣處理，使用作為重採樣像素的像素值的重採樣信號來執行確定對象G像素的像素值的處理。在根據本公開的實施例的圖像處理設備中，圖像校正單元通過以下方式來確定對象G像素的像素值用預定的特定方向的邊緣分量的線性總和來表示邊緣方向，對特定方向的每個邊緣分量執行重採樣處理，以及以與線性總和表示的邊緣分量的比率基本上相同的比率對特定方向中的多個方向的重採樣信號執行加權平均。根據本公開的又一實施例，提供了一種成像設備，包括成像元件；像素數目減少單元，其通過減少由成像元件捕獲的圖像的像素的總數目來生成像素數目減少圖像；邊緣強度計算單元，其將像素數目減少圖像設定為輸入圖像，以及以將從輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度；內插像素值計算單元，其計算作為像素塊中的多個方向的平滑分量的內插像素值；權重計算單元，其基於由邊緣強度計算單元計算的多個方向的邊緣強度，來計算作為多個方向的平滑分量的內插像素值的權重；以及混合處理單元，其通過執行作為多個方向的平滑分量的內插像素值和由權重計算單元計算的權重的加權相加的混合處理，來計算作為像素塊的中心像素的校正對象像素的像素值。根據本公開的再一實施例，提供了一種在圖像處理設備中處理圖像的圖像處理方法。圖像處理方法包括由邊緣 強度計算單元將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以將從輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度；由內插像素值計算單元計算作為像素塊中的多個方向的平滑分量的內插像素值；由權重計算單元基於由邊緣強度計算單元計算的多個方向的邊緣強度，來計算作為多個方向的平滑分量的內插像素值的權重；以及由混合處理單元通過執行作為多個方向的平滑分量的內插像素值和由權重計算單元計算的權重的加權相加的混合處理，來計算作為像素塊的中心像素的校正對象像素的像素值。根據本公開的再一實施例，提供了一種程序，其使執行圖像處理的圖像處理設備執行由邊緣強度計算單元將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以將從輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度；由內插像素值計算單元計算作為像素塊中的多個方向的平滑分量的內插像素值；由權重計算單元基於由邊緣強度計算單元計算的多個方向的邊緣強度，來計算作為多個方向的平滑分量的內插像素值的權重；以及由混合處理單元通過執行作為多個方向的平滑分量的內插像素值和由權重計算單元計算的權重的加權相加的混合處理，來計算作為像素塊的中心像素的校正對象像素的像素值。根據本公開實施例的程序是提供給例如能夠執行由存儲介質或通信介質以計算機可讀格式提供的各種程序代碼的信息處理設備或計算機系統的程序。通過以計算機可讀形式提供程序，根據信息處理設備或計算機系統上的程序來實現處理。根據下述實施例的詳細說明或附圖，本公開實施例的其它目的、特點、或優點是明顯的。另外，說明書中的系統具有多個設備的邏輯集合配置。具有分離配置的設備可不包括在同一殼體中。根據本公開實施例的配置，可以通過校正像素數目減少圖像的處理來創建鋸齒減少的高質量圖像。具體地，例如，將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以將從輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度，計算內插像素值作為像素塊中的多個方向的平滑分量，基於由邊緣強度計算單元計算的多個方向的邊緣強度計算內插像素值的權重作為多個方向的平滑分量；以及通過執行作為多個方向的平滑分量的內插像素值和由權重計算單元計算的權重的加權相加的混合處理，來計算作為像素塊的中心像素的校正對象像素的像素值。通過處理來校正像素數目減少圖像中的質心偏移，從而減少鋸齒。


圖IA和IB是圖示與像素數目減少處理有關的問題的圖；圖2A和2B是圖示與像素數目減少處理有關的問題的圖；圖3是圖示鋸齒的產生的 圖，其中鋸齒是像素數目減少處理中的問題；圖4是圖示作為圖像處理設備的示例的成像設備的配置示例的圖；圖5是圖示由圖像處理設備執行的處理的概要的圖；圖6是圖示計算水平(H)(=橫向)方向的拉普拉斯絕對值的處理的圖；圖7是圖示計算垂直(V)(=縱向)方向的拉普拉斯絕對值的處理的圖；圖8是圖示計算右上(R)方向的拉普拉斯絕對值的處理的圖；圖9是圖示計算左上(L)方向的拉普拉斯絕對值的處理的圖；圖10是圖示用於計算拉普拉斯絕對值的加權平均的濾波器結構的示例的圖；圖IlA和IlB是圖示像素增加處理的示例的圖；圖12A和12B是圖示水平方向和垂直方向的增加比率均被設定為I : 3的像素增加處理的圖；圖13A和圖13B是圖不當發生像素質心偏移時和當未發生像素質心偏移時右上傾斜方向的採樣間隔時間的差別的示例的圖；圖14是圖示當以水平比率I : I和垂直比率I : I執行增加處理時的內插處理的示例的圖；圖15是圖示計算與具有左上(L)方向的邊緣的圖案對應的平滑G分量(GJ的處理的圖；圖16是圖示計算與具有左上(L)方向的邊緣的圖案對應的平滑G分量(GJ的處理的圖；圖17A和17B是圖示在右上(R)方向的邊緣圖案的情況下計算右上方向(R)的平滑G分量(Gk)的處理的圖；圖18是圖示當以水平比率I : 3和垂直比率I : I執行增加處理時的內插處理的示例的圖；圖19是圖示當以水平比率I : 3和垂直比率I : I執行增加處理時的內插處理的示例的圖；圖20是圖示各個G像素與在右上和左下方向上以45度傾斜並且與穿過中心處的4像素塊的中心的邊緣方向(左上(L)方向)垂直的直線之間的距離的圖；圖21是圖示當以右上(R)方向的邊緣圖案對內插信號進行重採樣以及計算對象平滑G分量(Gk)時的距離分布的圖；圖22是圖示計算水平⑶方向的平滑G分量(Gh)的處理的圖；圖23是圖示用於對拉普拉斯值總和D執行由閾值確定的裁剪處理的裁剪函數的示例的圖；圖24是圖示當在任意方向上檢測到邊緣時的處理的圖；圖25是圖示圖像校正單元的配置和處理的概要的圖；圖26A至26C是圖示要被圖像校正單元處理的像素塊的示例的圖；圖27是圖示偏置值計算單元的處理的圖28是圖示四方向邊緣強度計算單元的處理的圖；圖29是圖示四方向邊緣強度計算單元的處理的圖；圖30是圖示四方向內插像素值計算單元的處理的圖；圖31是圖示四方向內插像素值計算 單元的處理的圖；圖32是圖示四方向內插像素值計算單元的處理的圖；圖33是圖示四方向權重計算單元的處理的圖；以及圖34是圖示混合處理單元的處理的圖。
具體實施例方式下文中，將參考附圖描述本公開的實施例的圖像處理設備、圖像處理方法及程序。將按照下面的順序對其進行說明。I.圖像中鋸齒的產生2.圖像處理設備的配置實例3.信號處理單元的處理的概要4.圖像校正單元的處理4-1.(第一處理)使用像素數目減少圖像(原始圖像)的G分量來計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的邊緣強度(Dh、Dv、De和隊)的處理4-2.(第二處理)計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PGJ的處理4-3.(第三處理)根據通過第一處理計算的四個方向的邊緣強度(Dh、Dv、Dk和隊)確定要與通過第二處理計算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Gk和Gl)相乘的權重(^為為和^)的處理4-4.(第四處理)通過將通過第二處理計算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PGJ乘以通過第三處理計算的權重(WH、Wv、We和\)的混合處理來計算輸出像素值的處理5.去馬賽克處理6.與任意方向的邊緣對應的處理7.圖像校正單元的配置和處理的概要7-1.偏置值計算單元的處理7-2.四方向邊緣強度計算單元的處理7-3.四方向內插像素值計算單元的處理7-4.四方向權重計算單元的處理7-5.混合處理單元的處理8.本公開的配置概要I.圖像中鋸齒的產生如上所述，當列印並輸出、或顯示由相機捕獲的圖像時，輸出圖像中包含的對象的圖像輪廓不同於原始對象的輪廓。即，在某些情況下，對象的圖像輪廓被輸出為階梯狀、鋸齒狀的輪廓。鋸齒狀的形狀通常被稱為鋸齒。
例如，即使當對通過由具有大量像素的高解析度成像元件捕獲的圖像執行像素疏化處理或像素合成處理而創建的像素數目減少的輸出圖像時，也產生鋸齒。近來許多成像設備具有擁有諸如幾百萬像素至幾千萬像素的非常大量像素的成像元件，以捕獲高解析度的圖像。然而，很少使用能夠輸出與具 有成像元件的像素數目的圖像對應的高解析度圖像的顯示設備。而且，當沒有任何改變地記錄從成像元件輸出的高解析度圖像時，記錄高解析度圖像所需的存儲器容量會增加，因此記錄的圖像數目會減少。考慮到該情形，在許多情況下，包括具有大量像素的成像元件的成像設備通過執行使輸出像素的數目疏化而不是無任何改變地記錄從成像元件輸出的像素信號、或者通過執行包括多個像素的相加操作的處理，來執行減少像素的總數目以及將數目減少的像素記錄在存儲器中的處理。然而，會出現的問題在於，由於像素數目轉換處理，輸出圖像中產生鋸齒。將結合附圖描述由於像素數目的減少而產生的鋸齒。圖IA示出成像元件的像素布置(拜耳布置)，而圖IB示出輸出像素的像素質心。圖IA中所示的像素布置是布置了成像元件的大量像素的像素布置。捕獲的圖像具有關於大量像素的像素信息。通過減少像素的數目來創建要存儲在存儲器中的圖像。例如，基於圖IA中所示的成像元件中的具有相同顏色的四個像素來設定和輸出輸出圖像的單個像素的像素值。S卩，通過將四個像素聚集成單個像素以及輸出該單個像素來減少像素的總數目。在圖IB中，輸出像素的像素質心是原始成像元件中的像素數目減少之後的輸出像素的像素質心。例如，圖IB中所示的Gb像素31具有均勻地使用圖IA中所示的3X3像素塊21的四個角上的Gb像素的像素值確定的像素值。像素質心設定在3X3像素塊21的中心位置。表示質心位置的像素是圖IB中所示的Gb像素31。圖IA和IB示出將輸出圖像的像素數目減少到成像元件的像素數目的1/4，即將圖IA中所示的8X8 = 64個像素減少到圖IB中所示的4X4 = 16個像素。在該處理中，例如，對圖IA中所示的3X3像素塊21的四個角上的Gb像素執行加法平均處理，然後計算輸出圖像的單個Gb像素的像素值。S卩，基於圖IA中所示的3X3像素塊21的四個Gb像素來計算圖IB所示的Gb像素31的像素值。在這種情況下，按照水平右方向為X而垂直向下方向為y的坐標系，輸出圖像中的Gb像素31的質心位於(X，y) = (2,2)的位置，即圖IB中所示的Gb像素31的位置。基於圖IA中所示的3X 3像素塊22的四個B像素來計算圖IB中所示的B像素32的像素值。在這種情況下，輸出圖像中的B像素32的質心位於(X，y) = (3,2)的位置，即圖IB中所示的B像素32的位置。同樣地，基於圖IA中所示的3X3像素塊23的四個Gb像素來計算圖IB中所示的Gb像素33的像素值。在這種情況下，輸出圖像中的Gb像素33的質心位於(x，y) = (6,2)的位置，即圖IB中所示的Gb像素33的位置。同樣地，基於圖IA中所示的3X3像素塊24的四個B像素來計算圖IB中所示的B像素34的像素值。在這種情況下，輸出圖 像中的B像素34的質心位於(X，y) = (7,2)的位置，即圖IB中所示的B像素34的位置。當對圖像設定16個像素時，圖IB中所示的全部16個像素輸出為具有4X4像素的圖像。S卩，如圖2B所示，16個像素輸出為具有4X4像素的圖像70。圖2A示出輸出像素的像素質心(如圖1B)。圖2B示出輸出圖像的像素位置。在圖2B中，認為左上側上的包括2X2像素、即Gb像素31和B像素32的2X2像素塊是固定的。在該設定的示例中，其它三個2X2像素塊均按照圖2B中所示的箭頭(α )、(β)和(Y)移動，並且輸出為圖2Β中所示的4X4像素圖像70的組成像素。由於該位移處理而出現下面的問題。例如，像素質心位於位置(X，y) = (6,2)處的Gb像素33被設定為輸出圖像中像素位置是(X，y) = (3,2)的Gb像素53。而且，像素質心位於位置(x，y) = (7,2)處的B像素34被設定為輸出圖像中位於像素位置(x，y) = (3,3)處的B像素54。此處，計算減少比率。像素位置(X，y) = (2,2)處的Gb像素31被假定為位於固定位置處的參考像素。在圖2A所示的像素位置(x，y) = (6,2)處的Gb像素33與用作參考像素的Gb像素31相距四個像素。在輸出圖像中，由於Gb像素33被設定為位於像素位置(x，y) = (3,2)處的Gb像素53，所以Gb像素53與用作參考像素的Gb像素31之間的距離是兩個像素。g卩，減少比率是2個像素/4個像素=1/2。另一方面，在圖2A所示的像素位置(X，y) = (7,2)處的B像素34與用作參考像素的Gb像素31相距五個像素。在輸出圖像中，由於B像素34被設定為位於像素位置(x，y) = (4,2)處的B像素54，所以B像素54與用作參考像素的Gb像素31之間的距離是三個像素。即，減少比率是3個像素/5個像素=3/5。由於該原因，像素之間的減少比率是分散的，因此可創建這樣的輸出圖像該輸出圖像具有與捕獲圖像的每個像素的相對位置不同的相對位置，其中捕獲圖像對應於成像元件的像素布置。S卩，可創建這樣的輸出圖像，在該輸出圖像中，不均勻地減少由成像元件捕獲的原始圖像的像素之間的距離。像素之間的不均勻距離可導致圖像質量的惡化。具體地，例如，如圖3所示，鋸齒擴大，從而導致惡化。圖3的(A)部分所示的原始圖像是具有大量像素並且與成像元件捕獲的圖像對應的高解析度圖像。在該圖像中，鋸齒小。如參考圖1A、圖1B、圖2A和圖2B所描述的，當圖3的(A)部分所示的原始圖像經過使相對像素位置分散的像素數目減少處理時，如圖3的(B)部分所示，會創建鋸齒擴大的圖像。而且，鋸齒是一種圖像失真噪聲。由於相加計算後像素質心之間的不均勻距離，鋸齒進一步惡化。而且，RGB顏色組合之間的位置關係 可能是不規則的，因此輸出圖像的顏色可能不同於原始圖像的顏色。這樣，產生圖像質量的各種惡化。根據本公開實施例的圖像處理設備實現抑制由於像素數目的減少而產生鋸齒的處理。2.圖像處理設備的配置示例將參考圖4描述成像設備的配置，該成像設備是根據本公開實施例的圖像處理設備的示例。圖4是圖示成像設備的示例的框圖。穿過光學透鏡101的光入射在例如由CMOS成像傳感器配置的成像元件102上，以及通過光電轉換輸出圖像數據。輸出的圖像數據輸入到信號處理單元103。信號處理單元103執行一般相機的信號處理，例如白平衡(WB)調整、伽馬調整、或去馬賽克處理。而且，信號處理單元103執行像素數目減少處理和實現鋸齒減少的圖像校正處理，以生成輸出圖像120。輸出圖像120存儲在存儲單元(未示出)中。替選地，輸出圖像輸出到顯示單元。控制單元105根據存儲器(未示出)中存儲的程序向每個單元輸出控制信號，以及控制各種處理。3.信號處理單元的處理的概要如上所述，信息處理單元103不僅執行一般相機的信號處理，而且執行像素減少處理和實現鋸齒減少的圖像校正處理。將參考圖5描述處理的概要。圖5示出如下的三個圖像數據(a)部分，捕獲的圖像，(b)部分，像素數目減少的圖像；以及(C)部分，像素數目減少並校正的圖像。如圖5所示,信號處理單元103包括像素數目減少單元151、圖像校正單元152、去馬賽克處理單元153。捕獲的圖像(a)是成像元件102捕獲的圖像，並且是按照成像元件102的像素單位來設定像素值的圖像數據。在該實施例中，將描述具有拜耳布置(RGrGbB)的成像元件的輸出的處理示例。在圖5所述的像素數目減少的圖像(b)中，示出了通過將捕獲的圖像(a)的像素數目減少到像素數目的1/4而獲得的圖像像素的像素質心的位置。各自用圓形框表示像素數目減少的圖像的像素。像素數目減少的圖像的像素質心位於原始的捕獲的圖像(a)中的給定位置。像素數目減少單元151輸入捕獲的圖像(a)以及對例如四個Gb像素的像素值執行相加平均處理以計算單個Gb像素的像素值。像素數目減少單元151首先對位於與以上參考圖IA和IB描述的像素塊相同的3X3像素塊的四個頂點處的Gb像素的像素值執行相加平均處理。像素數目減少單元151根據所 有R像素、Gr像素、Gb像素和B像素的四個像素值來計算單個輸出像素值，以及創建像素數目減少到1/4的像素數目減少的圖像(b)。該處理與以上根據現有技術參考圖1A、圖1B、圖2A和圖2B描述的像素數目減少處理相同。像素數目減少的圖像(b)中由圓形框指示的R像素、Gr像素、Gb像素和B像素的像素位置是參考圖IB描述的像素質心的像素位置。當以這種方式創建輸出圖像時，輸出圖像可為產生參考圖2A、圖2B和圖3所描述的鋸齒的圖像。因此，在根據該實施例的圖像處理設備中，圖5的(b)部分所示的像素數目減少的圖像輸入到信號處理單元103的圖像校正單元152，以及執行圖像校正處理以移動像素質心。通過圖像校正單元152的圖像校正處理，來創建圖5的(C)部分所示的像素數目減少並校正的圖像。圖5的(b)部分所示的像素數目減少的圖像與圖5的(C)部分所示的像素數目減少並校正的圖像的區別在於，Gb像素和Gr像素的像素質心的位置移動。以這種方式，根據該實施例的圖像處理設備執行移動Gb像素和Gr像素的像素質心的處理。在圖5的(C)部分所示的像素數目減少並校正的圖像中，通過移動像素質心的處理，將每個顏色信號的相對位置設定成基本上與捕獲的圖像中的相同。即，可將像素數目減少並校正的圖像中的每個顏色(RGrGbB)的相對位置設定成基本上與作為原始圖像的捕獲圖像(a)中的每個顏色的相對位置相同。在以下描述的實施例中，僅對RGrGbB像素結構的拜耳布置中的G像素(Gr和Gb)執行處理。G像素與整個圖像的像素的比率高。所以，即使當僅對G像素執行處理時，也可以獲得充分的鋸齒減少的優點。作為處理結果，由於抑制鋸齒產生，如以上參考圖3所描述的，可以創建高質量的像素數目減少並校正的圖像。去馬賽克處理單元153基於圖5的(C)部分所示的像素數目減少並校正的圖像執行去馬賽克處理，以創建在每個像素中設定所有顏色信息(RGrGbB)的圖像數據。4.圖像校正單元的處理下文中，將描述獲得鋸齒減少優點的由根據本公開實施例的圖像處理設備執行的圖像校正處理，即由圖5所示的圖像校正單元152執行的處理。如以上參考圖5所描述的，圖像校正單元152執行校正圖5的(b)部分所示的像素數目減少圖像的處理，該像素數目減少圖像是通過像素相加處理或像素疏化處理而創建的原始圖像。此處，原始圖像指的是未經過去馬賽克處理並且每個像素中僅設定一個像素值的圖像。圖像校正單元152通過調整質心偏移來減少現有技術中可能很少被校正的由於像素質心的偏移而導致的鋸齒。具體地，圖像校正單元152執行的處理包括四個處理，即以下描述的第一處理至第四處理(第一處理)使用像素數目減少圖像(原始圖像)的G分量來計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的邊緣強度(Dh、DpD1^P Dl)的處理；(第二處理)計算全部四個方向，即水平 方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PG)的處理；(第三處理)根據通過第一處理計算的四個方向的邊緣強度(DinDvA1^PDL)確定要與通過第二處理計算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Ge和GJ相乘的權重(WH、Wv、We和WJ的處理；以及(第四處理)通過將通過第二處理計算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Gk和GJ乘以通過第三處理計算的權重(WH、WV、W1^PWJ的混合處理來計算輸出像素值的處理。下文中，將依次描述每個處理(第一處理至第四處理)。4-1.(第一處理)使用像素數目減少圖像(原始圖像)的G分量來計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的邊緣強度(Dh、Dv、De和隊)的處理首先，將描述第一處理，S卩，使用像素數目減少圖像(原始圖像)的G分量來計算全部四個方向，即水平方向⑶、垂直方向(V)、右上方向(R)和左上方向(L)的邊緣強度(DH、DV、DjPI\)的處理。圖像校正單元152輸入圖5的(b)部分所示的像素數目減少圖像(原始圖像)，以及執行使用包括在輸入的像素數目減少圖像中的像素中的G(Gr和Gb)像素的像素值來計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的邊緣強度(DH、DV、DjPI\)的處理。在以下描述的實施例中，將描述這樣的處理示例，在該處理示例中，由成像元件102捕獲的圖像和由信號處理單元創建的像素數目減少圖像均具有RGrGbB的拜耳布置。圖像校正單元152使用包括在像素數目減少圖像具有的拜耳布置中的G (Gr和Gb)像素的像素值，來計算與像素值的二次差分值的絕對值對應的拉普拉斯絕對值。而且，圖像校正單元152計算預設的邊緣強度計算區域中的G (Gr和Gb)像素的像素值的拉普拉斯絕對值的加權平均，以及計算在每個區域處的邊緣強度。下文中，將描述計算全部四個方向，即水平方向(H)(=橫向)、垂直方向(V)(=縱向)、右上方向(R)和左上方向(L)的G(Gi^PGb)像素的像素值的拉普拉斯絕對值的具體示例。a.計算水平⑶(=橫向)方向和垂直(V)(=縱向)方向的拉普拉斯絕對值的處
理首先，將參考圖6和圖7描述計算水平⑶(=橫向)方向和垂直(V)(=縱向)方向的拉普拉斯絕對值的處理。現在，將參考圖6描述計算水平(V)(=橫向)方向的拉普拉斯絕對值的處理。圖6所示的圖像是與圖5的(b)部分所示的像素數目減少圖像對應的像素數目減少圖像201 (原始圖像)。圖5的(b)部分所示的像素數目減少圖像是將像素數目減少圖像的像素質心的位置示出在原始的捕獲圖像的像素布置中的圖像，而圖6所示的像素數目減少圖像201對應於通過合併圖5的(b)部分所示的彼此相隔的像素而創建的像素數目減少圖像。即，像素數目減少圖像201是通過設定以上參考圖2B描述的像素位置而創建的像素數目減少圖像(原始圖像)。圖6所示的像素數目減少圖像201是 存在以下問題的圖像由於各個顏色的像素質心的相對位置偏離原始的捕獲圖像的像素布置中的各個顏色的像素質心的相對位置，所以會產生以上參考圖3描述的鋸齒。圖6所示的像素數目減少圖像201具有拜耳布置。所以，G(Gr或Gb)像素每兩個像素地出現在水平(H)(=橫向)方向和垂直(V)(=縱向)方向兩者中。使用G分量計算拉普拉斯絕對值。將描述計算水平(H)(=橫向)方向的拉普拉斯絕對值的方法。作為一個示例，將描述以下情況在該情況中，計算在圖6所示的圖像201中的像素Gr2211的位置處的水平(H)(橫向)方向的拉普拉斯絕對值L&2 H。當圖像校正單元152計算在圖6所示的圖像201中的像素Gr2211的位置處的水平(H)(橫向)方向的拉普拉斯絕對值Lfo2jl時，圖像校正單元152通過等式(等式I)使用在水平(H)(=橫向)方向上與Gr2211相距一個像素的像素Grl和Gr3的像素值來執行計笪LGr2 H = Gr1-2Gr2+Gr3......(等式 I)在該等式中，L&2 H是在像素Gr2位置處的水平⑶(=橫向)方向的拉普拉斯絕對值，Grl是在橫向方向上與像素Gr2相距一個像素的位置處的像素Grl的像素值，Gr2是像素Gr2的像素值，以及Gr3是在橫向方向上與像素Gr2相距一個像素的位置處的像素Gr3的像素值。圖像校正單元152通過以上的等式(等式I)計算在G分量、即包括在像素數目減少圖像201中的像素Gr和Gb的像素位置處的橫向方向的拉普拉斯絕對值。例如，當計算在圖6所示的像素Gb2212的位置處的水平(H)(=橫向)方向的拉普拉斯絕對值Leb211時，通過以上的等式(等式I)使用在橫向方向上與像素Gb2212相距一個像素的位置處的像素Gbl和Gb3的像素值來執行計算。在以上的等式(等式I)中，分別用Gbl、Gb2和Gb3替換GrU Gr2和Gr3，以及計算在像素Gb2212的位置處的水平(H)(=橫向)方向的拉普拉斯絕對值Leb2 H。還使用在縱向方向上相距一個像素的G分量來計算垂直(V)(=縱向)方向的拉普拉斯絕對值。例如，當計算在圖7所示的像素Gb5221的位置處的垂直(V)(=縱向)方向的拉普拉斯絕對值Leb5 v時，通過以上的等式(等式I)使用在縱向方向上與像素Gb5221相距一個像素的位置處的像素Gbl和Gb9的像素值來執行計算。在以上的等式(等式I)中，分別用Gb5、Gbl和Gb9替換GrU Gr2和Gr3，以及計算在像素Gb5221的位置處的垂直(V)(=縱向)方向的拉普拉斯絕對值Leb5 v。例如，當計算在圖7所示的像素Gr5222的位置處的垂直(V)(=縱向)方向的拉普拉斯絕對值Lfo5-￥時，通過以上的等式(等式I)使用在縱向方向上與像素Gr5222相距一個像素的位置處的像素Grl和Gr9的像素值來執行計算。
在以上的等式(等式I)中，分別用Gr5、Grl和Gr9替換Grl、Gr2和Gr3，以及計算在像素Gr5222的位置處的垂直(V)(=縱向)方向的拉普拉斯絕對值Leri v。b.計算右上(R)方向和左上(L)方向的拉普拉斯絕對值的處理接下來，將參考圖8和圖9來 描述計算右上傾斜方向和左上傾斜方向，即右上(R)方向和左上(L)方向的拉普拉斯絕對值的處理。使用傾斜方向上的對象G像素和在傾斜方向上鄰近的三個G像素來計算拉普拉斯絕對值。將參考圖8來描述計算右上(R)方向的拉普拉斯絕對值的處理。例如，當計算在圖8所示的像素Gb5231的位置處的右上(R)方向的拉普拉斯絕對值Leb5 κ時，通過下面的等式(等式2)使用像素Gb5的像素值、和位於右上位置的像素Gr2的像素值和位於左下位置的像素Gr3的像素值來執行計算，其中像素Gr2和像素Gr3是出現在右上傾斜方向上的G分量像素。LGb5 E = I Gr2-2Gb5+Gr31......(等式 2) 在該等式中，Leb5 κ是在像素Gb5的位置處的右上(R)方向的拉普拉斯絕對值，Gr2是在像素Gb5的右上位置處的像素Gr2的像素值，Gb5是像素Gb5的像素值，以及Gr3是在像素Gb5的左下位置處的像素Gr3的像素值。還通過諸如以上等式(等式2)的計算等式來計算左上(L)方向的拉普拉斯絕對值。例如，當計算在圖9所示的像素Gb5231的位置處的左上(L)方向的拉普拉斯絕對值LebU時，通過以上等式(等式2)使用像素Gb5的像素值、和位於左上位置的像素Grl的像素值和位於右下位置的像素Gr4的像素值來執行計算，其中像素Grl和像素Gr4是出現在左上(L)傾斜方向上的G分量像素。在等式2中，使用Grl和Gr4，而不是Gr2和Gr3。如以上參考圖5所描述的，要由圖像校正單元152計算拉普拉斯絕對值的圖像是圖5的(b)部分所示的像素數目減少圖像。像素數目減少圖像是通過由像素相加處理或像素疏化處理減少原始的捕獲圖像(a)的像素數目而獲得的圖像。如以上參考圖2A和圖2B所描述的，在像素數目減少圖像中，在某些情況下會發生像素質心的偏移。基於發生像素質心偏移的像素數目減少圖像(b)計算的拉普拉斯絕對值不同於基於作為原始圖像的捕獲圖像(a)計算的拉普拉斯絕對值。即，計算與期望要計算的角度偏離的方向的拉普拉斯絕對值。然而，誤差最大為10%或更少。已經定量地驗證了何時計算四個方向的強度的比率沒有影響。圖像校正單元152計算四個拉普拉斯絕對值(I)水平(H)方向的拉普拉斯絕對值；(2)垂直(V)方向的拉普拉斯絕對值；(3)右上(R)方向的拉普拉斯絕對值；以及(4)左上(L)方向的拉普拉斯絕對值。以這種方式，圖像校正單元152使用包括在像素數目減少圖像中的G分量(Gr和Gb)來計算各個方向上的拉普拉斯絕對值。接下來，圖像校正單元152通過計算G位置處的拉普拉斯絕對值的加權平均來計算邊緣強度。通過執行以下處理來計算拉普拉斯絕對值的加權平均該處理執行加權平均處理，即，計算在NXN像素中出現的全部G位置處所 計算的拉普拉斯絕對值的加權平均值的處理，其中，在NXN像素中，作為邊緣強度計算對象的像素用作中心像素。將大權重給予與作為邊緣強度計算對象的像素對應的中心像素的拉普拉斯絕對值，而將小權重給予周邊像素。圖10示出權重的設定示例。在圖10所示的示例中，按照NXN = 5X5像素的區域設定權重。在圖10所示的示例中，如下設定權重。對作為邊緣強度計算對象的G像素(Gr或Gb)設定權重36，對四個周邊G (Gr或Gb)像素給定權重16，對水平方向和垂直方向上的四個周邊G (Gr或Gb)像素設定權重6，以及對傾斜方向上的四個G(Gr或Gb)像素設定權重I。圖像校正單元152使用權重來計算在各個G位置處計算的拉普拉斯絕對值的加權平均，以及計算指示中心位置處的G像素的邊緣強度的拉普拉斯絕對值的加權平均值。而且，需要執行歸一化，使得權重之和在實際計算時變成I。圖像校正單元152通過上述處理以像素數目減少圖像的G像素(Gr和Gb)為單位計算下面的值(I)Dh :水平⑶方向的拉普拉斯絕對值的水平方向拉普拉斯值總和(加權平均值)；(2)DV:垂直(V)方向的拉普拉斯絕對值的垂直方向拉普拉斯值總和(加權平均值)；(3)De :右上(R)方向的拉普拉斯絕對值的右上方向拉普拉斯值總和(加權平均值)；以及(4)Dl :左上(L)方向的拉普拉斯絕對值的左上方向拉普拉斯值總和(加權平均值)。4-2.(第二處理)計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PGJ的處理接下來，將描述第二處理，即計算全部四個方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GH、GpG1^P GD的處理。在該方法中，通過積極地使用由像素相加導致的像素質心的偏移來實現內插處理，以抑制解析度的惡化。首先，將描述由於像素相加處理而導致的像素質心的偏移，然後將描述與兩種像素相加處理對應的平滑G分量(GpGpG1^Pq)的具體計算示例。例如，通過在執行成像處理時對累積在成像元件(成像傳感器)102的每個像素中的電荷的模擬輸出信號進行的重採樣處理，來實現像素相加處理。具體地，通過設定兩個像素的輸出相加結構，來實現成像元件102的每個像素的輸出電路。例如，提供了一種以I : I的比率將在成像元件(成像傳感器)102的水平方向和垂直方向上彼此鄰近的具有相同顏色的四個像素相加、或者僅在水平方向上執行加權相加的方法。將參考圖IlA和圖IlB描述像素相加處理的示例。
圖IIA和圖IlB示出對包括在成像元件(成像傳感器)102的3 X 3像素塊中的具有相同顏色的像素進行的像素相加處理的示例。圖IlA和圖IlB示出均勻地 計算包括在3X3像素塊中的四個R像素的像素值、計算像素值的平均值、以及計算像素數目減少圖像的輸出像素值(R像素值)的處理的示例。圖IlA示出捕獲圖像的像素相加處理(在R像素的情況下)的示例。圖IlB示出經過像素相加處理的像素數目減少圖像的像素質心(在R像素的情況下)。圖IlA和圖IlB所示的處理的示例是基於具有相同顏色的四個像素的像素值來設定像素數目減少圖像中的單個像素的像素值的處理，並且是產生通過將像素數目減少到由成像元件得到的原始的捕獲圖像的像素的總數目的1/4而獲得的像素數目減少圖像的處理。圖IlA和圖IlB示出均勻地將四個像素的像素值相加的處理的示例，即按照水平II和垂直I:I的設定而進行的像素相加處理的示例。在圖IlB中，經過像素相加處理的像素數目減少圖像的像素質心(在R像素的情況下)指示像素數目減少圖像中的R像素的像素質心。用圓指示的R部分表示中心位置。R像素的質心不是位於4像素單元塊的中心，而是位於偏置在4像素單元塊的右下方向上的位置處。圖IlA和圖IlB中描述的處理是將像素數目減少到1/4的像素數目減少處理。優選地將像素質心設定在4像素單元塊的中心位置處。即，當將像素數目減少圖像的每個像素的像素質心設定在4像素單元塊的中心位置處時，產生相對位置與像素數目減少之前的捕獲圖像的每個顏色的相對位置相同的像素數目減少圖像。所以，如以上參考圖IA至圖3所描述的，可以抑制鋸齒由於像素質心的偏移而產生。圖IlB所示的像素質心的偏移發生在與以上參考圖IA至圖3所描述的處理相同的處理中，並且會產生鋸齒。g卩，由於在這樣的普通的像素相加處理中發生簡單的重採樣效果和像素質心的偏移，所以會產生鋸齒。原本，像素質心的偏移僅導致圖像質量的惡化。然而，與根據現有技術的方法相t匕，在該方法中通過積極地使用像素質心的偏移，可以實現鋸齒的減少，因此可以實現解析度惡化的減少。將描述減少鋸齒的處理的概要。如圖IlA所示，當通過使用具有相同顏色的四個像素執行像素相加處理以及以水平I : I和垂直I : I的比率執行像素相加處理、即均勻地將四個像素的像素值相加的處理來計算像素數目減少圖像的單個像素的像素值時，設定如圖IlB所示的像素質心。因此，由於像素質心的偏移而出現鋸齒。為了解決該問題，例如，如圖12A和圖12B所示，可執行將水平方向和垂直方向的相加比率均設定成I:3的像素相加處理。圖12A和圖12B所示的像素相加處理是基於包含在圖IlA和圖IlB的3X3像素塊中的具有相同顏色的四個像素的像素值來計算像素數目減少圖像的單個像素的像素值的處理的示例。圖12A示出像素相加處理(在Gr像素的情況下)的示例。圖12B示出經過像素相加處理的像素數目減少圖像中的像素質心(在Gr像素的情況下)。在圖12B中，經過像素相加處理的像素數目減少圖像的像素質心(在Gr像素的情況下)指示像素數目減少圖像中的Gr像素的像素質心。用圓(O)指示的Gr部分表示質心位置。圖12B所示的示例不 同於圖IlB所示的示例。即，將Gr像素的像素質心設定在4像素單元塊的中心位置處。圖12A和圖12B中描述的處理是將像素數目減少到1/4的像素數目減少處理。優選地將像素質心設定在4像素單元塊的中心位置處。即，當將像素數目減少圖像的每個像素的像素質心設定在4像素單元塊的中心位置處時，生成相對位置與像素數目減少之前的捕獲圖像的每個顏色的相對位置相同的像素數目減少圖像。所以，如以上參考圖IA至圖3所描述的，可以抑制鋸齒由於像素質心的偏移而產生。以這種方式，通過執行改變像素值的相加比率的像素相加處理，可以移動像素數目減少圖像的像素的像素質心。因此，可以抑制鋸齒產生。已經描述了圖12A和圖12B中的對Gr像素的處理。然而，可通過調整除Gr像素以外的四個Gb像素的相加比率來控制輸出像素的像素質心的位置。即，可將像素質心設定在圖12B所示的4像素塊的中心位置處。因此，可以創建鋸齒被抑制的像素數目減少圖像。不同於發生像素質心偏移的像素數目減少圖像，例如，通過將像素質心布置在四像素塊的中心位置處，像素被布置在傾斜方向上的一條線形狀上。所以，可以以更大的採樣間隔來觀測信號。例如，假設存在具有從右上方向到左下方向取向的直線邊緣的圖案。即使當沿著邊緣執行平滑處理時，圖案的解析度也沒有由於邊緣的特性而惡化。所以，當對在平行於邊緣的方向上彼此鄰近的Gr像素或Gb像素進行平滑時，可以以大於像素相加處理之後的解析度的採樣間隔在垂直於邊緣的方向上，即在從左上傾斜方向到右下傾斜方向上提取解析度沒有惡化的信號。另一方向，當沒有發生像素質心的偏移時，即使在使用Gr像素、Gb像素、或者Gr像素和Gb像素兩者的情況下，關於在傾斜方向上平滑的分量，僅能獲取像素相加處理之後的
解析度中的像素間隔的傾斜分量信號。圖13A和圖13B是圖不當發生像素質心偏移時以及當沒有發生像素質心偏移時在右上傾斜方向上的採樣間隔的差別的示例的圖。圖13A示出當發生像素質心偏移時的採樣間隔的示例，而圖13B示出當沒有發生像素質心偏移時的採樣間隔的示例。圖13A和圖13B兩者均示出在G像素(Gr和Gb)的傾斜線上的採樣間隔(像素間隔)。如圖13A所示，當發生像素質心的偏移時，可獲取兩種平滑分量，即Gr像素之間的平滑Gr線和Gb像素之間的平滑Gb線。由於Gr線與Gb線之間的間隔比拜耳布置的傾斜方向上的採樣間隔更密集，所以可根據平滑分量重採樣具有更高解析度的信號。相反，如圖13B所示，當沒有發生像素質心的偏移時，Gr線與Gb線相同(G線)，並且G線之間的間隔與拜耳布置的間隔相同。
圖13B所示的G線之間的間隔大於圖13A所示的Gb線與Gr線之間的間隔。因此，可根據圖13A的設定中的平滑分量重採樣具有高解析度的信號。接下來，將在應用於下面的像素 相加處理的具體示例中描述到目前為止所描述的使用像素質心的偏移計算平滑分量的方法(a)水平I : I和垂直I : I相加(圖IlA和圖IlB所示的處理)；以及(b)水平I 3和垂直I I相加。(a)對應於水平I : I和垂直I : I相加(圖IlA和圖IlB所示的處理)的內插處理首先，當按照以上參考圖IlA和圖IlB描述的水平I : I和垂直I : I比率執行相加處理時，將參考圖14及後續附圖中的每個圖來描述內插處理的示例。如圖14所示，當按照以上參考圖IlA和圖IlB描述的水平I : I和垂直I : I比率執行相加處理時，設定像素數目減少圖像的每個像素的質心位置。用圓表示像素R、Gr、Gb和B中的每個的質心位置。當在該相加處理中發生質心位置的偏移時，可在具有左上和右下傾斜方向上的邊緣的圖案中對大採樣間隔的信號進行內插。將參考圖15及後續附圖來描述計算與具有左上(L)方向上的邊緣的圖案對應的平滑G分量(GJ的處理。例如，通過兩個處理(a)和(b)來執行計算與具有左上(L)方向上的邊緣的圖案對應的平滑G分量的處理。(a)計算邊緣方向(L)上的內插像素值的處理；以及(b)使用諸如計算的內插像素值的多個像素值來計算對象像素位置的像素值的重採樣處理，其中，在對象像素位置處設定最終像素值。首先，將參考圖15來描述處理(a)，即計算邊緣方向(L)上的內插像素值的處理。最終像素值被設定的對象像素位置被稱為對象像素位置301。在垂直於對象像素位置的邊緣的方向上的線302上設定內插像素值。如圖15所示，當以I : I的比率在左上方向上對Gr像素Grl和Gr2進行內插時，可在圖中的像素Grl2311的位置處計算經過重採樣處理(內插處理)的信號(內插像素的像素值)。在內插信號中，解析度在左上和右下傾斜方向上的邊緣圖案中的右上方向(像素值變化率大的方向)上沒有惡化。同樣地，當對像素Gbl和Gb2進行內插以獲得像素Gbl2312時，可在右上方向上的線302上計算採樣間隔與像素相加處理之前的解析度相同的G分量。使用諸如計算的內插像素值的多個像素值，來執行使用多個信號的上述(b)處理，即計算最終像素值被設定的對象像素位置的像素值的重採樣處理。可通過重採樣處理對保留有高頻分量的信號進行內插。例如可通過將預定的重採樣濾波器應用於諸如計算的內插像素值的多個像素值信號，來執行重採樣處理。例如，如圖16所示，通過對在傾斜方向上內插的分量Grl2311和Gbl2312、以及原始分量Gb3和Gr3的四個值卷積具有高頻強調效果的線性濾波器，例如[_1，5，5，-1]，來對在圖中內插像素位置301處的經過高 頻強調的信號進行內插。內插信號被計算為與具有左上(L)方向上的邊緣的圖案對應的平滑G分量(G)。具體地，通過以下等式來計算平滑G分量(GJ。Gl = (-1 (Gb12) +5 (Gr 12) +5 (Gb3) -I (Gr3)) /8在該等式中，Gb 12是像素Gb 12的像素值，Gr 12是像素Gr 12的像素值，Gb3是像素Gb3的像素值，以及Gr3是像素Gr3的像素值。另外，濾波器係數僅為示例，並且可使用其它濾波器係數。可在傾斜方向上增加內插分量的數目，以採用更大的線性濾波器來執行重採樣處理。由於可通過任何方法以大採樣間隔對左上和右下方向上的沒有解析度惡化的信號進行內插，所以可以恢復解析度比普通重採樣的解析度更高的信號。可通過以上參考圖15和圖16描述的處理來計算左上(L)方向的平滑G分量(Gk和GJ。然而，由於可不使用通過使用像素質心的偏移而獲得的多個內插像素值來計算水平(H)方向、垂直(V)方向、和右上(R)方向的平滑G分量(G1^PGv),所以使用鄰近像素執行重採樣處理。將參考圖17A和圖17B來描述在右上方向(R)的邊緣圖案的情況下計算右上方向(R)的平滑G分量(Gk)的處理。首先，如圖17A的第一處理所示，通過使用在右上和左下方向上鄰近的塊中出現的像素Gr均勻地將兩個Gr像素的值相加和平均(I I內插)以及計算圖17A所示的Gr像素322的像素值，來設定具有四個像素的內插像素位置塊321中的像素Gr 322，其中，四個像素是內插像素G的設定對象。內插分量的質心位於內插像素位置塊321內。接下來，如圖17B的第二處理所示，通過以I : I的比率對位於內插像素位置塊321內的質心偏移校正對象的G分量(Gb)的像素值與第一處理中的內插Gr像素322的像素值分量進行相加和平均，來計算像素值，然後將該像素值設定為在內插像素位置塊321的中心位置處的內插像素323。通過內插處理，可將質心偏移校正對象的G分量(Gb)的質心移動到內插像素位置塊321的中心。而且，內插處理等同於對與右上和左下方向上的質心偏移校正對象G像素(Gb)鄰近的兩個G分量(Gr)卷積[1，2，1]的線性濾波器。由於最初沒有注意到鋸齒，所以與水平⑶方向和垂直(V)方向的邊緣圖案對應的水平方向和垂直方向的平滑G分量(611和&)不經過質心偏移校正，並且無改變地輸出。(b)對應於水平I : 3和垂直I : I相加的內插處理接下來，當以水平I : 3和垂直I : I的比率執行相加處理時，將參考圖18及後續附圖中的每個來描述內插處理的示例。在水平I : 3和垂直I : I相加情況下的內插處理基本上等同於上述在水平I : I和垂直I:I相加情況下的內插處理。通過對可在由於像素質心的偏移導致的特定方向上提取的具有大採樣間隔的信號執行重採樣處理，來計算在像素質心的偏移被校正的位置處的像素值。圖18是圖示當以水平I : 3和垂直I : I的比率執行相加處理時的質心位置的圖。由於水平方向上的質心位於像素的中心，而垂直方向上的質心位置偏移，所以使用該偏移對大採樣間隔的信號進行內插。首先，將參考圖19描述 左上(L)方向上的內插處理。如在水平I : I和垂直I : I相加中一樣，在像素Gr之間以及在像素Gb之間的左上和右下傾斜方向上執行內插。在這種情況下，如在上述處理中一樣，執行如下兩個處理(a)計算在邊緣方向上的內插像素值的處理；以及(b)使用諸如計算的內插像素值的多個像素值來計算對象像素位置的像素值的重採樣處理，其中，在對象像素位置處設定最終像素值。根據直線352與每個像素之間的距離來執行加權，使得每個內插像素的質心位於直線352上，該直線352在右上和左下方向上以45度傾斜並且垂直於邊緣方向(左上(L)方向)的，其中，邊緣方向(左上(L)方向)穿過圖19所示的中心位置處的4像素塊351的中心。圖20示出每個G像素與直線352之間的距離，該直線352在右上和左下方向上以45度傾斜並且垂直於邊緣方向(左上(L)方向)，其中，該邊緣方向(左上(L)方向)穿過中心位置處的4像素塊351的中心。根據距離計算內部分割點，其中，在該內部分割點處，質心彼此交疊在直線上。例如，當對圖19中的像素Grl和Gr2進行內插時，像素Grl與直線352之間的距
離為而像素Gr2與直線352之間的距離為所以，可通過應用以下的等式(等 4，4 °
式3)，通過加權平均來計算內部分割點Grl2。
Q JlIjl
. 4-.Hrl
f I …!…f jL·/Ir-fλ
η , i — 44— VOr I + /Orl^9 ^Λ =......(等式 3)
I 4 4 .-在計算了其它內部分割點之後，對信號執行重採樣。在該重採樣處理中，如在水平I I和垂直I : I相加中一樣，使用具有高頻強調效果的任何重採樣濾波器。通過該處理計算平滑G分量(Gl)。接下來，將描述在右上(R)方向的邊緣圖案的情況下的處理的示例。在該情況下，如在左上和右下傾斜方向中一樣，以這樣的方式執行內插處理，使得一旦根據像素與垂直於邊緣方向(右上(R)方向)的線353之間的距離通過加權平均來計算大採樣間隔的內插信號，就對內插信號進行重採樣，然後計算對象平滑G分量(Gk)。圖21示出在該情況下的距離分布。如在參考圖20描述的處理中一樣，根據像素與線353之間的距離來執行內插處理。在水平(H)方向的情況下，通過簡單的內插處理來計算水平(H)方向的平滑G分量(Gh)。如圖22所示，首先，使用在縱向方向上鄰近的G分量(Grl和Gr2)來產生水平方向的內插分量Grl2。接下來，通過使用包括要計算像素值的對象像素Gi 371的塊中的像素Grl2和像素Gbl，根據離對象像素Gi371的距離來計算加權平均，以及計算像素Gi的像素值。將計算的像素Gi設定為水平(H)方向的平滑G分量(Gh)。
以Gbl Grl2 = 5 I的比率計算加權平均。當對象像素是Gr像素時，實現上下顛倒的布置。不校正垂直(V)方向的 分量。這是因為在水平I : 3和垂直I : I的比率的情況下，在橫向方向上不發生像素質心的偏移。所以，在邊緣沿縱向方向延伸的圖案中不對分量進行校正，並且沒有改變地輸出值。4-3.(第三處理)根據通過第一處理計算的四個方向的邊緣強度(DinDvA1^PDL)確定要與通過第二處理計算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Gk、和GJ相乘的權重(WH、Wv、We和WJ的處理接下來，將描述第三處理，即，根據通過第一處理計算的四個方向的邊緣強度(Dh、DpD1^PDJ確定要與通過第二處理計算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GH、GV、GK、和GJ相乘的權重(WH、Wv、WdPWj的處理。根據通過第一處理計算的四個方向的邊緣強度(Dh、Dv、De和隊)，來確定四個方向的權重(WWdPWL在第一處理中，如上所述，以像素數目減少圖像的G像素(Gr和Gb)為單位來計算下面的值(I)Dh :水平⑶方向的拉普拉斯絕對值的水平方向拉普拉斯值總和(加權平均值)；(2)DV:垂直(V)方向的拉普拉斯絕對值的垂直方向拉普拉斯值總和(加權平均值)；(3)De :右上(R)方向的拉普拉斯絕對值的右上方向拉普拉斯值總和(加權平均值)；以及(4)Dl :左上(L)方向的拉普拉斯絕對值的左上方向拉普拉斯值總和(加權平均值)。因此，計算四方向拉普拉斯值總和(加權平均值)。在第三處理中，首先對拉普拉斯值總和D執行由閾值確定的裁剪處理，以計算裁剪的總和D』。可通過以下的等式(等式4)中的非線性函數來執行裁剪處理。
fOD < thf_r
It Jlj
η! — ζ_η —_hmcrfh < Π ^ th
tL·fLIl111,kmunItIh'
in — Irlf k ^(Jl ., — ifit
upperknrerupperknrer
ID > th......(等式 4)圖23示出裁剪函數。如圖23所示，設定下限閾值thlOTer和上限閾值thupper，以及在下限閾值thlOTOT和上限閾值thuppOT之間設定以直線轉變的權重分布。通過實際操作來設定閾值。通過以下的等式(等式5)，使用經過裁剪處理的獲得的各個方向拉普拉斯值總和，來計算四個方向(水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L))的分量的權重(WH、Wv、WdPWj。
權利要求
1.ー種圖像處理設備，包括 邊緣強度計算單元，其將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以將從所述輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度； 內插像素值計算単元，其計算作為所述像素塊中的所述多個方向的平滑分量的內插像素值； 權重計算單元，其基於由所述邊緣強度計算單元計算的所述多個方向的所述邊緣強度，來計算作為所述多個方向的所述平滑分量的所述內插像素值的權重；以及 混合處理單元，其通過執行作為所述多個方向的所述平滑分量的所述內插像素值和由所述權重計算單元計算的所述權重的加權相加的混合處理，來計算作為所述像素塊的所述中心像素的所述校正對象像素的像素值。
2.根據權利要求I所述的圖像處理設備，其中，所述多個方向為水平方向、垂直方向、右上方向和左上方向的四個方向。
3.根據權利要求I所述的圖像處理設備，其中，所述像素數目減少圖像為具有拜耳布置圖像的圖像。
4.根據權利要求I所述的圖像處理設備，其中，所述像素數目減少圖像為具有拜耳布置圖像的圖像，以及所述校正對象像素是G像素。
5.根據權利要求I所述的圖像處理設備，其中，所述邊緣強度計算單元以將所述校正對象像素用作所述中心像素的所述像素塊為單元計算多個拉普拉斯絕對值，以及通過應用計算的多個拉普拉斯絕對值來計算在所述校正對象像素的位置處的所述多個方向的所述邊緣強度。
6.根據權利要求I所述的圖像處理設備，其中，所述內插像素值計算単元基於存在於所述像素塊中設定的特定方向的線上的像素的像素值來計算多個所述平滑分量，以及基於計算的多個所述平滑分量來計算作為對應於所述校正對象像素的所述平滑分量的內插像素值。
7.根據權利要求I所述的圖像處理設備，其中，所述內插像素值計算単元基於包括在所述像素數目減少圖像中並且發生質心偏移的像素來計算所述內插像素值。
8.根據權利要求I所述的圖像處理設備，其中，所述權重計算單元執行將預定的裁剪函數應用於由所述邊緣強度計算單元計算的所述多個方向的所述邊緣強度中的每個的裁剪處理，以及基於經過所述裁剪處理的所述多個方向的所述邊緣強度來計算作為所述多個方向的所述平滑分量的所述內插像素值的所述權重。
9.根據權利要求I所述的圖像處理設備， 其中，所述像素數目減少圖像為具有拜耳布置圖像的圖像，而所述校正對象像素為G像素，以及 其中，所述圖像處理設備還包括 去馬賽克處理單元，其對具有由所述混合處理單元輸出的所述G像素的校正圖像執行去馬賽克處理。
10.根據權利要求9所述的圖像處理設備，其中，所述去馬賽克處理單元使用拜耳布置中的所述G像素與R像素之間的關係和所述拜耳布置中的所述G像素與B像素之間的關係來執行設定各個像素的RGB像素值的所述去馬賽克處理。
11.ー種圖像處理設備，包括 圖像校正単元，其基於未經過像素増加或疏化處理的原始圖像的解析度，來計算從通過成像元件中的所述像素增加或疏化處理而獲得的所述原始圖像中的對象G像素的中心穿過的邊緣方向，以及對在垂直於所計算的邊緣方向的直線附近的G像素進行投影，在垂直於邊緣的方向上對投影的G像素執行重採樣處理，使用作為所述重採樣像素的像素值的重採樣信號來執行確定所述對象G像素的像素值的處理。
12.根據權利要求11所述的圖像處理設備，其中，所述圖像校正単元通過以下方式來確定所述對象G像素的像素值用預定的特定方向的邊緣分量的線性總和來表示所述邊緣方向，對所述特定方向的每個邊緣分量執行所述重採樣處理，以及以與所述線性總和表示的所述邊緣分量的比率基本上相同的比率對所述特定方向中的多個方向的所述重採樣信號執行加權平均。
13.ー種成像設備，包括 成像元件； 像素數目減少單元，其通過減少由所述成像元件捕獲的圖像的像素的總數目來生成像素數目減少圖像； 邊緣強度計算單元，其將所述像素數目減少圖像設定為輸入圖像，以及以將從所述輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度； 內插像素值計算単元，其計算作為所述像素塊中的所述多個方向的平滑分量的內插像素值； 權重計算單元，其基於由所述邊緣強度計算單元計算的所述多個方向的所述邊緣強度，來計算作為所述多個方向的所述平滑分量的所述內插像素值的權重；以及 混合處理單元，其通過執行作為所述多個方向的所述平滑分量的所述內插像素值和由所述權重計算單元計算的所述權重的加權相加的混合處理，來計算作為所述像素塊的所述中心像素的所述校正對象像素的像素值。
14.一種在圖像處理設備中處理圖像的圖像處理方法，包括 由邊緣強度計算單元將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以將從所述輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度； 由內插像素值計算單元計算作為所述像素塊中的所述多個方向的平滑分量的內插像素值； 由權重計算單元基於由所述邊緣強度計算單元計算的所述多個方向的所述邊緣強度，來計算作為所述多個方向的所述平滑分量的所述內插像素值的權重；以及 由混合處理單元通過執行作為所述多個方向的所述平滑分量的所述內插像素值和由所述權重計算單元計算的所述權重的加權相加的混合處理，來計算作為所述像素塊的所述中心像素的所述校正對象像素的像素值。
15.ー種程序，其使執行圖像處理的圖像處理設備執行 由邊緣強度計算單元將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以將從所述輸入圖像中選擇的校正對象像素用作中心像素的像素塊為單位來計算多個方向的邊緣強度； 由內插像素值計算單元計算作為所述像素塊中的所述多個方向的平滑分量的內插像素值； 由權重計算單元基於由所述邊緣強度計算單元計算的所述多個方向的所述邊緣強度，來計算作為所述多個方向的所述平滑分量的所述內插像素值的權重；以及 由混合處理單元通過執行作為所述多個方向的所述平滑分量的所述內插像素值和由所述權重計算單元計算的所述權重的加權相加的混合處理，來計算作為所述像素塊的所述中心像素的所述校正對象像素的像素值。
全文摘要
提供一種圖像處理設備、圖像處理方法及程序。圖像處理設備包括邊緣強度計算單元，其將通過減少由成像元件捕獲的圖像的像素的總數目而獲得的像素數目減少圖像設定為輸入圖像，以及以像素塊為單位計算多個方向的邊緣強度；內插像素值計算單元，其計算作為像素塊中的多個方向的平滑分量的內插像素值；權重計算單元，其基於邊緣強度來計算作為多個方向的平滑分量的內插像素值的權重；以及混合處理單元，其通過執行作為多個方向的平滑分量的內插像素值和所計算的權重的加權相加的混合處理，來計算作為像素塊的中心像素的校正對象像素的像素值。
文檔編號G06T5/00GK102682426SQ201210054298
公開日2012年9月19日 申請日期2012年3月2日 優先權日2011年3月11日
發明者光永知生, 磯大輔 申請人:索尼公司