固體彩色攝像裝置的製作方法
2023-05-28 16:14:06
專利名稱：固體彩色攝像裝置的製作方法
技術領域：
本發明涉及全像素讀出固體攝像元件，特別是涉及減少在對來自分色濾光片的信息進行矩陣計算之際發生的輝度信號的解析度惡化用的分色濾光片的配置方法，以及矩陣計算方法。此外特別是涉及進行像素間的插補處理而得到高解析度的固體彩色攝像裝置的信號處理方法，其特徵在於，在根據從固體攝像元件輸出的彩色信號來合成色差信號的場合，對各彩色信號按分色濾光片的彩色來調整頻率特性，減少包含成為偽色的原因的折返失真的頻率分量。
背景技術：
圖像信號通常往往用紅色(R)、綠色(G)、藍色(B)的光的三原色來表現，此外還往往用輝度信號(Y)、兩種色差信號(R-Y、B-Y)來表現。RGB的三原色通常成為向計算機用的監視器的輸入信號的形態，輝度和色差成為TV系統的元件中的數字部分的形態。此外近年來固體彩色攝像裝置的圖像信號不僅用於圖像顯示，而且用於數字記錄或元件間的圖像通信。圖像信號信息量大，由於記錄容量或通信容量的制約，通常進行圖像壓縮處理。其時所採用的圖像信號的形式稱為4∶2∶0或4∶1∶1形式，與歷來所用的4∶2∶2形式相比，彩色信息往往成為一半。
下面參照圖2就現有技術的固體彩色攝像裝置進行說明。
圖2(a)示出現有技術的固體彩色攝像裝置，1是使拍攝對象在固體攝像元件表面上成像的光學系統，2是把所成像的拍攝對象像(光學像)變換成圖像信號(電氣信號)的帶分色濾光片的固體攝像元件，3是把由固體攝像元件所變換的圖像信號變換成數字圖像信號的AD轉換器，4是從數字圖像信號變換成輝度信號和色差信號的圖像信號處理電路。配備在前述固體攝像元件2的表面上的分色濾光片往往用由品紅色(Mg)、綠色(G)、青綠色(Cy)、黃色(Y)組成的，圖2(b)中所示的補色相間模式的分色濾光片。
下面說明像以上這樣構成的固體彩色攝像裝置的動作。
在圖2中，拍攝對象像(光學像)靠光學系統1在固體攝像元件2上成像。固體攝像元件2把所成像的拍攝對象像作為由分色濾光片進行了色分解的圖像信號輸出。圖像信號由AD轉換器3變換成數位訊號，供給到信號處理電路4，變換成輝度信號Y和兩種色差信號，成為彩色圖像信號。在圖像處理電路中，根據Mg、G、Cy、Ye補色系統四個像素作成一個像素的輝度信號(Y)和一對色差信號(R-Y、B-Y)。
下面示出該輝度信號的生成過程之一例，Y(h,v)為Y(0,1)=Mg(0,0)+G(1,0)+Cy(0,1)+Ye(1,1)Y(1,0)=G(1,0)+Mg(2,0)+Ye(1,1)+Cy(2,1)Y(0,1)=Cy(0,1)+Ye(1,1)+G(0,2)+Mg(1,2)Y(1,1)=Ye(1,1)+Cy(2,1)+Mg(1,2)+G(2,2)，根據固體攝像元件的四個像素的輸出，生成輝度信號。
色差信號R-Y(h,v)為R-Y(0,0)=Mg(0,0)-G(1,0)-Cy(0,1)+Ye(1,1)R-Y(0,1)=-G(1,0)+Mg(2,0)+Ye(1,1)-Cy(2,1)R-Y(1,0)=-Cy(0,1)+Ye(1,1)-G(0,2)+Mg(1,2)R-Y(1,1)=Ye(1,1)-Cy(2,1)+Mg(1,2)-G(2,2),B-Y(h,v)為B-Y(0,0)=Mg(0,0)-G(1,0)+Cy(0,1)-Ye(1,1)B-Y(0,1)=-G(1,0)+Mg(2,0)-Ye(1,1)+Cy(2,1)B-Y(1,0)=Gy(0,1)-Ye(1,1)-G(0,2)+Mg(1,2)B-Y(1,1)=-Ye(1,1)+Cy(2,1)+Mg(1,2)-G(2,2)。
所輸出的輝度和一對色差信號成為與固體攝像元件的像素數相同數，成為4∶4∶4形式。對照成為對象的輸出元件，進行向4∶2∶2形式，4∶2∶0,4∶1∶1形式的變換。
此外因為在輝度的邊緣部發生偽色，故根據上述所合成的輝度信號的邊緣信號來進行邊緣判定，通過降低對應於判定成邊緣的像素的色差信號的增益來進行偽色抑制。
可是在現有技術的固體彩色攝像裝置中，關於圖像壓縮未作任何考慮，分色濾光片4∶4∶4形式的輸出作為前提，在向以4∶2∶0形式、4∶1∶1形式這樣的圖像壓縮為前提的元件輸出的場合，就彩色信息來說，3/4的信息成為不必要的。此外，輝度信號進行四個像素平均，例如在作成圖2(b)中的Y(0,0)和Y(0,1)的場合，因為重複使用G(1,0)和Ye(1,1)，所以輝度信號不再純粹是採樣信號，而是成為在縱向、橫向方向通過低通濾波器，故與純粹進行像素單位的採樣的三板方式的固體攝像元件等相比，解析度惡化。關於色差信號也是，根據鄰接四個像素進行變換不是純粹的採樣信息而是縱向、橫向方向也成為通過低通濾波器，解析度同樣惡化。
為了解決前述課題，在本發明的固體彩色攝像裝置中，固體攝像元件表面上的分色濾光片作為以兩個全色透射濾光片、一個青綠色透射濾光片、一個黃色透射濾光片共四個像素作為一個排列模式，製成重複前述排列模式的構成，從前述排列模式輸出四個輝度信息，兩種彩色信息各一個，進而在向輝度信號和色差信號的變換時，通過相關度檢測處理求出該拍攝對象成像的像素的與周圍像素的關係，用以計算存在於相關度高的方向的像素，變換成輝度信號和色差信號。
此外，在這種本發明的固體攝像元件中，藉助於多個彩色的彩色透射濾光片，輸出多個彩色信號。此一彩色信號對各種彩色來說信號是獨立的，如果著眼於特定的彩色信號，則其採樣率低於全信號的採樣率。因此在各種彩色的信號中，分別發生混淆現象，有可能包含具有折返失真的頻率分量。
圖15中示出插補特定的彩色信號的場合的，折返失真的情況。在圖15中，橫軸是頻率，2π表示全信號的採樣頻率，縱軸表示信號的振幅。此外實線表示彩色信號，虛線表示折返失真分量。在使用包含高頻分量來插補合成彩色信號的場合，折返失真分量如圖15中所示，包含在低於π/2的通頻帶內。因此發生插補精度不良，產生偽色信號這樣的新課題。
為了解決上述課題，根據本發明的固體彩色攝像裝置，其特徵在於，藉助於頻率特性調整裝置來調整從用全色透射、青綠色透射、黃色透射等各分色濾光片的固體攝像元件輸出的各彩色信號的頻率特性，用施行了該特性調整的彩色信號來插補合成色差信號。
此外在相關度檢測處理中具有邊緣判定功能，確定色差信號中的增益，加在對應的色差信號上，藉此來進行偽色抑制。
藉此，在本發明中，可以提供灰度解析度的惡化少，偽色少的固體彩色攝像裝置。
發明的公開為了解決上述課題，本發明的權利要求1中所述的固體彩色攝像裝置的特徵在於備有具有以縱橫鄰接的四個像素為一個排列模式的分色濾光片，該排列模式的分色濾光片，兩個像素是全色透射濾光片，一個像素是青綠色透射濾光片，一個像素是黃色透射濾光片，是縱橫重複前述四個像素的排列模式的構成，而且有著個別地取出該分色濾光片的每個像素的信息的裝置的固體攝像元件；以及從前述固體攝像元件個別地取出的圖像信息當中，針對前述排列模式的一個，取出四個輝度信號和兩種色差信號，此時根據僅前述全色透射濾光片的信息作成前述四個輝度信號中的兩個，根據前述全色透射濾光片的信息和該縱橫鄰接的四個像素的周圍像素信息作成其餘兩個，根據前述青綠色或黃色透射濾光片的信息和前述周圍像素信息作成前述兩種色差信號的信號處理電路。藉此，四個輝度信號中，因為兩個僅根據全色透射濾光片的信息來作成，故有提高輝度解析度的作用。
此外，本發明的權利要求2中所述的固體彩色攝像裝置是權利要求1所述的固體彩色攝像裝置，其特徵在於，其中以縱橫鄰接的四個像素為一個排列模式的前述分色濾光片，是成為縱向兩個像素、橫向兩個像素的構成，根據從前述排列模式取出的信息作成由四個輝度信號和兩種色差信號各一個組成的合計六個信號，輸出到4∶2∶0方式的元件。藉此在4∶2∶0方式的元件中，有輝度解析度提高這樣的作用。
此外，本發明的權利要求3中所述的固體彩色攝像裝置是權利要求1所述的固體彩色攝像裝置，其特徵在於，其中以縱橫鄰接的四個像素為一個排列模式的前述分色濾光片，是成為縱向一個像素，橫向四個像素的構成，根據從前述排列模式取出的信息作成由四個輝度信號和兩種色差信號各一個組成的合計六個信號，輸出到4∶1∶1方式的元件。藉此在4∶1∶1方式的元件中，有輝度解析度提高這樣的作用。
此外，本發明的權利要求4中所述的固體彩色攝像裝置是權利要求1所述的固體彩色攝像裝置，其特徵在於，其中包括以縱橫鄰接的四個像素為一個排列模式的前述分色濾光片，上邊兩個像素是從左起的全色透射濾光片和青綠色透射濾光片，下邊兩個像素是從左起的黃色透射濾光片和全色透射濾光片，而成的重複模式者；分別接受從前述固體攝像元件的各像素輸出的彩色信號並儲存之的存儲裝置；以儲存在該存儲裝置中的青綠色信號像素和黃色信號像素為被插補像素，計算各該被插補像素的，對位於各該被插補像素的周圍的多個像素的相關度的相關度計算裝置；以及在前述所計算的相關度大的方向上進行像素的插補並計算上述被插補像素的位置的全色透射信號的插補處理裝置。藉此，因為用相關度高的像素對輸入圖像進行插補然後變換成輝度信號，故有減少輝度解析度的惡化的作用。
此外，本發明的權利要求5中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的，包括被插補像素在內的橫向或縱向的相關度。藉此，有減少縱向和橫向的輝度解析度的惡化的作用。
此外，本發明的權利要求6中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的，包括被插補像素在內的橫向或縱向的相關度，以及，進而斜向的相關度。藉此，有減少縱向和橫向，以及斜向的輝度解析度的惡化的作用。
此外，本發明的權利要求7中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的，包括被插補像素在內的橫向或縱向的相關度，以及進而向右並向上，或者向右並向下，或者向左並向上，或者向左並向下的相關度。藉此，有減少縱向，橫向，以及右上L字方向，右下L字方向，左上L字方向，左下L字方向的輝度解析度的惡化的作用。
此外，本發明的權利要求8中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的，包括被插補像素在內的橫向或縱向的相關度，以及進而斜向的相關度，以及進而進而向右並向上，或者向右並向下，或者向左並向上，或者向左並向下的相關度。藉此，有減少縱向，橫向，斜向，以及右上L字方向，右下L字方向，左上L字方向，左下L字方向的輝度解析度的惡化的作用。
此外，本發明的權利要求9中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置通過上述被插補像素和位於其周圍的像素之間的，同色信號彼此的運算來計算相關度。藉此，通過用同色信號來計算相關度，有相關度的計算精度提高這樣的作用。
此外，本發明的權利要求10中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置通過位於上述被插補像素周圍的像素間的，成為異色信號的鄰接像素間的運算來計算相關度。藉此，通過用離被插補像素近的鄰接像素來計算，有即使是異色信號相關度的計算精度也提高這樣的作用。
此外，本發明的權利要求11中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置，不用由上述相關度計算裝置所計算的相關度大的方向中的，被插補像素的彩色信號，僅用該被插補像素周圍的，與將要生成的彩色信號同色的信號來施行插補處理。藉此，有插補精度提高，輝度解析度提高這樣的作用。
此外，本發明的權利要求12中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置，用由上述相關度計算裝置所計算的相關度大的方向中的，被插補像素的彩色信號，根據該被插補像素周圍的像素來計算將要生成的彩色信號的不足部分，施行插補處理。藉此由於僅插補不足彩色分量，其他分量使用被插補像素點的彩色信號，藉此施行插補處理，所以有插補精度提高而輝度解析度不容易惡化這樣的作用。
此外，本發明的權利要求13中所述的固體彩色攝像裝置是權利要求5至10中的任何一項中所述的固體彩色攝像裝置，其特徵在於，其中如果由上述相關度計算裝置所計算的相關度小於給定的閾值，則上述插補處理裝置施行降低對應於該像素的色差信號的增益的處理。藉此，有減少在輝度信號的邊緣部發生的偽色這樣的作用。
此外，本發明的權利要求14中所述的固體彩色攝像裝置是權利要求5至10中的任何一項中所述的固體彩色攝像裝置，其特徵在於，其中如果由上述相關度計算裝置所計算的相關度小於給定的閾值，則上述插補處理裝置施行根據上述相關度分級地降低對應於該像素的色差信號的增益的處理。藉此，有適應地減少在輝度信號的邊緣部發生的偽色這樣的作用。
此外，本發明的權利要求15中所述的固體彩色攝像裝置是權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有調整從上述固體攝像元件所輸出的各種彩色信號的頻率特性的頻率特性調整裝置，用施行了該頻率特性調整的彩色信號來插補合成色差信號。藉此，通過用包含高頻分量的彩色信號的插補，有減少插補合成色差信號時出現的偽色信號這樣的作用。
此外，本發明的權利要求16中所述的固體彩色攝像裝置是權利要求15所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有調整從上述固體攝像元件所輸出的各種彩色信號的頻率特性的頻率特性調整裝置，用施行了該頻率特性調整的彩色信號在青綠色透射濾光片位置上插補合成R-Y色差信號，在黃色透射濾光片位置上插補合成B-Y色差信號。藉此，通過用包含高頻分量的彩色信號的插補，有減少插補合成色差信號時出現的偽色信號這樣的作用。
此外，本發明的權利要求17中所述的固體彩色攝像裝置是權利要求15所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有根據由上述相關度計算裝置所計算的相關度來判定相關方向，在有相關度大的方向時進行頻率特性調整，在沒有相關度大的方向時不進行頻率特性調整。藉此，在用沒有相關方向的彩色信號的色差的插補合成中，保存頻率分量，有保持圖像的彩色的再現性這樣的作用。
此外，本發明的權利要求18中所述的固體彩色攝像裝置是權利要求16所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有根據由上述相關度計算裝置所計算的相關度來判定相關方向，在有相關度大的方向時進行頻率特性調整，在沒有相關度大的方向時不進行頻率特性調整。藉此，在用沒有相關方向的彩色信號的色差的插補合成中，保存頻率分量，有保持圖像的彩色的再現性這樣的作用。
像以上這樣本發明在固體攝像元件表面的分色濾光片的鄰接的縱橫四個像素中具有兩個全色透射濾光片、一個青綠色透射濾光片、一個黃色透射濾光片，具有重複該四個像素的模式，設置從作為該重複模式的四個像素取出四個輝度信息、兩個彩色信息的電路，藉此可以實現輝度解析度高，彩色解析度中也沒有惡化的，優良的固體彩色攝像裝置。此外，通過在上述裝置中增加分別接受並儲存各像素輸出的信號的裝置，把儲存在該存儲裝置中的青綠色信號像素和黃色信號像素作為被插補像素，計算對位於上述被插補像素周圍的多個像素的相關度的相關度計算裝置，以及在相關度大的方向上進行插補，計算上述被插補像素的位置的全色透射信號的裝置，提供可以減少輝度解析度的惡化，進而不用追加大的處理電路而可以實現抑制在輝度信號的邊緣部發生的偽色的處理的，固體彩色攝像裝置成為可能。
附圖的簡要說明圖1(a)是本發明的固體彩色攝像裝置的方框圖。
圖1(b)是配置在圖1(a)的固體攝像元件上的分色濾光片的模式圖。
圖1(c)是配置在圖1(a)的固體攝像元件上的分色濾光片的模式圖。
圖2(a)是現有技術的固體彩色攝像裝置的方框圖。
圖2(b)是配置在圖2(a)的固體攝像元件上的分色濾光片的模式圖。
圖3(a)是表示本發明的第1實施例中的固體彩色攝像裝置的4∶2∶0形式的輝度色差信號的位置的圖。
圖3(b)是表示本發明的第2實施例中的固體彩色攝像裝置的4∶1∶1形式的輝度色差信號的位置的圖。
圖4是本發明的第1實施例中的適合於為了以4∶2∶0形式輸出的分色濾光片排列模式圖的例子。
圖5是本發明的第2實施例中的適合於為了以4∶1∶1形式輸出的分色濾光片排列模式圖的例子。
圖6是根據本發明的第3～7的固體彩色攝像裝置的說明圖，(a)是固體彩色攝像裝置的構成圖，(b)是固體攝像元件上的分色濾光片的構成圖。
圖7是說明本發明的第6實施例中的相關度計算、相關方向(縱向、橫向)以及插補處理的圖。
圖8是說明本發明的第8實施例中的相關度計算、相關方向(右斜下方、左斜下方)以及插補處理的圖。
圖9是說明本發明的第5實施例中的相關度計算、相關方向(L字四方向)以及插補處理的圖。
圖10是說明本發明的第9實施例中的相關度和加在色差信號上的增益的關係的圖。
圖11是說明本發明的第9實施例中的相關度和加在色差信號上的增益的關係的圖。
圖12是根據本發明的第10實施例的固體彩色攝像裝置的構成圖。
圖13是說明本發明的第10實施例中的頻率特性調整動作的圖。
圖14是說明本發明的第10實施例中的頻率特性調整動作的圖。
圖15是說明本發明的第10實施例中的頻率特性調整動作的圖。
圖16是根據本發明的第11實施例的固體彩色攝像裝置的構成圖。
實施發明的最佳形態下面就本發明的實施例進行說明第1實施例下面就對應於本發明的權利要求1、權利要求2的第1實施例進行說明。
圖1(a)示出根據本發明的第1實施例的固體彩色攝像裝置。在圖中，1是實現使拍攝對象在固體攝像元件表面上成像的，是由透鏡等構成的光學系統。2是實現把所成像的拍攝對象像(光學像)變換成圖像信號(電氣信號)的，由帶有分色濾光片的固體攝像元件來構成。3是實現把從固體攝像元件所得到的圖像信號變換成數字圖像信號的，由AD轉換器來構成。4是實現把從AD轉換器所得到的數字圖像信號變換成輝度信號和色差信號的，由圖像信號處理電路來構成。
圖1(b)示出附帶於圖1(a)中的固體攝像元件2的表面的固體攝像元件的分色濾光片，表示由縱向兩個像素、橫向兩個像素重複的一個例子的模式，濾光片的配置由上邊兩個像素是從左起的全色透射濾光片、青綠色透射濾光片，下邊兩個像素是從左起的黃色透射濾光片、全色透射濾光片來構成。
圖3(a)示出本第1實施例的，圖1(a)中的圖像信號處理電路4的輸入輸出信號。
在圖1(a)中，經由光學系統1使拍攝對象在固體攝像元件表面上成像，靠帶有分色濾光片的固體攝像元件2把所成像的拍攝對象像(光學像)變換成圖像信號(電氣信號)，靠AD轉換器3把從固體攝像元件所得到的圖像信號變換成數字圖像信號，靠圖像信號處理電路4把從AD轉換器所得到的數字圖像信號變換成輝度信號和色差信號。進而，附帶於固體攝像元件2的分色濾光片的排列如圖1(b)中所示是重複縱向兩個像素、橫向兩個像素的模式的構成，此一模式的濾光片，上邊兩個像素是從左起的全色透射濾光片、青綠色透射濾光片，下邊兩個像素是從左起的黃色透射濾光片、全色透射濾光片，製成四個像素中兩個具有全色透射濾光片，另外兩個像素為青綠色透射濾光片、黃色透射濾光片的構成。此時從固體攝像元件所得到的圖像信號成為兩個全色信息、一個青綠色信息、一個黃色信息的合計四個，對此四個進行矩陣計算，從圖像信號處理電路4輸出四個輝度信號，一個R-Y色差信號，一個B-Y色差信號。
下面參照圖3(a)就圖像信號處理電路4中的向輝度信號、色差信號的變換動作進行說明。
如果用各透射濾光片來表示光的原色分量(紅色、綠色、藍色，分別為R、G、B)，則通常為W=R+G+B,Cy=G+B,Ye=R+G。輝度信息由R、G、B所有分量來構成，關於全色透射濾光片的所在位置的輝度信號Y僅由成為純粹的採樣信息的來自全色透射濾光片的信號作成，近似為Y(h,v)=a×W(h,v)式中，a是調整動態範圍用的係數，h+v在圖3(a)的例子中始終為偶數。
此外關於沒有全色透射濾光片的位置的輝度信號Y也使用周圍位置的信息作成，作為簡單的作成方法，近似為Y(h,v)=a×((W(h-1,v)+W(h+1,v)+W(h,v-1)+W(h,v+1))÷4)式中，a是調整動態範圍用的係數，h+v在圖3(a)的例子中始終為奇數。
或者，生成作為純粹的採樣信息的合適位置的彩色信息，如果是青綠色濾光片的所在位置的輝度信號Y，則由於Cy沒有輝度信號分量中的R分量，所以根據周圍像素來插補，近似為R(h,v)=a×(W(h-1,v)+W(h+1,v)+W(h,v-1)+W(h,v+1))÷4-b×(Cy(h,v)×4+Cy(h-2,v)+Cy(h+2,v)+Cy(h,v-2)+Cy(h,v+2))÷8Y(h,v)=b×Cy(h,v)+R(h,v)如果是黃色濾光片的所在位置的輝度信號Y，則由於Ye沒有輝度信號分量中的B分量，所以根據周圍像素來插補，近似為B(h,v)=a×(W(h-1,v)+W(h+1,v)+W(h,v-1)+W(h,v+1))÷4-c×(Ye(h,v)×4+Ye(h-2,v)+Ye(h+2,v)+Ye(h,v-2)+Ye(h,v+2))÷8Y(h,v)=c×Ye(h,v)+B(h,v)式中，b、c是調整動態範圍用的係數，h+v在圖3(a)的例子中始終為奇數，青綠色濾光片的所在位置的h為奇數，v為偶數，黃色濾光片的所在位置的h為偶數，v為奇數。
根據Cy像素和Ye像素求出的輝度信號Y,R和B分量通過利用周圍像素的信息的插補來作成，不是根據固體攝像元件引起的純粹的採樣信息求出的。可是，就Cy像素來說G+B分量，就Ye像素來說R+G分量作為純粹的採樣信息保留下來，所插補的R和B分量在輝度信號Y中最大為三分之一，影響很小，成為保持高解析度狀態的輝度信號Y。
此外，就色差信號(R-Y,B-Y)來說，關於四個輝度信號取出各一個的信息，以輝度信號的縱向兩個像素、橫向兩個像素為一個模式，用簡單的計算方法，首先變換成R、G、B。色差信號變換用的R、B分量為R(h,v)=a×W((h div 2)*2,(v div 2)*2)-b×Cy((h div 2)*2+1,(v div 2)*2)B(h,v)=a×W((h div 2)*2+1,(v div 2)*2+1)-c×Ye((h div 2)*2,(v div 2)*2+1)進而G成為G(h,v)=a×(W((h div 2)*2,(v div 2)*2)+W((h div 2)*2+1,(v div 2)*2+1))÷2-R(h,v)-B(h,v)根據此一RGB，色差信號近似地近似為R-Y(h,v)=2×R(h,v)-G(h,v)B-Y(h,v)=2×B(h,v)-G(h,v)式中，a、b、c是調整動態範圍用的係數，div表示僅取出整數的除法運算的商而捨去餘數的計算，*表示乘法運算。
這樣得到的一對色差信號因為對於鄰接的別的色差信號不重複固體攝像元件的輸出而變換，故彩色解析度提高。
通過進行以上的運算，如圖3(a)中所示，成為對於縱向兩個像素、橫向兩個像素的四個輝度信號Y，得到各一個兩種色差信號R-Y、B-Y，就得到如圖3(a)中所示的，適合於作為向4∶2∶0形式的元件的輸入信號的形式。
再者，除了上述之外通過把全色透射濾光片的透射率關於R設定成0.3，關於B設定成0.59，關於G設定成0.11的比率，由於該全色透射濾光片的透射率之比等於輝度信號Y的原色混合比所以得到純粹的輝度信號，可以進一步提高解析度。也就是說雖然通常如果用原色分量(紅色、綠色、藍色，分別為R、G、B)來表示各透射濾光片，則成為W=R+G+B,Cy=G+B,Ye=R+G，但是如果進行上述設定，則輝度信號Y的RGB混合比就表達為Y=0.30R+0.59G+0.11B在本第1實施例中用的各透射濾光片，調整透射率，成為W=0.30R+0.59G+0.11BCy=(0.59G+0.11B)÷0.7Ye=(0.30R+0.59G)÷0.89此時，就全色透射濾光片的所在位置的輝度信號Y來說，僅由成為純粹的採樣信息的來自全色透射濾光片的信號作成，成為Y(h,v)=a×W(h,v)式中，a是調整動態範圍用的係數，h+v在圖3(a)的例子中始終為偶數。此外就沒有全色透射濾光片的位置的輝度信號Y來說，也使用周圍位置的信息來作成，作為簡單的作成方法，成為Y(h,v)=a×((W(h-1,v)+W(h+1,v)+W(h,v-1)+W(h,v+1))÷4)或者，生成作為純粹的採樣信息的合適位置的彩色信息，如果是青綠色濾光片的所在位置的輝度信號Y，則也可以成為Y(h,v)=a×((W(h-1,v)+W(h+1,v)+W(h,v-1)+W(h,v+1))÷4)+0.7×b×(Cy(h-2,v)÷2-(Cy(h+2,v)+Cy(h,v-2)+Cy(h,v+2)+Cy(h,v))÷8)如果是黃色濾光片的所在位置的輝度信號Y，則也可以成為Y(h,v)=a×((W(h-1,v)+W(h+1,v)+W(h,v-1)+W(h,v+1))÷4)+0.7×c×(Ye(h-2,v)÷2-(Ye(h+2,v)+Ye(h,v-2)+Ye(h,v+2)+Ye(h,v))÷8)式中，b、c是調整動態範圍用的係數，h+v在圖3(a)的例子中始終為奇數，青綠色濾光片的所在位置的h為奇數，v為偶數，黃色濾光片的所在位置的h為偶數，v為奇數。
此外，就色差信號(R-Y、B-Y)來說，關於四個輝度信號取出各一個的信息，以輝度信號的縱向兩個像素、橫向兩個像素為一個模式，用簡單的計算方法，成為R-Y(h,v)=0.7÷0.3×(a×(W((h div 2)*2,(v div 2)*2)+W((h div 2)*2+1,(vdiv 2)*2+1))÷2-b×Cy((h div 2)*2+1,(v div 2)*2))B-Y(h,v)=0.89÷0.11×(a×(W((h div 2)*2,(v div 2)*2)+W((h div 2)*2+1,(vdiv 2)*2+1))+2-b×Ye((h div 2)*2,(v div 2)*2+1))或者，考慮到色差信號的採樣位置，也可以成為R-Y(h,v)=0.7+0.3×(a×(W((h div 2)*2,(v div 2)*2)+W((h div 2)*2+1,(vdiv 2)*2+1))÷2-b×(Cy((h div 2)*2+1,(v div 2)*2)×2+Cy((h div 2)*2-1,(vdiv 2)*2)+Cy((h div 2)*2+1,(v div 2)*2+2))÷4)B-Y(h,v)=0.89÷0.11×(a×(W((h div 2)*2,(v div 2)*2)+W((h div 2)*2+1,(vdiv 2)*2+1))÷2-b×(Ye((h div 2)*2,(v div 2)*2+1)×2+Ye((h div 2)*2,(vdiv 2)*2-1)+Ye((h div 2)*2+2,(v div 2)*2+1))÷4)此外雖然在上述第1實施例中，全色濾光片的配置設定成成為相間配置，但是也可以像圖4(a)那樣把縱向兩個像素、橫向兩個像素的重複模式中的上邊兩個像素取為全色透射濾光片，把下邊兩個像素取為青綠色透射濾光片、黃色透射濾光片，全色透射濾光片橫向連續配置，作為優點使水平解析度提高。進而，全色濾光片的配置也可以像圖4(b)那樣縱向兩個像素、橫向兩個像素的重複模式中的上邊兩個像素具有從左起全色透射濾光片、青綠色透射濾光片的重複模式，下邊兩個像素從左起取為全色透射濾光片、黃色透射濾光片，全色透射濾光片縱向連續配置，作為優點得到垂直解析度提高的效果。此外把上述四個像素的模式取為每個模式都更換的結構，也可以得到同樣的解析度。
進而，雖然在上述第1實施例中針對進行4∶2∶0輸出的場合來描述，雖然在色差信號變換之際彩色解析度下降，但是由於通過利用周圍像素的方式在任何位置都可以配置R、G、B分量，所以不僅此一4∶2∶0輸出，而且進行4∶4∶4,4∶2∶2,4∶1∶1輸出也是可能的。
此外，雖然在上述第1實施例中，除了全色透射濾光片以外採用青綠色透射濾光片和黃色透射濾光片，但是也可以在此一全色透射濾光片以外採用紅色透射濾光片、藍色透射濾光片。優點是沒有必要從濾光片取出R分量和B分量，可以簡化計算。缺點是因為在紅色濾光片、藍色濾光片中不包含綠色分量G故成了G分量也從周圍像素來補充，所以輝度信息的解析度就降低。
此外，雖然在上述第1實施例中的說明中，說明了縱向兩個像素、橫向兩個像素的分色濾光片上邊兩個像素由從左起全色透射濾光片、青綠色透射濾光片，下邊兩個像素由從左起黃色透射濾光片、全色透射濾光片來構成的例子，但是就其他的濾光片的透射彩色原封不動而改變排列方式者，或者兩個全色透射濾光片原封不動而把青綠色和黃色的透射濾光片的透射彩色改變成青綠色和品紅色、或品紅色和黃色、或者紅色和藍色、或紅色和綠色、或綠色和藍色的構成來說，同樣能夠實施。
第2實施例下面就對應於本發明的權利要求1、權利要求3的第2實施例進行說明。
圖1(c)示出附帶於圖1(a)中的固體攝像元件2的表面的固體彩色攝像元件的分色濾光片，表示以縱向一個像素，橫向四個像素重複的一個例子的模式，濾光片的配置從左起由全色透射濾光片、青綠色透射濾光片、全色透射濾光片、黃色透射濾光片來構成。
圖3(b)示出本第2實施例中的圖1(a)的圖像信號處理電路4的輸入輸出信號。
在圖1(a)中，經由光學系統1使拍攝對象在固體攝像元件表面上成像，靠帶有分色濾光片的固體攝像元件2把所成像的拍攝對象像(光學像)變換成圖像信號(電氣信號)，靠AD轉換器3把從固體攝像元件所得到的圖像信號變換成數字圖像信號，靠圖像信號處理電路4把從AD轉換器所得到的數字圖像信號變換成輝度信號和色差信號。進而，附帶於固體攝像元件2的分色濾光片的排列如圖1(c)中所示是重複縱向一個像素、橫向四個像素的模式的構成，此一模式的濾光片，是從左起的全色透射濾光片、青綠色透射濾光片、全色透射濾光片、黃色透射濾光片，製成四個像素中兩個具有全色透射濾光片，另外兩個像素為青綠色透射濾光片、黃色透射濾光片的構成。此時從固體攝像元件所得到的圖像信號成為兩個全色信息、一個青綠色信息、一個黃色信息的合計四個，對此四個進行矩陣計算，從圖像信號處理電路4輸出四個輝度信號，一個R-Y色差信號，一個B-Y色差信號。
下面參照圖3(b)就圖像信號處理電路中的向輝度信號、色差信號的變換動作進行說明。
如果用各透射濾光片來表示光的原色分量(紅色、綠色、藍色，分別為R、G、B)，則通常為W=R+G+B,Cy=G+B,Ye=R+G。輝度信息由R、G、B所有分量來構成，關於全色透射濾光片的所在位置的輝度信號Y僅由成為純粹的採樣信息的來自全色透射濾光片的信號作成，近似為Y(h,v)=a×W(h,v)式中，a是調整動態範圍用的係數，h在圖3(b)的例子中始終為偶數。
此外關於沒有全色透射濾光片的位置的輝度信號Y也使用周圍位置的信息作成，作為簡單的作成方法，近似為Y(h,v)=a×((W(h-1,v)+W(h+1,v))÷2)式中，a是調整動態範圍用的係數，h在圖3(b)的例子中始終為奇數。
或者，生成作為純粹的採樣信息的合適位置的彩色信息，如果是青綠色濾光片的所在位置的輝度信號Y，則由於Cy沒有輝度信號分量中的R分量，所以根據周圍像素來插補，近似為R(h,v)=a×((W(h-1,v)+W(h+1,v))×2+W(h-1,v-1)+W(h+1,v-1)+W(h-1,v+1)+W(h+1,v+1))÷8-b×(Cy(h,v)×2+Cy(h,v-1)+Cy(h,v+1))÷4Y(h,v)=b×Cy(h,v)+R(h,v)
如果是黃色濾光片的所在位置的輝度信號Y，則由於Ye沒有輝度信號分量中的B分量，所以根據周圍像素來插補，也可以近似為B(h,v)=a×((W(h-1,v)+W(h+1,v))×2+W(h-1,v-1)+W(h+1,v-1)+W(h-1,v+1)+W(h+1,v+1))÷8-c×(Ye(h,v)×2+Ye(h,v-1)+Ye(h,v+1))÷4Y(h,v)=c×Ye(h,v)+B(h,v)式中，b、c是調整動態範圍用的係數，如令mod為僅取出整數的除法運算的餘數的計算，則青綠色濾光片的所在位置的h為(hmod 4)=1，黃色濾光片的所在位置的h為(h mod 4)=3。
根據Cy像素和Ye像素求出上述輝度信號Y之際所需的R和B分量，通過利用周圍像素的信息的插補來作成，因而上述輝度信號Y不是根據固體攝像元件引起的純粹的採樣信息求出的。可是，就Cy像素來說G+B分量，就Ye像素來說R+G分量作為純粹的採樣信息保留下來，所插補的R和B分量在輝度信號Y中最大為三分之一，影響很小，成為保持高解析度狀態的輝度信號Y。
此外，就色差信號(R-Y,B-Y)來說，關於四個輝度信號取出各一個的信息，以輝度信號的縱向一個像素、橫向四個像素為一個模式，用簡單的計算方法，首先變換成R、G、B。色差信號變換用的R、B分量為R(h,v)=a×W((h div 4)*4,v)-b×Cy((h div 4)*4+1,v)B(h,v)=a×W((h div 4)*4+2,v)-c×Ye((h div 4)*4+3,v)進而G成為G(h,v)=a×(W((h div 4)*4,v)+W((h div 4)*4+2,v))÷2-R(h,v)-B(h,v)根據此一RGB，色差信號近似地近似為R-Y(h,v)=2×R(h,v)-G(h,v)B-Y(h,v)=2×B(h,v)-G(h,v)式中，a、b、c是調整動態範圍用的係數。
這樣得到的一對色差信號因為對於鄰接的其他色差信號不重複固體攝像元件的輸出而變換故而彩色解析度提高。
通過進行以上的運算，如圖3(b)中所示，成為對於縱向一個像素、橫向四個像素的四個輝度信號Y，得到各一個兩種色差信號R-Y、B-Y，就得到如圖3(b)中所示的，適合於作為向4∶1∶1形式的元件的輸入信號的形式。
再者，除了上述之外通過把全色透射濾光片的透射率關於R設定成0.3，關於B設定成0.59，關於G設定成0.11的比率，由於該全色透射濾光片的透射率之比等於輝度信號Y的原色混合比所以得到純粹的輝度信號，可以進一步提高解析度。關於這一點可以用與第1實施例矩陣變化同樣的方法來計算。
此外，與上述第1實施例同樣，雖然在色差信號變換之際彩色解析度下降，但是由於通過利用周圍像素的方式在任何位置都可以配置R、G、B分量，所以不僅此一4∶1∶1輸出，而且進行4∶4∶4,4∶2∶2,4∶2∶0輸出也是可能的。
再者，全色濾光片的配置，與圖1(c)、圖3(a)的配置不同，如圖5(a)中所示，在縱向一個像素、橫向四個像素的重複模式的縱向的重複時把透射濾光片依次錯開一個像素，把全色透射濾光片製成相間形的配置，藉此可以提高輝度信號的傾斜的解析度。進而，如圖5(b)中所示，把全色以外的透射濾光片的配置換上圖1(c)的全色透射濾光片，而且製成替換青綠色和黃色的透射濾光片的八個像素的模式的重複配置，藉此可以實現對應於縱向一個像素、橫向四個像素的4∶1∶1方式，縱向兩個像素、橫向兩個像素的4∶2∶0方式的兩方的，有彩色解析度的濾光片配置。
此外，雖然在第2實施例中的說明中，說明了縱向一個像素、橫向四個像素的分色濾光片由從左起全色透射濾光片、青綠色透射濾光片、全色透射濾光片、黃色透射濾光片來構成的例子，但是就其他的濾光片的透射彩色原封不動而改變排列方式，或者兩個全色透射濾光片原封不動而把青綠色和黃色的透射濾光片的透射彩色改變成青綠色和品紅色、或品紅色和黃色、或者紅色和藍色、或紅色和綠色、或綠色和藍色的構成來說，也同樣能夠實施。只要在透射濾光片的重複模式中作為重複四個像素模式配置兩個全色透射濾光片和兩種各一個透射非全色的彩色的濾光片，就得到同樣的效果。此外，就把縱向一個像素、橫向四個像素的分色濾光片的模式在縱向準備四種模式，該四種模式的分色濾光片的排列方式各不相同的構成來說，也同樣能夠實施。
第3實施例下面用圖6、圖7就對應於本發明的權利要求4、權利要求5、權利要求9和權利要求12的第3實施例進行說明。
在圖6(a)中，1是光學系統，是實現使拍攝對象在固體攝像元件上成像的作用，由透鏡等構成。2是帶有分色濾光片的固體攝像元件，實現把所成像的拍攝對象像(光學像)變換成圖像信號(電氣信號)的作用。3是AD轉換器，把從固體攝像元件2所得到的圖像信號變換成數字圖像信號。5是存儲電路，儲存一個畫面的由AD轉換器3所變換的數字圖像信號。6是相關度計算電路，計算儲存在存儲電路6中的數字圖像信號的任意像素中的與周圍像素的相關度。7是插補處理電路，基於從相關度計算電路6所計算的相關度來進行插補處理，輸出輝度信號和色差信號。靠這些光學系統1，帶有分色濾光片的固體攝像元件2，AD轉換器3，存儲電路5，相關度計算電路6，插補處理電路7的各電路，作成輝度信號和色差信號。
圖6(b)中示出固體攝像元件2上的分色濾光片的構成。以縱橫鄰接的四個像素為一個排列單位，濾光片的配置由上邊兩個像素從左起全色透射濾光片、青綠色透射濾光片，下邊兩個像素從左起黃色透射濾光片、全色透射濾光片來構成。此一排列單位在縱橫方向上連續地重複配置著。
如果用RGB分量來表示收入存儲電路(未畫出)的W像素、Cy像素、Ye像素，則可以表達為W=(R+G+B)/3,Cy=(G+B)/3,Ye=(R+B)/3，如令W像素W≈Y則可以把W像素的輸出信號原封不動地表達為輝度信號。就Cy像素和Ye像素來說，通過插補運算求出R分量和B分量，通過分別加到Cy像素、Ye像素上，就可以表達輝度信號。雖然在插補中利用周圍像素的信號，但是由相關度計算電路6計算與被插補像素的相關度來確定插補中使用的周圍像素。首先一開始就相關度的計算方法進行描述。
圖7是在以青綠色像素Cyn為被插補像素的場合，示出周圍像素的配置者，●號和○號是此一Cyn像素的插補處理中不需要的Ye像素和W像素。令作為圖7中所示的①-①』方向的縱向的相關度為Vc，作為②-②』方向的橫向的相關度為Hc，分別用下式來計算。
Vc=｜Wu-Wd｜+｜Cyu-Cyn｜+｜Cyd-Cyn｜ (1)Hc=｜Wl-Wr｜+｜Cyl-Cyn｜+｜Cyr-Cyn｜ (2)用此一結果，按以下條件式來確定相關方向。
Vc+Th＜Hc (3)Hc+Th＜Vc (4)再者，Th是閾值，是特定的常數。相關方向在式(3)成立的場合判斷為縱向，在式(4)成立的場合判斷為橫向。在式(3)和式(4)兩方都不成立的場合判斷為沒有相關方向。
下面就插補處理進行描述。
在相關方向被判斷為縱向的場合，插補處理中使用的像素，對於被插補像素Cyn僅利用縱向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wu+Wd)/2-(2*Cyn+Cyu+Cyd)/4 (5)在被判斷為橫向的場合，插補處理中使用的像素，對於被插補像素Cyn僅利用橫向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wl+Wr)/2-(2*Cyn+Cyl+Cyr)/4 (6)此外，在被判斷為沒有相關方向的場合，對於被插補像素Cyn利用橫向和縱向兩方的周圍像素，用下式來計算不足分量RCy。
RCy=(Wu+Wd+Wl+Wr)/4-(4*Cyn+Cyu+Cyd+Cyl+Cyr)/8 (7)用由式(5)～(7)所得到的不足分量RCy，可以由下式把被插補像素Cyn的W分量求出為W』=Cyn+RCy。
對於所有的被插補像素Cyn同樣地通過上述操作來計算W』。
在Ye像素為被插補像素的場合，可以把式(1)～(2)的式中的Cy換成Ye，進行相關度計算，可以把式(5)～(7)的式中的右邊的Cy換成Ye，來求出不足分量BYe。求出的不足分量不是R分量，只是變成B分量，通過令W』=Yen+BYe，可以求出Ye像素的W分量。對於所有的被插補像素Yen同樣地進行上述操作。
通過施行此一插補處理，求出Cy像素、Ye像素處的輝度W』，可以得到所有的輝度信號。用此一方法，由於W像素的信號原封不動地使用，在Cy像素和Ye像素處用與各自相關度高的周圍像素來插補，所以可以減少解析度的降低。
像以上這樣在本第3實施例中，由於檢測被插補像素和位於其周圍的像素中的包含被插補像素在內的縱向和橫向的相關度，進行插補，所以可以得到高精度的輝度信號，可以防止解析度的降低。
第4實施例下面用圖8來說明對應於本發明的權利要求6的第4實施例。
本第4實施例的構成基本上與上述第3實施例的構成相同，在本第4實施例中進而在由相關度計算電路6的相關度計算上，增加還計算斜向的相關度的處理，此外在插補處理電路7中增加斜向相關時的插補處理。
下面首先就相關度的計算方法進行描述。
圖8是示出在以青綠色像素Cyn為被插補像素的場合的周圍像素的配置者，●號和○號是此一像素Cyn的插補處理中不需要的Ye像素和W像素。
在上述第3實施例中，僅求出圖7中所示的①-①』方向和②-②』方向的相關度。這裡進一步令圖8中所示的作為③-③』方向的右斜下方向的相關度為Nr，令作為④-④』方向的左斜下方向的相關度為Nl，分別用下式來計算。
Nr=｜(Wu+Wl)/2-(Wd+Wr)/2｜+｜(Cyul-Cyn)｜+｜(Cydr-Cyn)｜(8)Nl=｜(Wu+Wr)/2-(Wd+Wl)/2｜+｜(Cydl-Cyn)｜+｜(Cyur-Cyn)｜(9)用此一結果，和由式(1)～(2)求出的Vc、Hc按以下條件式來確定相關方向。
Vc+Th＜min(Hc,Nr,Nl) (10)Hc+Th＜min(Vc,Nr,Nl) (11)Nr+Th＜min(Hc,Vc,Nl) (12)Nl+Th＜min(Hc,Vc,Nr) (13)再者，Th是閾值，是特定的常數，min是取括號內的各要素內的最小值的函數。相關方向在式(10)成立的場合判斷為縱向，在式(11)成立的場合判斷為橫向，在式(12)成立的場合判斷為右斜下方向，在式(13)成立的場合判斷為左斜下方向。在式(10)～式(13)都不成立的場合判斷為沒有相關方向。
下面就插補處理進行描述。
雖然在上述第3實施例中，描述了相關方向被判斷為縱橫的場合和被判斷為沒有相關方向的場合的插補處理，但是這裡進一步追加了相關方向被判斷為斜向的場合的處理。
相關方向被判斷為右斜下方向的場合，對於被插補像素Cyn僅利用右斜下方向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wu+Wd+Wl+Wr)/4-(2*Cyn+Cyul+Cydr)/4 (14)在被判斷為左斜下方向的場合，對於被插補像素Cyn僅利用左斜下方向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wu+Wd+Wl+Wr)/4-(2*Cyn+Cyur+Cydl)/4 (15)這以下與上述第3實施例同樣地進行插補處理，得到所有的輝度信號。
在本第4實施例中，像這樣通過不僅檢測縱橫向而且檢測斜向的相關度來進行插補，可以不僅減少縱橫向而且還減少斜向的解析度的降低。
第5實施例下面用圖9來說明對應於本發明的權利要求7的第5實施例。
本第5實施例的構成基本上與上述第3實施例的構成相同，在本第5實施例中進而在由相關度計算電路6的相關度計算上，增加還計算L字方向的相關度的處理，在插補處理電路7中增加L字方向相關時的插補處理。
首先就相關度的計算方法進行描述。
圖9是在以青綠色像素Cyn為被插補像素的場合示出周圍像素的配置者，●號和○號是此一像素Cyn的插補處理中不需要的Ye像素和W像素。
在上述第3實施例中，僅求出圖7中所示的①-①』方向和②-②』方向的相關度。這裡進一步令作為圖9中所示的⑤-⑤』方向的左上L字方向的相關度為Lul，令作為⑥-⑥』方向的右上L字方向的相關度為Lur，令作為⑦-⑦』方向的左下L字方向的相關度為Ldl，令作為⑧-⑧』方向的右下L字方向的相關度為Ldr，分別用下式來計算。
Lul=｜Wu-Wl｜+｜Cyu-Cyn｜+｜Cyl-Cyn｜ (16)Lur=｜Wu-Wr｜+｜Cyu-Cyn｜+｜Cyr-Cyn｜ (17)Ldl=｜Wd-Wl｜+｜Cyd-Cyn｜+｜Cyl-Cyn｜ (18)Ldr=｜Wd-Wr｜+｜Cyd-Cyn｜+｜Cyr-Cyn｜ (19)用此一結果，和由式(1)～(2)求出的Vc、Hc按以下條件式來確定相關方向。
Vc+Th＜min(Hc,Lul Ldl,Lur,Ldr) (20)Hc+Th＜min(Vc,Lul,Ldl,Lur,Ldr) (21)Lul+Th＜min(Hc,Vc Ldl,Lur,Ldr) (22)Lur+Th＜min(Hc,Vc,Lul,Ldl,Ldr) (23)Ldl+Th＜min(Hc,Vc Lul,Lur,Ldr) (24)Ldr+Th＜min(Hc,Vc,Lul,Ldl,Lur) (25)再者，Th是閾值，是特定的常數，min是取括號內的各要素內的最小值的函數。相關方向在式(20)成立的場合判斷為縱向，在式(21)成立的場合判斷為橫向，在式(22)成立的場合判斷為左上L字方向，在式(23)成立的場合判斷為右上L字方向，在式(24)成立的場合判斷為左下L字方向，在式(25)成立的場合判斷為右下L字方向。在式(20)～式(25)都不成立的場合判斷為沒有相關方向。
下面就插補處理進行描述。
雖然在上述第3實施例中，描述了相關方向被判斷為縱橫的場合和被判斷為沒有相關方向的場合的插補處理，但是這裡進一步追加了相關方向被判斷為L字方向的場合的處理。
相關方向被判斷為左上L字方向的場合，對於被插補像素Cyn僅利用左上L字方向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wu+Wl)/2-(2*Cyn+Cyu+Cyl)/4 (26)在被判斷為右上L字方向的場合，對於被插補像素Cyn僅利用右上L字方向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wu+Wr)/2-(2*Cyn+Cyu+Cyr)/4 (27)在被判斷為左下L字方向的場合，對於被插補像素Cyn僅利用左下L字方向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wd+Wl)/2-(2*Cyn+Cyd+Cyl)/4 (28)在被判斷為右下L字方向的場合，對於被插補像素Cyn僅利用右下L字方向的周圍像素，用下式來計算不足分量RCy。
RCy=(Wd+Wr)/2-(2*Cyn+Cyd+Cyr)/4 (29)這以下與上述第3實施例同樣地進行插補處理，得到所有的輝度信號。
在本第5實施例中，像這樣通過不僅檢測縱橫向而且檢測L字方向的相關度來進行插補，可以不僅減少縱橫向而且還減少L字方向的解析度的降低。
第6實施例下面就對應於本發明的權利要求8的第6實施例進行說明。
本第6實施例的構成基本上與上述第3實施例的構成相同，在由相關度計算電路6的相關度計算上，增加還計算斜向和L字方向的相關度的處理，在插補處理電路7的處理中增加斜向相關時和L字方向相關時的插補處理。
首先就相關度的計算方法進行描述。
在上述第3實施例中，僅求出圖7中所示的①-①』方向和②-②』方向的相關度Vc、Hc。這裡進一步令作為圖8中所示的③-③』方向的右斜下方向的相關度為Nr，和作為④-④』方向的左斜下方向的相關度為Nl，與上述第4實施例同樣地求出，令作為圖9中所示的⑤-⑤』方向的左上L字方向的相關度為Lul，令作為⑥-⑥』方向的右上L字方向的相關度為Lur，令作為⑦-⑦』方向的左下L字方向的相關度為Ldl，令作為⑧-⑧』方向的右下L字方向的相關度為Ldr，與上述第5實施例同樣地求出。
用此一結果，按以下條件式來確定相關方向。
Vc+Th＜min(Hc,Nr,Nl,Lul,Lur,Ldl,Ldr)(30)Hc+Th＜min(Vc,Nr,Nl,Lul,Lur,Ldl,Ldr)(31)Nr+Th＜min(Hc,Vc,Nl,Lul,Lur,Ldl,Ldr)(32)Nl+Th＜min(Hc,Vc,Nr,Lul,Lur,Ldl,Ldr)(33)Lul+Th＜min(Hc,Vc,Nr,Nl,Lur,Ldl,Ldr)(34)Lur+Th＜min(Hc,Vc,Nr,Nl,Lul,Ldl,Ldr)(35)Ldl+Th＜min(Hc,Vc,Nr,Nl,Lul,Lur,Ldr)(36)Ldr+Th＜min(Hc,Vc,Nr,Nl,Lul,Lur,Ldl)(37)再者，Th是閾值，是特定的常數，min是取括號內的各要素內的最小值的函數。相關方向在式(30)成立的場合判斷為縱向，在式(31)成立的場合判斷為橫向，在式(32)成立的場合判斷為右斜下方向，在式(33)成立的場合判斷為左斜下方向，在式(34)成立的場合判斷為左上L字方向，在式(35)成立的場合判斷為右上L字方向，在式(36)成立的場合判斷為左下L字方向，在式(37)成立的場合判斷為右下L字方向。在式(30)～式(37)都不成立的場合判斷為沒有相關方向。
下面就插補處理進行描述。
雖然在上述第3實施例中，描述了相關方向被判斷為縱橫的場合和被判斷為沒有相關方向的場合的插補處理，但是這裡進一步追加了相關方向被判斷為斜向，以及L字方向的場合的處理。
相關方向被判斷為右斜下方向的場合，對於被插補像素Cyn僅利用右斜下方向的周圍像素，用式(14)來計算不足分量RCy。在被判斷為左斜下方向的場合，對於被插補像素Cyn僅利用左斜下方向的周圍像素，用式(15)來計算不足分量RCy。相關方向被判斷為左上L字方向的場合，對於被插補像素Cyn僅利用左上L字方向的周圍像素，用式(26)來計算不足分量RCy。在被判斷為右上L字方向的場合，對於被插補像素Cyn僅利用右上L字方向的周圍像素，用式(27)來計算不足分量RCy。在被判斷為左下L字方向的場合，對於被插補像素Cyn僅利用左下L字方向的周圍像素，用式(28)來計算不足分量RCy。在被判斷為右下L字方向的場合，對於被插補像素Cyn僅利用右下L字方向的周圍像素，用式(29)來計算不足分量RCy。
這以下與上述第3實施例同樣地進行插補處理，得到所有的輝度信號。
在本第6實施例中，像這樣通過不僅檢測縱橫向而且檢測斜向和L字方向的相關度來進行插補，可以不僅減少縱橫向而且還減少斜向和L字方向的解析度的降低。
第7實施例下面就對應於本發明的權利要求10的第7實施例進行說明。
本第7實施例的構成與上述第3～6實施例的構成相同，只是在相關度計算電路6中的相關度計算方法與它們不同。雖然在上述第3～6實施例中求出的縱向相關度Vc、橫向相關度Hc、右斜下方向的相關度Nr、左斜下方向的相關度Nl、左上L字方向的相關度Lul、右上L字方向的相關度Lur、左下L字方向的相關度Ldl、右下L字方向的相關度Ldr中，用同色像素彼此來運算，但是這裡通過與鄰接的異色像素的運算，用以下所示的公式求出。
Vc=｜Wu-Cyn｜+｜Wd-Cyn｜ (38)Hc=｜Wl-Cyn｜+｜Wr-Cyn｜ (39)Nr=｜(Wu+Wl)/2-Cyn｜+｜(Wd+Wr)/2-Cyn｜(40)
Nl=｜(Wu+Wr)/2-Cyn｜+｜(Wd+Wl)/2-Cyn｜ (41)Lul=｜Wu-Cyn｜+｜Wl-Cyn｜(42)Ldl=｜Wd-Cyn｜+｜Wl-Cyn｜(43)Lur=｜Wu-Cyn｜+｜Wr-Cyn｜(44)Ldr=｜Wd-Cyn｜+｜Wr-Cyn｜(45)這以下，就相關方向的判斷和插補處理來說，與上述第3～6實施例中的那些是相同的。
像這樣在本第7實施例中，因為可以通過與鄰接的異色像素的運算求出相關度，故可以提高相關度的計算精度。
第8實施例下面就對應於本發明的權利要求11的第8實施例進行說明。
本第8實施例的構成與上述第3～6實施例的構成相同，只是在插補處理電路7中的插補處理方法與它們不同。
也就是說，本第8實施例，關於在上述第3～6實施例中求出的被插補像素Cyn，在插補處理中，在求出該被插補像素Cyn的輝度W』之際，不用Cyn本身，僅用周圍的W像素，按下式來進行插補。
相關方向為縱向的場合，按W』=(Wu+Wd)/2 (46)相關方向為橫向的場合，按W』=(Wl+Wr)/2 (47)相關方向為左上L字方向的場合，按W』=(Wu+Wl)/2 (48)相關方向為左下L字方向的場合，按W』=(Wd+Wl)/2 (49)相關方向為右上L字方向的場合，按W』=(Wu+Wr)/2 (50)相關方向為右下L字方向的場合，按W』=(Wd+Wr)/2 (51)相關方向為上述以外的場合，按
W』=(Wu+Wd+Wl+Wr)/4 (52)來進行插補。
在這種第8實施例中，因為僅用W來計算輝度信號，故插補精度提高，可以得到沒有輝度不均勻的高解析度的圖像。
第9實施例下面用圖10、圖11來說明對應於本發明的權利要求13和權利要求14的第9實施例。
本第9實施例，在通過上述實施例中的相關度檢測判斷為其被插補像素在特定的方向相關的場合，不根據其相關度，而是進行處理以便在該被插補像素的位置的色差信號(R-Y、B-Y)中加上小於1的增益。
圖10中示出判定成相關最強的方向的相關度與加在色差信號上的增益的關係。雖然在輝度的邊緣部容易出現偽色信號，但是通過使插補處理電路7中具有上述加上小於1的增益的處理，可以抑制在輝度的邊緣部發生的偽色。進而，由於可以製成相關度檢測電路6兼有邊緣檢測功能，所以不用另外附加輝度邊緣檢測電路就可以施行偽色抑制處理。
此外，也可以根據判定成相關最強的方向的相關度的大小而使加在色差信號上的增益變化。圖11中示出此一場合的判定成相關最強的方向的相關度與加在色差信號上的增益的關係之一例。但是這裡相關越強則相關度越小。
在圖11中，針對相關度給出一定的寬度Th1，在每個此一寬度中逐漸減小加在色差上的增益。一般來說，越是輝度的級差大的邊緣部，越成為濃的偽色。也就是由于越是相關消除，產生濃的偽色的可能性越大，所以可以根據該可能性來降低色差信號的電平，可以有效地抑制偽色。
第10實施例下面用圖12、圖13、圖14、圖15就對應於本發明的權利要求15和權利要求16的第10實施例進行說明。再者對於與前述實施例相同的構成使用相同的標號，省略其說明。
圖12示出根據本第10實施例的固體彩色攝像裝置的構成，基本上與圖6中所示的構成相同，成為在圖6的構成中追加了頻率特性調整電路10的構成。圖6的插補處理電路7在圖12中分解為輝度信號插補處理電路8和色差信號插補處理電路9畫出，成為在色差信號插補處理電路9的前級插入頻率特性調整電路10的構成。儲存在存儲電路5中的圖像信號在頻率特性調整電路10中調整其頻率特性，向色差信號插補處理電路9輸入。
圖13是頻率特性調整電路10中的把頻帶限制於低通，說明調整彩色信號的頻率特性的動作用的示意圖。增設低通濾波器的頻率特性調整可以在縱向、橫向、與縱橫斜向上進行。在縱向上增設低通濾波器時，以被調整頻率特性像素為中心用縱向的2n+1點(n=1,2…)同色信號，計算在各點加上決定濾波器的特性的係數者的平均。例如，以圖13的Cy23為被調整頻率特性像素，用縱向的三點同色信號，增設低通濾波器的場合的頻率特性調整電路10的輸出信號Cy23』可以像式(53)那樣表達。
Cy23′=(Cy03+Cy23+Cy43)/3 (53)同樣在橫向上增設低通濾波器時，以被調整頻率特性像素為中心用橫向的2n+1點(n=1,2…)同色信號，計算在各點加上決定濾波器的特性的係數者的平均。例如，以圖13的Cy23為被調整頻率特性像素，用橫向的三點同色信號，如果把係數全都取為1，則增設低通濾波器的場合的頻率特性調整電路10的輸出信號Cy23』可以像式(54)那樣表達。
Cy23′=(Cy21+Cy23+Cy25)/3 (54)同樣在縱橫向上增設低通濾波器時，以被調整頻率特性像素為中心用縱橫向的(2n+1)×(2m+1)點(n,m=1,2…)同色信號，計算在各點加上決定濾波器的特性的係數者的平均。例如，以圖13的Cy23為被調整頻率特性像素，用縱橫向的九點同色信號，如果把係數全都取為1，則增設低通濾波器的信號可以像式(55)那樣表達。
Cy23′=(Cy01+Cy03+Cy05+Cy21+Cy23+Cy25+Cy41+Cy43+Cy45)/9 (55)同樣在斜向上增設低通濾波器時，以被調整頻率特性像素為中心用縱橫十字方向的2n+2m+1點(n,m=1,2…)同色信號，計算在各點加上決定濾波器的特性的係數的平均。例如，以圖13的Cy23為被調整頻率特性像素，用縱橫十字方向的五點同色信號，如果把係數全都取為1，則增設低通濾波器的信號可以像式(56)那樣表達。
Cy23′=(Cy03+Cy21+Cy23+Cy25+Cy43)/5 (56)此一調整頻率特性的操作，針對為了插補合成色差信號所需的所有彩色信號來進行。
例如，在以Cy23為被插補像素，用W22和W24的周圍像素來合成色差信號的場合，在縱橫方向上增設低通濾波器時，像式(57)、(58)、(59)那樣，計算插補所需的彩色信號。
W22′=(W00+W02+W04+W20+W22+W24+W40+W42+W44)/9 (57)Cy23′=(Cy01+Cy03+Cy05+Cy21+Cy23+Cy25+Cy41+Cy43+Cy45)/9 (58)W24′=(W02+W04+W06+W22+W24+W26+W42+W44+W46)/9 (59)在圖12的色差信號插補處理電路9中，用上述Cy23』、W22』、W24』，按下式輸出R-Y色差信號。
R-Y=A×(W22′+W24′)-B×Cy23′(60)式中，A、B是由白色平衡等決定的常數。在Ye位置上也按同樣的位置關係，通過施行上述頻率特性調整和色差信號插補處理，可以輸出B-Y色差信號。
圖14中用實線示出把作為彩色信號的頻率特性調整用三點平均時的振幅特性11和作為色差信號的插補處理用直線插補時的振幅特性12結合起來者。橫軸是頻率，各自的彩色信號的採樣頻率用π來表示。如果如圖14中所示用施行了頻率特性調整的彩色信號進行直線插補，則可以減少包含圖15中用虛線表示的包含在彩色信號的π/2附近的折返失真的頻率分量地插補。
在本第10實施例中，通過這樣的構成，在儲存在存儲電路5中的彩色信號中包含高頻分量的場合，因為靠頻率特性調整電路10來減少包含折返失真的頻率分量，在色差信號插補處理電路9中用此一調整了頻率特性的彩色信號來插補合成色差信號，故可以減少偽色信號。
第11實施例下面用圖16就對應於本發明的權利要求17和權利要求18中所述的發明的實施例進行說明。再者，關於與前述實施例相同的構成用相同的標號，省略其說明。
圖16示出根據本第11實施例的固體彩色攝像裝置的構成，基本上與圖12中所示的構成相同，構成為頻率特性調整電路10由相關度檢測電路6的輸出來控制。
如果用這樣的構成，則在相關度檢測電路6中判定成有相關方向的場合，被插補像素的彩色信號在頻率特性調整電路10中調整頻率特性。進而，用調整了頻率特性的該被插補像素的彩色信號，在色差信號插補處理電路9中運算色差信號。此一場合的處理與上述第10實施例的那些完全相同。
相反，在相關度檢測電路6中判定成沒有相關方向的場合，被插補像素的彩色信號在頻率特性調整電路10中不進行任何處理，原封不動地輸出到色差信號插補處理電路9，與來自輝度信號插補處理電路8的輝度信號一起用來補運算色差信號。
像這樣在本第11實施例中，對包含高頻分量的有相關方向的彩色信號來說，靠頻率特性調整電路10來調整其頻率特性，與上述第10實施例中所示者同樣地減少偽色信號的發生。另一方面，對沒有相關方向的彩色信號來說，由於本來就不包含偽色分量，所以沒有必要調整頻率特性，因為彩色信號的頻率分量沒有因頻率特性調整而衰減，故保持彩色的再現性。
工業實用性像以上這樣根據本發明的固體彩色攝像裝置，作為從固體攝像元件表面的分色濾光片的鄰接的縱橫四個像素取出四個輝度信息、兩個彩色信息，藉此輝度解析度高，彩色解析度中也可以減少惡化，進行像素間的插補處理得到高解析度的固體彩色攝像裝置的信號處理方法是有用的。
權利要求
1．一種固體彩色攝像裝置，其特徵在於，備有具有以縱橫鄰接的四個像素為一個排列模式的分色濾光片，該排列模式的分色濾光片，兩個像素是全色透射濾光片，一個像素是青綠色透射濾光片，一個像素是黃色透射濾光片，是縱橫重複前述四個像素的排列模式的構成，而且有著個別地取出該分色濾光片的每個像素的信息的裝置的固體攝像元件；以及從前述固體攝像元件個別地取出的圖像信息當中，針對前述排列模式的一個，取出四個輝度信號和兩種色差信號，此時根據僅前述全色透射濾光片的信息作成前述四個輝度信號中的兩個，根據前述全色透射濾光片的信息和該縱橫鄰接的四個像素的周圍像素信息作成其餘兩個，根據前述青綠色或黃色透射濾光片的信息和前述周圍像素信息作成前述兩種色差信號的信號處理電路。
2．權利要求1所述的固體彩色攝像裝置，其特徵在於，其中以縱橫鄰接的四個像素為一個排列模式的前述分色濾光片，是成為縱向兩個像素、橫向兩個像素的構成，根據從前述排列模式取出的信息作成由四個輝度信號和兩種色差信號各一個組成的合計六個信號，輸出到4∶2∶0方式的元件。
3．權利要求1所述的固體彩色攝像裝置，其特徵在於，其中以縱橫鄰接的四個像素為一個排列模式的前述分色濾光片，是成為縱向一個像素，橫向四個像素的構成，根據從前述排列模式取出的信息作成由四個輝度信號和兩種色差信號各一個組成的合計六個信號，輸出到4∶1∶1方式的元件。
4．權利要求1所述的固體彩色攝像裝置，其特徵在於，其中包括以縱橫鄰接的四個像素為一個排列模式的前述分色濾光片，上邊兩個像素是從左起的全色透射濾光片、青綠色透射濾光片，下邊兩個像素是從左起的黃色透射濾光片、全色透射濾光片，而成的重複模式；分別接受從前述固體攝像元件的各像素輸出的彩色信號並儲存之的存儲裝置；以儲存在該存儲裝置中的青綠色信號像素和黃色信號像素為被插補像素，計算各該被插補像素的、對位於各該被插補像素的周圍的多個像素的相關度的相關度計算裝置；以及在前述所計算的相關度大的方向上進行像素的插補並計算上述被插補像素的位置的全色透射信號的插補處理裝置。
5．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的、包括被插補像素在內的橫向或縱向的相關度。
6．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的、包括被插補像素在內的橫向或縱向的相關度，以及，進而斜向的相關度。
7．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的、包括被插補像素在內的橫向或縱向的相關度，以及進而向右並向上，或者向右並向下，或者向左並向上，或者向左並向下的相關度。
8．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置計算上述被插補像素和位於其周圍的像素中的，包括被插補像素在內的橫向或縱向的相關度，以及進而斜向的相關度，以及進而向右並向上，或者向右並向下，或者向左並向上，或者向左並向下的相關度。
9．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置通過上述被插補像素和位於其周圍的像素之間的、同色信號彼此的運算來計算相關度。
10．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述相關度計算裝置通過位於上述被插補像素周圍的像素間的、成為異色信號的鄰接像素間的運算來計算相關度。
11．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置，不用由上述相關度計算裝置所計算的相關度大的方向中的被插補像素的彩色信號，僅用該被插補像素周圍的與將要生成的彩色信號同色的信號來施行插補處理。
12．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置，用由上述相關度計算裝置所計算的相關度大的方向中的被插補像素的彩色信號，根據該被插補像素周圍的像素來計算將要生成的彩色信號的不足部分，施行插補處理。
13．權利要求5至10中的任何一項中所述的固體彩色攝像裝置，其特徵在於，其中如果由上述相關度計算裝置所計算的相關度小於給定的閾值，則上述插補處理裝置施行降低對應於該像素的色差信號的增益的處理。
14．權利要求5至10中的任何一項中所述的固體彩色攝像裝置，其特徵在於，其中如果由上述相關度計算裝置所計算的相關度小於給定的閾值，則上述插補處理裝置施行根據上述相關度分級地降低對應於該像素的色差信號的增益的處理。
15．權利要求4所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有調整從上述固體攝像元件所輸出的各種彩色信號的頻率特性的頻率特性調整裝置，用施行了該頻率特性調整的彩色信號來插補合成色差信號。
16．權利要求15所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有調整從上述固體攝像元件所輸出的各種彩色信號的頻率特性的頻率特性調整裝置，用施行了該頻率特性調整的彩色信號在青綠色透射濾光片位置上插補合成R-Y色差信號，在黃色透射濾光片位置上插補合成B-Y色差信號。
17．權利要求15所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有根據由上述相關度計算裝置所計算的相關度來判定相關方向，在有相關度大的方向時進行頻率特性調整，在沒有相關度大的方向時不進行頻率特性調整。
18．權利要求16所述的固體彩色攝像裝置，其特徵在於，其中上述插補處理裝置備有根據由上述相關度計算裝置所計算的相關度來判定相關方向，在有相關度大的方向時進行頻率特性調整，在沒有相關度大的方向時不進行頻率特性調整。
全文摘要
一種固體彩色攝像裝置包括:一個有分色濾光片,該分色濾光片中重複設置排列模式,每個排列模式有四個彼此縱向和橫向鄰接的像素,上邊兩個像素是從左起的全色透射濾光片和青綠色透射濾光片,下邊兩個像素是從左起的黃色透射濾光片和全色透射濾光片的固體彩色攝像元件(2);用來接受從諸像素輸出的彩色信號並在其中儲存之的存儲裝置(5);用來計算由儲存在存儲裝置中的青綠色信號像素和黃色信號像素組成的插補對象像素周圍的像素的相關度的相關度計算裝置(6);以及用來沿相關度增加的方向進行插補並計算插補對象像素的位置上的全色透射信號的插補裝置(7)。
文檔編號H04N9/04GK1300505SQ9980593
公開日2001年6月20日 申請日期1999年5月7日 優先權日1998年5月8日
發明者水木啟勝, 山下正明, 清重康司, 渡邊秀彥 申請人:松下電器產業株式會社