恢復高像素圖像的設備和方法

2023-10-09 05:21:04

專利名稱：恢復高像素圖像的設備和方法
技術領域：
本發明涉及一種恢復高像素圖像的設備和方法，更具體地說，涉及一種 從通過安裝在小型數字裝置(諸如行動電話、個人數字助理(PDA)、 MP3 播放器等)中的小型相機模塊獲得的圖像恢復高像素圖像的設備和方法。
背景技術：
像大多數數字裝置一樣，數字相機給人們開闢了新的世界。作為傳統的 基於膠片的相機的替代，數字相機的優點是操作簡單，與那些專業攝影者相 比，普通用戶也能夠拍照，並且在不用衝洗和列印的情況下，在捕獲之後能 夠立即觀看拍攝的照片。此外，由於數字相機在相機的存儲器中將捕獲的圖 像記錄為數字文件，因此能夠將拍攝的高畫面質量的照片作為永久或半永久 的數字圖像文件上載到個人計算機(PC),例如，在必要的任何時間用於存 儲、圖像處理和/或列印。
另外，已經將數字相機小型化，並且數字相機已經變得更加輕便，使得 它們能夠嵌入到小型數字裝置(諸如行動電話、個人數字助理(PDA)、 MP3 播放器等)中。其結果是，拍照和欣賞照片已經變成日常事務的一部分了， 並且在購買數字裝置時數字相機是否能夠嵌入到小型數字裝置中已經變得非 常重要。
近來，數字裝置已經變得更加小型化，另外需要個性化的裝置和便利性， 消費者已經開始需要較小且較輕便的數字裝置產品。
因此，明顯的是為了使具有嵌入的數字相機的小型數字裝置較小且較 輕便，嵌入的數字相機本身應該做的較小且較輕便。
圖1示意性的示出併入傳統的小型相機模塊中的數字相機的操作原理。
參照圖l,用戶通過直徑Da的鏡頭101a和直徑Db的鏡頭101b拍攝的預 定物體101的圖像分別在圖像傳感器102a和圖像傳感器102b上形成為圖像 A和圖像B。
儘管從解析度的角度看具有相對大的直徑Db的鏡頭101b有優勢，但是 可能出現這樣的問題由於相對長的焦距fb而使併入小數字裝置中的相機模 塊變得笨重，在將相機;漠塊安裝到小數字裝置中這是不期望的特性。也就是 說，大鏡頭尺寸和長焦距使實現小型化、輕便的數字相機很困難。
相反，具有相對小的直徑Da的鏡頭101a具有短焦距f;,以形成物體IOI 的圖像A。因此，儘管能夠將相機模塊小型化，但是不能獲得具有作為數字 相機中的最重要特徵之一的高解析度的圖像。這種相機模塊不能完全滿足消 費者對高解析度畫面的需求。
為了解決這種問題，已經提出了很多發明，例如，第2003-0084343號韓 國專利早期公開的申請，但是還沒有解決所述問題。

發明內容
因此，本發明的一方面在於提供一種恢復高像素圖像的設備和方法，所 述設備和方法能夠通過減小安裝在小型數字裝置中的數字相機的尺寸來實現 小型數字裝置。
本發明的另一方面在於提供一種恢復高像素圖像的設備和方法，所述設 備和方法能夠減小安裝在小型數字裝置中的數字相機的尺寸。
本發明的另一方面在於提供一種恢復高像素圖像的設備和方法，所述設 備和方法能夠容易地在表現高像素圖像中校正光學偏差和敏感度的不一致。
本發明的另 一方面在於提供一種恢復高像素圖像的設備和方法，所述設 備和方法通過使用具有不同透射率的顏色過濾器即使不改變圖像傳感器的結 構也能同時實現高敏感度圖像感測和低敏感度圖像感測。
本發明的另 一方面在於提供一種在具有內置數字相機的數字相機模塊中 恢復高像素圖像的設備和方法，其中，當設計安裝了數字相機的小型數字裝 置時，更多選項可用。
將在接下來的描述中部分闡述本發明另外的方面和/或優點，還有一部分 通過描述將是清楚的，或者可以經過本發明的實施而得知。 因此，本發明的一方面在於提供一種恢復高像素圖像的設備，所述設備
包括相機模塊，包括多個鏡頭和與多個鏡頭相應的多個子圖像傳感器，所 述多個子圖像傳感器每個都包括具有單色的顏色過濾器；原始圖像產生模塊， 接收多個原始分色圖像；中間圖像產生模塊，重新排列原始圖像產生模塊提 供的多個原始分色圖像的相同位置上的像素的像素信息，並且產生具有高於 每個原始分色圖像的解析度的中間圖像；以及最終圖像產生模塊，對中間圖 像執行去馬賽克，執行使去馬賽克的中間圖像清晰化，並且產生最終圖像。
根據本發明的另一方面，提供一種恢復高像素圖像的設備，所述設備包 括相機模塊，包括多個鏡頭和與多個鏡頭相應的多個子圖像傳感器，所述 多個子圖像傳感器每個都包括顏色過濾器，所述顏色過濾器^L分成具有不同 顏色的多個顏色區域；原始圖像產生模塊，將多個原始分色圖像劃分成多個 像素組；中間圖像產生模塊，將被劃分成多個像素組的多個原始分色圖像中 相同位置上的像素的像素信息映射到與所述相同位置相應的像素組的各個像 素，並且產生具有高於每個原始分色圖像的解析度的中間圖像；以及最終圖 像產生模塊，使用預定插值算法恢復中間圖像，執行使接收的中間圖像清晰 化，並且產生最終圖像。
根據本發明的另一方面，提供一種恢復高像素圖像的設備，所述設備包 括相機模塊，包括多個顏色鏡頭和與多個顏色鏡頭相應的多個子圖像傳感 器，其中，所述多個顏色鏡頭中的每一個具有單色，並且通過所述多個子圖 像傳感器獲得多個原始分色圖像；原始圖像產生模塊，接收多個原始分色圖 像；中間圖像產生模塊，重新排列原始圖像產生模塊提供的多個原始分色圖 像的相同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的 解析度的中間圖像；以及最終圖像產生模塊，對中間圖像執行去馬賽克，執 行使去馬賽克的中間圖像清晰化，並且產生最終圖像。
根據本發明的另一方面，提供一種恢復高像素圖像的設備，所述設備包 括相積4莫塊，包括多個顏色鏡頭和與多個顏色鏡頭相應的多個子圖像傳感 器，其中，所述多個顏色鏡頭中的每一個具有單色，並且通過所述多個子圖 像傳感器獲得多個原始分色圖像；原始圖像產生模塊，將多個原始分色圖像 劃分成多個像素組；中間圖像產生模塊，將被劃分成多個像素組的多個原始 分色圖像中相同位置上的像素的像素信息映射到與所述相同位置相應的像素 組的各個像素，並且產生中間圖像；以及最終圖像產生模塊，使用預定插值 算法恢復中間圖像，執行使恢復的中間圖像清晰化，並且產生最終圖像。
根據本發明的另 一方面，提供一種在相機模塊中恢復高像素圖像的方法， 所述相機模塊包括多個鏡頭和與多個鏡頭相應的多個子圖像傳感器，所述多
個鏡頭每個都包括具有單色的顏色過濾器，所述方法包括通過多個子圖像 傳感器的每一個獲得多個原始圖像；接收多個原始圖像，並且產生多個原始 分色圖像；重新排列從相機模塊的原始圖像產生模塊提供的多個原始分色圖 像的相同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的 解析度的中間圖像；以及對中間圖像執行去馬賽克，4丸行使去馬賽克的中間 圖像清晰化，並且從清晰化的圖像產生最終圖像。
根據本發明的另 一方面，提供一種在相機模塊中恢復高像素圖像的方法， 所述相機模塊包括多個鏡頭和與多個鏡頭相應的多個子圖像傳感器，所述多 個鏡頭每個都包括具有單色的顏色過濾器，所述方法包括通過多個子圖像 傳感器的每一個獲得多個原始分色圖像；將獲得的多個原始分色圖像劃分成 多個像素組；將被劃分成多個像素組的多個原始分色圖像中相同位置上的像 素的像素信息映射到與所述相同位置相應的像素組的各個像素，並且產生中 間圖像；以及使用預定插值算法恢復中間圖像，執行使插值的中間圖像清晰 化，並且從清晰化的圖像產生最終圖像。
根據本發明的另 一方面，提供一種在相機模塊中恢復高像素圖像的方法， 所述相機模塊包括多個顏色鏡頭和與多個顏色鏡頭相應的多個子圖像傳感 器，所述多個顏色鏡頭每個都包括具有單色的顏色過濾器，所述方法包括 通過多個子圖像傳感器的每一個獲得多個原始分色圖像；接收多個原始分色 圖像；重新排列從相機模塊的原始圖像產生模塊提供的多個原始分色圖像的 相同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的分辨 率的中間圖像；以及對中間圖像執行去馬賽克，執行使去馬賽克的中間圖像 清晰化，並且從清晰化的圖像產生最終圖像。
根據本發明的另 一方面，提供一種在相機模塊中恢復高像素圖像的方法， 所述相機模塊包括多個顏色鏡頭和與多個顏色鏡頭相應的多個子圖像傳感 器，所述多個顏色鏡頭每個都具有單色，所述方法包括通過子圖像傳感器 的每一個獲得多個原始分色圖像；將多個原始分色圖像劃分成多個像素組； 將被劃分成多個像素組的多個原始分色圖像中相同位置上的像素的像素信息 映射到與所述相同位置相應的像素組的各個像素，並且產生中間圖像；以及 使用預定插值算法恢復中間圖像，執行使插值的中間圖像清晰化，並且產生 最終圖像。


通過下面結合附圖對本發明的優選實施例進行的詳細描述，本發明的上
述和其它特點和優點將會變得更加清楚，其中
圖1是示出安裝在傳統的小數字裝置中的數字相機的操作原理的示圖2A是示出傳統數字相機的基本結構的示圖2B是形成圖2A所示的圖像傳感器單元的單位像素的剖視圖3是根據本發明的實施例的恢復高像素圖像的設備(300)的框圖4A和圖4B是示出根據本發明的實施例的數字相機模塊的結構的示
圖4C是圖4A所示的形成圖像傳感器單元的單位像素的剖視圖5A和圖5B是示出根據本發明的實施例的塗顏色過濾器的方法的示
圖6是示出根據本發明的實施例的原始圖像產生模塊校正位置偏差和原 始圖像的敏感度的不一致的處理的示圖7A和圖7B是示出根據本發明的實施例的產生中間圖像的處理的示
圖8是示出根據本發明的實施例的圖像產生模塊恢復高像素圖像的處理 的示圖9是示出根據本發明的實施例的數字相才;^莫塊的結構的示圖IO是示出用具有圖4A所示的結構的相機模塊使用圖7B所示的第一
圖像產生模塊恢復高像素圖像的方法的流程圖；以及
圖ll是示出用具有圖4A所示的結構的相才/i4莫塊使用圖8所示的第二圖
像產生模塊恢復高像素圖像的方法的流程圖。
具體實施例方式
現將詳細描述本發明的實施例，在附圖中示出本發明的示例，其中，相 同的標號始終指示相同的部件。下面參照附圖來描述實施例以解釋本發明。 通常，因為單位像素的數量越大，獲得的圖像就越清晰且越整齊，所以
能夠通過單位像素的數量確定數字相機的性能。
除了單位像素的數量之外，相機鏡頭的光強度也影響數字相機的性能。
相機鏡頭的光強度被稱為F數或光圏值。通過將鏡頭的焦距f除以直徑D(即， f/D )來獲得F數，所述F數是到達數字相機的圖像傳感器的每單位區域的光 量的表示。F數越大，到達數字相機的圖像傳感器的每單位區域的光量越小。 F數越小，到達數字相機的圖像傳感器的每單位區域的光量越大，從而獲得 具有高解析度的明亮圖像。如上所述，F數與獲得的圖像的解析度以及到達 數字相機的圖像傳感器的每單位區域的光量密切相關。
假設具有不同的鏡頭尺寸、焦距和單位像素的兩個數字相機具有相同的 F數。由於到達兩個數字相機的各個圖像傳感器的每單位區域的光量相同， 因此從各個數字相機獲得圖像將具有相同的光強度。
基於上述原理，本發明的實施例提出 一種可應用於數字相機模塊的恢復 高像素圖像的方法，所述數字相機模塊具有多個能夠在減小鏡頭直徑和焦距 的同時顯示高像素圖像的鏡頭。
圖2A是示出傳統數字相機的基本結構的示圖。參照圖2，傳統數字相機 主要包括具有直徑D2的鏡頭201,集中從預定對象反射的光；和圖像傳感 器202，響應於鏡頭201集中的光產生與像素等級相應的電圖像信號。還示 出了鏡頭201的焦距。
在圖像傳感器202中包括按照Bayer模式的顏色過濾器陣列，以將在鏡 頭201接收的光實現為原始全色(foil-color)圖像。圖2A示出圖像傳感器 202的頂^L圖。
Bayer模式源於即使自然界中實際存在的圖像不是由點組成，也不可避 免地由點來實現數字圖像的原理。
為了由點形成數字圖像，收集亮度(或光度(brightness))和色度(或 顏色)成分，並且在二維面板上分布接收紅(R)色、綠(G)色和藍(B) 色成分的每個亮度的點。
在Bayer模式的陣列中，人眼最敏感的G色成分是50% ， R色和B色成 分每個都為25%，從而形成二維矩陣，被稱為Bayer模式顏色過濾器。
Bayer模式顏色過濾器從形成矩陣的各個R色、G色和B色成分中僅識 別分配到其中的顏色成分，而不識別全色成分，並且插入未識別的顏色成分 以再現全色成分。
圖2B是用於形成圖2A的圖像傳感器的單位像素的剖視圖 參照示出形成圖像傳感器(圖2A的202 )的單位像素202a至202d的部
分的圖2B,在圖像傳感器202中包括Bayer模式顏色過濾器203。在圖2B
中示出傳統設備的其它特徵，但是在此將不討論所述其它特徵，因為這種討
論對理解本申請不是必要的。
圖3是根據本發明的實施例的恢復高像素圖像的設備300的框圖。 設備300包括相機模塊301，集中入射光並產生多個分色 (color-separated)圖像；圖像產生模塊302，基於相機模塊301提供的分色
圖像產生最終圖像；以及顯示模塊303，顯示圖像產生模塊302提供的最終圖像。
將參照圖4A和圖4B描述具有多個鏡頭的數字相機模塊的結構，所述數 字相機模塊能夠應用根據本發明的實施例的恢復高像素圖像的方法。
圖4A至圖4C是示出具有多個鏡頭的數字相機模塊的結構，所述數字相 機模塊能夠應用根據本發明的實施例的恢復高像素圖像的方法。
相機模塊301包括多個鏡頭401以及與多個鏡頭401相應的多個子圖像 傳感器402。這裡，多個子圖像傳感器402具有顏色過濾器，並且從每個子 圖像傳感器402獲得每個顏色的原始圖像，所述顏色過濾器具有塗有單個顏 色的區i或。
數字相機模塊包括多個鏡頭401，集中從預定對象反射的入射光，所 述多個鏡頭401具有相同的直徑；以及多個子圖像傳感器402a至402d,響應 於從對象反射的光產生電圖像信號。也就是說，在多個子圖^f象傳感器402a至 402d中包括與現有技術的顏色過濾器相似的顏色過濾器，所述顏色過濾器具 有被分成多個顏色區域的空間，以將通過鏡頭401集中的光實現為原始全色。
圖4B是圖4A所示的數字相機模塊的側視圖，其中，假設範圍從具有相 同直徑D3的多個鏡頭401 ( 401a-401d )到多個對象圖像形成傳感器402a-402d
的焦距f3相同。
因此，具有相同直徑D3的多個鏡頭401 ( 401 a-401 d)被排列在同 一平面。 對於鏡頭排列模式，儘管示出的實施例已經顯示了按照上下和左右方向 對稱排列多個鏡頭401 (401a-401d),但是本發明不限於此。可以按照水平方 向或垂直方向線性排列多個鏡頭401( 401a-401d )。在奇數鏡頭可用的情況下， 可在中心鏡頭周圍徑向排列鏡頭，並且可釆用其它各種鏡頭排列模式。 多個鏡頭401 (401a-401d)可在鏡頭指定的位置或者基於預定鏡頭的位 置偏移了預定數量像素的多個鏡頭中除了該預定鏡頭之外的鏡頭的位置，集 中從預定對象反射的光線。
以下，為了方便解釋，將以示例的方式解釋四個鏡頭以2x2 (寬x高) 矩陣的形式排列的實施例。
基於上述假設具有不同的鏡頭尺寸、焦距和單位像素的兩個數字相機具 有相同的F數的原理，由於到達兩個數字相機的各個圖像傳感器的每單位區 域的光量相同，因此從各個數字相機獲得圖像將具有相同的光強度。在這個 實施例中，使用每個都比圖2所示的鏡頭201小的多個鏡頭401(401a-401d)， 和每個都具有比圖2所示的圖像傳感器單元202的單位像素的數量少的多個 子圖像傳感器402a至402d。另外，圖4B的焦距f3比圖2的焦距&短。
假設圖2所示的圖像傳感器202形成四百萬個像素，並且圖4A所示的 多個子圖^f象傳感器402a至402d的每個分別形成一百萬個像素。
因此，圖4A所示的多個子圖像傳感器402a至402d與每個都具有一百 萬像素的四個圖像傳感器相應。每個都具有相同直徑D3的四個鏡頭401a-401d 在分別與鏡頭401 a-401 d相應的子圖像傳感器402a至402d上產生圖像。
將子圖像傳感器402a至402d中的顏色過濾器的每一個都四等分，以使 四個區域適合子圖像傳感器402a至402d的尺寸，接著每個區域被塗有單色。
圖4C是用於形成圖4A的子圖像傳感器402a至402d的單位像素402d-l 至402d-4的剖視圖。由於在相同的子圖像傳感器402d中存在單位像素402d-l 至402d-4，則在單位^^素402d-l至402d-4的區域中包括相同的顏色過濾器 403。
這裡，根據其上所塗的顏色的透射率將顏色過濾器403劃分為第一過濾 區域和第二過濾區域。通過改變第一過濾區域和第二過濾區域上塗的顏色的 透射率使得通過第一過濾區域和第二過濾區域的光量不同，從而同時實現高 敏感度感測和低敏感度感測。在各種顏色區域中，具有最高透射率的顏色區 域被分組到第一過濾區域中，而其它顏色區域被分組到第二過濾區域中。
以下，為了方^更解釋，將解釋由相同標號表示多個顏色區域和子圖像傳 感器的實施例。
例如，形成包括在圖4A所示的子圖像傳感器402a至402d中的顏色過 濾器的各個顏色區域(即，綠(G)色區域、紅(R)色區域、藍(B)色區 域和灰(Gr)色區域)由分別與子圖像傳感器的相同的標號表示，即，402a、 402b、 402c和402d。具有最高透射率的灰(Gr)色區域402d被分組為第二 過濾區域，而其它顏色區域(即，綠(G)色區域402a、紅(R)色區域402b 和藍(B)色區域402c)被分組為第一過濾區域。
在另一實施例中，可在第二過濾區域中形成除了灰之外的顏色的顏色過 濾器。例如，可形成白(W)、黃(Y)、青和紫紅中的任何一個的顏色過濾器。 然而，在第二過濾區域中形成的顏色過濾器的顏色不限於這些示例，並且具 有比第一過濾器的過濾區域中形成的顏色過濾器的透射率高的透射率的任何 顏色的顏色過濾器都可被認為包括在本發明的範圍內。
對於圖4A所示的顏色過濾器的透射率，在藍(B)色過濾器、綠(G) 色過濾器、紅(R)色過濾器和灰(Gr)色過濾器中，灰(Gr)色過濾器具 有最高的透射率。
這樣，如果與第二過濾區域402d相應的顏色的透射率高於與第 一過濾區 域402a至402c相應的顏色的透射率，則通過第一過濾區域和第二過濾區域 的光量不同。
這意味著到達與各個顏色區域匹配的各個子圖像傳感器402a至402d的 光量不同，並且在各個子圖像傳感器402a至402d中能夠同時實現高敏感度 感測功能和低敏感度感測功能。
可通過將參照圖5A和圖5B分別示出的照相印刷(photo-lithography) 方法或噴墨(inkjet)方法來塗上述顏色過濾器。
在根據照相印刷方法塗上單色藍(B)、綠(G)、紅(R)和灰(Gr)的 情況下，沒有顏色的原始白色傳感器(501)被塗上綠色(502)。然後，除了 塗有綠色的圖像傳感器區域的四分之一 (1/4)屬於綠色模式以外，塗有綠色 的圖像傳感器區域有塗有綠色的圖像傳感器區域(503 )的四分之三(3/4) 被去除。
去除的圖像傳感器被塗上紅色(504 )。然後，塗有紅色的四分之二 ( 2/4 ) 的圖像傳感器區域被去除。
作為結果的子圖像傳感器與具有分別塗有四分之一綠色和四分之一紅色 的圖像傳感器區域的圖像傳感器相應，所述子圖像傳感器中覆蓋四分之二 (2/4 )綠色的區域被塗上藍色和灰色(506 ~ 508 )。
與Bayer模式顏色過濾處理相比，當前的照相印刷方法容易執行。
圖5B示出噴墨方法。
該操作從白色傳感器509開始。根據噴墨方法，首先執行分隔壁形成操 作(510)，其中，在圖像傳感器中形成與示出的實施例中的鏡頭的數量相同 的分隔壁(例如，4),並且將隔壁產生的4個區域分別塗上期望的色墨(color ink),即，綠墨、紅墨、藍墨和灰墨(511-514)。
噴墨方法是相當簡單的處理，並且能夠有利於節省墨的使用量，從而最 終降低傳感器的製造成本。
以上述方式塗的顏色過濾器分別與多個鏡頭和多個子圖像傳感器匹配。
例如，參照圖4A，在子圖像傳感器402a至402d中包括綠(G)色過濾 器、紅(R)色過濾器、藍(B)色過濾器和灰(Gr)色過濾器的情況下，通 過包括在與第一鏡頭401a匹配的子圖像傳感器402a中的綠(G)色過濾器， 通過四個鏡頭401 (401a-401d)中的第一鏡頭401a從對象反射的入射光線形 成綠(G)色圖像。通過包括在與第二鏡頭401b匹配的子圖像傳感器402b 中的紅(R)色過濾器，通過四個鏡頭401 (401a-401d)中的第二鏡頭401b 從對象反射的入射光線形成紅(R)圖像。
類似地，分別通過包括在與第三鏡頭401c匹配的子圖像傳感器402c中 的藍(B )色過濾器和包括在與第四鏡頭401 d匹配的子圖像傳感器402d中的 灰(Gr)色過濾器，通過四個鏡頭401 (401a-401d)中的第三鏡頭401c和第 四鏡頭401d從對象反射的入射光線形成藍(B)色圖像和灰(Gr)色圖像。
換句話說，通過四個鏡頭401a-401d從對象反射的入射光線形成具有包 括在各個子圖像傳感器402a至402d中的相應顏色過濾器的顏色的圖像，即 相同尺寸不同顏色的四幅圖像。
同時，圖像產生模塊302從相機模塊301接收多個分色圖像，並且基於 從相機模塊301提供的分色圖像產生最終圖像。
為此，圖像產生模塊302包括原始圖像產生模塊302a、中間圖像產生 模塊302b和最終圖像產生模塊302c。
在根據本發明的當前實施例的圖像產生模塊302中，原始圖像產生模塊 302a接收從相機模塊301提供的多個原始分色圖像的輸入。
也就是說，如圖4A所示，原始圖像產生模塊302a接收包括綠色過濾器 的子圖像傳感器402a獲得的綠色圖像、包括紅色過濾器的子圖像傳感器402b 獲得的紅色圖像、包括藍色過濾器的子圖像傳感器402c獲得的藍色圖像和包
括灰色過濾器的子圖^f象傳感器402d獲得的灰色圖{象。
這裡，綠色圖像、紅色圖像和藍色圖像提供通過最終圖像產生模塊302c 產生最終圖像所需的顏色信息，稍後將對其進行描述。相反，灰色圖像提供 產生最終圖像所需的亮度信息。
在本發明的可選實施例中，當獲得的原始圖像沒有以相應子圖像傳感器 402a至402d的指定的位置排列時，原始圖像產生4莫塊302a校正原始圖像的 位置。另外，當獲得的原始圖像敏感度不一致時，原始圖像產生模塊302a基 於具有最低敏感度等級的原始圖像的敏感度來校正除了具有最低敏感度等級 的原始圖像之外的原始圖像的敏感度等級。
圖6是示出根據本發明的實施例的原始圖像產生模塊(302a)校正位置 偏差和原始圖像的敏感度的不一致的處理的示圖。
通過包括在與鏡頭401a至401d匹配的各個子圖像傳感器402a至402d 中的顏色過濾器，發送通過布置在固定位置的四個鏡頭401a至401d入射到 預定對象的光線，以形成具有與顏色過濾器相應的顏色的圖像。然後，原始 圖像產生模塊302a檢查在子圖像傳感器402a至402d中形成的各個圖像的位 置。
參照圖6，通過標號601至604表示在子圖像傳感器402a至402d中的 位置上形成的各個圖像。
標號601表示在子圖像傳感器402a上形成的圖像。在本發明的實施例中， 除非位置固定，否則將四個鏡頭401a至401d偏移預定數量的像素，位於子 圖像傳感器402a中心的圖像可以認為圖像位於標準位置，也就是，如虛線矩 形605所示，圖像的指定位置。
標號602表示子圖像傳感器402b上形成的圖^f象，所述圖像從指定位置左 移一個像素。標號603表示子圖像傳感器402c上形成的圖像，所述圖像從指 定位置下移一個像素。標號604表示子圖像傳感器402d上形成的圖像，所述 圖像從指定位置按對角線偏移一個像素，也就是說，從指定圖像在向右和向 下的方向都偏移 一個像素。
如圖6所示，大概由於光學偏差，各個子圖像傳感器402a至402d的圖 像可能偏離它們的指定位置。這種光學偏差通常使各個子圖像傳感器402a至 402d圖像偏離它們的指定位置，從而很難獲得整齊且清晰的圖像。
根據本發明的實施例，原始圖像產生模塊302a能夠藉助軟體校正光學偏
差而引起的偏離的圖像位置。
詳細地，原始圖像產生模塊302a以下面的方式校正由於光學偏差引起的 偏離的圖像位置。例如，對於圖像602, —旦圖像已經從指定位置向左偏離 一個像素，就將圖像右移一個像素。在圖像603中，將圖像上移一個像素。 在圖像602中，將圖像左移一個像素並上移一個像素。或者，在圖像604中， 圖像可被上移一個像素，接著左移一個像素。
另夕卜，原始圖像產生模塊302a糾正敏感度的不一致，將參照圖6對此進 行描述。
假設601、 602、 603和604中各個圖像的敏感度等級分別為10、 9、 8、 7，原始圖像產生模塊302a基於具有敏感度等級7的圖像604的敏感度，通 過調整除了具有最低敏感度等級(即，7)的圖像604之外的圖像的敏感度等 級來校正不一致的敏感度等級。
通過上述處理，將每個顏色的圖像提供給中間圖像產生模塊302b。
中間圖像產生模塊302b重新排列在原始圖像產生模塊302a提供的各個 原始圖像的相同位置的像素的像素信息，從而能夠產生具有比每個顏色的原 始圖像的解析度高的解析度的中間圖像。
這裡，用於區分子圖像傳感器上形成的各個圖像的術語"中間圖像"表 示通過重新排列各個原始圖像中相同位置的像素的各條像素信息獲得的具有 比原始圖像的解析度高的解析度的圖像。然而，術語"中間圖像，，沒有必要 是具有相對高解析度的最終圖像。可通過對中間圖像執行去馬賽克 (demosaicing)或清晰化來產生最終圖像。同時，產生的中間圖像可具有與 圖像傳感器402的解析度相同的解析度，在所述圖4象傳感器402中排列了多 個子圖像傳感器402a至402d。
例如，如果多個子圖像傳感器402a至402d中的每個都具有4x4的分辨 率，則中間圖像可具有8 x 8的解析度，這與圖像傳感器402的解析度相同。 然後將中間圖像提供給最終圖像產生模塊302c。最終圖像產生模塊302c通過 對中間圖像產生模塊302b提供的中間圖像執行去馬賽克並使去馬賽克的圖 像清晰化來產生最終圖像。
顯示模塊303顯示最終圖像產生模塊302c提供的最終圖像。
可以例如平板顯示器或觸控螢幕的形式來實現顯示模塊303，但不限於這 些形式。
圖7A和圖7B是示出根據本發明的實施例的產生中間圖像的處理的示圖。
在解釋恢復高像素圖像的方法之前，假設在圖3所示的顯示設備300中， 以這樣的方式來排列相枳4莫塊301的鏡頭除了布置在固定位置的預定鏡頭 之外的鏡頭從預定鏡頭的位置偏移預定數量的像素。
這裡，將鏡頭偏移預定數量的像素可包括基於移動距離和移動方向來偏 移鏡頭。
如圖7A所示，當使用相機模塊301拍攝包括四個相同尺寸的矩形的預 定對象701時，假設在固定位置布置鏡頭401a以拍攝矩形A (701a),並且 基於鏡頭401a的位置將剩餘的鏡頭401b至401d偏移預定數量的像素，以拍 攝矩形B、 C和D(701b、 701c和701d)。
在偏移到預定位置中，基於拍攝矩形A(701a)的鏡頭401a的位置，拍 攝矩形B (701b)的鏡頭被右移到預定位置。基於拍攝矩形A (701a)的鏡 頭401a的位置，拍攝矩形C(701c)的鏡頭被下移到預定位置。
另夕卜，基於拍攝矩形A(701a)的鏡頭401a的位置，拍攝矩形D(701d) 的鏡頭^皮按對角線(向右和向下的方法)偏移到預定位置。
矩形A ( 701a )、 B ( 701b )、 C ( 701c)和D ( 701d)分別與通過鏡頭401a 至401d形成在各個子圖像傳感器402a至402d上的圖像相應。
假設與相應鏡頭匹配的多個子圖像傳感器402a至402d分別形成一百萬 像素，根據對象的形狀排列拍攝的矩形A (701a)、 B (701b)、 C (701c)和 D(701d)的圖像，以形成圖7A中符號"+ ，，表示的單個圖像。以這種方式， 可以形成具有與用能夠進行四百萬像素解析度成像的相機拍攝的對象的全部 圖像704的解析度相同的解析度的圖像703 。
圖7B示出根據本發明的實施例的產生中間圖像的方法。
基於與上面參照圖7A描述的相同的原理，在拍攝預定對象705的相機 模塊301的四個鏡頭401a至401d中，在固定位置布置一個鏡頭401a,而其 它鏡頭401b至401d從鏡頭401a的位置逐個像素偏移。
換句話說，基於位置固定的鏡頭401a,將鏡頭401b至401d右移一個像 素，下移一個像素和按對角線偏移一個像素(即，在向右和向下的方向都偏 移一個像素)。
使用上述相機模塊301,圖像產生模塊302的中間圖像產生模塊302b(見
圖3)重新排列在原始圖像產生模塊302a提供的各個原始圖像706的相同位 置上的像素的像素信息，從而能夠產生具有比每個顏色的原始圖像的解析度 高的解析度的中間圖像707。
最終圖像產生模塊302c對中間圖像產生模塊302b產生的中間圖像707 執行去馬賽克，並且使去馬賽克的中間圖像清晰化，從而將原始圖像恢復為 具有較高解析度的最終圖像。
為了簡明，現將參照圖7A描述的圖像產生模塊302稱為第一圖像產生 模塊。
圖8是示出根據本發明的另一實施例的圖像產生模塊恢復高像素圖像的 處理的示圖。用於當前實施例的相機模塊與上面描述的相同，因而將不對其 進行重複的解釋。
同時，圖像產生模塊302的原始圖像產生模塊302a將相機模塊301提供 的原始分色圖像劃分為多個像素組。中間圖像產生模塊302b從原始圖像產生 第一中間圖像802,其具有與圖8所示的子圖像傳感器402a至402d相同的解析度。
這裡，第一中間圖像802可淨皮劃分為多個像素組803、 804和805，每個 像素組由2x2個虛擬像素(寬x高)形成。
在多個像素組803、 804和805中的每一個，像素可淨皮劃分為顏色和亮度 信息映射到其上的主像素803a、 804a和805a，以及位於主像素803a、 804a 和805a的附近且不具有信息的子像素803b、 804b和805b。
主4象素803a、 804a和805a的位置可被設置在每個^象素組803、 804和 805的多個位置。
例如，在如圖8所示由2x2個像素形成的每個像素組803、 804和805 中，與第一行和第一列相應的位置(即，803a、 804a和805a)可^皮確定為主 像素的位置。作為另一示例，與每個像素組中的第一行和第二列相應的位置 (即，803b、 804b和805b)可被確定為主像素的位置。
如果以上述方式產生第一中間圖像802，則中間圖像產生模塊302b將各 個原始分色圖像中相同位置上的像素的像素信息映射到與所述相同位置相應 的像素組的主像素上。
例如，中間圖像產生模塊302b將各個原始分色圖像的第一行和第一列上 的像素的像素信息映射到位於第一中間圖像802的第一行和第一列的像素組803的主像素803a上。
同樣，中間圖像產生模塊302b將各個分色圖像的第一行和第一列上的像 素的像素信息映射到位於第一中間圖像802的第一行和第二列的像素組804 的主像素804a上。
另夕卜，中間圖像產生模塊302b基於各個原始分色圖像中相同位置上的像 素的像素信息中的顏色信息來獲得亮度信息，並且將獲得的亮度信息映射到 各個像素組803至805的主像素803a至805a上。
此外，中間圖像產生模塊302b將獲得的亮度信息映射到位於第一中間圖 像802的第一行和第一列的像素組的主像素上。
參照圖8，可以看出將子圖像傳感器402a至402c提供的綠(G)色信 息、紅(R)色信息和藍(B)色信息以及子圖像傳感器402d提供的灰(Gr) 色信息映射到各個像素組的主像素上。儘管在圖8中沒有示出，但是還可將 從三條顏色信息檢測的亮度信息(Y)映射到各個像素組803至805的主像 素803a至805a上。
例如，可以看出位於綠色圖像的第一行和第一列的像素的綠(G)色 信息、位於紅色圖像的第一行和第一列的像素的紅(R)色信息、位於藍色圖 像的第一行和第一列的像素的藍(B)色信息、位於灰色圖像的第一行和第一 列的像素的亮度信息和基於三條顏色信息檢測的亮度信息被映射到第一像素 組803的主像素803a上。
同樣，可以看出位於綠色圖像的第一行和第二列的像素的綠(G)色 信息、位於紅色圖像的第一行和第二列的像素的紅(R)色信息、位於藍色圖 像的第一行和第二列的像素的藍(B)色信息、位於灰色圖像的第一行和第二 列的像素的亮度信息和基於已經提供的三條顏色信息檢測的亮度信息被映射 到第二像素組804的主像素804a上。
因此，中間圖像產生模塊302b產生第二中間圖像806,其中，三條顏色 信息和兩條亮度信息被映射到每個像素組803、 804和805的主像素803a、 804a 和805a上。
其後，中間圖像產生模塊302b使用插值方法對第二中間圖像806進行插值。
也就是說，中間圖像產生模塊302b基於圖8所示的主像素803a、 804a 和805a的信息來獲得記錄在每個子像素803b、 804b和805b中的像素信息。
中間圖像產生模塊302b可根據各種算法對第二中間圖像806進行插值。
例如，可從與子像素鄰近的主像素掌握的信息來計算記錄在第二中間圖 像806的每個子像素中的像素信息。
更具體地說，在圖8中，記錄在位於第一像素組803的主像素803a與第 二像素組804的主像素804a之間的子像素803b中的像素信息可被確定為兩 個主像素803a和804a的像素信息的平均值807。
同樣，記錄在位於第二像素組804的主像素804a與第三像素組805的主 像素805a之間的子像素804b中的像素信息可被確定為兩個主像素804a和 805a的像素信息的平均值808。
如果以這種方式執行第二中間圖像806的插值，則最終圖像產生模塊 302c執行使插值的第二中間圖像806的清晰化。其結果是，從通過每個子圖 像傳感器獲得的具有低解析度(即，子圖像傳感器的解析度)的分色圖像產 生具有高解析度(即，子圖像傳感器的解析度x4)的最終圖像809。
為了簡明，參照圖8描述的圖像產生模塊302將被稱為第二圖像產生模 塊。圖9是示出本發明的第二實施例的數字相機模塊的示圖。除了下面的特 性之外，根據本發明的第二實施例的數字相機沖莫塊具有與圖4A所示的根據 本發明的第一實施例的數字相機模塊的結構相同的結構。也就是說，根據第 二實施例的相機模塊包括具有不同顏色的多個鏡頭901a至901d。這裡，可根 據透射率將多個鏡頭901a值901d劃分為第一組和第二組。包括在第二組中 的鏡頭可具有比包括在第 一組中的鏡頭的透射率高的透射率的顏色。
具體地說，例如，第一組可包括四個鏡頭中具有綠色的第一鏡頭901a、 具有紅色的第二鏡頭901b和具有藍色的第三鏡頭901c,包括在第二組中的第 四鏡頭901d可具有比綠、紅和藍的透射率高的透射率的顏色，即，灰色。
因此，當多個鏡頭901a至901d具有不同的顏色時，在多個子圖像傳感 器902a至902d中不形成分色過濾器層。
另外，將圖像傳感器902劃分為分別與多個鏡頭901 a至901 d相應的多 個子圖像傳感器902a至902d，並且通過使用多個子圖像傳感器902a至902d 來獲得分色圖像。如圖3所示，通過圖像產生模塊302從相機模塊301提供 分色圖像，並且基於分色圖像產生最終圖像，接著在顯示模塊303上顯示。 產生最終圖像的圖像產生模塊302與上面參照圖3至圖8所描述的相同，將 不給出其詳細的解釋。
接下來，將參照圖10和圖ll描述根據本發明的實施例的恢復高像素圖 ^像的方法。
圖IO是示出用具有圖4A所示的結構的相積4莫塊使用圖7B所示的第一 圖像產生模塊恢復高像素圖像的方法的流程圖。
為了解釋方i"更，假設如圖7B所示在形成圖像傳感器402的多個子圖像 傳感器402a至402d中分別形成紅色過濾器、綠色過濾器、藍色過濾器和灰 色過濾器。另外，假設以8 x 8個像素(寬x高)形成圖像傳感器402，以4 x 4個像素(寬x高)形成用於形成圖像傳感器402的多個子圖像傳感器402a 至402d的每一個。
首先，在操作SlOOl，通過四個鏡頭401a至401d集中從預定對象705 反射的光線。
在操作S1002，通過包括在與鏡頭401a至401d匹配的各個子圖^f象傳感 器402a至402d中的顏色過濾器，發送通過鏡頭401a至401d集中的光線。
其結果是，在操作S1003,通過各個子圖像傳感器402a至402d獲得多 個分色圖像。這裡，每個子圖像傳感器402a至402d獲得的圖像具有圖像傳 感器402的四分之一 (1/4 )解析度的解析度。也就是說，由於圖像傳感器402 的解析度是8x8，因此通過各個子圖像傳感器402a至402d獲得的多個分色 圖像中的每一個都具有4x4的解析度。
在操作S1003之後，在操作S1004，圖像產生模塊302檢查在操作S1003 獲得的原始分色圖像706是否位於它們的指定位置。
作為檢查結果，如果確定獲得的原始分色圖像706偏離它們的指定位置， 則在操作S1005，圖像產生模塊302校正原始分色圖像706的位置，從而原 始分色圖像706被正常地定位到它們的指定位置。
如果確定獲得的原始分色圖像706位於它們的指定位置，則在操作 S1006,圖像產生模塊302檢查在操作S1003獲得的原始分色圖像706敏感度 是否一致。
作為檢查結果，如果確定獲得的原始分色圖像706敏感度不一致，則在 操作S1007,圖像產生模塊302基於具有最低敏感度等級的原始分色圖像的 敏感度來校正敏感度的不一致。
如果確定獲得的原始分色圖像706敏感度一致，則在操作S1008,圖像 產生模塊302基於獲得的原始分色圖像706產生多個原始圖像，重新排列在
各個原始圖像的相同位置上的像素的像素信息，從而能夠產生具有比每個顏
色的原始圖像的解析度高的解析度的中間圖像707。
其後，在操作S1009，對中間圖像去馬賽克，並且在操作S1010,使去 馬賽克的中間圖像清晰化，以產生最終圖像。
接下來，在操作SlOll，通過顯示模塊303顯示圖像產生模塊302產生 的最終圖像。
圖ll是示出用具有圖4A所示的結構的相才;i^莫塊使用圖8所示的第二圖 像產生模塊恢復高像素圖像的方法的流程圖。
首先，具有圖4A所示的結構的相機模塊301提供多個分色圖像的操作 與圖10所示的操作S1001至S1007相同。在操作SllOl,如圖8所示，原始 圖像產生模塊302a將多個原始分色圖像劃分為多個像素組303、 304和305, 每個像素組由2 x 2個虛擬像素(寬x高)形成。
然後，在操作S1102,中間圖像產生模塊302b產生具有與如圖8所示的 圖像傳感器402相同的解析度的第 一中間圖像802。
接下來，在操作S1103，中間圖像產生模塊302b將各個原始分色圖像中 相同位置上的像素的像素信息映射到與相同位置相應的像素組的主像素上。
在操作S1104,中間圖像產生模塊302b產生第二中間圖像806，其中， 三條顏色信息和兩條亮度信息被映射到每個像素組803、 804和805的主像素 803a、 804a和805a上。
在操作S1105,中間圖像產生模塊302b使用插值方法對第二中間圖像806 進行插值。
在對第二中間圖像806進行插值之後，在操作S1106,最終圖像產生模 塊302c執行使插值的第二中間圖像806的清晰化。
其結果是，在操作S1107，從具有低解析度(即，子圖像傳感器的分辨 率)的分色圖^f象產生具有高解析度(即，子圖像傳感器的解析度x4)的最終 圖像809，接著通過顯示模塊303顯示該最終圖像809。
在操作S1001至操作S1007，除了通過顏色鏡頭而不是通過顏色過濾器 來集中光線，並且通過子圖像傳感器獲得多個原始分色圖像之外，使用具有 圖9所示的結構的相機模塊的圖IO所示的高像素圖像恢復方法與使用圖7B 所示的第一圖像產生模塊的高像素圖像恢復方法本質上相同。類似地，如上 所述，因為具有圖4A所示的結構的相機模塊301提供多個分色圖^象的操作
與圖10所示的操:作S1001至S1007相同，所以^使用具有圖9所示的結構的相 機模塊的圖ll所示的高像素圖像恢復方法與使用圖8所示的第二圖像產生模 塊的高像素圖像恢復方法本質上相同。
總而言之，使用根據本發明的實施例的數字相才幾，由於F數相同能夠實 現與圖2A所示的圖像傳感器相同的圖像亮度，所述數字相機包括四個鏡頭 和四個圖像傳感器，四個鏡頭中的每個都具有比圖2A所示的鏡頭相對小的 鏡頭大小和相對短的焦距，並且四個圖像傳感器中的每個都具有比圖2A所 示的四百萬像素圖像傳感器的單位像素數少的像素數，即， 一百萬像素。另 外，如圖2A所示，使用通過圖4A所示的每個都能夠進行一百萬像素解析度 成像的子圖像傳感器拍攝的4幅圖像，能夠通過預定過程恢復具有與用能夠 進行四百萬像素解析度成像的相機拍攝的圖像相同解析度的圖像。
由於根據本發明的實施例的數字相機具有相對小的鏡頭和相對短的焦 距，因此在保持相同解析度的同時能夠實現數字相機的小型化、輕便設計。 根據上述恢復高像素圖像的方法和設備，能夠獲得下面的一個或多個效果。
所述方法和設備提供這樣的優點能夠使用小型化相機模塊獲得高像素 圖像。
由於減小了安裝在小型數字裝置上的數字相機的尺寸，因此還能夠小型 化數字裝置。
另外，本發明在減小安裝在小型數字裝置上的數字相機的尺寸的同時能
夠恢復高像素圖像。
此外，根據本發明的恢復高像素圖像的設備和方法能夠在表現高像素圖 像的同時容易地校正光學偏差和敏感度的不一致。
通過使用具有不同透射率的顏色過濾器，根據本發明的恢復高像素圖像 的設備和方法即使不改變圖像傳感器單元的結構也能夠同時實現高敏感度圖 像感測和低敏感度圖像感測。
另外，當設計安裝了數字相機的小型數字裝置時，根據本發明的恢復高 像素圖像的設備和方法允許更多選項可用。
儘管已經顯示和描述了本發明的一些實施例，但本領域的技術人員應該 理解，在不脫離本發明的原理和精神的情況下，可以對這些實施例進行改變， 本發明的範圍由權利要求及其等同物限定。
權利要求
1、一種恢復高像素圖像的設備，包括相機模塊，包括多個鏡頭和與所述多個鏡頭相應的多個子圖像傳感器，所述多個子圖像傳感器每個都包括具有單色的顏色過濾器；原始圖像產生模塊，接收多個原始分色圖像；中間圖像產生模塊，重新排列原始圖像產生模塊提供的多個原始分色圖像的相同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的解析度的中間圖像；以及最終圖像產生模塊，對中間圖像執行去馬賽克，執行使去馬賽克的中間圖像清晰化，並且產生最終圖像。
2、 如權利要求l所述的設備，其中，所述多個鏡頭將從預定對象反射的 光線集中在鏡頭的指定位置或集中在基於預定鏡頭的位置偏移預定數量的像 素的多個鏡頭中除了預定鏡頭之外的鏡頭的位置。
3、 如權利要求l所述的設備，其中，當獲得的原始分色圖像沒有排列在 相應子圖像傳感器的指定位置時，原始圖像產生模塊校正原始圖像的位置。
4、 如權利要求l所述的設備，其中，當獲得的原始分色圖像敏感度不一 致時，原始圖像產生模塊基於具有最低敏感度等級的原始圖像的敏感度來校 正除了具有最低敏感度等級的原始圖像之外的原始圖像的敏感度等級。
5、 如權利要求l所述的設備，其中，根據其上塗有顏色的透射率將顏色 過濾器劃分為第 一過濾區域和第二過濾區域。
6、 一種恢復高像素圖像的設備，包括相機模塊，包括多個鏡頭和與所述多個鏡頭相應的多個子圖像傳感器， 所述多個子圖像傳感器每個都包括顏色過濾器，所述顏色過濾器被分成具有 不同顏色的多個顏色區域；原始圖像產生模塊，將多個原始分色圖像劃分成多個像素組；中間圖像產生模塊，將被劃分成多個像素組的多個原始分色圖像中相同 位置上的像素的像素信息映射到與所述相同位置相應的像素組的各個像素， 並且產生具有高於每個原始分色圖像的解析度的中間圖像；以及最終圖像產生模塊，使用預定插值算法恢復中間圖像，執行使接收的中 間圖像清晰化，並且產生最終圖像。
7、 如權利要求6所述的設備，其中，當獲得的原始分色圖像沒有排列在 相應子圖像傳感器的指定位置時，原始圖像產生模塊校正原始圖像的位置。
8、 如權利要求6所述的設備，其中，當獲得的原始分色圖像敏感度不一 致時，原始圖像產生模塊基於具有最低敏感度等級的原始圖像的敏感度來校 正除了具有最低敏感度等級的原始圖像之外的原始圖像的敏感度等級。
9、 如權利要求6所述的設備，其中，根據其上塗有顏色的透射率將顏色 過濾器劃分為第 一過濾區域和第二過濾區域，並且塗在第二過濾區域上的顏 色的透射率高於塗在第 一過濾區域上的顏色的透射率。
10、 如權利要求6所述的設備，其中，多個像素組中的每一個都包括與 顏色過濾器的排列模式相應的多個像素。
11、 如權利要求6所述的設備，其中，所述像素信息包括與第一過濾 區域相應的子圖像傳感器提供的亮度信息和與第二過濾區域相應的子圖像傳 感器提供的顏色信息。
12、 一種恢復高像素圖像的設備，包括相機模塊，包括多個顏色鏡頭和與所述多個顏色鏡頭相應的多個子圖像 傳感器，其中，所述多個顏色鏡頭中的每一個具有單色，並且通過所述多個 子圖像傳感器獲得多個原始分色圖像；原始圖像產生模塊，接收多個原始分色圖像；中間圖像產生模塊，重新排列原始圖像產生模塊提供的多個原始分色圖 像的相同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的 解析度的中間圖像；以及最終圖像產生模塊，對中間圖像執行去馬賽克，執行使去馬賽克的中間 圖像清晰化，並且產生最終圖像。
13、 如權利要求12所述的設備，其中，所述多個鏡頭將從預定對象反射 的光線集中在鏡頭的指定位置或集中在基於預定鏡頭的位置偏移預定數量的 像素的多個鏡頭中除了預定鏡頭之外的鏡頭的位置。
14、 如權利要求12所述的設備，其中，當獲得的原始分色圖像沒有排列 在相應子圖像傳感器的指定位置時，原始圖像產生模塊校正原始圖像的位置。
15、 如權利要求12所述的設備，其中，當獲得的原始分色圖像敏感度不 一致時，原始圖像產生模塊基於具有最低敏感度等級的原始圖像的敏感度來 校正除了具有最低敏感度等級的原始圖像之外的原始圖像的敏感度等級。
16、 如權利要求12所述的設備，其中，根據其上塗有顏色的透射率將多 個顏色鏡頭中的每一個劃分為第一鏡頭區域和第二鏡頭區域，並且塗在第二 鏡頭區域上的顏色的透射率高於塗在第 一鏡頭區域上的顏色的透射率。
17、 一種恢復高像素圖像的設備，包括相機模塊，包括多個顏色鏡頭和與所述多個顏色4竟頭相應的多個子圖像 傳感器，其中，所述多個顏色鏡頭中的每一個具有單色，並且通過所述多個 子圖像傳感器獲得多個原始分色圖像；原始圖像產生模塊，將多個原始分色圖像劃分成多個像素組；中間圖像產生模塊，將被劃分成多個像素組的多個原始分色圖像中相同 位置上的像素的像素信息映射到與所述相同位置相應的像素組的各個像素， 並且產生中間圖像；以及最終圖像產生模塊，使用預定插值算法恢復中間圖像，執行使接收的中 間圖像清晰化，並且產生最終圖像。
18、 如權利要求17所述的設備，其中，當獲得的原始分色圖像沒有排列 在相應子圖像傳感器的指定位置時，原始圖像產生模塊校正原始圖像的位置。
19、 如權利要求17所述的設備，其中，當獲得的原始分色圖像敏感度不 一致時，原始圖像產生模塊基於具有最低敏感度等級的原始圖像的敏感度來 校正除了具有最低敏感度等級的原始圖像之外的原始圖像的敏感度等級。
20、 如權利要求17所述的設備，其中，根據其上塗有顏色的透射率將顏 色鏡頭中的每一個劃分為第一鏡頭區域和第二鏡頭區域，並且塗在第二鏡頭 區域上的顏色的透射率高於塗在第一鏡頭區域上的顏色的透射率。
21、 如權利要求17所述的設備，其中，多個像素組中的每一個都包括與 顏色過濾器的排列模式相應的多個像素。
22、 如權利要求20所述的設備，其中，所述像素信息包括與第一鏡頭 區域匹配的子圖像傳感器提供的亮度信息和與第二鏡頭區域匹配的子圖像傳 感器提供的顏色信息。
23、 一種在相機模塊中恢復高像素圖像的方法，所述相機模塊包括多個 鏡頭和與所述多個鏡頭相應的多個子圖像傳感器，所述多個鏡頭每個都包括具有單色的顏色過濾器，所述方法包括通過多個子圖像傳感器的每一個獲得多個原始圖像； 接收多個原始圖像，並且產生多個原始分色圖像； 重新排列從相機模塊的原始圖像產生模塊提供的多個原始分色圖像的相 同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的解析度的中間圖像；以及對中間圖像執行去馬賽克，執行使去馬賽克的中間圖像清晰化，並且從 清晰化的圖像產生最終圖像。
24、 如權利要求23所述的方法，還包括將從預定對象反射的光線集中 在鏡頭的指定位置或集中在基於預定鏡頭的位置偏移預定數量的像素的多個 鏡頭中除了預定鏡頭之外的鏡頭的位置。
25、 如權利要求24所述的方法，其中，當獲得的原始分色圖像沒有排列 在相應子圖像傳感器的指定位置時，產生多個原始分色圖像包括校正原始圖 像的位置。
26、 如權利要求23所述的方法，其中，當獲得的原始分色圖像敏感度不 一致時，產生多個原始分色圖像包括基於具有最低l^文感度等級的原始圖像的 敏感度來校正除了具有最低敏感度等級的原始圖像之外的原始圖像的敏感度 等級。
27、 如權利要求23所述的方法，還包括根據其上塗有顏色的透射率將 顏色過濾器劃分為第 一過濾區域和第二過濾區域。
28、 一種在相機模塊中恢復高像素圖像的方法，所述相機模塊包括多個 鏡頭和與多個鏡頭相應的多個子圖像傳感器，所述多個鏡頭每個都包括具有 單色的顏色過濾器，所述方法包括通過子圖像傳感器的每一個獲得多個原始分色圖像； 將獲得的多個原始分色圖像劃分成多個像素組；將被劃分成多個像素組的多個原始分色圖像中相同位置上的像素的像素 信息映射到與所述相同位置相應的像素組的各個像素，並且產生中間圖像； 以及使用預定插值算法恢復中間圖像，執行使插值的中間圖像清晰化，並且 從清晰化的圖像產生最終圖像。
29、 如權利要求28所述的方法，其中，當獲得的原始分色圖像沒有排列 在相應子圖像傳感器的指定位置時，產生多個原始分色圖像包括校正原始圖 像的位置。
30、 如權利要求28所述的方法，還包括從接收的分色圖像產生多個原始分色圖像，其中，當獲得的原始分色圖像敏感度不一致時，產生多個原始 分色圖像包括基於具有最低敏感度等級的原始圖像的敏感度來校正除了具有 最低敏感度等級的原始圖像之外的原始圖像的敏感度等級。
31、 如權利要求28所述的方法，還包括根據其上塗有顏色的透射率將 顏色過濾器劃分為第 一過濾區域和第二過濾區域。
32、 如權利要求28所述的方法，其中，多個像素組中的每一個都包括與 顏色過濾器的排列模式相應的多個像素。
33、 如權利要求31所述的方法，其中，所述像素信息包括與第一過濾 區域匹配的子圖像傳感器提供的亮度信息和與第二過濾區域匹配的子圖像傳 感器提供的顏色信息。
34、 一種在相機模塊中恢復高像素圖像的方法，所述相機模塊包括多個 顏色鏡頭和與多個顏色鏡頭相應的多個子圖像傳感器，所述多個顏色鏡頭每 個都包括具有單色的顏色過濾器，所述方法包括通過多個子圖像傳感器的每一個獲得多個原始分色圖像； 接收多個原始分色圖像；重新排列從相機模塊的原始圖像產生模塊提供的多個原始分色圖像的相 同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的解析度 的中間圖像；以及對中間圖像執行去馬賽克，執行使去馬賽克的中間圖像清晰化，並且從 清晰化的圖像產生最終圖像。
35、 如權利要求34所述的方法，還包括用多個鏡頭將從預定對象反射 的光線集中在鏡頭的指定位置或集中在基於預定鏡頭的位置偏移預定數量的 像素的多個鏡頭中除了預定鏡頭之外的鏡頭的位置。
36、 如權利要求34所述的方法，其中，當獲得的原始分色圖像沒有排列 在相應子圖像傳感器的指定位置時，產生多個原始分色圖像包括校正原始圖 像的位置。
37、 如權利要求34所述的方法，還包括從接收的分色圖像產生多個原 始分色圖像，其中，當獲得的原始分色圖像敏感度不一致時，產生多個原始 分色圖像包括基於具有最低敏感度等級的原始圖像的敏感度來校正除了具有 最低敏感度等級的原始圖像之外的原始圖像的敏感度等級。
38、 如權利要求34所述的方法，還包括根據其上塗有顏色的透射率將多個顏色鏡頭中的每一個劃分為第一鏡頭區域和第二鏡頭區域，並且塗在第 二鏡頭區域上的顏色的透射率高於塗在第一鏡頭區域上的顏色的透射率。
39、 一種在相機模塊中恢復高像素圖像的方法，所述相機模塊包括多個 顏色鏡頭和與多個顏色鏡頭相應的多個子圖像傳感器，所述多個顏色鏡頭每 個都具有單色，所述方法包括通過多個子圖像傳感器獲得多個原始分色圖像； 將多個原始分色圖像劃分成多個像素組；將被劃分成多個像素組的多個原始分色圖像中相同位置上的像素的像素 信息映射到與所述相同位置相應的像素組的各個像素，並且產生中間圖像； 以及使用預定插值算法恢復中間圖像，執行使插值的中間圖像清晰化，並且 產生最終圖像。
40、 如權利要求39所述的方法，還包括從接收的分色圖像產生多個原 始分色圖像，其中，當獲得的原始分色圖像沒有排列在相應子圖像傳感器的 指定位置時，產生多個原始分色圖像包括校正原始圖像的位置。
41、 如權利要求39所述的方法，其中，當獲得的原始分色圖像敏感度不 一致時，產生多個原始分色圖像包括基於具有最低敏感度等級的原始圖像的 敏感度來校正除了具有最低敏感度等級的原始圖像之外的原始圖像的敏感度 等級。
42、 如權利要求39所述的方法，還包括根據其上塗有顏色的透射率將 多個顏色鏡頭中的每一個劃分為第一鏡頭區域和第二鏡頭區域，並且塗在第 二鏡頭區域上的顏色的透射率高於塗在第一鏡頭區域上的顏色的透射率。
43、 如權利要求39所述的方法，其中，多個像素組中的每一個都包括與 相機模塊的顏色過濾器的排列模式相應的多個像素。
44、 如權利要求42所述的方法，其中，所述像素信息包括與第一鏡頭 區域匹配的子圖像傳感器提供的亮度信息和與第二鏡頭區域匹配的子圖像傳 感器提供的顏色信息。
全文摘要
提供一種恢復高像素圖像的設備和方法。所述設備包括相機模塊，包括多個鏡頭和與多個鏡頭相應的多個子圖像傳感器，所述多個子圖像傳感器每個都包括具有單色的顏色過濾器；原始圖像產生模塊，接收多個原始分色圖像；中間圖像產生模塊，重新排列原始圖像產生模塊提供的多個原始分色圖像的相同位置上的像素的像素信息，並且產生具有高於每個原始分色圖像的解析度的中間圖像；以及最終圖像產生模塊，對中間圖像執行去馬賽克，執行使去馬賽克的中間圖像清晰化，並且產生最終圖像。
文檔編號H04N5/225GK101098399SQ20071011267
公開日2008年1月2日 申請日期2007年6月26日 優先權日2006年6月26日
發明者成基榮, 樸鬥植, 李皓榮, 金昌容 申請人:三星電機株式會社