使用二色圖像的貝葉斯去鑲嵌的製作方法

2023-05-05 03:47:06 3

專利名稱：使用二色圖像的貝葉斯去鑲嵌的製作方法
使用二色圖像的貝葉斯去鑲嵌 背景
數位照相機的普及度和質量隨著此類照相機的成本不斷下降而持續增 長。大多數數位照相機使用單個圖像傳感器來捕捉彩色圖像中的每一像素的
色彩信息。通常為電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS) 的圖像傳感器是共同表示彩色圖像的像素的傳感器陣列的一部分。
圖像傳感器只能生成關於給定像素處的單個色彩的信息。然而，彩色圖 像是通過組合三個單獨的單色圖像來表示的。為了顯示彩色圖像，在每一像 素處需要所有紅、藍和綠(RGB)色彩值。為了獲得其它兩個遺漏的色彩， 必須使用從圖像中的周圍像素估算或內插遺漏色彩的技術。這類估算和內插 技術被稱為"去鑲嵌"(demosaicing)。
術語"去鑲嵌"是從以下事實中得到的在圖像傳感器的前方使用濾色 器陣列(CFA)，而CFA是以鑲嵌圖案來排列的。該鑲嵌圖案對圖像中的每 一像素僅有一個色彩值。為了獲得全色圖像，必須對鑲嵌圖案"去鑲嵌"。 由此，去鑲嵌是內插回用鑲嵌圖案CFA捕捉的圖像，使得全RGB值可以與每 一像素相關聯的技術。
更具體地，單傳感器數位照相機使用在光路中位於CFA之後的圖像傳感 器陣列來捕捉圖像。 一種高度流行且常見的鑲嵌CFA被稱為拜耳(Bayer)鑲 嵌圖案。對於每一2x2的像素組，兩個對角相對的像素具有綠色濾光器，而另 外兩個像素具有紅色和藍色濾光器。由於綠色(G)攜帶了對於人類的大多 數亮度信息，因此其採樣速率是紅色(R)和藍色(B)的採樣速率的兩倍。
當前有許多類型的去鑲嵌技術可用，諸如雙線性內插、中值濾波、向量 CFA、基於梯度和統計建模。然而，這些現有去鑲嵌技術的每一種都產生了 視覺上的、定量的可測量偽像。這些偽像包括混疊或"撕裂"偽像，其中沿 著一條邊的每一其它像素在被認為是在該邊上或在該邊外之間交替；以及彩 色條紋，其中黃色、紫色和青色沿著清晰的邊或在清晰的邊上出現。
概述
提供本概述以便用簡化的形式介紹將在以下詳細描述中進一步描述的 一些概念。本概述並不旨在標識所要求保護的主題的關鍵特徵或必要特徵， 也不旨在用於限制所要求保護的主題的範圍。
此處公開的貝葉斯二色圖像去鑲嵌方法和系統包括處理數字彩色圖像 以便用減少圖像偽像的方式來對該圖像去鑲嵌。該貝葉斯二色圖像去鑲嵌方 法和系統採用了將跨邊的色彩建模為每一側上的色彩的線性組合的圖像模 型。這減小了引入彩色條紋的可能性。此外，貝葉斯二色圖像去鑲嵌方法和 系統使用的統計模型並不是基於網格的，因此容易地允許對用於視頻處理的 多圖像去鑲嵌和非迭代超解析度輸出採樣的擴展。通過將輸出圖像約束於一 線性模型，平滑區域中的可見噪聲也被減少，同時保留了清晰的邊緣。
該貝葉斯二色圖像去鑲嵌方法和系統是對現有去鑲嵌技術的改進和增 強。該方法和系統對圖像執行初步去鑲嵌遍，以向圖像中的每一像素分配一
完整定義的RGB三元組色彩值。該初步遍的結果然後通過貝葉斯二色圖像去 鑲嵌方法和系統來改進。總的思想是在中心位於所處理的像素上的小的窗或 處理區域(諸如5x5的像素"片")內，作出在該處理區域中僅有兩個色彩的 假設。假設僅有兩個色彩導致最終結果中的隨機色彩的虛擬消除。該像素的 色彩然後被限於這兩個色彩的線性組合。這減輕了導致色彩偽像的偽色彩。
貝葉斯二色圖像去鑲嵌方法包括獲得圖像中的每一像素的完整定義 (folly-specified)的RGB三元組色彩值，然後使用該RGB三元組來確定每一 像素的最終色彩值。該最終色彩值是兩個色彩的組合，並且僅有來自這兩個 色彩的貢獻。這兩個色彩是通過將完整定義的RGB三元組群集成兩個集群、 取每一集群的均值、並將每一集群的均值稱為佔優勢的兩個色彩來找到的。
一旦找到了佔優勢的兩個色彩，必須確定每一色彩對最終色彩值給出了 多少貢獻。這是通過使用從拜耳濾色器獲得的處理區域中的樣本來計算每一 像素的部分混和值來實現的。接著，通過找出給定該組樣本時部分混和值的 最大概率來找到最大部分混和值。該最終色彩值是從該最大部分混和值和佔 優勢的兩個色彩計算的。
貝葉斯二色圖像去鑲嵌方法和系統還可處理多個圖像來改善去鑲嵌結 果。這多個圖像首先彼此對準以使它們對齊。選擇一基準圖像，並且相對於 該基準對象來重構其它圖像。該處理類似於單個圖像的情況，除了使用了補 償圖像的不完美對齊的技術之外。該補償技術使用一縮放因子以便在平方差 的和較大的情況下增加高斯型的方差。該縮放因子基於對齊算法的質量來變 化。
當使用多個圖像時，該貝葉斯二色圖像去鑲嵌方法和系統還可以按稱為 超解析度的更精細的解析度來採樣。當使用超解析度時，統計群集和局部鄰 域大小可以略微收縮以捕捉精細的細節。除此之外，該系統如同其在多圖像 去鑲嵌情況中那樣類似地操作。
應當注意，替換實施例也是可能的，並且此處所討論的步驟和元件可取 決於特定實施例而改變、添加或消除。這些替換實施例包括可使用的替換步 驟和替換元件，以及可作出的結構上的改變，而不脫離本發明的範圍。


現在參考附圖，在全部附圖中，相同的參考標號表示相應的部分 圖l是示出此處所公開的貝葉斯二色圖像去鑲嵌方法和系統的第一示例 性實現的框圖。
圖2是示出此處所公開的貝葉斯二色圖像去鑲嵌方法和系統的第二示例 性實現的框圖。
圖3是示出圖1和2所示的貝葉斯二色圖像去鑲嵌器的總體操作的總體流 程圖。
圖4是示出圖3所示的貝葉斯二色圖像去鑲嵌方法的操作的進一步細節
的詳細流程圖。
圖5是示出佔優勢的兩個色彩的計算過程的流程圖。 圖6是示出最終色彩值的計算過程的細節的流程圖。 圖7是示出圖1和2所示的貝葉斯二色圖像去鑲嵌器的細節的框圖。 圖8示出了其中可實現貝葉斯二色圖像去鑲嵌方法和系統的合適的計算
系統環境的一個示例。
詳細描述
在以下對貝葉斯二色圖像去鑲嵌方法和系統的描述中，對附圖進行了參 考，附圖形成了該描述的一部分，並且其中作為說明示出了可實施貝葉斯二 色圖像去鑲嵌方法和系統的一個具體示例。可以理解，可以利用其它實施例， 並且可以作出結構上的改變而不脫離所要求保護的主題的範圍。
L 總覽
圖1和2是示出此處所公開的貝葉斯二色圖像去鑲嵌方法和系統的兩個 示例性實現的框圖。應當注意，圖1和2僅僅是可實現並使用貝葉斯二色去鑲 嵌方法和系統的若干方式中的兩種。
參考圖l，在第一示例性實現中，該貝葉斯二色圖像去鑲嵌器200駐留在 數位相機系統210上。 一般而言，貝葉斯二色圖像去鑲嵌器200在使用初步遍 去鑲嵌器220作出的初步去鑲嵌遍之後提供了對彩色圖像(未示出)的增強。 更具體而言，如圖1所示，貝葉斯二色圖像去鑲嵌器200是包括圖像傳感器陣 列225的數位相機系統210的一部分。陣列225是由多個圖像傳感器構成的，其 中每一圖像傳感器能夠確定單個色彩值。
圖像傳感器陣列225包括傳感器基底230、濾色器陣列(CFA) 240以及鏡 頭250。應當注意，通常鏡頭250被設置在CFA240上，而CFA 240進而被設置 在基底230上，如在圖1和2中由虛線所指示的。來自要捕捉的圖像(未示出) 的光進入數位相機系統210 (如由箭頭255所示)。鏡頭250的目的是將進入的 光255聚焦到圖像傳感器陣列225上。圖像傳感器陣列225中的每一傳感器代表 一像素。CFA240改變每一像素的色彩響應。傳感器基底230捕捉特定色彩的 進入光(如由CFA 240所示)，並生成一電信號。以此方式，圖像傳感器陣 列225以排列在圖像傳感器陣列225中的紅、綠和藍傳感器來對來自圖像的進 入光255採樣。
圖像傳感器陣列225中的每一像素是紅、綠或藍傳感器的輸出。由此， 傳感器輸出是來自每一傳感器的、對應於圖像傳感器陣列225中的每一像素的 單個色彩值的電信號。該輸出是原始的、鑲嵌圖案的像素數據260。如上所述，
為了顯示全色圖像，必須在每一像素處獲得紅色、綠色和藍色的色彩信息。
這是通過對鑲嵌圖案的像素數據260中遺漏的色彩值進行去鑲嵌或內插來實現的。
原始的、鑲嵌圖案的像素數據260被發送到數位相機系統210機載的第一 計算設備270。駐留在第一計算設備270上的是初步遍去鑲嵌器220和貝葉斯二 色圖像去鑲嵌器200。初步遍去鑲嵌器220用於內插遺漏色彩值的估算。初步 遍去鑲嵌器220的輸出是包含由數位相機系統210捕捉的彩色圖像中的每一像 素的全RGB色彩值的像素數據280。貝葉斯二色圖像去鑲嵌器200接收像素數 據280，並如下詳細描述地處理該數據280。在由貝葉斯二色圖像去鑲嵌器200 處理之後，獲得具有減少的圖像偽像290的增強的彩色數字圖像。
現在參考圖2，在第二示例性實現中，貝葉斯二色圖像去鑲嵌器200駐留 在與數位相機系統210分開的第二計算設備295上。原始的、鑲嵌圖案的像素 數據260從數位相機系統210發送到第二計算設備295。該像素數據260通常經 由接口連接297發送到第二計算設備295，該接口連接可以是USB接口、 IEEE 1394接口、藍牙⑧接口、或適用於將原始像素數據260從數位相機系統210傳 送到第二計算設備295的任何其它接口。如下詳細描述的，貝葉斯二色圖像去 鑲嵌器200使用貝葉斯二色圖像去鑲嵌方法來增強像素數據260，並提供具有 減少的圖像偽像290的增強的彩色數字圖像。
II.操作概覽
現在將討論圖1和2所示的貝葉斯二色圖像去鑲嵌器200的操作及其中使 用的方法。圖3是示出貝葉斯二色圖像去鑲嵌器200的總體操作的總體流程圖。 一般而言，該貝葉斯二色圖像去鑲嵌方法輸入圖像中每一像素的像素色彩值、 處理每一像素、並輸出具有減少的圖像偽像的經處理的圖像。
更具體而言，如圖3所示，該貝葉斯二色圖像去鑲嵌方法通過獲得數字 彩色圖像中的每一像素的完整定義的紅(R)、綠(G)和藍(B)三元組色 彩值(框300)來開始。完整定義的RGB三元組意味著紅色、綠色和藍色值對 該像素可用。通常，該貝葉斯二色圖像去鑲嵌方法通過對數字彩色圖像執行 初步去鑲嵌遍來獲得這些完整定義的RGB三元組色彩值。該貝葉斯二色圖像
去鑲嵌方法然後增強初步去鑲嵌遍的結果。
接著，該貝葉斯二色圖像去鑲嵌方法對數字彩色圖像中的每一像素確定 最終色彩值(框310)。該最終色彩值是兩個色彩的組合或混和，其中兩個色彩
是通過使用完整定義的RGB三元組色彩值中的至少某一些來獲得的。換言之， 即使在完整定義的RGB三元組色彩值中可能包含若干個色彩，在對所處理的 像素確定最終色彩值時也僅使用這些色彩值中的兩個的組合。輸出是對數字 彩色圖像中的每一像素找到的最終色彩值(框320)。
III.操作細節和工作示例
現在將討論貝葉斯二色圖像去鑲嵌方法的細節。圖4是示出圖3所示的貝 葉斯二色圖像去鑲嵌方法的操作的進一步細節的詳細流程圖。特別地，執行 一初步去鑲嵌遍以對數字彩色圖像中的每一像素計算完整定義的RGB三元組 (框400)。最初，對該圖像有一拜耳圖案，其中對圖像中的每一像素僅有R、 G或B色彩值。該初步去鑲嵌遍使用了去鑲嵌技術來獲得其中心位於所處理的 像素處的處理區域中的每一像素處的實際全色(RGB)值。在一個實施例中， 該初步去鑲嵌遍是使用雙線性內插技術來執行的。在替換實施例中，可使用 其它類型的初步遍去鑲嵌技術，諸如中值濾波技術、矢量CFA技術、基於梯 度的技術以及統計建模技術。然而，當選擇一初步遍去鑲嵌技術時，應當注 意，將給出最佳輸入的技術也通過貝葉斯二色圖像去鑲嵌方法產生最佳輸出。
接著，選擇一像素以進行處理並將其定義為被處理像素。另外，圍繞被 處理像素的區域被定義為處理區域(框410)。該處理區域(或"窗"或"片") 通常是5x5的像素片，然而其它大小也是可能的。在一個實施例中，片大小是 奇數，使得被處理像素位於處理區域中心。作為示例，在5x5的處理區域中， 被處理像素將是該5x5的片的中心像素。
然後對被處理像素計算佔優勢的兩個色彩(框420)。這是使用處理區 域中的每一像素的完整定義的RGB三元組來實現的。如以下詳細解釋的，該 完整定義的RGB三元組可以包含若干色彩，但是這些色彩被群集成僅兩個佔 優勢的色彩。使用該佔優勢的兩個色彩以及完整定義的RGB三元組來計算被 處理像素的最終色彩值(框430)。選擇像素、定義處理區域、計算佔優勢的
兩個色彩、以及計算最終色彩值的過程都對數字彩色圖像中的其餘像素重複 (框440)。貝葉斯二色圖像去鑲嵌方法的輸出是具有減少的圖像偽像的增強
的數字彩色圖像(框450)。
圖5是示出佔優勢的兩個色彩的計算過程的流程圖。換言之，圖5示出了 如何從處理區域中的像素的色彩值中找出佔優勢的兩個色彩。該過程通過對 處理區域中的每一像素執行完整定義的RGB三元組的初始群集來開始(框 500)。假定該處理區域是5x5個像素，目標四從這5x5的處理區域中的25個色 彩值中找到佔優勢的兩個色彩，並將這25個色彩值分組成2個佔優勢的色彩。 這一般可使用任何群集技術來完成。在一個實施例中，由於其效率，使用k 均值技術。k均值技術中的"k"指的是群集類型的數目，其中在此情況中， k=2。 k均值群集技術是準確度和速度之間的平衡。k均值群集技術是本領域的 技術人員公知的，因此不在此詳細討論。在替換實施例中，使用期望值最大 化(EM)技術或均值位移技術。
然而，k均值技術的一個問題是離群值會對結果產生不利影響。離群值 是遠離其餘數據的數據點。統計分布期望數據點落在一特定範圍內，而不在 該特定範圍內的數據點被稱為離群值。為了糾正離群值，佔優勢的兩個色彩 的計算過程包括一離群值拒絕技術。該離群值拒絕技術用於最小化離群值對 佔優勢的兩個色彩的影響(框510)。
然後通過使用離群值拒絕結果對處理區域中的每一像素更新完整定義 的RGB三元組的群集來計算佔優勢的兩個色彩(框520)。然後對數字彩色圖 像中的其餘像素重複該處理(框530)。然後對圖像中的每一像素獲得每一像 素的佔優勢的兩個色彩。
圖6是示出最終色彩值的計算過程的細節的流程圖。該過程通過對被處 理像素定義了佔優勢的兩個色彩中的每一個對最終色彩值的貢獻的部分混和 值來開始(框600)。由此，該部分混和值確定了該像素的最終色彩值從佔優 勢的兩個色彩中的每一個獲得了多少貢獻。
然後對被處理像素確定最大部分混和值(框610)。該最大部分混和值 被定義為佔優勢的兩個色彩的混和或組合，其使用處理區域中的每一完整定 義的RGB三元組最大化了部分混和值的概率。這可能涉及查找多於一組色彩，
然後嘗試所有這些色彩來查看哪一色彩給出最大值。例如，想想嘗試三個色 彩J、 K和L，並嘗試J、 K和L的所有組合，並查看哪一組合給出最高概率。由 此，在所有色彩中，佔優勢的兩個色彩是解釋被處理像素的兩個最佳的色彩。
兩個"最佳"色彩意味著最大化以下給出的等式(3)的最大值自變量(即"arg max")的兩個色彩。argmax是對其給定表達式的值獲得其最大值的給定自 變量的值。
使用該佔優勢的兩個色彩以及最大部分混和值來計算被處理像素的最 終色彩值(框620)。該最終色彩值在以下給出的等式(1)中闡明。對數字 彩色圖像中的其餘像素重複以上處理，以獲得每一像素的最終色彩值(框 630)。
為了更完全地理解此處所公開的貝葉斯二色圖像去鑲嵌方法和系統，提 出一示例性工作示例的操作細節。應當注意，該工作示例僅是可實現貝葉斯 二色圖像去鑲嵌方法和系統的一種方式。
對貝葉斯二色圖像去鑲嵌方法和系統的處理的主要假設是在一局部鄰 域內最多存在兩個代表性色彩。該鄰域內的每一像素的最終色彩值或者是代 表性色彩之一，或者是兩者的組合。在此工作示例中，代表性色彩的組合是 線性組合。儘管在其中多於兩個不同色彩相遇的區域中違反了該假設，但是 這種情況是相對罕見的。因此，貝葉斯二色圖像去鑲嵌方法和系統是非常穩 健的。
為了發現每一像素處的底層二色模型，將圍繞每一像素的鄰域群集到這 兩個色彩中。拜耳圖像僅提供單通道樣本，而留下兩個未知的RGB三元組色 彩值和一個未知的混和係數來指定模型。在此工作示例中，使用了一加權k 均值技術，其中權重是從每一樣本到核中心的歐幾裡德距離的倒數。注意， 群集大小未被平衡，因此本來平滑的區域中的單個像素細節可被保留。並且， 可以在其它色彩空間中，諸如在LaP或XYZ中執行群集，但是這些空間中的 處理對於群集的準確度只有極小的差別。
要群集的樣本的鄰域大小取決於在源圖像中出現了多大的色彩細節。在 此工作示例中，發現核中心周圍兩個像素的半徑能工作良好。這提供了來自 每一拜耳色彩通道的足夠數量的樣本。
由於在一局部圖像區域中存在多於兩種色彩或存在顯著噪聲是可能的， 因此該貝葉斯二色圖像去鑲嵌方法和系統還使用了離群值拒絕技術。使用群 集的均值和方差，在其最接近的群集均值的單個標準差外部的樣本被拒絕。 然後重複k均值技術以獲得更乾淨的群集均值。這提供了其中色彩值隨著遠離 核中心而迅速變化的較好再現。
群集質量中的主要因素是對用於對去鑲嵌進行"程序引導"以使得群集 易操縱的初步遍去鑲嵌技術的選擇。儘管可使用許多類型的初步遍去鑲嵌技 術(如以上列出的)，但存在改進性能的質量。第一個質量是對高頻特徵的 保留或加重。諸如雙線性內插或中值內插等技術具有朝低通濾波器的趨勢， 因此應當避免。或者，保留高頻的算法易於生成邊緣條紋和混疊。在此工作 示例中，在初步遍去鑲嵌中使用了高質量線性內插(HQLI)，因為它保留了 高頻並且不生成許多條紋偽像。
二色去鑲嵌
二色模型對於圖像中的每一像素x提供了兩個GRB先驗，即J和貧。像 素x的色彩C被假定為這兩個色彩的線性組合，由下式給出
formula see original document page 12
等式(1)是一混和等式，並且對像素x計算了最終色彩值C。 在像素x的鄰域內，拜耳傳感器給出了一組樣本^ s S。由樣本^指定的
RGB色彩通道的索引由A表示，並且a是部分混和值。
如果"^指定了對於色彩J的第A個色彩通道，且對於J7和c也類似，則
可直接從位置x (中央像素)處的拜耳樣本&計算部分混和值oc的未知值為
formula see original document page 12
然而，如果"^和A"之差較小，則對ot的估算由於離散化和圖像噪聲而 不準確。注意，s是關於^的S的一個元素，其中對於5x5的處理區域，z'的範圍 從1-25，使得有25個^。 ^僅是針對單個通道(或色彩)的，並且該色彩由^ (R、 G或B)來指定。
期望使用整個樣本集S對ot進行更穩健的估算。換言之，期望在給定一樣
本集S和色彩先驗J和盧J時找到a的最可能的值(或者最大部分混和值)& :
d = argmax戶(orjS， J，盧).
對於等式(3) ， J和f是佔優勢的兩個色彩。在色彩空間中，可以想 像從J到f:畫一條線，並且部分混和值a從O變到l並超過l。這意味著在&處 a = 0，而在J處01= 1。換言之，等式(3)找出最大化給定S時a的概率的argmax a，其中S是位於處理區域(在此工作示例中為5x5的片)的所有色彩樣本的集 合。應當注意，S僅包含實際被採樣的，而不是通過去鑲嵌獲得的樣本。
使用貝葉斯理論，並假定J和^獨立於S和ot，等式(3)可被重排以產
生
formula see original document page 13假定所有的A都是獨立的，找到
,7, ^Jl和a指定了對於像素x的預測色彩= (1 — Ck')J十ttf。
對相鄰色彩噪聲假定獨立的恆等分布(i.i.d.)，e^和s,之間的關係可使用正態分
布來建模
,,formula see original document page 13等式(6)使用高斯型來計算概率。C^是給定a時計算的色彩。相鄰像素
之間的分布是高峰度的，但是出於計算效率考慮，假設了高斯分布。方差一 取決於兩個因素(1)全局的每通道圖像噪聲^、以及(2)x和^之間的像素距離。 假設像素色彩是局部相似的，且較遠處的較不相似。由此，^和C^之間的方 差隨著其在圖像空間中的距離的增加而增加。在一個實施例中，方差。被計
算為
其中^是x和s,之間的像素距離，而X是一常量，在此工作示例中，它根 據經驗被設為6。由此，等式(7)規定方差隨著與中心像素(被處理像素) 或位於處理區域中心的像素的距離而線性增加。在替換實施例中，可使用其
它單調遞增的距離函數。
高斯型的寬度，即方差^指示了一特定樣本對最終結果有多少影響。另 一種考慮方式是樣本的確信度。如果關於一樣本有不確定性，則其高斯型將 具有大的寬度(或大的方差CJ2)。相反，如果關於一樣本有確定性，則其高 斯型將具有窄的寬度(或小的方差02)。
等式(7)是規定方差隨著與作為處理區域的中心的已處理(或中心) 像素的距離而增加。換言之，較靠近中心像素的像素更合需要，且具有較高 的權重。且方差越大，像素或樣本對最終結果的影響越小。由此，方差應隨 著與中心像素的距離以某一函數增加。儘管在此工作示例中使用等式(7)形 式的線性函數，但是也可使用以類似方式規定方差的其它類型的函數。
由於&的值是已知的，並且期望計算最大化等式(6)的a值，因此將其
重排如下是有用的
formula see original document page 14
等式(8)是均值為cc,、方差為"一的cc上的高斯型。
formula see original document page 14
(8)formula see original document page 14
(9)
實際上需要求解oc，因此重排各等式以獲得等式(10) (5)和(8)可被組合以產生
具體地，等式
formula see original document page 14
(10)
對於P(^tltt， J， iiT) ， a白々
的最優值為:
formula see original document page 14在實踐中，忽略其中^i和^^之間的絕對差小於2.0的色彩分量的貢獻。
當求解等式(10)和(11)時，需要找出CC,和(T,，其中。是與每一樣本相
關聯的方差。然後找到最優部分混和值a、它是最優的a值。然後使用o^來計 算最終色彩值。對不為O或l的(x施加一輕微的懲罰。因此，在一個實施例中， a的值為0，而在一替換實施例中，a的值為l。
接著，確定哪一a (0、 l或a"對等式(5)產生最高值。換言之，用 這三個a中的每一個對等式(5)求值，以確定哪一a給出最高答案。對於等
式(10)，然後計算ct,和&,。使用等式(9)來計算A。給定樣本^，等式(9) 計算ot的值。換言之，a是樣本^所認為的ai應當是多少。在等式(10)中， 使用ai的乘積。如果一高斯型乘以一高斯型，則獲得另一高斯型。所有25 個樣本中的每一個的高斯型乘在一起的高斯型的峰值由a，來表示，由等式
(11)給出。可以示出，所有高斯型的乘積的均值將為等式(11)，它是一 加權平均。
最後，為找到等式(3)中^的值，必須在oc上定義一先驗/Y^。假定一 圖像內的大多數像素僅獲得來自單個色彩的貢獻，貝lk被偏倚為具有值O或l:
其中7始終小於1 (//<1) 。 ^的值取決於所需的平滑量。給定大量的圖像 噪聲，？pl。
由於cc先驗函數是具有兩個脈衝的平坦函數，因此只需檢查三個點O、 1 和a *處等式(3)的值。— 最f的那—個被分配為所處理的像素的最終值A，且 對應的像素色彩為(1 — + &f。
該方法的定量誤差可以通過迫使輸出像素處的紅、綠或藍為最初由傳感 器捕捉的值，同時將另外兩個通道設為與&相一致來進一步減小。由於A對中 央樣本施加了較大的權重，因此這兩個值不太可能大不相同。並且，如果輸 出採樣是在不同於輸入網格的網格上完成的，則源拜耳樣本不在每一像素處 可用。
多圖像去鑲嵌
使用無網格的貝葉斯解，可將來自多個圖像的信息引入到模型中而不會
顯著更改該方法。這些支撐圖像被假定為相似的但不完全相同，諸如來自後 續的視頻幀。此外，可使用這些額外的拜耳樣本而不對其重採樣。為了使用 支撐圖像，必須計算每一圖像的投影映射以將每一圖像與第一個圖像對準。
貝葉斯二色圖像去鑲嵌方法和系統可從多個圖像中獲得樣本，只要它們 是對準的。對準圖像允許將一場景的多個圖像對齊到一起以使它們可被使用。 然而，當圖像被對齊時，它們可能並不是相同定向的。貝葉斯二色圖像去鑲 嵌方法和系統選擇一基準圖像並相對於該基準圖像來重構其它圖像。處理區 域然後變為圓形，並且取已處理(或中心)像素的某一半徑內的樣本。
一般而言，通過使用更多圖像獲得更好的結果。然而，在處理時間和質 量之間存在折衷。在一個實施例中，所使用的圖像數是3，使得處理時間相當 短，且質量很好。在替換實施例中，所使用的圖像數可以比三多或少。
當添加更多圖像時，所使用的樣本的鄰域可以收縮，而仍維持足夠的樣 本來群集到J和^中。通過這樣做，它包含多於兩個代表性色彩的可能性減
少。由此，如果R、 G和B樣本各自表現為接近所重構的樣本，則可使用拜耳
樣本的最接近的鄰居內插組合。使用加權群集和重構的概念保持與單個輸入 圖像的相同。 一旦對準，即使在同一像素位置處出現了相同的色彩通道，也 仍有好處，即噪聲減少。
通過包括支撐圖像，存在引入壞的或誤導數據的風險。全局投影映射並 未解決所有場景改變(移動照相機、移動對象、光照條件的改變以及對象外 觀)。會發生對準誤差。為減少這一誤差，確保僅組合來自基準和局部相似
的支撐圖像的數據。對7x7的局部窗使用絕對差之和(SAD)技術在RGB空間 中測量相似性，表示為s。
通過調整。的定義以包括基準和支撐圖像之間的相關誤差來處理多個圖
像
formula see original document page 16(13)
項(1+Te)是失配懲罰，且在此工作示例中tK).I。 s是平方差的和。 當對齊多個圖像時，對齊可能不是完美的。為進行補償，使用平方差的 和。代替使用等式(7)，使用等式(13)。唯一的差別是最後一項(l+"cs)。 t 是縮放因子。因此等式(13)中的最後一項(l+^)規定如果平方差的和較大則
增加高斯型的方差。
項T是平方差的和的值被加權多少。它是根據經驗確定的。在一個實施例 中，T大致等於O.l。在替換實施例中，可使用其它T值。然而，重要的是T不被 加權太多。如果T太大，則可能從不使用來自其它圖像的信息。如果T太小， 則即使圖像沒有被正確地對齊也可使用來自其它圖像的信息。由此，必須找 到平衡。項T基於對齊算法的質量來變化。
為實現多圖像去鑲嵌，所需的全部是將支撐圖像中附近的拜耳樣本添加 到集合S並使用以上方差等式。應當注意，S中的樣本是拜耳傳感器樣本，因 為使用原始樣本避免了對任何重採樣的需求。
超解析度
貝葉斯二色圖像去鑲嵌方法和系統的統計性、無網格方法的另一優點是 可將任何採樣網格用於重構，諸如具有比原始圖像更大的解析度的採樣網格。 由於對統計度量使用了浮點歐幾裡德距離，因此可在圖像中的任何地方生成
連續的a值。由於來自多個圖像的樣本的對齊，a的值可編碼原始網格中像素
之間的邊緣和銳度。這可用於處理貝葉斯二色圖像去鑲嵌方法和系統的框架 內的超解析度。
當使用超解析度時，統計群集和局部鄰域大小可以略微收縮以捕捉精細 的細節。除此之外，貝葉斯二色圖像去鑲嵌方法和系統與其在多圖像去鑲嵌 情況中類似地操作。
IV.結構概覽
現在將討論貝葉斯二色圖像去鑲嵌器200的結構。為了更全面地理解貝 葉斯二色圖像去鑲嵌器200的結構，呈現了一示例性實施例的細節。然而，應 當注意，該示例性實施例僅是可實現和使用貝葉斯二色圖像去鑲嵌器200的若 幹種方式之一。
圖7是示出圖1和2所示的貝葉斯二色圖像去鑲嵌器200的細節的框圖。一 般而言，貝葉斯二色去鑲嵌器200處理對每一像素具有完整定義的RGB色彩值 的數字彩色圖像，對每一像素找出作為兩個色彩的組合的最終色彩值，並輸
出具有減少的偽像的過程數字彩色圖像。具體地，對貝葉斯二色圖像去鑲嵌
器200的輸入是包含對數字彩色圖像280中的每一像素的完整定義的RGB數據 的像素數據。如上所述，該數據是通過對圖像進行初步去鑲嵌遍來獲得的。 在一個實施例中，使用高質量線性內插去鑲嵌技術來執行初步去鑲嵌遍。或 者，可使用其它類型的去鑲嵌技術，諸如雙線性內插。
貝葉斯二色圖像去鑲嵌器200包括被處理像素選擇器700，它從圖像中選 擇要處理的像素。最終處理圖像中的所有像素，但是被處理像素選擇器700 每次選取一個像素來處理。處理區域定義模塊710定義被處理像素周圍的處理 區域(或片)。通常，被處理像素在該處理區域的中心。在一個實施例中， 處理區域是5x5的像素區域。在替換實施例中，可使用具有其它大小(諸如3x3 的像素區域或7x7的像素區域)的處理區域。
貝葉斯二色圖像去鑲嵌器200還包括確定用於為被處理像素定義最終色 彩值的佔優勢的兩個色彩的群集模塊720。群集模塊使用群集技術來將來自處 理區域中的像素的RGB色彩值群集到兩個集群中。這兩個集群的每一個的均 值變為佔優勢的兩個色彩。在一個實施例中，使用了具有離群值拒絕級的k 均值群集技術來進行群集。在替換實施例中，可使用其它類型的群集技術。
去鑲嵌器200還包括貢獻和組合模塊730，該模塊確定佔優勢的兩個色彩 中的每一個在最終色彩值中被使用了多少，並組合佔優勢的兩個色彩來獲得 最終色彩值。模塊730通過定義最大化給定一樣本集時部分混和值的概率的最 大部分混和值來找出佔優勢的兩個色彩中的每一個的貢獻。該樣本集包含來 自處理區域中的像素的採樣的色彩值。模塊730然後組合最大部分混和值和佔 優勢的兩個色彩以計算被處理像素的最終色彩值。在一個實施例中，佔優勢 的兩個色彩被線性地組合。在替換實施例中，佔優勢的兩個色彩以非線性的 方式組合。對圖像中的每一像素重複貝葉斯二色圖像去鑲嵌器200的處理。輸 出是具有減少的圖像偽像的增強的數字彩色圖像。
示例性操作環境
此處使用的貝葉斯二色圖像去鑲嵌器200和方法被設計成在一計算環境 中操作。以下討論旨在提供其中可實現貝葉斯二色圖像去鑲嵌器和方法的一
個合適的計算環境的簡要概括描述。
圖8示出了其中可實現貝葉斯二色圖像去鑲嵌器和方法的合適的計算系 統環境的一個示例。計算系統環境800僅為合適的計算環境的一個示例，並非
對本發明的使用範圍或功能提出任何局限。也不應將計算系統800解釋為對示
例性操作環境中示出的任一組件或其組合具有任何依賴性或需求。
貝葉斯二色圖像去鑲嵌器和方法可以使用眾多其它通用或專用計算系 統環境或配置來操作。適用於間接紋理放大系統和方法的眾所周知的計算系 統、環境和/或配置的示例包括但不限於，個人計算機、伺服器計算機、諸如
蜂窩電話和PDA等手持式、膝上型或移動計算機或通信設備、多處理器系統、 基於微處理器的系統、機頂盒、可編程消費電子設備、網絡PC、小型機、大
型計算機、包括任一上述系統或設備的分布式計算環境等等。
貝葉斯二色圖像去鑲嵌器和方法可在諸如程序模塊等由計算機執行的 計算機可執行指令的一般上下文中描述。 一般而言，程序模塊包括執行特定 任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構等。貝 葉斯二色圖像去鑲嵌器和方法也可以在其中任務由通過通信網絡連結的遠程 處理設備來執行的分布式計算環境中實踐。在分布式計算環境中，程序模塊
可以位於包括存儲器存儲設備的本地和遠程計算機存儲介質中。參考圖8，用 於貝葉斯二色圖像去鑲嵌器和方法的示例性系統包括計算機810 (圖l中的第 一計算設備270和圖2中的第二計算設備295是計算機810的示例)形式的通用 計算設備。
計算機810的組件可包括但不限於，處理單元820 (諸如中央處理器， CPU)、系統存儲器830以及將包括系統存儲器的各類系統組件耦合至處理單 元820的系統總線821。系統總線821可以是若干種總線結構中的任一種，包括 存儲器總線或存儲器控制器、外圍總線以及使用各類總線體系結構中的任一 種的局部總線。作為示例而非局限，這類體系結構包括工業標準體系結構
(ISA)總線、微通道體系結構(MCA)總線、增強型ISA (EISA)總線、 視頻電子技術標準協會(VESA)局部總線、以及外圍部件互連(PCI)總線 (也稱為小背板(Mezzanine)總線)。
計算機810通常包括各種計算機可讀介質。計算機可讀介質可以是可由
計算機810訪問的任一可用介質，並包括易失性和非易失性介質、可移動和不
可移動介質。作為示例而非局限，計算機可讀介質包括計算機存儲介質和通
信介質。計算機存儲介質包括以用於儲存諸如計算機可讀指令、數據結構、
程序模塊或其它數據等信息的任一方法或技術實現的易失性和非易失性，可 移動和不可移動介質。
計算機存儲介質包括但不限於，RAM、 ROM、 EEPROM、快閃記憶體或其它 存儲器技術、CD-ROM、數字多功能盤(DVD)或其它光碟存儲、磁盒、磁 帶、磁碟存儲或其它磁存儲設備、或可以用來儲存所期望的信息並可由計算 機810訪問的任一其它介質。通信介質通常以諸如載波或其它傳輸機制等已調 制數據信號來體現計算機可讀指令、數據結構、程序模塊或其它數據，並包 括任一信息傳送介質。
注意，術語"已調製數據信號"指以對信號中的信息進行編碼的方式設 置或改變其一個或多個特徵的信號。作為示例而非局限，通信介質包括有線 介質，如有線網絡或直接連線連接，以及無線介質，如聲學、RF、紅外和其 它無線介質。上述任一的組合也應當包括在計算機可讀介質的範圍之內。
系統存儲器830包括易失性和/或非易失性存儲器形式的計算機存儲介 質，如只讀存儲器(ROM) 831和隨機存取存儲器(RAM) 832。基本輸入/ 輸出系統833 (BIOS)包括如在啟動時幫助在計算機810內的元件之間傳輸信 息的基本例程，它通常儲存在ROM 831中。RAM 832通常包含處理單元820 立即可訪問和/或當前正在操作的數據和/或程序模塊。作為示例而非局限，圖 8示出了作業系統834、應用程式835、其它程序模塊836和程序數據837。
計算機810也可包括其它可移動/不可移動、易失性/非易失性計算機存儲 介質。僅作示例，圖8示出了對不可移動、非易失性磁介質進行讀寫的硬碟驅 動器841，對可移動、非易失性磁碟852進行讀寫的磁碟驅動器851，以及對可 移動、非易失性光碟856，如CD ROM或其它光介質進行讀寫的光碟驅動器 855。
可以在示例性操作環境中使用的其它可移動/不可移動、易失性/非易失 性計算機存儲介質包括但不限於，磁帶盒、快閃記憶體卡、數字多功能盤、數字錄 像帶、固態RAM、固態ROM等等。硬碟驅動器841通常通過不可移動存儲器
接口，如接口840連接到系統總線821，磁碟驅動器851和光碟驅動器855通常 通過可移動存儲器接口 ，如接口 850連接到系統總線821 。
上文討論並在圖8中示出的驅動器及其相關聯的計算機存儲介質為計算 機810提供了計算機可讀指令、數據結構、程序模塊和其它數據的存儲。例如， 在圖8中，示出硬碟驅動器841儲存作業系統844、應用程式845、其它程序模 塊846和程序數據847。注意，這些組件可以與作業系統834、應用程式835、 其它程序模塊836和程序數據837相同，也可以與它們不同。這裡對作業系統 844、應用程式845、其它程序模塊846和程序數據847給予不同的標號來說明 至少它們是不同的副本。用戶可以通過輸入設備，如鍵盤862和定位設備861 (通常指滑鼠、跟蹤球或觸摸墊)向計算機810輸入命令和信息。
其它輸入設備(未示出)可包括話筒、操縱杆、遊戲手柄、圓盤式衛星 天線、掃描儀、無線電接收機或電視或廣播視頻接收機等等。這些和其它輸 入設備通常通過耦合至系統總線820的用戶輸入接口860連接至處理單元821， 但是也可以通過其它接口和總線結構連接，如並行埠、遊戲埠或通用串 行總線(USB)。監視器891或其它類型的顯示設備也經由諸如視頻接口890 等接口連接到系統總線821。除監視器之外，計算機也可包括其它外圍輸出設 備，如揚聲器897和印表機896，它們可通過輸出外圍接口895連接。
計算機810可使用到一個或多個遠程計算機，如遠程計算機880的邏輯連 接在網絡化環境中操作。遠程計算機880可以是個人計算機、伺服器、路由器、 網絡PC、對等設備或其它常見的網絡節點，並且通常包括許多或所有以上相 對於計算機810所描述的元件，儘管在圖8中僅示出了存儲器存儲設備881。圖 8描述的邏輯連接包括區域網(LAN) 871和廣域網(\VAN) 873，但也可包 括其它網絡。這類網絡環境常見於辦公室、企業範圍計算機網絡、內聯網以 及網際網路。
當在LAN網絡環境中使用時，計算機810通過網絡接口或適配器870連接 至LAN 871。當在WAN網絡環境中使用時，計算機810通常包括數據機 872或用於通過WAN 873，如網際網路建立通信的其它裝置。數據機872可 以是內置或外置的，它通過用戶輸入接口860或其它適當的機制連接至系統總 線821。在網絡化環境中，相對於計算機810所描述的程序模塊或其部分可被
儲存在遠程存儲器存儲設備中。作為示例而非局限，圖8示出遠程應用程式885
駐留在存儲器設備881上。可以理解，示出的網絡連接是示例性的，並且可以
使用在計算機之間建立通信鏈路的其它手段。
以上的詳細描述是出於圖示和描述的目的而提出的。鑑於以上教導，許 多修改和變型都是可能的。它並不旨在窮盡，也不旨在將此處所公開的主題 限於所公開的精確形式。儘管以對結構特徵和/或方法動作專用的語言描述了 本發明，但是可以理解，所附權利要求書中所定義的主題不一定要限於以上 所描述的具體特徵或動作。相反，上述具體特徵和動作是作為實現所附權利 要求書的示例性形式來公開的。
權利要求
1.一種用於處理數字彩色圖像(260)的方法，包括獲得對於所述數字彩色圖像中的每一像素的完整定義的RGB三元組色彩值(300)；以及使用所述完整定義的RGB三元組色彩值來確定每一像素的最終色彩值為兩個色彩的組合(310)以獲得具有減少的圖像偽像的增強的數字彩色圖像(290)。
2. 如權利要求l所述的方法，其特徵在於，還包括使用初步遍去鑲嵌技 術來獲得每一像素的所述完整定義的RGB三元組色彩值(400)。
3. 如權利要求2所述的方法，其特徵在於，還包括使用高質量線性內插 去鑲嵌技術(220)來獲得每一像素的所述完整定義的RGB三元組色彩值(280)。
4. 如權利要求l所述的方法，其特徵在於，確定最終色彩值(430)還 包括使用所述完整定義的RGB三元組色彩值來找出每一像素的所述兩個色 彩(420);以及將所述兩個色彩指定為佔優勢的兩個色彩(420)。
5. 如權利要求4所述的方法，其特徵在於，還包括在所述數字彩色圖像 中定義一中心位於被處理的像素處的處理區域(410)，其中所述最終色彩值 是對所述被處理的像素確定的(630)。
6. 如權利要求5所述的方法，其特徵在於，包括使用群集技術將所述處 理區域中的像素的色彩值群集到所述佔優勢的兩個色彩中(500)。
7. 如權利要求6所述的方法，其特徵在於，所述群集技術是k均值群集 技術(720)。
8. 如權利要求6所述的方法，其特徵在於，還包括對所述群集技術使用 離群值拒絕技術來改進群集結果(510)。
9. 如權利要求5所述的方法，其特徵在於，還包括確定所述佔優勢的兩 個色彩中的每一個對所述最終色彩值給出了多少貢獻(730)。
10. 如權利要求9所述的方法，其特徵在於，還包括定義一部分混和值， 所述部分混和值指定了所述佔優勢的兩個色彩中的每一個對所述最終色彩值的貢獻(600)。
11. 如權利要求10所述的方法，其特徵在於，還包括對所述被處理像素 確定最大部分混和值，所述最大部分混和值被定義為最大化給定所述處理區 域中的每一所述像素色彩值時所述部分混和值的概率的所述佔優勢的兩個色彩的混和。
12. 如權利要求10所述的方法，其特徵在於，還包括使用每一像素的所 述最大部分混和值和每一像素的所述佔優勢的兩個色彩來獲得所述數字彩色 圖像中的每一像素的所述最終色彩值(620)。
全文摘要
一種貝葉斯二色圖像去鑲嵌器和方法用於處理數字彩色圖像以便用減少圖像偽像的方式來對該圖像去鑲嵌。該方法和系統是對先前的去鑲嵌技術的改進和增強。對該圖像執行初步去鑲嵌遍以向每一像素分配一完整定義的RGB三元組色彩值。所處理的圖像中的色彩的最終色彩值被限於兩個色彩的線性組合。對於圖像中的每一像素的完整定義的RGB三元組色彩值用於找出表示佔優勢的兩個色彩的兩個集群。然後確定這兩個佔優勢的色彩對最終色彩值的貢獻量。該方法和系統還可處理多個圖像以改進去鑲嵌結果。當使用多個圖像時，可在更精細的解析度，稱為超解析度下執行採樣。
文檔編號H04N9/64GK101375611SQ200780003776
公開日2009年2月25日 申請日期2007年1月25日 優先權日2006年1月30日
發明者C·L·澤特尼克, E·P·貝內特, M·T·尤特納達勒, R·S·澤裡斯基, S·B·康 申請人:微軟公司