使用頻率濾波來模擬膠片顆粒的技術的製作方法

2023-05-29 12:03:11

專利名稱：使用頻率濾波來模擬膠片顆粒的技術的製作方法
技術領域：
本發明涉及在解碼之後的編碼的圖像中模擬膠片顆粒(grain)的技術。
背景技術：
電影膠片包括在以薄層被塗敷在膠片基底上的感光乳劑中所散布的滷化銀晶體。這些晶體的曝光和顯影形成包括許多分立的、微小的銀微粒的攝影圖像。在彩色負象中，在生膠片(film stock)顯影期間在以化學方法去除銀之後，在形成銀晶體的位置上產生染料的微小團點(blob)。染料的這些小斑點通常被稱作彩色膠片中的「顆粒」。因為在原始感光乳劑上銀晶體是隨機形成的，所以顆粒在所得到的圖像上呈現出隨機分布。在均勻曝光區域內，一些晶體在曝光之後顯影而另一些卻沒有。
顆粒的尺寸和形狀是變化的。膠片越快，則所形成的銀的塊和所產生的染料團點越大，並且它們越容易以隨機的圖案聚合在一起。術語「顆粒度(granularity)」通常指顆粒圖案。肉眼不能區分從0.0002mm到大約0.002mm變化的各個顆粒。相反地，眼睛可以分辨被稱為團點的顆粒群。觀看者將這些團點群識別為膠片顆粒。隨著圖像解析度變得越大，對膠片顆粒的感覺變得越明顯。在電影和高解析度圖像上膠片顆粒變得清晰可見，然而膠片顆粒逐漸地在標準解析度電視(SDTV)中失去重要性並且在較小的格式中變得不能被察覺。
電影膠片通常包含因為攝影膠片的曝光和顯影的物理處理過程或者因為後來對圖像的編輯而產生的依賴於圖像的噪聲。攝影膠片具有因為攝影感光乳劑的物理顆粒度而產生的特徵準隨機圖案，或紋理。或者，在計算機所產生的圖像中也能產生類似圖案的模擬以將它們與攝影膠片進行混合。在兩種情況中，這種依賴於圖像的噪聲都負有「膠片顆粒」之名。經常地，適當的顆粒紋理在電影中呈現所希望的效果。在某些情況中，膠片顆粒提供幫助正確理解兩維畫面的視覺提示。膠片等級經常在單個膠片內變化以提供關於時間參考、觀看點等的各種線索。在電影行業中還存在許多其他的技術和藝術目的需要來控制顆粒紋理。因此，在整個圖像處理和交付鏈中保持圖像的顆粒狀顯示已經變成了電影行業的要求。
幾種可商用的產品具有模擬膠片顆粒的能力，通常用於將計算機產生的對象混合到自然場景中。作為實現顆粒模擬的最先的數字膠片應用之一的、來自紐約州羅徹斯特市伊斯門柯達公司(Eastman Kodak Co.)的Cineon對許多顆粒類型都能產生非常真實的結果。但是，因為Cineon應用對於高顆粒尺寸設置而產生的明顯的對角條紋，所以該應用不能為許多高速膠片產生良好的效果。而且，當圖像經歷有之前的處理時，例如當圖像被複製過或者被數字處理過時，Cineon應用不能以足夠的逼真度來模擬顆粒。
另一個模擬膠片顆粒的商用產品是來自Visual Infinity Inc.的GrainSurgeryTM，其用作AdobeAfter Effect的插件。Grain SurgeryTM產品看起來是通過對一組隨機數進行濾波來產生合成顆粒。這種方法受到高計算複雜性缺點的影響。
膠片顆粒模擬繼續保持為一個感興趣的題目。近來，H.264視頻壓縮標準進行了改進以採用指定膠片顆粒模擬參數的標準補充增強信息(SEI)消息。採用特定格式膠片顆粒SEI消息將顯著地促進解碼器的開發，以使用由用於模擬膠片顆粒的即時應用的受讓人(assignee)近來公開的技術來模擬膠片顆粒。由申請人的受讓人所開發的技術通過下面步驟來模擬膠片顆粒(1)首先在壓縮之前從圖像中將顆粒濾波出來，然後(2)將壓縮的視頻與包含關於原始顆粒的信息的消息一同發送到解碼器，以及(3)通過根據SEI消息的內容使得解碼器模擬膠片顆粒來恢復圖像的原始顆粒狀的外觀。這種技術為需要膠片顆粒保持的高質量應用節省許多比特率。但是，由於膠片顆粒產生需要通過對16×16像素的塊進行操作，並且隨後對膠片顆粒圖像的16×16塊邊緣進行解塊(deblocking)處理，來產生膠片顆粒圖像，所以這種技術增加了解碼器複雜度。
因此，存在對能夠通過提供更高的效率來克服現有技術的缺點的膠片顆粒模擬技術的需求。

發明內容
簡要地，根據本原理的優選實施方式，提供一種用於模擬膠片顆粒的方法。該方法以接收圖像信息和接收包括指定之前在圖像中的膠片顆粒的不同屬性的一組可能參數之中至少一個參數的膠片顆粒信息開始。使用膠片顆粒模型，顆粒模擬根據依照圖像中用於像素塊的目標像素塊尺寸被縮放的至少一個參數而進行。然後將模擬的膠片顆粒併入到圖像中。
根據目標像素塊尺寸來縮放膠片顆粒信息允許使用任意的塊尺寸，其允許使用傳統硬體元件來執行與膠片顆粒模擬關聯的、基於塊的操作。


圖1示出了用於模擬膠片顆粒的系統的示意框圖；圖2示出了根據本原理的第一方面的、圖1的系統通過其產生膠片顆粒信息的方法的步驟的流程圖；圖3示出了根據本原理的第二方面的、圖1的系統通過其產生膠片顆粒信息的方法的步驟的流程圖；圖4示出了根據本原理被縮放的8×8像素塊的例子；圖5A示出了僅僅其垂直邊緣進行縮放的8×8像素塊的例子；和圖5B示出了僅僅其水平邊緣進行縮放的8×8像素塊的例子。
具體實施例方式
圖1示出了用於模擬圖像中的膠片顆粒的系統10的示意框圖。系統10包括用於從輸入圖像104和嵌入到諸如SEI消息106的膠片顆粒消息中的至少一個膠片顆粒參數兩者中產生膠片顆粒信息的第一塊12。膠片顆粒產生器塊12使用諸如要在下面詳細描述的圖2和3的方法之一從這種輸入信息產生膠片顆粒信息。由膠片顆粒產生器塊12所產生的膠片顆粒信息在混合塊16接收之前經歷膠片顆粒解塊處理濾波器14的解塊處理。混合塊16將濾波過的膠片顆粒信息與輸入圖像混合以產生包含膠片顆粒的輸出圖像。
圖2示出了根據用於產生膠片顆粒的本原理的第一方面的方法的步驟的流程圖。如將在下面詳細描述的，圖2的方法進行操作以從頻率濾波之前被縮放的高斯噪聲中產生膠片顆粒。圖2的膠片顆粒產生方法開始於執行在其間系統變量經歷初始化的步驟100。在步驟100之後，進行從輸入圖像104中提取連續的N×M像素塊，其中N和M每一個都是大於零的整數。
在步驟102之後，進行步驟105，並且在圖1的膠片顆粒產生器塊12內的噪聲產生器(未示出)根據伴隨輸入圖像的SEI消息106中所包含的、以將在下面討論的方式被縮放的至少一個膠片顆粒參數來產生隨機(高斯)噪聲。正如在H.264壓縮標準中所採用的，在16×16像素塊上可以預測SEI消息106中的膠片顆粒參數。從實現效率的角度來說這種塊尺寸沒能總提供最大的便利。
根據本原理，在SEI消息中的膠片顆粒參數在步驟107期間經歷縮放，從而允許以不同於16×16像素的塊尺寸來模擬膠片顆粒。實際上，SEI消息定義各種膠片參數，包括兩組截止頻率(cut frequency)，即水平和垂直低端截止頻率以及水平和垂直高端截止頻率。為了理解其中SEI參數，特別是水平和垂直高端截止和低端截止頻率，經歷縮放的方式，令Ns×Ms表示原始塊尺寸(即，16×16像素)，令Nt×Mt表示新縮放的參數在其上操作的目標塊尺寸。則水平和垂直高端截止頻率經歷如下縮放ftHH=ceil(NtNsfsHH)---(1)]]>ftHV=ceil(MtMsfsHV)---(2)]]>其中函數fceil(x)返回大於或等於x的最小整數，ftHH是用於目標塊尺寸的新高端水平截止頻率而ftHV是用於目標塊尺寸的新高端垂直截止頻率。這種縮放包括以塊尺寸的比例分割原始頻率並且上捨入到最接近的整數的等效情況。類似地，水平和垂直低端截止頻率經歷如下縮放ftLH=floor(NtNsfsLH)---(3)]]>ftLV=floor(MtMsfsLV)---(4)]]>其中floor(x)返回小於或等於x的最大整數，ftLH是用於目標塊尺寸的新低端水平截止頻率而ftLV是用於目標塊尺寸的新低端垂直截止頻率。這種縮放包括以塊尺寸的比例分割原始頻率並且下捨入到最接近的整數的等效情況。
上述捨入與使用在16×16像素的塊上所定義的原始截止頻率值來產生膠片顆粒相比較，可以在目標塊尺寸上產生最類似的膠片顆粒。但是，任何類型的捨入(下截止(floor)、上截止(ceil)或最接近整數)都可能縮放水平和垂直截止頻率兩者。
在所示的實施方式中，原始塊是16×16像素並且目標塊是8×8像素。在這種情況中，可以進行高端截止頻率的縮放如下ftH=(foH+1)>>1---(5)]]>其中ftH表示新高端截止頻率。因為源和目標塊是正方形的，所以等式(5)可以對水平和垂直高端截止頻率進行縮放。對低端截止頻率的縮放變為ftL=foL>>1---(6)]]>其中ftL表示新低端截止頻率。類似地，所以等式(5)可以對水平和垂直低端截止頻率進行縮放。
可以將SEI消息的參數縮放到任何需要的塊尺寸，從而允許之前所述的膠片顆粒模擬算法的有效實施。在所示的實施方式中，將膠片顆粒參數值縮放到8×8像素塊，從而允許重新使用許多現有的集成電路以執行硬體加速的離散餘弦變換(DCT)、逆離散餘弦變換(IDCT)和其他基於塊的操作。
在步驟108期間，隨機噪聲經歷縮放以改變已經處於最終尺寸(例如，8×8)的N×M像素塊的像素值，從而避免/減小解塊處理過程的複雜度。在步驟108期間進行的縮放採用根據在SEI消息中所指定的(被縮放過的)值來修改噪聲的方差(variance)的形式。假設對於給定塊B，在步驟105期間所產生的隨機噪聲具有平均值μ和方差σ2。給出為塊B的每個像素而定義的縮放函數SB，所縮放的像素值將具有下面關係Bscaled(i，j)＝(B(i，j)-μ)·S(i，j)+μ (7)其中B(i，j)表示塊B的坐標(i，j)處的像素。注意等式(7)只應用於其中s(i，j)不是1的那些像素。
在步驟108期間進行的噪聲縮放解除了對解塊處理濾波器的需要從而減小組塊處理偽像(artifact)。使用噪聲縮放來減小這種偽像使用了因為橫跨塊邊緣的不相關像素而產生組塊處理偽像的原理。為了減少這種偽像，必須增加橫跨塊邊緣的相關性，其等效於減小在塊邊緣上的噪聲量。
在步驟108之後，縮放過的隨機噪聲在步驟110期間經歷離散餘弦變換。之後，根據SEI消息106中的對應濾波器參數在步驟112期間係數變為濾波過的頻率。在步驟114期間執行逆離散餘弦變換(IDCT)。在步驟116，進行檢查以確定是否還剩下額外的N×M像素塊沒有被讀出。如果沒有剩下其他的塊，則所產生的噪聲形成膠片顆粒圖像118，並且處理過程在步驟120期間結束。否則，重新執行步驟102和其之後的那些步驟直到從輸入圖像104中沒有剩下還沒有讀出的其他N×M塊為止。
圖3示出了根據用於產生膠片顆粒的本原理的第二方面的方法的步驟的流程圖。圖3的膠片顆粒產生方法包括許多與圖2的方法相同的步驟，並且在圖3中出現的類似標記指示類似的步驟。圖3的膠片顆粒產生方法與圖2的方法的不同之處在於噪聲縮放的進行。如上所述，圖2的膠片產生方法在步驟112期間進行的頻率濾波之前在步驟108期間進行噪聲縮放。相反地，圖3的膠片產生方法在步驟112所執行的頻率濾波之後，在步驟114期間進行的逆離散餘弦變換的後面在步驟115期間進行噪聲縮放。以與等式(7)所述的等效的方式進行圖4的步驟115期間施加到濾波過的隨機噪聲的每個像素的縮放操作。
根據SEI消息106的參數和塊尺寸，縮放函數的確定可以是先驗生成的或者可以是自動生成的。縮放函數也可以適應於在SEI消息中所指定的不同組的參數。
在所示的實施方式中，縮放函數減少塊邊緣上的噪聲量(以避免組塊處理偽像)，而同時增加塊內的噪聲量以保持相同的總體噪聲量。對於具體到8×8像素塊的縮放，縮放函數可以實現圖4中所示用於像素塊200的結果。在像素塊200的邊緣上的最暗的灰色區域202表示噪聲的減小(S(i，j)＜1)，而在塊內的最亮灰色區域204表示噪聲的增加(S(i，j)＞1)。中間灰色區域206表示在噪聲強度中沒有變化((S(i，j)＝1)。
使用縮放函數構成(因為SEI消息的參數改變所以)維持膠片顆粒外觀與降低解碼器複雜性(即，避免解塊處理)之間的折衷。在其中不是所有的塊邊緣都均等地相關的情況中，縮放函數可以只修改特定邊緣。例如在CRT顯示器上，在垂直邊緣上的偽像比水平邊緣上的要明顯得多。在這種情況下，減小的噪聲強度應該只在像素塊300的垂直邊緣302上發生，如圖5A所示。在特定情況下，縮放函數可以僅僅修改像素塊400的水平邊緣402，如圖5B所示。
上面所描述的是一種通過縮放膠片顆粒參數而減小複雜度來模擬在以後要解碼的編碼圖像中的膠片顆粒的技術。
權利要求
1.一種用於模擬膠片顆粒的方法，包括步驟接收圖像信息；接收膠片顆粒信息，其包括在之前指定圖像中的膠片顆粒的不同屬性的一組可能的參數中的至少一個參數；根據依照圖像中像素塊的目標像素塊尺寸所縮放的至少一個參數來模擬膠片顆粒；以及將所模擬的膠片顆粒混合到圖像中。
2.根據權利要求1所述的方法，其中所述接收膠片顆粒信息的步驟還包括接收其比特流已經根據預定的壓縮標準而被壓縮的圖像的步驟；和所述接收膠片顆粒信息的步驟還包括接收在圖像比特流中所嵌入的附加數據的步驟。
3.根據權利要求2所述的方法，其中所述接收膠片顆粒信息的步驟還包括接收其比特流已經根據H.264壓縮標準而被壓縮的圖像的步驟；和所述接收膠片顆粒信息的步驟還包括接收SEI消息的步驟。
4.根據權利要求2所述的方法，還包括以Nt×Mt像素的目標塊尺寸對膠片顆粒信息進行縮放的步驟，其中Nt和Mt不是16。
5.根據權利要求2所述的方法，還包括以8×8像素的目標塊尺寸對膠片顆粒信息進行縮放的步驟。
6.根據權利要求1所述的方法，其中所述模擬膠片顆粒的步驟包括步驟根據至少一個參數來產生隨機噪聲；以及對噪聲進行縮放以改變之前被縮放到目標塊尺寸的像素塊的像素值；在縮放之後對噪聲進行頻率濾波。
7.根據權利要求1所述的方法，其中所述模擬膠片顆粒的步驟包括步驟根據至少一個參數來產生隨機噪聲；以及對噪聲進行頻率濾波；和對頻率濾波過的噪聲進行縮放以改變之前被縮放到目標塊尺寸的像素塊的像素值。
8.根據權利要求2所述的方法，其中所述膠片顆粒信息包括水平和垂直高端和低端截止頻率用於以目標像素塊尺寸進行縮放。
9.根據權利要求4所述的方法，其中所述噪聲進行縮放以減小主要在垂直邊緣上的噪聲強度。
10.根據權利要求4所述的方法，其中所述噪聲進行縮放以減小主要在水平邊緣上的噪聲強度。
11.一種模擬膠片顆粒的方法，包括步驟(a)接收表示其中膠片顆粒已經至少被衰減過的圖像的圖像信息；(b)接收膠片顆粒信息，其包括在之前指定圖像中的膠片顆粒的不同屬性的一組可能的參數中的至少一個參數；(c)對於圖像中不同於16×16塊的目標像素塊，對膠片顆粒信息進行縮放；(d)讀出圖像的連續的一個像素塊；(e)根據至少一個參數為連續的像素塊產生隨機噪聲；(f)對隨機噪聲進行縮放以改變之前被縮放到目標塊尺寸的像素塊的像素值；(g)對縮放過的噪聲執行基於塊的變換以產生一組係數；(h)對係數進行頻率濾波；以及(i)對頻率濾波過的係數執行基於塊的逆變換以產生膠片顆粒圖像塊。
12.根據權利要求11所述的方法，其中重複所述步驟(d)-(i)直到已經將圖像中的所有像素塊讀出為止。
13.根據權利要求11所述的方法，其中所述執行基於塊的變換的步驟還包括執行離散餘弦變換的步驟。
14.根據權利要求13所述的方法，其中所述執行基於塊的逆變換的步驟還包括執行逆離散餘弦變換的步驟。
15.一種模擬膠片顆粒的方法，包括步驟(a)接收表示其中膠片顆粒已經至少被衰減過的圖像的圖像信息；(b)接收膠片顆粒信息，其包括在之前指定圖像中的膠片顆粒的不同屬性的一組可能的參數中的至少一個參數；(c)對於圖像中不同於16×16塊的目標像素塊，對膠片顆粒信息進行縮放；(d)讀出圖像的連續的一個像素塊；(e)根據至少一個參數為連續的像素塊產生隨機噪聲；(f)對噪聲執行基於塊的變換以產生一組係數；(g)對係數進行頻率濾波；(h)對頻率濾波過的係數執行基於塊的逆變換以產生膠片顆粒圖像塊；以及(i)對噪聲進行縮放以改變之前被縮放到目標塊尺寸的像素塊的像素值。
16.根據權利要求15所述的方法，其中重複所述步驟(d)-(i)直到已經將圖像中的所有像素塊讀出為止。
17.根據權利要求15所述的方法，其中所述執行基於塊的變換的步驟還包括執行離散餘弦變換的步驟。
18.根據權利要求15所述的方法，其中所述執行基於塊的逆變換的步驟還包括執行逆離散餘弦變換的步驟。
全文摘要
模擬圖像中的膠片顆粒可以通過下面步驟來進行壓縮視頻圖像，然後將壓縮過的視頻與包含指示原始膠片顆粒的至少一個參數的消息一同傳送到解碼器，以及通過使得解碼器根據膠片顆粒消息的內容來模擬膠片顆粒來恢復原始的顆粒狀的圖像外觀。為了提高效率，膠片顆粒信息的一個或多個參數根據用於圖像中的像素塊的目標像素塊而經歷縮放。這種縮放允許使用傳統電路結合膠片顆粒模擬而執行基於塊的操作。
文檔編號G06T5/00GK1857005SQ200480027522
公開日2006年11月1日 申請日期2004年9月22日 優先權日2003年9月23日
發明者瓊·拉克, 吉爾·M·博伊斯, 亞歷山德羅斯·圖拉皮斯 申請人:湯姆森特許公司