模擬膠片顆粒噪聲的方法和裝置的製作方法
2023-05-28 22:42:31 1
專利名稱：模擬膠片顆粒噪聲的方法和裝置的製作方法
技術領域：
本發明通常涉及信號處理，特別涉及視頻信號的噪聲模擬。更進一步，本發明涉及視頻信號的膠片顆粒噪聲(film grain noise)的模擬以及將模擬的膠片顆粒噪聲應用到視頻信號中。
背景技術：
膠片是一種用來拍攝記錄靜止照片和電影的介質。例如，電影公司將電影製作在膠片上，而個人可以製作家庭電影，儘管由於家庭攝像機的日益普及而出現下降趨勢。膠片的使用會導致在重放期間出現膠片顆粒噪聲，所以膠片顆粒噪聲已經成為使用膠片的電影圖像的一個特徵。在視覺上，觀眾不僅能夠通過膠片顆粒噪聲的存在而辨認出膠片，而且能夠區分出真正的膠片電影和其它後期膠片編輯或人工效果，如膠片效果、電腦動畫、動畫製作和合成場面。
然而，膠片顆粒噪聲經常就消失了，例如，它可以通過諸如壓縮和編碼/解碼的視頻處理方法被過濾掉。而且，數位相機已被廣泛應用，人們可以將視頻製作在存儲器內而不是膠片上，所以在數字視頻上根本不存在膠片顆粒噪聲。觀看沒有膠片顆粒噪聲的視頻，人們會有這樣的感覺儘管顯示的圖像非常清晰，但是人造且不自然的。所以，為了保持視頻的高逼真度，人們期望將膠片顆粒噪聲添加回到視頻。
為了恢復視頻圖像上的膠片顆粒噪聲，期望能夠模擬出膠片顆粒噪聲。
發明概述 本發明的一個目是模擬膠片顆粒噪聲。膠片顆粒噪聲包括諸如信號依賴性、顆粒噪聲功率和模式的特徵。這些特徵是用來模擬的幾個方面。除膠片顆粒噪聲之外，本發明還被用來模擬任何具有本發明說明書裡披露的類似特徵的噪聲。
根據膠片顆粒噪聲的一個特徵，信號依賴性，即在膠片上每幀(或被稱為圖像)的亮區(高亮度區)或暗區(低亮度區)通常具有不同於中亮度區的噪聲功率特徵。例如，對於YCbCr色彩空間而言，在Y分量上，膠片顆粒噪聲在亮區或暗區比中亮度區具有更低的噪聲功率。但是，在Cr和Cb分量上，亮區或暗區上比中亮度區有更高的噪聲功率。對RGB色彩空間而言，在每個R、G、B分量，亮區或暗區上比中亮度區具有更低的噪聲功率。所以，本發明的另一個目的是模擬信號依賴的膠片顆粒噪聲。
本發明的另一個目的是通過提供一種模擬信號依賴噪聲特徵的方法來提高模擬膠片顆粒噪聲的效率，不需要對每幀執行任何分割，以便能夠捕捉在一個給定幀上不同區的噪聲特徵。
本發明的另一個目的是通過減少估計的模型參數數量來提高模擬膠片顆粒噪聲的效率，例如，使用相同的模擬膠片顆粒噪聲模型參數用於相同場面的幀，而不是對每個幀進行參數估計。
本發明的另一個目的是通過提供多個噪聲函數來增強模擬膠片顆粒噪聲的靈活性。使用的噪聲函數和噪聲函數參數是逐幀進行選擇，以便能夠適應每幀的噪聲特性。
本發明的另一個目的是模擬具有不同相關性的膠片顆粒噪聲，例如，空間相關性、色間相關性。
本發明的另一個目的是通過減少噪聲模擬的自回歸模型參數的數量來進一步提高效率，從而使得從編碼器傳輸到解碼器的自回歸模型參數數目減少。
本發明的另一個目的是提高模擬膠片顆粒噪聲的效率，因為僅有噪聲函數標識符、噪聲函數參數和自回歸模型參數需要從編碼器傳輸到解碼器。結果，能夠極大地減少有效負荷。
本發明的另一個目的是提供一種模擬膠片顆粒噪聲並將膠片顆粒噪聲添加到視頻的方法。
本發明的另一個目的是提供一種模擬膠片顆粒噪聲並將膠片顆粒噪聲添加到視頻的系統。
本發明的其它方面也將在以下進行披露。
參照附圖，本發明的其它方面和實施例將在隨後詳細描述，其中； 圖1顯示一種模擬膠片顆粒噪聲的方法流程圖； 圖2顯示各種噪聲函數的圖形； 圖3顯示一種估計信號依賴噪聲模型參數的方法流程圖； 圖4顯示模擬膠片顆粒噪聲方法的另一個實施例的流程圖； 圖5顯示模擬膠片顆粒噪聲方法的另一個實施例的流程圖； 圖6顯示將膠片顆粒噪聲應用到信號的方法流程圖； 圖7顯示將膠片顆粒噪聲應用到信號的系統的結構模塊圖； 圖8顯示將膠片顆粒噪聲引入到數字視頻信號方法的流程圖； 圖9A顯示在應用膠片顆粒噪聲之前沒有膠片顆粒噪聲的示範圖像； 圖9B顯示在應用膠片顆粒噪聲之後具有膠片顆粒噪聲的示範圖像。
發明詳述 圖1顯示一種模擬膠片顆粒噪聲方法的流程圖。由於膠片顆粒噪聲是信號依賴的(signal-dependent)，在一個實施例裡，它可以由以下等式模擬y＝x+f(x)γ·n(1) 其中x是無噪聲的信號，n是一個靜態、零均值的隨機噪聲，與x無關，而y是觀察到的噪聲信號。f(x)γ·n表示信號依賴噪聲(signal-dependent noise)，而γ是信號依賴指數值。舉例來講，γ設置為0≤γ≤1。γ值與膠片材料有關。在選擇噪聲函數步驟110，選擇噪聲函數f(x)，並在估計步驟120，估計噪聲函數參數。在另外一個實施例裡，對每一幀都執行選擇噪聲函數步驟110，在一個視頻裡對不同的幀選擇不同的噪聲函數，從而逐幀獲取不同的噪聲特徵。同樣，在估計步驟120上對每一幀都估計噪聲函數參數以對應每個噪聲函數。在重複步驟130，重複選擇噪聲函數步驟110和估計步驟120。在另一個實施例裡，為了提高效率，對相同場景的幀使用相同的噪聲函數和相同的相應噪聲函數參數，通過重複步驟130對每個場景重複選擇噪聲函數步驟110和估計步驟120。在一個實施例裡，對幀的每個色彩空間都執行選擇噪聲函數步驟110的噪聲函數選擇和估計步驟120的噪聲函數參數估計，重複步驟130。每個噪聲函數由一個噪聲函數標識符表示，從而在輸出步驟140，輸出每個色彩空間、每個幀或每個場景的噪聲函數標識符和相應的噪聲函數參數。
圖2顯示噪聲函數的多個實施例。以下使用的各種噪聲函數和描述的那些噪聲函數僅是用作描述和說明用途。在圖2內噪聲函數210、220、230、240、250的圖形表現是由以下等式表示 第一噪聲函數210， 第二噪聲函數220， 第三噪聲函數230， 第四噪聲函數240， 第五噪聲函數250， 因為，在不同區域，膠片顆粒噪聲有不同的噪聲特徵，通過選擇不同形式的噪聲函數f(x)，在膠片顆粒噪聲產生時，可以使用以上等式內的合適噪聲模型來模擬信號依賴噪聲。例如，如果f(x)選擇第三噪聲函數230，那麼就選定了經典的信號依賴噪聲模型y＝x+xγ·ε，其中ε是高斯噪聲。如果f(x)選擇第五噪聲函數250，則選定了加法噪聲模型y＝x+ε。另外，當選擇第三噪聲模型230時，在噪聲指數值γ＝1時獲得乘法噪聲模型y＝x+x·ε。第一噪聲函數210和第二噪聲函數220被用來獲取在亮區和暗區的膠片顆粒噪聲，其在亮區或暗區比在Y分量的中間亮度上具有更低的噪聲功率，但在亮區或暗區比在Cr和Cb分量的中間亮度上具有更高的噪聲功率。
作為一個實施例，使用的噪聲函數是通過不同標識符進行標識，例如，第一噪聲函數210用一個標識符來標識。在這個描述性的例子裡，標識符為A。所以，如果在遠程設備裡執行模擬膠片顆粒噪聲的方法，將提供一個標識符給遠程設備，以便選擇哪一個噪聲函數來產生膠片顆粒噪聲，只要遠程設備存儲有各種噪聲函數。然後再確定噪聲函數210、220、230、240、250的噪聲函數參數，如參數a。在一個實施例裡，選擇的噪聲函數參數a是16，而選擇的噪聲函數參數b是255-a，在此例子裡，其等於239。噪聲函數的參數被提供給一臺模擬膠片顆粒噪聲的設備。
圖3顯示一種估計信號依賴噪聲模型參數的方法流程圖。在抽樣步驟310，檢測並抽取同質區域的斑塊。在一個實施例裡，通過比較信號特徵如一個圖像上不同區域的亮度或一個視頻序列上不同幀的不同區域的亮度，來檢測同質區域的斑塊。如果任何區域的相關性很高，例如高於一個預設閾值，則抽取這些區域。
如之前描述的，通過確定噪聲函數標識符和噪聲函數參數，在選擇步驟320上一旦選擇了噪聲函數，就在估計步驟330上，估計信號依賴噪聲模型參數，即確定信號依賴指數值γ和隨機噪聲n的方差σn2。觀察到的信號y的局部方差表示為 其中μy是y的局部均值，其等於在同質區域內的x均值μy＝μx。等式(2)的計算如下(3) 如果在噪聲信號上一些斑塊被識別為同質區域，則而等式(3)被寫作 其中這些同質區域的y方差被看作局部方差σy2，且E[f(x)]表示f(x)的均值。
所以，為了估計未知的噪聲模型參數γ和σn2，必須在一個幀內甚至一個視頻序列內的不同幀內找出同質區域的斑塊。例如，在圖9A內不同的同質區域可以識別出來，分別由內環912、內正方形914和外正方形916表示。
在一個實施例裡，可以使用以下兩種不同方法中的任何一種來估計信號依賴噪聲，具體如下 I.離線方法 此方法是離線的而不是實時使用的。在抽樣步驟310上抽取同質區域的斑塊之後，對每個同質區域的斑塊計算等式(4)內的σy2和E[f(x)]。在獲得有關σy2和E[f(x)]的統計數據信息之後，使用一種曲線擬合方法(curve fit method)來估計未知的噪聲模型參數γ和σn2。在一個實施例裡曲線擬合方法使用最小均方差估計。該離線方法能夠避免局部最小問題，從而獲得整個圖像或視頻序列的全局最優解決方案。
II.在線方法 此方法是在線使用，直接實時地通過使用M對斑塊(第i斑塊，第j斑塊)來估計未知的噪聲模型參數，具體如下 其中在一個實施例裡M大於或等於3，σi和μi是第i斑塊的σy和E[f(x)]，σj和μj是第j斑塊的σy和E[f(x)]。不同對斑塊產生的值是相互不同的，所以，真實伽馬γ的一致估計是通過諸如平均所有可能對的估計值而獲得。一旦依靠等式(5)估計出伽馬γ，σn2是通過以下等式進行計算 圖4顯示模擬膠片顆粒噪聲方法的另一個實施例的流程圖。膠片顆粒噪聲可能包括不同種類的相關性，例如，空間相關性、或色間相關性。結合以上的描述，在抽樣步驟410上選擇同質區域的斑塊。在選擇步驟420上選擇膠片顆粒噪聲的信號依賴噪聲模型的噪聲函數。在第一估計步驟430上估計信號依賴噪聲模型參數。在第二估計步驟440上估計自回歸模型參數，以下的典型自回歸模型被考慮用來模擬膠片顆粒噪聲 其是一個3維自回歸模型，包括2維空間相關性(i，j)和1維色間相關性(c)。在等式(7)的一個實施例裡，假設膠片顆粒噪聲在整個圖像上有相同的特徵，從而少量係數用於自回歸模型。在另一個實施例裡，依照經驗結果，(i』，j』，c』)值被預設為(1，0，0)，(0，1，0)，(1，1，0)，(-1，1，0)，(2，0，0)，(0，2，0)，(2，2，0)，(-2，2，0)，(0，0，1)，其產生一個光柵掃描序列(raster scanningorder)的因果濾波(causal filter)，並提高噪聲產生的效率。在3維自回歸模型的另一個實施例裡，在膠片顆粒噪聲的方向對稱性假設下，自回歸模型參數是對稱的，意味著a1，0，0＝a0，1，0，a1，1，0＝a-1，1，0，a2，0，0＝a0，2，0和a2，2，0＝a-2，2，0。從而，進一步減少自回歸模型參數數目。
圖5顯示模擬膠片顆粒噪聲方法的另一個實施例的流程圖。結合以上的描述，在抽樣步驟510上選擇同質區域的斑塊。然後在選擇步驟520上選擇膠片顆粒噪聲的信號依賴噪聲模型的噪聲函數。在第一估計步驟530上估計信號依賴噪聲模型的其他參數。在第二估計步驟540上估計自回歸模型參數。在一個實施例裡，在第一估計步驟530上，在視頻序列的每個場景而不是每個幀上估計信號依賴噪聲模型參數，從而節省成本如運算時間。通過比較這些幀之間的相關性，檢測相同場景的幀，如果它們是高度相關的，則被看作屬於相同的場景。然而，為了獲取相同場景的每個幀之間的信號依賴噪聲的細微差別，在一個實施例裡，通過乘以一個幀級別噪聲強度自適應因子k，按比例縮放(scaling)被應用到信號依賴噪聲。在第三估計步驟550，幀級別噪聲強度自適應因子k依照以下等式進行估計 結果，膠片顆粒噪聲的信號依賴特徵和相關性特徵在以下產生膠片顆粒噪聲的等式裡獲得，n(i，j，c)也被當作信號依賴自回歸噪聲 圖6顯示一種應用膠片顆粒噪聲到視頻信號的方法的流程圖。如上所述，膠片顆粒噪聲是由一個信號依賴性部分和一個相關性部分組成，如等式(9)，相關性部分是通過自回歸進行模擬的。在獲得步驟610上獲得噪聲模型參數，例如，依照預設值或以上估計方法獲得的結果。基於噪聲函數選擇和輸入視頻信號，在第一產生步驟620上產生信號依賴性部分k·f(x)γ·n。基於輸入視頻信號，在第二產生步驟630上產生自相關性部分然後在應用步驟640上，依照等式(9)，結合兩個部分，將膠片顆粒噪聲應用到輸出視頻信號。
圖7顯示將膠片顆粒噪聲應用到一個信號的系統的結構模塊示意圖。系統包括在傳輸端的第一視頻處理裝置和在接收端的第二視頻處理裝置。
在傳輸端，第一視頻處理裝置包括一個編碼器710和一個處理器720。輸入視頻711流入編碼器710進行編碼以產生一個編碼視頻717。編碼器710能夠解碼編碼視頻717，以提供一個重建視頻713。在一個實施例裡，重建視頻713與輸入視頻711一起被送到處理器720，以按照等式(9)建立膠片顆粒噪聲模型。處理器720執行的是以上所述的模擬膠片顆粒噪聲的方法。在等式(9)內的未知參數就是噪聲參數715，在等式(9)內函數f(x)就是噪聲函數716。選擇合適的噪聲函數716，並由噪聲函數標識符716表示。噪聲函數如何選擇和怎樣確定噪聲函數參數715如上所述。處理器720依照如上所述的信號依賴噪聲模型和自回歸模型估計噪聲參數715。處理器720輸出噪聲函數標識符716和噪聲參數715到編碼器710，而編碼器710將具有噪聲函數標識符716和噪聲函數參數715的輸入視頻711編碼到編碼信號717內。
在接收端，第二視頻處理裝置包括一個解碼器730和一個噪聲產生器740。在接收到來自編碼器710的編碼信號之後，解碼器730將編碼信號717解碼，輸出一個沒有膠片顆粒噪聲、噪聲參數715和噪聲函數標識符716的解碼視頻735。同時，解碼器730也提供解碼視頻735、噪聲函數標識符和噪聲函數參數715到噪聲產生器740。噪聲產生器740依照等式(9)產生膠片顆粒噪聲，並將膠片顆粒噪聲應用到解碼視頻735，輸出一個具有噪聲745的解碼視頻735。
在一個實施例裡，之前描述的模擬膠片顆粒噪聲的方法可以被應用作為一種產生膠片顆粒噪聲到數字視頻信號的方法。圖8顯示一種產生膠片顆粒噪聲到數字視頻信號的方法的流程圖。在獲取步驟810上，獲取數字源視頻。在產生步驟820上，膠片顆粒噪聲被添加到數字源視頻，而添加的膠片顆粒噪聲是依照以上所述的模擬膠片顆粒噪聲的方法產生。在輸出步驟830上，輸出有膠片顆粒噪聲的數字輸出視頻。
圖9A顯示應用膠片顆粒噪聲之前的沒有膠片顆粒噪聲的示範圖像。這是一個圖8內獲取步驟810上數字源視頻裡一個幀的例子。在圖像內存在三個同質區域，它們被標識為內環912、內正方形914和外正方形916。圖9B顯示應用膠片顆粒噪聲之後的具有膠片顆粒噪聲的示範圖像。這是一個圖8內輸出步驟830上輸出的數字輸出視頻裡一個幀的例子。從圖中可以發現，在低亮度區域如外正方形926與高亮度區域如內環922的膠片顆粒噪聲不太明顯，而在中亮度區域如內正方形924上的膠片顆粒噪聲更明顯。
本發明優選實施例的描述不是排他性的，對本領域技術人員而言，任何更新或修正是顯而易見的，所以參照附加權利要求以便確定本發明的範圍。
工業應用 披露的方法和設備可以適用於視頻信號處理。而且，本發明可用於在視頻編碼器如AVS(音視頻編解碼標準)和任何未來多媒體標準內的膠片顆粒噪聲產生。
權利要求
1.一種產生數字視頻膠片顆粒噪聲的方法，包括
獲取數字源視頻；
產生數字視頻膠片顆粒噪聲到數字源視頻內；和
產生加入有所述數字視頻膠片顆粒噪聲的數字輸出視頻。
2.根據權利要求1所述的產生數字視頻膠片顆粒噪聲的方法，還包括
在獲取數字源視頻之後，選擇一個或多個噪聲函數；和
估計一個或多個信號依賴噪聲模型參數。
3.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，其中
為每個幀選擇噪聲函數。
4.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，其中
為每個色彩空間選擇噪聲函數。
5.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，其中
所述一個或多個噪聲函數是由噪聲函數標識符表示。
6.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，還包括
在選擇一個或多個噪聲函數之後，抽樣選取同質區域的一個或多個斑塊；和
通過一個離線方法計算所述一個或多個信號依賴噪聲模型參數。
7.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，還包括
在選擇一個或多個噪聲函數之後，抽樣選取同質區域的一個或多個斑塊；和
通過一個在線方法計算所述一個或多個信號依賴噪聲模型參數。
8.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，其中
對相同場景的每個幀，所述一個或多個信號依賴噪聲模型參數是完全相同的。
9.根據權利要求1所述的產生數字視頻膠片顆粒噪聲的方法，還包括
在估計所述一個或多個信號依賴噪聲模型參數之後，對每個幀選擇一個幀級別噪聲強度自適應因子；並通過幀級別噪聲強度自適應因子按比例縮放所述一個或多個噪聲函數。
10.根據權利要求1所述的產生數字視頻膠片顆粒噪聲的方法，還包括
獲得一個或多個自回歸模型參數。
11.根據權利要求1所述的產生數字視頻膠片顆粒噪聲的方法，其中
所述一個或多個自回歸模型參數是相互對稱且相等的。
12.根據權利要求2所述的產生數字視頻膠片顆粒噪聲的方法，還包括
根據所述一個或多個信號依賴噪聲模型參數，產生信號依賴噪聲；和
基於所述信號依賴噪聲，根據所述一個或多個自回歸模型參數，產生信號依賴自回歸噪聲。
13.根據權利要求12所述的產生數字視頻膠片顆粒噪聲的方法，還包括
將所述信號依賴自回歸噪聲應用到數字視頻信號。
14.一種視頻處理裝置，包括
一處理器，被配置以通過多個噪聲函數模擬膠片顆粒噪聲；和
一編碼器，被配置以編碼來自所述處理器的具有多個輸出的視頻。
15.根據權利要求14所述的視頻處理裝置，其中
所述處理器輸出多個噪聲函數標識符以表示所述多個噪聲函數。
16.根據權利要求14所述的視頻處理裝置，其中
所述處理器估計多個噪聲參數，以模擬所述膠片顆粒噪聲的一個信號依賴性部分。
17.根據權利要求14所述的視頻處理裝置，其中
所述處理器估計多個噪聲參數，以模擬所述膠片顆粒噪聲的一個自相關性部分。
18.一種視頻處理裝置，包括
一解碼器，被配置以解碼信號到輸出視頻，多個噪聲函數標識符和多個噪聲參數；和
一噪聲產生器，被配置以根據所述多個噪聲函數標識符和所述多個噪聲參數產生膠片顆粒噪聲。
19.根據權利要求18所述的視頻處理裝置，其中
所述噪聲產生器根據所述多個噪聲函數標識符選擇多個噪聲函數。
20.根據權利要求18所述的視頻處理裝置，其中
所述噪聲產生器將所述膠片顆粒噪聲應用到所述視頻。
全文摘要
本發明涉及一種模擬膠片顆粒噪聲的方法和系統。模擬的膠片顆粒噪聲被應用到視頻信號。通過考慮膠片顆粒噪聲的信號依賴性430和自相關性440，產生一個更理想的模型來模擬膠片顆粒噪聲。而且，通過使用本發明的方法和系統，可以提高模擬膠片顆粒噪聲的效率和靈活性。
文檔編號H04N11/04GK101778300SQ20091025234
公開日2010年7月14日 申請日期2009年11月26日 優先權日2008年12月5日
發明者劉雨, 鄭嘉雯, 火焰, 王陸 申請人:香港應用科技研究院有限公司