從不具有參考的源測量噪聲並產生圖片質量預測的方法
2023-04-25 11:53:36 1
專利名稱：從不具有參考的源測量噪聲並產生圖片質量預測的方法
技術領域：
本發明涉及在沒有參考可用時預測主觀圖片質量的系統和方法，並且更特別地，涉及從不具有參考的源測量噪聲並產生圖片質量預測的方法和系統。
背景技術：
諸如網絡和電纜TV公司的視頻廣播公司從內容提供商和局部TV站接收巨量的視頻數據以便轉播給觀看者。由於廣播公司原來自己並不產生視頻，所以其在接收到視頻之前通常不知道其質量。然而，當發行了差質量的視頻時，最終用戶顧客常常直接向廣播公司抱怨差質量的視頻，無論下降的源如何。因此，一直需要這些廣播公司以及其他評估視頻並以符合其「黃金眼」內部觀看者和客戶評價的主觀質量標度來對其評估。
視頻行業創造了預測視頻中的主觀質量的工具，但這些工具具有限制。通常，當比較級聯處理的視頻時，例如其視頻損傷可能由不止一個源(諸如用不同的參數對視頻進行壓縮、解壓縮、然後再壓縮)引起的那些，這些工具處於不利地位。更重要的是，由於這些工具通常被設計為測量用於特定過程的下降，諸如跨越不完美信道的壓縮或傳輸，所以該工具要求訪問以原始和下降兩種形式的視頻以能夠進行比較。在通過引用結合到本文中的美國專利 6，975，776「Predicting Human Vision Perception and Perceptual Difference，，中描述了示例過程。然而，在其中廣播公司從第三方源接收視頻的方案中，只有單個視頻是可用的，沒有參考來與之比較。面對面(side-to-side)視頻比較工具還努力在其中原始(參考)視頻是甚至非常準確的再現都具有差的質量的如此差的質量的情況下產生準確的主觀質量測量結果。例如，當原始視頻具有諸如柔化、噪聲、差的或無色彩、差的對比度、剪輯的黑色和白色等的差的質量因素時，甚至極其準確的拷貝將看起來很差，並且受到最終用戶的抱怨。其它現有技術工具測量特定的損傷，諸如由宏塊邊界不連續性引起的塊偽像、細節損失、柔化、噪聲，然後將其加在一起以產生觀看者的平均意見得分(M0S)。然而，這些方法的準確度通常由於人的感覺和認知兩方面的視覺響應的不夠準確的表示而受到限制。本發明的實施例解決了現有技術的這些及其它限制。
發明內容
根據本發明的一個方面，涉及一種從單個參考產生主觀圖片質量的預測的方法，包括在單個輸入端處接受一個或多個視頻幀；測量一個或多個視頻幀內的一系列局部損傷；將所述一系列局部損傷聚合以產生用於所述一個或多個視頻幀中的每一個的局部損傷差別圖像；將局部損傷差別圖像與最初接受的一個或多個視頻幀中的相應幀組合以產生偽參考；以及將最初接受的一個或多個視頻幀與偽參考進行比較以產生主觀圖片質量的預測。根據本發明的另一方面，涉及一種在沒有參考的情況下測量被測試的視頻的一個或多個局部損傷的方法，該方法包括接受被測試的視頻的視頻數據；產生視頻數據的一部分的高頻部分的局部表示；產生視頻數據的所述一部分的局部均方噪聲振幅；選擇最小局部均方噪聲振幅作為在採樣周期期間的最小平方噪聲振幅；補償所選最小局部平方噪聲振幅；以及將已補償局部平方噪聲振幅呈現為測量損傷。其中，所述在沒有參考的情況下測量被測試的視頻的一個或多個局部損傷的方法，還包括在補償之前對一個或多個最小局部平方噪聲振幅求平均以產生均方噪聲振幅。其中，所述在沒有參考的情況下測量被測試的視頻的一個或多個局部損傷的方法，還包括在將已補償振幅測量結果呈現為測量損傷之前將已補償振幅測量結果轉換成dB測量結果。其中，所述補償噪聲振幅包括接受功率譜密度的選擇以在補償期間使用。其中，所選功率譜密度是白噪聲的密度。其中，所選功率譜密度是粉紅噪聲的密度。其中，產生視頻數據的一部分的高頻部分的局部表示包括利用具有al=l-bO的係數的IIR濾波器對視頻數據進行濾波。根據本發明的又一方面，涉及一種視頻測量設備，包括視頻輸入端，其用於接受要測試的視頻；局部損傷測量器，其被構造為測量被測試視頻的一個或多個視頻幀內的一個或多個損傷；損傷發生器，其被構造為從測量的局部損傷產生局部損傷差別圖像；以及偽參考視頻發生器，其被構造為從來自測試視頻和來自損傷發生器的輸出的組合產生偽參考視頻。 根據本發明的再一方面，涉及一種用於在沒有參考視頻的情況下測量被測試視頻的一個或多個幀的一個或多個局部損傷的局部損傷測量器，該局部損傷測量器包括視頻輸入端，其用於接受被測試的視頻；高通濾波器塊，其被構造為產生被測試視頻的幀的當前部分的高頻的局部表示；低通濾波器塊，其被構造為從高通濾波器塊接受已修改信號並產生被測試視頻的幀的當前部分的噪聲振幅；最小化器，其被構造為在測試時段期間選擇來自低通濾波器塊的輸出的最小噪聲振幅；以及帶寬補償器，其被構造為產生被測試視頻的噪聲的估計的輸出。其中所述局部損傷測量器還包括求平均處理器，其被構造為由從最小化器接收到的最小化噪聲振幅產生均方噪聲振幅。其中，所述高通濾波器塊包括低通水平濾波器和處理器，該處理器被構造為將來自低通水平濾波器的輸出與從被測試視頻接收到的信號組合。其中，所述低通濾波器塊包括高通濾波器塊的低通水平濾波器。其中，所述高通濾波器塊包括水平、垂直和時間濾波器。其中，所述水平和垂直濾波器是具有al=l-b0的係數的空間、雙向IIR濾波器。其中，所述時間濾波器是具有al=l-b0的係數的雙向IIR濾波器。
圖I是根據現有技術的包括內容提供商、廣播公司和用戶的視頻遞送系統的框圖。圖2是舉例說明根據本發明的實施例的使用單個輸入的示例質量預測系統的框圖。圖3是根據本發明的實施例的在沒有參考可用時預測主觀圖片質量的示例方法的流程圖。圖4是根據本發明的實施例的測量視頻的一個或多個幀的局部損傷的系統的功能框圖。圖5是根據本發明的實施例的測量視頻的一個或多個幀的局部損傷的示例方法的流程圖。圖6是舉例說明根據本發明的實施例的高通濾波器布置的功能框圖。圖7A是被用於舉例說明本發明的概念的基礎圖像。圖7B是從向圖7A的圖像添加給定量的白噪聲得到的圖像。圖7C是舉例說明根據本發明的實施例的當圖7B的圖像通過一系列高通濾波器時的輸出的圖像。圖7D是舉例說明根據本發明的實施例的當圖7C的圖像通過一系列低通濾波器時的輸出的圖像。
具體實施例方式本發明的實施例針對一種用於在沒有參考可用時預測主觀圖片質量的系統和方法。有時將其稱為無參考測量，因為只有單個視頻流可用於測量，所以使得不可能針對參考視頻流直接對視頻流進行測量。圖I是常規視頻遞送系統100的框圖。在本示例中，從內容提供商102向發行公司110發送諸如電影或電視節目之類的起始內容。為了方便起見，將內容稱為視頻，雖然內容可以包括幾乎任何類型的數字數據。內容提供商可以通過在諸如磁碟或磁碟組的介質上遞送一個或多個文件來遞送視頻的物理拷貝，其可以是上述電影或電視節目。然而，由於物理遞送必須包括要產生物理介質的費用和運輸延遲，所以這種遞送方法不再被廣泛地使用。更常見地，通過衛星饋送、諸如微波傳輸的地面波束或通過網際網路(如果在提供商102與發行公司之間存在足夠的帶寬的話)來向發行公司110遞送視頻。發行公司110將視頻打包以便遞送給其用戶120，這可以包括將視頻壓縮、將其剪接以插入廣告及其它局部插入信息等。然後，發行公司110將已修改視頻傳輸給其用戶120，用戶120可以在電視、行動裝置或其它屏幕上觀看最終產品視頻。例如，傳輸可以是通過同軸電纜(諸如在電纜電視的情況下)、雙扭線電話線、通過無線連接或通過網際網路。如上所述，發行公司110期望以令其用戶120滿意的質量來遞送其視頻。為了判斷質量，發行公司110通常將接收到的視頻內容與傳輸的視頻內容相比較。從內容提供商102接收到的視頻可能由於由發行公司110執行的處理(諸如壓縮或其它過程)而不同於被傳輸給最終用戶120的視頻。然而，當從內容提供商接收到的視頻的質量是未知的時，難以評定發行公司110能夠在仍保持足夠高的質量以令其最終用戶120滿意的同時執行多少壓縮或其它過程。因此，需要發行公司110本身確定輸入視頻的質量，其按照定義不具有將與之相比較的參考。本發明的實施例產生來自視頻輸入的單個源的視頻質量評價。使測量數字視頻的幀內的噪聲變得困難的因素之一是不同於包括無數據的消隱間隔(在此期間可以測量噪聲)的模擬信號，數位訊號通常不具有此類消隱時段。參考圖2和3，可以由發行公司或 希望評估接收到的視頻的其它實體或個人在過程150中接收視頻輸入132。過程160然後測量視頻的幀的特定區域內的一個或多個損傷，諸如噪聲、蚊式噪聲、阻塞、模糊、振動、定幀、鋸齒狀圖形和響聲等。可以將該區域定義為例如一個或多個單獨像素、塊、多個塊或整個幀。參考圖2，局部損傷測量器(measusrer) 134可以是在編程硬體上運行以測量損傷的過程，諸如下文參考圖4至7D詳細地描述的測量系統。
在測量了局部損傷中的一個或多個之後，損傷發生器138在過程170中從測量的損傷構建局部損傷差別圖象(「不同的圖像」)。產生差別圖像的一個方式是從有效的消隱記錄、即完全灰色的幀開始產生差別圖像。使用這種方法，由於測量每個局部損傷，所以向原始灰色幀添加相同量的損傷。例如，如果由局部損傷測量器134在原始視頻的某個區域中測量到40dB的噪聲，則將40dB的噪聲添加到用於灰色幀的相同的某個區域的差別圖像。同樣地，如果測量到23%的丟失細節，則產生23%的「細節」並從灰色幀減去該23%的「細節」。可以例如通過產生隨機噪聲、不精確圖像重構、邊緣錯誤轉換及其它方法來產生丟失細節。將在局部基礎(用於噪聲的像素、用於塊相關損傷的塊等)的其位置上測量的所有局部損傷聚合以產生全差別圖像。產生差別圖像的另一方式根本不使用灰色幀，而是將對測量的局部損傷的改善應用於從視頻輸入132導出的原始信號，並從原始輸入視頻幀減去結果得到的圖像以產生差別圖像。再次地，從所有局部損傷測量結果的合併產生全差別圖像。一旦產生了差別圖像，則無論其被產生的方式如何，在過程180中將其與原始視頻輸入組合以產生偽參考視頻。參考圖2，可以在組合器140中執行組合。實際上，組合器140可以是從原始視頻減去差別圖像且結果得到的視頻是偽參考視頻的差別化過程，雖然將原始視頻輸入132組合成差別圖像的其它方法也是可能的。一旦產生了偽參考視頻，則將原始視頻和偽參考視頻兩者提供給全參考視頻質量預測器144，其可以結合在上文結合的『776專利中的系統和方法以產生最終視頻質量評價。在某些實施例中，最終視頻質量評價包括平均意見得分。該最終輸出質量評價然後可以用於發行公司110以判定如何處理輸入視頻內容。例如，如果輸入視頻已是差的，則發行公司110可以不將視頻壓縮以其他方式將進行的那樣多。另外，如果質量非常差，則可以立刻拒絕該視頻並要求內容提供商102提供質量更好的視頻。現在參考圖4，示出了局部損傷測量系統200，其可以是圖2的局部損傷測量器134的示例實施例。損傷測量系統200接受單個視頻輸入，或者在某些情況下接收單個圖像，並產生輸出，該輸出是上水平、垂直和時間頻率的交集中的在空間和時間上的最小方差的估計加性噪聲的度量。在接受被測試的視頻的輸入之後，首先通過高通濾波器塊210中的一個或多個高通濾波器對視頻進行濾波。通常，在各個高通濾波器212、214和216中在三個維度一水平、垂直和時間上執行濾波。靜態圖像在時間上將不被濾波，因為其不隨著時間的推移而改變。可以在四個維度上對三維電影進行濾波，對於X、Y和Z維度中的每一個的一個濾波器，加上時間濾波器。高通濾波器塊210的輸出是視頻圖像的AC部分的局部表示。此輸出具有按照定義的零均值。此外，可以通過調整三個濾波器212、214、216中的每一個的低通截止頻率來控制測量的局部性。然後在將濾波器塊210的輸出傳遞至低通濾波器塊230之前在求平方過程220中以數學方式對其求平方。濾波器塊230然後通過一個或多個低通濾波器232、234和236對求平方過程220的輸出進行濾波以獲得視頻的局部均方AC振幅。此局部均方AC振幅表示被測試的視頻的局部方差。最小化過程240確定三維空間內的每個測量採樣的最小方差以找到用於每個採樣周期的空間和時間上的最小局部方差。例如，採樣周期可以是O. I秒且最小化過程240將在每個周期產生輸出(並使其本身復位)。然後可以在多幀求平均過程250中對來自最小化過程240的採樣周期期間的最小局部方差值求平均值以產生均方噪聲(方差)振幅。為了然後估計在測量帶寬之外的噪聲，可以在補償器260中對求平均過程250的輸出進行帶寬補償。例如，可以將在幀的一部分中測量的噪聲擴展至滿幀。然後可以在過程270中將噪聲的帶寬補償估計轉換成dB，或者可以直接從補償器260輸出。現在更詳細地描述上述的每個過程。參考圖5，流程300通過在過程310處接受被測試的視頻的視頻流開始。在過程320中，將每個維度上的視頻的AC分量隔離，這也是陳述在每個維度上去除了 DC分量的另一方式。如上所述，不對靜態圖像進行時間濾波，因為不存在要濾波的時間分量。通過使被測試的視頻通過級聯的一系列高通濾波器(諸如圖4所示的那些)來完成去除AC分量。在圖6中示出了單個高通濾波器410的一般化型式。高通濾波器410首先使輸入視頻信號通過低通濾波器412以去除高頻。然後，組合器/減法器416將低通濾波器412的輸出與原始輸入視頻信號相比較並基於該比較去除原始信號的低頻部分。這產生高通濾波器410的結果得到的輸出，其為原始輸入視頻信號的僅AC分量的隔離。實際上，可以用雙向、固定、無限脈衝響應(IIR)濾波器來實現高通濾波器212、214、216。濾波器的優選實施例包括(al=l-b0)個IIR濾波器，其中，空間濾波器是雙向的，但時間濾波器不是。可以使用的示例濾波器包括在通過引用結合到本文中的US 6，907，143中描述的那些。可以將低通濾波器係數選擇為具有與使期望信號通過並拒絕高頻噪聲的最佳組合相對應的通帶。當然，精確值是實施方式特定的，並且取決於解析度、視頻源、諸如向上或向下採樣、圖形插入等視頻處理。採樣頻率的大約％的截止頻率通常是用於濾波器選擇的良好起始點。實際上，局部損傷測量系統200與諸如在US 6，433，819中描述的塊求平均、連續(runing)塊求平均或使用FIR濾波或單向IIR濾波器的系統相比是計算效率和準確度方面的巨大改進。參考圖7A、7B、7C和7D，圖7A是用來解釋本發明的概念的基礎測試圖像。圖7B是圖7A的測試圖像，其具有被具體地向其添加的一定量的噪聲，使得當該噪聲被局部損傷測量器200測量到時，能夠將最終答案返回與作為測量系統準確度的測試添加的噪聲水平相比較。稍稍超過_20dB的噪聲被添加到圖7A中的視頻的清空幀以產生圖7B。圖7C是使用圖7B的圖像作為到圖2的局部損傷測量器200的高通濾波器210的輸入且然後將該結果添加到灰色圖像使得其可以被看到的輸出。請注意，低頻變化(諸如空中的大面積亮度差)相對於圖7B的圖像被衰減。在已在過程320中將AC分量隔離之後，在過程320 (圖5中)對局部AC信號求平方，然後在過程340中通過一系列低通濾波器進行濾波以獲得視頻的局部均方AC振幅。此局部均方AC振幅表示局部方差。在某些實施例中，圖4的低通濾波器232、234和236是構成各個高通濾波器212、214、216的組件的精確低通濾波器。更具體地，回想例如低通水平濾波器232是高通濾波器212中的組件，如圖6所示。因此，在低通濾波塊230中也使用相同的低通濾波器。低通濾波器塊的輸出是視頻 採樣的空間和時間上的局部方差。圖7D是圖7C所示的逐個採樣求平方高通濾波的圖像的低通濾波器輸出的直觀表示。因此，圖7D是局部方差的視覺表示。
在過程350中通過找到三維空間內的局部方差的最小值來確定最小值。在確定了最小值之後，在過程360中對多個幀求平均。求平均過程360可以包括連續平均、IIR或適合於期望更新速率的其它濾波器方法。自適應IIR可能最適合於產生均方噪聲或方差、振幅的估計。在靜態圖像的情況下，幀平均值的結果與其輸入一單個採樣相同。過程370通過基於被用來估計噪聲測量結果的視頻帶寬的百分比來補償測量結果而修改求平均過程的輸出。將高通濾波器210的帶寬計算為整個視頻帶寬的比值以補償被高通濾波器阻擋的那部分視頻信號。可以以本領域中已知的許多方式來確定此百分比。例如，將每個濾波器的輸出 端對比輸入端的功率輸出比值相乘以產生複合功率比值，並且然後使用該比值來增加由求平均過程360給出的估計輸出。為了產生該比值，由用戶利用到帶寬補償器260的輸入來進行要使用哪個功率譜密度的選擇。例如，白噪聲的功率譜密度在頻率響應內基本上是恆定的，而粉紅噪聲的功率譜密度基本上是Ι/f。使用諸如白噪聲、粉紅噪聲、布朗噪聲或其他所選功率譜密度則允許帶寬補償器260將測量的噪聲外推至整個幀以進行準確測量。在最終可選過程380中，可以將過程380的帶寬補償測量輸出轉換成諸如dB的標準測量結果以便顯示給用戶。在其中圖4的測量電路200僅僅是較大系統(諸如圖2的圖片質量預測系統)的組件時，可以不轉換測量結果，而是直接傳遞至損傷發生器138。可以在諸如專用集成電路(ASIC)的計算機硬體中或在作為在專用或通用處理器上運行的進程的軟體中實現本發明的實施例。通常，系統將使用多種實現方法，其中，某些部分在特殊化硬體(諸如編程的現場可編程門陣列(FPGA))上操作，而其它部分作為在通用處理器(諸如加利福尼亞州聖克拉拉市的INTEL公司的處理器)上運行的軟體操作。可以在各種產品中體現本發明，諸如在一個或多個輸入端中接受一個或多個視頻信號、對信號執行各種測量過程以及以監視器上的顯示或輸出文件中的數據的形式產生輸出的波形監視器。同樣地，本發明的實施例可以在圖片質量分析器中出現，其可以接受一個或多個圖像作為輸入，對圖像執行各種測量過程，並產生用於在監視器上顯示或被存儲為輸出文件的輸出。此類監視器和分析器包括用於與用戶交互的各種輸入，諸如能夠使用諸如鍵盤、滑鼠、觸控板、選擇旋鈕和按鈕等輸入端來導航和選擇的菜單。雖然以上描述是參考二維圖像或視頻信號給出的，但可以在其中信號和噪聲具有統計地局部化頻譜分離的其它應用中使用本發明的實施例。例如，這些技術可以在諸如音頻或RF傳輸的單信道上使用。同樣地，這些方法和技術可以應用於具有任何任意數目的維度的信號，諸如與時間分量組合的三個空間維度，即隨時間的推移而變的三維圖像。因此，鑑於對本文所述實施例的很多種變更，該詳細描述和所附材料意圖僅僅是說明性的，並且不應將其作為限制本發明的範圍。因此，被作為本發明要求保護的是可以在以下權利要求及其等價物範圍和精神內的所有此類修改。
權利要求
1.一種從單個參考產生主觀圖片質量的預測的方法，包括 在單個輸入端處接受一個或多個視頻幀； 測量一個或多個視頻巾貞內的一系列局部損傷； 將所述一系列局部損傷聚合以產生用於所述一個或多個視頻幀中的每一個的局部損傷差別圖像； 將局部損傷差別圖像與最初接受的一個或多個視頻幀中的相應幀組合以產生偽參考；以及 將最初接受的一個或多個視頻幀與偽參考進行比較以產生主觀圖片質量的預測。
2.根據權利要求I所述的從單個參考產生主觀圖片質量的預測的方法，其中，測量一系列局部損傷包括測量所述一個或多個視頻幀內的噪聲。
3.根據權利要求I所述的從單個參考產生主觀圖片質量的預測的方法，其中，測量一系列局部損傷包括測量所述一個或多個視頻幀中的當前幀的塊中的損傷。
4.根據權利要求3所述的從單個參考產生主觀圖片質量的預測的方法，還包括測量當前幀的一個或多個像素中的損傷。
5.根據權利要求I所述的從單個參考產生主觀圖片質量的預測的方法，其中，將所述一系列局部損傷聚合以產生局部損傷差別圖像包括將所述一系列局部損傷添加到統一的視頻幀。
6.根據權利要求I所述的從單個參考產生主觀圖片質量的預測的方法，其中，將所述一系列局部損傷聚合以產生局部損傷差別圖像包括 測量當前視頻幀的噪聲； 將當前視頻幀中的噪聲添加所測量的量；以及 從原始當前視頻幀減去具有所添加的噪聲的視頻幀。
7.根據權利要求I所述的從單個參考產生主觀圖片質量的預測的方法，其中，主觀圖片質量的預測是平均意見分數。
8.一種視頻測量設備，包括 視頻輸入端，其用於接受要測試的視頻； 局部損傷測量器，其被構造為測量被測試視頻的一個或多個視頻幀內的一個或多個損傷； 損傷發生器，其被構造為從測量的局部損傷產生局部損傷差別圖像；以及偽參考視頻發生器，其被構造為從來自測試視頻和來自損傷發生器的輸出的組合產生偽參考視頻。
9.權利要求8的視頻測量設備，還包括全參考視頻質量預測器，其被構造為接受被測試視頻和偽參考視頻作為輸入並產生被測試視頻的主觀圖片質量的預測。
10.權利要求9的視頻測量設備，其中，主觀圖片質量的預測包括平均意見分數。
11.權利要求8的視頻測量設備，其中，所述局部損傷測量器被構造為測量被測試視頻的至少一個幀的噪聲、蚊式噪聲、響聲、模糊、振動、定幀、鋸齒狀圖形和阻塞效應中的至少一個。
全文摘要
本發明涉及從不具有參考的源測量噪聲並產生圖片質量預測的方法。本發明的實施例包括在不使用第二視頻作為參考的情況下產生被測試視頻的諸如MOS的質量評價預測的系統和方法。作為使用參考視頻的替代，本發明的實施例通過測量被測試視頻的局部損傷來產生偽參考視頻。然後將局部損傷累加以產生差別圖像。然後從被測試視頻減去差別圖像以產生偽參考，將被測試視頻與該偽參考相比較以產生質量預測評價。在某些實施例中，可以通過將來自被測試視頻的高頻噪聲從視頻本身分離來測量局部損傷。一旦被分離，則測量噪聲並進行帶寬補償以產生測量的局部損傷。
文檔編號G06T5/20GK102622734SQ20111042008
公開日2012年8月1日 申請日期2011年12月15日 優先權日2010年12月15日
發明者K.M.費爾古森 申請人:特克特朗尼克公司