通過自適應峰值增強視頻序列銳度的製作方法
2023-11-10 23:25:02 1
專利名稱：通過自適應峰值增強視頻序列銳度的製作方法
技術領域：
本發明所聲明的實現總的涉及增強視頻信息的方案，尤其涉及改變視頻信息銳度的方案。
背景技術：
視頻信息可以經由介質在時間和/或空間內傳輸，以便在分開的時間和/或位置上觀察。在某些情形中，介質可以是傳輸介質，諸如載波(例如，陸上和/或電纜載波)或基於協議的數據網絡。在某些情形中，介質可以是在其播放前存儲視頻信息的存儲介質(例如，磁帶、硬碟、數字視頻盤(DVD)等等)。通常在傳輸之前將視頻數據編碼成眾多格式之一。這些編碼格式可包括但不限於MPEG-1、MPEG-2、MPEG-4、高級視頻編碼(AVC)(例如，MPEG-4、part 10和ITU-T RecommendationH.264)、Windows Media Video 9(WMV-9)和/或SMPTE的VC-1。
視頻信息的這些編碼會移除(例如，通過量化等)原始視頻信息內的某些高頻內容。播放時，經解碼信息會平滑和/或有些模糊地出現。該現象不僅在經編碼的視頻數據中出現，還可出現在例如由傳輸路徑中的阻礙所引起的模擬視頻傳輸中。於是就希望能夠增加所接收和/或解碼數據的銳度，以改善其被感知圖像的質量。
為了進一步介紹銳化視頻的概念，將參考圖1A和圖1B討論一維示例。視頻序列中的圖象可例如包括在水平和垂直方向上都採樣的亮度(luma)和色度信號(例如，Y、U和V)。當圖像在某一區域內大致均勻時，採樣值會基本相同。然而，當圖象內存在邊緣(例如，水平邊緣)時，水平方向內的採樣值可能會經歷值的突變。圖1A示出在多個像素上有一些突變的亮度值的一維曲線110。
為了銳化視頻信號，會通過向其本身增加曲線110的二階導數(例如，d2Y/dx2)而在信號(例如，Y、U或V)內產生過衝/反衝(overshoot/undershoot)。圖1B示出通過添加反衝130和過衝140而變得尖銳的曲線120。添加過衝/反衝140/130可放大所感知的更高頻分量。因為曲線120的邊緣比曲線110的陡峭，則其轉換可被感知為在視覺上比未被銳化的曲線110更尖銳。
儘管如此，用於增加視頻信息銳度的某些方案也可能將視頻信息內的噪聲增加至不可接受的水平。
結合其中並組成本說明書一部分的附圖示出了符合本發明原理的一個或多個實現，並連同該說明書解釋這些實現。附圖無需按比例繪出，而著重於示出本發明的原理。在附圖中圖1A和圖1B概念性地示出了視頻信號的銳化；圖2示出了視頻顯示系統的一部分；圖3示出了在圖2所示系統中的一個典型的銳化模塊；圖4概念性地示出了一個卷積核實例；圖5示出了圖3所示銳化模塊中一個典型的放大器的增益特性曲線；圖6示出了圖3所示銳化模塊中另一個典型放大器的增益特性曲線；以及圖7示出了選擇性改變視頻數據銳度的典型過程。
具體實施例方式
隨後的細節描述涉及附圖。在不同附圖中使用的相同標號表示相同或類似的元件。在隨後的描述中，為了解釋而非限制，將闡述諸如特定結構、體系結構、接口和技術等等的具體細節以提供對本發明所聲明各方面的透徹理解。但是對於從本公開中獲益的本領域普通技術人員來說顯而易見的是，可以在不同於這些特定細節的其他示例中實現本發明所聲明的各方面。在某些實例中，將略去對已知設備、電路和方法的描述以免用不必要的細節混淆對本發明的描述。
圖2示出了視頻顯示系統200的一部分。系統200可接收來自任何合適介質的視頻信息，包括但不限於各種傳輸和/或存儲介質。雖然為了解釋方便示出了單獨的功能單元，但是系統200的任何或所有元件都可被放置在一起和/或由一組公共的門和/或電晶體實現。此外，系統200的實現可以經由軟體、固件、硬體和/或它們的任意適當組合。
圖2中示出的部分顯示系統200可包括解碼器210、銳化模塊220、一個或多個信號調節器230以及顯示緩衝器240。在某些實現中，解碼器210可解碼經編碼的視頻數據以產生用於進一步處理的視頻數據流。解碼器210可以解碼以多種方案編碼的數據，這些方案包括但不限於MPEG-1、MPEG-2、MPEG-4、高級視頻編碼(AVC)(例如，MPEG-4、part 10和ITU-T Recommendation H.264)、Windows MediaVideo 9(WMV-9)和/或SMPTE的VC-1。
在某些實現中，解碼器210可以包括解調器，例如用於接收模擬信號。該解調器通過從所接收的調製信號中提取視頻流，可以執行與數字解碼器類似的功能。在其他實現中，解碼器210可以包括可期望提取能被銳化模塊使用的視頻像素流的任何其他諸如此類的電路或功能。
銳化模塊220可以起到選擇性銳化來自解碼器220的視頻流的作用。在某些實現中，銳化模塊220可以基於其幅度和/或其相鄰像素來有區別地銳化視頻流內圖像的特定部分。
圖3示出了銳化模塊220的一個實現。銳化模塊220可以包括卷積器310、放大器320以及組合器330。雖然為了顯示方便示出了以特定方式連接的模塊，但是圖3中的銳化模塊220也可以其他的結構連接。例如在某些實現中，組合器330可以位於放大器320之前以代替圖示中位於其後的位置。其他的變化也是可能並可預料的。
卷積器310可配置為通過添加內容至像素來銳化視頻數據的像素(例如，Y、U和/或V分量)。卷積器310可以使用圍繞所指像素的多個像素卷積二維(2D)拉普拉斯核函數以獲取導數值。該導數值，即卷積器310的輸出，可被稱為銳化值。
例如在某些實現中，卷積器310可以使用5×5核函數，諸如圖4所示的拉普拉斯算子卷積核函數410。卷積器310例如可使用含有所指像素的5×5亮度數據來卷積核函數410以獲取該亮度信號的2D導數。卷積器310的輸出例如可以是做為5×5亮度(或色度)數據與5×5核函數的卷積結果的7×7陣列。由卷積器310輸出的銳化像素值可以是對應於所指像素的所得陣列的中心值。
也可預期不同於該特定實例的其他變化。例如，卷積器310可以使用不同大小的核函數。在某些實現中，可以將相同或不同的核函數用於亮度(例如，Y)和色度(例如，U和/或V)視頻數據。在某些實現中，僅可卷積亮度數據而對色度數據不做改變。
放大器320可配置為選擇性地增大來自卷積器310的銳化值，從而生成放大值。在某些實現中，放大器320可以應用取決於輸入的非線性增益曲線對值進行銳化而產生放大值。例如在某些實現中，放大器320對那些輸入卷積器310的像素值的總動態範圍不超過約5％(或另一個相對較小的閾值)的銳化值不添加(和/或添加)增益。通過放大器320選擇性的放大就可避免放大低於特定信號電平下的噪聲(例如，在組合器330輸出的最終、已銳化像素值內避免「去噪(coring)」)。類似地在某些實現中，放大器320可以對那些超過一定閾值的銳化值不添加和/或添加增益。則放大器320也可能避免對組合器330輸出的最終已銳化像素值內進行削波(clipping)。
圖5示出了放大器320的一個典型增益特性曲線500。在某些實現中可產生如虛線所示的期望或較佳增益特性曲線510。在圖5的實現中，增益特性曲線500可以是期望特性曲線510的分段折線近似。當然也可考慮其他實現，諸如期望特性曲線510的曲線近似(例如，二次或立方函數)。在某些實現中，期望特性曲線510諸如可通過查表而得以精確實現。
增益特性曲線500示出了放大器320的增益(或增益比率因數)與輸入信號(例如，來自卷積器310的亮度和/或色度銳化值)間的關係。增益特性曲線500在輸入信號小於去噪點520時基本為零，在去噪點520和中間點530之間逐漸增加，在中間點530和削波點540之間逐漸減小，而在大於削波點540時基本為零。當輸入值是中間點530時可得到特性曲線500的最大值550。
在某些實現中(例如在對應8位其滿度值是255的情況下)，去噪點520約為40，而中間點530約為50。在某些實現中，削波點540是能夠避免對組合器330輸出的最終已銳化像素值進行削波的恰當值。在某些實現中，可將最大值550設為125，幾乎等於滿度值的一半。當然其他值也是可行的。應該認識到增益特性曲線500的非零部分無需關於中間點530對稱。
圖6示出了代替增益特性曲線500的放大器320的另兩個增益特性曲線610和/或620。如圖6所示，增益特性曲線610在其輸入值比特性曲線500小時達到其最大值，而增益特性曲線620在其輸入值比特性曲線500大時達到其最大值。而且特性曲線610和620在期望特性曲線510的頂點並未達到其最大值，而是在該頂點的一側或另一側達到。在某些實現中，特性曲線610要優於特性曲線500，因為在較低亮度/色度值處銳化的知覺效應相較之下要大於更大值處的銳化。
雖然已經基於卷積器310輸出的銳化值描述了放大器320(以及在圖5和圖6中相關聯的增益特性曲線)的操作，但在某些實現中可基於輸入至卷積器310的視頻數據(例如，已預先銳化值)來對放大器320進行操作。在某些實現中，可基於對已預先銳化像素數據和卷積器310輸出銳化值的組合操作放大器320。無論放大器320基於哪種數據進行操作，它都能起到避免對組合器330輸出的已銳化像素值進行去噪和/或削波。
組合器330可以使用來自放大器320的放大值和輸入至卷積器310的像素值來輸出已銳化像素值。在某些實現中，組合器330可以包括把來自放大器320的放大值與相應的未經銳化像素值相加的加法器。在某些實現中，組合器330包括能夠算術地(例如，減法器、乘法器等)和/或邏輯地(例如，AND、XOR等)組合放大值至相應像素值的其他邏輯。
回到圖2，銳化模塊220可以將增強的像素值輸出給可進一步地調節像素的一個或多個調節器230。調節器230可以包括例如解交錯、噪聲減少、比例縮放和/或其他信號調節功能的一個或多個。調節器230可以通過專用硬體、固件、軟體或它們的組合來實現，從而在銳化模塊220執行銳化之後執行一種或多種信號調節功能。
顯示緩衝器240可以接收來自調節器230的視頻數據，並可在輸出至顯示設備(未示出)之前臨時存儲這些數據的至少一部分。除了緩衝(例如，存儲)功能，顯示緩衝器240可以執行其他的顯示相關任務，諸如使其輸出信號與定時或同步信號同步以方便顯示。通常可在顯示緩衝器中找到的其他功能也可在顯示緩衝240中出現。
圖7示出了選擇性改變視頻數據銳度的典型過程700。雖然圖7為方便和清楚解釋參考了圖2和圖3中示出的銳化模塊220進行描述，但是應該理解也可通過其他硬體和/或軟體實現來執行過程700。
過程可以從生成銳化值(動作710)開始。銳化值可如前所述由卷積器310生成。
過程繼續，其中如果銳化值(或者任何放大器輸入信號)落入去噪區域內(動作720)或者削波區域內(動作740)，則放大器320輸出為零(動作730)。參考圖5，小於去噪點520的輸入值位於去噪區域內，而大於削被點540的輸入值則位於削波區域內。
如果放大器輸入值位於去噪和削波區域，則放大器320就根據增益特性曲線輸出非零放大值(動作750)。在某些實現中，用於生成放大值的增益特性曲線可以包括特性曲線500。在某些實現中，使用的增益特性曲線可以不同(例如可以是非分段線性的)，但一般也可增加至中間點(例如，點530)並在中間點之後下降。應該注意到中間點無需對稱地位於所使用增益特性曲線的削波和去噪點之間。
組合器330可以組合放大器320輸出的放大值和輸入給卷積器310的原始像素值來生成已銳化像素值(動作760)。根據放大器320的輸入，該放大值可以是零(動作730)或非零(動作740)。於是術語「已銳化像素值」並不一定指示已被銳化的各像素值，因為某些放大值可以是零。這樣就可按照放大器320對來自卷積器310的銳化值所進行的操作選擇性地和/或區別性地銳化組合器330輸出的已銳化像素值。
前述對一個或多個實現的說明提供了實例和描述，但並不旨在將本發明的範圍窮盡或限制在公開的精確形式。可以藉助該教示或根據本發明各個實現的實踐做出修改和變化。
例如，雖然在此描述的方案是按像素執行的，但是也可以按圖象中的像素集合或像素組來執行這些方案。
此外，圖7中的動作無需按所示順序實現；也無需執行全部動作。另外，不依賴其他動作的動作可以與其他動作並行地執行。此外，該圖中的至少部分動作可實現為機器可讀介質中的指令或指令集。
除非明確表述，否則不應將本申請說明書中使用的元件、動作或指令解釋為對本發明是關鍵或必需的。同樣在本文中使用的冠詞「a」旨在包括一個或多個項目。可以在不背離本發明的精神和原理的情況下對所聲明的本發明的上述實現做出變化和修改。所有的這些修改和變化旨在位於本公開的範圍之內並由所附權利要求保護。
權利要求
1.一種方法，包括在圖像內生成用於像素值的銳化值；以非線性的方式放大所述銳化值以生成放大值；並且組合所述像素值和所述放大值。
2.如權利要求1所述的方法，其特徵在於，所述生成包括使用核函數卷積所述像素值和多個周圍像素來生成已銳化像素陣列。
3.如權利要求1所述的方法，其特徵在於，所述放大包括如果所述銳化值小於去噪點就對所述銳化值應用零增益。
4.如權利要求1所述的方法，其特徵在於，所述放大包括如果所述銳化值大於削波點就對所述銳化值應用零增益。
5.如權利要求1所述的方法，其特徵在於，所述放大包括如果所述銳化值位於預定區域內就對所述銳化值應用增益函數。
6.如權利要求5所述的方法，其特徵在於，所述增益函數增加達到其輸入值的中間點並在所述中間點後減小。
7.一種系統，包括銳化部分，銳化視頻數據的像素並輸出銳化值；放大器，對所述銳化值應用改變銳化值函數的增益以生成改變值；以及組合器，組合所述改變值和所述視頻數據的像素並輸出一輸出像素值。
8.如權利要求7所述的系統，其特徵在於，所述銳化部分包括使用大小類似的核函數卷積所述像素和多個周圍像素的卷積器。
9.如權利要求7所述的系統，其特徵在於，由所述放大器應用的所述函數在第一銳化值和第二銳化值之間隨銳化值增加，而在第二銳化值和第三銳化值之間隨銳化值的增加而減小。
10.如權利要求9所述的系統，其特徵在於，所述函數以線性的方式增加和減小。
11.如權利要求9所述的系統，其特徵在於，所述函數以曲線的方式增加和減小。
12.如權利要求9所述的系統，其特徵在於，所述第二銳化值比所述第三銳化值更接近所述第一銳化值。
13.如權利要求9所述的系統，其特徵在於，所述放大器對小於所述第一銳化值或大於所述第三銳化值的銳化值應用零增益。
14.如權利要求7所述的系統，其特徵在於，還包括操作性地耦合至所述組合器輸出以進一步調節所述增強像素值的解交錯模塊、噪聲減少模塊或比例縮放模塊。
15.如權利要求7所述的系統，其特徵在於，還包括操作性地耦合至所述組合器輸出用以在顯示前緩衝增強像素值的顯示緩衝器。
16.一種方法，包括在圖像內生成用於像素值的銳化值；在所述銳化值位於中央範圍內時以非線性的方式放大所述銳化值以生成一放大值；並且組合所述像素值和所述放大值。
17.如權利要求16所述的方法，其特徵在於，還包括當所述銳化值位於中央範圍之外時為所述放大值輸出零。
18.如權利要求16所述的方法，其特徵在於，所述放大包括在到達中間點前隨銳化值增加增益，以及在超過所述中間點之後隨銳化值減少增益。
全文摘要
一種選擇性銳化視頻數據的方法可包括對於視頻數據內的至少部分像素生成圖像中像素值的銳化值。所述銳化值可被非線性地放大以生成放大值。隨後就組合所述像素值和所述放大值。
文檔編號H04N5/14GK1901619SQ20061010573
公開日2007年1月24日 申請日期2006年7月18日 優先權日2005年7月19日
發明者W·阿里, J·卡維得斯 申請人:英特爾公司