檢測並去除假輪廓的方法和設備的製作方法

2023-04-22 23:02:36 2

專利名稱：檢測並去除假輪廓的方法和設備的製作方法
技術領域：
本發明的多方面涉及一種檢測並去除假輪廓的方法和設備。檢測並去除 假輪廓的設備可被應用於獲得、存儲或顯示數字視頻的所有裝置(例如，數字 多媒體廣播(DMB)播放器、移動通信終端、數位相機、相機電話、數位電視 (TV))等。
背景技術：
對於假輪廓的發生存在許多原因，然而當量化級不足時假輪廓通常發生。 在這種情況下，量化級指示亮度級。根據比特深度確定量化級。例如，儘管 在原始比特深度不發生假輪廓，但是當轉換視頻時，在較低比特深度發生假 輪廓。此外，當視頻被恢復到原始比特深度時發生假輪廓。當視頻被壓縮或 恢復(例如，聯合圖像專家組(JPEG)和運動圖像專家組(MPEG))時發生假輪廓， 並且在對比度增強(CE)和細節增強(DE)的情況下也發生假輪廓。
存在作為去除假輪廓的傳統方法的藍噪聲掩蔽方法、抖動方法和Daly and Feng方法。
如果輸入視頻的比特深度小於輸出視頻的比特深度，則作為順序矩陣的 結果，抖動方法增加比特深度。然而，抖動方法具有的問題在於在整個視頻 中發生人工模式。此外，在Daly and Feng方法中，對具有々I輪廓的視頻使用 低通濾波器(LPF)去除假輪廓。Daly and Feng方法具有的問題在於由於對整個 視頻使用LPF,因此包括假輪廓的部分被平滑化，並且與實際邊緣相同的信 號元素也變得模糊。為了解決上述問題，精確地找出包括假輪廓的部分很重 要。

發明內容
本發明的多方面提供一種由於提前從輸入視頻檢測假輪廓，並且通過僅 限於去除所述假輪廓來選擇性地去除假輪廓，因此可保護細節區域的檢測並 去除假輪廓的方法以及顯示設備。
本發明還提供一種由於檢測到當較低的比特深度的輸入視頻被擴展到較 高的比特深度的輸出視頻時發生的假輪廓，並且對檢測的假輪廓執行平滑， 因此可以精確地4全測並去除假輪廓的4全測並去除々i輪廓的方法以及顯示設 備。
本發明還提供一種當通過使用梯度和簡單性檢測假輪廓時可以提高精確 度，並且當從輸入視頻檢測假輪廓時通過反覆應用梯度和簡單性可以執行適 應性平滑的檢測並去除假輪廓的方法以及顯示設備。
本發明還提供一種由於經過簡單的算術運算獲得相鄰像素之間的梯度和 簡單性，並且經過另一簡單算術運算獲得平滑的結果，因此可被有效地應用 到需要較小的存儲器容量和較少的複雜計算的小型顯示器(例如數字多媒體
廣播(DMB)播放器和行動電話)的檢測並去除假輪廓的方法、以及顯示設備。
根據本發明的實施例，提供一種檢測並去除假輪廓的方法，包括驗證 輸入視頻的像素是否包括在輪廓中；計算該像素的簡單性；基於筒單性並且 基於該像素是否包括在輪廓中來確定該像素是否包括在假輪廓中；通過對假 輪廓平滑來從輸入視頻去除假輪廓。
在本發明的一方面，所述驗證輸入視頻的像素是否包括在輪廓中的步驟 可包括計算每一像素的梯度；基於梯度確定該像素是否包括輪廓中。在這 種情況下，當根據比特丟失的數目該像素的梯度與縱向值或對角線值相同時， 所述基於梯度確定該像素是否包括在輪廓中的步驟可確定該像素包括在輪廓 中。
在本發明的 一方面，所述驗證輸入視頻的像素是否包括在輪廓中的步驟 還可包括驗證連結到該像素的像素是否存在，當根據比特丟失的數目該像 素的梯度與縱向值相同或者與對角線值相同時並且當連結的像素存在時，所 述基於梯度確定該像素是否包括在輪廓中的步驟可確定該像素包括在輪廓 中。
在本發明的一方面，所述計算該像素的簡單性的步驟可包括驗證在其 中心包括該像素的nxn大小的像素組內的相鄰像素之間的差是否小於預定 差；當該相鄰像素之間的差小於該預定差時，根據相鄰像素的方向測量該相
鄰像素之間的結合強度；基於該結合強度計算該像素的簡單性。
在本發明的一方面，所述通過對假輪廓進行平滑來從輸入視頻去除假輪
廓的步驟可包括基於該像素的簡單性和梯度並基於相鄰像素的簡單性和梯 度確定平滑程度；根據平滑程度去除假輪廓。
根據本發明的實施例，提供一種確定像素是否包括在輪廓中的方法，包 括計算輸入視頻的每一像素的梯度；驗證連結到該像素的像素是否存在； 基於梯度並基於連結到該像素的像素是否存在來確定該像素是否包括在輪廓 中。
根據本發明的實施例，提供一種計算包括在輸入視頻中的像素的簡單性 的方法，包括驗證在其中心包括該像素的nxn大小的像素組內的相鄰像素
之間的差是否小於預定差；當該相鄰像素之間的差小於該預定差時，根據相 鄰像素的方向測量該相鄰像素之間的結合強度；基於該結合強度計算該像素 的簡單性。
將在接下來的描述中部分闡述本發明另外的方面和/或優點，還有 一部分 通過描述將是清楚的，或者可以經過本發明的實施而得知。


通過下面結合附圖對實施例進行的描述，本發明的這些和/其他方法和優 點將會變得清楚和更易於理解，其中
圖1是示出根據本發明實施例的檢測並去除假輪廓的方法的流程圖； 圖2是示出根據本發明實施例的驗證像素是否包括在輪廓中的方法的流
程圖3是示出根據本發明實施例的計算像素的縱向梯度的方法的示圖； 圖4是示出根據本發明實施例的計算像素的對角線梯度的方法的示圖； 圖5是示出根據本發明實施例的通過使用3 x 3大小模式驗證連結到預定
像素的像素是否存在的方法的示圖6是示出根據本發明實施例的通過使用2 x 2大小模式驗證連結到預定
像素的像素是否存在的方法的示圖7是示出根據本發明實施例的計算像素的簡單性的方法的流程圖； 圖8是示出根據本發明實施例的計算簡單性的方法的示例的示圖； 圖9是示出根據本發明實施例的去除假輪廓的方法的流程圖10是示出根據本發明實施例的對假輪廓應用平滑濾波器的方法的示
例的示圖11是示出根據本發明實施例的輸入視頻和輸出視頻之間的差的曲線
圖12是示出根據本發明實施例的檢測並去除假輪廓的設備的內部結構 的框圖。
具體實施例方式
現在將對本發明實施例進行詳細參照，其示例在附圖中表示，其中，相 同的標號始終表示相同的部件。以下通過參考附圖描述示例性實施例以解釋 本發明。
本發明涉及一種4企測並去除視頻的假輪廓的方法以及採用該方法的設 備，更具體的講，涉及檢測由於丟失了比特的視頻恢復或者由於比特深度的 擴展而發生的假輪廓的方法。例如，當紅綠藍(RGB)的比特深度為8/8/8比特 的輸入視頻丟失了 2個低位比特，這造成6/6/6的比特視頻，由於比特的缺乏 在輸出視頻中發生假輪廓。在這種情況下，根據本發明的檢測假輪廓的方法， 可檢測並去除當將6/6/6比特視頻恢復為原始8/8/8比特視頻時發生的假輪廓。 此外，根據本發明，除了由於恢復丟失的比特發生假輪廓的情況之外，在由 於擴展視頻發生假輪廓的情況下可檢測並去除假輪廓。
圖1是示出根據本發明實施例的檢測並去除假輪廓的方法的流程圖。
在操作S101，檢測並去除假輪廓的設備驗證輸入視頻的像素是否包括在 輪廓中。如上所述，可驗證輸入視頻的每一像素是否包括在輪廓中，以恢復 由於比特深度的擴展或由於比特丟失而發生假輪廓的視頻。將通過參照圖2 至圖6描述驗證輸入視頻的每一像素是否包括在輪廓中的方法。
在操作S102，檢測並去除假輪廓的設備計算像素的簡單性。對於視頻的 簡單性表示細節較少，並且表示均勻、平滑並且具有很多低頻元素。此外， 複雜表示具有很多細節和紋理，不均勻，具有很多高頻元素。
在視頻中，未解決的問題是將細節區域(例如，複雜圖像)與平滑區域(例 如缺乏細節的區域)區分開。傳統地，存在使用梯度映射將細節區域與平滑區 域區分開的方法，然而，傳統方法在於將對象與邊界區分開，而不是將細節 區域與平滑區域區分開。
此夕卜，在運動圖l象專家組(MPEG)-2中，使用方差將細節區域與平滑區域 區分開。然而，存在使用方差不能將細節區域與平滑區域區分開的情況。也 就是，在本發明的說明書中提供簡單性作為衡量標準來解決傳統方法的問題， 並且將被用於檢測假輪廓。
稍後將參照圖7和圖8描述計算簡單性的方法。
在操作S103，檢測並去除假輪廓的設備基於簡單性並基於輸入視頻的像 素是否包括在輪廓中來確定像素是否包括在假輪廓中。在這種情況下，檢測 並去除假輪廓的設備可將輸入視頻的多個像素中的一個像素確定為假輪廓， 該像素被包括在輪廓中，並且其簡單性大於預定值。稍後將通過參照圖9描 述基於簡單性並且基於輸入視頻是否包括在輪廓中確定該像素是否包括在假 庫侖廓的方法。
在操作S104，檢測並去除假輪廓的設備經過對假輪廓進行平滑來從輸入 視頻中去除假輪廓。在這種情況下，檢測並去除假輪廓的設備基於該像素的 簡單性和梯度並基於相鄰像素的簡單性和梯度確定平滑程度。在這種情況下， 為了根據平滑程度去除假輪廓，檢測並去除假輪廓的設備可使用如等式1所 示的預定平滑濾波器中的單個平滑濾波器去除像素和相鄰像素的假輪廓。
formula see original document page 11在這種情況下，等式1是可被使用在本發明實施例中的平滑濾波器的例 子，並且儘管已經參照本發明的特定實施例描述了本發明，但是由於本領域 的技術人員將理解，在不脫離本發明的範圍和精神的情況下可以進行各種替
換、修改和改變，因此本發明不限於此。稍後將參照圖IO對使用平滑濾波器
去除假輪廓的方法進行描述。
圖2是示出根據本發明實施例的驗證像素是否包括在輪廓中的方法的流 程圖。如圖2所示，通過將操作S201至S203包括在操作圖1的操作S101 中來執行操作S201至S203。
在搡作S201,檢測並去除假輪廓的設備計算每一像素的梯度。在這種情
ii
況下，檢測並去除假輪廓的設備可使用與輸入視頻的像素相應的X軸的非線
性偏微分和y軸的非線性偏微分來計算梯度，如下 [等式2] |G| = |Gx| + |Gy|,
其中，G指示梯度，Gx指示x軸的非線性偏微分，Gy指示y軸的非線
性偏微分。
可使用各種掩蔽對輸入視頻計算x軸的非線性偏^t分和y軸的非線性偏 微分以簡化各種操作。例如，檢測並去除假輪廓的設備可通過將Sobel掩蔽 (mask)應用到在其中心包括該像素的3x3大小的像素組來計算x軸的非線性 偏微分和y軸的非線性偏微分。在這種情況下，Sobel掩蔽可包括如等式3所 示的x掩蔽和y掩蔽。
1.0,+ 1_—+1,+ 2， +1—
_2,o，+ 2，_yM(MA;=0，0， 0
一l，o，+ 1_1,一2, -l
其中，xMask指示表示x掩蔽的矩陣，yMask指示表示y掩蔽的矩陣。
也就是，檢測並去除假輪廓的設備可通過將表示x掩蔽的矩陣與像素組 相乘，將表示y掩蔽的矩陣與像素組相乘來分別獲得x軸的非線性偏微分和 y軸的非線性偏微分，並且可經由等式2計算像素的梯度。
此外，為了減小計算x軸的非線性偏微分和y軸的非線性偏微分的複雜 度，檢測並去除假輪廓的設備可通過將梯度掩蔽應用到在預定位置包括該像 素的2 x 2大小的像素組來計算x軸的非線性偏微分和y軸的非線性偏微分。 在這種情況下，梯度掩蔽可包括等式4中所示的x掩蔽和y掩蔽，
「1,-門 「-1, -2—
， yGMwA:= 2, -1 1, 2
其中，xGMask指示表示x掩蔽的矩陣，yGMask指示表示y掩蔽的矩陣。 梯度掩蔽可被有效地應用到需要較小的存儲器容量和較少的複雜計算的小型 顯示器(例如數字多媒體廣播(DMB)播放器和行動電話)。
圖3是示出根據本發明實施例的計算像素的縱向梯度的方法的示圖，圖
4是示出計算像素的對角線梯度的方法的示圖。由於2個低位比特的丟失發
生2"2k，k指示比特丟失的數量)的空隙。該空隙引起假輪廓，並且可使用梯 度映射找到空隙發生的區域。例如，當使用Sobel掩蔽時，由於2個低位比 特的丟失發生的縱向梯度值是16，由於2個低位比特的丟失發生的對角線梯 度值是24和8。也就是，16、 24和8可用於當使用Sobd掩蔽計算梯度時確 定該像素是否包括在輪廓中。
在圖3中，對於在縱向上包括假輪廓的輸入區域301，通過分別將以上 等式3所示的x掩蔽302和y掩蔽303應用到在其中心包括該像素的3 x 3大 小的像素組來對該像素計算x軸的非線性偏微分和y軸的非線性偏微分，並 且使用x軸的非線性偏微分、y軸的非線性偏微分和等式2來計算梯度。其 結果是，在圖3中示出包括表示縱向假輪廓的0和16的梯度映射304。
在圖4中，對於在對角線方向上包括々i輪廓的輸入區域401 ，通過分別 將以上等式3示出的x掩蔽402和y掩蔽403應用到在其中心包括該像素的 3 x 3大小的像素組來對該像素計算x軸的非線性偏微分和y軸的非線性偏微 分，並且使用x軸的非線性偏微分、y軸的非線性偏微分和等式2計算梯度。 其結果是，在圖4中示出包括表示對角線假輪廓的0、24和8的梯度映射404。
在操作S202,檢測並去除假輪廓的設備驗證連結到該像素的像素是否存 在。在這種情況下，檢測並去除假輪廓的設備可通過使用包括3 x 3大小的像 素組的四種模式或包括2x2大小的像素組的四種模式來驗證連結到該像素 的像素是否存在。當存在連結的像素時可通過使用連結的像素去除孤立的像 素。也就是，當連結多個像素時，由於出現在數據中的偽像(artifact)變為可以 看見的可視偽像，因此期望去除孤立的像素。
根據本發明實施例，圖5是示出通過使用3 x 3大小的模式驗證連結到預 定像素'的像素是否存在的方法的示圖，圖6是示出通過使用2x2大小的模式 驗證是否存在連結到預定像素的像素的方法的示圖。檢測並去除假輪廓的設 備可使用規定的模式去除孤立的像素，並且在圖5中示出在直線方向上驗證 輪廓的3x3大小的模式。此外，圖6中示出驗證直線方向和曲線方向上的輪 廓的2x2大小的模式。
在操作S203,檢測並去除假輪廓的設備基於梯度確定該像素是否包括在 輪廓中。可通過使用梯度並使用梯度和連結到預定像素的像素是否存在兩者 來確定該像素是否包括輪廓中。
當只使用梯度時，當根據比特丟失的數目該像素的梯度與縱向值相同或 者與對角線值相同時，檢測並去除假輪廓的設備可確定該像素包括在輪廓中。 當使用梯度和連結到預定像素的像素是否存在兩者時，當根據丟失的比特的 數目該像素的梯度與縱向值相同或者與對角線值相同時，並且當存在連結的 像素時，輪廓確定單元可確定該像素包括在輪廓中。
圖7是示出根據本發明實施例的計算像素的簡單性的方法的流程圖。如
圖7所示，通過將操作S701至S704包括在圖1的操作S102中來執行操作 S701至S704。
在操作S701,檢測並去除假輪廓的設備驗證在其中心包括該像素的n x n 大小的像素組內的相鄰像素之間的差是否小於預定差。在這種情況下，相鄰 像素可包括nxn大小的像素組內的預定像素和距離該預定像素最近的存在 於縱向和對角線方向上的像素。
在操作S702，當nxn大小的像素組內的相鄰像素之間的差小於該預定 差時，檢測並去除假輪廓的設備可執行接下來的操作S703,或者當nxn大 小的像素組內的相鄰像素之間的差不小於該預定差時，可執行操作S701。
在操作S703,當相鄰像素之間的差小於該預定差時，檢測並去除假輪廓 的設備可根據相鄰像素的方向測量相鄰像素之間的結合強度。在這種情況下， 檢測並去除假輪廓的設備可根據相鄰像素之間的縱向或對角線方向測量規定 的加權值作為結合強度。例如，對於結合強度，對縱向測量加權值1，對於 對角線方向測量加^U直0.5。
在操作S704,檢測並去除假輪廓的設備基於結合強度計算簡單性。在這 種情況下，檢測並去除假輪廓的設備可將nxn大小的像素組內測量的結合強
度的和確定為像素的簡單性。
圖8是示出根據本發明實施例的計算簡單性的方法的示例的示圖。 可使用上述的結合強度的總和計算簡單性。結合強度是像素與該像素周
圍的八個相鄰像素之間的結合的數值。當中心處的像素值與縱向上的相鄰像
素值相同時，結合強度可被建立為1,當中心處的像素值與對角線方向上的 相鄰像素值相同時，結合強度可被建立為0.5。也就是，對角線方向上的相鄰 像素值可被建立為0.5,即，小於縱向上的相鄰像素值，這是因為公知的是相 鄰像素值之間的相關性與距離成反比。對n x n大小的像素組內的所有像素(也 就是，對搜索窗口)計算結合強度，並且結合強度的總和可被建立為nxn大
'J、的像素組的中心處的像素的簡單性值。
參照圖8,示出了 5 x 5像素組810內的像素和八個相鄰像素820。表示 縱向的實線雙向箭頭821指示1，表示對角線方向的虛線雙向箭頭822指示 0.5。也就是，當包括22個像素(被顯示為對於縱向和對角線方向上的所有像 素的雙向箭頭)的像素組830內的中心處的像素的簡單性被計算時，筒單性是 46。在這種情況下，當由於相關性相當低而進行計算時，從與5x5像素組 810相應的25個像素中排除四個角落的像素。
在本發明實施例中使用5x5大小的像素組計算簡單性，儘管結合本發明 的特定實施例描述了本發明，但是本領域的技術人員應該理解，在不脫離本 發明的範圍和精神的情況下，可進行各種替換、修改和改變，因此本發明不 限於本發明的特定實施例。例如，可使用3 x 3大小的像素組而代替5 x 5大 小的像素組。也就是，為了獲得更加精確的簡單性，優選的是5x5大小的像 素組，而為了減小計算複雜度，優選的是3x3大小的像素組。
當使用圖8所示的5 x 5大小的像素組時，最大簡單性是46，當像素組 中的所有像素的強度(mtensity)彼此相同時，最小簡單性是O。從可視角度看， 更大的筒單性表示相應像素的周圍更簡單。
儘管在本發明實施例中1和0.5被建立為結合強度的加權值，但是例如2 和l、 4和2等的變化也是可以的。儘管在本發明實施例中3 x 3大小的像素 組和5 x 5大小的像素組被用作搜索窗口 ，但是可使用例如2x2大小的像素 組、7x7大小的像素組等的各種搜索窗口。此外，當計算像素的結合強度時， 可以唯一地考慮縱向，而不是考慮縱向和對角線方向兩者。
當計算像素的結合強度時，根據該像素是否與相鄰像素相同來將結合強 度增加1或0.5,然而，根據該像素和相鄰像素之間的差可增加其他結合強度。 例如，當像素與相鄰像素之間的差是0時，結合強度可以增加4，當像素與 相鄰像素之間的差是1時，結合強度可以增加3，當像素與相鄰像素之間的 差是2時，結合強度可以增加2,並且當像素與相鄰像素之間的差是3時， 結合強度可以增加1。
圖9是示出根據本發明實施例去除假輪廓的方法的流程圖。
在驗證每一像素是否包括在假輪廓中之後，並且在獲得簡單性映射之後， 可使用假輪廓映射、簡單性值和梯度從輸入視頻中去除假輪廓。當去除假輪 廓時，可使用多個平均平滑濾波器。例如，各種掩蔽大小的平均濾波器可被
用於如等式1所示的平滑濾波器。可根據像素與相鄰像素之間的梯度值和簡 單性值從各種掩蔽大小的平均濾波器中選擇單個平均濾波器。當確定預定像 素為假輪廓時，並且當對預定像素執行平滑時，確定實際邊緣元素或與信號 元素相應的梯度值是否存在。
在這種情況下，實際邊緣元素或信號元素作為大的梯度值出現。為了保 護實際邊緣元素或信號元素，當去除假輪廓時僅需要執行輕微平滑，因此可 選擇平緩平滑濾波器。
此外，當相應像素處於筒單區域，而簡單性值小，也就是相當複雜時， 可使用平緩平滑濾波器。如上所述，可根據像素與相鄰像素之間的梯度和簡 單性值適應性地執行平滑操作。
通過將操作S901至S905包括在圖1的操作S104中來執行操作S901至 S905,並且操作S901至S905示出用於去除假輪廓的方法。
在操作S901,對於像素和相鄰像素，檢測並去除假輪廓的設備可將梯度 與預定第一值進行比較，當梯度小於預定第一值時可執行操作S902,當梯度 不小於預定第一值時可執行操作S905。
在操作S902，對於像素和相鄰像素，檢測並去除假輪廓的設備可將簡單 性與預定第二值進行比較，當簡單性等於或大於預定第二值時可執行操作 S903,當簡單性不等於或大於預定第二值時可執行操作S904。
由於通過使用預定平滑濾波器對像素和相鄰像素執行平滑，因此檢測並 去除假輪廓的設備可在操作S903、 S904和S905去除布支輪廓。也就是，由於 平緩平滑濾波器用作從操作S903至操作S905的操作流程，因此可去除假輪 廓。
圖10是示出根據本發明實施例的對假輪廓應用平滑濾波器的方法的示 例的示圖。
對假輪廓和假輪廓的周圍限制性地執行平滑，並且對其他區域不執行平 滑，從而保護了細節區域和紋理區域。
也就是，在輸入視頻1001中，平滑濾波器被應用到發生假輪廓的區域 1002中的像素1003，平滑濾波器沒有被應用到沒有發生假輪廓的另一區域 1004中的另 一像素1005,從而保護細節區域和紋理區域。
圖11是示出根據本發明實施例的輸入視頻和輸出視頻之間的差的曲線圖。
曲線1100示出像素的距離對像素強度，並且示出6比特的輸入視頻和8
比特的輸出視頻。在發生假輪廓的區域中，梯階圖變為斜坡圖。
圖12是示出根據本發明實施例的檢測並去除假輪廓的設備1200的內部 結構的框圖。如圖12所示，檢測並去除假輪廓的設備1200包括輪廓驗證單 元1210、簡單性計算單元1220、假輪廓確定單元1230和假輪廓去除單元1240。
輪廓驗證單元1210驗證輸入視頻的像素是否包括輪廓中。如上所述，可 以驗證輸入視頻的每一像素是否包括在輪廓中，以恢復由於比特深度的擴展 或由於比特丟失發生假輪廓的視頻。輪廓驗證單元1210可包括梯隻計算單元 1211、連結像素驗證單元1212和輪廓確定單元1213，以驗證該像素是否包 括在輪廓中。
梯度計算單元1211計算每一像素的梯度。在這種情況下，檢測並去除假 輪廓的設備1200的梯度計算單元1211可使用與該像素相應的x軸的非線性 偏微分和y軸的非線性偏微分來計算梯度，如下
|G| = |Gx| + |Gy|，
其中G、 Gx和Gy與上述相同。
可使用各種掩蔽對於輸入視頻計算x軸的非線性偏微分和y軸的非線性 偏微分以簡化各種操作。例如，檢測並去除假輪廓的設備1200的梯度計算單 元1211可通過將Sobel掩蔽應用到在其中心處包括該像素的3x3大小的像 素組來計算x軸的非線性偏微分和y軸的非線性偏微分。在這種情況下，Sobel 掩蔽可包括等式3中示出的x掩蔽和y掩蔽。
也就是，梯度計算單元1211可通過將表示x掩蔽的矩陣與像素組相乘並 將表示y掩蔽的矩陣與像素組相乘來分別獲得x軸的非線性偏微分和y軸的 非線性偏微分，並且可經由等式2計算像素的梯度。
此外，為了減小由於x軸的非線性偏微分和y軸的非線性偏微分的計算 引起的複雜度，梯度計算單元1211可通過將梯度掩蔽應用到在預定位置包括 該像素的2 x 2大小的像素組來計算x軸的非線性偏微分和y軸的非線性偏微 分。在這種情況下，梯度掩蔽可包括等式4中顯示的x掩蔽和y掩蔽。梯度 掩蔽可被有效地應用到需要較小的存儲器容量和較少的複雜計算的小型顯示 器(例如DMB播放器和行動電話)。
連結像素驗證單元1212驗證連結到該像素的像素是否存在。在這種情況
下，檢測並去除假輪廓的設備1200的連結像素驗證單元1212可通過使用包 括3 x 3大小的像素組的四種模式和包括2x2大小的像素組的四種模式來驗 證連結到該像素的像素是否存在。連結到該像素的像素是否存在可用於去除 孤立像素。也就是，當連結多個像素時，由於出現在視頻中的偽像變為可看 得見的可視偽像，因此期望去除孤立像素。
輪廓確定單元1213基於梯度確定該像素是否包括在輪廓中。在輪廓確定 單元1213中，可通過使用梯度並通過使用梯度和連結到預定像素的像素是否 存在來確定該像素是否包括在輪廓中。
當唯一地使用梯度時，當根據比特丟失的數目，該像素的梯度與縱向值 相同或者與對角線值相同時，輪廓確定單元1213可確定該像素包括在輪廓 中。當使用梯度和連結到預定像素的像素是否存在兩者時，當根據比特丟失 的數目該像素的梯度與縱向值相同或者與對角線值相同時，並且當連結的像 素存在時，輪廓確定單元1213可確定該像素包括在4&廓中。
簡單性計算單元1220計算該像素的簡單性。對於視頻的簡單性表示細節 較少，並且表示均勻、平滑並且具有很多低頻元素。此外，複雜性表示具有 很多細節和紋理、不均勻並且具有許多高頻元素。
在視頻中，未解決的問題在於將細節區域(例如，複雜圖像)與平滑區域(例 如，缺乏細節的區域)區分開。傳統地，存在使用梯度映射將細節區域與平滑 區域區分開的方法，然而，傳統方法在於將對象與邊界區分開，而不是將細 節區域與平滑區域區分開。
此外，在MPEG-2,使用方差將細節區域與平滑區域區分開。然而，存 在使用方差不能將細節區域與平滑區域區分開的情況。也就是，在本發明說 明書中提供簡單性作為衡量標準以解決傳統方法中的問題，並且用於檢測假 輪廓。
簡單性計算單元1220可包括像素差計算單元1221、結合強度測量單元 1222和計算單元1223。
像素差計算單元1221驗證在其中心包括像素的nxn大小的像素組內的 相鄰像素之間的差是否小於預定差。在這種情況下，相鄰像素可包括nxn大 小的像素組內的預定像素和距離該預定像素最近的存在於縱向和對角線方向 上的像素。
當相鄰像素之間的差小於預定差時，結合強度測量單元1222根據相鄰像
素的方向測量相鄰像素之間的結合強度。在這種情況下，結合強度測量單元
1222可根據相鄰像素之間的縱向或對角方向測量規定的加權值作為結合強
度。例如，對於結合強度，對於縱向測量加權值1，對於對角線方向測量加
權值0.5。
計算單元1223基於結合強度計算像素的簡單性。在這種情況下，計算單 元1223可將nxn大小的像素組內測量的結合強度的總和確定為該像素的簡 單性。
假輪廓確定單元1230確定該像素是否包括在假輪廓中。在這種情況下， 用於從輸入視頻的多個像素去除假輪廓的假輪廓確定單元1230可將像素確 定為假輪廓，該像素包括在輪廓中並且其簡單性大於預定值。
假輪廓去除單元1240經過對假輪廓平滑來從輸入一見頻去除假輪廓。在這 種情況下，包括在假輪廓去除單元1240中的平滑程度確定單元1241基於像 素的筒單性和梯度並且基於相鄰像素的簡單性和梯度確定平滑程度。在這種 情況下，為了根據平滑程度去除假輪廓，包括在假輪廓去除單元1240中的平 滑單元1242可使用預定平滑濾波器中的單個平滑濾波器去除像素和相鄰像 素的假輪廓，如等式1所示。
在這種情況下，等式1是可被用於本發明實施例的平滑濾波器的例子， 儘管已經結合本發明的特定實施例描述了本發明，但是由於本領域的技術人 員將理解，在不脫離本發明的範圍和精神的情況下，可對其進行各種替換、 修改和改變，因此本發明不限於本發明的特定實施例。
如上所述，根據本發明的用於檢測並去除假輪廓的方法和設備，由於提
廓，因此可保護細節區域。此外，由於檢測到當較低比特深度的輸入視頻擴 展到較高比特深度的輸出視頻時發生的假輪廓，並且對檢測的假輪廓執行平 滑，因此能夠精確地檢測並去除假輪廓。此外，當通過使用梯度和簡單性檢 測假輪廓時能夠提高準確度，並且當從輸入視頻檢測到假輪廓時通過反覆應 用梯度和簡單性能夠執行適應性平滑。由於經過簡單的算術運算獲得相鄰像 素之間的梯度和簡單性，並且經過另一筒單運算獲得平滑的結果，因此本發 明可有效地應用到需要較小的存儲器容量和較少的複雜計算的小型顯示器 (例如DMB插j丈器和行動電話)。
由於關於用於驗證像素是否包括在輪廓中的方法和設備、以及用於計算
簡單性的方法和設備的描述已經在圖l至圖12中描述，因此將省略對它們的 描述。
根據本發明的上述示例性實施例的檢測並去除假輪廓的方法可被記錄在 包括執行由計算機實現的各種操作的程序指令的計算^/L可讀介質中。介質也 可以只包括程序指令或者包括與程序指令相結合的數據文件、數據結構等。 計算機可讀介質的例子包括磁介質(例如硬碟、軟盤和;茲帶)；光學介質(例如 CD-ROM和DVD);磁光介質(例如，光碟)；以及特別配製用於存儲並執行程 序指令的硬體裝置(例如，只讀存儲器(ROM)、隨機存取存儲器(RAM)、快閃記憶體 等)。介質也可以是包括傳輸規定程序指令、數據結構等的信號的載波的傳輸 介質(例如光學線或金屬線、波導等)。程序指令的例子包括例如由編譯器產生 的機器碼和包含可使用解釋器由計算機執行的高級代碼的文件。描述的硬體 裝置可被配製為用作一個或多個軟體模塊以執行本發明上述示例性實施例的 操作。
根據本發明，由於提前從輸入視頻中檢測假輪廓，並且通過僅限於去除 假輪廓來選擇性地去除假輪廓，因此能夠保護細節區域。
此外，根據本發明，檢測到當較低比特深度的輸入視頻擴展到較高比特 深度的輸出視頻時發生的假輪廓，並且對檢測的假輪廓執行平滑，因此可精 確地檢測並去除假輪廓。
此外，根據本發明，當通過使用梯度和簡單性檢測假輪廓時能夠提高精 確度，並且當從輸入視頻才企測到假輪廓時通過反覆應用梯度和簡單性能夠執 行適應性平滑。
儘管已經顯示和描述了本發明的一些實施例，但是本領域的技術人員應 該理解，在不脫離本發明的原理和範圍的情況下，可以對這些實施例進行各 種改變，本發明的範圍由權利要求及其等同物限定。
權利要求
1、一種檢測並去除假輪廓的方法，包括:驗證輸入視頻的像素是否包括在輪廓中；計算該像素的簡單性；基於簡單性並且基於該像素是否包括在輪廓中來確定該像素是否包括在假輪廓中；通過對假輪廓平滑來從輸入視頻去除假輪廓。
2、 如權利要求l所示的方法，其中，所述驗證輸入視頻的像素是否包括 在輪廓中的步驟包括計算每一像素的梯度；基於梯度確定該像素是否包括輪廓中。3、 如權利要求2所示的方法，其中，所述計算每一像素的梯度的步驟使 用與該像素相應的x軸的非線性偏微分和y軸的非線性偏^:分來計算梯度， 如下[等式5] |G| = |Gx| + |Gy|,其中，G指示梯度，Gx指示x軸的非線性偏微分，Gy指示y軸的非線 性偏微分。4、 如權利要求2所示的方法，其中，當根據比特丟失的數目該像素的梯 度與縱向值或對角線值相同時，所述基於梯度確定該像素是否包括在輪廓中 的步驟確定該像素包括在輪廓中。5、 如權利要求2所示的方法，其中，所述驗證輸入視頻的像素是否包括 在輪廓中的步驟還包括驗證連結到該像素的像素是否存在，當根據比特丟失的數目該像素的梯度與縱向值相同或者與對角線值相同 時，並且當連結的像素存在時，所述基於梯度確定該像素是否包括在輪廓中 的步驟確定該像素包括在輪廓中。6、 如權利要求l所示的方法，其中，所述計算該像素的簡單性的步驟包括驗證在其中心包括該像素的nxn大小的像素組內的相鄰像素之間的差 是否小於預定差；當該相鄰像素之間的差小於該預定差時，根據相鄰像素的方向測量該相鄰像素之間的結合強度；基於該結合強度計算該像素的簡單性。7、 如權利要求6所示的方法，其中，所述相鄰像素包括nxn大小的像 素組內的預定像素和距離該預定像素最近的存在於縱向或對角線方向上的像素，所述根據相鄰像素的方向測量該相鄰像素之間的結合強度步驟根據相鄰 像素之間的縱向或對角線方向測量規定的加權值作為結合強度。8、 如權利要求l所述的方法，其中，所述通過對假輪廓平滑來從輸入視 頻去除假輪廓的步驟包括基於該像素的簡單性和梯度並基於相鄰像素的簡單性和梯度確定平滑程度；根據平滑程度去除假輪廓。9、 如權利要求8所述的方法，其中，所述通過對假輪廓平滑來從輸入視 頻去除假輪廓的步驟根據平滑程度，使用等式6中顯示的預定平滑濾波器中 的單個平滑濾波器對該像素和相鄰像素去除假輪廓，[等式6]iiiiiiiiiiii 「i i r^"7x7 = — 1111111 = — 11111 /r,a = — i i i7x7 49 5 5 25 91111111 11111 11110、 一種確定像素是否包括在輪廓中的方法，包括 計算輸入視頻的每一像素的梯度；驗證連結到該像素的像素是否存在；基於梯度並基於連結到該像素的像素是否存在來確定該像素是否包括在輪廓中。11、 如權利要求IO所述的方法，其中，所述計算每一像素的梯度的步驟 使用與該像素相應的x軸的非線性偏微分和y軸的非線性偏微分來計算梯度，如下[等式7]formula see original document page 4其中，G指示梯度，Gx指示x軸的非線性偏微分，Gy指示y軸的非線性偏微分。12、如權利要求11所述的方法，其中，通過將Sobel掩蔽應用到在其中 心包括該像素的3 x 3大小的像素組來計算x軸的非線性偏微分和y軸的非線 性偏微分，Sobel掩蔽包括如等式8所示的x掩蔽和y掩蔽，[等式8]formula see original document page 4其中，xMask指示表示x掩蔽的矩陣，yMask指示表示y掩蔽的矩陣。13、 如權利要求11所述的方法，其中，通過將梯度掩蔽應用到在預定位 置包括該像素的2 x 2大小的像素組來計算x軸的非線性偏微分和y軸的非線 性偏微分，梯度掩蔽包括等式9中所示的x掩蔽和y掩蔽，[等式9]formula see original document page 4其中，xGMask指示表示x掩蔽的矩陣，yGMask指示表示y掩蔽的矩陣。14、 如權利要求IO所述的方法，其中，當根據比特丟失的數目該像素的 梯度與縱向值相同或者與對角線值相同時，所述基於梯度並基於連結到該像 素的像素是否存在來確定該像素是否包括在輪廓中的步驟確定該像素包括在 輪廓中。15、 一種計算包括在輸入視頻中的像素的簡單性的方法，包括 驗證在其中心包括該像素的nxn大小的像素組內的相鄰像素之間的差是否小於預定差；當該相鄰像素之間的差小於該預定差時，根據相鄰像素的方向測量該相 鄰像素之間的結合強度；基於該結合強度計算該像素的簡單性。16、 如權利要求15所述的方法，其中，所述相鄰像素包括nxn大小的 像素組內的預定像素和距離該預定像素最近的存在於縱向或對角線方向上的 像素。17、 如權利要求15所述的方法，其中，所述根據相鄰像素的方向測量該 相鄰像素之間的結合強度的步驟根據相鄰像素之間的縱向或對角線方向測量 規定的加權值作為結合強度。18、 一種檢測並去除假輪廓的設備，包括 輪廓驗證單元，驗證輸入視頻的像素是否包括在輪廓中； 簡單性計算單元，計算該像素的簡單性；假輪廓確定單元，基於簡單性並且基於該像素是否包括在輪廓中來確定 該像素是否包括在假輪廓中；假輪廓去除單元，通過對假輪廓平滑來從輸入視頻去除假輪廓。19、 如權利要求18所述的設備，其中，輪廓驗證單元包括 梯度計算單元，計算每一像素的梯度；輪廓確定單元，基於梯度確定該像素是否包括在輪廓中。20、 如權利要求18所述的設備，其中，簡單性計算單元包括 像素差驗證單元，驗證在其中心包括該像素的n x n大小的像素組內的相鄰像素之間的差是否小於預定差；結合強度測量單元，當該相鄰像素之間的差小於該預定差時，根據相鄰 像素的方向測量該相鄰像素之間的結合強度；計算單元，基於該結合強度計算該像素的簡單性。21、 如權利要求18所述的設備，其中，假輪廓去除單元包括 平滑程度確定單元，基於該像素的簡單性和梯度並基於相鄰像素的簡單性和梯度確定平滑程度；平滑單元，根據平滑程度去除假輪廓。22、 一種確定輪廓的設備，包括 梯度計算單元，計算輸入視頻的每一像素的梯度； 連結像素驗證單元，驗證連結到該像素的像素是否存在； 輪廓確定單元，基於梯度並基於連結的像素是否存在來確定該像素是否包括在輪廓中。23、 如權利要求22所述的設備，其中，梯度計算單元使用與該像素相應 的x軸的非線性偏微分和y軸的非線性偏微分來計算梯度，如下[等式10] |G| = |Gx| + |Gy|,其中，G指示梯度，Gx指示x軸的非線性偏微分，Gy指示y軸的非線 性偏微分。24、如權利要求23所述的設備，其中，通過將梯度掩蔽應用到在預定位 置包括該像素的2 x 2大小的像素組來計算x軸的非線性偏微分和y軸的非線 性偏微分，梯度掩蔽包括等式ll中所示的x掩蔽和y掩蔽，[等式11]1, _12, _1一l, 一2 1, 2其中，xGMask指示表示x掩蔽的矩陣，yGMask指示表示y掩蔽的矩陣(
全文摘要
提供一種檢測並去除假輪廓的方法和設備、一種驗證像素是否包括在輪廓中的方法和設備以及一種用於計算簡單性的方法和設備。檢測並去除假輪廓的方法，包括驗證輸入視頻的像素是否包括在輪廓中；計算該像素的簡單性；基於簡單性並且基於該像素是否包括在輪廓中來確定該像素是否包括在假輪廓中；通過對假輪廓平滑來從輸入視頻去除假輪廓。
文檔編號H04N7/26GK101378508SQ20081008042
公開日2009年3月4日 申請日期2008年2月18日 優先權日2007年8月28日
發明者任一淳, 李承信, 韓榮蘭 申請人:三星電子株式會社