數字動態影像去交錯方法與裝置的製作方法

2023-05-04 02:06:51 4

專利名稱：數字動態影像去交錯方法與裝置的製作方法
技術領域：
本發明是有關於一種視頻信號處理的方法和裝置，特別是關於一種數字動態影像的去交錯(deinterlacing)方法和裝置。
背景技術：
動態視頻影像的表示方法基於組成影像的順序可以分為漸進式(progressive)和交錯式(interlaced)兩種技術，二者的基本差別在於組成幀(frame)的掃描線(scan lines)採樣時點的不同。構成漸進式視頻影像中同一幀的所有像素(picture elements或pixels)是採樣於同一時點。而交錯式視頻影像的幀則包含採樣於交替時點的二組掃描線，相鄰掃描線是採樣於不同的時點。以交錯式技術表示的視頻每一幀會產生二個稱為圖場(fields)的半幀，二個圖場共同構成視頻順序中的單一幀。構成幀的第一個圖場和第二個圖場通常稱為偶數圖場(even field)和奇數圖場(odd field)，其各自包含多條掃描線。例如，傳統的電視和錄影機是使用交錯式技術表示動態視頻影像，而計算機的監視器以及某些DVD播放器則通常使用漸進式視頻技術。
實務上，某些應用需要將交錯式視頻影像顯示於漸進式的影像裝置。該應用需要將交錯式視頻影像轉換為漸進式格式。將交錯式視頻影像轉換為漸進式格式的程序即稱為去交錯(deinterlacing)，其將上述的偶數圖場和奇偶數圖場結合為單一幀。數字動態影像的去交錯方法基本上是設法在原始圖場中任意二相鄰的掃描線內插出預估掃描線上的所有像素值，該預估掃描線上的像素本文以下通稱為預估像素(predicted pixels)。預估像素值的決定是先判斷預估像素是位於移動中(動態像素)或是靜止(靜態像素)的物體上。位於移動中物體的預估像素值通常以稱為擺動(Bob)的方式利用同一時序目前圖場上(假設為odd field)的鄰近像素內插而推得該目前圖場上的偶數掃描線上的預估像素。位於靜止物體上的預估像素值則常以稱為交織(Weave)的方式利用時序上前一圖場(假設為even field)和目前圖場(假設為odd field)上的鄰近像素內插而推得該目前圖場上的偶數掃描線上的預估像素。在上述例子中，不論是以擺動方式或是交織方式所取得的偶數掃描線，皆會完成一個偶數圖場，而該偶數圖場在後續處理中會與奇數圖場合併以完成一完整幀(frame)。
圖1顯示一常用的數字動態影像去交錯裝置100的區塊示意圖。其中的擺動/交織偵測元件120利用一臨界值和前一圖場(包含於其中的掃描線暫存於掃描線緩衝區110)和目前圖場(暫存於視頻幀緩衝區900)上的像素值的關係判定預估像素是動態或靜態。此種僅提供一組臨界值的設計未特別考慮畫面中刻意呈現的人工線(諸如球賽計分信息的外框)，且對於動態物體無法提供一個可以先行偵測的機制以判斷執行擺動或是交織動作，故其去交錯效果於動態影像上的表現並不理想。例如，由於影像中一些人造的水平線難以用一組臨界值正確偵測，故常被誤判為位於動態物體上的點，而以動態影像原則求取預估像素值，此可能造成部分水平線消失於預估圖場中。
其它數字動態影像的去交錯方法或裝置亦曾被提出。例如，第6,414,719號美國專利提出一種利用中值濾波器(median filter)的交錯式對非交錯式轉換裝置和方法，其聲稱利用中值濾波器的去交錯方式可以得到更接近原始影像的內插畫面。然該方法的計算較為繁瑣，故會佔用較多系統資源，例如存儲空間和計算時間等。
鑑於上述已知技術的缺失，其有必要提出改良的數字動態影像去交錯方法和裝置，以改進諸如人造的水平線的消失、動態影像表現不佳和佔用太多系統資源等問題。

發明內容
本發明提出的一種數字動態影像去交錯方法與裝置，其可以進行人造的水平線的偵測，以避免誤判其為動態影像，而能有較佳的動態表現，且可使用較少的系統資源執行動態物體的偵測。
依此，本發明提出一種數字動態影像去交錯方法，其包含依據第一像素值、第二像素值、第一臨界值和第二臨界值間的相對關係判定預估像素是否位於人造水平線之上；以及若預估像素被判定是位於人造水平線之上，則以靜態影像原則求取預估像素的亮度值，其中第一臨界值大於第二臨界值，預估像素和第一像素是分別位於數字動態影像中時序上相鄰幀(frame)中同一垂直位置的掃描線上，且預估像素和第二像素是分別位於同一幀中相鄰垂直位置的掃描線上。
本發明亦提出一種數字動態影像去交錯裝置，其包含人造水平線偵測元件、掃描線緩衝區和處理單元。人造水平線偵測元件依據第一像素值、第二像素值、第一臨界值和第二臨界值間的相對關係判定預估像素是否位於人造水平線之上；掃描線緩衝區，連接至一視頻幀緩衝區，該視頻幀緩衝區暫存包含該第二像素值的目前圖場(field)，而該掃描線緩衝區則暫存包含該第一像素值的掃描線；處理單元則用以於人造水平線偵測元件判定預估像素是位於人造水平線上之時，以靜態影像原則求取預估像素的亮度值，其中該第一臨界值大於該第二臨界值，該預估像素和該第一像素是分別位於該數字動態影像中時序上相鄰幀中同一垂直位置的掃描線上，且該預估像素和該第二像素分別位於該目前幀中相鄰垂直位置的掃描線上。
本發明所述的數字動態影像去交錯方法與裝置，可進行人造水平線的偵測，且可使用較少的系統資源執行動態物體的偵測。


圖1顯示一常用的數字動態影像去交錯裝置的區塊示意圖；圖2顯示依據本發明一實施例的數字動態影像去交錯方法的流程圖；圖3顯示依據本發明各像素之間時序和空間上的相對關係；圖4顯示依據本發明另一實施例的數字動態影像去交錯方法的流程圖；圖5顯示依據本發明又一實施例的數字動態影像去交錯方法的流程圖；圖6顯示依據本發明一實施例的數字動態影像去交錯裝置。
具體實施例方式
本發明的諸多特色可經由以下圖式更進一步被理解。
影像去交錯方法通常用來決定預估圖場中一預估像素的亮度值。利用此方法得出預估圖場內每一像素的亮度值，即達到去交錯的目的。以下的說明，像素的亮度值可簡稱為像素值。二像素值之差是指二像素值相減結果的絕對值，意即二像素值中較大者減去較小者的結果。
圖2顯示依據本發明一實施例的數字動態影像去交錯方法的流程圖，其包含計算第一像素值和第二像素值之差(流程20)；將第一像素值和第二像素值之差分別與第一臨界值和第二臨界值間做比較(流程22)，其中的第一臨界值大於第二臨界值；若第一像素值和第二像素值之差大於第一臨界值或小於第二臨界值，則判定預估像素位於人造水平線之上，且以靜態影像原則求取預估像素的亮度值(流程24)；若第一像素值和第二像素值之差介於第一臨界值和第二臨界值之間，則判定預估像素非位於人造水平線之上，而以動態影像原則求取預估像素的亮度值(流程26)。
圖3顯示本實施例中各像素間在時序和空間上的相對關係，其包含前一幀(previous frame)Mp、目前幀(current frame)Mc、前一圖場(previous field)Fp和目前圖場(current field)Fc、分別相對於前一圖場Fp和目前圖場Fc的預估圖場Fpp和Fcc(其包含圖中以虛線連接的像素)以及其中的第一像素Y、第二像素Z和預估像素K。圖中的圓形表示像素，以實線連接者表示原始圖場，以虛線連接者則表示預估圖場。目前圖場Fc和其相對的預估圖場Fcp構成目前幀Mc。去交錯即可以利用目前圖場Fc和前一圖場Fp上的像素，計算預估圖場Fcp上的像素以完成目前幀Mc。(同理，前一圖場Fp和其相對的預估圖場FPP構成前一幀Mp。而預估圖場Fpp可能是基於前一圖場Fp和其在時序上的更前一圖場來決定。)由圖3可知，第一像素Y和第二像素Z是分別位於時序上前一幀Mp和目前幀Mc中的像素，其中，第一像素Y與預估像素K亦是分別位於時序上前一幀Mp和目前幀Mc中的像素，且具有相鄰的水平位置(或水平坐標)以及相同的垂直位置(或垂直坐標)。預估像素K則是和第二像素Z分別位於目前幀Mc中相鄰垂直位置的掃描線上的像素。上述以及本文之後提及的位置或坐標概念，均是基於一完整幀內的空間關係。
流程22、24和26是在判斷預估像素是否位於人造水平線之上並作相對的處置。位於人造水平線上的像素以傳統的動態偵測方法常被誤判為位於動態物體上的點，而以動態影像原則求取預估像素值，如前所述，此可能造成部分水平線無端消失。流程22、24和26僅是示範判定預估像素位於人造水平線上的方法，本發明並未限定於此。只要是利用符合上述定義的第一像素值、第二像素值、第一臨界值和第二臨界值間的相對關係做人造水平線的判定，均未脫離本發明的範疇。
圖4顯示依據本發明另一實施例的數字動態影像去交錯方法的流程圖，其包含分別以第一像素值、第二像素值和一動態臨界值做比較(流程40)；若第一像素值和第二像素值均大於或者均小於該動態臨界值，則以靜態影像原則求取預估像素的亮度值(流程42)；反之，若第一像素值和第二像素值中，其像素值較大者大於該動態臨界值，另一像素值小於該動態臨界值，則以動態影像原則求取預估像素的亮度值(流程44)。
本實施例中的第一像素、第二像素和預估像素間時序和空間上的相對關係亦如圖3所示，在此不再贅述。
圖5顯示依據本發明又一實施例的數字動態影像去交錯方法，此方法基本上是結合顯示於圖2的方法和圖4的方法，其包含計算第一像素值和第二像素值之差(流程50)；將第一像素值和第二像素值之差分別與第一臨界值和第二臨界值間做比較(流程51)；若第一像素值和第二像素值之差大於第一臨界值或小於第二臨界值，則判定預估像素位於人造水平線之上，且以靜態影像原則求取預估像素的亮度值(流程52)；分別以第一像素值、第二像素值和動態臨界值做比較(流程53)；若第一像素值和第二像素值均大於或者均小於動態臨界值，則以靜態影像原則求取預估像素的亮度值(流程54)；若第一像素值和第二像素值中，其像素值較大者大於動態臨界值，另一像素值小於動態臨界值，則以動態影像原則求取預估像素的亮度值(流程55)。
本領域技術人員應能理解，本實施例的判斷原則是優先判斷預估像素是否位於人造水平線之上。若預估像素被判定位於人造水平線之上，則以靜態影像原則求取其亮度值。若預估像素被判定非位於人造水平線之上，再以如圖4所示的方法，決定預估像素的亮度值。依據本發明的另一實施例，其優先以圖4所示的方法判定預估像素是否是動態的像素。若預估像素被判定為動態像素，則再以如圖2所示的方法，決定預估像素是否位於人造水平線之上。
以靜態影像原則求取預估像素的亮度值通常是以稱為交織(Weave)的方式自前一圖場與目前圖場內的相關像素值預測預估像素值。依據本發明一實施例，以靜態影像原則求取預估像素的亮度值是計算第一像素值和第二像素值的線性組合，其中第一像素值和第二像素值的權重可以是各50％。
以動態影像原則求取預估像素的亮度值通常是以稱為擺動(Bob)的方式自原圖場內的相關像素值預測預估像素值。依據本發明一實施例，以動態影像原則求取預估像素的亮度值是直接使得預估像素值等於第二像素值。
圖6顯示依據本發明一實施例的數字動態影像去交錯裝置600。此數字動態影像去交錯裝置600包含掃描線緩衝區(linebuffer)610、人造水平線偵測元件620、動態偵測元件630以及處理單元(processing unit)640。圖6亦顯示視頻幀緩衝區900和顯示緩衝區910，用以例示依據本發明的數字動態影像去交錯裝置和其他單元或外部裝置的連接關係。掃描線緩衝區610連接視頻幀緩衝區900、人造水平線偵測元件620、動態偵測元件630以及處理單元640，其接收並儲存來自視頻幀緩衝區900的影像數據並提供時序上屬於前一圖場的像素數據(位於掃描線上)予人造水平線偵測元件620、動態偵測元件630以及處理單元640使用。人造水平線偵測元件620連接視頻幀緩衝區900、掃描線緩衝區610和處理單元640，其依據視頻幀緩衝區900內的目前圖場像素和掃描線緩衝區610內的前一圖場像素判斷預估像素是否位於人造水平線之上，並將判斷的結果送至處理單元640。動態偵測元件630連接視頻幀緩衝區900、掃描線緩衝區610和處理單元640，其依據視頻幀緩衝區900內的目前圖場像素和掃描線緩衝區610內的前一圖場像素判斷預估像素是否是位於動態物體上的像素(或者稱為動態像素)，並將判斷的結果送至處理單元640。處理單元640連接視頻幀緩衝區900、掃描線緩衝區610、人造水平線偵測元件620、動態偵測元件630和顯示緩衝區910，其依據人造水平線偵測元件620和動態偵測元件630的判斷結果以動態影像原則(即Bob方式)或靜態影像原則(即Weave方式)處理視頻幀緩衝區900內的目前圖場信息和掃描線緩衝區610內的前一圖場信息以求取預估像素的亮度值，並傳送至顯示緩衝區910。
人造水平線偵測元件620可以利用揭示於圖2的方法判斷去交錯的預估像素是否位於人造水平線之上。換言之，人造水平線偵測元件620可以依據前一圖場像素值、目前圖場像素值、第一臨界值和第二臨界值間的相對關係判定預估像素是否位於人造水平線之上。例如，當前一圖場像素值和目前圖場像素值之差大於第一臨界值或小於第二臨界值之時，即判定預估像素是位於人造水平線之上。
動態偵測元件630可以利用揭示於圖4的方法判斷去交錯的預估像素是否是動態像素。意即，動態偵測元件630可以依據前一圖場像素值、目前圖場像素值和一動態臨界值的相對關係判定該預估像素是否是動態像素。例如，當前一圖場像素值和目前圖場像素值中的較大者大於動態臨界值，且其中的較小者小於動態臨界值之時，即判定預估像素是動態像素。
處理單元640依據人造水平線偵測元件620和動態偵測元件630的判斷結果決定預估像素的預估方式。其可以優先參考人造水平線偵測元件620的判斷結果，意即當人造水平線偵測元件620判定預估像素位於人造水平線上時，以靜態影像原則處理；當人造水平線偵測元件620判定預估像素非位於人造水平線上時，再參考動態偵測元件630的判斷結果決定預估像素的預估方式。依據本發明的其他實施例，處理單元640亦可以優先參考動態偵測元件630的判斷結果，當其結果為動態像素時，再參考人造水平線偵測元件620的判斷結果決定預估像素的預估方式。此外，處理單元640可以用揭示於上的靜態影像原則和動態影像原則求取預估像素值。例如，對於靜態像素以前一圖場像素值和目前圖場像素值的線性組合來代表預估像素值；對於動態像素則令預估像素值等於目前圖場像素值。
本實施例中所提及的前一圖場像素、目前圖場像素和預估像素的時序和空間相對關係亦如圖3所示，其中前一圖場像素和目前圖場像素分別相對於圖中的第一像素Y和第二像素Z。
視頻幀緩衝區900和掃描線緩衝區610可以是諸如動態隨機存取存儲器(dynamic random access memory或DRAM)的獨立存儲元件或是其一部分。人造水平線偵測元件620、動態偵測元件630以及處理單元640可以是諸如專用集成電路(applicationspecific integrated circuit或ASIC)中的邏輯模塊或是數位訊號處理器(digital signal processor或DSP)中的程序模塊。顯示緩衝區910可以是和本發明的數字動態影像去交錯裝置600同一系統甚至同一晶片內的視頻存儲緩衝區，亦可以是外接視頻裝置的視頻存儲緩衝區。
以上所述僅為本發明較佳實施例，然其並非用以限定本發明的範圍，任何熟悉本項技術的人員，在不脫離本發明的精神和範圍內，可在此基礎上做進一步的改進和變化，因此本發明的保護範圍當以本申請的權利要求書所界定的範圍為準。
附圖中符號的簡單說明如下20-26數字動態影像去交錯方法的流程40-44數字動態影像去交錯方法的流程50-55數字動態影像去交錯方法的流程100已知數字動態影像去交錯裝置110掃描線緩衝區120擺動/交織偵測元件140處理單元600數字動態影像去交錯裝置610掃描線緩衝區620人造水平線偵測元件630動態偵測元件640處理單元900視頻幀緩衝區910顯示緩衝區Fc目前圖場Fp前一圖場Fcp相對於目前圖場的預估圖場Fpp相對於前一圖場的預估圖場Mc目前幀Mp前一幀K預估像素Y第一像素Z第二像素
權利要求
1.一種數字動態影像去交錯方法，其特徵在於，其包含依據一第一像素值、一第二像素值、一第一臨界值和一第二臨界值間的相對關係判定一預估像素是否位於人造水平線之上；以及若該預估像素被判定是位於人造水平線之上，則以靜態影像原則求取該預估像素的亮度值，其中該第一臨界值大於該第二臨界值，該預估像素和該第一像素是分別位於該數字動態影像中時序上相鄰幀中同一垂直位置的掃描線上，且該預估像素和該第二像素分別位於同一幀中相鄰垂直位置的掃描線上。
2.根據權利要求1所述的數字動態影像去交錯方法，其特徵在於，更包括當該第一像素值和該第二像素值之差的絕對值大於該第一臨界值或小於該第二臨界值之時，則判定該預估像素是位於人造水平線之上；若該預估像素被判定是非位於人造水平線之上，則以動態影像原則求取該預估像素的亮度值。
3.根據權利要求1或2所述的數字動態影像去交錯方法，其特徵在於，上述的靜態影像原則是指使得該預估像素的亮度值等於該第一像素值和該第二像素值的線性組合。
4.根據權利要求1所述的數字動態影像去交錯方法，其特徵在於，更包含依據該第一像素值、該第二像素值和一動態臨界值的相對關係判定該預估像素是否是動態像素；以及若該預估像素被判定是動態像素，則以動態影像原則求取該預估像素的亮度值，否則則以靜態影像原則求取該預估像素的亮度值。
5.根據權利要求4所述的數字動態影像去交錯方法，其特徵在於，當該第一像素值和該第二像素值中的較大者大於該動態臨界值，且該第一像素值和該第二像素值中的較小者小於該動態臨界值，則判定該預估像素是動態像素。
6.根據權利要求5所述的數字動態影像去交錯方法，其特徵在於，上述的動態影像原則是指使得該預估像素的亮度值等於該第二像素值。
7.一種數字動態影像去交錯裝置，其特徵在於，其包含一人造水平線偵測元件，其依據一第一像素值、一第二像素值、一第一臨界值和一第二臨界值間的相對關係判定一預估像素是否位於人造水平線之上；一掃描線緩衝區，連接至一視頻幀緩衝區，該視頻幀緩衝區暫存包含該第二像素值的目前圖場，而該掃描線緩衝區則暫存包含該第一像素值的掃描線；一處理單元，用以於該人造水平線偵測元件判定該預估像素是位於人造水平線上之時，以靜態影像原則求取該預估像素的亮度值，其中該第一臨界值大於該第二臨界值，該預估像素和該第一像素是分別位於該數字動態影像中時序上相鄰幀中同一垂直位置的掃描線上，且該預估像素和該第二像素分別位於該目前幀中相鄰垂直位置的掃描線上。
8.根據權利要求7所述的數字動態影像去交錯裝置，其特徵在於，當該第一像素值和該第二像素值之差的絕對值大於該第一臨界值或小於該第二臨界值之時，該人造水平線偵測元件判定該預估像素是位於人造水平線之上，其中上述的靜態影像原則是指使得該預估像素的亮度值等於該第一像素值和該第二像素值的線性組合。
9.根據權利要求7所述的數字動態影像去交錯裝置，其特徵在於，更包含一動態偵測元件，其依據該第一像素值、該第二像素值、和一動態臨界值的相對關係判定該預估像素是否是動態像素，其中該處理單元於該動態偵測元件判定該預估像素是動態像素之時，以動態影像原則求取該預估像素的亮度值。
10.根據權利要求9所述的數字動態影像去交錯裝置，其特徵在於，當該第一像素值和該第二像素值中的較大者大於該動態臨界值，且該第一像素值和該第二像素值中的較小者小於該動態臨界值之時，該動態偵測元件判定該預估像素是動態像素，其中上述的動態影像原則是指使得該預估像素的亮度值等於該第二像素值。
全文摘要
本發明提出一種數字動態影像去交錯方法與裝置，特別涉及一種數字動態影像去交錯方法，其包含依據第一像素值、第二像素值、第一臨界值和第二臨界值間的相對關係判定預估像素是否位於人造水平線之上；以及若預估像素被判定是位於人造水平線之上，則以靜態影像原則求取預估像素的亮度值。本發明亦包含執行此方法的裝置。本發明所述的數字動態影像去交錯方法與裝置，可進行人造水平線的偵測，且可使用較少的系統資源執行動態物體的偵測。
文檔編號H04N5/44GK101068306SQ20071011135
公開日2007年11月7日 申請日期2007年6月15日 優先權日2007年6月15日
發明者林華生, 王俊翔, 曹盛哲 申請人:威盛電子股份有限公司