運動及邊緣自適應去隔行掃描的製作方法
2023-09-19 22:07:40 3
專利名稱：運動及邊緣自適應去隔行掃描的製作方法
背景技術：
本發明總體上涉及視頻圖像顯示以及視頻圖像的去隔行掃描。
許多電視和視頻信號是隔行掃描的，其中組成單一視頻幀的掃描線組(對於NTSC彩色電視典型地為525)不是順序掃描和傳輸的。而是，視頻幀被劃分為兩個「場」，每個場包括隔行的掃描線。在電視中，先傳輸包含一個場的掃描線，然後是第二個場的掃描線。
但是，許多顯示設備，如計算機顯示器不是隔行掃描的。而是，這些設備順序掃描整個顯示區域，一條掃描線接著一條。為了在這樣漸進掃描的設備上顯示隔行掃描序列，如視頻信號，需要一個去隔行掃描的過程將每個單獨的場轉換為可以順序輸出到顯示設備的完整的顯示幀。去隔行掃描過程的主要任務是重建隔行掃描場的每個掃描線之間丟失的線。
有兩種主要的去隔行掃描方法，每個有自己的優點和缺點。「場間」技術簡單地將來自第二個場的數據與來自第一個場的數據合併以生成一個完整的幀。如果視頻幀中沒有運動，則這種方法生成理想的重構圖象。垂直解析度可以和原始的未隔行掃描的幀一樣好。但是，如果視頻信號中有運動，則運動效果對於人眼一般是可見的。當在掃描第一個場期間位於一個位置的一個對象在掃描第二個場的交互掃描線時已經運動，就會出現運動效果。簡單地將隔行掃描的兩個場的掃描線組合會產生無法接受的對象重現。
「場內」技術僅使用來自單一場的數據以生成完整的幀。這種方法更適合於帶有運動的視頻幀。利用場內技術，從不存在像素上下的掃描線中的像素值內插不存在像素的值。因為其不將一個場的運動合併到下一個場，所以這個技術不生成有害的運動效果，因為其僅僅從單一場中的已有像素值內插並且不使用第二個場的丟失掃描線的像素信息，所以其也不增強垂直解析度。而且，簡單的場內去隔行掃描技術(如簡單的垂直內插)沿對角線方向趨向生成不能接受的鋸齒狀圖象。
發明內容
一般地，在一個方面，本發明特徵在於用於在視頻信號的去隔行掃描期間內插一個像素的方法，所述視頻信號包括隔行掃描線的至少兩個場，每個掃描線包括具有各自強度值的一系列像素，該方法包括在關於像素的連續幀之間生成代表運動的一個運動值，檢測關於像素的邊緣方向，使用檢測的邊緣方向在像素上執行邊緣自適應內插，以及使用生成的運動值在像素上執行運動自適應內插。
本發明的實施方案包括一個或多個下面的特性。可以通過比較關於來自連續幀的像素的像素段來生成該運動值。這些段可包括一條掃描線中的至少兩個連續像素。生成運動值可包括，對於來自關於像素的連續幀的多個像素段中的每個，計算多個差值，確定計算的多個差值中最大的，並且利用計算的多個差值中最大的從查找表中確定運動值。可以確定關於該像素是否存在邊緣並且依賴是否存在邊緣而從多個查找表中選擇一個查找表。可以通過比較關於來自至少三個連續幀的像素的像素段生成運動值。至少一個連續幀的像素段可以存儲在特性緩存中。
邊緣方向可以這樣檢測通過對第一多個像素對形成各自的差值，每個像素對包含來自分別在像素上面和下面的掃描線的兩個像素，第一多個像素對的每個像素對具有第一個共同方向，從第一多個像素對的各個差值中計算第一多個像素對的組合差值，形成第二多個像素對的各自的差值，每個像素對包含來自分別在像素上面和下面的掃描線的兩個像素，第二多個像素對的每個像素對具有第二個共同方向，從第二多個像素對的各個差值中計算第二多個像素對的組合差值，並且將第二個組合差值和第一個組合差值間的差值與一個邊緣閾值相比較以確定是否存在邊緣。
第一和第二多個像素對的每一個可包含至少三個像素對。第一和第二組合差值的計算可包括將由第一和第二多個像素對的每個各自像素對形成的每個各自差值的絕對值相加。第一個方向可以沿著與像素垂直方向成大約135度角，而第二個方向可以沿著與像素垂直方向成大約45度角。
邊緣方向檢測還可以包括對第三多個像素對形成各自的差值，每個像素對包括來自分別在像素上面和下面的掃描線的兩個像素，第三多個像素對的每個像素對具有第三個共同方向，從第三多個像素對的各個差值中計算第三多個像素對的第三個組合差值，並且如果邊緣存在，則將第三組合差值與第一和第二組合差值相比較以確定邊緣方向。第三多個像素對的每一個可包括至少三個像素對。第三個組合差值的計算可包括將由第三多個像素對的每個各自像素對組成的每個各自差值的絕對值相加。第三個組合差值的計算還包括將相加的絕對值與一個靈敏度因數相乘。第三個方向基本上是垂直的。
像素處的邊緣自適應內插還可包括，如果邊緣方向基本上是垂直的，則通過將基本上直接位於像素上方的至少一個像素與基本上直接位於像素下方的至少一個像素平均來形成一個中間像素值，如果邊緣方向與垂直方向成大致45度，則通過將基本沿像素的45度軸線的位於像素上方的至少一個像素和位於像素下方的至少一個像素平均來形成中間像素值，如果邊緣方向是與垂直方向成大約135度，則通過將基本沿像素的135度軸線的位於像素上方的至少一個像素和位於像素下方的至少一個像素平均來形成中間像素值。
通過中間像素值乘以運動值並且加上來自下一個場的與最大運動值與該運動值之間的差相乘的像素值以形成該像素的最終內插值，可以執行像素處的運動自適應內插。
一般地，在另一方面，本發明的特徵在於用於在視頻信號去隔行掃描期間內插像素的一種裝置，所述視頻信號包括隔行掃描線的至少兩個場，每個掃描線包括具有各自強度值的一系列像素，該裝置包括一個配置用於生成代表關於像素的連續幀之間運動的運動值的運動值生成器，配置用於檢測關於像素的邊緣方向的邊緣方向檢測器，配置用於利用檢測的邊緣方向執行像素處邊緣自適應內插的邊緣自適應內插器，以及配置用於利用生成的運動值執行像素處運動自適應內插的運動自適應內插器。
本發明的實施方案包括一個或多個下列特徵。運動值生成器可以比較來自關於像素的連續幀的像素段以生成運動值。這些段可以包括一條掃描線上的至少兩個連續像素。運動值生成器還包括配置用於計算來自關於像素的連續幀的多個像素段的每一個的多個差值的差值計算器，配置用於確定計算的多個差值的最大值的差值比較器，以及配置以來自差值比較器的計算的多個差值中的最大值為索引的運動值查找表。運動值生成器還包括配置用於檢測關於像素是否存在邊緣的邊緣檢測器，其中依賴是否存在邊緣而從多個查找表中選擇一個查找表。通過比較來自至少三個連續幀的像素的像素段可以生成該運動值。一個特徵緩存可以存儲連續幀中至少一個的像素段。
邊緣方向檢測器還包括配置用於形成第一多個像素對的各自差值的第一像素對比較器，每個像素對包括來自分別在像素上面和下面的掃描線的兩個像素，第一多個像素對的每個像素對具有第一共同方向，配置為從第一多個像素對的各個差值中計算第一多個像素對的第一個組合差值的第一像素對差值計算器，配置用於形成第二多個像素對的各自差值的第二像素對比較器，每個像素對包括來自分別在像素上面和下面的掃描線的兩個像素，第二多個像素對的每個像素對具有第二共同方向，配置為從第二多個像素對的各個差值中計算第二多個像素對的第二個組合差值的第二像素對差值計算器，以及配置為將第二組合差值和第一組合差值之間的差值與邊緣閾值相比較以確定是否存在邊緣的邊緣存在邏輯。
第一和第二多個像素對的每個包括至少三個像素。第一和第二組合差值的計算可包括將由第一和第二多個像素對的每個各自像素對形成的每個各自差值的絕對值相加。第一個方向可以沿著與像素垂直方向成大約135度角，而第二個方向可以沿著與像素垂直方向成大約45度角。
邊緣方向檢測器還包括配置為形成第三多個像素對各自差值的第三像素對比較器，每個像素對包括來自分別在像素上方和下方的掃描線的兩個像素，第三多個像素對的每個像素對具有第三個共同方向，配置為計算來自第三多個像素對的各自差值的第三多個像素對的第三組合差值的第三個像素對差值計算器，以及一個邊緣檢測計算器，配置用於如果邊緣存在，則將第三個組合差值與第一和第二組合差值相比較以確定邊緣方向。第三多個像素對包括至少三個像素對。第三個組合差值的計算包括將從第三多個像素對的每個各自像素對形成的每個各自差值的絕對值相加。第三個組合差值的計算還包括將相加的絕對值與一個靈敏度因數相乘。第三個方向可以基本上垂直。
邊緣自適應內插器還包括邏輯，配置為如果邊緣方向基本上是垂直的，則通過將基本上直接位於像素上方的至少一個像素與基本上直接位於像素下方的至少一個像素平均來形成一個中間像素值，如果邊緣方向與垂直方向成大致45度，則通過將基本沿像素的45度軸線的位於像素上方的至少一個像素和位於像素下方的至少一個像素平均來形成中間像素值，如果邊緣方向是與垂直方向成大約135度，則通過將基本沿像素的135度軸線的位於像素上方的至少一個像素和位於像素下方的至少一個像素平均來形成中間像素值。
運動自適應內插器包括邏輯，用於將中間像素值與運動值相乘並且加上與該運動值與最大運動值之間的差值相乘的下一個場的像素值以形成該像素的最終內插值。
本發明的優點包括下列的一個或多個。通過平滑地將一個幀中每個像素的場間和場內值組合，用該像素處檢測的運動加權，本發明對於場景的靜態和動態部分，可在掃描視頻信號的去隔行掃描中提供更高的準確度並且在顯示圖像中提供更高的保真度。對於具有較低運動值的像素使用場間內插技術可以提供更高的垂直解析度。對於具有較高運動值的像素使用場內內插技術可以減少不需要的運動效果。通過線性函數將兩者組合，用像素處檢測的運動加權可以平滑地提供兩種技術的最優點。通過基於在像素處是否檢測到邊緣來選擇運動值查找表可以提供更準確的運動值確定。基於像素段確定運動值還可以增加運動檢測的準確度以及減少噪聲和錯誤的運動判斷。而且，因為段中每個像素共享一個公用運動值，所以分段大幅度降低了每個幀需要的運動計算數量。利用分段的像素信息的至少三個幀可以提供更準確的運動判斷。使用分段和存儲優先幀的段的特徵緩存可以降低執行特徵緩存讀寫所需要的帶寬。其還可以消除每個幀執行不止一次分段計算的需要。沿著檢測的邊緣內插一個像素值在視頻信號的去隔行掃描中還提供更高的準確度。
從下面的描述、附圖和權利要求中，本發明的這些以及其他特徵和優點將變得更清楚。
圖1是隔行掃描的視頻源中偶場和奇場的圖。
圖2是運動和邊緣自適應去隔行掃描方法的流程圖。
圖3是運動檢測方法中用到的場間像素段的時間圖。
圖4是用於檢測運動值的裝置的示意圖。
圖5a至5d是說明邊緣檢測方法的像素圖。
圖6是用於檢測邊緣的裝置的示意圖。
圖7是用於幀顯示的現有技術幀緩存。
圖8是提供用於實時運動和邊緣自適應去隔行掃描的特徵緩存的幀緩存。
描述圖1顯示了一個典型的隔行掃描視頻源的偶場10和奇場12的圖。偶場10由偶數掃描線0、2、4等組成。而奇場由奇數掃描線1、3等組成。典型的NTSC電視視頻源由按這種方式劃分的525線組成。偶場10在時刻t＝t1掃描，而奇場12在時刻t＝t2掃描。為了從如偶場10構造出一個完整的幀，必須重建每個丟失的掃描線(例如線3)。圖1中實線代表給定場中已有的掃描線，而虛線描繪了需要重建的丟失的線。
作為例子，沿偶場10的線3的每個像素元素X必須重建。可以簡單地使用來自下一個奇場12的像素元素C1、C2和C3等，但是這種簡單的場間技術會引入如描述的運動效果。或者可以簡單地利用場內臨近的像素值A1、A2和A3以及B1、B2和B3等內插丟失的元素C1、C2和C3。但是這種場內技術不提供高的垂直解析度並且會沿對角線產生鋸齒狀失真假象。
圖2顯示了一個強大的通用的，對於具有較少運動的幀區域能改善垂直解析度並且對於具有更多運動的其他區域能減少不想要的運動效果的去隔行掃描方法20的流程圖。首先，對於每個像素X，利用來自連續幀的信息檢測運動值(步驟22)。在一個優選實施方案中，運動值是具有值0至15的與像素X周圍場景的運動程度成比例的一個4位整數。接著，利用像素X自己的幀內像素X周圍的臨近像素的強度值生成像素X的邊緣方向(步驟24)。在一個實施方案中，邊緣方向一般可定義為45度、135度或沒有邊緣(即90度)。第三，利用邊緣方向數據和像素X周圍的某些臨近像素值確定像素的中間內插值(步驟26)。第四，利用中間內插值和來自下一個場的像素X的值的組合定義像素X的最終像素值，每個分量由檢測的運動值加權(步驟28)。
參見圖3和4，通過對連續場的像素X周圍的像素組進行分析可生成像素X的運動值。在一個實施方案中，考慮了六個場場0(項100)和場1(項101)是先於當前幀的兩個幀，場2(項102)和場3(項103)是先於當前幀的一個幀，以及場4(項104)和場5(項105)包括當前幀。除此之外，比較來自這些場的像素段(110a至110i)而不是單個像素以檢測運動值。在一個實施方案中，每個段110包括一條掃描線上的四個連續像素，平均成一個強度值。大於一個的任何數量的像素可以按這種方式分段。
在為像素X的運動值計算中使用的每個段通常或者臨近或者包含像素X。例如，來自當前幀的場4的段A(110a)是像素X上的像素段，而來自相同場的段G(110g)是像素X下面的像素的段。並且段D(110d)來自相同幀的下一個場5，並且包含像素X。
分段像素一起用於執行運動檢測有幾個優點。首先，降低了噪聲並且增加了運動檢測的準確度。其次，一個段中的每個像素(例如四個)將共享相同的運動值，因此對於例如每四個像素，運動計算只需做一次。並且第三，如下的進一步描述，因為運動計算需要比較段信息的幾個幀，所以分段能夠以更緊湊的形式，如特徵緩存來存儲先前的場信息。
參見圖4，示意地顯示了運動值檢測方法200。該運動值檢測方法可以用任何方便的方式實現，例如以通用計算機上的軟體，或專用硬體方式。在一個優選實施方案中，在對像素每個想要的像素塊分段(邏輯塊202a至202i)之後，來自連續場的臨近(或包含)像素X的像素段的各個對之間的差值就確定了。例如，從前一個偶場2的段B(110b)中減去(塊204a)當前偶場4的段(110a)，則確定結果(塊206a)的絕對值。類似地，確定前一個偶場2的段B(110b)與更前一個偶場0的段C(110c)的差值(塊204b)的絕對值(塊206b)。以相同的方式，從段D(110d)中減去段E(110e)，從段E(110e)中減去段F(110f)，從段G(110g)中減去段H(110h)，從段H(110h)中減去段I(110i)(塊202c至202f)。接著確定這些差值的每一個的絕對值(塊206c至206f)。接著確定這些絕對差值的最大值(塊208)。然後使用結果的最大差值(最大段間差值)作為可重加載的運動值查找表的索引(塊210)來輸出最終運動值216。在一個實施方案中，每個像素(以及每個平均像素段)具有8比特強度值(也就是從0到255)並且運動值216是一個具有從0到15的4比特數。
在一個實施方案中，根據在像素X周圍是否檢測到邊緣可以來加載不同的查找表。例如，可以確定當前偶場4的段A(110a)和G(110g)之間的差值(塊204g)，並且產生的絕對值與邊緣檢測步驟(塊214)中的邊緣閾值相比較來確定像素X上下是否有一個尖銳的差值。這確定了像素X處是否有一個場內垂直邊緣。
如果沒有檢測到邊緣，則查找表可以是一個簡單的函數運動[30]＝如果小於等於15，則最大段間差值；以及運動[30]＝對於最大段間差值的所有其他值為15。
如果檢測到邊緣(例如，場內垂直邊緣)則可以減少有效運動值，例如運動[30]＝如果小於等於31，則1/2最大段間差值；以及運動[30]＝對於最大段間差值的所有其他值為15。
當檢測到邊緣時使用不同的查找表(具有減少的運動值)可生成更準確的內插結果。使得對於下面描述的內插計算更清楚的，如果檢測到邊緣，並且從替代查找表中檢索出減少的運動值，則去隔行掃描計算將通過從下一個場中取出更多它的值並且從當前場中圍繞像素X的已有像素中使用更少的內插生成像素X的強度，否則其可能「柔化」邊緣並且產生，通常來說，更不準確的結果。
根據實現可以使用運動值的各種查找表。例如，運動值可以是一個完整的8比特數，完全映射到連續像素段之間生成的最大強度差值的尺度。而且，可以使用更詳盡的邊緣檢測算法(如下面進一步描述的)來根據邊緣方向而從不同查找表中選擇。
在運動值生成之後(圖2的步驟22)，就確定了(圖2的步驟24)臨近像素X(如果有的話)的邊緣的方向。參見圖5a至5d，在像素X的上下的像素250的組上執行邊緣檢測。如圖5a所示，像素X上的掃描線252包括五個像素A0至A5並且像素X下的掃描線254包括五個像素B0至B5。參見圖5b，邊緣檢測算法首先計算關於像素X的沿135度軸(從垂直方向開始測量)的三對像素(256a，256b，256c)之間各自的差值，每對包含來自掃描線252的一個像素和來自掃描線254的一個像素。然後這些各個差值的絕對值相加來生成Diff135值Diff135＝|A0-B2|+|A1-B3|+|A2-B4|類似地，參見圖5c，邊緣檢測算法接著計算關於像素X的沿90度(或垂直)軸的三對像素(258a，258b，258c)之間各自的差值。然後這些各個差值的絕對值相加來生成Diff90值Diff90＝|A1-B1|+|A2-B2|+|A3-B3|·Factor其中Factor是減少Diff90計算的靈敏度的靈敏度常數。在一個實施方案中，Factor＝0.75。
並且，參見圖5d，邊緣檢測算法接著計算關於像素X的沿45度軸的三對像素(260a，260b，260c)之間各自的差值。然後這些各個差值的絕對值相加來生成Diff45值Diff45＝|A2-B0|+|A3+B1|+|A4-B2|然後比較關於像素X(要內插的像素)的沿三個不同方向的三個像素對的比較以確定關於像素X的邊緣的存在和方向。
首先，Diff45和Diff135與邊緣閾值相比較以確定是否存在一個基本非垂直邊緣如果|Diff45-Diff135|＞Edge_Threshold則Edge_Exist其中Edge_Threshold是用於確定邊緣存在的另一個靈敏度因數。在一個實施方案中，Edge_Threshold＝32。Edge_Threshold和Factof可以調整來說明可能生成錯誤邊緣指示的較高級別的場景。特別是，邊緣計算一般不應該確定如細線的小的細節是邊緣。靈敏度常數因數可以說明如單一的細線會產生越過像素組的高的90度的差值，但是低45度和135度差值因而可能產生錯誤的邊緣。
邊緣檢測算法的預設條件是沒有邊緣(或90度邊緣)。邊緣檢測算法使用Diff45、Diff90和Diff135結果來確定已有邊緣的方向如果(Diff45＜＝Diff90)並且(Diff45＜＝Diff135)並且Edge_Exist)則Edge[10]＝10；否則如果(Diff135＜＝Diff90)並且(Diff135＜＝Diff45)並且Edge_Exist)則Edge[10]＝11；否則Edge[10]＝00。
其中Edge[10]是邊緣條件的兩比特二進位代碼Edge[10]＝00以二進位表示沒有(或垂直)邊緣，Edge[10]＝10表示基本沿45度軸的邊緣；並且Edge[10]＝11表示基本沿135度軸的邊緣。也可以使用其他定義邊緣的慣例。
圖6表示用於實現邊緣檢測算法的示意圖300。首先通過計算三個像素對(A0-B2、A1-B3、A2-B4)(在邏輯框302a至302c)的各個差值，獲得這些差值的絕對值(框304a至304c)，然後將結果求和(框306a)來計算Diff135。通過計算另外三個像素對(A1-B1、A2-B2、A3-B3)(在邏輯框302d至302f)的各個差值，獲得這些差值的絕對值(框304d至304f)，將結果求和(框306b)，然後乘以因數310(框308)來計算Diff90。通過計算另外三個像素對(A2-B0、A3-B1、A4-B2)(在邏輯框302g至302i)的各個差值，獲得這些差值的絕對值(框304g至304i)，然後將結果求和(框306c)來計算Diff45。
然後確定Diff135和Diff45之間的差值(框312)，並且將結果的絕對值(框314)與邊緣閾值318相比較以確定Edge_Exist是否為TRUE(框316)。然後提供Diff90、Diff135、Diff45和Edge_Exist信號給比較和解碼邏輯320，其執行上述比較以生成最終Edge[10]信號322。
Edge[10]和Motion[30]確定之後(可以以任何順序或並行完成)，像素X的中間場內內插結果M_Data計算(圖2的步驟26)如下如果Edge[10]＝00(90度或沒有邊緣)，則M_Data＝A2/2+B2/2；如果Edge[10]＝10(45度邊緣)，則M_Data＝A3/2+B1/2；以及如果Edge[10]＝11(135度邊緣)，則M_Data＝A1/2+B3/2；這些計算基於沿檢測的邊緣的值來內插像素X的值，提供更準確的邊緣描述。
最後，場內內插值與從下一個場(例如，圖1中奇場12)獲得的像素X的值C2混合如果(Motion＝15)則X＝M_Data；否則X＝((16-Motion[30])·C+(Motion·M_Data))/16。
因為Motion是值為0到15的整數，所以如果Motion高，則大部分像素X由場內結果M_Data確定。如果Motion非常低，則像素X的所有值都由下一個場中其值C來確定。
通過將幀中每個像素的場內和場間值平滑組合，由像素處檢測的運動加權，本方法對於場景的靜態和動態部分，在去隔行掃描視頻信號中提供更高準確性並且在顯示圖象中提供更高的保真度。
除了在圖4和6中顯示的邏輯硬體外，為執行運動計算提供先前幀信息的內存存儲器非常有用。如圖7所示，對於許多視頻應用(例如，在典型的PC圖形處理器和視頻卡中)幀緩存400包括存儲順序視頻幀的兩個緩存(這裡稱為表面A402和表面B404)。一個緩存由捕獲處理器等寫入，而另一個緩存讀出到顯示處理器406用於在視頻屏上顯示。這保證了正在讀取的存儲器不受為下一幀存儲器寫的幹擾。在輸入垂直同步與輸出垂直同步信號不同的實現中雙緩存特別有用。然而，在典型的雙緩存中顯示處理器不能訪問信息的前一個幀。
如圖8所示，為了能夠做到像素信息的幾個先前幀的運動檢測，本發明的一個實施方案使用兩個特性緩存，特性緩存A 508a和特性緩存B 508b。對於每個顯示的幀，顯示處理器506提取當前幀的有關特性並且將其寫回幀緩存500，將其存儲在特性緩存508a或508b之一中。以這種方式，兩個特性緩存將存儲兩個先前幀的有價值的有關特性信息，其可在運動計算期間由運動檢測器用於生成當前幀的每個像素的運動值。
如上所述，在運動檢測期間本發明使用分段來將四個連續像素平均為一個平均的像素段。然後如上所述將這些段相比較。分段的一個方便的結果是當前幀僅有計算的像素段需要存儲在特性緩存508a和508b中。這減少了執行特性緩存讀寫需要的帶寬。其還消除了每幀執行分段計算超過一次的需要。如上所述，基於像素的段確定運動值還能夠增加運動檢測的準確性並且減少噪聲和錯誤運動判斷。而且，因為段中每個像素將共享一個通用的運動值，所以分段急劇減少了每幀需要的運動計算的數量。如上所述，每個段可以有任意個像素這裡為本發明的一個實施方案中選擇了四個。
其他實施方案在權利要求的範圍內。例如，可以以各種方式來實現任何邏輯塊。例如，各種塊的功能可以彼此組合成任何其他數量的模塊。每個模塊可以實現為存儲在實際存儲器(例如隨機訪問存儲器、只讀存儲器、CD-ROM存儲器、硬碟驅動器)中的軟體程序，可由中央處理單元讀取以實現本發明的功能。或者，模塊可以由通過傳輸載波發送到通用計算機或圖形處理硬體的程序指令組成。而且，模塊還可以由實現本發明包含的功能的硬體邏輯電路實現。任何數量的像素可以組合成段用於運動檢測計算。可以使用任何數量的先前幀來檢測像素位置處的運動。可以使用任何數量的像素對進行邊緣檢測。可以使用像素對的不同選擇來確定其他邊緣方向。可以選擇不同的像素組來確定邊緣方向和/或內插值。可以選擇不同的運動因數和邊緣閾值來調整計算的靈敏度。去隔行掃描方法和裝置可以用於數字和模擬視頻信號，特別是非內插電視應用。
權利要求
1.一種用於在視頻信號的去隔行掃描期間內插像素的方法，所述視頻信號包括隔行掃描線的至少兩個場，每個掃描線包括具有各自強度值的一系列像素，所述方法包括在關於像素的連續幀之間生成表示運動的運動值；檢測關於所述像素的邊緣方向；在所述像素處利用檢測的邊緣方向執行邊緣自適應內插；以及在所述像素處利用生成的運動值執行運動自適應內插。
2.如權利要求1的方法，其中通過比較關於來自連續幀的像素的像素段來生成所述運動值。
3.如權利要求2的方法，其中所述段包括掃描線上至少兩個連續像素。
4.如權利要求2的方法，其中運動值的生成還包括為來自關於像素的連續幀的多個像素段的每個計算多個差值；確定計算的多個差值中最大的；以及利用計算的多個差值中最大的來從查找表中確定運動值。
5.如權利要求4的方法，還包括檢測關於像素是否存在一個邊緣並且根據是否存在邊緣而從多個查找表中選擇查找表。
6.如權利要求2的方法，其中通過比較關於來自至少三個連續幀的像素的像素段來生成運動值。
7.如權利要求2的方法，其中連續幀的至少一個的像素段存儲在特性緩存中。
8.如權利要求1的方法，其中如下檢測邊緣方向為第一多個像素對形成各自的差值，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第一多個像素對的每個像素對具有第一個共同方向；計算第一多個像素對的來自第一多個像素對各自差值的第一個組合差值；為第二多個像素對形成各自的差值，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第二多個像素對的每個像素對具有第二個共同方向；計算第二多個像素對的來自第二多個像素對各自差值的第二個組合差值；以及將第二個組合差值與第一個組合差值之間的差值與邊緣閾值相比較以確定邊緣是否存在。
9.如權利要求8的方法，其中第一和第二多個像素對的每個包括至少三個像素對。
10.如權利要求8的方法，其中第一和第二個組合差值的計算包括將分別由第一和第二多個像素對的各個像素對的每個形成的各個差值的每個的絕對值相加。
11.如權利要求8的方法，其中第一個方向是與所述像素的垂直方向成大約135度角並且第二個方向是距所述像素的垂直方向大約45度角。
12.權利要求8的方法，還包括為第三多個像素對形成各自的差值，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第三多個像素對的每個像素對具有第三個共同方向；計算第三多個像素對的來自第三多個像素對各自差值的第三個組合差值；以及如果邊緣存在，將第三個組合差值與第一和第二個組合差值相比較以確定邊緣方向。
13.如權利要求12的方法，其中第三多個像素對的每個包括至少三個像素對。
14.如權利要求12的方法，其中第三個組合差值的計算包括將由第三多個像素對的各個像素對的每個形成的各個差值的每個的絕對值相加。
15.如權利要求14的方法，其中第三個組合差值的計算還包括將相加的絕對值與一個靈敏度因數相乘。
16.如權利要求12的方法，其中第三個方向是基本垂直的。
17.如權利要求1的方法，其中像素處的邊緣自適應內插還包括如果邊緣方向基本上是垂直的，則通過將基本上直接在所述像素上方的至少一個像素和基本上直接在所述像素下方的至少一個像素平均來形成一個中間像素值；如果邊緣方向與垂直方向大約成45度，則通過將基本上沿通過所述像素的45度軸的在所述像素上方的至少一個像素和在所述像素下方的至少一個像素平均來形成一個中間像素值；以及如果邊緣方向與垂直方向大約成135度，則通過將基本上沿通過所述像素的135度軸的在所述像素上方的至少一個像素和在所述像素下方的至少一個像素平均來形成一個中間像素值。
18.如權利要求17的方法，其中通過將中間像素值與運動值相乘並且加上來自下一個場的與最大運動值與運動值之間差值相乘的像素值以形成所述像素的最終內插值，來執行在所述像素處的運動自適應內插。
19.一種用於在視頻信號去隔行掃描期間內插像素的方法，所述視頻信號包括隔行掃描線的至少兩個場，每個掃描線包括具有各自強度值的一系列像素，所述方法包括在關於所述像素的連續幀之間生成表示運動的運動值，其中為來自關於所述像素的連續幀的多個像素段的每個生成運動值，計算多個差值，確定計算的多個差值中的最大值，以及利用計算的多個差值的最大值從查找表確定運動值，其中根據關於所述像素是否存在邊緣而從多個查找表中選擇查找表；如下檢測關於所述像素的邊緣方向為第一多個像素對形成各自的差值，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第一多個像素對的每個像素對具有第一個共同方向，計算第一多個像素對的來自第一多個像素對各自差值的第一個組合差值，為第二多個像素對形成各自的差值，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第二多個像素對的每個像素對具有第二個共同方向，計算第二多個像素對的來自第二多個像素對各自差值的第二個組合差值，將第二個組合差值與第一個組合差值之間的差值與邊緣閾值相比較以確定邊緣是否存在，為第三多個像素對形成各自的差值，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第三多個像素對的每個像素對具有第三個共同方向，計算第三多個像素對的來自第三多個像素對各自差值的第三個組合差值，以及如果邊緣存在，將第三個組合差值與第一和第二個組合差值相比較以確定邊緣方向；如下利用檢測的邊緣方向執行像素處的邊緣自適應內插如果邊緣方向基本上是垂直的，則通過將基本上直接在所述像素上方的至少一個像素和基本上在所述像素下方的至少一個像素平均來形成一個中間像素值；如果邊緣方向與垂直方向成大約45度，則通過將基本上沿通過所述像素的45度軸的在所述像素上方的至少一個像素和在所述像素下方的至少一個像素平均來形成中間像素值；以及如果邊緣方向與垂直方向成大約135度，則通過將基本上沿通過所述像素的135度軸的在所述像素上方的至少一個像素和在所述像素下方的至少一個像素平均來形成一個中間像素值；以及利用生成的運動值，通過將中間像素值與運動值相乘並且加上來自下一個場的與最大運動值與運動值之間差值相乘的像素值以形成所述像素的最終內插值，來執行在所述像素處的運動自適應內插。
20.用於在視頻信號去隔行掃描期間內插像素的裝置，所述視頻信號包括隔行掃描線的至少兩個場，每個掃描線包括具有各自強度值的一系列像素，所述裝置包括配置用於生成表示關於所述像素的連續幀之間運動的運動值的運動值生成器；配置用於在關於所述像素檢測邊緣方向的邊緣方向檢測器；利用檢測的邊緣方向，配置用於在所述像素處執行邊緣自適應內插的邊緣自適應內插器；以及利用生成的運動值，配置用於在所述像素處執行運動自適應內插的運動自適應內插器。
21.如權利要求20的裝置，其中所述運動值生成器比較來自關於所述像素的連續幀的像素段以生成運動值。
22.如權利要求21的裝置，其中所述段包括掃描線上至少兩個連續像素。
23.如權利要求21的裝置，其中運動值生成器還包括配置用於為來自關於所述像素的連續幀的多個像素段的每個計算多個差值的差值計算器；配置用於確定計算的多個差值中最大值的差值比較器；以及配置為以來自差值比較器的計算的多個差值中最大值為索引的運動值查找表。
24.如權利要求23的裝置，其中運動值生成器還包括配置為檢測關於像素是否存在邊緣的邊緣檢測器，其中根據邊緣是否存在而從多個查找表中選擇查找表。
25.如權利要求23的裝置，其中通過比較關於來自至少三個連續幀的像素的像素段來生成運動值。
26.如權利要求23的裝置方法，還包括為連續幀中的至少一個存儲像素段的特性緩存。
27.如權利要求20的裝置，其中邊緣方向檢測器還包括配置為為第一多個像素對形成各自差值的第一像素對比較器，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第一多個像素對的每個像素對具有第一個共同方向；配置為從第一多個像素對的各個差值中為第一多個像素對計算第一個組合差值的第一像素對差值計算器；配置為為第二多個像素對形成各自差值的第二像素對比較器，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第二多個像素對的每個像素對具有第二個共同方向；配置為從第二多個像素對的各個差值中為第二多個像素對計算第二個組合差值的第二像素對差值計算器；以及配置為將第二個組合差值與第一個組合差值之間差值與邊緣閾值相比較以確定是否存在邊緣的邊緣存在邏輯。
28.如權利要求25的裝置，其中第一和第二多個像素對的每個包括至少三個像素對。
29.如權利要求25的裝置，其中第一和第二個組合差值的計算包括加上分別由第一和第二多個像素對的各個像素對的每個形成的各個差值中的每個的絕對值。
30.如權利要求27的裝置，其中第一方向沿與像素垂直方向成大約135度角並且第二方向沿與像素垂直方向成大約45度角。
31.如權利要求27的方法，其中邊緣方向檢測器還包括配置為為第三多個像素對形成各自差值的第三像素對比較器，每個像素對包括來自分別在所述像素上面和下面的掃描線的兩個像素，第三多個像素對的每個像素對具有第三個共同方向；配置為從第三多個像素對的各個差值中為第三多個像素對計算第三個組合差值的第三像素對差值計算器；以及配置用於如果邊緣存在，則將第三組合差值與第一和第二組合差值相比較以確定邊緣方向的邊緣方向計算器。
32.如權利要求31的裝置，其中第三多個像素對的每個包括至少三個像素對。
33.如權利要求31的裝置，其中第三個組合差值的計算包括加上由第三多個像素對的各個像素對的每個形成的各個差值的每個的絕對值。
34.如權利要求31的裝置，其中第三個組合差值的計算還包括將相加的絕對值乘以一個靈敏度因數。
35.如權利要求31的裝置，其中第三個方向是基本垂直的。
36.如權利要求20的裝置，其中邊緣自適應內插器還包括邏輯配置為如果邊緣方向基本垂直，則通過將基本直接在所述像素上方的至少一個像素和基本直接在所述像素下方的至少一個像素平均來形成中間像素值；如果邊緣方向與垂直方向大約成45度，則通過將基本上沿通過所述像素的45度軸的在所述像素上方的至少一個像素和在所述像素下方的至少一個像素平均來形成中間像素值；以及如果邊緣方向與垂直方向大約成135度，則通過將基本上沿通過所述像素的135度軸的在所述像素上方的至少一個像素和在所述像素下方的至少一個像素平均來形成中間像素值。
37.如權利要求36的裝置，其中運動自適應內插器包括邏輯，用來將中間像素值與運動值相乘並且加上來自下一個場的乘以最大運動值與運動值之間差值的像素值，以形成像素的最終內插值。
38.用於在視頻信號的去隔行掃描期間內插像素的裝置，所述視頻信號包括隔行掃描線的至少兩個場，每個掃描線包括具有各個強度值的一系列像素，所述裝置包括運動值生成器，其中運動值生成器比較來自關於像素的連續幀的像素段以生成運動值，所述運動值生成器還包括配置為為來自關於所述像素的連續幀的多個像素段的每個計算多個差值的差值計算器，配置為確定計算的多個差值中最大值的差值比較器，配置為檢測關於所述像素是否存在邊緣的邊緣檢測器，以及以來自差值比較器的計算的多個差值中的最大值為索引並且根據邊緣是否存在可選的多個查找表；配置為檢測關於所述像素的邊緣方向的邊緣方向檢測器；所述邊緣方向檢測器還包括配置為形成第一多個像素對的各個差值的第一像素對比較器，每個像素對包括來自分別在所述像素的上面和下面的掃描線的兩個像素，第一多個像素對的每個像素對具有第一個共同方向，配置為計算來自第一多個像素的各個差值的第一多個像素對的第一個組合差值的第一個像素對差值計算器，配置為形成第二多個像素對的各個差值的第二像素對比較器，每個像素對包括來自分別在所述像素的上面和下面的掃描線的兩個像素，第二多個像素對的每個像素對具有第二個共同方向，配置為計算來自第二多個像素的各個差值的第二多個像素對的第二個組合差值的第二個像素對差值計算器，配置為將第二組合差值和第一組合差值之間的差值與邊緣閾值相比較以確定是否存在邊緣的邊緣存在邏輯，配置為形成第三多個像素對的各個差值的第三像素對比較器，每個像素對包括來自分別在所述像素的上面和下面的掃描線的兩個像素，第三多個像素對的每個像素對具有第三個共同方向，配置為計算來自第三多個像素的各個差值的第三多個像素對的第三個組合差值的第三個像素對差值計算器，以及配置為如果邊緣存在，則將第三組合差值與第一和第二組合差值相比較以確定邊緣方向的邊緣方向計算器；配置為利用檢測的邊緣方向，在像素處執行邊緣自適應內插的邊緣自適應內插器，所述邊緣自適應內插還包括邏輯配置為如果邊緣方向基本垂直，則通過將基本直接在像素上方的至少一個像素與基本直接在像素下方的至少一個像素平均來形成中間像素值；如果邊緣方向與垂直方向成大約45度，則通過將沿基本上通過所述像素的45度軸的像素上方的至少一個像素與像素下方的至少一個像素平均來形成中間像素值；如果邊緣方向與垂直方向成大約135度，則通過將沿基本上通過所述像素的135度軸的像素上方的至少一個像素與像素下方的至少一個像素平均來形成中間像素值；以及利用生成的運動值，配置在像素處執行運動自適應內插的運動自適應內插器，其中運動自適應內插器包括邏輯，用於將中間像素值與運動值相乘並且加上來自下一個場的乘以最大運動值和運動值之間差值的像素值以形成像素的最終內插值。
全文摘要
一種用於在視頻信號的去隔行掃描期間內插像素(28)的方法，所述視頻信號包括隔行掃描線的至少兩個場，包括具有各自強度值的一系列像素的每個掃描線，包括生成表示關於像素的連續幀之間的運動的運動值，檢測像素的邊緣方向(24)，利用生成的運動值在像素處執行邊緣自適應內插(26)。
文檔編號H04N5/14GK1421098SQ00814934
公開日2003年5月28日 申請日期2000年8月25日 優先權日1999年8月27日
發明者姜建德, 洪信誠 申請人:三叉微系統公司