用於2∶1抽樣的有效下變頻系統的製作方法
2023-09-18 02:31:50
專利名稱：用於2∶1抽樣的有效下變頻系統的製作方法
技術領域：
本發明涉及將例如MPEG-2編碼視頻信號的編碼高解析度視頻信號變換和格式化成解碼的較低解析度輸出視頻信號的解碼器，尤其涉及該解碼器的2∶1下變頻系統。
在美國，已經提出了數字編碼的高解析度電視信號(HDTV)的標準。該標準的一部分實質上與由國際標準化組織(ISO)的運動圖像專家組(MPEG)提出的MPEG-2標準相同。該標準在可從ISO得到的稱為「運動圖像和相關音頻的信息技術類屬編碼(InformationTechnology-Generic Goding of Moving Pictures and Associated Audio)，Recommendation H.626」，ISO/IEC 13818-2，IS，11/94的國際標準(IS)中進行了說明，特此參考用以講解MPEG-2數字視頻編碼標準。
MPEG-2標準實際上是幾個不同的標準。在MPEG-2標準中，定義了幾個不同的類(profile)，每個類對應於編碼圖像複雜度的不同級(level)。對於每個類，定義了不同的級，每個級對應於不同的圖像解析度。公知為主類(Main Profile)主級(Main Level)的一個MPEG-2標準是預定用於編碼與現存電視標準(即NTSC和PAL)一致的視頻信號。公知為主類高級(High Level)的另一個標準是預定用於編碼高解析度電視圖像。按照主類高級標準編碼的圖像可以具有多達每個圖像幀1152條掃描線和每條掃描線1920個象素。
另一方面，主類主級標準定義了每線720象素和每幀576線的最大圖像。在每秒30幀的幀速率下，按照這個標準編碼的信號具有每秒720*576*30或者12，441，600個象素的數據速率。相反，按照主類高級標準編碼的圖像具有每秒1152*1920*30或者66，355，200個象素的最大數據速率。這個數據速率超過按照主類主級標準編碼的圖像數據之數據速率的5倍。在美國提出的用於HDTV編碼的標準是這個標準的子集，具有多達每幀1080條掃描線和每線1920個象素，並且對於這種幀大小，具有每秒30幀的最大幀速率。所提出標準的最大數據速率仍然大於主類主級標準的最大數據速率。
MPEG-2標準定義了包含數據和控制信息混合的複合句法。某些這種控制信息用作使具有幾個不同格式的信號能被該標準覆蓋。這些格式定義了每行具有不同數目圖象素、每幀或場具有不同數目掃描線以及每秒具有不同數目幀或場的圖像。另外，MPEG-2主類的基本句法定義了表示序列層、圖像群層、圖像層、條塊層和宏模塊層五層中序列圖像的壓縮MPEG-2位流。這些層的每一個都用控制信息引入。最後，其它的控制信息，也稱為次要信息(例如幀類型，宏模塊模式，圖像運動矢量，係數Z形模式和反量化(dequantization)信息)被插入整個編碼位流中。
下變頻系統將高解析度輸入圖像變換成用於在較低解析度監視器上顯示的較低解析度圖像。高解析度主類高級圖象到主類主級圖象或者其它較低解析度圖象格式的下變頻對於降低HDTV的實現成本已經具有很高的重要性。下變頻允許用具有支持例如為主類主級編碼圖象的較低圖象解析度的便宜的現有監視器諸如為NTSC或525逐行監視器來替換使用主類高級編碼圖象的昂貴高分辨監視器。
為有效接收數字圖象，解碼器應當快速處理視頻信號信息。為更為有效，編碼系統應當相對便宜且還具有足夠的能力實時解碼這些數位訊號。
現有技術下變頻的一個方法是簡單地低通濾波和抽樣所解碼的高解析度主類高級圖象以形成適合於在傳統電視接收機上顯示圖象。因此，使用現存技術，可以實現採用下變頻的解碼器，使用了具有複式設計大存儲器的單處理機並以高數據速率工作在空間域圖象上以完成這個功能。但是，高解析度和高數據速率要求很昂貴的電路系統，這與成本是一個主要指標的消費型電視接收機中解碼器的實現是相反的。
用於形成低解析度的裝置對來自表示視頻圖象的編碼視頻信號中的視頻信號進行2∶1下變頻。編碼視頻信號是頻域變換的高解析度視頻信號。該裝置包括用於接收編碼視頻信號作為多個高解析度頻域視頻係數值的裝置。下變頻濾波裝置接收和加權所選擇的若干高解析度頻域視頻係數值以形成一組頻域視頻係數，逆變換裝置將其變換成一組象素值。平均濾波裝置將象素值組中的所選若干象素值變換成平均象素值。抽樣裝置刪除象素值組的所選若干象素值以提供低解析度的視頻信號。
從下面結合附圖的詳細說明中將更清楚本發明的特徵和優點。
圖1是現有技術視頻解碼系統的高級框圖。
圖2A是下變頻系統典型實施例的高級框圖。
圖2B表示根據本發明典型實施例的平均濾波器的頻率響應特性。
圖3A說明對於2∶1下變頻系統典型實施例的子象素位置和對應的預測象素。
圖3B表示對於典型的下變頻系統對宏模塊的每行輸入所進行的上採樣過程。
圖4說明塊映射濾波器典型實施例的第一和第二輸出象素值的乘法對。
圖5表示根據本發明典型實施例的下變頻濾波器的頻率響應特性。
圖6表示根據本發明典型實施例的級聯式平均濾波器和下變頻濾波器的頻率響應特性。
圖7表示使用2∶1抽樣的4∶2∶0視頻信號的輸入和被抽樣的輸出象素。
I解碼器回顧本發明典型實施例濾波編碼的HDTV信號，該HDTV信號已經按照MPEG-2標準特別是主類高級MPEG-2標準進行了編碼。
但是，這裡說明的本發明並不局限於編碼HDTV信號的下變頻濾波。下面說明的濾波方法也可以用作濾波其它類型的頻域編碼數位訊號，其可以被分成段，被濾波，然後被重組。
MPEG-2主類標準定義了五級的序列圖象，該五級是序列級，圖象群組，圖象級，限制級和宏模塊級。這些級的每一個都可以認為是在數據流中的記錄，具有以前列級中的嵌套子級的形式出現的後列級。每級的記錄包括消息頭部分，其包含用於解碼其子記錄的數據。
宏模塊有六個塊組成，該六個塊是4個亮度塊Y和2個色度塊Cr和Cb。編碼HDTV信號的每個塊包含代表HDTV圖象中一個二維離散餘弦變換(DCT)表示的64個圖象元(象素)的64個相應係數值之數據。
在編碼過程中，在離散餘弦變換和變換係數塊通過應用遊程長度和可變長度編碼技術被進一步編碼之前，象素數據要經過運動補償差分編碼。從數據流中恢復圖象序列的解碼器顛倒編碼過程。該解碼器採用熵解碼器(例如可變長度解碼器)、逆向離散餘弦變換處理器、運動補償處理器和內插濾波器。
圖1是現有技術的典型視頻解碼系統的高級框圖。現有技術的視頻解碼器包括通常是可變長度解碼器和遊程長度解碼器的熵解碼器110，逆向量化器120和逆向離散餘弦變換(IDCT)處理器130。典型系統還包括控制器170，其控制響應通過熵解碼器110從輸入位流臺得到控制信息之解碼系統的變量。為了處理預測圖象，現有技術系統還包括存儲器160，加法器140，運動補償處理器150和塊到光柵變換器180。
可變長度解碼器110接收編碼的視頻圖象信號並逆向編碼過程以產生控制信息，該控制信息包括描述先前解碼圖象中匹配宏模塊相對位移的運動矢量。這個匹配宏模塊對應於當前正被解碼的預測圖象的宏模塊。如果使用幀內編碼，可變長度解碼器110還接收稱作剩餘視頻圖象的當前視頻圖象之塊的量化DCT變換係數，或者如果使用幀間編碼，可變長度解碼器110還接收當前和預測視頻圖象之間差的塊的量化DCT變換係數。逆向量化器120接收量化的DCT變換係數並為特殊宏模塊重建量化DCT係數。將用於特殊塊的量化矩陣是從可變解碼器110接收的。
IDCT處理器130將重建DCT係數變換成空間域中的象素值(對於代表宏模塊亮度或色度分量的8×8矩陣值的每個塊，以及對於代表預測宏模塊差分亮度或差分色度分量的8×8矩陣值的每個塊)。
如果當前宏塊模塊預測不編碼，那麼輸出矩陣值是當前視頻圖象的對應宏模塊的象素值。如果宏模塊是幀間編碼，預視頻圖象幀(基準幀)的對應宏模塊存儲在存儲器160中由運動補償處理器150使用。響應從熵解碼器110接收的運動矢量，運動補償處理器150從存儲器160接收預宏模塊。然後運動補償處理器150在加法器140中將預宏模塊加到當前IDCT變換宏模塊(對應於顯示預測編碼幀的剩餘分量)以產生用於當前視頻圖象之象素的對應宏模塊，其然後被存儲在存儲器160中。
II下變頻系統A綜述圖2A是下變頻系統典型實施例的高級框圖。正如圖2A所示，下變頻系統包括可變長度解碼器(VLD)210，遊程長度(R/L)解碼器212，逆向量化器214和逆向離散餘弦變換(IDCT)處理器218。另外，下變頻系統包括下變頻濾波器(DCT濾波器)216，平均濾波器240和用於濾波編碼圖象的下採樣處理器232。儘管下面說明的是主類高級編碼輸入的典型實施例，但用任何類似編碼的高分辯率圖象位流都可以實現下變頻系統。
下變頻系統還包括運動矢量(MV)變換器220，含有上採樣處理器226和半象素發生器228的高解析度運動發生器224，以及基準幀存儲器222。
此外，系統包括含有垂直可編程濾波器(VPF)和水平可編程濾波器(HZPF)284的顯示變換模塊280。顯示變換模塊280將下採樣的圖象變換成用於在較低解析度的特殊顯示器上顯示的圖象。
下變頻濾波器216在頻域中完成高解析度(例如主類高級DCT)係數的低通濾波。下採樣處理器232通過抽樣低通濾波的主類高級圖象來去除空間象素值，以產生一組能夠在具有比要求顯示主類高級圖象解析度低的監視器上顯示的象素值。典型基準幀存儲器222存儲對應於具有對應下採樣圖象之解析度的至少一個預解碼基準幀的空間象素值。對於非幀內宏模塊編碼，MV變換器220標度與解析度縮減一致的所接收圖象之每個模塊的運動矢量，並且低解析度運動模塊發生器224接收由基準幀存儲器222提供的抽樣的解析度運動模塊，上採樣這些運動模塊和產生半象素值以提供半象素精度的運動模塊，其展示了對解碼和濾波的差分象素模塊的良好空間對應。
現在說明這個宏模塊內編碼的下變頻系統典型實施例的操作。主類高級位流通過VLD210接收和編碼。除了HDTV系統使用的消息頭信息之外，VLD210提供每個模塊和宏模塊的DCT係數以及運動矢量信息。DCT係數是在R/L解碼器212中解碼的並通過逆向量化器214逆向量化的遊程長度。VLD210和R/L解碼器212對應於圖1的熵解碼器110。
因為由DCT係數表示的接收視頻圖象是高解析度圖象。在高解析度視頻圖象抽樣之前每個模塊的DCT係數是低通濾波的。逆向量化器214提供DCT係數給DCT濾波器216，在把預定的濾波器係數值提供給IDCT處理器218之前，DCT濾波器216在頻域下通過用預定的濾波器係數值加權DCT係數來執行低通濾波。在典型實施例中，該濾波器操作是基於一個模塊接一個模塊執行的。
IDCT處理器218通過進行濾波DCT係數的逆向離散餘弦變換來提供空間象素樣值。平均濾波器240平均空間象素樣值。下採樣處理器232通過根據預定的抽樣比率去掉空間象素樣值來縮減圖象樣本大小；因此，與存儲較高解析度主類高級圖象所需相比，存儲較低分辯率圖象使用了較小的幀存儲器222。
現在說明宏模塊非內編碼的下變頻系統典型實施例的操作。在該典型實施例中，按照MPEG標準，當前所接收圖象的DCT係數代表所預測圖象宏模塊的剩餘分量的DCT係數。由於存儲在存儲器中的先前幀低解析度基準圖象不具有與高解析度預測幀(主類高級)的相同數目的象素，因此要標度運動矢量的水平分量。
參考圖2A，由VLD210提供的主類高級位流的運動矢量提供給MV變換器220。線個運動矢量由MV變換器220標度以參考存儲在基準幀存儲器222中的先前圖象基準幀的適當預測模塊。所檢索模塊的大小(象素值數)比編碼當前圖象所使用的對應高解析度模塊的模塊小；因此，檢索模塊是上採樣的以形成預測模塊，該預測模塊具有與由IDCT處理器218提供的剩餘模塊相同數目的象素。
響應來自MV變換器220的控制信號，預測模塊由上採樣處理器226上採樣以產生對應於象素之原始高解析度模塊的模塊。然後，如果由半象素發生器228中上採樣預測模塊的運動矢量表示，就產生半象素值以確保預測模塊的適當空間校準。上採樣和校準的預測模塊在加法器230中加到當前被濾波的模塊，對於本例，其是來自預測模塊的縮減解析度剩餘分量。所有處理都是基於一個宏模塊接一個宏模塊進行的。對於上採樣域的當前宏模塊完成運動補償處理之後，重建的宏模塊因此在下採樣處理器232中進行抽樣。這個過程並不縮減圖象的解析度但是簡單地從低解析度濾波圖象中去除冗餘象素。
一旦圖象的下採樣宏模塊是可得到的，通過分別濾波VPF282中的和HZPF284中的下採樣圖象的垂直和水平分量，顯示變換模塊280調節在低解析度電視顯示器上顯示的圖象。
B 平均濾波器在將預定的濾波器係數值提供給IDCT處理器218之前，通過用預定濾波器係數值加權DCT係數，圖2A的DCT濾波器216在頻域完成低通濾波。由DCT濾波器216完成的低通濾波縮減了輸出圖像中的別名設置失真。
在本發明的典型實施例中，在沒有對應於靠近正被濾波之模塊的模塊係數值的情況下，在內部模塊基礎上，DCT濾波器216完成這個濾波。由於在模塊邊界上非光滑濾波，這可以導致包括下變頻人為因素(artifacts)的輸出圖象。這些下變頻人為因素在輸出圖象上是可見的，特別是當原始圖象由具有精確細節的運動畫面構成時和當存在慢拍攝全景和圖象縮放時更是如此。
在典型實施例中，DCT濾波器216不是線性移位不變的並且等同於空間域中的模塊映射濾波器。在DCT係數中間的象素上該模塊映射濾波器起FIR濾波器功能，但在模塊邊界上不同，這是因為假設模塊邊界之外的左邊和右邊象素是作為映射的且之後濾波這些輸入象素以得到低通輸出。由於在模塊邊界的非光滑濾波，該典型實施例還可以導致包括人為因素的輸出圖象。
圖2A示出的平均濾波器240是線性移位不變的並且可以設計成減小這些下變頻人為因素。在2∶1下變頻系統的典型實施例中，平均濾波器240是兩個抽頭濾波器，其在IDCT處理器218已經將重建的DCT係數變換到空間域中的象素值之後平均兩個象素。
下面說明的典型實施例是這種情況，對於水平2∶1十中抽一下變頻系統，這裡DCT編碼是在8×8象素模塊上完成的，並且平均濾波器240完成內模塊濾波。正如本領域技術人員所知，本發明的經驗可以應用到其它維數。
將8×8模塊的輸出象素的水平行記為X＝[x0x1x2x3x4x5x6x7]，和將8×8模塊的輸出象素的對應水平記為A＝[α0α1α2α3α4α5α6α7]，輸出象素A由下面的方程(1)到(4)定義α0＝(x0+x1)/2(1)α1＝(x2+x3)/2(2)α4＝(x4+x5)/2(3)α6＝(x6+x7)/2(4)以方程(1)到(4)為特徵的濾波器的頻率響應(dB對頻率，這裡π對應於採樣頻率的一半)由圖2B的曲線260表示。
在上述實施例中，由於α1、α3、α5和α6通過下採樣處理器232產生出，濾波器能夠實現按下述方程(5)和(6)中的任何一個特徵，這裡N是行中的象素數目並且在上述例中應是8α2i＝(x2i+x2i+1)/2對於I＝0，1，…(N/2)-1 (5)或αi＝(xi+xi+1)/2對於I＝0，1，…(N-1) (6)C.宏模塊預測由於預圖象的基準幀是小尺寸化的，指向這些幀的所接收運動矢量也可以根據變換比變換。下面說明亮度模塊例如在水平方向上的運動變換。如果用到的話，本領域的技術人員將很容易將下述討論擴展到垂直方向上的運動變換。將x和y表示為原始圖象幀中的當前宏模塊地址，Dx表示為水平抽樣因數，MVx表示為原始圖像幀的半象素水平運動矢量，原始圖象幀中運動模塊的頂部左邊象素的地址(表示為半象素單位的XH)由(7)給出XH＝2x+MVx (7)對應於運動模塊的象素在下採樣圖象中開始，其地址用象素單位的x*和y*表示，由(8)給出x*＝XH/(2Dx)；y*＝y(8)因為典型DCT濾波器216和下採樣處理器232隻降低圖象的水平分量，運動矢量的垂直分量不受影響。對於色度，運動矢量是原始圖象中亮度運動矢量的一半。因此，變換色度運動矢量的定義也可以使用兩個方程(7)和(8)。
運動預測由兩個步驟過程實現首先，通過在圖2A的上採樣處理器226中上採樣下採樣的圖象幀來恢復原始圖象幀中的象素精度運動估計，然後半象素發生器228通過平均最近的象素值來完成半象素運動估計。
例如使用上採樣處理器226中的上採樣多相濾波器，其給出原始圖象的運動預測，抽樣圖象中對應於原始圖象之象素的子象素被內插。運動預測在加法器230中被加到IDCT處理器218的輸出。由於加法器230的輸出值對應於原始圖象格式中的縮減解析度圖象，這些值可以被下採樣以在具有較低解析度的顯示器上顯示。下採樣處理器232中的下採樣基本上與圖象幀的子採樣相等，但是可以基於變換比率做調節。例如，在3∶1下採樣的情況下，水平下採樣象素的數目對於每個輸入宏模塊是6或5，並且第一下採樣象素並不總是輸入宏模塊中的第一象素。
在從下採樣圖象獲得正確運動預測模塊之後，需要上採樣獲得原始圖象中的對應預測模塊。因此，運動模塊預測中子象素精度在下採樣圖象中是所希望的。除了下採樣運動模塊之外，確定是運動矢量要求的第一象素的子象素。然後，使用下面說明的模塊運算確定後續子象素位置。該子象素位置表示為Xs，由(9)給出Xs＝(XH/2)％(Dx) (9)這裡「％」表示模除法。
例如，對於2∶1上採樣，Xs的範圍是0，1。圖3A表示子象素位置和2∶1上採樣的對應17個預測象素，並且表1給出圖3A的符號表。
表1
正如前面說明的，上採樣濾波器可以是上採樣多相濾波器，表2A給出上採樣多相內插濾波器的特徵。
表2A
下面的表2B表示典型2∶1上採樣多相濾波器的多相濾波係數。
表2B 2∶1上採樣濾波器
在固定點表示中，表2B的括號中數目是具有在左邊的對應雙精度數的9位中2的補碼表示，依賴於下採樣基準圖象幀中運動預測模塊的子象素位置，使用了多相內插濾波器的一個對應相位。而且，在典型實施例中，需要更多的在左邊和右邊的象素內插下採樣圖象幀中的17個水平象素。例如，在3∶1抽樣的情況下，對於每個輸入宏模塊，有6個水平下採樣象素的最大值。但是，當上採樣時，需要9個水平象素產生對應的運動預測模塊值，因為為了濾波器工作，上採樣濾波器要求更多在邊界之外的左邊和右邊的象素。由於典型實施例採用了半象素運動估計，需要17個象素來得到16個半象素，它能夠是最初的16個整數象素或者是最接近的兩個象素樣本的平均值。半象素運動發生器維護此。表3表示子象素位置和多相濾波單元之間的變換，另外為了上採樣處理還需要一些左邊的象素。
表3
圖3B概括了對於輸入宏模塊的每行進行的上採樣處理。首先，在步驟310，接收被處理輸入圖象幀模塊的運動矢量。在步驟312，變換運動矢量以對應存儲器中下採樣基準幀。在步驟314，使用定標運動矢量以檢索存儲在幀存儲器中的預測模塊坐標。在步驟316，確定模塊的子象素點，然後在步驟318檢索用於上採樣的初始多相濾波器值。之後在步驟320，從存儲器中檢索出用於所存儲下採樣基準幀之預測模塊的識別象素。
在濾波步驟324的第一次通過之前，在步驟322初始化寄存器，其對於典型實施例使得初始3或5象素值裝載寄存器。然後，在濾波步驟324之後，該處理在步驟326確定所有象素是否已經被處理。在典型實施例17中，象素被處理。如果所有象素已經被處理，上採樣模塊完成。如果所有象素沒有處理，則在步驟328修改相位，並且檢查相位的0值。如果相位是0，則一定要修改寄存器的下一組多相濾波係數。然後修改寄存器步驟332簡單地修改輸入象素。在最左邊象素是模塊邊界外部的例外情況下，可以重複先前象素值。
當編碼結構由內編碼幀之間的許多預測幀構成時，下變頻圖象中慢運動原始圖像的再現可以導致預測幀具有運動人為因素，其導致再現的下變頻圖像具有縮減解析度和/或在原始圖像之前或之後的運動。當顯示下一個內編碼幀時，在具有運動人為因素的下變頻預測圖像和精確再現圖像之間的差將導致對觀眾來說為非平滑運動。例如，如果預測圖像在原始圖像運動之前，則下一個內編碼幀可以給觀眾的印象是該運動正在向後移。
在典型實施例中，圖2A下變頻系統包括上採樣處理器226，其使用拉格朗日濾波器來內插由下採樣處理器232抽樣的象素。對於本領域技術人員拉格朗日內插是公知的並且在Atkinson的數值分析入門(Introduction to Numerical Analysis)，107-10(1978)中有講授，這裡引用作為參考。與使用等紋波濾波器相比，使用拉格朗日濾波器將減小上述的運動人為因素。
D採用加權DCT係數的DCT域濾波下變頻系統的典型實施例包括在頻域中處理DCT係數的DCT濾波器216，其代替了空間域中的低通濾波器。對於DCT編碼圖象，代替空間域濾波，DCT域濾波有幾個優點，例如通過MPEG或JPEG標準設計。特別是，DCT域濾波在計算上更有效率且比應用於空間象素的空間域濾波器要求更少的硬體。例如，對於每個空間象素樣值，具有N個抽頭的空間濾波器可以使用多達N次乘法運算和加法運算。這相尖於DCT域濾波器中的僅僅一次乘法運算。
最簡單的DCT域濾波器是高頻DCT係數的舍位。但是，高頻DCT係數的舍位不產生平滑濾波，並且具有諸如在解碼圖象中靠近邊緣的「環紋」缺點。本發明典型實施例的DCT域低通濾波器來源於空間域的模塊映射濾波器。模塊映射濾波器的濾波係數值例如可空間域中優化，然後這些值被轉換恩DCT域濾波器的係數。
儘管典型實施例展示了僅在水平方向上的DCT域濾波，但DCT域濾波能夠在水平或者垂直方向或者在結合水平和垂直濾波兩者中進行。
E.DCT域濾波係數本發明的一個典型濾波器來源於兩個約束第一，對於圖象的每個模塊，在不使用來自相同圖象的其它模塊或者來自先前圖象之信息的情況下，濾波器基於一個模塊接一個模塊地處理圖象數據；第二，濾波器縮減了當濾波器處理邊界象素值發生的模塊邊界的清晰度。
根據第一約束，在基於MPEG圖象序列壓縮的DCT中，例如，N×N DCT係數的模塊產生N×N空間象素值的模塊。因此，本發明典型實施例實現了僅僅處理當前所接受圖象之模塊的DCT域濾波。
根據第二個約束，如果濾波器簡單地應用於空間象素值的模塊，則在模塊邊界上的濾波有個過渡，這是由邊界之外不足數目的空間象素值填充濾波器餘量引起的。就是說，模塊的邊沿不能適當地濾波，這是因為，依賴於N是偶數或奇數，對於僅為N/2個或者對於(N/2)-1個抽頭，N抽頭濾波器具有相應的輸入象素。剩餘輸入象素是在模塊的邊界之外。有幾種供給象素值的方法1)重複邊界之外的預定不變象素值；2)重複與邊界象素值相同的象素值；3)對模塊的象素值進行映射，以形成靠近所處理模塊之象素值的在前和在後模塊。在沒有關於在前和在後模塊內容的預先信息的情況下，映射方法作為優選方法。因此，本發明的實施例為濾波器採用該映射方法並且命名為「模塊映射濾波器」。
下面說明實現水平模塊映射濾波器的典型實施例，該水平模塊映射濾波器低通濾波器8的模塊輸入空間象素樣值。如果輸入模塊的大小是象素值的8×8模塊矩陣，則通過將模塊映射濾波器施加到每行的8個象素樣值就能夠進行水平濾波。通過應用模塊矩陣的濾波器係數列狀態能夠實現濾波處理，或者通過濾波行並且然後濾波模塊矩陣的列可以完成多維濾波，這對本領域技術人員是顯而易見的。
圖4表示對於採用由抽頭值h0到h14表示的15個抽頭空間濾波器的8個輸入象素與典型映射濾波器的輸入象素值x0到x7(組X0)之間的對應。輸入象素被映射到組X0的左側，如組X1所示，和被映射到組X0的右側，如組X2所示。濾波器的輸出象素值是15乘以濾波器抽頭值與對應象素樣值之和。圖4表示了對於第一和第二輸出象素值的乘法對。
F模塊映射濾波器的典型實施例本發明典型模塊映射濾波器的一個實施例來源於下述步驟1)選擇具有小於2N個抽頭之奇數抽頭的一維低通過對稱濾波器；2)通過用零填充將濾波器係數增加到2N個值；3)重新安排濾波器係數使得通過左循環移位原始中間係數到達第0個位置；4)確定被重新安排濾波器係數的DFT係數；5)DCT濾波器係數與輸入模塊的實數DFT係數相乘；和6)所濾波的DCT係數的逆向離散餘弦變換(IDCT)是通過由IDCT係數相乘實現的，用以提供準備用於抽樣的低通濾波器象素模塊。
低通濾波器的截止頻率由抽樣比率確定。對於一個典型實施例，截止頻率是用於2∶1抽樣的π/2，這裡π是二分之一的採樣頻率。
MPEG和JPEG解碼器中的DCT域濾波器允許存儲要求降低，因為模塊的逆向量化器的DCT處理已經存在於現有技術的解碼器中，僅僅要求DCT係數由DCT域濾波器係數相乘的附加常係數裝置。因此，在具體實現中實際上並不要求分立的DCT域濾波器模塊相乘；本發明的另一實施例簡單地將DCT域濾波器係數與IDCT處理係數結合。
對於本發明的典型下變頻系統，考慮了DCT係數的水平濾波和抽樣；下面是1280H、720V逐行變換到640H、720V逐行變換(水平2∶1抽樣)的典型實施。
表4表示了DCT模塊映射濾波器(加權)係數。正如Kim等人在「用於ATV下變換的DCT域濾波器(DCT Domain Filter For ATVDown Conversion)」，IEEE Trans.On Cnsumer Electronics，Vol.43(4)1074-8(1997)中所講，空間域中的模塊映射濾波器能夠通過加權DCT係數在DCT域中實現。表4中，括號中的數字是10位2的補碼表示。表4的「*」意思是在10位2的補碼表示的限值之外，這是因為該值超過1；然而，正如本領域技術人員知道的，通過將係數加到被濾波器值之分數值(餘數)相乘的係數，模塊的列係數與由*表示的值相乘能夠很容易地實現。
表4
這些水平DCT濾波器係數加權編碼視頻圖象8×8 DCT係數模塊中的每一列。例如，0列DCT係數由H
加權，第一列DCT係數由H[1]加權等等。
以表4係數為特徵的下變頻濾波器的頻率響應(dB對頻率)由圖5中曲線510表示。級聯表4係數為特徵之下變頻濾波器、以方程(1)到(4)為特徵的平均濾波器的頻率響應(dB對頻率)由圖6中曲線610表示。
上面的討論說明了使用一維DCT的水平濾波器的實現。正如數位訊號處理技術中已知，這種處理能夠擴展到兩維系統。對於兩維系統，這時輸入序列被表示成矩陣值，其表示序列在序列中是周期性的，周期為M，在行序列中是周期性的，周期為N，這裡N和M是整數。兩維DCT能夠用在輸入序列的列上實現的一維DCT，然後用在DCT處理輸入序列的行上實現的第二個一維DCT來實現。因此，正如本領域所知，兩維IDCT能夠以單一處理來實現。
G下採樣下採樣是通過下採樣處理器232完成的，用以縮減下變頻圖象中象素數目。圖7表示了4∶2∶0彩色類型2∶1抽樣的輸入和抽樣的輸出象素。表5給出圖7的亮度和色度象素的符號說明。在圖7下變頻之前和之後的象素位置是對於逐行變換(2∶1抽樣)的情況。
表5<
>對於逐行變換格式圖象的下採樣，其可以從1280×720象素大小變換到640×720象素大小，亮度信號是每隔第二樣值就水平地子採樣。換言之，每個第二象素都在水平軸上抽樣。對於色度信號，下採樣象素恰是在原始象素下面的半象素。原始宏模塊中的象素和抽樣象素示於圖7中。
儘管這裡已經表示和說明了本發明的典型實施例，應當理解這些實施例是僅順便提供為例子的。對於本領域技術人員來說，在不脫離本發明精神的情況下，可以產生許多變化和替換。因此，所附權利要求覆蓋了本發明範圍之內的全部變化。
權利要求
1.一種用於從代表視頻圖象的編碼視頻信號中形成低解析度視頻信號的裝置，編碼的視頻信號是頻域變換的高解析度視頻信號，該裝置包括接收裝置，用於接收作為多個高解析度頻域視頻係數值的編碼視頻信號；下變頻濾波器裝置，用於接收和加權多個高解析度頻域視頻係數值以形成一組低通濾波的頻域視頻係數；逆變換裝置，用於將該組低通濾波的頻域視頻係數接收和變換成第一組象素值；平均濾波器裝置，用於接收第一組象素值和將第一組象素值中所選擇的若干象素值變換成平均象素值以提供包括平均象素值的第二組象素值；抽樣裝置，用於刪除第二組象素值中所選擇的若干象素值以提供低解析度的視頻信號。
2.根據權利要求1的用於形成低解析度視頻信號的裝置，其中平均濾波器裝置將第一組象素值中所有的象素值變換成平均象素值。
3.根據權利要求1的用於形成低解析度視頻信號的裝置，其中平均濾波器裝置只將第一組象素值中連續的象素值對變換成平均素值，並且第二組象素值包括平均象素值，從而平均裝置包括抽樣裝置。
4.根據權利要求1的用於形成低解析度視頻信號的裝置，其中編碼的視頻信號表示具有運動預測的剩餘視頻圖象，該裝置還包括加法裝置，用於將先前幀的運動補償視頻信號分量加到包括剩餘視頻圖象平均象素值的第二組象系值，以提供一組相加的象素值；其中，抽樣裝置刪除該組相加的象素值中所選擇的若干象素值以提供解析度視頻信號。
5.根據權利要求1的用於形成低解析度視頻信號的裝置，其中接收裝置接收編碼的視頻信號並將高解析度頻域視頻係數值的模塊提供給下變頻濾波器裝置；下變頻濾波器裝置接收高解析度頻域視頻係數值模塊並產生加權的頻域視頻係數模塊；逆變換裝置將加權頻域視頻係數模塊變換成象素值的第一模塊；通過將象素值第一模塊中所選擇的若干象素值變換成平均象素值，平均濾波器裝置將象素值第一模塊變換成象素值第二模塊；和抽樣裝置，用於從象素值第二模塊中刪除所選擇的若干象素值以提供低解析度視頻信號。
6.根據權利要求1的用於形成低解析度視頻信號的裝置，其中接收裝置接收編碼的視頻信號並將高解析度頻域視頻係數值的模塊提供給下變頻濾波器裝置；下變頻濾波器接收高解析度頻域視頻係數值模塊並產生加權的頻域視頻係數模塊；逆變換裝置將加權的頻域視頻係數模塊變換成象素值的第一模塊；通過將象素值第一模塊中所有象素值變換成平均象素值，平均濾波器裝置將象素值第一模塊變換成象素值第二模塊；和抽樣裝置刪除象素值第二模塊中所選擇的平均象素值以提供低解析度視頻信號。
7.根據權利要求5的用於形成低解析度視頻信號的裝置，其中下變頻濾波器裝置等同於空間域中的模塊映射濾波器。
8.根據權利要求5的用於形成低解析度視頻信號的裝置，其中接收裝置將高分辨頻域視頻係數值的N×N階模塊提供給下變頻濾波器裝置；和平均濾波器裝置根據下述方程處理象素值α(2i)＝(x(2i)+x(2i+1))/2 對於i＝0，1，……(N/2)-1(1)這裡x(i)表示象素值N×N階模塊水平行中的輸入象素，α(i)表示對應的平均象素值，並且象素值第二模塊僅包括平均象素值α(i)，從而平均裝置包括抽樣裝置。
9.根據權利要求1的用於形成低解析度視頻信號的裝置，其中平均濾波器裝置是雙線性濾波器。
10.根據權利要求5的用於形成低解析度視頻信號的裝置，其中編碼的視頻信號表示具有運動預測的剩餘視頻圖象，該裝置還包括存儲裝置，用於存儲對應於先前幀編碼視頻信號的低解析度抽樣視頻信號；上採樣裝置，用於將存儲的低解析度抽樣視頻信號變換成對應於先前幀的低解析度運動補償視頻信號象素值模塊；和加法裝置，用於將對應於先前幀的低解析度運動補償視頻信號象素值模塊加到象素值第二模塊，以提供相加的象素值模塊；其中，抽樣裝置從相加的象素值模塊中刪除所選擇的若干象素值以提供低解析度視頻信號。
11.根據權利要求10的用於形成低解析度視頻信號的裝置，其中上採樣裝置使用拉格朗日內插，用以將對應於先前幀的所存儲低解析度抽樣視頻信號變換成對應於先前幀的低解析度運動補償視頻信號象素值模塊。
12.一種用於從代表視頻圖象的編碼視頻信號中形成低解析度視頻信號的方法，編碼的視頻信號是頻域變換高解析度視頻信號，該方法包括步驟(a)接收作為多個高解析度頻域視頻係數值的編碼視頻信號；(b)加權一組多個高解析度頻域係數值以形成一組低通濾波的頻域視頻係數；(c)將該組低通濾波的頻域視頻係數變換成第一組象素值；(d)將第一組象素值中所選擇的若干象素值變換成平均象素值並提供包括平均象素值的第二組象素值；和(e)刪除第二組象素值中所選擇的若干象素值以提供低解析度視頻信號。
13.根據權利要求12的用於形成低解析度視頻信號的方法，其中在步驟(d)，第一組象素值中所有的象素值被變換成平均象素值。
14.根據權利要求12的用於形成低解析度視頻信號的方法，其中在步驟(d)，僅僅後來在步驟(e)中未被刪除的象素值被變換成平均象素值。
15.根據權利要求12的用於形成低解析度視頻信號的方法，其中編碼的視頻信號表示具有運動預測的剩餘視頻圖象，該方法還包括步驟將先前幀的運動補償視頻信號分量加到包括剩餘視頻圖象平均象素值的第二組象素值，以提供一組相加的象素值；其中，刪除該組相加的象素值中所選擇的若干象素值以提供低解析度視頻信號。
16.根據權利要求12的用於形成低解析度視頻信號的方法，其中在步驟(a)，編碼的視頻信號是作為代表視頻圖象的象素模塊的高解析度頻域視頻係數值模塊接收的；在步驟(b)，加權高解析度頻域視頻係數值模塊以形成加權的頻域視頻係數模塊；在步驟(c)，加權的頻域視頻係數模塊被變換成象素值的第一模塊；在步驟(d)，象素值第一模塊中所選擇的若干象素值被變換成平均象素值，並且提供了包括平均象素值的象素值第二模塊；和在步驟(e)，從象素值平均模塊中刪除非平均象素值以產生低解析度視頻信號。
17.根據權利要求16的用於形成低解析度視頻信號的方法，其中在步驟(d)，象素值第一模塊中所有象素值變換成平均象素值以減小運動人為因素；和在步驟(e)，刪除象素值第二模塊中所選擇的平均象素值以產生低解析度視頻信號。
18.根據權利要求16的用於形成低解析度視頻信號的方法，其中在步驟(b)中高解析度頻域視頻係數值的加權等同於空間域中的模塊映射濾波。
19.根據權利要求16的用於形成低解析度視頻信號的方法，其中編碼的視頻信號表示具有運動預測的剩餘視頻圖象，該方法還包括步驟(f)存儲對應於先前幀編碼視頻信號的低解析度抽樣視頻信號；(g)將存儲的低解析度抽樣視頻信號變換成對應於先前幀的低解析度運動補償視頻信號象素值模塊；和(h)將對應於先前幀的低解析度運動補償視頻信號象素值模塊加到象素值第二模塊，以提供相加的象素值模塊；其中在步驟(e)，從相加的象素值模塊中刪除所選擇的若干象素值以提供低解析度視頻信號。
20.根據權利要求19的用於形成低解析度視頻信號的方法，其中在步驟(g)，使用拉格朗日內插，用以將對應於先前幀的所存儲低解析度抽樣視頻信號變換成對應於先前幀的低解析度運動補償視頻信號象素值模塊。
21.一種用於從代表視頻圖象的編碼視頻信號中形成低解析度視頻信號的裝置，編碼的視頻信號是頻域變換的高解析度視頻信號，該裝置包括接收裝置，用於接收作為多個高解析度頻域視頻係數值的編碼視頻信號；下變頻濾波器裝置，用於接收和加權多個高解析度頻域視頻係數值中所選擇的若干個以形成一組頻域視頻係數；逆變換裝置，用於將該組頻域視頻係數接收和變換成第一組象素值；平均濾波器裝置，用於接收第一組象素值和將第一組象素值中所選擇的若干象素值變換成平均象素值以提供包括平均象素值的第二組象素值；抽樣裝置，用於刪除第二組象素值中所選擇的若干象素值以提供低解析度視頻信號。
全文摘要
一種HDTV下變頻系統,包括用於從編碼視頻信號中形成低解析度2∶1下變頻視頻信號的裝置。編碼視頻信號是具有運動預測的頻域變換的高解析度視頻信號。該裝置包括編碼視頻信號接收器。下變頻濾波器接收和加權高解析度頻域視頻係數值以形成一組低通頻域係數。逆變換處理器將該組係數變換成一組象素值。平均濾波器將該組象素值中所選擇的象素值變換成平均象素值。抽樣處理器刪除該組象素中所選擇的象素值以提供低解析度視頻信號。
文檔編號G06T3/40GK1259830SQ99125988
公開日2000年7月12日 申請日期1999年10月9日 優先權日1998年10月9日
發明者金熙龍, 麥可·亞昆託, 拉裡·菲利普斯 申請人:松下電器產業株式會社