通過字母框法對mpeg圖象作16∶9寬高比變換的製作方法

2023-06-21 18:02:41 1

專利名稱：通過字母框法對mpeg圖象作16∶9寬高比變換的製作方法
技術領域：
本發明是關於解碼器中依靠行消除將數字視頻圖象變換到較高寬高比格式的方法和設備。本發明特別適用於符合MPEG-2標準的數字視頻數據。
通過寬帶通信系統如有線電視或衛星電視網絡傳輸數字視頻數據日益普及。用戶家中設置數字解碼器，例如機頂盒，用於接收數字視頻信號和處理具有適宜於在電視、視頻顯示終端等上顯示的格式處理信號。但是，這樣的機頂盒的處理和存儲器求很關鍵而必須儘可能保證很低以便能維持網絡的商業實用性。
實際上，在許多情況下希望在解碼器中提供能將具有用於慣常電視屏幕尺寸例如4∶3的寬高比的數字視頻圖象變換到較大的寬高比如16∶9的能力。16∶9寬高比普通用於攝製準備在電影院中的屏幕上放映的影片。這一寬高比使得圖象中能有更大的水平運動範圍。
但4∶3寬高比通行於現有的電視傳輸標準、包括PAL(相位逐行交變)制式和NTSC(國家電視制式委員會)制中的電視屏幕設計和幀格式。相應地，在電視屏幕上以16∶9格式顯示慣常的NTSC或PAL信號，圖象將顯現為在有效視頻行的上下帶有黑色區域。
而且，數字視頻信號例如符號MPEG-2標準的信號的壓縮需要利用外存儲器例如動態隨機存取存儲器(DRAM)來對不同類圖形(如I-、P-和B-圖形)提供幀緩存器和提供視頻緩衝器校對機(VBV)緩存器。此緩存器配置通常被優化用於處理主層次要求的MPEG-2主協議。MPEG-2標準還要求VBV緩存器至少為1.75M位。在這些局限和當前的視頻解壓縮處理器中現有的存儲器配置的情況下，沒有另外的存儲器空間或存儲器帶寬可用來支持在解碼器上由字母框作16∶9寬高的變換。
相應地即希望提供在解碼器作數字視頻圖象的寬高比變換而無需額外的存儲器空間或存儲器帶寬的系統。此系統應與包括MPEG-2的現有數字視頻標準和包括PAL和NTSC的現有電視傳輸格式相兼容。
在一具體實施方案中，此系統將提供用於將4∶3寬高比圖象變換到16∶9寬高比圖象而僅僅採用一運行於27MHz(以32-位數據總線)的16M位EDO DRAM，或一運行於54MHz(以16-位數據總線)的SDRAM的體系結構和方法。但在需要時此系統也提供到更大寬高比的變換。
此系統與場模式(例如隔行掃描)和幀模式(例如逐行掃描)視頻雙方兼容。
本發明提供具有上述以及其他優點的系統。
本發明涉及在解碼器上通過作行消除來將數字視頻圖象變換到較高寬高比格式的方法和設備。
按照本發明，對非錨定圖形的行消除在存儲進存儲器之前於解碼器的解碼側發生，而對錨定圖形的行消除則在被由存儲器檢索之後和顯示前在解碼器的顯示側發生。因此本發明能提供寬高比變換能力而無需因由字母框寬高比變換所引起的解碼時間與顯示時間之間的延遲的增加而要求的額外的存儲器空間或帶寬。這種被增大的延遲是由顯示處理時間降低所促成的，因為必須處理的有效視行數隨字母框格式減少。因此必須釋放額外的存儲器空間來存放額外的解碼數據以避免在運行中的數據顯示。本發明實現這一目的。
改變其中每個圖象具有數個視頻行的數字視頻圖象的寬高比的詳細方法包括(a)確定在解碼器所接收的數字視頻圖象的圖形類型的步驟，這裡圖形典型為錨定圖象(anchor image)如I-或P-圖形，或者為非錨定圖象如B-圖形。在步驟(b)，在將相關數據存放在存儲器之前由非錨定圖象消除的行數。在步驟(c)將與錨定圖象相關的數據存放在存儲器，例如不作行消除。
在步驟(d)，由存儲器檢索與非錨定圖象相關的數據以輸出到顯示功能部件，不再作行消除。在步驟(e)，由存儲器檢索與錨定圖象相關的數據，和在輸出到顯示功能部件之前消除行。
這樣，完全的錨定圖形數據被存儲在存儲器中供解壓縮隨後的和先前的予測編碼圖象中應用。但本發明利用這樣的事實，即不必存儲完全的非錨定圖形數據，從而為適應字母框寬高比變換而可釋放額外的存儲器空間。
數字視頻圖象在解碼器中可通過一寬帶通信網接收。
在上述的行消除處理期間，步驟(b)中由非錨定圖象消除每個第n行，而在步驟(e)中每個第n行由錨定圖象中消除。例如，為作由4∶3到16∶9的寬高比變換，每個第四行被消除。
提出了相應的設備。
對所列附圖的簡要說明

圖1描述按照本發明的解碼器；圖2描述按照本發明的I-圖形或P-圖形的處理；和圖3描述按照本發明的B-圖形的處理。
本發明關於在解碼器中通過行消除來將數字視頻圖象變換到較高寬高比格式的方法和設備。
如所提到的，MPEG-2視頻解壓縮要求利用外部存儲器例如DRAM用於幀緩存器和壓縮視頻流緩存器(VBV緩存器)。例如，可能採用一運行於27MHz的16M位EDO DRAM。而且可採用如授與C.Hoogonboom和B.Vuong的US專利5675387「視頻解壓縮處理器中有效地尋址DRAM的方法和設備」所介紹的幀緩存器配置。這裡描述的緩存器配置被優化用於處理主層次需求中的MPEG-2主協議。在所揭示的方案中，藉助減少必須尋址的DRAM不同行的次數以便檢索重構一當前視頻幀所需的先前視頻幀象素數據來改善解碼效率。
眾所周知，I-圖形是指能不涉及其他圖形被加以解碼的內編碼圖形，P-圖形是指能利用先前解碼的I-或P-圖形加以解碼的前向予測圖形，和B-圖形是指能利用先前的和下一個I-或P-解碼圖形加以解碼的雙向予測圖形。因此I-和P-圖形是錨定圖形，因為它們可被用作為予測另一圖形的基準。此外，I-、P-或B-圖形均可包括一完整的幀，或者僅僅包括幀的一部分。例如，由MPEG-4標準所知的視頻目標平面為任意成形的圖象。
這裡所用的術語「錨定圖象」是指可被用於予測另一圖象的任何圖象(例如I-和P-圖形)，而術語「非錨定圖象」則被用於指不能用來予測另外的圖象的任何圖象(如B-圖形)。一錨定圖象實際上不一定被用於予測其他圖象。另外，術語「圖象」用來包括連續掃描數據序列的幀、隔行掃描數據序列的場、和任意的以及矩形的或者對稱的圖象。
對於解碼16∶9寬高比的、或字母框的圖象，由於在有效視頻上下顯示的黑色區域所引起的較小顯示圖象，其顯示處理較之對標準4∶3寬高比圖象的處理約快25％。這是一個問題，因為對B-圖形的顯示時間典型地約為由其被解碼的時間起半幀的時間。而且解碼與顯示之間更長的延遲需要更大的B-圖形緩存器用於顯示前存儲解碼象素數據。但如已提到的，採用慣常的解碼器存儲器結構，不可能有適應這種需求的額外存儲器空間。另外，增加額外存儲器的成本也是問題，特別是對於必須以最低可能成本生產的批量生產的解碼器/機頂盒。
這樣，如果期望無需額外的B-圖象緩存器空間地作16∶9寬高比變換，能發生在運行中的顯示，此時可能對觀察者顯示不希望的出錯圖象。
對於PAL制式視頻數據，視頻解壓縮處理器(VDP)將大約一半的B-圖形裝進緩存。這是由於MPEG-2需求1.75M位VBV緩存器。
按照本發明，藉助在解碼器的解碼側對非錨定圖形(B-圖形)作行消除，可實現16∶9字母框模式而無需額外存儲器空間和帶寬的開銷。對於錨定圖形(I-和P-圖形)，在解碼器的顯示側發生行消除，行消除也被稱之為由十中取一進行調整。
圖1描述一按照本發明的解碼器。解碼器100包括一由信道例如由電纜或衛星寬帶通信網絡接收壓縮數字視頻位流的解壓縮引擎110。解壓縮引擎110執行通常的解壓縮功能，根據需要包括有變長解碼、逆量化、逆空間變換、和運動補償與估算處理。
對於予測編碼(如幀內編碼)圖形，例如P-和B-圖形，解壓縮引擎110通過線路115由存儲器150檢索先前的和/或未來的圖象數據。存儲器150可以是一帶有用於提供I-圖形緩存器152、P-圖形緩存器154、B-圖形緩存器156、和VBV緩存器158而被分配的存儲器空間的16M位SDRAM或EDO。解壓縮引擎110將經解壓縮的當前圖形數據提供給圖形類型讀取器122，和提供到開關146。
圖形類型讀取器122通過讀取當前圖形數據的適當前標信息來確定當前圖形(如幀)的圖形類型，並將此圖形類型信息提供給控制器140。控制器140可包括有用於接收和處理圖形類型信息的微處理器或其他硬體、固件、和/或元件部件。
如果當前圖形為一錨定圖形，例如I-或P-圖形，控制器140發送信號促使開關146將當前圖形數據的路由定為通過線路122直接到達存儲器150，傍路掉解碼側行消除器120。但如果當前圖形為非錨定圖形，如B-圖形，控制器140發送信號促使開關146將當前圖形數據的路由定為到達行消除器120。行消除器120可包括有能檢測和計數每一行的當前圖象數據的行計數器功能部件。行消除器120在將數據輸出到存儲器150之前消除當前的圖象數據的每個第n行。為由4∶3寬高比變換到16∶9寬高比，每個第四行被消除(因為1-4/3/16/9＝1/4)。
控制器140可響應例如用戶通過手持遙控器之類提供的選擇信號，或者它響應數據流中載有的指示應採用不同寬高比進行顯示的數據。
按照本發明，B-圖形數據不被解壓縮引擎110用於予測，因此不必在存儲器150中存儲完全的B-圖形圖象。但解壓縮引擎110作予測時可能需要P-和I-圖形數據，因此這一數據被完全地存儲在存儲器150中。
例如，對於原始解析度為720象素×480行的NTSC圖象，消除每個第四行的行消除將導致所顯示的圖象具有360行。類似地，對於720象素×576行的PAL圖象，消除每個第四行的行消除將導致所顯示圖象具有432行。黑象素填充有效視頻行的上、下區域。
還有，儘管已討論了由4∶3寬高比到16∶9寬高比的圖象變換，而本發明也可通過消除更少或更多的視頻行來提供其他的變換格式。
在解碼器100的解碼側，存儲在存儲器150中的數據輸出到顯示功能部件180來提供適用於在電視或其他裝置上顯示的數據。顯示功能部件180按照已知方式例如按照CCIR標準格式化該數據以便顯示。具體地說，輸出數據的圖形類型由與控制器140通信的圖形類型讀取器172確定。圖形類型讀取器122與172可共用公共組件而不一定是獨立的，但如果希望的話可以是獨立的。
可任選地，各圖形的圖形類型僅僅需要在存儲進存儲器之前依靠利用一適用的定時方案作存儲器150的輸出與輸入圖形定時的相關處理來確定一次。例如，可在解碼器100的解碼側對各圖形讀取各圖形的呈現時間標記(PTS)和圖形類型，並將其存在控制器140。與控制器140的相聯繫的時鐘和存儲器可在顯示側將由存儲器150輸出的圖形數據的圖形類型與先前記錄的信息進行相關處理。
但為作說明，圖1的示例解碼器100獨立地確定由存儲器150輸出的各圖形的圖形類型。
如果由存儲器150輸出的圖形輸出為非錨定圖形，控制器140就促使開關148和149將數據路由定為直接到達顯示功能部件180，傍路掉顯示側的行消除器170。對非錨定幀數據無須作進一步的行消除，因為在解碼器側行消除器120已發生所需的行消除處理。
但如果輸出圖形為錨定圖形，為了行消除每個第四行，控制器140則促使開關148將數據路由定為通過線路141到顯示側行消除器170。然後通過開關149將錨定圖形數據提供給顯示功能部件180。
應指出，圖1中所示的解碼器結構僅只是舉例，而本發明的寬高比變換可採用各種硬體、彩色固件和/或軟體配置來實現。
如果不要求作寬高比變換，則控制器140促使開關146、148、和149所有時刻均傍路行消除器120和170。
圖2描述按照本發明的I-圖形或P-圖形的處理。為作說明，假定為一具有480行的NTSC圖象，當然其他電視信號如PAL也可以應用。再有，在此例中是進行由4∶3到16∶9的寬高比變換，雖然也可採用其他的寬高比。I-圖形或P-圖形200的原始、完全的解壓縮圖象對應於圖1的解壓縮引擎110的輸出。圖象200包括有有效視頻行1～480。因為尚未發生行消除，對應於圖1存儲器150中數據的存儲圖象240與完全的解壓縮圖象200相同。
所顯示的圖象280表明由圖1行消除器170輸出的數據，其中每個第四有效視頻行已被消除。相應地，所顯示圖象280中只有360行，例如行1、2、3、5、6、……475、477、478和479。圖象280的最後一有效視頻行對應於解壓縮圖象200的行479。此所顯示圖象的有效視頻行的上面和下面通常設有黑象素。
圖3描述按照本發明的B-圖形的處理。原始的完全的解壓縮B-圖形圖象300含有行1～480。被存儲的B-圖形圖象340對應於由圖1行消除器120輸出的數據。相應地，此圖象已被消除每個第四行。被顯示B-圖形圖象380對應於圖1線路143上的數據，包括有對所討論的NTSC視頻示例的整個380行。所顯示圖象380中有效視頻行的上、下也設置有黑象素。
因而可看出本發明提供在解碼器中通過進行行消除來將數字視頻圖象變換到較高寬高比格式的方法和設備。對非錨定圖形的行消除在存儲進存儲器前於解碼器的解碼側發生，而對錨定圖形的行消除則在由存儲器檢索之後和顯示前在解碼器的顯示側發生。
因此本發明能提供寬高比變換能力而無需由於因字母框寬高比變換所引起的解碼時間與顯示時間之間的延遲增大而要求的額外存儲器空間或帶寬。
雖然本發明是聯繫各種具體實施例加以說明的，但本技術領域內的熟悉人士均會理解可對之作大量的適應和修改而不背離權利要求中所述的發明精神實質和範疇。
例如，儘管本發明是連繫電纜或衛星電視寬帶通信網絡進行討論的，但將會理解其他網絡諸如區域網(LAN)、都市區域網(MAN)、廣域網(WAN)、中間網絡、企業內部網絡和網際網路均可採用。
另外，本發明還可適配用於除MPEG-2外的數字視頻標準和除NTSC及PAL外的電視標準。
權利要求
1.一種用於改變包含多個視頻行的數字視頻圖象的寬高比的方法，包括步驟(a)確定在解碼器中接收的連續數字視頻圖象的對應圖形類型，所述圖形類型包括有錨定圖象和非錨定圖象；(b)在將與非錨定圖象相關的數據存貯進存儲器之前從非錨定圖象消除行；(c)存儲與錨定圖象相關的數據進存儲器；(d)由存儲器檢索與非錨定圖象相關數據以輸出到顯示功能部件；和(e)由存儲器檢索與錨定圖象相關的數據和在輸出到顯示功能部件前對之作消除行處理。
2.權利要求1所述方法，其特徵是與錨定圖象相關的數據在所述步驟(c)被存進存儲器，而不對之作消除行處理。
3.權利要求1或2所述方法，其特徵是在所述步驟(d)由存儲器檢索與非錨定圖象相關的數據，不對之作進一步的行消除處理。
4.前述權利要求之一所述方法，其特徵是所述連續數字視頻圖象在解碼器中通過寬帶通信網絡接收。
5.前述權利要求之一所述方法，其特徵是在解碼器中所接收的所述連續數字視頻圖象具有4∶3的寬高比；和輸出到顯示功能部件的數據具有16∶9的寬高比。
6.前述權利要求之一所述方法，其特徵是在所述步驟(b)由非錨定圖象消除每個第n行；和在所述步驟(e)由錨定圖象消除每個第n行。
7.前述權利要求之一所述方法，其特徵是所述非錨定圖象包括雙向予測圖象。
8.前述權利要求之一所述方法，其特徵是所述錨定圖象包括(i)內部編碼圖象和(ii)前向予測圖象中至少一個。
9.一種用於改變包含多個視頻行的數字視頻圖象的寬高比的設備，包括用於確定在解碼器接收的連續數字視頻圖象的對應圖形類型的圖形類型讀取器；所述圖形類型包括有錨定圖象和非錨定圖象；用於在將與非錨定圖象相關的數據存儲進存儲器之前由非錨定圖象消除行的解碼側行消除器；用於將與錨定圖象相關的數據存儲進存儲器的裝置；用於由存儲器檢索與非錨定圖象相關的數據以輸出到顯示功能部件的裝置；和用於由存儲器檢索與錨定圖象相關數據的裝置，和用於在輸出到顯示功能部件前對之消除行的顯示側行消除器。
10.權利要求9所述設備，其特徵是與錨定圖象相關的數據被存儲在存儲器中而不對之作消除行處理。
11.權利要求9或1O所述設備，其特徵是與非錨定圖象相關的數據被由存儲器中檢索而不對之再消除任何行。
12.權利要求9至11之一所述設備，其特徵是所述連續數字視頻圖象在解碼器中通過寬帶通信網被接收。
13.權利要求9至12之一所述設備，其特徵是在解碼器中接收的所述連續數字視頻圖象具有4∶3的寬高比；和輸出到顯示功能部件的數據具有16∶9的寬高比。
14.權利要求9至13所述設備，其特徵是所述解碼側行消除器從非錨定圖象消除每個第n行；和所述顯示側行消除器從錨定圖象消除每個第n行。
15.權利要求9至14之一所述設備，其特徵是所述非錨定圖象包括雙向予側圖象。
16.權利要求9至15之一所述設備，其特徵是所述錨定圖象包括(i)內部編碼圖象和(ii)前向予測圖象中至少一個。
全文摘要
在解碼器中依靠行消除來將數字視頻圖象變換到較高寬高比格式的方法和設備。例如,可實現由4∶3到16∶9字母框格式的變換。對非錨定圖形(如B－圖形)的行消除在存儲進存儲器之前於解碼器的解碼側發生。對錨定圖形(如I－和P－圖形)的行消除在由存儲器檢索之後和顯示之前於解碼器的顯示側發生。額外的存儲器空間可被釋放用於存儲額外的解碼數據,從而補償用此字母框格式處理的有效視頻行數減少所造成的顯示處理時間的降低。
文檔編號H04N5/44GK1262578SQ00100470
公開日2000年8月9日 申請日期2000年1月27日 優先權日1999年1月27日
發明者王金保, 坎達絲·安德森 申請人:通用儀器公司