用於在標準解析度兼容介質上提供高解析度材料的系統和方法
2023-10-22 07:18:32 1
專利名稱：用於在標準解析度兼容介質上提供高解析度材料的系統和方法
技術領域：
本發明總體上涉及用於記錄和回放數字圖像數據的系統，並且更具體地涉及一種用於在標準解析度兼容的DVD上記錄高解析度材料的系統和方法，以便於DVD可以以標準或高解析度模式(high definition)被回放。
背景技術：
當DVD(數字通用盤)播放器變成視頻回放以及最終視頻記錄的介質選擇時，預計對具有先進特徵的DVD系統的需求得到增長。例如，各種公司，包括Philips Electronics最近已經將DVD記錄器投入到市場。當DVD記錄器將來變得更加普及時，在DVD上記錄TV節目等將變得更加容易且更加消費得起。
然而一直被適當加以強調的議題之一涉及增加高解析度(HD)材料的普及性。目前，還沒有使用標準解析度(SD)即4.7GB，單側DVD的設定格式以用於記錄和回放高解析度(HD)材料(在此被稱為HD-on-SD-DVD)。這個議題將僅在2006年到來時才變得更加重要，屆時Advanced Television Systems Committee(ATSC)已經頒布高解析度廣播成為U.S.電視頻道的標準。
基於上述內容，可以看出以標準的，即SD-DVD格式記錄HD視頻對於DVD記錄器來說將變成重要的選項並且為消費者電子設備、半導體和電影工業打開了新的市場。此外，用於提供HD-on-SD-DVD的技術將對於支持長播放模式記錄的其它應用和介質，如HD-DVD記錄器或基於硬碟的記錄器是有益的。
因而，存在對一種可以提供在SD兼容的介質，如SD-DVD上提供HD材料的系統的需求。
發明內容
通過提供一種用於提供HD記錄和回放系統的系統和方法，本發明強調上述提到的議題以及其它議題，通過在記錄期間使用從原始HD圖像中所提取的增強信息，所述HD記錄和回放系統在上轉換(up-converted)SD圖像上提供HD感覺。
在第一方面，本發明提供一種用於將高解析度視頻記錄到標準解析度兼容的介質上的記錄系統，包括用於將HD視頻下調到SD視頻格式的系統；用於對SD視頻進行編碼的系統；用於從HD視頻中抽取增強信息的系統；以及用於將SD視頻和被抽取的增強信息存儲到SD兼容介質上的系統。
在第二方面，本發明提供一種用於從標準解析度格式記錄中重建高解析度視頻圖像的回放系統，包括用於從所述記錄中抽取SD數據且對其解碼的系統；用於從所述記錄中抽取增強信息的系統；用於對被解碼SD數據進行去交錯(de-interlacing)的系統；以及用於利用增強信息對被解碼的數據進行上調(up-scaling)及後處理以產生HD視頻圖像的系統。
在第三方面，本發明提供一種用於將高解析度(HD)視頻記錄到標準解析度兼容介質上的方法，包括將HD視頻下調成SD視頻格式；對SD視頻進行編碼；從HD視頻產生增強信息；以及將SD視頻和增強信息存儲到SD兼容介質上。
在第四方面，本發明提供一種從標準解析度格式記錄中重建高解析度視頻圖像的方法，包括從所述記錄中抽取SD數據並對其解碼；從所述記錄中抽取增強信息；對被解碼的SD數據進行去交錯；以及利用增強信息對被解碼的數據進行上調及後處理以產生HD視頻圖像。
在第五方面，本發明提供一種存儲於可記錄介質上面、用於將高解析度視頻記錄到標準解析度DVD上的程序產品，包括用於將HD視頻下調成SD格式視頻的裝置；用於對SD視頻進行編碼的裝置；用於從HD視頻中產生增強信息的裝置，其中所述增強信息包括高頻圖像數據；以及用於將SD格式視頻和增強信息存儲到DVD上的裝置。
在第六方面，本發明提供一種存儲在可記錄介質上面、用於從標準解析度DVD中重建高解析度視頻圖像的程序產品，包括用於從DVD中抽取SD數據並且對其解碼的裝置；用於從DVD中抽取增強信息的裝置，其中所述增強信息被存儲在MPEG用戶數據段且包括高頻圖像數據；用於對被解碼的SD數據進行去交錯的裝置；以及利用增強信息對被解碼的數據進行上調及後處理以產生HD視頻圖像的裝置。
從結合所附附圖對本發明各個方面的下述細節說明中，這個發明的這些及其它特徵將更加容易地得到理解，其中圖1描繪了根據本發明的記錄系統。
圖2描繪了根據本發明的回放系統。
具體實施例方式
本發明提供一種這樣的視頻處理系統和方法，其可以以如此方式將HD材料記錄在SD兼容的DVD(SD-DVD)內，以便於DVD可以在常規的DVD播放器中被回放以用於常規的SD觀看，或在HD使能的DVD播放器中被回放以用於HD觀看。可利用任何類型的可寫的或可重寫的DVD(例如，DVD-R，-RW，+RW，-RAM)。通過使用在此所說明的技術，所述系統能夠在4.7Gbyte DVD中記錄兩個小時「接近」HD質量的視頻，或在9Gbyte DVD中記錄四個小時接近HD的視頻。正如下面將進一步解釋的那樣，在記錄期間，所述系統(1)將所輸入的HD信號轉換成SD信號；以及(2)從HD信號產生增強信息。然後所述系統對SD信號進行編碼，例如通過使用MPEG-2編碼器，並且將所述增強信息存儲在例如MPEG位流的用戶數據段內。
在此所說明的示範性實施例僅利用捕捉重要HD圖像特徵，如邊緣和組織信息的相對少量的增強信息。通過這種方式，低的比特率可以被用於增強信息(例如小於0.5兆字節/秒)並且SD信號和增強信息的組合可以被維持在大約5兆字節/秒。現有技術方法，如MPEG-2分層的或可伸縮(scalable)的編碼，不可能在合理的質量下維持這樣低的比特率。
在回放期間，被記錄的DVD不僅完全與目前的DVD標準兼容，而且所述DVD還可以在使用增強信息以產生HD質量視頻的HD使能的DVD播放器中被回放。注意雖然在此圖1和圖2中所提供的實施例將SD格式輸出24說明為DVD，但是應該理解為可以利用任何的可記錄介質。
現在參考圖1，根據本發明的示範性記錄系統10被示出。系統10接收HD輸入信號11並且產生SD格式輸出24。所述系統的輸入可接受以位流形式或以分量信號形式(對於位流形式，將需要MPEG-2解碼器)的所有ATSC格式。然而，出於解釋的目的，系統10被示出接受1080i(交錯的)和720p(逐行的)格式。因而，示範性系統能夠處理兩個不同的格式，逐行的和交錯的，這兩個格式均與目前的SD標準兼容。逐行式格式被標註為30p或者說60i prog(ressive)(類似於電影模式)，並且它們在「prog-to-interlace-converter(逐行到交錯轉換器)」塊16之後的流程箭頭的上部。注意除了60i prog被對待為交錯的格式以外，60iprog從結構上與30p相同。將30p轉換成60i逐行格式的原因是保證所記錄的DVD對於支持可(重)寫DVD的所有DVD播放器的兼容性。交錯的格式被標註為60i，並且它在流程箭頭的下部。
記錄系統10的基本操作如下。輸入畫面(即視頻)被下調成SD畫面，並且一些重要的HD特徵或HD增強數據(在此被稱為E數據)從輸入中被抽取。然後MPEG-2編碼器對SD序列進行編碼，並且MPEG-2位流連同E數據被保存在存儲器(例如DVD+RW)中。E數據可以被存儲在MPEG位流中的用戶數據段。
系統10包括去交錯器/速率子採樣系統(rate subsampling)12，其將輸入信號11去交錯或子採樣成30p或60p的格式。然後下轉換/縱橫比(AR)格式化系統14利用寬屏，加框(letterboxing)，或擴展(隨動和掃描)縱橫比格式對信號進行格式化。逐行到交錯轉換器16執行從30p至60i prog的2-2下拉(pull-down)，或執行交錯以從60p轉換至60i。然後MPEG編碼器18將信號編碼成NTSC或PAL兼容的格式。
此外，在輸入信號被去交錯/子採樣之後，信號還被傳遞到HD細節抽取系統20，所述抽取系統20從所述信號中抽取高頻圖像數據。所述抽取可被伴隨有例如高通濾波器或殘餘算符。然後高頻圖像數據被傳遞到HD特徵處理系統22以產生HD增強信息或E數據。然後E數據與例如SD格式輸出24被存儲在經MPEG編碼的數據的用戶數據段中。
出於這個發明的目的，應該理解為不存在對可被產生和使用的E數據的類型的限制。然而意識到提供重要的邊緣和組織細節的高頻率圖像(HFI)數據在產生HD圖像時是重要的。不幸地，位接位地對這些區域進行編碼將顯著地增強總的比特率，如果例如兩小時的視頻要被存儲在4.7Gbyte DVD上，則總的比特率必須被保持到大約5兆比特每秒。作為另一選擇，本示範性實施例建議通過在那些區域上使用多級解析度增強來建立HD「感覺」。
為了實現於此，在特徵處理系統22內的多柵編碼系統可被應用以通過使用四樹分解對能量顯著區域進行識別和編碼。然後作為結果的區域分類位流(即，能量區域圖(map))將形成E數據，所述E數據可以被用來通過解碼器/回放系統來建立逐漸的增益圖。根據編碼系統，圖像更重要的地區被加以標識並被分解成越來越小的塊或區域。分割過程遵循四樹結構並且產生1和0的串。用於產生能量區域圖的多級區域分類算法可被實施如下將HFI分割成16×16塊。然後計算在每個塊中的總能量(E，針對組織測試)及在每個塊中頭三個最大像素值的平均值與頭三個最小像素值的平均值之差(D，針對邊緣測試)。
首先對在HFI中的128×128塊應用四樹分解。如果在128×128塊內的任何16×16塊中E＞閥值1，或D＞閾值2，則128×128塊被標記為位「1」且然後被分成4個64×64塊；否則，塊被標記為「0」而沒有任何進一步的分割。分解繼續直至達到16×16塊。
利用閾值測試所有的16×16塊並且如果E或D大於閾值加上一常數以進一步分類16×16塊，則將塊標記為「1」；否則將它們標記為「0」。存儲所有分解的「0」和「1」以及作為E數據的這個16×16塊測試。取決於在HFI中能量擴展的稠密程度，在E數據中可存在不同的位大小。例如，通過使用小於1000位，典型的720×1280 HFI可以被分類成5級。這是大約30Kbp或0.03Mbp，其與SD層的5Mbp相比是非常小的。
應該理解到上述算法僅是用於產生E數據的系統的一個實例，並且現在已知的或隨後開發的其它方法屬於本發明的範圍。
在回放期間，DVD中的位流可以以SD格式被任何DVD順從的解碼器進行解碼。此外，對於HD使能的解碼器，E數據(例如作為用戶數據被存儲)被檢索，被後處理並且被與常規SD的上轉換畫面進行組合以建立可以被顯示在採用HD「感覺」的HD準備好的TV上的圖像。
根據上面所說明的四樹算法方法，在後處理期間，四樹被重新建立且增益被賦予給每個等級以建立逐行的增益圖。因此，根據四樹結構例如不同的增益被賦予不同的塊大小或分割區域。如果銳度增強算法被應用，則利用增強增益的不同等級，HD「感覺」將被建立。
具體地，通過對E數據中的四樹位流進行解碼，分割區域得到重建。然後主要基於區域的大小，每個區域被賦予一值。因此，例如，128×128區域被賦予0.5；64×64塊區域被賦予0.7；32×32塊區域被賦予0.8；以及16×16塊區域被賦予0.9或1.0。所述結果提供了這樣的增益圖，其可以被回放系統(圖2)所使用以在上轉換的SD畫面上恢復HD效果。
結合從E數據重建的增益圖任何類型的增強方法可以被使用。示範性方法包括自適應峰化(peaking)和/或LTI(照明瞬時改善)。
現在參考圖2，回放系統30被示出用於回放被存儲在DVD 24上的圖像數據。回放系統30包括用於產生60i逐行的或60i信號的MPEG解碼器32以及用於產生30p或60p信號的去交錯器34。上轉換及後處理系統36接收30p或60p信號以及E數據，以產生HD 30p或HD 60p信號。然後幀速率倍增器或去交錯器系統38產生1080i或720@60p輸出。
要理解到在此所說明的系統、功能、機構、方法和模塊可以以硬體、軟體、或硬體和軟體的組合來加以實施。它們可由任何類型的計算機系統或適合於執行在此所說明方法的其它裝置來加以實施。硬體與軟體的典型組合可是具有電腦程式的通用計算機系統，當執行所述電腦程式時，所述程序如此控制計算機系統以便於它執行在此所說明的方法。作為選擇地，可利用包含用於執行本發明的一個或更多個功能任務的專用硬體的專門計算機。本發明還可以被嵌入在電腦程式產品中，所述電腦程式產品包括使能在此所說明的方法和功能的實施的所有特徵，且當其被裝載在計算機系統中時，能夠執行這些方法和功能。在本環境中的電腦程式，軟體程序，程序，程序產品或軟體意味著以指令集合的任何語言，碼或符號的任何表達，其旨在致使具有信息處理能力的系統來直接或在下述中的任一個或兩者之後執行特定功能(a)轉換成另一語言，碼或符號以及/或(b)以不同材料形式的再現。
出於示例和說明的目的，已經呈現本發明優選實施例的上述說明。它們並不旨在是詳盡的或將本發明限制到所公開的精確形式，並且顯然地按照上述示教許多修改和變化是可能的。對於本領域中普通技術人員顯而易見的這種修改和變化旨在被包括在由所附權利要求所定義的本發明範圍內。
權利要求
1.一種用於將高解析度(HD)視頻記錄在標準解析度(SD)兼容介質[24]上面的記錄系統[10]，包括用於將HD視頻下調到SD視頻格式的系統[14]；用於對SD視頻進行編碼[18]的系統；用於從HD視頻中抽取增強信息[20]的系統；以及用於將SD視頻和被抽取的增強信息存儲在SD兼容介質[24]的系統。
2.根據權利要求1的記錄系統[10]，其中所述SD兼容介質[24]包括DVD。
3.根據權利要求1的記錄系統[10]，其中用於編碼[18]的系統包括MPEG-2編碼器。
4.根據權利要求1的記錄系統[10]，其中增強信息包括被分成不同能量區域的高頻圖像數據。
5.根據權利要求4的記錄系統[10]，其中增強信息通過特徵處理系統[22]被存儲在能量區域圖中。
6.根據權利要求5的記錄系統[10]，其中通過使用四樹分解算法對能夠區域圖進行編碼。
7.根據權利要求1的記錄系統[10]，其中SD視頻和被抽取的增強信息以大約5兆位/秒的組合速率被存儲。
8.根據權利要求1的記錄系統[10]，其中被抽取的增強信息以小於1兆位/秒的速率被存儲。
9.根據權利要求1的記錄系統[10]，進一步包括用於將SD視頻格式化用於寬屏，加框及掃描和隨動格式的縱橫比格式系統。
10.根據權利要求1的記錄系統[10]，其中SD視頻可以以從由逐行的和交錯的組成的組中加以選擇的格式被存儲。
11.根據權利要求1的記錄系統[10]，其中增強信息被存儲在MPEG用戶數據段中。
12.一種用於從標準解析度(SD)格式記錄[24]中重建高解析度(HD)視頻圖像的回放系統[30]，包括用於從記錄[24]中抽取SD數據且對其進行解碼的系統[32]；用於從記錄[24]中抽取增強信息的系統；用於對被解碼的SD數據進行去交錯的系統[34]；以及用於利用增強信息對被解碼的SD數據進行上調及後處理[36]以產生HD視頻圖像的系統。
13.根據權利要求12的回放系統[30]，其中所述增強信息包括與在記錄過程期間所抽取的高頻圖像數據有關的信息。
14.根據權利要求13的回放系統[30]，其中增強信息包括能量區域圖。
15.根據權利要求14的回放系統[30]，其中利用四樹分解算法對能量區域圖進行編碼。
16.根據權利要求14的回放系統[30]，其中利用從增強信息中得到的增益圖後處理系統[36]應用自適應峰化。
17.根據權利要求14的回放系統[30]，其中利用從增強信息中得到的增益圖後處理系統[36]應用照明瞬時改善。
18.一種用於將高解析度(HD)視頻記錄在標準解析度(SD)兼容介質[24]上面的方法，包括將HD視頻下調到SD視頻格式；對SD視頻進行編碼；從HD視頻中產生增強信息；以及將SD視頻和增強信息存儲在SD兼容介質[24]上面。
19.根據權利要求18的方法，其中產生增強信息的步驟包括從HD視頻中抽取高頻圖像數據；以及通用使用四樹算法基於高頻圖像數據建立能量區域圖。
20.根據權利要求18的方法，其中增強信息被存儲在MPEG用戶數據段中。
21.一種用於從標準解析度(SD)格式記錄中重建高解析度(HD)視頻圖像的方法，包括從記錄中抽取SD數據且對其進行解碼；從記錄中抽取增強信息；對被解碼的SD數據進行去交錯；以及利用增強信息對被解碼的SD數據進行上調及後處理以產生HD視頻圖像。
22.根據權利要求21的方法，其中增強信息被存儲在MPEG用戶數據段中且包括利用四樹分解算法而編碼的能量區域圖。
23.根據權利要求22的方法，其中通過利用從增強信息中得到的增益圖來應用自適應峰化，被解碼的SD數據得到後處理。
24.根據權利要求22的方法，其中通過利用從增強信息中得到的增益圖來應用照明瞬時改善，被解碼的SD數據得到後處理。
25.一種被存儲在可記錄介質上、用於將高解析度(HD)視頻[11]記錄在標準解析度(SD)DVD[24]上的程序產品，包括用於將HD視頻下調成SD格式視頻的裝置[14]；用於對SD視頻進行編碼的裝置[18]；用於從HD視頻中產生增強信息的裝置[20，22]，其中所述增強數據包括高頻圖像數據；以及用於將SD格式視頻和增強信息存儲到DVD上面的裝置。
26.一種被存儲在可記錄介質上、用於從標準解析度(SD)DVD[24]重建高解析度(HD)視頻圖像的程序產品，包括用於從DVD中抽取SD數據並且對其進行解碼的裝置[32]；用於從DVD中抽取增強信息的裝置，其中所述增強信息被存儲在MPEG用戶數據段中並且包括高頻圖像數據；用於對被解碼的SD數據進行去交錯的裝置[34]；以及用於利用增強信息對被解碼的SD數據進行上調以及後處理以產生HD視頻圖像的裝置[36]。
27.根據權利要求26的程序產品，其中後處理裝置[36]應用由下述組成的組之一利用從增強信息中導出的增益圖的自適應峰化及照明瞬時改善。
全文摘要
一種用於在標準解析度DVD上記錄和重建高解析度視頻的系統和方法。提供一種記錄系統，其包括用於將HD視頻下調到SD視頻格式的系統；用於對SD視頻進行編碼的系統；用於從HD視頻中抽取增強信息的系統；以及用於將SD視頻和被抽取的增強信息存儲在SD兼容介質上面的系統。提供一種用於從標準解析度SD格式記錄中重建HD視頻圖像的回放系統，其包括用於從記錄中抽取SD數據且對其進行解碼的系統；用於從記錄中抽取增強信息的系統；用於對被解碼的SD數據進行去交錯的系統；以及用於利用增強信息對被解碼的SD數據進行上調及後處理以產生HD視頻圖像的系統。
文檔編號H04N5/46GK1613113SQ02827015
公開日2005年5月4日 申請日期2002年12月23日 優先權日2002年1月10日
發明者T·-H·藍, L·博羅茨基 申請人:皇家飛利浦電子股份有限公司