用於控制音頻/視頻數字解碼器的處理的製作方法
2023-05-24 16:40:06
專利名稱：用於控制音頻/視頻數字解碼器的處理的製作方法
技術領域：
本發明涉及一種用於控制音頻/視頻數字解碼器的處理。
背景技術：
現今，訪問從例如數字介質(諸如磁碟)或由電纜或衛星傳輸的數字流的數字數據產生的視聽節目是很普遍的。
根據例如MPEG(運動圖像專家組)的某一標準對數字數據進行編碼，當希望訪問由這些數字數據表示的音頻/視頻內容時，人們使用一種音頻/視頻解碼器，該音頻/視頻解碼器產生能夠觀看和聽見一個標準裝置的信號(例如CVBS或電視上的RGB視頻信號)。
對於視頻，MPEG標準建議三種用於構成編碼視頻序列的各種圖像的可能編碼I型編碼(幀內)、P型編碼(幀間)和B型(雙向)編碼(以及圖像)。
眾所周知，對應於I型編碼圖像的數字數據足以產生這種圖像。相反，為了能夠解碼P和B型圖像，必須在先訪問(甚至解碼)相鄰的參考圖像(I或P型)。這種缺陷通過減小與P和B圖像對應的數字數據的規模所獲得的結果來補償。
有時候期望只觀看部分以數字流形式編碼的圖像。例如，在凍結幀期間，期望在某一時間跨度僅顯示一個圖像。同樣，有時候期望僅顯示I型圖像，或僅顯示I和P型的圖像。(為了說明需要，將被顯示的圖像被稱作第一類型圖像。)通常，在視頻序列的加速觀看(快進)期間，建議後一種解決方案。為了不使被規定以正常觀看速度解碼圖像的視頻解碼器過載，在可能的情況下，通常僅對將被觀看的圖像(第一類型的圖像)進行解碼，即僅對I型圖像或僅對I和P型圖像進行解碼。
因此，由於必須在解碼期間跳過B型圖像，這種解決方案不允許使用解碼數字流的正常過程。
而且，這種解決方案導致了音頻序列和視頻序列之間的同步損失。在加速觀看結構內，由於通常不可能以任意的方法獲得可聽到的加速音頻信號，所以限制了這種缺陷的範圍。
然而，當捨去加速模式而恢復到正常模式時，這種同步的缺陷需要一個再同步階段，該再同步階段通常被顯示為以秒為數量級的時間周期的黑屏。
此外，如果站在加速觀看的框架之外，也期望保持同步，以便即使在不發生顯示B型圖像的情況下也能夠維持音頻序列的正常顯示。
發明概述為了即使是在僅顯示部分數字流期間也能夠在每個瞬時保持同步，本發明提出一種用於控制音頻/視頻數字解碼器的處理，該處理包括步驟連續獲得一個數字音頻/視頻流，所述數字視頻流由有序圖像序列組成；對該序列的所有圖像進行視頻解碼；以該序列的部分圖像為基礎產生視頻信號；這裡，措詞「僅部分圖像」理解為所屬圖像的有限部分，也就是說不同於全部圖像的一部分。
最好，所述處理還包括下述步驟將所述數字音頻流與所述視頻解碼同步地解碼成音頻序列。
因此，能夠並行(即，與產生基於有限部分圖像的信號同步)顯示所述音頻序列。
所述有限部分可以是所述序列的單個圖像這是凍結幀的情況。
這種處理使得能夠凍結並且然後恢復顯示一個任意類型的圖像，同時允許音頻與視頻同步並行繼續。顯示的恢復是即時的並且沒有黑屏。
該解決方案也可以有利地被用來避免有關觀看僅第一類型(一種情況是類型I；其他情況是類型I和P)的圖像期間的同步損失的缺陷。
在這種情況下，所述序列包括第一類型的圖像和第二類型的圖像，並且部分圖像(基於產生的視頻信號)限於第一類型的圖像。
所述獲得可以是從數字介質的讀入或從數字流的接收。
最好所述視頻信號被用於顯示。
因此，本發明也提供一種用於控制音頻/視頻數字解碼器的處理，包括下述步驟連續獲得一個數字音頻/視頻流，所述數字視頻流由第一類型和第二類型的有序圖像序列組成；對第一類型的圖像和第二類型的圖像進行視頻解碼；僅以第一類型的圖像為基礎產生一個視頻信號。
除此以外，本發明提供一種用於控制音頻/視頻數字解碼器的處理，包括如下步驟將第一數據視頻解碼成第一類型的第一圖像；顯示第一圖像，並且同時將第二數據視頻解碼成第二類型的圖像以及將第三數據解碼成第一類型的第二圖像；顯示所述第二圖像。
附圖簡述參考附圖，通過結合附圖對本發明的示例性實施例的描述，本發明其他特性將會變得更加清楚，其中
圖1示出了根據本發明第一實施例的數字解碼器；圖2a到2l示出了正常模式下的圖1的數字解碼器中的解碼和顯示過程；圖3a到3o示出了1模式下的圖1的數字解碼器中的解碼和顯示過程；圖4示出了根據本發明的第二實施例的數字解碼器。
具體實施例方式
圖1示出的數字解碼器2從用符號4表示的天線接收信號。從天線發射的信號被發送到通常稱作前端的調諧器/解調器組件6。前端6選擇以給定頻率接收的信號，並將該信號以基帶形式發送給多路分配器8，該多路分配器例如根據MPEG標準從信號中提取數字數據流。然後，音頻/視頻解碼器10將該數據流解碼成視頻信號和音頻信號。所述音頻和視頻信號(例如CVBS類型)被發送給諸如Scart插槽的連接器12，以便通過電纜14發送，並且然後在諸如電視機的顯示裝置16上顯示。
諸如前端6、多路分配器8和音頻/視頻解碼器10的數字解碼器2的各種電路在微處理器18的監控下工作。
音頻/視頻解碼器10包括輸入模塊20，用於將輸入的MPEG流分離成指定給音頻解碼器24的音頻數據流MPEG Audio和指定給視頻解碼器22的視頻數據流MEPG Video。該MPEG Audio和MPEG Video數據流被分包成基流(PES)。因此，該MPEG Video流由I、P和B型的圖像組成。
視頻解碼器22將該MPEG Video流轉換成YUV數字流，該YUV數字流表示根據CCIR 601標準的、能夠在視頻編碼器28中進行數字/模擬轉換之後顯示的視頻序列。如先前所述的，在視頻編碼器28(因此也就是音頻/視頻解碼器10)的輸出端的視頻信號是CVBS類型。它也可以是S-視頻(Y/C)或RGB型的信號。(視頻編碼器通常根據這些不同的格式來輸送信號)。
音頻解碼器24將輸入的音頻流MPEG Audio變換成兩種數字音頻流PCM R和PCM L，這兩種數字音頻流然後分別轉換成兩種模擬音頻信號音頻R和音頻L，以便獲取立體聲。
在視頻解碼器22和音頻解碼器24中的同時解碼能夠保證音頻序列和視頻序列之間的同步，這種同步保證了內容的良好恢復。
現在將詳細描述正常操作下的所述視頻解碼處理。
視頻解碼器22接收基本視頻流MEPG Video，並在視頻存儲器26中存儲所接收的數據，然後對其進行解碼。
在它們被接收的基礎上，與I、P或B型圖像對應的數據首先被保存在一個緩衝存儲器或速率(rate)緩衝器中。然後它們被解碼以便重建它們表示的視頻圖像。這種被重建的視頻圖像被保存在視頻存儲器26、幀存儲區域或幀緩衝器中。當圖像被完全解碼(即，被重建)時，圖像能夠被輸出以便顯示；為此，顯示指針放置在相應的幀存儲區域的開始位置。然後視頻解碼器22產生一個YUV數字流以便表示這種被解碼的圖像。
I型圖像不需要任何其他的數據來重建。P型圖像使用先前參考圖像(I或P型)以便它們解碼。B型圖像使用圍繞它們的兩種參考圖像(I或P)以便它們解碼。因此，存儲器必須能夠獲得三幀存儲區域，以便對B型圖像解碼兩幀存儲區域用於參考圖像(I或P)的存儲，以及一幀存儲區域用於B型圖像的解碼。
現在將參考圖2a到2l來描述正常操作期間圖像組(GOP)的解碼細節。
解碼器接收下列視頻序列I0P3B1B2P6B4B5I0』B7B8P3』B1』B2』。
下標表示圖像在編碼之後將被最終顯示的順序。由於B型圖像的編碼需要相鄰參考圖像的先前編碼，所以不能按顯示順序來接收圖像。
在圖2a中，圖像I0被解碼和存儲在視頻存儲器26的存儲區域A中。因此，當解碼指針PD將被重建的圖像寫入到其中時橫穿該存儲區域。
在圖2b中，圖像I0由視頻解碼器22輸出，以便通過將顯示指針PA放置在存儲區域A的開始位置來顯示，並且圖像P3在存儲區域B中被重建，因此存儲區域B被解碼指針PD橫穿。
在圖2c中，在存儲區域C中使用存儲器A和B(參考圖像I0和P3)的內容對圖像B1進行解碼。一旦被解碼，則通過將顯示指針PA放置在存儲區域C的開始位置可以顯示(由視頻解碼器22輸出)圖像B1，如圖2d所示。
類似地，在存儲區域C中使用存儲器A和B(圖2e)的內容對圖像B2進行解碼，然後顯示圖像B2(圖2f)。
圖2f也說明了存儲區域A中的圖像P6的解碼(以及由此重寫對應於圖像I0的數據)。
一旦參考圖像P6被解碼，則能夠在存儲區域C中繼續對圖像B4和B5進行後續解碼，如圖2g和2h所示。(儘管在圖中未示出，但是只要圖像B4被解碼，就自然顯示圖像B4。)然後，可以從圖2j和2k中看出，在存儲區域B(圖2i)中接收並解碼下一組的圖像I0』，以便允許圖像B7和B8在存儲區域C中解碼(和顯示，未表示)。(可以注意圖2j中的圖像P6的顯示)。
最後，在圖2l中，與圖像I0』的顯示一致，發生新組的圖像P3』的解碼。因此，對於新的圖像組重複先前描述的處理。
數字解碼器2也能夠這樣一種模式進行操作僅根據所接收的MPEG數字流的I型圖像產生一種視頻信號以供顯示。在該模式(為了更簡明的複製模式I)中，希望保持音頻和視頻之間的同步。為此，建議保持常規解碼過程，並且僅對顯示進行修改。
為了能夠解碼所接收的所有圖像(也就是說類型I、P和B的圖像)和維持圖像I組的顯示，建議例如使用4幀存儲區域A、B、C和D。因此在B型圖像的解碼期間，使用一個存儲區域來存儲將被顯示的I型的圖像，使用兩個存儲區域來存儲參考圖像(可能是P型的兩個圖像，因此與I型的圖像不同)，並且最後的存儲區域被用於B型圖像的解碼。
圖3a到3o詳細解釋了上述序列的模式I中的解碼處理。
在圖3a中，圖像I0在存儲區域A中被解碼。
一旦圖像I0被編碼，則通過將顯示指針PA放置在存儲區域A的開始位置來呈現和顯示I0，如圖3b所示。特別注意，在P和B型圖像的解碼期間，顯示指針PA將保持在該位置上，並且僅當一個新的I型圖像被解碼時再次移動。因此，YUV數字流(為了顯示)將在貫穿整個其他圖像的解碼期間表示I型圖像。因此，這種功能類似於凍結幀(freeze frame)。
圖3b也示出了存儲區域B中的圖像P3的解碼。然後，在存儲區域C可能發生圖像B1和B2的連續解碼(圖3c和3d)。
如圖3e所示，在存儲區域C中執行圖像P6的解碼。具體地，與正常的操作模式相反，由於存儲區域A被用於產生與顯示相關的YUV數字流，所以不可能以模式I重新存儲在存儲區域A中的圖像I0。
在圖3f中，使用存儲區域B和C執行對圖像B4的解碼，並且被重新產生的圖像存儲在存儲區域D中。(需要注意，可選擇將圖像P6保存在存儲區域D中，以便將圖像B4解碼到存儲區域C)。
在圖3f中，所以這樣使用所有的存儲區域存儲區域A用來存儲將被顯示的I型圖像，存儲區域B和C用來存儲參考圖像(P型)，以及存儲區域D用來解碼B型圖像。
在存儲區域D中，圖像B5的解碼以相同的方式進行，如圖3g所示。
然後，視頻解碼器22接收下一個I型圖像，這裡稱作I0』，並且在例如存儲區域B(也可以使用區域D)的一個可用的存儲區域中對其進行解碼，如圖3h所示。
然後，如圖3i和3j所示，可以在存儲器D中依次解碼圖像B7和B8。
需要注意的是，在圖像B7和B8的解碼期間，圖像I0』已經被重新產生了並且隨後準備用於顯示。當解碼器的本地時鐘達到由與圖像I0』相關的PTS標記(PTS代表圖像時間標記)指定的顯示瞬間時，精確地顯示圖像I0』(即，顯示指針PA將指向存儲區域B的開始位置，以便在視頻解碼器22的輸出端獲取圖像I0』的)。
然後，如圖3k到3o所示繼續執行對新圖像組的解碼過程在區域A對P3』解碼，依靠存儲在區域B和A中的數據在區域C對B1』解碼，然後對B2』解碼，在區域C對P6』解碼，然後依靠存儲在區域A和C中的數據在區域D對B4』解碼(使用區域B來顯示I0』)。
在新的圖像組解碼期間，顯示指針PA保持在存儲區域B的開始部分，從而僅在所述圖像I的基礎上產生用於顯示的YUV數據流。
根據這個循環繼續圖像組的解碼。
在模式I，音頻解碼器24繼續正常地將輸入的MPEG Audio流解碼成流PCM R和PCM L，並且因此與所解碼(但未顯示)的視頻流同步，轉換器30產生音頻信號Audio R和Audio L。因此，儘管只有I型圖像被顯示，但是輸入流的聲音部分通過數字解碼器2正常顯示。
無論什麼時候，不需要數據流的再同步就能夠恢復正常模式事實是根據正常模式將顯示指針PA放置在將被顯示的存儲區域的開始處就足夠了。由於將被顯示的圖像由正常解碼過程解碼，因此它能夠立即準備好。因此，正常模式的恢復不受延遲或黑屏的出現的影響。
圖4示出了根據本發明的數字解碼器102的另一個實施例。
數字解碼器102是雙處理器解碼器(或雙-CPU)，包括兩個處理器一個MPEG解碼處理器136(有時簡稱為DIG TV，表示數位電視)和一個視頻編碼處理器138(有時由於它也管理數字解碼器的其他功能而稱作HOST)。
在諧調器/解調器106和多路分配器108內對由天線104拾取的信號進行調諧、解調和分離之後，解碼處理器136接收MPEG基流。解碼處理器136包括輸入模塊120，用於將MPEG視頻流(流向視頻解碼器122)從MPEG音頻流(流向音頻解碼器123)中分離出來。
視頻解碼器122如在第一實施例解釋的那樣藉助於視頻存儲器126對所輸入的包進行解碼，並根據CCIR 601標準在解碼處理器136的輸出端產生一個YUV數字流。
音頻解碼器124對輸入的MPEG Audio頻流進行解碼，並且在解碼處理器136的輸出端產生兩種數字流PCM R和PCM L，這兩種數字流分別表示音頻通道右和左的聲音。
根據本實施例，在作為模式I(在該模式中，被描述為第一實施例的操作的正常模式)的正常模式中，輸入的MPEG Audio流的整個圖像收集由視頻解碼器122解碼。因此，在作為模式I的正常模式中，YUV數字流表示由型I、P和B組成的視頻序列。與YUV數字流同步，自然產生數字流PCM R和PCML。
YUV、PCM R和PCM L數字流被傳送到編碼處理器138。PCM R和PCML數字流在那裡被分別轉換成音頻信號Audio R和Audio L，流向連接器112以便將其傳送給用於恢復它們所代表的立體聲的一個裝置(例如配有揚聲器的電視)。
YUV數字流在編碼處理器138內由捕獲模塊132接收。捕獲模塊132能夠接收YUV數字流，並且將所接收的數據存儲在相關存儲器134中。存儲在相關存儲器134中的數據(以及代表將被顯示的圖像)被傳送到視頻編碼器128，用來產生一個對應的流入連接器112的CVBS視頻信號。
捕獲(即相關存儲器134中所接收的數據的實時存儲)可以是未激活的。在這種情況中，編碼處理器138不再考慮所接收的YUV數字流，因此，不再修改相關存儲器134，並且數字編碼器128重複地產生CVBS視頻信號，該信號表示存儲在相關存儲器134中的圖像。因此，捕獲的未激活導致了圖像的凍結。
在正常的操作模式中，捕獲被激活，因此全部的YUV數字流(包括表示類型I、P和B的數字)被用來產生CVBS視頻信號。
相反，當希望僅顯示I型(模式I)圖像時，建議解碼過程保持不變，但是在接收表示P或B型圖像的YUV數字流的期間不激活捕獲，以致僅當YUV數字流表示I型的圖像時激活捕獲。
可以通過解碼處理器136來給出有關表示I型或另外圖像的YUV數字流的信息，並將該信息經過一個鏈路發送給編碼處理器138，所述鏈路在圖4中未示出(例如12C類型)。
由於僅針對I型圖像激活所述捕獲，所以CVBS視頻信號僅代表輸入的MPEG視頻流的I型圖像。然而，解碼過程在解碼處理器136中正常地繼續，並且因此能夠與未顯示的解碼圖像(P和B圖像)同步繼續產生並顯示音頻通道。
因此，由於連續捕獲(正常模式)的簡單激活足以將要被顯示的先前解碼的圖像與音頻通道同步而傳送到視頻解碼器128，所以在沒有延遲和不必顯示黑屏的情況下，正常模式的恢復可能受到影響。
在常規方式下很重要的一點是，所述編碼和顯示過程(或顯示圖像的過程)持續地(即實時地)受到輸入的數字流的影響。而且，這些不同的過程是同步的。
本發明當然並不局限於上述的實施例。例如，儘管上述的示例說明總是僅參考I圖像的顯示，但是本發明也應用於凍結任何類型的圖像的情況和顯示僅基於所接收的MPEG數字流的類型I和P的圖像的情況。
在這個最後的情況中，I型和P型圖像將被認為是第一類型圖像，並且B型圖像被認為是第二類型圖像。
具體地，如在說明的開始部分所示，措辭「第一類型」和「第二類型」在MPEG標準中未定義，但是這裡用來簡化本發明的說明。第一類型圖像是當期望僅顯示某些類型的圖像時將被顯示的圖像；因此第一類型在某些情況中也可以表示類型I或在其他情況中表示包括類型I和P。作為補充，第二類型表示不希望顯示的類型或圖像的類型，即第一情況中的類型P和B以及第二情況中的類型B。
權利要求
1.一種用於控制音頻/視頻數字解碼器的處理，包括步驟-連續獲取數字音頻/視頻流(MPEG)，所述數字視頻流(MPEG視頻)由有序的圖像序列(I0，P3，B1，B2，P6，B4，B5，I0』，B7，B8)組成；-對所有的序列圖像(I0，P3，B1，B2，P6，B4，B5，I0』，B7，B8)進行視頻解碼；產生僅基於部分(I0；I0，I0』；I0，P3，P6，I0』)的序列圖像的視頻信號(CVBS)；-與所述視頻解碼同步地將所述數字音頻流(MPEG Audio)解碼成音頻序列。
2.如權利要求1所述的處理，包括步驟-播放所述音頻序列。
3.如權利要求1到2所述的處理，其中所述部分是所述序列的單個圖像(I0)。
4.如權利要求1或2中任一項所述的處理，其中所述序列包括第一類型(I0，I0』；I0，P3，P6，I0』)的圖像和第二類型(P3，B1，B2，P6，B4，B5，B7，B8；B1，B2，B4，B5，B7，B8)的圖像，並且其中所述部分限於第一類型(I0，I0』；I0，P3，P6，I0』)的圖像。
5.如權利要求1-4中任一項所述的處理，其中所述獲取是從數字介質的讀入。
6.如權利要求1-4中任一項所述的處理，其中所述獲取是一個數字流的接收。
7.如權利要求1-6中任一項所述的處理，其中所述視頻信號是用於顯示的。
8.一種用於控制音頻/視頻數字解碼器的處理，包括步驟-連續獲取數字音頻/視頻流，所述數字視頻流由第一類型(I；I，P)和第二類型(P，B；B)的有序的圖像序列組成；-對第一類型(I；I，P)的圖像和第二類型(P，B；B)的圖像進行視頻解碼；-僅以第一類型(I；I，P)圖像為基礎產生一個視頻信號(CVBS)。
9.一種用於控制音頻/視頻數字解碼器的處理，包括步驟-將第一數據視頻解碼成第一類型(I；I，P)的第一圖像(I0)；-顯示第一圖像(I0)，並同時將第二數據視頻解碼成第二類型(P，B；B)的圖像以及將第三數據解碼成第一類型的第二圖像(I0』)；-顯示第二圖像(I0』)。
全文摘要
在控制音頻/視頻數字解碼器的處理中，連續獲取數字音頻/視頻流(MPEG)，該數字音頻/視頻流的視頻部分(MPEG Video)由有序的圖像序列組成，執行所有的序列圖像的視頻解碼(22)，僅以部分序列圖像為基礎產生(28)視頻信號(CVBS)，而不中斷播放所述音頻序列(Audio R、Audio L)。
文檔編號H04N5/00GK1491041SQ0315893
公開日2004年4月21日 申請日期2003年9月12日 優先權日2002年9月13日
發明者丹尼爾·克羅伊索特, 丹尼爾 克羅伊索特, 埃杜阿德·裡茨, 德 裡茨 申請人:湯姆森特許公司