視頻和音頻重放設備及方法、輸出時刻改變設備及方法
2023-05-26 03:21:36 1
專利名稱：視頻和音頻重放設備及方法、輸出時刻改變設備及方法
技術領域：
本發明涉及視頻和音頻重放設備及方法、輸出時刻改變設備及方法，特別涉及對基於諸如MPEG(運動圖像專家組)流等視頻和音頻流的視頻圖像和聲音(音頻)進行重放的視頻和音頻重放設備及方法、輸出時刻改變設備及方法。
背景技術：
現有情況下，已經知道對基於視頻和音頻流的視頻圖像和聲音進行重放的視頻和音頻重放設備。例如，已經知道對基於MPEG流的視頻圖像和聲音進行重放的視頻和音頻重放設備。
如下所述執行MPEG流的傳輸和重放。
首先，來講述用於傳輸MPEG流的發送器。
發送器對視頻信號進行編碼，以生成由多個視頻幀形成的MPEG視頻流。發送器還對與視頻信號同步的音頻信號進行編碼，以生成由多個音頻幀形成的MPEG音頻流。
接著，發送器對MPEG視頻流進行分割以生成視頻數據。發送器將視頻數據組合成PES(打包的基本流)包。發送器還對MPEG音頻流進行分割以生成音頻數據。發送器將音頻數據組合成不包含視頻數據的PES包。PES包包含用於在視頻圖像和聲音(音頻)之間進行同步的時間信息。
圖1為示出了PES包的解釋性示圖。
如圖1所示，PES包100包括PTS(顯示時間戳)100a和DTS(解碼時間戳)100b。
DTS 100b表示PES包100中的數據應該被解碼的時間(解碼時刻)。PTS 100a表示PES包100中的數據應該被重放的時間(輸出時刻)。
發送器將相同的值分配給包含一定視頻幀的數據的PES包中的PTS以及包含與視頻幀同步的音頻幀的數據的PES包中的PTS。因此，可以使視頻和音頻同步。
之後，發送器發送MPEG流(視頻和音頻流)，其中MPEG流包括包含視頻數據的PES包和包含音頻數據的PES包。因此，MPEG流包含具有表示相同輸出時刻的PTS的多對視頻和音頻數據。
接下來，講述對基於MPEG流的視頻圖像和聲音音頻進行重放的重放單元。
圖2為示出了重放單元的框圖。
在圖2中，重放單元包括MPEG解碼器1、顯示單元2和音頻輸出單元3。
MPEG解碼器1對從發送器發送的MPEG流(視頻和音頻流)進行解碼，以生成視頻和音頻信號。MPEG解碼器1將視頻信號提供給顯示單元2。MPEG解碼器1將音頻信號提供給音頻輸出單元3。
當接收到來自MPEG解碼器1的視頻信號時，顯示單元2根據視頻信號來顯示視頻圖像。
當接收到來自MPEG解碼器1的音頻信號時，音頻輸出單元3根據音頻信號來提供聲音。
MPEG解碼器1包括分離電路1a、緩衝器1b和1c、系統解碼器1d、視頻解碼器1e和音頻解碼器1f。
當接收到來自發送器的MPEG流時，分離電路1a從MPEG流分離出視頻數據、音頻數據、PTS和DTS。分離電路1a將視頻數據存儲到緩衝器1b中。分離電路1a將音頻數據存儲到緩衝器1c中。分離電路1a將PTS和DTS供給到系統解碼器1d。
緩衝器1b存儲從分離電路1a供給的視頻數據。
緩衝器1c存儲從分離電路1a供給的音頻數據。
系統解碼器1d在由與緩衝器1b中的視頻數據有關的DTS表示的時間將解碼命令提供給視頻解碼器1e。系統解碼器1d在由與視頻數據有關的PTS表示的時間還將輸出命令提供給視頻解碼器1e。
此外，系統解碼器1d在由與緩衝器1c中的音頻數據有關的DTS表示的同一時間將解碼命令提供給音頻解碼器1f。系統解碼器1d在由與音頻數據有關的PTS表示的同一時間將輸出命令提供給音頻解碼器1f。
當接收到解碼命令時，視頻解碼器1e從緩衝器1b讀取視頻數據，並且然後解碼視頻數據以生成視頻信號。然後，當接收到輸出命令時，視頻解碼器1e將視頻信號供給到顯示單元2。
當接收到解碼命令時，音頻解碼器1f從緩衝器1c讀取音頻數據，並且然後解碼音頻數據以生成音頻信號。然後，當接收到輸出命令時，音頻解碼器1f將音頻信號提供給音頻輸出單元3。
日本專利申請未決公開2002-354419公開了一種對基於MPEG流的視頻圖像和聲音進行重放的記錄和重放設備。
該記錄和重放設備被構造為根據特殊回放的回放速度來重寫DTS和PTS值，以便在選擇諸如快進等特殊回放模式時，能夠提供聲音和圖像同步的流暢視頻圖像。該記錄和重放設備以相同的值重寫某一視頻幀的PTS值和與該視頻幀同步的音頻幀的PTS值。
另一方面，諸如液晶顯示器或等離子顯示器等顯示設備使用固定數目的像素。具有固定數目的像素的顯示設備執行稱作解析度轉換的視頻信號處理，以便能夠根據輸入的視頻信號來顯示圖像，即使輸入信號的解析度不同於其自身的解析度。
圖3為框圖，示出了包括執行解析度轉換的顯示單元2的重放設備。在圖3中，與圖2中相同的組件被標以相同的標號。
在圖3中，顯示單元2包括視頻信號處理器2a、驅動電路2b和具有固定數目的像素的顯示設備2c。視頻信號處理器2a包括存儲器2a1和解析度轉換電路2a2。音頻輸出單元3包括音頻輸出電路3a和揚聲器3b。
視頻信號處理器2a在接收到來自MPEG解碼器1的視頻信號時，根據顯示設備2c的解析度來轉換視頻信號的解析度。
具體地說，解析度轉換電路2a2在接收到來自MPEG解碼器1的視頻信號時，將視頻信號在存儲器2a1中存儲一段時間，然後從存儲器2a1讀取視頻信號，並且然後轉換視頻信號的解析度。
驅動電路2b根據其解析度已經通過解析度轉換電路2a2進行了轉換的視頻信號來驅動顯示設備2c，並且根據視頻信號在顯示設備2c上顯示視頻圖像。
音頻輸出電路3a根據從MPEG解碼器1接收的音頻信號來驅動揚聲器3b，並且根據音頻信號來從揚聲器3b提供聲音。
視頻信號處理器2a將視頻信號在存儲器2a1中存儲一段時間，然後執行解析度轉換。因此，顯示設備2c的顯示時刻延遲了解析度轉換所需的時間量。
除了解析度轉換以外，視頻信號處理器2a還執行視頻信號處理。因此，在實際中，顯示設備2c的顯示時刻延遲了這些視頻信號處理所需的時間量。
另一方面，音頻輸出單元3不像在視頻信號處理中那樣具有任何延遲。
因此，例如，即使MPEG解碼器1根據DTS值和PTS值來同步視頻圖像和聲音，但由於顯示單元2執行的視頻信號處理，使得視頻圖像的發生延遲到聲音生成之後。
圖4為時序圖，用於解釋視頻的延遲。圖4(a)示出了視頻信號被寫入存儲器2a1的時序。圖4(b)示出了從存儲器2a1讀出視頻信號的時序。圖4(c)示出了提供音頻信號的時序。
如圖4(a)和圖4(c)所示，在執行視頻信號處理之前，具有相同PTS值的視頻幀(視頻信號)和音頻幀(音頻信號)彼此同步。
不過，如圖4(b)和圖4(c)所示，在執行視頻信號處理之後，對於具有相同PTS值的視頻幀和音頻幀，視頻幀是在音頻幀之後提供的(參見圖4(c)中的延遲A)。
在日本專利申請未決公開2002-354419中講述的記錄和重放設備以相同的值對某一視頻幀的PTS值和與該視頻幀同步的音頻幀的PTS值進行重寫。因此，如果使用該記錄和重放設備作為MPEG解碼器1，則會發生由於視頻信號處理而導致的視頻圖像延遲。
由於這個原因，在視頻圖像和聲音之間具有延遲(timing lag)，或者如果視頻圖像和聲音必需同步，則需要為音頻信號提供諸如延遲電路這樣的額外硬體等。
發明內容
本發明的目的是提供一種視頻和音頻重放設備以及視頻和音頻重放方法，其能夠在不使用用於音頻信號的任何延遲電路的情況下，在視頻圖像和音頻聲音之間進行同步，即使在執行諸如解析度轉換等視頻信號處理時。
為了實現上述目的，根據本發明的視頻和音頻重放設備對基於視頻和音頻流的視頻圖像和音頻聲音進行重放，其中視頻和音頻流包括具有表示輸出視頻圖像的時刻的視頻輸出信息的視頻數據，以及具有表示輸出音頻聲音的時刻的音頻輸出信息的音頻數據。視頻和音頻重放設備包括修正單元、解碼器、顯示單元和音頻輸出單元。
修正單元在接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，延遲輸出音頻聲音的時刻。
解碼器解碼音頻數據以生成音頻信號，並且在由通過修正單元修正的音頻輸出信息表示的輸出時刻提供音頻信號，並且還解碼視頻數據以生成視頻信號，並且在由視頻輸出信息表示的輸出時刻提供視頻信號。
顯示單元顯示與從解碼器提供的視頻信號相對應的視頻圖像。音頻輸出單元提供與從解碼器提供的音頻信號相對應的音頻聲音。
根據上述發明，音頻輸出信息被修正，以便在保持輸出視頻圖像的時刻不變的情況下，延遲輸出音頻聲音的時刻。
因此，音頻輸出信息的修正可以將音頻聲音延遲如下時間量，即因視頻信號處理而使視頻圖像延遲的時間量。結果，可以在不使用用於音頻信號的任何延遲電路的情況下，來同步視頻圖像和音頻聲音。
優選情況下，檢測處理視頻信號所需的時間，並且修正音頻輸出信息，從而將輸出音頻數據的時刻延遲檢測到的處理時間。
例如，當處理諸如NTSC(國家電視標準委員會)信號和PAL(逐行倒相)信號等不同制式的視頻信號時，NTSC信號的處理時間可能與PAL信號的處理時間不同。
根據上述發明，音頻輸出信息根據檢測到的處理時間進行自動修正。因此，可以根據視頻信號制式，通過自動修正音頻輸出信息來同步音頻聲音和視頻圖像。
優選情況下，處理是指視頻信號的解析度的轉換。
根據上述發明，如果發生因解析度轉換而引起的視頻圖像延遲，則可以將輸出音頻聲音的時刻延遲視頻圖像的延遲量。
優選情況下，視頻和音頻流是MPEG流，視頻數據包括在MPEG視頻流中，音頻數據包括在MPEG音頻流中，並且輸出信息包括PTS。
根據上述發明，當基於MPEG流來重放視頻圖像和音頻聲音時，PTS被修正。因此，可以將輸出音頻聲音的時刻延遲如下時間量，即視頻圖像因視頻信號處理而延遲的時間量。因此，可以在不使用用於音頻信號的任何延遲電路的情況下，來對視頻圖像和音頻聲音進行同步。
優選情況下，除了修正PTS以外，還對表示解碼時刻的DTS進行修正。
根據上述發明，當基於MPEG流對視頻圖像和音頻聲音進行重放時，PTS和DTS被修正。因此，可以將輸出音頻聲音的時刻延遲如下時間量，即視頻圖像因視頻信號處理而延遲的時間量。因此，可以在不使用用於音頻信號的任何延遲電路的情況下，來同步視頻圖像和音頻聲音。
此外，根據本發明的視頻和音頻重放設備對基於視頻和音頻流的視頻圖像和音頻聲音進行重放，其中視頻和音頻流包括具有表示輸出視頻圖像的時刻的視頻輸出信息的視頻數據，以及具有表示輸出音頻聲音的時刻的音頻輸出信息的音頻數據，並且視頻和音頻重放設備包括修正單元、解碼器、顯示單元和音頻輸出單元。
修正單元在接收到視頻和音頻流時，對音頻輸出信息和視頻輸出信息進行修正，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量。
解碼器解碼音頻數據以生成音頻信號，並且在由通過修正單元修正的音頻輸出信息表示的輸出時刻提供音頻信號，並且還解碼視頻數據以生成視頻信號，並且在由通過修正單元修正的視頻輸出信息表示的輸出時刻提供視頻信號。
顯示單元顯示與從解碼器提供的視頻信號相對應的視頻圖像。
音頻輸出單元提供與從解碼器提供的音頻信號相對應的音頻聲音。
根據上述發明，音頻輸出信息和視頻輸出信息被修正，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量。
因此，可以將輸出與視頻圖像有關的音頻聲音的時刻延遲如下時間量，即視頻圖像因視頻信號處理而延遲的時間量。因此，可以在不使用用於音頻信號的任何延遲電路的情況下，來對視頻圖像和音頻聲音進行同步。
由於音頻輸出信息和視頻輸出信息被修正，因此可以調節音頻聲音的輸出時刻和視頻圖像的輸出時刻。
為了實現前述目的，提供一種改變視頻和音頻流的輸出時刻的設備，視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述設備包括修正單元，在接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，延遲音頻輸出時刻。
其中，在視頻和音頻流中的音頻輸出時刻被修正之後，對視頻和音頻流中包含的視頻信號進行處理，並且，所述修正單元對音頻輸出信息進行修正，以使音頻輸出時刻延遲由處理視頻信號所需的時間量。
其中，所述對視頻信號進行處理包括執行視頻信號的解析度的轉換。
其中，視頻和音頻流是MPEG流；視頻數據包括在MPEG視頻流中；音頻數據包括在MPEG音頻流中；並且音頻輸出信息和視頻輸出信息包括PTS。
其中，所述修正單元在接收到MPEG流時，還對音頻數據中的表示解碼時刻的DTS進行修正。
為了實現上述目的，提供一種改變視頻和音頻流的輸出時刻的方法，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述方法包括a)接收視頻和音頻流；以及b)當接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，延遲音頻輸出時刻。
其中，上述方法還包括在視頻和音頻流中的音頻輸出時刻被修正之後，對視頻和音頻流中包含的視頻信號進行處理，其中所述步驟b)包括對音頻輸出信息進行修正，以使音頻輸出時刻延遲對視頻信號進行處理所需的時間量。
其中，所述對視頻信號進行處理包括執行視頻信號的解析度的轉換。
其中，視頻和音頻流是MPEG流；視頻數據包括在MPEG視頻流中；音頻數據包括在MPEG音頻流中；並且音頻輸出信息和視頻輸出信息包括PTS。
其中，所述步驟b)還包括當接收到MPEG流時，對表示音頻數據的解碼時刻的DTS進行修正。
下面參考示出了本發明的實例的附圖來進行講述，將使本發明的上述和其他目的、特徵和優點更加清楚。
圖1為示出了PES包的解釋性視圖。
圖2為示出了重放單元的框圖。
圖3為示出了重放設備的框圖。
圖4為解釋視頻延遲的時序圖。
圖5為框圖，示出了根據本發明的一個實施例的視頻和音頻重放設備。
圖6為框圖，示出了時間信息轉換器4的一個實例。
圖7為框圖，示出了根據本發明的另一個實施例的視頻和音頻重放設備。
圖8為框圖，示出了時間信息轉換器40的一個實例。
具體實施例方式
圖5為框圖，示出了根據本發明的一個實施例的視頻和音頻重放設備。在圖5中，與圖3中所示相同的組件被標以相同的標號。
在該視頻和音頻重放設備中，為圖3所示的重放設備添加了時間信息轉換器4。
在圖5中，視頻和音頻重放設備包括MPEG解碼器1、顯示單元2、音頻輸出單元3和時間信息轉換器4。
時間信息轉換器4是修正單元的一個實例。時間信息轉換器4接收MPEG流(視頻和音頻流)。
MPEG流包括包含視頻數據和表示預定值的PTS(視頻輸出信息)的PES包，以及包含音頻數據和表示預定值的PTS(音頻輸出信息)的PES包。
因此，MPEG流包含有具有表示相同輸出時刻的PTS的多對視頻和音頻數據。
時間信息轉換器4在接收到MPEG流時，改變流中的音頻數據的PTS，以使輸出與流中的音頻數據相對應的音頻聲音的時刻被延遲。
例如，時間信息轉換器4改變MPEG流中的音頻數據的PTS，以使輸出音頻聲音的時刻延遲如下時間量，即由視頻信號處理器2a執行視頻信號處理所花費的處理時間量。具體地說，時間信息轉換器4將該處理時間與音頻數據的PTS值相加。
時間信息轉換器4保持流中的視頻數據的PTS不變。
圖6為框圖，示出了時間信息轉換器4的一個實例。時間信息轉換器4不應該局限於圖6所示的結構，而是可以根據需要進行改變。
在圖6中，時間信息轉換器4包括輸入單元4a、存儲器4b和加法器4c。
輸入單元4a接收到要與音頻數據的PTS值相加的值。例如，輸入單元4a從用戶接收該值。
在本實施例中，輸入單元4a接收表示由視頻信號處理器2a執行視頻信號處理所花費的處理時間量的處理時間信息。由輸入單元4a接收的值可以根據需要而改變。
存儲器4b存儲通過輸入單元4a接收到的值。
加法器4c將存儲器4b中的值與音頻數據的PTS值相加。從而，延遲了輸出音頻聲音的時刻。
在本實施例中，加法器4c還將存儲器4b中的值與音頻數據的DTS值相加。因此，解碼音頻數據的時刻也被延遲。
時間信息轉換器4為MPEG解碼器1提供MPEG流，該MPEG流具有音頻數據中的修正的PTS和DTS。
MPEG解碼器1在接收到MPEG流時，在由視頻數據中的DTS指示的時刻解碼流中的視頻數據，以生成視頻信號。
然後，MPEG解碼器1在由視頻數據中的PTS表示的時刻為顯示單元2提供視頻信號。
當MPEG解碼器1接收到MPEG流時，MPEG解碼器1在由通過時間信息轉換器4修正的音頻數據中的DTS指示的時刻，對流中的音頻數據進行解碼，以生成音頻信號。
然後，MPEG解碼器1在由通過時間信息轉換器4修正的音頻數據中的PTS指示的時刻，為音頻輸出單元3提供音頻信號。
由於時間信息轉換器4對音頻數據的PTS值進行修正以延遲輸出音頻信號的時刻，因此從MPEG解碼器1供給的音頻信號是在提供了與音頻信號同步的視頻信號之後提供的。
解析度轉換電路2a2將在比音頻信號的時刻更早的時刻提供的視頻信號存儲到存儲器2a1中。然後，解析度轉換電路2a2根據顯示設備2c的解析度來對存儲在存儲器2a1中的視頻信號的解析度進行轉換。
解析度轉換電路2a2為驅動電路2b提供具有轉換的解析度的視頻信號。
該時刻，具體地說，即解析度轉換電路2a2提供視頻信號的時刻，對應於由音頻數據的PTS值表示的輸出時刻。因此，MPEG解碼器1在該時刻提供音頻信號。
因此，驅動電路2b接收視頻信號的時刻與音頻輸出電路3a接收音頻信號的時刻同步。
驅動電路2b根據具有由解析度轉換電路2a2轉換的解析度的視頻信號來驅動顯示設備2c，並且在顯示設備2c上顯示對應於視頻信號的視頻圖像。
音頻輸出電路3a根據從MPEG解碼器1接收到的音頻信號來驅動揚聲器3b，並且從揚聲器3b提供對應於該音頻信號的音頻聲音。
結果，視頻圖像和音頻聲音彼此同步。
接下來，將講述操作。
例如，用戶將表示由視頻信號處理器2a進行視頻信號處理所花費的處理時間量的處理時間信息輸入到輸入單元4a。
輸入單元4a在接收到處理時間信息時，將處理時間信息存儲到存儲器4b中。
加法器4c在接收到MPEG流時，將由處理時間信息表示的處理時間與MPEG流中的音頻數據的PTS和DTS相加。
加法器4c為MPEG解碼器1(具體地說，是分離電路1a)提供在音頻數據中具有修正的PTS和DTS的MPEG流。
分離電路1a將視頻數據、音頻數據、PTS和DTS從自加法器4c發送的MPEG流中分離出來。
分離電路1a將視頻數據存儲到緩衝器1b中。分離電路1a將音頻數據存儲到緩衝器1c中。此外，分離電路1a為系統解碼器1d提供PTS和DTS。
系統解碼器1d在由與存儲在緩衝器1b中的視頻數據有關的DTS表示的時刻，為視頻解碼器1e提供解碼命令。系統解碼器1d在由與視頻數據有關的PTS表示的時刻，為視頻解碼器1e提供輸出命令。
此外，系統解碼器1d在由與存儲在緩衝器1c中的音頻數據有關的DTS表示的時刻，為音頻解碼器1f提供解碼命令。系統解碼器1d在由與音頻數據有關的PTS表示的時刻，為音頻解碼器1f提供輸出命令。
視頻解碼器1e在接收到來自系統解碼器1d的解碼命令時，從緩衝器1b讀取視頻數據，並且然後解碼視頻數據以生成視頻信號。此後，當視頻解碼器1e接收到來自系統解碼器1d的輸出命令時，視頻解碼器1e為顯示單元2提供視頻信號。
另一方面，音頻解碼器1f在接收到來自系統解碼器1d的解碼命令時，從緩衝器1c讀取音頻數據，並且然後解碼音頻數據以生成音頻信號。此後，當音頻解碼器1f接收到來自系統解碼器1d的輸出命令時，音頻解碼器為音頻輸出單元3提供音頻信號。
由於時間信息轉換器4為了延遲輸出音頻信號的時刻而改變了音頻數據中的PTS值，因此由MPEG解碼器1提供的音頻信號是在提供了與音頻信號同步的視頻信號之後提供的。
顯示單元2中的解析度轉換電路2a2將在比音頻信號的時刻更早的時刻提供的視頻信號存儲在存儲器2a1中，然後根據顯示設備2c的解析度來轉換視頻信號的解析度。
解析度轉換電路2a2為驅動電路2b提供具有轉換的解析度的視頻信號。
在該時刻，具體地說，在解析度轉換電路2a2提供視頻信號的時刻，MPEG解碼器1提供音頻信號。
因此，驅動電路2b接收到視頻信號的時刻與音頻輸出電路3a接收音頻信號的時刻同步。
驅動電路2b根據具有由解析度轉換電路2a2轉換的解析度的視頻信號來驅動顯示設備2c，並且在顯示設備2c上顯示對應於視頻信號的視頻圖像。
音頻輸出電路3a根據從MPEG解碼器1接收到的音頻信號來驅動揚聲器3b，並且由揚聲器3b提供對應於音頻信號的音頻聲音。
結果，視頻圖像和音頻聲音彼此同步。
根據本實施例，時間信息轉換器4修正音頻數據中的PTS(音頻輸出信息)，以便延遲輸出音頻聲音的時刻。時間信息轉換器4保持視頻數據中的PTS不變。
因此，音頻數據中的PTS的修正可以將輸出音頻聲音的時刻延遲如下時間量，即視頻圖像由於視頻信號處理而延遲的時間量。結果，可以在不使用用於音頻信號的任何延遲電路的情況下，來同步視頻圖像和音頻聲音。
由於音頻數據中的PTS為數字值，因此可以容易地設置音頻聲音的時間延遲。
此外，根據本實施例，使用MPEG流來作為視頻和音頻流，並且在使用PTS作為音頻輸出信息和視頻輸出信息時，視頻數據包含在MPEG視頻流中，音頻數據包含在MPEG音頻流中。
在這種情況下，當基於MPEG流對視頻圖像和音頻聲音進行重放時，對PTS進行修正。因此，可以將輸出音頻聲音的時刻延遲如下時間量，即視頻圖像由於視頻信號處理而延遲的時間量。
因此，當基於MPEG流對視頻圖像和音頻聲音進行重放時，可以在不使用用於音頻信號的任何延遲電路的情況下，來同步視頻圖像和音頻聲音。
此外，在本實施例中，時間信息轉換器4除了修正音頻數據中的PTS之外，還修正音頻數據中的DTS。
在這種情況下，當基於MPEG流對視頻圖像和音頻聲音進行重放時，對PTS和DTS二者都進行修正。因此，可以將輸出音頻聲音的時刻延遲如下時間量，即視頻圖像由於視頻信號處理而延遲的時間量。此外，還可以根據音頻信號的輸出時刻來調節音頻數據的解碼時刻。
因此，當基於MPEG流對視頻圖像和音頻聲音進行重放時，可以在不使用用於音頻信號的任何延遲電路的情況下，來同步視頻圖像和音頻聲音。
接下來，講述根據本發明的另一實施例。
圖7為框圖，示出了根據本發明的另一個實施例的視頻和音頻重放設備。在圖7中，如圖5所示的組件被標以相同的標號。
在圖7所示的視頻和音頻重放設備中，向如圖5所示的視頻和音頻重放設備添加了檢測器2a3。
檢測器2a3檢測由視頻信號處理器2a執行視頻信號處理所需要的時間量。在本實施例中，檢測器2a3檢測由解析度轉換電路2a2執行解析度轉換所需要的時間量。檢測器2a3不僅可以檢測解析度轉換所需要的時間量，而且可以檢測由視頻信號處理器2a執行所有視頻信號處理所需要的時間量。
當視頻信號處理器2a處理諸如NTSC信號和PAL信號等不同制式的視頻信號時，例如，由視頻信號處理器2a執行的處理時間可以根據要處理的信號的制式的不同而不同。檢測器2a3檢測該處理時間。
檢測器2a3為時間信息轉換器4(具體地說，是輸入單元4a)提供由檢測到的時間表示的延遲信息。
輸入單元4a在接收到延遲信息時，將延遲信息存儲到存儲器4b中。
加法器4c在接收到MPEG流時，將由存儲器4b中的延遲信息表示的時間與流中的音頻數據中的PTS和DTS相加。加法器4c為MPEG解碼器1(具體地說，是分離電路1a)提供具有修正的PTS和DTS的MPEG流。
根據本實施例，時間信息轉換器4對音頻數據中的PTS進行修正，以使輸出音頻聲音的時刻延遲如下時間量，即由視頻信號處理器2a檢測到的處理時間量。
在這種情況下，可以根據隨視頻信號的制式而變化的處理時間量來自動修正音頻輸出信息。因此，可以同步音頻聲音和視頻圖像，即使視頻信號的制式發生了改變。
此外，要存儲到存儲器4b中的值可以被自動修正為合適的值。
此外，在本實施例中，視頻信號處理器2a檢測進行視頻信號的解析度轉換所需要的時間量。
在這種情況下，如果由於進行解析度轉換而使視頻圖像延遲，則可以將輸出音頻聲音的時刻延遲與視頻圖像的延遲相同的時間量。
可以對時間信息轉換器4進行如下修正。
時間信息轉換器4在接收到MPEG流時，修正音頻數據中的PTS和視頻數據中的PTS，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量。
時間信息轉換器4為MPEG解碼器1提供MPEG流，該MPEG流具有音頻數據中的修正的PTS和視頻數據中的修正的PTS。
圖8為框圖，示出了時間信息轉換器40，作為時間信息轉換器4的修正實例。在圖8中，與圖6中所述相同的組件被標以相同的標號。時間信息轉換器4的修正實例可以根據需要進行修改，並不限於如圖8所示的構造。
在圖8中，時間信息轉換器40包括輸入單元4a、存儲器4b、存儲器40a和加法器40b。
存儲器40a存儲表示視頻圖像的時間延遲的信息。
在接收到MPEG流時，加法器40b將由存儲器40a中的信息表示的時間延遲與流中的視頻數據的PTS和DTS相加。加法器40b將該時間延遲和由存儲器4b中的延遲信息表示的處理時間與流中的音頻數據中的PTS和DTS相加。
加法器40b為MPEG解碼器1(具體地說，是分離電路1a)提供具有修正的PTS和DTS的MPEG流。
在這種情況下，MPEG解碼器1的操作如下。
MPEG解碼器1在接收到來自時間信息轉換器40的MPEG流時，在由通過加法器40b修正的視頻數據中的DTS表示的時刻，對流中的視頻數據進行解碼，以生成視頻信號。
然後，MPEG解碼器1在由通過加法器40b修正的視頻數據中的PTS表示的時刻，為顯示單元2提供視頻信號，並且將與該視頻信號相對應的視頻圖像顯示在顯示單元2上。
此外，MPEG解碼器1在接收到MPEG流時，在由通過加法器40b修正的音頻數據中的DTS表示的時刻，對流中的音頻數據進行解碼，以生成音頻信號。
然後，MPEG解碼器1在由通過加法器40b修正的音頻數據中的PTS表示的時刻，為音頻輸出單元3提供音頻信號，並且從音頻輸出單元3供給與該音頻信號相對應的音頻聲音。
根據該修正例子，時間信息轉換器40對音頻數據中的PTS和視頻數據中的PTS進行修正，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量。
在這種情況下，對視頻數據中的PTS和音頻數據中的PTS二者都進行修正。因此，可以將輸出與視頻圖像有關的音頻聲音的時刻延遲如下時間量，即視頻圖像由於視頻信號處理而延遲的時間量。因此，可以在不使用用於音頻信號的任何延遲電路的情況下，來同步視頻圖像和音頻聲音。
由於音頻數據中的PTS和視頻數據中的PTS被修正，因此可以調節音頻和視頻輸出時刻。
儘管使用特定術語講述了本發明的優選實施例，但是這種講述只是用於解釋目的，並且可以理解，在不偏離權利要求的精神和範圍的情況下，可以對本發明的實施例進行更改和變化。
權利要求
1.一種視頻和音頻重放設備，用於對基於視頻和音頻流的視頻圖像和聲音進行重放，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述設備包括修正單元，在接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，音頻輸出時刻被延遲；解碼器，解碼音頻數據以生成音頻信號，並在由通過所述修正單元修正的音頻輸出信息表示的音頻輸出時刻提供音頻信號，並且解碼視頻數據以生成視頻信號，並在由視頻輸出信息表示的視頻輸出時刻提供視頻信號；顯示單元，顯示與從所述解碼器提供的視頻信號相對應的視頻圖像；以及音頻輸出單元，提供與從所述解碼器提供的音頻信號相對應的聲音。
2.如權利要求1所述的視頻和音頻重放設備，其中所述顯示單元包括視頻信號處理器，用於處理視頻信號並且還用於檢測視頻信號的處理所需的時間量；並且所述修正單元對音頻輸出信息進行修正，以使音頻輸出時刻延遲由所述視頻信號處理器檢測到的時間量。
3.如權利要求2所述的視頻和音頻重放設備，其中所述視頻信號處理器執行視頻信號的解析度的轉換。
4.如權利要求1所述的視頻和音頻重放設備，其中視頻和音頻流是MPEG流；視頻數據包括在MPEG視頻流中；音頻數據包括在MPEG音頻流中；並且音頻輸出信息和視頻輸出信息包括PTS。
5.如權利要求4所述的視頻和音頻重放設備，其中所述修正單元在接收到MPEG流時，還對音頻數據中的表示解碼時刻的DTS進行修正。
6.一種視頻和音頻重放設備，用於對基於視頻和音頻流的視頻圖像和音頻聲音進行重放，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述設備包括修正單元，在接收到視頻和音頻流時，對音頻輸出信息和視頻輸出信息進行修正，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量；解碼器，解碼音頻數據以生成音頻信號，並在由通過所述修正單元修正的音頻輸出信息表示的音頻輸出時刻提供音頻信號，並且解碼視頻數據以生成視頻信號，並在由通過所述修正單元修正的視頻輸出信息表示的視頻輸出時刻提供視頻信號；顯示單元，顯示與從所述解碼器提供的視頻信號相對應的視頻圖像；以及音頻輸出單元，供給與從所述解碼器提供的音頻信號相對應的音頻聲音。
7.一種視頻和音頻重放設備，用於對基於視頻和音頻流的視頻圖像和聲音進行重放，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述設備包括修正裝置，在接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，音頻輸出時刻被延遲；解碼裝置，解碼音頻數據以生成音頻信號，並在由通過所述修正裝置修正的音頻輸出信息表示的音頻輸出時刻提供音頻信號，並且解碼視頻數據以生成視頻信號，並在由視頻輸出信息表示的視頻輸出時刻提供視頻信號；顯示裝置，顯示與從所述解碼裝置提供的視頻信號相對應的視頻圖像；以及音頻輸出裝置，供給與從所述解碼裝置提供的音頻信號相對應的聲音。
8.一種視頻和音頻重放設備，用於對基於視頻和音頻流的視頻圖像和音頻聲音進行重放，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述設備包括修正裝置，在接收到視頻和音頻流時，對音頻輸出信息和視頻輸出信息進行修正，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量；解碼裝置，解碼音頻數據以生成音頻信號，並在由通過所述修正裝置修正的音頻輸出信息表示的音頻輸出時刻提供音頻信號，並且解碼視頻數據以生成視頻信號，並在由通過所述修正裝置修正的視頻輸出信息表示的視頻輸出時刻提供視頻信號；顯示裝置，顯示與從所述解碼裝置提供的視頻信號相對應的視頻圖像；以及音頻輸出裝置，供給與從所述解碼裝置提供的音頻信號相對應的聲音。
9.一種由視頻和音頻重放設備實施的視頻和音頻重放方法，用於對基於視頻和音頻流的視頻圖像和聲音進行重放，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述方法包括a)接收視頻和音頻流；b)當接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，延遲音頻輸出時刻；c)解碼視頻數據以生成視頻信號，並且在由視頻輸出信息表示的視頻輸出時刻提供視頻信號；d)解碼音頻數據以生成音頻信號，並且在由修正的音頻輸出信息表示的音頻輸出時刻提供音頻信號；e)顯示與提供的視頻信號相對應的視頻圖像；以及f)供給與提供的音頻信號相對應的聲音。
10.如權利要求9所述的視頻和音頻重放方法，其中步驟e)包括g)處理提供的視頻信號；h)檢測對提供的視頻信號進行處理所需的時間量；i)顯示與處理的視頻信號相對應的視頻圖像，並且步驟b)包括j)對音頻輸出信息進行修正，以使音頻輸出時刻延遲檢測到的時間量。
11.如權利要求10所述的視頻和音頻重放方法，其中步驟g)包括k)執行對視頻信號的解析度進行轉換的處理。
12.如權利要求9所述的視頻和音頻重放方法，其中視頻和音頻流是MPEG流；視頻數據包括在MPEG視頻流中；音頻數據包括在MPEG音頻流中；並且音頻輸出信息和視頻輸出信息包括PTS。
13.如權利要求12所述的視頻和音頻重放方法，其中步驟b)包括i)當接收到MPEG流時，還對表示音頻數據的解碼時刻的DTS進行修正。
14.一種由視頻和音頻重放設備實施的視頻和音頻重放方法，用於對基於視頻和音頻流的視頻圖像和音頻聲音進行重放，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述方法包括接收視頻和音頻流；在接收到視頻和音頻流時，對音頻輸出信息和視頻輸出信息進行修正，以使音頻聲音延遲的時間量長於視頻圖像延遲的時間量；解碼視頻數據以生成視頻信號，並且在由修正的視頻輸出信息表示的視頻輸出時刻提供視頻信號；解碼音頻數據以生成音頻信號，並且在由修正的音頻輸出信息表示的音頻輸出時刻提供音頻信號；顯示與提供的視頻信號相對應的視頻圖像；以及供給與提供的音頻信號相對應的聲音。
15.一種改變視頻和音頻流的輸出時刻的設備，視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述設備包括修正單元，在接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，延遲音頻輸出時刻。
16.如權利要求15所述的設備，其中，在視頻和音頻流中的音頻輸出時刻被修正之後，對視頻和音頻流中包含的視頻信號進行處理，並且，所述修正單元對音頻輸出信息進行修正，以使音頻輸出時刻延遲由處理視頻信號所需的時間量。
17.如權利要求16所述的設備，其中所述對視頻信號進行處理包括執行視頻信號的解析度的轉換。
18.如權利要求15所述的設備，其中視頻和音頻流是MPEG流；視頻數據包括在MPEG視頻流中；音頻數據包括在MPEG音頻流中；並且音頻輸出信息和視頻輸出信息包括PTS。
19.如權利要求18所述的設備，其中所述修正單元在接收到MPEG流時，還對音頻數據中的表示解碼時刻的DTS進行修正。
20.一種改變視頻和音頻流的輸出時刻的方法，其中視頻和音頻流包括具有表示視頻輸出時刻的視頻輸出信息的視頻數據，以及具有表示音頻輸出時刻的音頻輸出信息的音頻數據，所述方法包括a)接收視頻和音頻流；以及b)當接收到視頻和音頻流時，對音頻輸出信息進行修正，以便在保持視頻輸出信息不變的情況下，延遲音頻輸出時刻。
21.如權利要求20所述的方法，還包括在視頻和音頻流中的音頻輸出時刻被修正之後，對視頻和音頻流中包含的視頻信號進行處理，其中，所述步驟b)包括對音頻輸出信息進行修正，以使音頻輸出時刻延遲對視頻信號進行處理所需的時間量。
22.如權利要求21所述的方法，其中，所述對視頻信號進行處理包括執行視頻信號的解析度的轉換。
23.如權利要求20所述的方法，其中視頻和音頻流是MPEG流；視頻數據包括在MPEG視頻流中；音頻數據包括在MPEG音頻流中；並且音頻輸出信息和視頻輸出信息包括PTS。
24.如權利要求23所述的方法，其中所述步驟b)還包括當接收到MPEG流時，對表示音頻數據的解碼時刻的DTS進行修正。
全文摘要
一種視頻和音頻重放設備及方法、輸出時刻改變設備及方法。當接收到MPEG流時，時間信息轉換器對流中的音頻數據的PTS進行修正，以便在保持流中的視頻數據的PTS不變的情況下，使輸出音頻聲音的時刻延遲如下時間量，即由視頻信號處理器執行視頻信號處理所需要的時間量。因此，即使在執行諸如解析度轉換等視頻信號處理時，也能夠在不使用用於音頻信號的任何延遲電路的情況下，在視頻圖像和音頻聲音之間進行同步。
文檔編號H04N7/24GK1901656SQ20061009322
公開日2007年1月24日 申請日期2006年6月23日 優先權日2005年7月19日
發明者小柳和幸, 三原知浩 申請人:日本電氣視象技術株式會社