音頻信號和視頻信號的同步誤差校正方法及裝置的製作方法
2023-12-08 17:59:16 4
專利名稱：音頻信號和視頻信號的同步誤差校正方法及裝置的製作方法
技術領域：
本發明涉及視頻同步誤差校正裝置，更具體地說，涉及用於校正音頻信號和視頻信號之間的同步誤差的方法和裝置。
背景技術：
在通過諸如視窗媒體編碼器(Window Media Encoder)之類的編碼軟體對連續的影像(直播影像)進行實時編碼和播送時，存在如下多種情況。第一,存在從捕獲設備(capture device)直接進行編碼的方式,第二,存在從捕獲設備間接進行編碼的方式。在第一種方式下，因為來自設備的校正過音頻/視頻(A/V)的誤差的數值已包 含在流數據中，所以沒有問題，但在第二種方式下，在根據每秒顯示幀數(FPS =Frame PerSecond)對音頻/視頻(A/V)的顯示時間標誌(PTS presentation Time Stamp)進行數值計算中，存在處理過程中的誤差。例如，30FPS為每秒在畫面上輸出30個幀，但以數值進行表示時，就成為(100000000. O納秒/30. 0)=3333333. 333333…，將其稱為幀平均時間(AvgTimePerFrame)。巾貞平均時間在確定顯不時間標誌時起重要作用，是確定應在畫面上顯不多少影像的數值。在以計算出的幀平均時間計算每秒30幀時，經過(3333333*30) =99999990處理，
存在10納秒的誤差。此外，當為影像專用的捕獲設備時，根據30FPS捕獲30幀的畫面，但當為諸如網絡攝像頭之類的個人捕獲設備時，即使設定為每秒捕獲30幀，也存在如下缺點並不是每秒捕獲30幀、而捕獲不到30幀會使上述誤差進一步變大。亦即，存在設定的每秒顯示幀數和捕獲的幀的數量不一致的情況。在這樣的過程中，這樣的數值誤差在長時間編碼而流化(streaming)的過程中，以影像和聲音的誤差表現出來，可能會在服務中產生困難。當在生成視頻的捕獲設備和將其編碼進行傳輸的編碼裝置間以不同的每秒顯示幀數處理視頻內容(包括視頻信號和音頻信號，下同)時，這樣的誤差問題就逐漸成為一個特別嚴重的問題。不僅如此，在將其他視頻內容插入到一個視頻內容時，各個視頻的視頻信號和音頻信號之間的同步誤差相互不同，當在一個視頻中插入其他視頻時，會產生有畫面而無聲音或有聲音而無畫面的情況。在這樣的情況下，在地波播放過程中插入廣告視頻時就會有問題，但在體育轉播(sports relay)過程中插入廣告視頻時,在僅顯示影像而聽不到聲音的情況和聽得到聲音但不顯示影像而以黑屏等顯示的情況下，就會讓觀眾產生抗拒感
發明內容
本發明要解決的問題是提供同步誤差校正方法和裝置，當在中途插入視頻內容或結合多個視頻內容時，同步誤差校正方法和裝置校正互不相同的視頻間的音頻信號和視頻信號之間的同步誤差，就能再生出自然的視頻。此外，本發明要解決的其它課題是提供能夠一邊校正視頻信號和音頻信號之間的同步誤差一邊重新設定視頻的每秒顯示幀數的同步誤差校正方法和裝置。基於用於解決上述問題的本發明的一個實施例的同步誤差校正裝置包括源選擇單元，其從多個視頻源接收視頻內容的輸入並進行輸出，該視頻內容包含視頻信號和音頻信號；誤差校正單元，其對多個視頻內容的每個提取出事先設定於視頻信號和音頻信號之間的初始同步誤差；以及顯示時間標誌調節單元，其重新設定所述多個視頻內容的視頻信號及音頻信號的顯示時間標誌，以使所述多個視頻內容的視頻信號及音頻信號的顯示時間標誌與多個視頻結合後生成的結合視頻內容的顯示時間標誌對應，並對所述多個視頻內容進行結合，重新設定顯示時間標誌以保持結合後的各視頻內容區域的所述視頻信號和音頻 信號之間的所述初始同步誤差。此外，在第一視頻內容中插入第二視頻內容時，所述顯示時間標誌調節單元調節顯示時間標誌以使所述第二視頻內容結合到所述第一視頻內容中且所述第一視頻內容的其餘部分結合到所述第二視頻內容的末端，在結合所述第一視頻內容的其餘部分時，設定視頻信號和音頻信號的顯示時間標誌，以保持所述第一視頻內容的視頻信號和音頻信號之間的初始同步誤差。此外，基於上述的本發明的一個實施例的同步誤差校正裝置還包括每秒顯示幀數調節單元，其根據從編碼器輸入的設定信息中包含的每秒顯示幀數設定信息來調節結合過的視頻內容的視頻信號的每秒顯示幀數。此外，所述每秒顯示幀數調節單元對按照所述每秒顯示幀數設定信息調節過每秒顯示幀數的各影像幀的時間上的位置進行設定，在構成調節每秒顯示幀數前的所述結合視頻內容的視頻信號的各影像幀中，利用根據所述每秒顯示幀數設定信息設定的各影像幀的時間上的位置的正前面的影像幀來調節結合視頻內容的視頻信號的每秒顯示幀數。此外，基於上述的本發明的一個實施例的同步誤差校正裝置還包括比例調節單元，其根據從編碼器輸入的設定信息中包含的畫面比例設定信息來對調節過所述每秒顯示幀數的結合視頻內容的視頻信號的畫面比例進行調節。此外，基於上述的本發明的一個實施例的同步誤差校正裝置還包括重新採樣單元，其根據從編碼器輸入的設定信息中包含的重新採樣設定信息來對調節過的顯示時間標誌的音頻信號進行重新採樣。另一方面，基於用於解決上述問題的一個實施例的同步誤差校正方法，所述同步誤差校正方法在同步誤差校正裝置中進行，該同步誤差校正裝置用於校正從多個視頻源輸入的多個視頻內容的視頻信號和音頻信號之間的同步誤差並結合多個視頻內容而進行輸出，其特徵在於，包括以下步驟(a)從視頻源接收第一視頻內容；(b)從視頻源接收結合到所述第一視頻內容的第二視頻內容，提取出所述第二視頻內容的視頻信號和音頻信號之間的初始同步誤差，生成初始同步誤差信息；以及(C)按照所述初始同步誤差信息，將所述第二視頻內容結合到所述第一視頻內容以保持所述第二視頻內容的視頻信號和音頻信號之間的初始同步誤差。
此外，在將所述第二視頻內容插入到所述第一視頻內容中途時，在所述步驟(a)中，所述同步誤差校正裝置提取出所述第一視頻內容的初始同步誤差，在所述步驟(c )中，所述同步誤差校正裝置將所述第二視頻內容結合到所述第一視頻內容中部，以保持所述第二視頻內容的初始同步誤差，在步驟(d)中，在所述第二視頻內容的結合完成後，將所述第一視頻內容結合到所述第二視頻內容的末端，以保持所述第一視頻內容的初始同步誤差。此外，所述同步誤差校正裝置通過重新設定所述第一視頻內容和所述第二視頻內容的顯示時間標誌，以使所述第一視頻內容及所述第二視頻內容的顯示時間標誌與結合所述第一視頻內容和所述第二視頻內容而生成的結合視頻的顯示時間標誌對應。此外，所述同步誤差校正裝置根據從編碼器接收到的每秒顯示幀數設定信息和重新採樣設定信息來對結合視頻內容的視頻信號的每秒顯示幀數進行轉換，對音頻信號進行重新採樣並輸出。
此外，所述同步誤差校正裝置根據所述每秒顯示幀數設定信息來對調節過每秒顯示幀數的結合視頻內容的各影像幀的時間上的位置進行設定，在構成調節每秒顯示幀數前的所述結合視頻內容的視頻信號的各影像幀中，利用根據所述每秒顯示幀數設定信息設定過的各影像幀的時間上的位置的正前面的影像幀來調節結合視頻內容的視頻信號的每秒顯示巾貞數。此外，所述同步誤差校正裝置根據畫面比例設定信息來調節影像幀的比例並進行輸出，該畫面比例設定信息是從所述編碼器接收了轉換過每秒顯示幀數的結合視頻內容的視頻信號的畫面比例設定信息。此外，基於上述本發明的一個實施例的同步誤差校正方法由記錄介質提供，該記錄介質能夠用計算機讀取，並以可執行的程序代碼記錄有權利要求9的同步誤差校正方法。本發明在結合不同的視頻內容時，針對結合的視頻存儲設定的初始同步誤差使得視頻信號和音頻信號相互地最適宜地進行同步，在結合多個視頻內容時以保持已存的初始同步誤差的方式進行結合，由此，就解決了現有技術中統一結合視頻信號和音頻信號而同步誤差發生變化、視頻信號和音頻信號不同步而顯示不自然的視頻的問題。此外，本發明是根據從編碼器輸入的每秒顯示幀數設定信息來對調節過的每秒顯示幀數的結合視頻內容的各影像幀的時間上的位置進行設定，在構成調節每秒顯示幀數前的上述結合視頻內容的視頻信號的各影像幀中，利用根據上述每秒顯示幀數設定信息設定的各影像幀的時間上的位置的正前面的影像幀，能夠簡便地調節結合視頻內容的視頻信號的每秒顯示幀數。
圖I所示為將基於本發明的優選實施例的音頻信號及視頻信號的同步誤差校正裝置與視頻源及編碼器連接的整體結構的圖。圖2所示為基於本發明的優選實施例的同步誤差校正裝置的詳細結構的圖。圖3所示為根據本發明的優選實施例說明顯示時間標誌調節單元考慮視頻信號和音頻信號之間的同步誤差信息來調節顯示時間標誌的過程圖。圖4所示為表示調節視頻影像幀的每秒顯示幀數的一個示例圖。
圖5所示為說明基於本發明的優選實施例的音頻信號和視頻信號的同步誤差校正方法的流程圖。
具體實施例方式以下將參考
本發明的優選實施例。圖I所示為將基於本發明的優選實施例的音頻信號和視頻信號的同步誤差校正裝置200與視頻源100-f 100-n及編碼器300連接起來的整體結構的圖。參照圖I，本發明的音頻信號和視頻信號的同步誤差校正裝置200(以下簡稱為「同步誤差校正裝置」)接收來自多個視頻源100-f 100-n的視頻內容(包括基於初始同步誤差而相互同步過的視頻信號和音頻信號，下同)的輸入。
在圖I中，視頻源100-f 100-n可以是如攝像頭那樣實際生成直接視頻內容的設備，也可以是對事先在計算機中存儲的視頻文件進行過解碼的程序，也可以是接收數字廣播進行解碼而輸出的解碼器等。即，本發明的視頻源100-Γ 00-η能將視頻內容輸出到同步誤差校正裝置200即可，對其硬體結構或軟體結構沒有限制。此外，同步誤差校正裝置200校正結合過的音頻信號和視頻信號之間的同步誤差，重新設定視頻內容的視頻信號的每秒顯示幀數以與編碼器300要求的每秒顯示幀數匹配，重新採樣音頻信號輸出到編碼器300以與視頻信號的每秒顯示幀數對應。特別是，同步誤差校正裝置200將從多個視頻源100-f 100-η輸入的視頻內容結合為一個，輸出到編碼器300。此時，從不同的視頻源100-fl00-n輸入的視頻內容具有不同的視頻信號和音頻信號間的同步誤差，具有不同的每秒顯示幀數，因此，同步誤差校正裝置200 —面將從不同的視頻源100-f 100-n輸入的視頻內容相互結合起來，一面校正音頻信號和視頻信號之間的同步誤差，之後轉換視頻信號的每秒顯示幀數，重新採樣音頻信號以與視頻信號的每秒顯示幀數對應。下面，以在體育轉播(sports relay)那樣的實時視頻中插入中間廣告視頻為例，來說明在一個視頻中插入其它視頻的情況。另一方面，編碼器300向同步誤差校正裝置200發送設定信息，該設定信息包括自身希望的每秒顯示幀數設定信息、重新採樣設定信息和畫面比例設定信息等，所述編碼器300對從同步誤差校正裝置200接收到的視頻內容編碼並傳送到外部網絡或是壓縮存儲。圖2所示為基於本發明的優選實施例的同步誤差校正裝置200的詳細結構的圖。參照圖2，基於本發明的優選實施例的同步誤差校正裝置200包含視頻選擇單元210、顯示時間標誌調節單元220、誤差校正單元230、每秒顯示幀數調節單元240、比例調節單元250以及重新採樣單元260。首先，視頻選擇單元210從視頻源接收視頻的輸入，該視頻源為用戶或管理員從多個視頻源100-fl00-n中選擇出的視頻源，輸出到顯示時間標誌調節單元220和誤差校正單元230。例如，在視頻選擇單元210選擇體育轉播信號的視頻源1(100-1)而輸出視頻內容的過程中，在棒球換局或職業籃球換節時，選擇事先準備好的廣告視頻源(100-2^100-n中的任意一個)輸出廣告數據，當廣告數據結束或體育轉播重新開始時，就再次選擇視頻源I (100-1)輸出體育轉播視頻。從源選擇單元210輸出的視頻內容被輸入到顯示時間標誌調節單元220，誤差校正單元230提取出輸入到顯示時間標誌調節單元220的視頻內容的視頻信號和音頻信號之間的同步誤差信息並輸出到顯示時間標誌調節單元220。此時，誤差校正單元230針對各個視頻內容分別提取出視頻信號和音頻信號之間的初始同步誤差信息，並輸出到顯示時間標誌調節單元220。顯示時間標誌調節單元220用結合多個視頻而生成的視頻的顯示時間標誌來調節在各視頻中事先定義的顯示時間標誌。此時，顯示時間標誌調節單元220既整體考慮從誤差校正單元230輸入的初始同步誤差信息又個別地調節音頻信號的顯示時間標誌和視頻信號的顯示時間標誌來調節結合過的視頻的顯示時間標誌。圖3是根據本發明的優選實施例、說明顯示時間標誌調節單元220考慮視頻信號和音頻信號之間的初始同步誤差信息來調節顯示時間標誌的過程的圖。在圖3所示的例中說明了以視頻信號作為基準來結合視頻內容，但應注意，同樣的方式也適用於以音頻信號作為基準的情況。亦即，在圖3中，圖中標號301和401是視頻信號、圖中標號302和圖中標號402是音頻信號,但應注意，即使圖中標號301和401是音頻信號、圖中標號302和圖中標號402是視頻信號的情況，也能夠以相同的方式結合視頻內容。 參考圖3，說明誤差校正單元230和顯示時間標誌調整單元220的動作。顯示時間標誌(PTS Presentation Time Stamp)表示在各個視頻內容中構成視頻信號的各個影像幀在畫面上顯示多長時間，或表示音頻信號的一個單位數據應在多長的時間進行輸出，該顯示時間標誌以累計值表示以對應於時間的流動。視頻信號的各個影像幀具有開始顯示時間標誌和結束顯示時間標誌值，該視頻影像幀從與開始顯示時間標誌對應的時間到與結束顯示時間標誌對應的時間顯示給用戶。當舉例來概念性地進行說明時，假定構成從視頻源I (100-1)輸入到同步誤差校正裝置200的體育轉播視頻(內容(A))的視頻信號的第一個幀的開始顯示時間標誌是從O開始、以I為單位增加、最後的影像幀的結束顯示時間標誌是1000，構成從其它視頻源(100-2^100-n中的任一個)輸入到同步誤差校正裝置200的廣告視頻(內容(B))的視頻信號的第一個幀的開始顯示時間標誌是從O開始、增加單位為I、最後的影像幀的結束顯示時間標誌是100。而且，假定為如果在從視頻源I (100-1)輸入的體育轉播視頻在作為顯示時間標誌基準的500的時間點(時間點S)上半場結束、廣告視頻輸入到同步誤差校正裝置200，同步誤差校正裝置200就在S定時結合廣告視頻和體育轉播視頻而輸出到編碼器300，當廣告視頻結束時(定時E)，同步誤差校正裝置200就再次接收體育轉播視頻的輸入、結合到廣告視頻後方並輸出到編碼器300。在這種情況下，體育轉播視頻和廣告視頻分別具有按照自身的時間標準設定的顯示時間標誌，與此相對，結合過從同步誤差校正裝置200輸出的體育轉播視頻和廣告視頻的視頻必須以一個時間為基準設定顯示時間標誌。亦即，結合了體育轉播視頻和廣告視頻而輸出到編碼器300的視頻(以下稱作「結合視頻」)應是從基準時間零開始計時。然而，在體育轉播視頻的上半場結束後，結合視頻的顯示時間標誌是從500開始計數,而新插入的廣告視頻的顯示時間標誌是從自己初始具有的顯示時間標誌值即O開始，所以必須改變初始值，將O改變為500。此外，結合廣告視頻後，結合視頻的顯示時間標誌被設定為600，但從中斷到重新開始的體育轉播視頻(內容(A))能夠從500開始(在體育轉播視頻是事先錄製、在廣告視頻的結合定時中斷、其之前不前進的情況下)。在這種情況下，必須將設定為500的體育轉播視頻的顯示時間標誌重新設定為600。此外，在結合廣告視頻期間繼續實時傳送體育轉播視頻，但在僅在未輸入到同步誤差校正裝置200的情況下，在體育轉播視頻的定時E的顯示時間標誌在500以上，體育轉播視頻的顯示時間標誌和結合視頻的顯示時間標誌的時間設定不匹配，所以，需要轉換操作，以使體育轉播視頻的各個影像幀的顯示時間標誌與結合視頻的顯示時間標誌對應起來。因此，顯示時間標誌調節單元220重新定義各個視頻的顯示時間標誌和結合視頻的顯示時間標誌。然而，顯示時間標誌調節單元220必須重新設定顯示時間標誌以保持各個視頻內容的視頻信號和音頻信號之間的初始同步誤差。當再次參考圖3時，最初在內容(A)的體育轉播視頻的視頻信號和音頻信號之間存在有A的誤差。這意味著，如果先顯示視頻信號，在作為顯示時間標誌基準的A的時間經過之後，輸出音頻信號，就輸出音頻信號和視頻信號一致的自然的視頻，如果該誤差在過程中被改變，在畫面中顯示的樣子和實際的聲音不同步，給視聽者帶來不便。首先說明結合視頻信號的過程，在後面介紹考慮同步誤差來結 合音頻信號的過程。在圖3所示的實施例中，顯示時間標誌調節單元220將在結合廣告視頻的定時即定時S、以內容(A)的視頻信號結束的瞬間(即顯示時間標誌值與500相對應的定時)為基準，將廣告視頻的內容(B)的初始顯示時間標誌由O重新設定為500，使內容(A)和內容(B)結合起來。因此，內容(B)的最後的幀的結束顯示時間標誌被重新設定為600。此外，在廣告視頻結束、體育轉播視頻再次開始的定時即E時刻，再次輸入到同步誤差校正裝置200的內容(A)的視頻信號的第一個影像幀的開始顯示時間標誌被重新設定為600，內容(B)的最後的幀的結束顯示時間標誌被重新設定為1100。通過上述方式，視頻信號是簡單地重新設定顯示時間標誌而進行結合，相對於此，針對音頻信號的顯示時間標誌是考慮了與各個視頻內容的視頻信號的誤差而進行重新設定的。參照圖3，內容(A)最初在視頻信號和音頻信號之間存在A的誤差，內容(B)最初在視頻信號和音頻信號之間存在B的誤差。這意味著，對於內容(A)而言，輸出視頻信號，在作為顯示時間標誌時間基準經過了 A的定時輸出音頻信號，就輸出視頻信號和音頻信號一致的自然的視頻。同樣，對於內容(B)而言，輸出視頻信號，在經過了以顯示時間標誌為基準的B的定時輸出音頻信號，就再生自然的視頻。然而，顯示時間標誌調節單元220即使是對音頻信號與視頻信號相同地在S定時，在內容(A)的音頻信號結束的定時結合內容(B)的音頻信號，結果，對內容(B)，不能保持原來必須保持的同步誤差，導致提前了 C的時間，產生如下問題比必須與音頻信號一起輸出的視頻信號更早輸出。為了解決這個問題，誤差校正單元230存儲各個視頻內容的視頻信號和音頻信號之間的初始同步誤差信息(A和B)，將初始同步誤差信息輸出到顯示時間標誌調節單元220。接收了誤差信息的輸入的顯示時間標誌調節單元220在對與視頻信號的顯示時間標誌的重新設定不同的、音頻信號的顯示時間標誌進行重新設定時，重新設定顯示時間標誌以保持與原視頻信號的初始同步誤差。在圖3的實施例中，顯示時間標誌調節單元220重新設定內容(B)的音頻信號的顯示時間標誌，從內容(B)的音頻信號的重新設定過的顯示時間標誌即600重新設定為加上初始同步誤差B的600+B。另一方面，即使在廣告視頻的內容(B)結束的定時，顯示時間標誌調節單元220也不重新設定內容(B)的音頻信號的顯示時間標誌而是考慮視頻信號和音頻信號之間的初始同步誤差來重新設定顯示時間標誌，使內容(B)的音頻信號和重回的內容(A)的音頻信號直接結合。如圖3所示，在內容(A)的重回定時的定時E，在內容(A)的視頻信號和音頻信號之間產生A」的同步誤差。然而，該同步誤差是反映了在生成視頻、壓縮視頻、再進行解碼的複雜的過程中所積累的誤差，因此，顯示時間標誌調節單元220在定時E重新設定音頻信號的顯示時間標誌，使得不反映當前的內容(B)的視頻信號和音頻信號之間的同步誤差A」、而反映內容(A)的初始同步誤差A。因此，在圖3所示的例中，重回的內容(A)的音頻信號的第一幀的顯示時間標誌被重新設定為「600+A」。 另一方面，顯示時間標誌調節單元220在視頻信號和音頻信號的顯示時間標誌重新設定結束時，就實時將顯示時間標誌重新設定結束的視頻信號輸出到每秒顯示幀數調節單元240，將音頻信號輸出到重新採樣單元260。每秒顯示幀數調節單元240執行如下功能將現有的設定為不同的每秒顯示幀數的視頻內容轉換為編碼器300所要求的每秒顯示幀數。例如，在現有的體育轉播視頻的內容(A)和廣告視頻的內容(B)分別設定為30幀/秒(FPS)、編碼器300要求15幀/秒的視頻內容的情況下，每秒顯示幀數調節單元240就調節從顯示時間標誌調節單元220輸入的視頻內容的每秒顯示幀數，輸出到比例調節單元250。但轉換每秒顯示幀數的方式可以是多樣的，每秒顯示幀數調節單元240通過事先設定影像幀的開始顯示時間標誌和結束顯示時間標誌以適合於編碼器300所要求的每秒顯示幀數，從自顯示時間標誌調節單元220輸入的一系列影像幀中逐個選擇進行分配，轉換幀速率。例如，在顯示調節視頻影像幀的每秒顯示幀數的一個例子的圖4中，輸出的視頻信號的開始顯示時間標誌和結束顯示時間標誌(假設與下一幀的開始顯示時間標誌相同)已經被設定，如果從顯示時間標誌調節單元220輸入的視頻的每秒顯示幀數多於編碼器300要求的每秒顯示幀數，就將位於輸出影像幀的事先設定的開始顯示時間標誌正前面的輸入影像幀分配給輸出影像幀的該開始顯示時間標誌進行輸出。因此，在圖4中a艮像幀將被捨棄， 影像幀被分配給輸出影像幀進行輸出。如果編碼器300要求的每秒顯示幀數比從顯示時間標誌調節單元220輸出的視頻信號的每秒顯示幀數多，則一個輸入影像幀就重複分配給多個輸出影像幀進行輸出，即使在這種情況下，也將位於事先設定的輸出影像幀的正前面的影像幀分配給輸出影像幀。從每秒顯示幀數調節單元240輸出的影像幀被輸入到比例調節單元250，比例調節單元250按照編碼器300要求的畫面比例，將畫面變換成4: 3、16:10、16:9等多種比例。另一方面，從顯示時間標誌調節單元220接收了音頻信號的輸入的重新採樣單元260按照編碼器300的要求，重新採樣音頻信號並輸出到編碼器300。此時，重新採樣的間隔優選與以每秒顯示幀數調節單元240使幀速率改變的比例一致。
至此，說明了基於本發明的優選實施例的同步誤差校正裝置200。下面，參照圖5即用於說明基於本發明的優選實施例的音頻信號和視頻信號的同步誤差校正方法的流程圖，來說明本發明的音頻信號和視頻信號的同步誤差校正方法。但是，本發明的同步誤差校正方法與如上所述說明了同步誤差校正裝置200的功能的內容大部分重合，所以僅簡要說明其流程。首先，同步誤差校正裝置200從編碼器300接收設定信息，從多個視頻源100-Γ100-Π中選擇輸出源視頻(結合有其他視頻內容的視頻)的視頻源(S500)。設定信息包括結合多個視頻內容而生成的結合視頻的每秒顯示幀數信息、重新採樣周期信息(重新採樣信息)和畫面比例信息。當選擇視頻源100-f 100-n中的任一個時，就將視頻內容從選擇出的視頻源輸入到同步誤差校正裝置200，同步誤差校正裝置200的誤差校正單元230提取出輸入的視頻內 容的視頻信號和音頻信號的初始同步誤差信息(S502 )。
然後，同步誤差校正裝置200重新設定原視頻的視頻信號和音頻信號的顯示時間標誌，以與結合有多個視頻內容後生成的視頻內容的顯示時間標誌對應，按照從編碼器300接收到的設定信息轉換視頻信號的每秒顯示幀數並改變比例，重新採樣音頻信號(S510)。另一方面，同步誤差校正裝置200在上述步驟S502至步驟S510進行期間對是否選擇了與原視頻結合的新視頻內容的視頻源進行調查，如果沒有選擇新視頻源，就對原視頻重複進行上述的步驟S510 (S512)。在步驟S512中，當選擇了結合到原視頻內容的新視頻內容並輸入視頻內容，同步誤差校正裝置200就提取出新視頻內容的視頻信號和音頻信號之間的初始同步誤差信息(S520)，按照初始同步誤差信息重新設定顯示時間標誌，將新視頻內容結合到原視頻內容(S522)。在步驟S522中，如上所述，一面保持結合的新視頻內容的視頻信號和音頻信號之間的誤差，一面重新設定新視頻的視頻信號和音頻信號的顯示時間標誌，來將新視頻結合到原視頻。然後，按照在步驟S500從編碼器300輸入的設定信息，轉換結合的視頻的音頻信號的每秒顯示幀數，調整畫面比例，重新採樣音頻信號(S524)。另一方面，同步誤差校正裝置200調查其它的新視頻是否被結合，當存在其它的新視頻被結合的情況時，就進行步驟S520，當不存在其它的新視頻被結合的情況時，就進行步驟 S540 (S530)。在新視頻未被結合的情況下，同步誤差校正裝置200調查以前輸入的視頻是否要重回(S540)。例如，在上述例子中，在中途結合的視頻(廣告視頻)結束，調查在步驟S500輸入的原視頻(體育轉播視頻)是否被再次輸入。此外，在將第一視頻作為原視頻進行輸入、將第二視頻結合到第一視頻之後，再將第三視頻結合到第二視頻之後、第二視頻重回的情況也與此相當。當以前的視頻重回(復歸)時，同步誤差校正裝置200就按照從重回的視頻內容中提取出的初始同步誤差信息來重新設定音頻信號和視頻信號的顯示時間標誌，以保持視頻信號和音頻信號的初始同步誤差(S542 )。然後，同步誤差校正裝置200在轉換重回的視頻的視頻信號的每秒顯示幀數並調整比例，重新採樣音頻信號並輸出到編碼器300之後，進行步驟S530 (S544)。
進行步驟S530，在沒有新結合的視頻且沒有重回的視頻的情況下，視頻信號和音頻信號的同步誤差校正過程結束。本發明能夠具體實現為在能夠用計算機讀取的記錄介質中、計算機能夠讀取的代碼。計算機能夠讀取的記錄介質包括存儲能夠用計算機系統讀取的數據的所有種類的記錄裝置。作為計算機能夠讀取的記錄介質的例子，有R0M、RAM、CD_R0M、磁帶、軟盤和光數據存儲裝置等，也包括可以用載波(例如，通過網際網路傳送)的形式來具體實施的裝置。此外，計算機能夠讀取的記錄介質能夠分布在由網絡連接的計算機系統中，以分散方式對計算機能夠讀取的代碼進行存儲、執行。
到目前為止，對本發明以其優選實施例為中心進行了討論。但是對於本領域的技術人員而言，在不脫離所附權利要求的範圍的情況下，可以作出各種改變和修改，以及使用等同方案。因此，所公開的實施例不是以限制性的觀點而是以說明的觀點來考慮的。本發明的範圍不是由上述說明而是由權利要求的範圍表示的；在與其具有相同的範圍內的所有不同點應解釋為包含在本發明內。
權利要求
1.一種同步誤差校正裝置，其特徵在於，包括 源選擇單元，所述源選擇單元從多個視頻源接收視頻內容的輸入並進行輸出，該視頻內容包含視頻信號和音頻信號； 誤差校正單元，所述誤差校正單元對多個視頻內容的每個提取出事先設定於視頻信號和音頻信號之間的初始同步誤差；以及 顯示時間標誌調節單元，所述顯示時間標誌調節單元重新設定所述多個視頻內容的視頻信號及音頻信號的顯示時間標誌，以使所述多個視頻內容的視頻信號及音頻信號的顯示時間標誌與多個視頻結合後生成的結合視頻內容的顯示時間標誌對應，並對所述多個視頻內容進行結合，重新設定顯示時間標誌以保持結合後的各視頻內容區域的所述視頻信號和音頻信號之間的所述初始同步誤差。
2.根據權利要求I所述的同步誤差校正裝置，其特徵在於，在將第二視頻內容插入到第一視頻內容中時，所述顯示時間標誌調節單元調節顯示時間標誌以使所述第二視頻內容結合到所述第一視頻內容中且所述第一視頻內容的其餘部分結合到所述第二視頻內容的末端，在結合所述第一視頻內容的其餘部分時，設定視頻信號和音頻信號的顯示時間標誌，以保持所述第一視頻內容的視頻信號和音頻信號之間的初始同步誤差。
3.根據權利要求I所述的同步誤差校正裝置，其特徵在於，還包括每秒顯示幀數調節單元，所述每秒顯示幀數調節單元根據從編碼器輸入的設定信息中包含的每秒顯示幀數設定信息來調節結合過的視頻內容的視頻信號的每秒顯示幀數。
4.根據權利要求3所述的同步誤差校正裝置，其特徵在於，所述每秒顯示幀數調節單元對根據所述每秒顯示幀數設定信息調節過的每秒顯示幀數的各影像幀的時間上的位置進行設定，在構成每秒顯示幀數調節前的所述結合視頻內容的視頻信號的各影像幀中，利用根據所述每秒顯示幀數設定信息設定過的各影像幀的時間上的位置的正前面的影像幀來調節結合視頻內容的視頻信號的每秒顯示幀數。
5.根據權利要求3所述的同步誤差校正裝置，其特徵在於，還包括比例調節單元，其按照從編碼器輸入的設定信息中包含的畫面比例設定信息來對調節過的所述每秒顯示幀數的結合視頻內容的視頻信號的畫面比例進行調節。
6.根據權利要求I所述的同步誤差校正裝置，其特徵在於，還包括重新採樣單元，其根據從編碼器輸入的設定信息中包含的重新採樣設定信息來對調節過的顯示時間標誌的音頻信號進行重新採樣。
7.一種同步誤差校正方法，所述同步誤差校正方法在同步誤差校正裝置中進行，該同步誤差校正裝置用於校正從多個視頻源輸入的多個視頻內容的視頻信號和音頻信號之間的同步誤差並結合多個視頻內容進行輸出，所述同步誤差校正方法的特徵在於，包括以下步驟 (a)從視頻源接收第一視頻內容； (b)從視頻源接收要結合到所述第一視頻內容的第二視頻內容，提取出所述第二視頻內容的視頻信號和音頻信號之間的初始同步誤差，生成初始同步誤差信息；以及 (C)按照所述初始同步誤差信息，將所述第二視頻內容結合到所述第一視頻內容以保持所述第二視頻內容的視頻信號和音頻信號之間的初始同步誤差。
8.根據權利要求7所述的同步誤差校正方法，其特徵在於，在將所述第二視頻內容插入到所述第一視頻內容中時，在所述步驟(a)中，所述同步誤差校正裝置提取出所述第一視頻內容的初始同步誤差，在所述步驟(c )中，所述同步誤差校正裝置將所述第二視頻內容結合到所述第一視頻內容中，以保持所述第二視頻內容的初始同步誤差，在步驟(d)中，在所述第二視頻內容的結合結束後，將所述第一視頻內容結合到所述第二視頻內容的末端，以保持所述第一視頻內容的初始同步誤差。
9.根據權利要求7或8所述的同步誤差校正方法，其特徵在於，所述同步誤差校正裝置通過重新設定所述第一視頻內容及所述第二視頻內容的顯示時間標誌，以使所述第一視頻內容和所述第二視頻內容的顯示時間標誌與結合所述第一視頻內容和所述第二視頻內容而生成的結合視頻的顯示時間標誌對應。
10.根據權利要求9所述的同步誤差校正方法，其特徵在於，所述同步誤差校正裝置按照從編碼器接收到的每秒顯示幀數設定信息和重新採樣設定信息來對結合視頻內容的視頻信號的每秒顯示幀數進行轉換，對音頻信號進行重新採樣並輸出。
11.根據權利要求10所述的同步誤差校正方法，其特徵在於，所述同步誤差校正裝置按照所述每秒顯示幀數設定信息來對調節過的每秒顯示幀數的結合視頻內容的各影像幀的時間上的位置進行設定，在構成調節每秒顯示幀數前的所述結合視頻內容的視頻信號的各影像幀中，利用根據所述每秒顯示幀數設定信息設定過的各影像幀的時間上的位置的正前面的影像幀來調節結合視頻內容的視頻信號的每秒顯示幀數。
12.根據權利要求9所述的同步誤差校正方法，其特徵在於，所述同步誤差校正裝置根據畫面比例設定信息來調節影像幀的比例並進行輸出，該畫面比例設定信息是從所述編碼器接收了轉換過每秒顯示幀數的結合視頻內容的視頻信號的信息。
13.—種記錄介質，所述記錄介質能夠用計算機讀取，並以可執行的程序代碼記錄有權利要求7或8的同步誤差校正方法。
14.一種記錄介質，所述記錄介質能夠用計算機讀取，並以可執行的程序代碼記錄有權利要求9的同步誤差校正方法。
全文摘要
本發明公開了用於校正在結合多個視頻時產生的視頻信號和音頻信號之間的同步誤差的同步誤差校正裝置和方法。本發明的所述裝置和方法包括當結合不同的視頻內容時，存儲將要被結合的視頻的初始視頻信號和音頻信號之間的同步誤差；以及當結合多個視頻內容時，結合多個視頻內容以保持配置為使視頻信號和音頻信號相互同步的所述初始同步誤差。本發明的所述裝置和方法使現有技術中統一結合視頻信號和音頻信號而改變誤差，因而顯示視頻信號和音頻信號不同步的不自然的視頻的缺陷能夠被克服。
文檔編號H04N5/04GK102884804SQ201080059842
公開日2013年1月16日 申請日期2010年12月27日 優先權日2009年12月28日
發明者姜信碩 申請人:達貝U株式會社