用於串行數字視頻信號的帶內a/v定時測量的系統和方法
2023-07-17 15:01:26 1
專利名稱：用於串行數字視頻信號的帶內a/v定時測量的系統和方法
技術領域：
本發明涉及音頻信號和視頻信號發送領域，尤其涉及用於串行數字視頻信號的帶內A/V定時測量的系統和方法。現有技術的說明當與視頻圖像相對應的音頻沒有被同步時，觀看者可以容易地察覺。甚至僅一幀或兩幀的視頻信號和音頻信號的相對偏移量就能導致播音看起來與嘴唇不同步。不同步的原因可能是在從起始點到從電視發生設備輸出視頻信號和音頻信號期間視頻信號和音頻信號中的一個或兩者均引入了延遲。為了使得能夠通過接收器使視頻信號和音頻信號重新同步，一些傳統系統表徵從音頻信號和視頻信號的起始點到從電視發生設備輸出音頻信號和數位訊號的點在時間上的相對偏移量。傳統的表徵技術在電視發生設備停止服務時使用特定的測試圖案通過電視發生設備測量相對偏移量。一旦確定了視頻信號和音頻信號之間的相對偏移量，就可以調節電視發生設備內部的裝備以將相對偏移量消除或減少至可接受的水平。為了使每個接收器處的視頻信號和音頻信號重新同步，其它不需要電視發生設備停止服務來表徵相對偏移量的技術需要昂貴的裝備以及電視發生設備與接收器之間的雙向通信。如前所述，本領域需要一種改進的技術，以表徵音頻信號和視頻信號之間在時間上的相對偏移量以及向音頻信號和視頻信號接收器提供偏移量測量。
發明內容
本發明的實施例包括一種用於表徵音頻信號和視頻信號之間在時間上的相對偏移量的系統，音頻和視頻信號接收器使用該音頻信號和視頻信號測量相對偏移量。然後，接收器可以使用測得的相對偏移量來使視頻信號和音頻信號同步。使用帶內信號發送來執行表徵，以使得表徵數據具有每個幀的視頻信號和音頻信號。表徵數據包括被捕獲並被編碼到高清晰度電視(HDTV)信號的垂直輔助(VANC)空間中的視頻信號的一條或多條掃描線的計算值。表徵數據還包括被捕獲並被編碼到VANC空間中的每對音頻信道的計算值。電視發生設備傳輸視頻信號和音頻信號以及被編碼到每個幀的VANC空間中的表徵數據。接收器從VANC空間中提取已編碼的表徵數據以產生提取的表徵數據，並且使用視頻信號和音頻信號重新計算每條掃描線或多條掃描線的值以產生重新計算出的表徵數據。將提取值與重新計算出的值進行比較以確定視頻信號和音頻信號之間的相對偏移量。然後，接收器可以使用相對偏移量使視頻信號和音頻信號重新同步以輸出。本發明的一個實施例提供了一種用於表徵音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現的方法。該方法包括從電視發生設備接收包括視頻信號和音頻信號以及使用帶內信號發送的表徵數據的幀序列。從幀序列中提取帶內表徵數據，並且基於視頻信號和音頻信號重新計算幀序列的其它表徵數據以產生重新計算出的表徵數據。將重新計算出的表徵數據與提取的帶內表徵數據進行比較，以確定幀序列的音頻信號和視頻信號之間在時間上的相對偏移量。本發明的一個實施例提供了一種用於表徵音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現的方法。該方法包括由電視發生設備生成幀序列中的每個幀的經同步的音頻信號和視頻信號的表徵數據，其中，表徵數據表示經同步的音頻信號和視頻信號中的一部分的標記。將幀序列中的每個幀的經同步的音頻信號和視頻信號的表徵數據插入包括有該幀的視頻信號和音頻信號的信號的垂直輔助(VANC)空間中。將信號傳輸至接收器，其中，該接收器被配置為從信號的VANC空間中提取表徵數據、從信號中提取視頻信號和音頻信號以及基於提取到的表徵數據對準提取到的視頻信號和音頻信號以產生幀序列中的每個幀的經同步的音頻信號和視頻信號。本文中所描述的技術的一個優點是在表徵視頻信號和音頻信號之間在時間上的相對偏移量期間電視發生設備不需要停止服務。表徵動態地發生，並且通過使用帶內信號發送將確定相對偏移量所需的測量數據與視頻信號和音頻信號一起提供給接收器。由於接收器僅需要存儲從接收到的信號中提取的表徵數據值序列並執行與重新算出的值的比較操作以計算相對偏移量，因此，另一優點是包括更簡單且更廉價的硬體。
因此，以能夠更詳細地理解本發明的上述特徵的方式，參照實施例更具體地描述以上簡要概括的本發明，附圖中示出了一些實施例。但是，應注意，附圖僅示出了本發明的示例性實施例，因此，附圖不應被認為是對本發明的範圍的限制，本發明也允許其它等同的有效實施例。圖IA是用於實現本發明的一個或多個方面的系統的框圖。圖IB是用於實現本發明的一個或多個方面的另一系統的框圖。圖2A是示出根據本發明的一個實施例的包括一行視頻數據和相對應的音頻數據以及VANC空間的幀的概念圖。圖2B是示出根據本發明的一個實施例的同步的幀序列以及不同步的幀序列的概念圖，其中，同步的幀包括視頻數據和相對應的音頻數據，不同步的幀包括視頻數據和相對應的音頻數據。圖3A是示出根據本發明的一個實施例的圖1的VANC數據插入器的框圖。圖:3B是示出根據本發明的一個實施例的圖1的網絡VANC接收器的框圖。圖4A是描述根據本發明的一個實施例的圖3A的VANC數據插入器的操作的方法步驟的流程圖。
圖4B是描述根據本發明的一個實施例的圖:3B的VANC數據接收器的操作的方法步驟的流程圖。
具體實施例方式可以在傳輸高清晰度(HD)的電視信號或其它標準格式的電視信號的任意數位電視傳送系統中實現用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統和方法。標準格式的電視信號的構造可以用於傳輸有時被稱為輔助數據的附加信息。在一個實施例中，與數字地傳輸的音頻信號和視頻信號一起，表徵數據被編碼為輔助數據。接收器使用表徵數據來使視頻信號和音頻信號重新同步。可以以硬體、軟體或硬體和軟體的組合來實現用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統和方法。當以硬體實現時，可以使用專門的硬體組件和邏輯實現用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統和方法。當以軟體實現用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統和方法時，可以使用該軟體控制與程序相關聯的系統和網絡中的各種組件。該軟體可以存儲在存儲器中並由適當的指令執行系統(微處理器)執行。用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統和方法的硬體實現可以包括本領域眾所周知的以下技術中的任意技術或其組合分立的電子組件、具有用於對數據信號執行邏輯功能的邏輯門的分立的邏輯電路、具有適當的邏輯門的應用專用集成電路、可編程門陣列(PGA)、現場可編程門陣列(FPGA)等。用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統和方法的軟體包括用於執行邏輯功能的一系列有序的可執行指令，並且可以在任意計算機可讀介質中實現該軟體，其中，該計算機可讀介質由指令執行系統、設備或裝置使用或與指令執行系統、設備或裝置聯繫，例如，基於計算機的系統、包含處理器的系統或其它可以從指令執行系統、設備或裝置取出指令並執行指令的系統。圖1是示出系統100的示例的框圖，系統100可以實現用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統。系統100包括電視發生設備102、基帶分布結構118以及接收設備132。電視發生設備102可以是電視演播室，並且接收設備132可以是後期製作設備。系統100可以位於更大的系統內部的通過點或集合點處。電視發生設備102和接收設備132可以彼此非常接近(例如，位於同一設備內部)或者位於不同的地理位置處。由於本領域的技術人員已知能夠雙向通信的基帶分布結構118，因此，本文沒有描述其細節。在一個實施例中，電視發生設備102例如可以是通過線纜傳輸具有VANC表徵數據的幀數據116的有線電視(CATV)廣播設備或者其它由基帶分布結構118提供的有線分布系統。此外，使用嵌入在高清晰度電視(HDTV)或其它標準廣播信號中的信息、通過基帶分布結構118可以將具有VANC表徵數據的幀數據116從電視發生設備102傳輸至接收設備132。接收設備132可以向衛星或其它類型的傳輸系統輸出信號。電視發生設備102包括視頻和音頻源110，視頻和音頻源110存儲輸出給VANC表徵數據插入器120的視頻數據和音頻數據。在一個實施例中，VANC表徵數據插入器120是可以將數據插入HDTV或其它標準格式的視頻信號的垂直輔助(VANC)空間中的通信元件。 ￠1^11 「Vertical Ancillary Data Mapping for Bit-Serial Interface"^ SMPTE( % 影與電視工程師學會)標準344M-200中描述了信息插入至HDTV信號的垂直輔助空間中， 該標準通過引用併入於此。根據用於表徵視頻信號和音頻信號之間在時間上的相對偏移量並使視頻信號和音頻信號重新同步的系統的一個實施例，VANC表徵數據插入器120動態地計算值，其中，針對從視頻和音頻源110接收到的視頻數據和相對應的音頻數據的一條或多條掃描線計算每個值。計算出的值表示視頻數據和音頻數據的經同步的部分的「標記(fingerprint)」， 其中，該部分可以是幀或者一條或多條掃描線。該標記可以用於從經同步的音頻信號或視頻信號的其它部分中唯一地識別出經同步的音頻信號或視頻信號的該部分。通常，使用數學函數生成表徵數據，從而產生視頻數據的值和音頻數據的值。數學函數的例子可以包括傳統的信號處理函數。表徵數據表示視頻數據或音頻數據的質量，並且在大小(字節)上應足夠小以能夠安插到VANC空間內。通常，表徵數據獨自不能用於再現用以產生表徵數據的原始視頻數據和音頻數據。換言之，與原始視頻數據和音頻數據的傳統地壓縮的形式不同，表徵數據不是意在替代原始視頻數據和音頻數據。在一個實施例中，計算值是(通常)由電視發生設備102內的另一單元(未示出) 計算的校驗和，並且接收設備132使用該校驗和確定是否無錯誤地接收了數據。該計算值是被編碼在包括視頻數據和音頻數據的幀的VANC中以產生構造幀的表徵數據。構造幀112 被VANC表徵數據插入器120輸出至可選處理途徑125，其中，可選處理途徑125可以被配置為執行視頻信號和音頻信號的附加處理。可選處理途徑125將具有VANC表徵數據的幀數據116輸出至基帶分布結構118。基帶分布結構118將具有VANC表徵數據的幀數據116 傳輸給接收設備132。接收設備132接收具有VANC表徵數據的幀數據126，其中，幀數據包括被編碼在 VANC中的校驗和以及視頻數據和音頻數據。幀序列的視頻數據和音頻數據存儲在幀存儲器 130中。音頻數據可以與視頻數據分開存儲在幀存儲器130中。VANC表徵數據接收器150 接收具有VANC表徵數據的幀數據1 並提取被編碼在VANC中的視頻和音頻校驗和。VANC 表徵數據接收器150存儲所提取的視頻和音頻值，並且，使用作為具有VANC表徵數據的幀數據1 的一部分而接收的視頻數據和音頻數據重新計算每個幀的相同掃描線的值。將重新計算的值與提取到的值進行比較，以測量視頻數據與由音頻數據表示的一個或多個音頻信道對之間的任意相對偏移量。每對音頻信道可以相對視頻數據在時間上具有不同的偏移量，因此，各對音頻信道可以分別與視頻數據同步。音頻數據的不同相對偏移量被輸出至音頻/視頻對準單元160作為偏移量測量155。音頻/視頻對準單元160基於偏移量測量155 使視頻數據和音頻數據同步，以產生經同步的視頻數據和音頻數據。圖IB是用於實現本發明的一個或多個方面的系統180的框圖。系統180包括圖 IA的電視發生設備102和接收設備132。此外，系統180包括通信上行鏈路站122、通信衛星1 以及通信下行鏈路站128。由於本領域的技術人員已知能夠雙向通信的、包括衛星通信上行鏈路站122、通信衛星IM以及衛星通信下行鏈路站1 的傳輸系統，因此，本文沒有描述其細節。此外，可以在系統180中實現其它傳輸系統(諸如，例如，地面傳輸系統、有線或無線傳輸系統或者其它傳輸系統)，以使用嵌入在HDTV或其它標準廣播信號中的信息將程序系統信息從電視發生設備102動態地傳輸至接收設備132。電視發生設備102內的可選處理途徑125將具有VANC表徵數據的幀數據116輸出至衛星通信上行鏈路站122。衛星通信上行鏈路站122通過通信衛星IM將具有VANC表徵數據的幀數據116傳輸給衛星通信下行鏈路站128。衛星通信下行鏈路站1 將接收到的具有VANC表徵數據的幀數據1 通信至接收設備132。圖2A是示出根據本發明的一個實施例的、包括視頻數據和相對應的音頻數據的掃描線210以及VANC空間220的幀的概念圖。視頻數據存儲在幀的可見幀數據200部分中。當使用一種HDTV格式時，一幀包括750條掃描線，其中，可見幀數據200佔用720條掃描線，VANC空間220佔用30條掃描線。水平輔助(HANC)空間215也包括在幀中，並且存儲幀的每條掃描線的音頻數據。可以在HANC空間215中存儲多個信道的音頻數據，其中， 每個信道由一對音頻信號表示。圖2B是示出根據本發明的一個實施例的、視頻數據和相對應的音頻數據的同步的幀序列230以及視頻數據和相對應的音頻數據的不同步的幀序列240的概念圖。在同一圖案中示出了幀231、232、233和234中的每個幀的視頻數據和相對應的音頻數據，其中，音頻數據存在於HANC空間中，視頻數據存在於可見幀空間中。音頻數據被電視發生設備102 延遲，並且在視頻數據和相對應的音頻數據的不同步的幀序列240的幀對1、對2、243和對4 中發生兩個幀的偏移。更具體地，來自幀231的音頻數據與來自幀233的視頻數據一起在幀243中到達接收設備132。類似地，來自幀232的音頻數據與來自幀234的視頻數據一起在幀M4中到達接收設備132。為了使音頻數據和視頻數據正確地同步，接收設備132或者將視頻數據延遲兩個幀以使其出現在具有相對應的音頻數據的幀中，或者，接收設備132 將音頻數據提前兩個幀以使其與包含相對應的視頻數據的幀一起輸出。在另一示例中，音頻數據可以相對於視頻數據延遲或提前幀內的一條或多條掃描線。為了使音頻數據和視頻數據正確地同步，接收設備132或者將視頻數據延遲相同數量的掃描線或者將音頻數據延遲相同數量的掃描線，以將相對應的視頻數據和音頻數據對準。圖3A是示出根據本發明的一個實施例的、圖1的VANC表徵數據插入器120的框圖。VANC表徵數據插入器120包括掃描線值捕獲單元310和幀構造單元305。掃描線值捕獲單元310可以被配置為接收音頻/視頻幀數據303，並且計算幀序列中的幾個幀的特定掃描線210或多條掃描線中的視頻數據的值。掃描線值捕獲單元310還可以被配置為計算與幀序列中的幾個幀的相同掃描線210或多條掃描線相對應的每對音頻信號的值。在一些實施例中，針對幀的每條掃描線計算這些值。針對每個幀，計算值表示表徵數據，該表徵數據由幀構造單元305編碼在每個幀的VANC空間220中以產生包括視頻信號和音頻信號以及視頻和音頻表徵數據的構造幀。由於這些值是在視頻數據和音頻數據被同步的位置處計算的，因此，這些值可以用作接收設備132用於使視頻數據和音頻數據重新同步的表徵數據。但是，如果以將改變表徵數據的方式修改視頻和/或音頻數據，則在表徵數據被編碼到VANC空間中之後重新計算這些值。例如，在生成校驗和之後執行採樣率轉換時，校驗和不能用作表徵數據。在一個實施例中，按照用於將用戶定義的數據插入HDTV信號中的SMPTE 272M-2004和291M-2006指導方針，幀構造單元305使用數據ID (DID) 0x52和第二數據 ID (SID) 0x01將表徵數據插入VANC空間220中。幀的可見幀數據200的任意掃描線可以用於計算視頻數據和音頻數據的值。為了補償由電視發生設備102引入的視頻信號和音頻信號之間的延遲並在接收設備處使視頻數據和音頻數據正確地同步，視頻和音頻信號不應該是恆定的，例如，靜態測試圖案。在每個幀的值等同的情況下，當提取VANC空間中的值並將這些值與根據接收到的視頻和音頻信號重新計算出的值進行比較時，不能確定由電視發生設備102引入的任意相對偏移量。由於觀看者察覺不到恆定信號之間不同步，因此，無需使恆定信號同步。圖;3B是示出根據本發明的一個實施例的、圖1的VANC表徵數據接收器150的框圖。VANC表徵數據接收器150包括掃描線表徵數據重新計算單元340、表徵數據比較單元 350以及超時單元345。掃描線表徵數據重新計算單元340針對序列中的幀數據接收具有 VANC表徵數據的幀數據126，並且針對幀序列中的幾個幀重新計算特定掃描線210或多條掃描線中的視頻數據的值。掃描線表徵數據重新計算單元340也被配置為針對幀序列中的幾個幀重新計算與相同掃描線210或多條掃描線相對應的每對音頻信號的值。重要地，為了檢測掃描線級的不同步，掃描線表徵數據重新計算單元340應該重新計算幀的每條掃描線的值。表徵數據比較單元350接收具有VANC表徵數據的幀數據126，並且提取被編碼在 VANC空間中的表徵數據中所包括的值。然後，表徵數據比較單元350將針對每個幀的每條掃描線或多條掃描線重新計算出的值與每個幀的音頻信號和視頻信號的提取值進行比較。由於一個或多個信道的音頻信號可能在時間上相對於視頻信號被延遲或提前，因此表徵數據比較單元350將重新計算出的值與在幀序列中較早和較晚出現的多個幀和掃描線的提取值進行比較。表徵數據比較單元350確定與特定值相關聯的每個音頻信道對的偏移量測量，並且輸出每個幀的偏移量測量作為偏移量測量155。偏移量測量是幀序列的音頻信號和視頻信號之間在時間上的相對偏移量。超時單元345追蹤沒有發現匹配的時鐘循環或幀的數量，並且，在幀或時鐘循環的數量超過預定值時指示不能確定偏移量測量。在一些實施例中，預定值是其提取值被緩衝以用於比較操作的幀的數量。圖4A是描述根據本發明的一個實施例的、圖3A的VANC表徵數據插入器120的操作的方法步驟的流程圖。VANC表徵數據插入器120生成表徵數據，表徵數據由電視發生設備102發送並被接收設備132用來確定音頻信號和視頻信號之間在時間上的相對偏移量。 在步驟400，VANC表徵數據插入器120接收視頻數據和音頻數據的幀。在步驟405，VANC表徵數據插入器120選擇幀的一條或多條掃描線的視頻數據和音頻數據。在步驟410，VANC 表徵數據插入器120通過計算與一條或多條掃描線相對應的視頻數據的值來生成幀的視頻信號的表徵數據。在步驟415，VANC表徵數據插入器120通過計算與一條或多條掃描線相對應的視頻數據的一個或多個信道對的值來生成幀的音頻信號的表徵數據。在步驟420，幀構造單元305將幀的表徵數據插入如下信號的VANC空間中，該信號包括幀的視頻信號和音頻信號。然後，電視發生設備102將構造的幀傳輸給接收設備132， 其中，接收設備132被配置為使用每個幀的表徵數據確定幀序列的音頻信號和視頻信號之間在時間上的相對偏移量。圖4B是描述根據本發明的一個實施例的、圖:3B的VANC表徵數據接收器150的操作的方法步驟的流程圖。VANC表徵數據接收器150被配置為表徵幀序列中的音頻信號和視頻信號之間在時間上的相對偏移量。在步驟440，VANC表徵數據接收器150接收來自電視發生設備102的具有VANC表徵數據以及視頻數據和音頻數據的幀。在步驟445，從幀中提取包括在VANC空間中的所傳輸的表徵數據，以產生提取值。在步驟455，掃描線表徵數據重新計算單元340針對幀中的視頻數據的每條掃描線重新計算用於產生表徵數據的值，其中，掃描線包括電視發生設備102用於產生VANC值的同一掃描線。當針對多條掃描線計算表徵數據時，掃描線表徵數據重新計算單元340針對幀中的視頻數據的多條掃描線重新計算用於產生表徵數據的值，其中，掃描線包括電視發生設備102用於產生VANC值的相同掃描線。在步驟460，將視頻數據的重新計算出的值和與幀的視頻數據相對應的提取值進行比較。在步驟465，表徵數據比較單元350確定重新計算出的值之一是否與視頻數據的提取值匹配。如果在步驟465發現了匹配，則在步驟 470計算視頻數據的偏移量測量，並且方法進入步驟475。注意，為了檢查是否在VANC中接收相對應的表徵數據之前接收了幀的視頻數據，可以將重新計算出的值緩衝多個幀，並且通過表徵數據比較單元350將重新計算出的值與新提取的值進行比較。如果在步驟465沒有發現匹配，則在步驟472將默認值用於視頻數據的偏移量測量。例如，視頻數據的偏移量測量可設置為默認值0。如果沒有發現匹配並且超時計數已經滿，則超時單元345可指示不能確定視頻信號的偏移量測量。在步驟475，掃描線表徵數據重新計算單元340針對幀中的每個音頻信道對重新計算每個掃描線值，其中，掃描線包括電視發生設備102用於產生VANC表徵數據的同一掃描線。當針對多個掃描線計算表徵數據時，掃描線表徵數據重新計算單元340針對多個掃描線重新計算幀中的每個音頻信道對的值，其中，掃描線包括電視發生設備102用於產生 VANC表徵數據的多條相同掃描線。在步驟480，將音頻數據的重新計算出的值和與幀序列的音頻數據相對應的提取值進行比較。在步驟485，表徵數據比較單元350確定音頻信道對的重新計算出的值之一是否與音頻信道對的相對應的提取值匹配。如果在步驟485發現了一個或多個音頻信道對，則在步驟490計算匹配的音頻數據的偏移量測量，並且方法進入步驟495。注意，為了檢查是否在VANC中接收相對應的表徵數據之前接收了幀的音頻數據， 可以將重新計算出的值緩衝多個幀，並由表徵數據比較單元350將重新計算出的值與新提取到的值進行比較。在步驟485，如果表徵數據比較單元350確定沒有音頻信道對的重新計算的校驗和與音頻信道對的相對應的提取值匹配，則在步驟492將默認值用於偏移量測量。例如，音頻數據的一個或多個音頻信道對的偏移量測量可設置為默認值0。當沒有發現匹配且超時計數已滿時，超時單元345可以指示不能確定視頻信號的偏移量測量。在步驟495，通過將來自序列中的先前接收到的幀或掃描線的緩衝的音頻和/或視頻數據與來自序列中的稍後接收到的幀或掃描線的視頻或音頻數據進行合併，來對準幀的音頻數據和視頻數據，從而產生經同步的視頻數據和音頻數據。基於由VANC表徵數據接收器150計算出的偏移量測量對準音頻數據和視頻數據。本文中所描述的系統和方法的一個優點在於電視發生設備使用帶內信號發送動態地生成並傳輸表徵信息，在表徵視頻和音頻信號之間在時間上的相對偏移量期間，電視發生設備不需要停止服務。由於接收設備被配置為僅使用傳輸信號提取表徵數據並確定視頻信號和音頻信號之間在時間上的相對偏移量，因此，在電視發生設備和接收設備之間不需要額外的通信信道。由於接收器僅需要存儲包括在表徵數據中的序列值，並且與針對每個接收到的幀重新計算的表徵數據值的進行比較以計算相對偏移量，因此又一優點包括更簡單且更廉價的硬體，其中，從每個接收到的幀的VANC空間中提取該表徵數據。電視發生設備基於視頻和/或音頻內容生成值並將這些值插入每個幀的VANC空間中，以提供表徵數據。本發明的各實施例可以被實現為與計算機系統一起使用的程序產品。該程序產品的程序限定實施例(包括本文中所描述的方法)的功能並且可以包含在各種計算機可讀存儲介質上。示例性的計算機可讀存儲介質包括但不限於(i)其上永久地存儲信息的非可寫存儲介質(例如，計算機內部的只讀存儲裝置，諸如⑶-ROM驅動器可讀的⑶-ROM盤、快閃記憶體、ROM晶片或任意類型的固態非易變半導體存儲器)；(ii)其上存儲可變信息的可寫存儲器介質(例如，磁碟驅動器或硬碟驅動器內的軟盤或任意類型的固態隨機存取半導體存儲器)O以上參照具體實施例描述了本發明，並闡述了大量具體細節以提供對本發明的更透徹的理解。但是，本領域的技術人員將理解可以在不背離本發明的更寬精神和範圍的情況下對本發明進行各種修改和變化。因此，之前的說明書和附圖被認為是示例性而非限制性。
權利要求
1.一種用於表徵音頻信號和視頻信號之間在時間上的相對偏移量的系統，所述系統包括幀存儲器，其被配置成從電視發生設備接收包括視頻信號和音頻信號以及帶內表徵數據的幀序列；以及存儲所述幀序列中的至少部分幀；接收器，其耦接至所述幀存儲器並被配置成從所述幀序列中提取所述帶內表徵數據；基於所述視頻信號和所述音頻信號重新計算所述幀序列的表徵數據；以及將重新計算出的表徵數據與所提取的所述帶內表徵數據進行比較，以確定所述幀序列的所述音頻信號和所述視頻信號之間在時間上的相對偏移量。
2.根據權利要求1所述的系統，還包括音頻/視頻對準單元，所述音頻/視頻對準單元耦接至所述接收器並被配置成基於所述在時間上的相對偏移量對準所述視頻信號和音頻信號，以產生經同步的幀序列。
3.根據權利要求1所述的系統，其中，所提取的所述帶內表徵數據表示所述幀序列的所述音頻信號和所述視頻信號中的一部分的標記。
4.一種用於表徵音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現的方法，所述方法包括表徵數據生成步驟，用於生成與幀序列中的每個幀相關聯的經同步的音頻信號和視頻信號的表徵數據，其中，所述表徵數據表示所述經同步的音頻信號和視頻信號的一部分的標記；表徵數據插入步驟，用於針對所述幀序列中的每個幀，將所述經同步的音頻信號和視頻信號的所述表徵數據插入如下信號的垂直輔助VANC空間中，該信號包括視頻信號和音頻信號；以及信號傳輸步驟，用於將該信號傳輸給接收器，所述接收器被配置為重新產生與所述幀序列中的每個幀相關聯的所述經同步的音頻信號和視頻信號。
5.根據權利要求4所述的方法，其中，所述表徵數據生成步驟包括針對所述幀序列中的每個幀，基於第一數學函數計算與該幀的至少第一掃描線相關聯的視頻信號的第一值；以及針對所述幀序列中的每個幀，基於第二數學函數計算與每個幀的至少第一掃描線相關聯的音頻信號的第二值。
6.根據權利要求5所述的方法，其中，所述音頻信號包括多個音頻信道，其中，每個音頻信道由音頻信道對表示，並且，用於計算與至少第一掃描線相關聯的音頻信號的第二值的步驟包括針對與所述多個音頻信道相關聯的每個音頻信道對計算獨立的值。
7.根據權利要求5所述的方法，其中，所述表徵數據生成步驟包括針對所述幀序列中的每個幀，基於所述第一數學函數計算與所述幀的第二掃描線相關聯的視頻信號的第三值；以及針對所述幀序列中的每個幀，基於所述第二數學函數計算與所述幀的所述第二掃描線相關聯的音頻信號的第四值。
8.根據權利要求4所述的方法，其中，所述表徵數據獨自不能用於重新產生用以生成所述表徵數據的音頻信號和視頻信號。
9.根據權利要求4所述的方法，其中，所述信號傳輸步驟包括通過通信衛星傳輸該信號。
10.一種用於表徵音頻信號和視頻信號之間在時間上的相對偏移量的計算機實現的方法，所述方法包括接收步驟，用於從電視發生設備接收包括視頻信號和音頻信號以及使用帶內信號傳輸的表徵數據的幀序列；表徵數據提取步驟，用於從所述幀序列中提取帶內表徵數據；表徵數據重新計算步驟，用於基於所述視頻信號和所述音頻信號重新計算所述幀序列的表徵數據以產生重新計算出的表徵數據；以及比較步驟，用於將所述重新計算出的表徵數據與所提取的帶內表徵數據進行比較，以確定所述幀序列的所述音頻信號和所述視頻信號之間在時間上的相對偏移量。
11.根據權利要求10所述的方法，其中，所述表徵數據重新計算步驟包括針對所述幀序列中的每個幀，基於第一數學函數計算與該幀的至少第一掃描線相關聯的視頻信號的第一值；以及針對所述幀序列中的每個幀，基於第二數學函數計算與所述幀的至少第一掃描線相關聯的音頻信號的第二值。
12.根據權利要求11所述的方法，其中，所述音頻信號包括多個音頻信道，其中，每個音頻信道由音頻信道對表示，並且用於計算與至少第一掃描線相關聯的音頻信號的第一值的步驟包括針對與所述多個音頻信道相關聯的每個音頻信道對計算獨立的值。
13.根據權利要求10所述的方法，還包括基於所述在時間上的相對偏移量使所述視頻信號和所述音頻信號對準，以產生經同步的幀序列。
14.根據權利要求10所述的方法，其中，所述比較步驟包括將針對所述幀序列中的特定幀提取的帶內表徵數據和與所述特定幀之前和之後的一個或多個幀均相關聯的所述重新計算出的表徵數據進行比較。
15.根據權利要求10所述的方法，其中，所述提取的帶內表徵數據獨自不能用於重新產生用以生成所述提取的帶內表徵數據的音頻信號和視頻信號。
全文摘要
本發明提供一種用於表徵音頻信號和視頻信號在時間上的相對偏移量並使得音頻信號和視頻信號的接收器能夠重新同步音頻信號和視頻信號的系統和方法。動態地捕獲信號表徵數據並將其編碼到由電視發生設備輸出的音頻數據和視頻數據幀中。接收器提取信號表徵數據，並且針對接收到的幀重新計算信號表徵數據。將提取的信號表徵數據與重新計算出的信號表徵數據進行比較，以計算幀的視頻信號與一個或多個音頻信號之間在時間上的相對偏移量。然後，接收器使用計算出的相對偏移量使視頻信號和音頻信號重新同步。
文檔編號H04N7/64GK102572445SQ20111042111
公開日2012年7月11日 申請日期2011年12月15日 優先權日2010年12月17日
發明者埃夫蒂米斯·斯特凡尼迪斯, 詹姆斯·L·傑克遜, 麥可·J·施特賴因 申請人:迪斯尼實業公司