藉助籤名曲線的av延遲測量和校正的製作方法
2023-06-01 06:36:21
專利名稱：藉助籤名曲線的av延遲測量和校正的製作方法
技術領域：
本發明涉及視頻測試和測量儀器，並且特別涉及音頻/視頻(AV)延遲的測量和校正。
背景技術：
經衛星和其它陸基傳輸路徑來傳輸或以流方式傳送(streaming)模擬、數字或壓縮數據形式的節目音頻和視頻可能會導致音頻信號相對於視頻信號有定時或延遲扭曲，從而形成眾所周知的「唇音同步(lip-sync)」問題。導致的原因有各種各樣，但是通常是在將音頻相對於具有不同的處理或傳輸延遲的視頻分開來處理時發生。例如，視頻可能經衛星路徑發送，而音頻可能經較低延遲的陸基路徑傳送，這產生了在某些共同的終點位置處使音頻和視頻再同步的需要。而且壓縮的多聲道音頻連同視頻的各自的編碼和解碼(CODEC) 延遲產生了使音頻相對於視頻再同步的需要。在許多情況下，在某些始發位置，與節目視頻信號相關聯的多聲道節目音頻已經具有了正確的定時關係，並且需要通過使音頻或視頻在終點位置延遲來重新生成該關係， 以為不同的傳播或CODEC延遲作校正。這可以通過在「停止使用」時，為始發位置處的節目音頻插入音頻音調脈衝猝發(audio tone burst)或等效信號完成，該音頻音調脈衝猝發與視頻快閃記憶體、轉輪、電子影音對號板(electronic clap-board)或等效工具同步，使得AV延遲可以在終點位置測量和校正。但是這種方法有兩個主要的缺點。首先它需要為測試而使正常的節目音頻和視頻停止使用。其次，由於CODEC變化和路由變化，AV處理延遲可能隨時間而變化，這使得停止使用方式下測得的校正值不再有效。題為「視頻信號中的數據的透明嵌入」的美國專利No. 6M6439( 「『439專利」)描述了一種不同的方法，其中為了向用於測量和校正的解碼器發送音頻包絡「籤名曲線」，向視頻信號加入不可見的水印或其它一些元數據路徑。在這種方式下，音頻和視頻可以連續地調整為同步狀態。該方法用於可從俄勒網州比弗頓的特克特朗尼克公司商購的AVDC100 音頻-視頻延遲校正器(現在已停止生產)。但是對視頻信號作水印處理有時候是不能接受的並且水印可能在視頻效果和調節(scaling)之後無法被檢測到。可替換地，為了按照與『439專利相同的方式測量和校正AV延遲，可以將視頻籤名曲線作為元數據嵌入音頻聲道或藉助某些形式的音頻水印嵌入音頻聲道。但是音頻信號水印修改可能是無法接受的並且元數據路徑在傳輸鏈(distribution chain)範圍內常常得不到保護。所需要的是一種測量和校正AV延遲的方法，其克服了這裡前面所述的方法的不足之處。
發明內容
因此，本發明的實施例提供了以非侵入、「使用中(in service) 」的方式作AV延遲檢測和校正的系統和方法。這些系統和方法不修改音頻信號或視頻信號，也不依賴於經由傳輸路徑隨音頻信號或視頻信號傳送的任何元數據。代替的是，位於沿傳輸路徑的各種位置處的代理者(agents)生成音頻信號和視頻信號的非常小的籤名曲線並經除了傳輸路徑以外的單獨的數據路徑將這些曲線傳輸給管理者(manager)。管理者根據這些籤名曲線計算由傳輸路徑導致的被測的AV延遲，並且隨後可選地，通過調整傳輸路徑內的串聯 (in-line)延遲來校正被測的AV延遲。一種方法，包含下列步驟在沿著傳輸路徑的位置處接收音頻/視頻(AV)節目，該AV節目具有音頻信號和視頻信號；以及根據所述音頻信號生成音頻籤名曲線並且根據所述視頻信號生成視頻籤名曲線。在上述方法中，進一步包含經所述傳輸路徑以外的單獨的數據路徑傳輸所述音頻籤名曲線和視頻籤名曲線的步驟。在上述方法中，根據所述視頻信號的相鄰幀的協方差生成所述視頻籤名曲線。在上述方法中，根據所述視頻信號的相鄰幀差值的協方差生成所述視頻籤名曲線。在上述方法中，通過下列步驟生成所述音頻籤名曲線濾波所述音頻信號的左聲道以生成濾波後的左聲道；檢測所述濾波後的左聲道的包絡；濾波所述音頻信號的右聲道以生成濾波後的右聲道；檢測所述濾波後的右聲道的包絡；將所述濾波後的左聲道的包絡與所述濾波後的右聲道的包絡相加以生成總和；濾波所述總和以生成濾波後的總和；以及以幀速或場速採樣所述濾波後的總和以生成所述音頻籤名曲線。一種方法，包含以下步驟接收音頻籤名曲線和視頻籤名曲線；以及根據所述音頻籤名曲線和視頻籤名曲線計算音頻/視頻(AV)節目的被測的AV延遲。在上述方法中，進一步包括通過調整所述傳輸路徑內的串聯延遲來校正所述被測的AV延遲的步驟。在上述方法中，計算被測的AV延遲的步驟包含下列步驟使兩條音頻籤名曲線對準以生成音頻對準偏移量；使兩條視頻籤名曲線對準以生成視頻對準偏移量；以及根據所述音頻對準偏移量和視頻對準偏移量計算所述被測的AV延遲。一種方法，包括下列步驟生成多個音頻籤名曲線和視頻籤名曲線對，每對與位於沿著傳輸路徑的位置處的音頻/視頻(AV)節目對應；以及經由除了所述傳輸路徑以外的單獨的數據路徑收集所述籤名曲線對。在上述方法中，進一步包含根據所述籤名曲線對來計算AV節目的被測的AV延遲的步驟。當結合所附權利要求和附圖閱讀時，本發明的目標、優點和其它的新特徵通過以下詳細的描述變得顯而易見。
圖1描述了按照本發明的測量和校正AV延遲的系統和方法的第一實施例。圖2描述了按照本發明的測量和校正AV延遲的系統和方法的第二實施例。圖3A描述了利用美國專利No. 6751360中所述的方法產生的視頻籤名曲線。圖;3B描述了利用按照本發明實施例的幀差值方法產生的視頻籤名曲線。圖4描述了圖3A的視頻籤名曲線與接收的自身副本的互相關關係以及圖:3B的視頻籤名曲線與接收的自身副本的互相關關係。圖5描述了生成音頻籤名曲線的系統和方法。圖6描述了音頻信號和利用圖5的系統和方法從該音頻信號生成的音頻籤名曲線。圖7描述了計算被測的AV延遲的方法。
具體實施例方式圖1示出了按照本發明的測量和校正AV延遲的系統和方法的第一實施例。AV節目由音頻信號和視頻信號組成。稱為「代理者」的第一裝置105位於始發位置，它在輸入端接收AV節目，在各種實施例中，AV節目可包含音頻/視頻壓縮編碼器輸入等。代理者105 隨後利用處理器(未畫出)處理音頻信號以生成音頻籤名曲線(ASCo)並處理視頻信號以生成視頻籤名曲線(VSCo)。AV節目隨後從始發位置經傳輸路徑100向終點位置傳輸。位於終點位置的第二裝置110(也稱為「代理者」)接收AV節目並且根據接收的音頻信號生成音頻籤名曲線(ASCr)並根據接收的視頻信號生成視頻籤名曲線(VSCr)。可選地，第二代理者110具有內置的、可調整的、串聯的節目音頻和/或視頻延遲(未畫出)。稱為「管理者」的第三裝置120完成下列操作(1)經由單獨的數據路徑115收集來自代理者 105 禾口 110 的 ASCo、VSCo、ASCr 和 VSCr ； (2)根據 ASCo、VSCo、ASCr 和 VSCr 計算由傳輸路徑100導致的AV節目的被測的AV延遲；以及(3)可選地，通過經由單獨的數據路徑115調整代理者110的串聯延遲來校正被測的AV延遲。單獨的數據路徑115是除了傳輸路徑100以外的任何數據路徑。例如，在各種實施例中，單獨的數據路徑115可以是諸如網際網路、私網或專用數據路徑之類的分布式網絡。代理者105和110以及管理者120具有適於經單獨的數據路徑115通信的通信終端(即輸入端和輸出端)。例如在單獨的數據路徑115是網際網路的實施例中，代理者105和110以及管理者120可能各自具有網際網路協議(IP)終端。在一些實施例中，管理者120以運行於遠程個人計算機上的軟體應用程式的方式實現。籤名曲線(SC)是非常簡單的、簡潔的數據集合，遠遠小於其所基於的實際的音頻或視頻數據集合。因此可以非常快速地生成、傳輸和處理SC，為實時AV延遲測量和校正創造了條件。用於本發明目的的SC的關鍵特徵是SC是簡潔的，然而包含了足夠的音頻或視頻時域特徵，有助於按所需的定時解析度作時域對準(temporal alignment)。以下詳細描述具有關鍵特徵的SCs的生成和處理。在一些實施例中，代理者105和110被併入視頻測試和測量裝置，例如可從俄勒岡州比弗頓的特克特朗尼克公司商購的WFM8000系列波形監視器。在其它實施例中，代理者 105和110是用於監視節目音頻和視頻的專用的、獨立的裝置。在一些實施例中，特別是在單獨的數據路徑115是諸如網際網路之類的分布式網絡 (distributed network)時，管理者120以及代理者105和110可以經諸如簡單網絡管理協議(SNMP)之類的協議進行通信。在那些實施例中，管理者120可以「SNMP管理者」的方式實現，並且代理者105和110可以「SNMP代理者」的方式實現。將會理解的是，也可以採用其它的通信協議。圖2示出了按照本發明的測量和校正AV延遲的系統和方法的第二實施例。如同在圖1中的那樣，AV節目由音頻信號和視頻信號組成。位於始發位置的第一裝置205根據音頻信號生成音頻籤名曲線(ASCo)並根據視頻信號生成視頻籤名曲線(VSCo)。音頻信號和視頻信號從始發位置經由傳輸路徑200向終點位置傳輸。位於終點位置的第二設備210 根據接收的音頻信號生成音頻籤名曲線(ASCr)並根據接收的視頻信號生成視頻籤名曲線 (VSCr)。可選地，第二裝置210具有內置的、可調整的、串聯的節目音頻和/或視頻延遲(未畫出)。但是與圖1中的不同，沒有第三裝置充當管理者。代替的是，裝置205或201之一兼具代理者和管理者的作用。在第一裝置205兼具管理者和代理者的作用的實施例中，第一裝置205完成下列操作(1)收集來自第二裝置210的ASCr和VSCr ；⑵根據ASCo、VSCo, ASCr和VSCr計算由傳輸路徑200導致的AV節目的被測的AV延遲；以及(3)可選地，通過調整第二裝置210 的串聯延遲來校正被測的AV延遲。在第二裝置210兼具管理者和代理者的作用的實施例中，第二裝置210完成下列操作(1)收集來自第一裝置205的ASCo和VSCo ；⑵根據ASCo、 VSCo、ASCr和VSCr計算由傳輸路徑200導致的AV節目的被測的AV延遲；以及(3)可選地， 通過調整第二裝置210的串聯延遲來校正被測的AV延遲。在一些實施例中，第一裝置205 和第二裝置210可以改變角色，根據需要起著管理者或代理者的作用。視頻籤名曲線(VSC)的生成在一些實施例中，利用題為「快速視頻時域對準估計」的美國專利 No. 6751360( 「『360專利」)中所述的方法生成VSCs。以下提供該方法的概要。首先計算一組視頻幀範圍內的每個圖像或視頻幀的平均值。mf = mean (Tf)這裡T為圖像或視頻幀，並且f為遍及一組幀的幀記號。接著計算相鄰幀的協方差& :=[ΣΣ[(Τ^ 一叫— mf_i
_ i J_接著，可選地計算歸一化的差值(最大值-最小值)以確定VSC內是否存在足夠的AC能量或時域變化用於確定相對於音頻的對準。
權利要求
1.一種裝置，包含輸入端，用於在沿著傳輸路徑的位置處接收音頻/視頻(AV)節目，該AV節目具有音頻信號和視頻信號；以及處理器，用於處理所述音頻信號以生成音頻籤名曲線，並且用於處理所述視頻信號以生成視頻籤名曲線。
2.如權利要求1所述的裝置，進一步包含輸出端，用於經所述傳輸路徑以外的單獨的數據路徑傳輸所述音頻籤名曲線和視頻籤名曲線。
3.如權利要求1所述的裝置，其中所述處理器包含用於根據所述視頻信號的相鄰幀的協方差生成所述視頻籤名曲線的裝置。
4.如權利要求1所述的裝置，其中所述處理器包含用於根據所述視頻信號的相鄰幀差值的協方差生成所述視頻籤名曲線的裝置。
5.如權利要求1所述的裝置，其中所述處理器包含第一帶通濾波器，用於濾波所述音頻信號的左聲道以生成濾波後的左聲道； 第一包絡檢測器，用於檢測所述濾波後的左聲道的包絡； 第二帶通濾波器，用於濾波所述音頻信號的右聲道以生成濾波後的右聲道； 第二包絡檢測器，用於檢測所述濾波後的右聲道的包絡；加法器，用於將所述濾波後的左聲道的包絡與所述濾波後的右聲道的包絡相加以生成總和；低通濾波器，用於濾波所述總和以生成濾波後的總和；以及採樣器，用於以幀速或場速採樣所述濾波後的總和以生成所述音頻籤名曲線。
6.一種裝置，包含輸入端，用於接收音頻籤名曲線和視頻籤名曲線；以及處理器，用於根據所述音頻籤名曲線和視頻籤名曲線計算音頻/視頻(AV)節目的被測的AV延遲。
7.如權利要求6所述的裝置，進一步包括用於通過調整所述傳輸路徑內的串聯延遲來校正所述被測的AV延遲的裝置。
8.如權利要求6所述的裝置，其中所述處理器通過下列方式計算所述被測的AV延遲 使兩條音頻籤名曲線對準以生成音頻對準偏移量；使兩條視頻籤名曲線對準以生成視頻對準偏移量；以及根據所述音頻對準偏移量和視頻對準偏移量計算所述被測的AV延遲。
9.一種系統，包括一個或多個如權利要求1所述的裝置；以及如權利要求6所述的裝置。
10.如權利要求9所述的系統，其中所述單獨的數據路徑包含分布式網絡。
全文摘要
本發明的實施例提供了以非侵入、「使用中」的方式作AV延遲檢測和校正的系統和方法。這些系統和方法不修改音頻信號或視頻信號，也不依賴於經由傳輸路徑隨音頻信號或視頻信號傳送的任何元數據。代替的是，位於沿傳輸路徑分布的各種位置處的代理者生成音頻信號和視頻信號的非常小的籤名曲線並經除了傳輸路徑以外的單獨的數據路徑將這些曲線傳輸給管理者。管理者根據這些籤名曲線計算由傳輸路徑導致的被測的AV延遲，並且隨後可選地，通過調整傳輸路徑內的串聯延遲來校正被測的AV延遲。
文檔編號H04N17/00GK102244805SQ20101053674
公開日2011年11月16日 申請日期2010年10月25日 優先權日2009年10月25日
發明者D·G·貝克 申請人:特克特朗尼克公司