音頻處理的製作方法
2023-05-19 04:48:06 1
專利名稱：音頻處理的製作方法
技術領域：
本發明涉及處理音頻數據。
眾所周知，使用交換裝置(一般是交叉點交換機)將電視演播室中的視頻和音頻裝置連接在一起。
在未決的英國專利申請0307426.7中，已經提出了一種通過用已知協議諸如網際網路協議(IP)操作的交換區域網(例如乙太網)來連接演播室內的音頻和視頻裝置的系統。
演播室內使用的音頻和視頻裝置包括攝像機、編輯器、音頻混合器、磁帶錄像機(VTR)以及其它示例中的播放交換機。還眾所周知的是，使用監視器觀看正在播放的視頻或在監視器上預覽將用於播放的視頻。
同樣，操作者可以收聽要播放的音頻材料。然而，不同之處在於儘管操作者可有效地在不同屏幕上或以單個屏幕上的平鋪顯示同時觀看幾個視頻監視器，但是操作者不能有效地同時收聽幾個音頻流。為了實現上述情況，需要與該操作者相關的網絡節點處理很大的網絡帶寬，並且聲音的混合結果可能會難以理解。因此，實際上，操作者必須從一個音頻流切換到另一個音頻流，以便監視流內容。
本發明提供了一種可連接到網絡的網絡接口裝置，該裝置配置為接收表示音頻信號的數字音頻數據，並將表示數字音頻數據的數據包基本實時地發送到網絡上，該裝置包括屬性檢測器，配置為產生表示音頻信號屬性的屬性數據；以及打包器，可操作用於·將數字音頻數據格式化為要發送到網絡上的音頻數據包；並
·將屬性數據獨立於音頻數據包格式化為要發送到網絡上的屬性數據包。
本發明還提供了一種可連接到網絡的網絡目標裝置，該裝置可操作用於接收表示音頻信號的音頻數據包，並可操作用於接收攜帶表示音頻信號屬性的屬性數據的屬性數據包；該裝置包括配置為提供表示屬性數據當前值的用戶指示的用戶界面。
本發明認可操作者可希望同時監視幾個音頻流，但是(例如)在廣播情況下，這可能只確保各數據流攜帶某些音頻。
本發明提供了一種用於在網絡源產生表示音頻信號屬性(例如電平)的屬性數據。該屬性數據以獨立於攜帶音頻數據的包的數據包發送到網絡上。因此，網絡接收器可選擇性地只接收攜帶屬性數據的數據包。
在接收器端，最好給操作者一個指示，諸如可視指示，以顯示屬性數據的當前狀態。
該配置提供了幾個優點它使用戶能夠同時監視幾個通道上存在的音頻數據(及其屬性)，並且它允許在該用戶不必接收來自正被監視的每個源的全帶寬音頻數據的情況下實現這種功能。這後一點可顯著降低例如廣播網內的網絡流量。
本發明的其它各方面和特徵在所附權利要求書中定義。
現將參考附圖僅以示例方式來描述本發明的實施例，附圖中
圖1是演播室內網絡的示意性框圖；圖2是顯示通過網絡的數據流的網絡示意性簡圖；圖3是網絡中使用的音頻或視頻包格式的示意圖；圖4示意性示出了ENIC的部分功能；圖5示意性示出了音頻和屬性數據包；圖6示意性示出了屬性數據包；圖7示意性示出了攜帶AES音頻的RTP/BT.656包；
圖8示意性示出了AES音頻有效載荷子包的結構；圖9示意性示出了音頻字的格式；圖10示意性示出了AES音頻控制子包有效載荷的結構；以及圖11示意性示出了部分屏幕顯示。
參考圖1，例如在演播室內建立網絡。該網絡包括多個源組AV裝置，這些裝置由三個攝像機S1到S3、三個磁帶錄像機(VT10)S4到S6、兩個數位訊號處理器(DSP)S7、S8以及兩個僅產生串行數字音頻數據的其它源組S9、S10組成。該網絡還包括一組目標組AV裝置，由視頻交換機D8、一對監視器D2、一對音頻處理器D3、視頻處理器D9以及信號監視器D10組成。
乙太網轉接2影響源組裝置和目標組裝置之間的連接。所有的組裝置S1到S10以及D1、D2、D3、D8、D9、D10通過至少一個增強網絡接口卡(ENIC)NI1到NI12連接到網絡，ENIC不同於標準的網絡接口卡，並且在下文中對其結構和功能進行更詳細描述。
該網絡還包括由第一交換和路由客戶機6、附加交換和路由客戶機61以及網絡管理器4組成的網絡控制配置。用戶可通過由計算機軟體應用產生的圖形用戶界面(GUI)請求網絡虛擬電路交換連接當前設置中的改變，在該配置中其被顯示在與交換和路由客戶機6相關聯的監視器上。然而，在備選配置中，GUI顯示在與網絡管理器4相關聯的監視器上。
該網絡是包括乙太網交換機2的乙太網多播網絡，該乙太網交換機2是異步n千兆位乙太網交換機2，例如n為1或10。連接到乙太網交換機2的是包含源「組」S1到S10、目標「組」D1、D2、D3、D8、D9和D10以及網絡控制配置的網絡節點，在本示例中，其包含網絡管理器4和交換和路由客戶機6、61。
源組定義為諸如攝像機S1或磁帶錄像機(VTR)54的AV裝置，其可操作用於產生或提供用於通過網絡傳輸的音頻和/或視頻數據，該源組具有一個或多個輸入終端和/或一個或多個輸出終端。AV裝置的每個輸入/輸出終端將連接到ENIC NI1到NI12中的一個的埠上。然而，同一AV裝置的不同終端可連接到不同ENIC上，如圖1中源組S1的情況下，該AV裝置設有連接到ENIC NI1上的第一輸出終端以及連接到ENIC NI2上的第二輸出終端。目標組定義為諸如視頻交換機D8、視頻處理器D9或音頻處理器D3的AV裝置，其可操作用於通過網絡接收打包的音頻和/或視頻數據，並在接收的數據上進行處理操作。與源組類似，目標組包括可連接到同一ENIC或不同ENIC不同埠的一個或多個輸入和/或一個或多個輸出。
要理解到，對於網絡上的不同數據交換事件，目標組也可作為源，而源組也可作為目標。例如，VTR S4具有音頻、視頻、狀態和代理源和/或與其相連的目標裝置，並且對於數據交換事件涉及通過網絡從VTR S4上的視頻源裝置向視頻處理器D9輸出數據的情況，VTR S4作為源組。不同的數據交換事件可包括VTR S4從攝像機S1接收數據，該數據已經由網絡通過視頻處理器D9路由，用於由VTRS4進行隨後記錄，在此情況下，在與VTR S4相關聯的目標裝置(ENIC輸入終端)處從網絡接收已處理的視頻數據，以便隨後以串行數字形式提供給VTR S4進行記錄，因此在此情況下VTR S4作為目標組。
當AV裝置本身表示源組S1到S10以及目標組D1、D2、D3、D8、D9、D10時，各組連接到一個或多個ENIC埠。ENIC埠將表示為「源裝置」和「目標裝置」。「源裝置」定義為ENIC輸出埠，其將打包數據輸出到網絡上或向目標組AV裝置輸出串行數字數據，而「目標裝置」定義為ENIC輸入埠，其從網絡接收打包數據或從源組AV裝置輸出終端接收串行數字數據。ENIC的源裝置和目標裝置可與源組(AV裝置)或目標組相關聯，從該源組它們接收用於通過網絡傳輸的數據，而它們將來自網絡的數據傳送到該目標組。網絡管理器4持續追蹤ENIC埠和AV裝置之間的映射。
為了使能夠連接到網絡，各源組S1-S6以及各目標組D1、D2、D3、D8、D9、D10通過至少一個網絡接口卡NI 1到12耦合到乙太網交換機2。這些網絡接口卡專門適於根據本技術通過網絡傳輸音頻和/或視頻數據，並表示為ENIC(增強網絡接口卡)。單個源或目標組可連接到多個ENIC，例如在圖1的配置中，攝像機源組S1連接到兩個不同的ENIC(即，NI1和NI2)。具體地說，源組的源裝置(輸出終端)和目標裝置(輸入終端)的一個子集連接到第一ENIC NI1，而另一個不同子集連接到第二ENIC NI2。各ENIC NI1到NI12可設有多個埠。ENIC的第一子集NI1到NI7的輸入埠直接從源組諸如攝像機SI1到SI3、VTR S4到S6以及DSP SI7、SI8接收數據，並且那些ENIC的輸出埠通過網絡傳輸打包的數據，而ENIC的第二子集NI8到NI12的輸入埠通過網絡接收從其它源組得到的打包數據，而它們的輸出埠向目標組諸如視頻交換機D8和音頻處理器D3提供串行數字音頻和/或視頻數據。
在常規演播室中，源組(例如攝像機)和目標組(例如視頻處理器)通過交叉點交換機連接。常規的交叉點交換機需要將已知特定裝置連接到交換機上相應的已知特定埠，以確保它們能通過交換機連接在一起。通過對比，圖1包括乙太網交換機2的網絡由網絡管理器4以及交換和路由客戶機6來設置，以提供虛擬電路交換連接，該虛擬電路交換連接將交叉點交換機至少仿真到任一個或多個源組可連接到任一個或多個目標組的程度。虛擬電路交換連接通過在圖1配置中使用已知協議、ICMP(網際網路組管理協議)的網際協議(IP)多播網絡的實現來促進。多播網絡使能夠通過網絡從一個源裝置向屬於預定多播組的幾個目標裝置傳輸數據，並且IGMP提供了標識源裝置或目標裝置屬於哪個多播組的方法。每個源裝置和目標裝置分配有標識符，並且預定源裝置標識符和目標裝置標識符與給定的多播地址相關聯，以便定義虛擬連接。不像常規的交叉點交換網絡，在圖1的網絡中，源裝置和目標裝置連接到的乙太網交換機2的實際物理埠不相關，因為使用標識符和多播地址以及相關傳輸協議可靈活指定這些連接。
應該注意的是，在圖1的示例配置中，網絡操作如下單一源裝置應該僅屬於一個不被任何其它源共享的多播組。至少一個目標裝置通過加入源裝置的多播組來接收來自該源裝置的數據。給定目標裝置加入多播組，以便通過發出多播組加入消息來接收來自相關源裝置的數據。網絡控制配置4、6、61通過向目標裝置(即，向其中一個目標組AV裝置的輸入終端或相應ENIC終端)發送控制消息命令該裝置向乙太網交換機2發出加入適當源裝置多播組的請求來啟動各虛擬電路交換連接。多個目標裝置可加入給定多播組，並且乙太網交換機2執行從源裝置傳輸到該多播組的所需數據複製。可由源裝置傳輸到多播組的多個目標裝置的數據包括視頻數據、音頻數據、時間碼數據或狀態數據。
ENIC允許在多播網絡中使用未設計用於多播網絡的任何源組(例如攝像機)和任何目標組(例如VTR)。ENIC是可被請求來提供並接收音頻、視頻以及控制數據流的「無聲」裝置。ENIC不能觀看或啟動網絡設置的任何變化。相反，網絡管理器4控制給定ENIC可預訂哪個(或哪些)多播組，並指導ENIC向乙太網交換機2發出請求，以加入這些多播組。雖然，在圖1的配置中，ENIC NI1到NI12是與源組及與其相關聯的目標組AV裝置截然不同的實體，要理解到，在備選配置中，ENIC的功能性可集成在AV裝置中。
每個ENIC具有相關乙太網地址和IP位址。乙太網地址是在LAN中指定物理地址的48位值，而IP位址(例如在IPv4中)是標識網際網路上基於包的信息的每個發送器或接收器的32位值。乙太網地址通常不同於IP位址，但兩種地址可例如使用地址解析協議(ARP)彼此映射。IP位址需要使乙太網交換機2能夠向ENIC並從ENIC路由數據。使用多播地址和用戶數據報協議(UDP)埠號標識與ENIC相關的各數據流。UDP是與IP一起通過網絡傳遞數據通信的傳輸層協議。UDP提供埠號，以區別不同的事務請求(IP不提供這種服務)。在本實施例中，單個IP位址與各ENIC相關聯。然而，在備選實施例中，多個IP位址可與單個ENIC相關聯。除了乙太網地址和IP位址，ENIC還設有相關ENIC標識符(ID)以及與ENIC相關聯的各目標裝置和源裝置的多個埠ID。與各ENIC相關聯的所有地址和ID都由網絡管理器4記錄。源裝置和目標裝置(即，網絡節點裝置S1-S8和D1、D2、D3、D8、D9、D10的各輸入和輸出)與ENIC的一個或多個物理輸入和輸出分別對應。ENIC作為將從交換機2接收的數據交換到ENIC的指定物理輸出並將數據從指定物理輸入交換到交換機2的交換機。
使用乙太網交換機2實現的網絡是異步的。然而，視頻和音頻數據需要同步處理。例如為了編輯，ENIC通過網絡提供同步操作並對準不同視頻流的幀。連接到網絡的視頻和音頻裝置(即，源組和目標組)以串行數字數據操作，例如使用用於數字視頻分量接口的數字標準串行數字接口(SDI)或用於音頻數據的音頻工程學會(AES)數字音頻標準。ENIC在傳輸端將來自源裝置的數據從SDI或AES串行數字格式轉換成適於通過網絡傳輸的打包格式，具體地說，轉換成多播UDP/IP數據包。在接收端，ENIC將從網絡接收的多播UDP/IP數據包轉換成適於傳遞到目標裝置的串行數字數據格式。
ENIC提供的另一功能是所謂「代理」操作。ENIC從全解析度視頻流中產生「代理視頻」所表示的下降解析度視頻流。代理視頻是相應全解析度視頻信息的帶寬減小版本，並同樣適於由具有受限存儲容量和/或處理能力的網絡客戶機進行處理，或適用於預覽通過網絡下載的信息內容。同樣，ENIC產生所謂的「代理音頻」。儘管這可以是音頻信號的位速率降低版本，但在本實施例中，該術語用於指的是表示音頻信號屬性諸如音頻信號電平的數據。代理音頻生成將在下文進行更詳細描述。
在源或目標是視頻數據存儲在(例如)硬碟驅動器上的聯網視頻伺服器或客戶機的情況下，與該源/目標相關聯的ENIC可作為以視頻幀形式存儲在伺服器上的數據與在網絡上傳輸數據的打包格式之間的接口。因此，對於從本地硬碟讀取的輸出欄位或幀，ENIC將執行轉換成打包形式。對於輸入欄位或幀，ENIC將執行從打包形式到準備存儲在硬碟上的欄位或幀的轉換。
但是除視頻功能之外，ENIC還能作為常規網絡接口卡操作。因此，可處理輔助異步數據，諸如電子郵件業務，以及同步音頻和視頻業務。通常，配置ENIC，以便給同步業務優先權，但這仍將在要處理的異步包的音頻和視頻包之間留有間隙。
網絡管理器4與交換和路由客戶機6、61合作，以形成這樣的網絡控制配置可操作用於向音頻和視頻源裝置分配多播組標識符，並指令目標裝置向乙太網交換機2發出請求以加入特定多播組，以便接收來自相應源裝置的數據。網絡管理器4保存網絡當前狀態的信息以及啟動對裝置配置或對源自網絡管理器4的網絡連接的改變的所有指令。在圖1的配置中，網絡管理器是通過標準網絡接口卡連結到網絡的個人計算機(PC)。在備選配置中，網絡管理器例如可以是可包括不只一個網絡管理器的工作站和網絡控制配置。
網絡管理器4保存指定網絡配置的資料庫。在圖1的配置中，資料庫存儲在與網絡管理器4相同的PC上，但在備選配置中，該資料庫可存儲在至少一個不同的PC上。對於每個ENIC，資料庫記錄相關乙太網地址、IP位址、ENIC ID以及通過該ENIC目前連接到網絡的源裝置和目標裝置(網絡節點裝置的輸入和輸出)。
網絡管理器4還執行以下功能將網絡資源分配給交換和路由客戶機6、61，並分配給ENIC NI1到NI12；向目標裝置發送命令，以向乙太網交換機2發出請求以加入指定多播組，由此改變通過網絡的音頻和/或視頻虛擬電路交換連接；並確保網絡的各交換和路由客戶機6、61試圖(view)是正確的。
為了將音頻和視頻數據流從源裝置發送到目標裝置，傳輸層是UDP多播。在UDP包內以實時協議(RTP)格式(例如所謂的BT.656格式，見參考1)攜帶音頻和視頻數據。這適用於音頻數據、全解析度視頻和低解析度代理視頻。
RTP提供支持實時業務的功能，即，需要在目標應用中時間靈敏再現的業務。由RTP提供的服務包括有效載荷類型標識(例如，視頻業務)、序列編號、時間戳記和傳遞監控。如果由基礎網絡提供，則RTP支持通過多播分布向多個目標傳送數據。RTP序列號使接收器可以重建原始包序列。該序列號還可用來確定包的適當位置。RTP不提供任何確保及時傳送的方案，也不提供其它服務質量保證。
當ENIC從網絡管理器4接收AVSCP交換請求時，ENIC向乙太網交換機2發送IGMP加入消息，以加入它需接收的數據的多播組。
在UDP多播上使用RTP通過網絡傳送AV代理流。交換和路由客戶機6可選擇接收用於監視目標的代理視頻，並作出關於虛擬電路交換連接的通知交換決定。在圖2的配置中，只有交換和路由客戶機6接收代理視頻流，但是ENIC NI1(與「攝像機1」S1源組相關聯)、NI2(與「攝像機2」S2源組相關聯)和NI8(與視頻交換機D8目標組相關聯)都可操作用於輸出代理視頻數據流。源組和目標組裝置諸如攝像機、VTR和視頻處理器的用戶可能想在音頻和/或視頻數據流的基礎上作出編輯決定，並且由於這個原因產生了AV代理流。儘管有幾種通過網絡使用RTP的已知視頻格式流視頻數據，但這些已知方法涉及視頻數據的強壓縮。引入重要的延遲周期(即，大於一場)的視頻壓縮方法不適用於可能使用根據本技術的網絡的演播室攝製環境。此外，在攝製環境中，有可能多個AV數據源將必須在屏幕上基本同時顯示，這會給數據處理器增加過重負擔以對多個數據流解壓縮，可能需要硬體加速。因而，以未壓縮子採樣數據流形式產生視頻代理，而不是壓縮數據流(例如，QCIF(176或180採樣×144行)；16位RGB；每秒25幀；用水平和垂直濾波的子採樣；以來自每行源625行×1440採樣的每秒15.2兆位；或來自1440採樣源的525行的(180採樣×120行)。
參考圖3，音頻和視頻數據格式按順序包括乙太網標題、IP多播標題、UDP標題、RTP標題、指定有效載荷類型的欄位、有效載荷以及CRC(循環冗餘校驗)欄位。乙太網標題包括源乙太網地址和目標多播乙太網地址。IP多播標題包括源ENIC IP位址和目標裝置多播IP位址。有幾個不同的IP位址類別，例如，類別A具有分配給網絡ID的前8位和分配給主機ID的剩餘24位，而類別B具有分配給網絡ID的前16位和分配給主機ID的剩餘16位。類別D IP位址用於多播。類別D網絡地址的最左4位總是以二進位模式1110開始，對應於十進位數224到239，並且剩餘28位分配給多播組ID。IGMP與多播和類別DIP位址結合使用。
收聽特定IP多播地址的一系列主機(即，源和/或目標裝置)被稱為主機組。主機組可跨越多個網絡，並且主機組的成員資格是動態的。類別DIP位址映射到乙太網地址，以使多播組ID的(28位的)低階23位拷貝到乙太網地址的低階23位。因此，多播組ID的5位不用於形成乙太網地址。結果，IP多播地址和乙太網地址之間的映射不是唯一的，即，32位不同的多播組ID映射到同一乙太網地址。
UDP標題包括源和目標埠號，該埠號一般與目標裝置上的特定應用相關聯。注意，在多播消息的情況下，UDP是多餘的，因為在此情況下多播組地址標識流/內容。使用RTP協議傳輸音頻/視頻流。前向糾錯(FEC)可用於特定數據流，例如全解析度視頻流，以提供保護電平防止由於網絡錯誤的數據破壞。使用提供FEC的已知RTP有效載荷格式提供FEC。FEC是基於奇偶校驗的錯誤保護方案。
已知的RTP協議的擴展允許在RTP有效載荷標題中指定視頻掃描線數。RTP標題還包括指定是否存在8位或10位視頻的欄位。雖然已知的RTP和RTP/FEC協議格式提供了在IP網絡上傳輸音頻和視頻數據所需的數據包欄位，但還希望傳輸附加的信息，諸如源狀態和源時間碼信息。例如，如果源裝置是VTR，則存儲在帶上的時間碼應該通過網絡傳送。源狀態信息例如可指示VTR是否正在播放、停止或處於輕推/梭動(jog/shuttle)模式。該狀態信息使用戶可以從遠程網絡位置操作VTR。由於每個欄位僅一次需要時間碼數據和源狀態信息，因此以標記為垂直消隱的RTP包傳輸該信息。為了使音頻和視頻可以再次同步，RTP時間碼以27MHz時鐘為基礎。有效載荷類型欄位包括指示有效載荷類型的數據，即，視頻或音頻數據。有效載荷欄位包括要傳輸的視頻或音頻數據。CRC是本領域公知的循環冗餘校驗。
在本示例中，希望形成數據通信路徑，以通過網絡將AES音頻數據從源組S9傳輸到音頻處理器D3。AES音頻數據將由ENIC NI6打包，通過網絡發送，並在以串行數字格式傳送到音頻處理器D3之前由ENIC NI10接收並拆包。用戶可通過與由交換和路由客戶機6顯示的GUI相互作用來促成音頻源S9和音頻處理器之間的連接。
為了建立音頻源組S9和音頻處理器D3之間的通信路徑，交換和路由客戶機6向網絡管理器4的預定埠發送CNMCP交換請求消息，以啟動對虛擬電路交換連接當前配置的改變。網絡管理器4向交換和路由客戶機6發送CNMCP消息，提供關於可用於它的源裝置和目標裝置(及關聯源組和目標組)的信息。這使交換和路由客戶機6能夠得出指定網絡當前配置和狀態的視圖。每個源裝置和目標裝置具有由網絡管理器在與交換和路由客戶機6的通信中分配的相關ID，並且該裝置ID由交換和路由客戶機6在與網絡管理器的隨後通信中使用。響應於用戶請求將S9連接到D3，交換和路由客戶機6向網絡管理器4發送包含相關源裝置ID和目標ID的CNMCP消息。
在交換和路由客戶機6不允許執行該操作的情況下(例如，如果沒有足夠的網絡帶寬可用於形成可靠連接)，則網絡管理器4響應連接請求向交換和路由客戶機6發送NACK(否定應答)CNMCP消息。另一方面，如果網絡管理器4允許建立該連接，則連接請求將按如下方式處理。
首先，網絡管理器4詢問其網絡配置資料庫，以確定來自源組S9的AES音頻數據目前正傳輸到哪個多播IP位址。隨後，由網絡管理器4創建包含S9傳輸到的多播IP位址的AVSCP交換消息，並將其發送到ENIC NI10的相關埠(裝置)，ENIC NI10將音頻處理器D3連接到網絡上。ENIC NI10上的嵌入軟體將IGMP加入消息發送到S9的音頻數據傳輸到的多播IP位址，並隨後將AVSCP ACK消息發送回網絡管理器。這使ENIC NI10能夠接收一個其目標裝置上的音頻源S9的輸出，並且ENIC NI9將接收的音頻數據路由到連接到音頻處理器D3的源裝置(ENIC AES輸出埠)。期間，已從應答已經接收到加入指定多播IP位址的指令的ENIC NI10接收到AVSCP ACK消息的網絡管理器4將更新網絡配置資料庫中的路由信息，以反映新形成連接的存在。最後，網絡管理器4將CNMCP ACK消息發送到交換和路由客戶機6，指示在S9和D3之間已成功建立了請求的音頻數據連接。
在本操作示例中，圖1源組中的兩個連接到單一目標組上。更具體地說，『攝像機1』S1和『攝像機2』S2的輸出作為輸入提供給視頻交換機D8。為了啟動S1和D8間以及S2和D8間的連接，交換和路由客戶機6向網絡管理器4發送CNMCP交換消息，該消息包含與『攝像機1』S1、『攝像機2』S2和視頻交換機D8相關的ID值。
再提一次，網絡管理器4的網絡配置資料庫還存儲與各ENIC裝置類別相關的數據。更具體地說，網絡配置資料庫存儲指示各源裝置是否連接的數據、數據流延遲傳輸的視頻線的數量以及源裝置的當前傳輸狀態。網絡管理器4還從資料庫中獲得有關目標裝置的信息，包括實現裝置的ENIC IP位址和延遲播放的視頻線數量。
從網絡配置資料庫中，網絡管理器4能確定每一個攝像機源S1、S2將數據傳輸到的多播IP位址。因而，為了建立兩個攝像機S1、S2和視頻交換機D8之間的連接，網絡管理器4向ENIC NI8傳送AVSCP消息，指定『攝像機1』傳輸AV數據的多播IP位址和『攝像機2』傳輸AV數據的多播IP位址。這兩個攝像機中的每一個輸出的AV包由ENIC NI8的網絡處理器20接收。每一個接收的視頻包在其標題數據中指定目標IP位址，並從該IP位址導出AV包去往的多播組。ENIC NI8從多播組中確定打包的AV數據應路由到ENIC NI8的哪個輸出埠(源裝置)。如上所述，多播組確定數據包應路由到網絡中目標裝置的哪個子集。
因而，除來自『攝像機1』和『攝像機2』的AV數據流之外，視頻交換機D8還接收來自ENIC NI8的控制數據。該控制數據由交換和路由客戶機6(圖1)作為單播控制數據發送，其由ENIC NI8以打包形式經網絡接收。單播控制數據具有將其標識為控制包的標題。該控制數據可指令視頻交換機D8將其輸出從一個AV流交換到另一AV流，即，從『攝像機1』到『攝像機2』。
圖4示意性示出了ENIC的部分功能性。關於要描述的功能性，ENIC包括多路分解器100、時鐘發生器、電平檢測器120、峰值保持鎖存器130和打包器140。然而，要理解的是，ENIC包括與本描述無關並在圖4中未顯示的其它部件。
多路分解器100根據標準SMPTE 259M接收所謂的SDI視頻。它拆解SDI流，以移除傳送到打包器140的嵌入式音頻數據ASDI。可選地，多路分解器100能從SDI流中產生獨立的視頻流V，該視頻流也傳送到打包器140。
SDI流本身也傳送到打包器140，並且獨立的AES音頻流AAES是圖4所示要傳送到打包器140的第四信號。
電平檢測器120用來檢測兩個音頻流ASDI和AAES的音頻電平。對於每個音頻流，它例如可產生兩個獨立的電平值(一個用於左通道，一個用於右通道)或依賴於(例如)兩個通道之間平均值或峰值的合成音頻電平。關於兩個音頻流ASDI和AAES的檢測音頻電平被傳送到峰值保持鎖存器130。這存儲了所接收的峰值(就各電平信號而言)，因為鎖存器持續復位。從時鐘發生器100接收的幀同步脈衝使當前存儲的峰值由峰值保持鎖存器130輸出，並還復位峰值保持鎖存器，以使其相對於後續幀周期獲得新的峰值。因此，峰值保持鎖存器130在每個幀周期輸出一次關於前面幀周期中峰值電平的峰值音頻電平值。該峰值電平值被傳送到打包器140。
當然，可使用其它周期，諸如欄位周期，乃至隨機或偽隨機周期。由於在接收端數據顯示通常以該速率更新，因此幀周期特別有用。
電平檢測器可以其它方式操作。例如，可檢測特定頻帶(例如，20-500Hz；500Hz-2kHz；2kHz以上)的電平，並將其發送到網絡上，以便在接收器端(見下文)可產生圖形顯示，以每個通道或通道間平均的方式示出可通過不同頻帶顯示的能量分布。或可產生電平變化的檢測。或可產生指示在多個幀周期上音頻電平是否一致的指示器。當然，可產生這些情況的各種組合。
另一功能(在圖4中未示出)是產生如上所述的代理視頻。
打包器130產生表示SDI流的包、表示代理數據的包(包括代理視頻包和電平(屬性)數據包)、下面將進一步描述的音頻包以及可選地視頻包(即，沒有嵌入音頻分量的SDI流的視頻分量)。這些包被發送到具有上述適當多播地址的網絡上。
在另一備選實施例中，AES音頻可被代入SDI包，代替SDI音頻。
多音頻流的一個特定應用是在多種語言的情況下。
圖5和圖6示意性示出了可攜帶音頻屬性數據的兩種可能方式。更具體地說，圖5示意性示出了視頻和屬性數據包，而圖6示意性示出了屬性數據包。在每種情況下，以圖3所示的相似方法提供各種標題。在圖5的情況下，標題後面是可以是全位速率視頻數據或更有用的代理(降低的位速率)視頻數據的視頻數據。隨後提供屬性數據，並且最後CRC代碼提供出錯防止。在圖6的情況下，標題後面僅僅是當前幀周期和音頻通道的屬性數據。
攜帶音頻屬性數據的包通過如下方式與相應視頻或音頻流相關聯(a)作為視頻包的一部分；或(b)作為到要與相應視頻或音頻流的多播組相關聯的客戶機6和/或網絡管理器4記錄的多播組的廣播。與屬性數據相關的多播組與攜帶相應音頻信號的組不同。
要理解到，通過單獨傳輸屬性數據，或通過將其作為視頻包的一部分傳輸，可從全帶寬音頻數據中單獨接收屬性數據。
圖7示意性示出了攜帶從AAES流、ASDI流或二者中導出的音頻數據的RTP/BT.656包。欄位如下V RTP版本號；當前值為2P 填充位如果設置，則包包含一個或多個附加填充字節X 擴展位如果設置，則固定標題後面是一個標題擴展CC CSRC標識符數(見下文)M 標記位改變解釋，但可用於標記諸如幀分界的重要事件PT 有效載荷類型標識RTP有效載荷的AV格式對於發送的每個RTP包，序列號增加1，因此接收器可使用它檢測包損耗，並恢復包序列。如果RTP包周期性產生，則時間戳被設為經過的AV採樣時鐘報時信號數。
同步源(SSRC)標識符是隨機選擇的值，這意味著在特定RTP對話中是全球唯一的。如果參與方在一個RTP對話中例如從獨立的視頻攝像機中產生多個流，則每個必須被標識為不同的SSRC。供給源(CSRC)標識符僅存在於具有多個供給源的混合AV流內。
下列欄位形成BT.656包標題的一部分，其作為擴展欄位附加到RTP包標題上F F＝0表示掃描線屬於幀的第一欄位；F＝1表示第二欄位V V＝1表示該掃描線是垂直消隱的一部分TYPE(類型)這表示有效載荷內幀編碼類型。例如，在PAL系統中，(13.5MHz採樣速率；每線720個採樣；每秒50場；每幀625線)，類型＝1。
P P指出所需的採樣量化大小。P＝0表示有效載荷包括8位採樣。否則，採樣是10位。在10位視頻的情況下，線長度將超過允許的最大包大小，並且因此線必須分割在兩個包上。
Z 保留掃描線可從1到625變化，包括1和625。掃描偏移欄位用於允許在多個包上分割掃描線。至於音頻信號，掃描線表示在該包內包含的音頻信號部分的排序。
接著是音頻有效載荷。下面將描述音頻有效載荷的格式。
圖8示意性示出了AES音頻有效載荷子包結構。
每個子包從包括以下欄位的32位標題開始DID(數據ID) 匹配在串行數字(SDI)視頻中發現的音頻數據包、擴展數據包和音頻控制包DID。音頻數據包DID指示子包有效載荷僅包含音頻數據包數據，並且對於該包不存在相關的擴展數據包數據。擴展數據包DID指示子包有效載荷包含音頻數據包及其相關的擴展數據包數據。音頻控制包DID指示子包有效載荷包含音頻控制包數據。00h的DID指示音頻有效載荷的末端。下表概況了DID的使用。
有效載荷大小 指示以32位字的有效載荷大小。
通道對1運行計數對於音頻數據子包或音頻數據擴展數據子包，這是由除了在後續有效載荷中那些以外的DID指示的音頻組的通道對1總數的滾動計數。對於控制數據子包，這是由DID指示的組的控制數據子包的總數的滾動計數。
通道對2運行計數對於音頻數據子包或音頻數據擴展數據子包，這是由除了在後續有效載荷中那些以外的DID指示的音頻組的通道對2總數的滾動計數。對於控制數據子包，這不使用，並設為0。
圖9示意性示出了音頻字的格式。
由於AES音頻組包括1或2通道對(見SMPTE272M段3.9)，因此AES音頻組子包有效載荷包含偶數個音頻字。每個音頻字都保存在圖9所示的32位存儲器中。
CH 標識音頻組內的音頻通道Z 標識通道狀態塊的開始V AES採樣有效位
U AES用戶位C AES通道狀態位格式化AES音頻控制子包有效載荷，如圖10示意性所示。對於該有效載荷內容的描述參見SMPTE272M的14節。
圖11示意性示出了部分屏幕顯示，這例如可在交換和路由客戶機6的GUI上或備選地在信號監視器D10提供的GUI上看到。在圖11的示例中，三個視頻流顯示為平鋪式圖像200。這些可以是全帶寬(未壓縮)視頻的表示，但更可能表示代理視頻圖像。在這種圖像旁，顯示有從接收的屬性數據(其可在沒接收相應全帶寬視頻信號的情況下接收)中導出的電平指示210。這在每個幀周期更新一次以便顯示，並提供每個幀周期中峰值音頻電平的示意性顯示。因此，當用戶看見音頻電平以正常方式上升或下降時，用戶可再次確保正在處理與音頻通道有關的真實音頻信號。音頻電平指示可以是立體聲對形式，如圖11左上部示意性顯示的；或可以是形成兩個立體聲通道(或關於單聲道)平均值的單一指示，如圖11右上部所示；或可以是每個通道多個頻帶的圖形顯示，如圖11右下部示意性顯示的。本領域技術人員要理解到，可選擇顯示形式來適合電平檢測器產生的數據形式。
參考1.BT.656視頻編碼的RTP有效載荷格式，D.Tynan，(Claddaghfilms)RFC2431，1998年10月。
權利要求
1.一種可連接到網絡的網絡接口裝置，所述裝置配置為接收表示音頻信號的數字音頻數據，並將表示所述數字音頻數據的數據包發送到所述網絡上，所述裝置包括屬性檢測器，配置為產生表示所述音頻信號屬性的屬性數據；及打包器，可操作用於·將所述數字音頻數據格式化成要發送到所述網絡上的音頻數據包；並·將所述屬性數據獨立於所述音頻數據包格式化成要發送到所述網絡上的屬性數據包。
2.如權利要求1所述的裝置，其中所述屬性表示所述音頻信號的電平。
3.如權利要求1或2所述的裝置，配置為將所述音頻數據包和所述屬性數據包作為各自獨立的多播組發送到所述網絡上。
4.如權利要求1-3中任一項所述的裝置，其中所述屬性檢測器配置為在周期間隔內產生表示屬性的屬性數據。
5.如上述權利要求中任一項所述的裝置，其中所述數字音頻數據與表示具有圖片重複周期的視頻信號的數字視頻數據相關聯；所述屬性檢測器配置為在每個連續圖片重複周期內至少產生一次所述屬性數據。
6.如權利要求5所述的裝置，其中所述圖片重複周期是幀重複周期。
7.如權利要求5所述的裝置，其中所述圖片重複周期是場重複周期。
8.如權利要求5-7中任一項所述的裝置，其中所述數字音頻數據由所述裝置作為攜帶所述數字視頻數據和所述數字音頻數據的合成數據流的一部分來接收。
9.如權利要求8所述的裝置，包括數據轉換器，用於將所述合成數據流的所述數字音頻數據轉換成要作為音頻數據包發送到所述網絡上的獨立數字音頻數據；其中所述打包器可操作用於將所述數字視頻數據格式化成要發送到所述網絡上的視頻數據包。
10.如權利要求8所述的裝置，其中所述打包器可操作用於將所述合成數據流格式化成要發送到所述網絡上的合成數據包。
11.一種可連接到網絡的網絡目標裝置，所述裝置可操作用於接收表示音頻信號的音頻數據包，並可操作用於接收攜帶表示所述音頻信號屬性的屬性數據的屬性數據包；所述裝置包括配置為提供表示所述屬性數據當前值的用戶指示的用戶界面。
12.如權利要求11所述的裝置，其中所述用戶界面包括用於產生在顯示屏上顯示的表示所述屬性數據當前值的可視指示的部件。
13.如權利要求12所述的裝置，包括顯示屏。
14.如權利要求11-13中任一項所述的裝置，其中所述屬性數據表示所述音頻信號的電平。
15.如權利要求11-14中任一項所述的裝置，其中所述屬性數據表示在周期間隔內的屬性值。
16.如權利要求11-15中任一項所述的裝置，其中所述裝置可選擇性地操作用於接收所述屬性數據包，但不接收所述音頻數據包。
17.如上述權利要求中任一項所述的裝置，所述裝置可操作用於基本實時地將所述音頻包發送到所述網絡上。
18.一種數據網絡，包括一個或多個如權利要求1-10中任一項所述的裝置；一個或多個如權利要求11-16中任一項所述的裝置；以及在所述裝置之間提供數據通信的網絡。
19.一種網絡接口裝置，可連接到網絡並可操作用於接收攜帶數字視頻數據和數字音頻數據的合成數據流；所述裝置包括數據轉換器，用於將所述合成數據流的所述數字音頻數據轉換成獨立的數字音頻數據；打包器，可操作用於·至少將所述合成數據流的所述數字視頻數據格式化成要發送到所述網絡上的視頻數據包；以及·將所述獨立數字音頻數據格式化成要發送到所述網絡上的音頻數據包。
20.如權利要求19所述的裝置，其中所述打包器可操作用於將所述合成數據流格式化成要發送到所述網絡上的合成數據包。
21.如權利要求19或20所述的裝置，配置為接收AES音頻流；所述打包器可操作用於將所述獨立數字音頻數據和所述AES音頻流格式化成要發送到所述網絡上的音頻數據包。
22.一種操作可連接到網絡的網絡接口裝置的方法，所述裝置配置為接收表示音頻信號的數字音頻數據，並將表示所述數字音頻數據的數據包基本實時地發送到所述網絡上，所述方法包括以下步驟產生表示所述音頻信號屬性的屬性數據；將所述數字音頻數據格式化成要發送到所述網絡上的音頻數據包；以及將所述屬性數據獨立於所述音頻數據包格式化成要發送到所述網絡上的屬性數據包。
23.一種操作可連接到網絡的網絡目標裝置的方法，所述裝置可操作用於接收表示音頻信號的音頻數據包，並可操作用於接收攜帶表示所述音頻信號屬性的屬性數據的屬性數據包；所述方法包括如下步驟提供表示所述屬性數據當前值的用戶指示。
24.一種操作可連接到網絡並可操作用於接收攜帶數字視頻數據和數字音頻數據的合成數據流的網絡接口裝置的方法，所述方法包括以下步驟將所述合成數據流的所述數字音頻數據轉換成獨立的數字音頻數據；至少將所述合成數據流的所述數字視頻數據格式化成要發送到所述網絡上的視頻數據包；以及將所述獨立數字音頻數據格式化成要發送到所述網絡上的音頻數據包。
25.具有程序代碼的計算機軟體，用於執行如權利要求22-24中任一項所述的方法。
26.一種提供介質，提供如權利要求25所述的軟體。
27.如權利要求26所述的介質，所述介質為存儲介質。
28.如權利要求26所述的介質，所述介質為傳輸介質。
29.一種攜帶表示數字音頻信號屬性的數據的數據包，在比所述數字音頻信號的採樣周期長的周期上檢測所述屬性。
全文摘要
一種可連接到網絡的網絡接口裝置，該裝置配置為接收表示音頻信號的數字音頻數據，並將表示數字音頻數據的數據包基本實時地發送到網絡上，該裝置包括屬性檢測器，配置為產生表示音頻信號屬性的屬性數據；以及打包器，可操作用於將數字音頻數據格式化為要發送到網絡上的音頻數據包，並獨立於音頻數據包將屬性數據格式化為要發送到網絡上的屬性數據包。
文檔編號H04N7/24GK1768374SQ200480008912
公開日2006年5月3日 申請日期2004年3月31日 優先權日2003年3月31日
發明者M·康普頓 申請人:索尼英國有限公司