一種IP視頻超低延時傳輸方法及裝置與流程
2023-07-31 19:38:21
本發明涉及ip視頻信號傳輸系統領域，尤其涉及一種ip視頻超低延時傳輸方法及裝置。
背景技術：
ip視頻信號傳輸系統功能是用來實現視頻信號以ip信號的形式在網絡中傳輸，從源端傳送到目的端。相對於傳統的dvi線纜傳輸，其優點體現在：信號源靈活接入系統；傳輸距離不限制；視頻信號可在任何地方呈現。
典型的ip視頻信號傳輸系統由以下組件構成：採集、編碼、傳輸、解碼、顯示。採集組件負責採集外部的視頻信號，例如採集電腦輸出視頻信號。編碼組件負責將採集到的視頻數據進行壓縮編碼。傳輸組件負責將壓縮後的數據發送出去，經傳輸介質，到達目的端。解碼組件負責將傳輸的數據進行解碼。顯示組件負責將解碼後的視頻信號顯示出來。所有組件基於串行化的方式工作，各組件數據流傳遞基於上一級組件推送的方式。
衡量ip視頻信號傳輸系統的指標包括：圖像還原度、傳輸延時、傳輸帶寬等。在某些交互應用場景，例如視頻會議系統、ipkvm等。在視頻會議系統應用，互相交互多個會議場景的音視頻數據經網絡傳輸，在目的端呈現。傳輸延時是衡量視頻會議系統的一個關鍵指標參數。假如傳輸延時過大，會引起會議交互的響應過慢，使得溝通效率變低，更嚴重是引起參與視頻會議者不適。ipkvm是一種遠程控制電腦的技術，使得用戶可以在任意部署了控制節點的地方，遠程控制需要控制的電腦，解決了傳統的要在本地控制電腦的限制，大大的提高電腦使用的靈活性。傳輸延時也是一個衡量ipkvm系統關鍵指標參數，低延時使得用戶在遠程控制電腦，與本地的體驗感一樣。高延時使得用戶在遠程控制電腦時，有滯後感，影響用戶使用。
ip視頻信號傳輸系統由採集、編碼、傳輸、解碼、顯示組件構成。每個組件處理都需要時間，會引入延時的問題。傳輸系統的總延時等於這幾個組件各自延時的累加和。減少傳輸系統的總延時，分別減少每個組件的處理延時一種方案。下面是幾種常見的減少總延時的方案：1.只編碼i/p幀，不包括b幀。因為b幀編碼採用前後預測的方式，需緩存更多的圖像數據幀，帶來較大的延時。2.利用漏桶算法控制目標碼率。採用動態變化碼率的方式，使得碼流數據總體較小，適用於存儲的應用，但是會使得延時增大。所以，採用常量碼流的控制方式，碼流輸出穩定，延時較小。3.利用編解碼糾錯功能。ip信號在傳輸過程中，避免不了有丟包，數據錯誤等問題，在解碼器處理這些異常的碼率時，會耗費較多時間，引起延時過大。所以，在編碼器使能糾錯功能，當傳輸有異常發生時，解碼器可迅速修復錯誤，使得處理時間較短，延時較小。以上是一些常見的縮短傳輸系統延時的方法，從根本上來講，沒有一個較大的改善。所以，需要有一種方法，能夠較大的改善傳輸的延時，使得傳輸延時控制在小於60毫秒。
因此，提供一種能從根本上、較大地改善ip視頻傳輸延時的方法及裝置為本領域技術人員需要解決的技術問題。
技術實現要素：
本發明實施例提供了一種ip視頻超低延時傳輸方法及裝置，從根本上、較大地改善ip視頻傳輸延時。
本發明實施例提供了一種ip視頻超低延時傳輸方法，包括：
獲取到圖像幀後，將所述圖像幀劃分為m個圖像片；
對所述圖像片進行採集、編碼、解碼和顯示；
其中，m≥2。
優選地，與所述圖像幀對應的視頻信號幀率為30fps。
優選地，所述圖像片的行數n，n為16的倍數。
優選地，所述對所述圖像片進行採集、編碼、解碼和顯示具體為：
按行數接收與所述圖像片對應的圖像數據，得到行數為n的所述圖像片；
通過編解碼算法對所述圖像片進行壓縮操作得到輸出碼流數據；
通過所述編解碼算法對所述輸出碼流數據進行解壓操作得到解壓後的圖像片；
顯示所述解壓後的圖像片。
優選地，所述編解碼算法為h.261或h.263或h.264或h.265。
優選地，本發明實施例還提供了一種ip視頻超低延時傳輸裝置，包括：
劃分模塊，用於獲取到圖像幀後，將所述圖像幀劃分為m個圖像片；
傳輸模塊，用於對所述圖像片進行採集、編碼、解碼和顯示；
其中，m≥2。
優選地，與所述圖像幀對應的視頻信號幀率為30fps。
優選地，所述圖像片的行數n，n為16的倍數。
優選地，所述傳輸模塊包括：
採集單元，用於按行數接收與所述圖像片對應的圖像數據，得到行數為n的所述圖像片；
編碼單元，用於通過編解碼算法對所述圖像片進行壓縮操作得到輸出碼流數據；
傳輸單元，用於從所述編碼單元獲取到所述輸出碼流數據，並將所述輸出碼流數據發送至解碼單元。
所述解碼單元，用於通過所述編解碼算法對所述輸出碼流數據進行解壓操作得到解壓後的圖像片；
顯示單元，用於顯示所述解壓後的圖像片。
優選地，所述編解碼算法為h.261或h.263或h.264或h.265。
從以上技術方案可以看出，本發明實施例具有以下優點：
本發明實施例提供了一種ip視頻超低延時傳輸方法及裝置，其中，該ip視頻超低延時傳輸方法包括：獲取到圖像幀後，將所述圖像幀劃分為m個圖像片；對所述圖像片進行採集、編碼、解碼和顯示；其中，m≥2。本發明實施例通過對圖像幀進行拆分得到多個圖像片，再對圖像片進行傳輸從而實現了對傳輸延時的改進，提高了傳輸系統的處理效率，並實現了傳輸系統的超低延時。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其它的附圖。
圖1為本發明實施例提供的一種ip視頻超低延時傳輸方法的流程示意圖；
圖2為本發明實施例提供的一種ip視頻超低延時傳輸方法的另一流程示意圖；
圖3為本發明實施例提供的一種ip視頻超低延時傳輸裝置的結構示意圖；
圖4為典型的ip視頻傳輸系統的結構示意圖；
圖5和圖6為典型的ip視頻傳輸系統的各個組件的延時分析示意圖；
圖7為將一個完整的圖像幀拆分為多個圖像片的示意圖；
圖8為改進後的ip視頻傳輸系統的結構示意圖；
圖9為改進後的ip視頻傳輸系統的各個組件的延時分析示意圖。
具體實施方式
本發明實施例提供了一種ip視頻超低延時傳輸方法及裝置，從根本上、較大地改善ip視頻傳輸延時。
為使得本發明的發明目的、特徵、優點能夠更加的明顯和易懂，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，下面所描述的實施例僅僅是本發明一部分實施例，而非全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本發明保護的範圍。
請參閱圖1，本發明實施例提供的一種ip視頻超低延時傳輸方法的一個實施例，包括：
101、獲取到圖像幀後，將圖像幀劃分為m個圖像片；
獲取到視頻源信號的完整圖像幀後，將圖像幀劃分為m個圖像片，其中，m≥2。需要說明的是，這m個圖像片大小一致，即行數相同。
102、對圖像片進行採集、編碼、解碼和顯示；
劃分完成後，對圖像片進行採集、編碼、解碼和顯示。
請參閱圖2，本發明實施例提供的一種ip視頻超低延時傳輸方法的另一個實施例，包括：
201、獲取到圖像幀後，將圖像幀劃分為m個圖像片；
獲取到視頻源信號的完整圖像幀後，將圖像幀劃分為m個圖像片，其中，m≥2。需要說明的是，這m個圖像片大小一致，即行數相同。
202、按行數接收與圖像片對應的圖像數據，得到行數為n的圖像片；
對圖像幀劃分完成後，按行數接收與圖像片對應的圖像數據，得到行數為n的圖像片。需要說明的是，在接收圖像數據時，是按一行一行進行接收的，接收了n行圖像數據後，則得到一個圖像片。
203、通過編解碼算法對圖像片進行壓縮操作得到輸出碼流數據；
得到圖像片後，通過編解碼算法對圖像片進行壓縮操作得到輸出碼流數據。
204、通過編解碼算法對輸出碼流數據進行解壓操作得到解壓後的圖像片；
得到輸出碼流數據後，通過編解碼算法對輸出碼流數據進行解壓操作得到解壓後的圖像片。
205、顯示解壓後的圖像片。
在顯示圖像片時，顯示的過程中是對圖像數據進行一行一行的掃描實現顯示的。故在對一個圖像片進行顯示時，逐行顯示直至顯示n行後，便完整顯示出一個圖像片。
進一步地，與圖像幀對應的視頻信號幀率為30fps。
進一步地，圖像片的行數n，n為16的倍數。
進一步地，編解碼算法為h.261或h.263或h.264或h.265，需要說明的是，編解碼算法是h.264時，每個圖像片的行數n必須是16的倍數；編解碼算法是h.265時，每個圖像片的行數n必須是64的倍數。
上面是對一種ip視頻超低延時傳輸方法進行的詳細說明，為便於理解，下面將以一具體應用場景對一種ip視頻超低延時傳輸方法的應用進行說明，應用例包括：
典型的ip視頻傳輸系統由以下組件構成，如圖4所示：
視頻編解碼傳輸系統包括視頻採集、視頻編碼、傳輸、視頻解碼、視頻顯示這幾個組件。
組件1負責採集外部的視頻信號，例如採集電腦輸出視頻信號。
組件2負責將組件1採集到的視頻數據進行壓縮編碼。
組件3為發送子模塊、組件4為網絡、組件5為接收子模塊。負責將組件2壓縮後的數據發送出去，經傳輸介質，到達目的端。
組件6負責將組件5接收到的數據進行解碼。
組件7負責將組件6解碼後的視頻信號顯示出來。
所有組件基於串行化的方式工作，各組件數據流傳遞基於上一級組件推送的方式。
延時分析，每個組件的延時分析如圖5、圖6所示：
假定視頻信號幀率是30fps，採集組件至少緩存一幀，採集組件延時大概是33毫秒。如果採集組件要處理更多，所需的幀緩存更多，那麼引入更大的延時。編碼組件至少緩存一到兩幀，具體與編碼器的配置有關。那麼編碼組件的延時大概是33毫秒或者66毫秒。傳輸組件包括發送、網絡傳輸介質、接收三個模塊，延時時間與實際環境有關。解碼組件至少緩存一到兩幀，具體與解碼器的配置有關。那麼解碼組件的延時大概是33毫秒或者66毫秒。顯示組件按照60hz的刷新率輸出，緩存兩幀，那麼延時大概是33毫秒。所以傳輸系統的總體延時為：132+x(毫秒)。
上述的ip視頻傳輸系統，各個組件基於串行的工作模式。每個組件都有一個輸入、輸出(採集組件沒有輸入、顯示組件沒有輸出)。組件接收上一個組件的輸出，經過處理後，輸出給下一個組件。每個組件處理過程需要緩存一定數量的圖像幀，各個組件累加起來就是傳輸系統的所有幀緩存。如果按照視頻源是30幀來計算，則幀間隔時間為33毫秒。設定傳輸系統的幀緩存數量為n，則總延時為(n*33+x)毫秒。其中x為在網絡中的傳輸延時，因以實際的網絡環境有關，所以定義為x。可以看到，這種基於幀的處理方式，只要某個組件緩存多一幀圖像，就會增加33毫秒的傳輸延時(假定視頻源是30fps)。為了解決此問題，本發明提出了一種基於圖像片的處理方法。圖像片的概念相對於圖像幀，是把一個圖像幀分割為多個片，每個組件的處理方式基於一個個的片。假定一個圖像幀拆分為4個片，那麼，圖像片的間隔時間為33/4＝8毫秒。設定傳輸系統的片緩存數量為n，則系統總延時為(n*8+x)毫秒。只要某個組件緩存多一片圖像，會增加8毫秒的傳輸延時。可以看到，這種基於圖像片的處理方法，可有效地降低了系統的傳輸延時。
本發明實施例提供的一種ip視頻超低延時傳輸方法具體實現過程如下：
(1)圖像幀劃分為片
將一個完整的圖像幀按照規則拆分為多個片。如圖7所示：
因為採集、顯示組件處理是基於行的(採集的時候，是一行一行的接收的；顯示的時候，是一行一行的掃描的)。在編解碼組件處理時，是按照某個參數的倍數行。編解碼算法是h.264時，每個片的行數必須是16的倍數；編解碼算法是h.265時，每個片的行數必須是64的倍數。所以，有以下等式：
nlines＝m*16forh.261/3/4
nlines＝m*64forh.265
每片的解析度是widthxn，width是原來圖像幀的寬度，n是行數。
(2)改進的傳輸系統
基於圖像片的處理方式，改進後的傳輸系統如圖8所示：
採集組件基於視頻行採集，在原本的方案，採集組件接收完畢一幀原始圖像數據後，才交給下一個組件處理，後面的所有組件都基於該圖像幀處理。在本方案中，採集組件接收到n行原始圖像數據後(n要滿足16的倍數)，即把該圖像數據片交給下一個組件處理。後面的所有組件都基於該圖像數據片進行處理。在顯示組件，收到解碼組件送過來的圖像數據片，不用經過任何的緩存，即可按行掃描輸出。如上圖所示，基於圖像數據片的處理方式，採集組件按行接收原始視頻數據，接收n行後，就把該n行組成的圖像數據片交給編碼組件處理，接收n行所需要的時間為d1毫秒。編碼組件接收到該圖像數據片，用某種算法對該片進行壓縮處理，輸出碼流數據，所耗費的時間為d2毫秒。編碼組件處理完畢交給傳輸組件(包括發送、網絡、接收三個模塊)，該組件的處理時間因為與實際環境有關，定義為x毫秒。解碼組件接收到前面編碼組件輸出的碼流數據，用對應的算法對碼流數據進行解壓，所耗費時間為d3毫秒。碼流數據經過解壓後，得到圖像數據片，交給顯示組件進行輸出處理，所耗費時間為d4毫秒。所以整個傳輸系統加起來的傳輸延時是d1+d2+d3+d4+x毫秒。在原本的傳輸系統，至少緩存了四幀圖像，那麼總體傳輸延時是132+x毫秒。在本方案的傳輸系統，假定每一幀圖像拆分為四片，那麼每一片的採集時間為33/4＝8毫秒。假定傳輸系統緩存了四片圖像，那麼總體傳輸延時是32+x毫秒。在不計算網絡傳輸延時下，傳輸延時是原本的四分之一。從計算結果來分析，該傳輸系統比原來大大地改進了傳輸延時，真正達到超低延時的效果。
(3)傳輸序列圖
下面用序列圖來表示新的ip視頻超低延時傳輸系統，如圖9所示。
序列圖有助於理解ip視頻超低延時傳輸系統各組件的交互關係。從上述的兩個序列圖不同點可以看出：基於圖像數據幀的處理方式，序列圖中的每個組件隨著時間的推移串行處理，處理時間不會出現重疊。而在基於圖像數據片的處理方式，序列圖的每個組件處理時間出現重疊。這種時間上的重疊，使得組件間可以並行處理，提高了系統的處理效率。另外，這種基於圖像數據片的處理方式，也是流水線處理技術的一個應用。眾所周知，計算機的指令處理是流水線處理的，提高了指令執行的速度。所以，在本方案中，基於圖像數據片的處理技術，真正提高了傳輸系統的處理效率，真正實現了傳輸系統的超低延時。
請參閱圖3，本發明實施例提供的一種ip視頻超低延時傳輸裝置的一個實施例，包括：
劃分模塊301，用於獲取到圖像幀後，將圖像幀劃分為m個圖像片；
傳輸模塊302，用於對圖像片進行採集、編碼、解碼和顯示；
傳輸模塊302包括：
採集單元3021，用於按行數接收與圖像片對應的圖像數據，得到行數為n的圖像片；
編碼單元3022，用於通過編解碼算法對圖像片進行壓縮操作得到輸出碼流數據；
傳輸單元3023，用於從編碼單元獲取到輸出碼流數據，並將輸出碼流數據發送至解碼單元。
解碼單元3024，用於通過編解碼算法對輸出碼流數據進行解壓操作得到解壓後的圖像片；
顯示單元3025，用於顯示解壓後的圖像片。
其中，m≥2。
進一步地，與圖像幀對應的視頻信號幀率為30fps。
進一步地，圖像片的行數n，n為16的倍數。
進一步地，編解碼算法為h.261或h.263或h.264或h.265。
所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統，裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光碟等各種可以存儲程序代碼的介質。
以上所述，以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。