視頻圖像傳輸方法、接收方法及裝置與流程
2023-07-05 06:14:31

本發明涉及圖像傳輸技術領域,具體而言,涉及一種視頻圖像傳輸方法、接收方法及裝置。
背景技術:
在視頻圖像的傳播過程中,傳輸效率十分重要。現有技術的全景視頻圖像傳輸方法中,對整個全景視頻圖像畫面進行傳輸,傳輸的視頻畫面中大量無用的信息佔用了大量傳輸帶寬,傳輸效率不理想。
技術實現要素:
為了克服現有技術中的上述不足,本發明的目的在於提供一種視頻圖像傳輸方法,應用於視頻發送設備,所述方法包括:
獲取全景視頻圖像;
將所述全景視頻圖像轉化為平面展開圖像,所述平面展開圖像上包括熱點圖像剪裁區域;
將所述平面展開圖像拆分為多個圖像分片,從所述圖像分片中提取所述熱點圖像剪裁區域對應的圖像分片以組成第一傳輸圖像;
對所述第一傳輸圖像採用第一編碼方式進行編碼並傳輸。
本發明的另一目的在於提供一種視頻圖像傳輸裝置,應用於視頻發送設備,所述方法還包括:
視頻獲取模塊,用於獲取全景視頻圖像;
展開模塊,用於將所述全景視頻圖像轉化為平面展開圖像,所述平面展開圖像上包括熱點圖像剪裁區域;
拆分模塊,用於將所述平面展開圖像拆分為多個圖像分片,從所述圖像分片中提取所述熱點圖像剪裁區域對應的圖像分片以組成第一傳輸圖像;
第一編碼模塊,用於對所述第一傳輸圖像採用第一編碼方式進行編碼並傳輸。
本發明的另一目的在於提供一種視頻圖像接收方法,應用於視頻接收設備,所述視頻接收設備與執行本發明中視頻圖像傳輸方法的視頻發送設備通信連接,所述方法包括:
接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,通過虛擬場景生成非熱點圖像剪裁區域;
將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
本發明的另一目的在於提供一種視頻圖像接收裝置,應用於視頻接收設備,所述視頻接收設備與執行本發明中視頻圖像傳輸方法的視頻發送設備通信連接,所述裝置包括:
第一接收模塊,用於接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,通過虛擬場景生成非熱點圖像剪裁區域;
第一視頻還原模塊,用於將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
本發明的另一目的在於提供一種視頻圖像接收方法,應用於視頻接收設備,所述視頻接收設備與執行本發明中視頻圖像傳輸方法的視頻發送設備通信連接,所述方法包括:
接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,接收傳輸的所述第二傳輸圖像,根據所述第二傳輸圖像獲得非熱點圖像剪裁區域;
將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
本發明的另一目的在於提供一種視頻圖像接收裝置,應用於視頻接收設備,所述視頻接收設備與執行本發明中視頻圖像傳輸方法的視頻發送設備通信連接,所述裝置包括:
第二接收模塊,用於接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,接收傳輸的所述第二傳輸圖像,根據所述第二傳輸圖像獲得非熱點圖像剪裁區域;
第二視頻還原模塊,用於將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
相對於現有技術而言,本發明具有以下有益效果:
本發明提供的視頻圖像傳輸方法、接收方法及裝置,通過將全景視頻圖像展開為平面圖像,然後將所述平面圖像拆分為多個圖像分片,提取全景視頻圖像中熱點範圍對應的圖像分片組成第一傳輸圖像並進行編碼傳輸,減少了全景視頻圖像在傳輸過程中佔用的帶寬。
附圖說明
為了更清楚地說明本發明實施例的技術方案,下面將對實施例中所需要使用的附圖作簡單地介紹,應當理解,以下附圖僅示出了本發明的某些實施例,因此不應被看作是對範圍的限定,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他相關的附圖。
圖1為本發明實施例提供的視頻發送設備與視頻接收設備的交互示意圖;
圖2為本發明實施例提供的視頻發送設備的示意圖
圖3為本發明實施例提供的視頻圖像傳輸方法的流程示意圖;
圖4為本發明實施例提供的正八面體模型示意圖之一;
圖5為本發明實施例提供的正八面體模型示意圖之二;
圖6為本發明實施例提供的球體模型示意圖;
圖7為本發明實施例提供的正八面體模型展開示意圖;
圖8為本發明實施例提供的球體模型展開示意圖;
圖9為本發明實施例提供的視頻圖像傳輸裝置的示意圖。
圖標:10-視頻傳輸系統;100-視頻發送設備;200-視頻接收設備;110-視頻圖像傳輸裝置;111-視頻獲取模塊;112-展開模塊;113-拆分模塊;114-第一編碼模塊;115-第二編碼模塊;120-存儲器;130-處理器。
具體實施方式
為使本發明實施例的目的、技術方案和優點更加清楚,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。
因此,以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍,而是僅僅表示本發明的選定實施例。基於本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。
應注意到:相似的標號和字母在下面的附圖中表示類似項,因此,一旦某一項在一個附圖中被定義,則在隨後的附圖中不需要對其進行進一步定義和解釋。
在本發明的描述中,需要說明的是,術語「第一」、「第二」、「第三」等僅用於區分描述,而不能理解為指示或暗示相對重要性。
如圖1所示,是本發明較佳實施例提供的視頻傳輸系統10的示意圖,所述視頻傳輸系統10可以包括視頻發送設備100以及視頻接收設備200。所述視頻傳輸設備100用於將獲取的全景視頻圖像進行處理後傳輸,所述視頻接收設備200用於接收並解析還原全景視頻圖像。
如圖2所示,是圖1所示的視頻發送設備100的方框示意圖。所述視頻發送設備100包括視頻圖像傳輸裝置110、存儲器120以及處理器130。
所述存儲器120以及處理器130各元件相互之間直接或間接地電性連接,以實現數據的傳輸或交互。例如,這些元件相互之間可通過一條或多條通訊總線或信號線實現電性連接。所述視頻圖像傳輸裝置110包括至少一個可以軟體或固件(firmware)的形式存儲於所述存儲器120中或固化在所述視頻發送設備100的作業系統(operating system,OS)中的軟體功能模塊。所述處理器130用於執行所述存儲器120中存儲的可執行模塊,例如所述視頻圖像傳輸裝置110所包括的軟體功能模塊及電腦程式等。
其中,所述存儲器120可以是,但不限於,隨機存取存儲器(Random Access Memory,RAM),只讀存儲器(Read Only Memory,ROM),可編程只讀存儲器(Programmable Read-Only Memory,PROM),可擦除只讀存儲器(Erasable Programmable Read-Only Memory,EPROM),電可擦除只讀存儲器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存儲器120用於存儲程序,所述處理器130在接收到執行指令後,執行所述程序。
請參照圖3,圖3為一種視頻圖像傳輸方法的流程圖,所述方法應用於圖1所示視頻發送設備100,以下將對所述方法包括各個步驟進行詳細闡述。
步驟S110,獲取全景視頻圖像,所述全景視頻圖像上包括有熱點範圍。
所述全景視頻圖像為以圖像採集點為中心,周圍360°空間的視頻圖像畫面,可以將所述全景視頻圖像畫面看作以觀察點為中心,分布在一球體內壁上的圖像。
在本實施例中,對全景視頻圖像進行處理,所述全景視頻圖像中包括預先設置的熱點範圍,所述熱點範圍可以為所述全景視頻圖像中包含有效信息內容較豐富的圖像範圍或指定的感興趣區域(region of interest,ROI),在進行全景視頻圖像處理時,所述熱點範圍需要較大幅度地保留原始圖像信息。
步驟S120,將所述全景視頻圖像轉化為平面展開圖像,所述平面展開圖像上包括與所述熱點範圍對應的熱點圖像剪裁區域。
在本實施例中,先將所述全景視頻圖像投影至一立體模型,然後,將所述立體模型上的圖像轉化為平面展開圖像。
在本實施例的一種實施方式中,請參照圖4,所述立體模型可以為正八面體模型。以所述正八面體模型中心水平面上120°的視野範圍(θ=120°)為中心水平面視野範圍。請參照圖5,所述中心水平面視野範圍所述正八面體模型的交點與所述正八面體模型上頂點及下頂點所形成區域為所述熱點圖像剪裁區域。
在本實施例的另一種實施方式中,所述立體模型可以為球體模型。由於所述全景視頻圖像一般都基於球體模型,故在本實施方式中,可以直接對所述全景視頻圖像進行處理。請參照圖6,所述熱點圖像剪裁區域為將所述球體表面做等距圓柱展開後,展開圖像中與所述熱點範圍對應的一矩形區域。
值得說明的是,上述立體模型設置方式並不構成對本實施例方案的限制,在本實施例的其他實施方式中也可以採用其他不同的立體模型來實現。
步驟S130,將所述平面展開圖像拆分為多個圖像分片,從所述圖像分片中提取所述熱點圖像剪裁區域對應的圖像分片以組成第一傳輸圖像。
以步驟S120中所述情形為例,請參照圖7,當所述立體模型為正八面體模型時,將所述全景視頻圖像投影至所述正八面體模型後,將所述正八面體模型的8個面展開到一個平面,得到8個三角形圖像。按照所述熱點圖像剪裁區域在所述正八面體模型上的投影,對所述8個三角形圖像進行切分得到多個圖像分片,包括圖像分片a、b、c、d、e、f、A、B、C、D、E、F、G、H、I以及J。
請參照圖8,當所述立體模型為球體模型時,將所述全景視頻圖像投影至所述球體模型後,將所述球體模型按照球體表面的展開算法展開為一個平面,得到一個矩形平面展開圖像。按照所述熱點圖像剪裁區域在所述球體模型上的投影,對所述矩形平面展開圖像進行切分得到多個圖像分片,包括圖像分片p、Q、R、S以及T。
由於獲得的圖像分片多為不規則的形狀,對不規則圖像進行編碼時傳輸效率不高。故在本實施例中,從所述圖像分片中提取所述熱點圖像剪裁區域對應的圖像分片,將提取的圖像分片拼接為矩形的第一傳輸圖像。
請再次參照圖7,當所述立體模型為正八面體模型時,提取與所述熱點圖像剪裁區域對應的圖像分片a、b、c、d、e及f,拼接組成為一矩形的第一傳輸圖像。
請再次參照圖8,當所述立體模型為球體模型時,所述熱點圖像剪裁區對應圖像分片p,將圖像分片p作為第一傳輸圖像。
步驟S140,對所述第一傳輸圖像採用第一編碼方式進行編碼並傳輸。
由於所述第一傳輸圖像包含所述熱點範圍的內容,故在本實施例中,採用編碼後清晰度較高的第一編碼方式對所述第一傳輸圖像進行編碼,以儘量保證第一傳輸圖像的清晰度。
進一步地,請再次參照圖3,在本實施例中,所述全景視頻圖像上還包括非熱點範圍,所述平面展開圖像上包括與所述非熱點範圍對應的非熱點圖像剪裁區域。所述方法還可以包括步驟S150。
步驟S150,從所述圖像分片中提取所述非熱點圖像剪裁區域對應的圖像分片以組成第二傳輸圖像,對所述第二傳輸圖像採用第二編碼方式進行編碼並傳輸。
為保證所述非熱點圖像剪裁區域的傳輸效率,在本實施例中,同樣需要將所述非熱點圖像剪裁區域對應的圖像分片拼接為矩形。
具體地,請再次參照圖7,當所述立體模型為正八面體模型時,提取與所述非熱點圖像剪裁區域對應的圖像分片A、B、C、D、E、F、G、H、I及J,拼接組成為一矩形的第二傳輸圖像。
請再次參照圖8,當所述立體模型為球體模型時,提取與所述非熱點圖像剪裁區域對應的矩形的圖像分片Q、R、S及T,拼接組成為一矩形的第二傳輸圖像。
由於所述第二傳輸圖像包含非熱點範圍的內容,相對所述第一傳輸圖像,不需要較高的清晰度或即時性。故在本實施例中,對第二傳輸圖像採用與所述第一編碼方式不同的第二編碼方式進行編碼傳輸。所述第二編碼方式可以為以下形式或其之間的組合:
方式一,由於所述第二傳輸圖像可以不需要很好的即時性,可以通過減低所述第二傳輸圖像編碼頻率的方式減少其傳輸佔用的帶寬。在本實施列中,可以每間隔一預設時長將所述第二傳輸圖像編碼為一張圖片並進行傳輸,其中,所述預設時長大於所述第一編碼方式中對編碼每幀圖像的間隔時長。在本實施例中,所述預設時長可以設置為一固定時長(如,5秒),也可以設置為動態調整,檢測所述非熱點圖像剪裁區域畫面變化的程度,以決定是否編碼一張新的圖片。
方式二,由於所述第二傳輸圖像可以不需要很高的清晰度,可以通過減低編碼碼率的方式減少其傳輸佔用的帶寬。在本實施例中,採用碼率低於所述第一編碼方式的第二編碼方式對所述第二傳輸圖像進行編碼傳輸。值得說明的是,在本實施例中,第二編碼方式也可以採用相比於第一編碼方式清晰度更低的其他視頻格式的編碼方式。
本實施例中還提供一種應用於圖1所示視頻接收設備200的視頻接收方法。下面對這些步驟進行詳細闡述。
所述視頻接收設備200接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,通過虛擬場景生成非熱點圖像剪裁區域。
然後將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
由於非熱點圖像剪裁區域的圖像重要程度不高,可以僅傳輸熱點圖像剪裁區域的圖像,而將非熱點圖像剪裁區域直接使用虛擬場景代替,以進一步減少傳輸帶寬的佔用。
本實施例中還提供另一種應用於圖1所示視頻接收設備200的視頻接收方法。
所述視頻接收設備200接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,接收傳輸的所述第二傳輸圖像,根據所述第二傳輸圖像獲得非熱點圖像剪裁區域。
然後將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
請參照圖9,本實施例還提供一種視頻圖像傳輸裝置110,所述裝置應用於圖1所示的視頻發送設備100,所述裝置包括視頻獲取模塊111、展開模塊112、拆分模塊113以及第一編碼模塊114。
所述視頻獲取模塊111,用於獲取全景視頻圖像,所述全景視頻圖像上包括有熱點範圍。本實施例中,所述視頻獲取模塊111可用於執行圖3所示的步驟S110,關於所述視頻獲取模塊111的具體描述可參對所述步驟S110的描述。
所述展開模塊112,用於將所述全景視頻圖像轉化為平面展開圖像,所述平面展開圖像上包括與所述熱點範圍對應的熱點圖像剪裁區域。本實施例中,所述展開模塊112可用於執行圖3所示的步驟S120,關於所述展開模塊112的具體描述可參對所述步驟S120的描述。
具體地,所述展開模塊112進行圖像展開的方式,包括:
將所述全景視頻圖像投影至一立體模型,將所述立體模型上的圖像轉化為平面展開圖像。
進一步地,在本實施例的一種實施方式中,所述立體模型包括正八面體模型;所述展開模塊112將所述立體模型上的圖像轉化為平面展開圖像的方式,包括:
將所述正八面體模型上的圖像展開為8個三角形平面展開圖像。
在本實施例的另一種實施方式中,所述立體模型包括球體模型;所述展開模塊112將所述立體模型上的圖像轉化為平面展開圖像的方式,包括:
通過球體圖像展開算法將所述球體模型上的圖像轉換為矩形平面展開圖像。
所述拆分模塊113,用於將所述平面展開圖像拆分為多個圖像分片,從所述圖像分片中提取所述熱點圖像剪裁區域對應的圖像分片以組成第一傳輸圖像。本實施例中,所述拆分模塊113可用於執行圖3所示的步驟S130,關於所述拆分模塊113的具體描述可參對所述步驟S130的描述。
具體地,所述拆分模塊113進行圖像分片拆分的方式,包括:
從所述圖像分片中提取所述熱點圖像剪裁區域對應的圖像分片,將提取的圖像分片拼接為矩形的第一傳輸圖像。
所述第一編碼模塊114,用於對所述第一傳輸圖像採用第一編碼方式進行編碼並傳輸。本實施例中,所述第一編碼模塊114可用於執行圖3所示的步驟S140,關於所述第一編碼模塊114的具體描述可參對所述步驟S140的描述。
進一步地,請再次參照圖9,所述平面展開圖像上包括非熱點圖像剪裁區域,所述裝置還可以包括第二編碼模塊115。
所述第二編碼模塊115,用於從所述圖像分片中提取所述非熱點圖像剪裁區域對應的圖像分片以組成第二傳輸圖像,對所述第二傳輸圖像採用第二編碼方式進行編碼並傳輸。本實施例中,所述第二編碼模塊115可用於執行圖3所示的步驟S140,關於所述第二編碼模塊115的具體描述可參對所述步驟S140的描述。
具體地,在本實施例的一種實施方式中,所述第二編碼模塊115進行編碼並傳輸的步驟,包括:
每間隔一預設時長將所述第二傳輸圖像編碼為一張圖片並進行傳輸。
在本實施例的另一種實施方式中,所述第二編碼模塊115進行編碼並傳輸的步驟,包括:
採用碼率低於所述第一編碼方式的第二編碼方式對所述第二傳輸圖像進行編碼傳輸。
本實施例中還提供一種應用於圖1所示視頻接收設備200的視頻圖像接收裝置,所述裝置可以包括:第二接收模塊以及第二視頻還原模塊。
所述第一接收模塊,用於接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,通過虛擬場景生成非熱點圖像剪裁區域;
所述第一視頻還原模塊,用於將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
本實施例中還提供一種應用於圖1所示視頻接收設備200的視頻圖像接收裝置,所述裝置可以包括:第一接收模塊及第一視頻還原模塊。
所述第二接收模塊,用於接收傳輸的所述第一傳輸圖像,根據所述第一傳輸圖像獲得熱點圖像剪裁區域,接收傳輸的所述第二傳輸圖像,根據所述第二傳輸圖像獲得非熱點圖像剪裁區域;
所述第二視頻還原模塊,用於將所述熱點圖像剪裁區域及所述非熱點圖像剪裁區域拼接還原形成全景視頻圖像。
基於上述設計,本實施例提供的視頻圖像傳輸方法可以有效減少傳輸帶寬。請再次參照圖5,以所述立體模型為正八面體模型為例,所述平面展開圖像中,的原始寬與高分別為w和h,其中,圖像分片a中∠α=45°,∠β=15°(即),則可得拼接後的所述第一傳輸圖像的寬高分別為:
拼接後的所述第二傳輸圖像的寬高分別為:
因此,假設第一傳輸圖像與第二傳輸圖像均以相同碼率傳輸,所佔帶寬為原始帶寬的若第二傳輸圖像僅傳輸圖片,則所佔帶寬約為原始帶寬的(即約等於13.7%)。可見,本實施例提供的視頻圖像傳輸方法可以大大減少視頻傳輸時佔用的帶寬。
綜上所述,本發明提供的視頻圖像傳輸方法、接收方法及裝置,通過將全景視頻圖像展開為平面圖像,然後將所述平面圖像拆分為多個圖像分片,提取全景視頻圖像中熱點範圍對應的圖像分片組成第一傳輸圖像並採用第一編碼方式進行編碼傳輸。提取非熱點範圍對應的圖像分片組成第二傳輸圖像,並採用不同於第一編碼方式的第二傳輸圖像進行編碼傳輸。如此減少了非熱點範圍在傳輸過程中佔用的帶寬。
在本申請所提供的實施例中,應該理解到,所揭露的裝置和方法,也可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的,例如,附圖中的流程圖和框圖顯示了根據本發明的多個實施例的裝置、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分,所述模塊、程序段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意,在有些作為替換的實現方式中,方框中所標註的功能也可以以不同於附圖中所標註的順序發生。例如,兩個連續的方框實際上可以基本並行地執行,它們有時也可以按相反的順序執行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與計算機指令的組合來實現。
另外,在本發明各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分,也可以是各個模塊單獨存在,也可以兩個或兩個以上模塊集成形成一個獨立的部分。
所述功能如果以軟體功能模塊的形式實現並作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來,該計算機軟體產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,伺服器,或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、移動硬碟、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。
需要說明的是,在本文中,諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且,術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句「包括一個……」限定的要素,並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上所述僅為本發明的優選實施例而已,並不用於限制本發明,對於本領域的技術人員來說,本發明可以有各種更改和變化。凡在本發明的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本發明的保護範圍之內。應注意到:相似的標號和字母在下面的附圖中表示類似項,因此,一旦某一項在一個附圖中被定義,則在隨後的附圖中不需要對其進行進一步定義和解釋。
以上所述,僅為本發明的具體實施方式,但本發明的保護範圍並不局限於此,任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內,可輕易想到變化或替換,都應涵蓋在本發明的保護範圍之內。因此,本發明的保護範圍應所述以權利要求的保護範圍為準。