一種720度全景視頻快速瀏覽方法與流程

2023-05-20 07:22:11

本發明屬於圖像處理
技術領域：
，涉及視頻全景圖像處理，特指一種720度全景視頻快速瀏覽方法。
背景技術：
：隨著信息技術的發展，人們對獲取廣視角範圍的場景信息要求越來越高，傳統攝影方法只能獲得有限角度範圍的圖像幀，圖像拼接技術為解決這一難題而產生並迅速發展。它是通過將相互有重疊信息的兩幅或多幅圖片拼接成一個超寬視角的完整圖像，以達到降低圖像冗餘度和獲取更廣視角信息的目的，其中全景圖像的生成也是圖像拼接技術的一個典型應用。720度全景視頻是一種基於球面模型的視頻圖像序列，可實現水平360度和垂直360度任意視角方向的環視瀏覽。瀏覽時，需要根據當前視線方向和視域範圍對球面視頻圖像進行反投影變換，以獲得符合人眼視覺習慣的平面透視圖像。通過這種方式，可以同時實現模擬相機旋轉運動和變焦運動，改變視域。對於調閱和回放海量視頻數據需要耗費大量的時間和精力，傳統的拖拉瀏覽方法容易忽視短時間內的突發異常事件，長時間視頻數據的搜索不利於有效信息的提取。因此需要對全景視頻進行了進一步的處理，實現對全景視頻的快速瀏覽，其核心工作是對原始視頻的分割和視頻中關鍵序列的提取。當前，視頻分割與關鍵幀提取方法主要分為四類：一是簡單的生成算法，通過對視頻序列進行等時間均勻採樣提取關鍵幀的方法，但這種方法由於短時間內視頻信息量變化不同，容易出現關鍵幀提取過多或代表不足的問題；二是基於視覺信息的生成方法，根據視頻中的顏色、形狀、紋理等視覺信息，應用各種視頻處理技術進行場景聚類、鏡頭探測、關鍵幀提取等操作，最終生成縮略視頻，這種基於視覺特徵的方法在簡單生成算法上有了明顯的提高，但忽略了原始視頻中的音頻、字幕等信息；三是融合多特徵的生成方法，如採用人臉識別技術探測新聞中重要人物的出現，利用音頻處理技術探測體育視頻中的精彩片段等，結合視頻自身的特徵和其他圖像處理技術對視頻的多個特徵融合，算法處理過程比較複雜；四是基於視頻句法語義的生成方法，探尋鏡頭與鏡頭之間、場景與場景之間的結構規則，以此為基礎形成視頻摘要。綜上所述，針對不同的視頻類型和用途，對視頻快速瀏覽處理方法不同，目前全景視頻技術廣泛的應用於旅遊景點、房產居家、汽車展示、休閒會所、城市建築規劃等網絡虛擬展示中，這些視頻場景主要以給人一種身臨其境的體驗和完美展現全景達到較好的宣傳目的。技術實現要素：本發明提出一種720度全景視頻快速瀏覽方法，其通過反投影方法實現了水平360度和垂直360度全方位角度下觀測視頻，並依據視頻不同場景下拍攝鏡頭長短的不同，提取關鍵幀，形成視頻概要，達到快速瀏覽的目的。一種720度全景視頻快速瀏覽方法，包括以下步驟：S1，首先利用反投影法對720度全景視頻圖像進行重構，得到球面視點空間每一個視線方向上所對應的視圖序列。S2，通過計算視頻序列中相鄰圖像幀的絕對亮度幀差來判斷鏡頭長短，然後提取關鍵幀，實現全景視頻快速瀏覽。其中，S1包括以下步驟：S1.1，基於球面視點空間模型完成720度全景圖像的拼接，並建立以球心為中心的兩個坐標系，分別表示世界坐標系XYZ和照相機坐標系xyz；其中照相機坐標系xyz是由世界坐標系XYZ繞世界坐標系中的X軸旋轉α角，再繞世界坐標系中的Y軸旋轉β角度而得到的。S1.1中基於球面視點空間模型完成720度全景圖像的拼接的方法是：根據照相機坐標系xyz中與y軸平行的直線按照球面參數變換式生成的圖像中與圖像橫軸垂直的直線仍為垂線這一性質，對魚眼鏡頭拍攝的多張實景圖像進行旋轉變換校正，得到每張實景圖像上像素點的在視點空間的方位信息，利用方位信息對多張圖像進行拼接，消除實景圖像之間可能存在的重複信息，最後投影到一個球面上，以球面全景圖像的形式存儲。S1.2，將S1.1中兩坐標系下像素點的基本度量單位統一，則要計算以像素作為基本量度單位的像素焦距即在照相機坐標系下對每個像素點估計視點到視平面的像素焦距f。S1.2中，設圖像S為一張拼接完畢的球面全景圖像，Q是球面全景圖像S上任意一個像素點，圖像坐標為；J是需要生成的視圖，點P為球面全景圖像上的點Q在視圖J上所對應的點，其圖像坐標為；f表示像素焦距，f根據拍攝實景圖像使用的是鏡頭進行估計。廣角鏡頭或標準鏡頭的像素焦距f的估計方法為：設照相機水平旋轉一周所拍攝的實景圖像n張，則照相機的水平視角為360/n，實景圖像寬度為W，根據三角函數關係可以得出普通鏡頭的像素焦距估計公式為：f＝W/(2tan(180/n))。魚眼鏡頭的像素焦距f的估計方法為：將魚眼圖像的黑色邊框去掉之後圖像的寬度記為W，則魚眼鏡頭的像素焦距估計公式為：f＝W/φ，其中φ為魚眼鏡頭的水平視域。S1.3，用像素焦距f建立二維圖像點的坐標與球面所對應的三維參數坐標點的轉化關係式，再根據世界坐標系XYZ繞世界坐標系中的X軸旋轉α角度，再繞世界坐標系中的Y軸旋轉β角度的過程中，隨著坐標軸的旋轉，像素點在各坐標分量上的表示也發生相應的變化(坐標系旋轉後各像素點的對應位置需要在新的坐標系下重新表示，坐標分量為各自在x,y,z三個坐標軸上的對應分量)，這一變化可以用三角函數關係在各自坐標分量上表示出來，從而得到兩坐標系下對應點的變換矩陣H。S1.4，由變換矩陣H建立反變換函數，找出全景圖像上任意點到球面空間各視圖上點的對應關係式，計算各點坐標，得到視點空間每個視線方向上對應的視圖。在S1.3中，用像素焦距f建立二維圖像點的坐標與球面所對應的三維參數坐標點的轉化關係式，如下：u=fcos(π2-yf)cos(xf)v=fsin(π2-yf)w=fcos(π2-yf)sin(xf)---(1)]]>計算兩坐標系下對應點的變換矩陣H，表達式如下：H=1000cosαsinα0-sinαcosαcosβ0-sinβ010sinβ0cosβ---(2)]]>在S1.4中，由S1.3中的式(1)和(2)可知，坐標系XYZ下的點，在坐標系xyz下對應的坐標為。已知視頻中所拍攝實景圖像的寬度為W，高度為H，建立球面全景圖像上任意一點Q與點Q在視圖J上所對應的點P的函數關係式，並利用式(3)計算各對應點的坐標，得到視點空間每個視線方向上對應的視圖。x=W2-fcos(π2-y′f)cos(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinαy=H2-fsin(π2-y′f)cosα+fcos(π2-y′f)sinαsin(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinα---(3)]]>本發明的S2的包括以下步驟：S2.1，對全景視頻序列進行結構化處理，全景視頻在每一個視線方向上所對應的都是一組視圖構成的視頻序列，將步驟S1得到的視頻序列按照投影在不同方向視角上的視圖幀序列進行分類，得到多個視角上可單獨瀏覽的視頻序列組；S2.2，分別對各視角方向的視頻序列組進行分割，計算視頻序列中相鄰圖像幀的絕對亮度幀差，判斷視頻鏡頭的轉換節點，將視頻序列分割為多個鏡頭片段；S2.3，計算各鏡頭片段的運動量總和，設定運動量衡量門限，根據鏡頭持續時間判斷當前鏡頭為長鏡頭或短鏡頭；S2.4，對長、短鏡頭分別提取關鍵幀，對於短鏡頭隨機提取一個關鍵幀，長鏡頭則按等間隔法提取多幀圖像作為關鍵幀；S2.5，將提取的關鍵幀序列進行重組，還原到不同視角方向上生成視頻概要，觀察者通過對視頻概要的操作達到視頻快速瀏覽的目的。在S2.2中，選用絕對亮度幀差AIFD作為衡量視頻內容變化程度的特徵量，其定義式如下：AIFD(t)=Σx=1WΣy=1Habs(f(x,y,t+1)-f(x,y,t))---(4)]]>上式中和分別表示視頻序列中t時刻圖像幀在坐標處像素點的亮度值和t時刻下一幀在坐標處像素點的亮度值，W和H分別表示視頻幀的寬度和高度；設某一視角方向上視頻完整播放的圖像幀數目為N，則視頻的亮度幀差均值為：AIFD(t)=1NAIFD(t)---(5)]]>通過計算亮度幀差均值作為判定基準，設置兩個不同係數a和b(當a和b的值設定太小時，容易誤檢；設定太大時，容易漏檢。實驗中a的取值為1.2，b取值為2.3，經驗值)對亮度幀差均值進行加權得到高低閾值thresh_low和thresh_high，作為鏡頭是否轉換和以哪種方式轉換的判定條件，其中thresh_low=aAIFD(t)thresh_high=bAIFD(t)---(6)]]>在S2.2中，對視頻序列組進行分割的方法如下：首先對輸入的視頻幀數據進行初始化，計算t時刻相鄰兩幀的AIFD特徵值，比較並判斷當前幀的特徵值與判定閾值的大小，以此來檢測當前幀與下一幀之間是否存在鏡頭轉換，判定方法為若當前幀特徵值小於thresh_low則不存在鏡頭切換，若大於thresh_low且小於thresh_high則認為當前幀發生了漸變鏡頭轉換，若大於thresh_high則認為當前幀發生了突變鏡頭轉換，漸變鏡頭轉換和突變鏡頭轉換都表示當前幀記錄為發生了鏡頭的轉換，當前幀即為記錄鏡頭轉換節點。在S2.3中，通過對計算鏡頭的運動量總和的計算，並與預先設置的運動量衡量門限比較，判斷鏡頭屬於長鏡頭還是短鏡頭，其中表示t時刻相鄰兩視頻幀之間的相對運動量，表示鏡頭的持續時間，當鏡頭運動量總和大於運動量衡量門限時判定為長鏡頭，否則為短鏡頭。本發明提出的一種72度全景視頻快速瀏覽方法能夠快速地生成虛擬場景在不同視線方向上的透視視圖，並在各方向視圖上有效地模擬相機旋轉和變焦運動，提高了虛擬場景的瀏覽速度，能夠很好的滿足虛擬實境系統這一特定應用領域。附圖說明圖1全景圖像反投影坐標系示意圖圖2全景視頻不同視圖方向上分割重組框圖圖3關鍵幀提取框圖圖4為W、f、θ三者之間的三角函數關係示意圖具體實施方式以下將結合附圖對本發明做進一步詳細說明。為了能在各個方向視圖上對720度全景視頻進行高速有效地瀏覽，本發明的第一步是利用反投影法對全景視頻進行重構，得到球面視點空間每一個視線方向上所對應的視圖序列，並模擬相機的旋轉和變焦運動實現在不同視角上瀏覽視頻，具體步驟如下：S1.1，基於球面視點空間模型完成720度全景圖像的拼接，並建立以球心為中心的兩個坐標系，分別表示世界坐標系XYZ和照相機坐標系xyz。其中，基於球面視點空間模型完成720度全景圖像的拼接的方法是：根據照相機坐標系xyz中與y軸平行的直線按照球面參數變換式生成的圖像中與圖像橫軸垂直的直線仍為垂線這一性質，對魚眼鏡頭拍攝的多張實景圖像進行旋轉變換校正，得到每張實景圖像上像素點的在視點空間的方位信息，利用方位信息對多張圖像進行拼接，消除實景圖像之間可能存在的重複信息，最後投影到一個球面上，以球面全景圖像的形式存儲。其中照相機坐標系xyz是由世界坐標系XYZ繞世界坐標系中的X軸旋轉角，再繞世界坐標系中的Y軸旋轉角度而得到的。設定圖像S為一張拼接完畢的球面全景圖像，Q是球面全景圖像S上任意一個像素點，圖像坐標為；J是需要生成的視圖(即J是最終要得到的某一個視線方向上的一張視圖)，如圖1所示，點P為球面上的點Q在視圖J上所對應的點，其圖像坐標為；f表示像素焦距，根據拍攝實景圖像使用的是普通鏡頭(一般的廣角鏡頭和標準鏡頭)或者魚目鏡頭進行估計。S1.2，為了將兩個坐標系下像素點的基本量度單位統一，對鏡頭的像素焦距f進行估計。普通鏡頭(一般的廣角鏡頭和標準鏡頭)的像素焦距估計方法為：設照相機水平旋轉一周所拍攝的實景圖像n張，則照相機的水平視角為360/n，實景圖像寬度為W，根據三角函數關係可以得出普通鏡頭的像素焦距估計公式為：f＝W/(2tan(180/n))。其中三角函數關係是指直角三角形內存在的正弦、餘弦、正切等關係。參照圖4，取全景圖的一個切面圖，可以由三角函數關係對各個量進行表示。假設圖中用θ表示照相機的水平視角，則有θ＝360/n，由圖可知W、f、θ三者之間的三角函數關係可以得到：轉換推導出，f＝W/(2tan(θ/2))，即f＝W/(2tan(180/n))魚眼鏡頭的像素焦距估計可以由魚眼鏡頭的等距成像模型推導出來，具體為：將魚眼圖像的黑色邊框去掉之後圖像的寬度記為W，則魚眼鏡頭的像素焦距估計公式為：f＝W/φ，其中φ為魚眼鏡頭的水平視域，可以通過魚眼鏡頭說明書進行查找。S1.3，根據全景圖像生成過程的逆運算，將二維圖像坐標轉化為三維參數坐標下進行運算，圖像坐標點Q對應球面上點，滿足如下轉化關係式：u=fcos(π2-yf)cos(xf)v=fsin(π2-yf)w=fcos(π2-yf)sin(xf)---(1)]]>計算兩坐標系下對應點的變換矩陣H，表達式如下：H=1000cosαsinα0-sinαcosαcosβ0-sinβ010sinβ0cosβ---(2)]]>求得變換矩陣之後，由上面兩個式子可知，坐標系XYZ下的點，在坐標系xyz下對應的坐標為。S1.4，已知視頻中所拍攝實景圖像幀的寬度為W，高度為H，建立球面全景圖像上任意一點Q與其在視圖J上對應的點P的函數關係式，並計算各對應點的坐標。x=W2-fcos(π2-y′f)cos(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinαy=H2-fsin(π2-y′f)cosα+fcos(π2-y′f)sinαsin(x′f+β)cos(π2-y′f)cosαsin(x′f+β)-sin(π2-y′f)sinα---(3)]]>至此完成了本發明的第一步，將720度全景視頻的圖像幀經過反投影變換，得到視點空間任意視線方向上對應的視圖，即可以對720度全景視頻進行任意視線方向上進行觀看。由於直接對720度全景視頻進行全方位逐一瀏覽，存在瀏覽訪問數據量過大的問題，一方面容易造成觀察者的疲勞，另一方面影響關鍵信息提取的效率，基於此，本發明還包括第二步，第二步根據不同場景下拍攝視頻鏡頭的長短提取關鍵幀，將提取出來的關鍵幀構建一段視頻摘要，觀察者通過對重組的關鍵幀序列視頻進行操作，達到對720度全景視頻快速瀏覽的目的。視頻是由多個不同場景組成的，每個場景下包含多個鏡頭，其中有長鏡頭、短鏡頭，每個鏡頭都是由多幀關聯圖像按照一定順序播放形成的，因此視頻幀是形成視頻最基本的單元。為了能實現視頻的快速瀏覽，獲取視頻圖像中的關鍵幀成為視頻有效信息提取的關鍵。一般而言，不同類型的視頻會根據自身主題對拍攝場景有重點和次重點之分，鏡頭的長短也會根據關注點的不同有所區分，因此通過檢測和判斷視頻中的長短鏡頭，對於關鍵幀的提取更有利。S2.1，第一步得到全景視頻在不同方向上的視圖序列，將這些視頻序列按照投影在不同方向視角上的視圖序列進行分類(一幅展開的360度全景圖由多個不同視角的圖像拼接而成，經過反投影就是將全景圖還原到不同視角上的多張視圖，這些視圖按照序列排放，按照序號分類)，得到多個視角上可單獨瀏覽的視圖序列組。全景視頻中的一幀全景圖反投影得到的是多個視線方向上的視圖，而全景視頻反投影得到的是多個視角方向上的視頻視圖序列，每個方向上都有多張視圖。S2.2,分別對不同方向視角上的視頻序列組進行分割處理。選用絕對亮度幀差AIFD(absoluteintensityframedifference)作為衡量視頻內容變化程度的特徵量，其定義式如下：AIFD(t)=Σx=1WΣy=1Habs(f(x,y,t+1)-f(x,y,t))---(4)]]>上式中和分別表示視頻序列中t時刻圖像幀在坐標處像素點的亮度值和t+1時刻圖像幀在坐標處像素點的亮度值，W和H分別表示視頻幀的寬度和高度。設某一視角方向上視頻完整播放的圖像幀數目為N，則視頻的亮度幀差均值為：AIFD(t)=1NAIFD(t)---(5)]]>由於同一鏡頭下像素點的亮度幀差變化不大，呈現出比較均勻的分布情況，因此可以通過計算亮度幀差均值作為判定基準，設置兩個不同係數a和b，當a和b的值設定太小時，容易誤檢；設定太大時，容易漏檢。(實驗中a的取值為1.2，b取值為2.3，經驗值)，對亮度幀差均值進行加權得到高低閾值thresh_low和thresh_high，作為鏡頭是否轉換和以哪種方式轉換的判定條件。thresh_low=aAIFD(t)thresh_high=bAIFD(t)---(6)]]>對視頻序列進行分割的具體實現步驟為首先對輸入的視頻幀數據進行初始化，計算t時刻相鄰兩幀的AIFD特徵值，比較並判斷當前幀的特徵值與判定閾值的大小，以此來檢測當前幀與下一幀之間是否存在鏡頭轉換。判定方法為若當前幀特徵值小於thresh_low則不存在鏡頭切換，若大於thresh_low且小於thresh_high則認為當前幀可能發生了漸變鏡頭轉換，若大於thresh_high則認為當前幀可能發生了突變鏡頭轉換，無論是漸變或突變都將當前幀記錄為發生了鏡頭的轉換，即記錄鏡頭轉換節點。S2.3,運動分量通常用來表徵視頻中內容變化的情況，通過對計算鏡頭的運動量總和的計算，並與設置的運動量衡量門限(運動量衡量門限為預先設定的閾值，通常認為同一鏡頭下兩幀圖像的直方圖差異較小，當差異累計值即運動量總和超過設定的運動量衡量門限時，判定為長鏡頭)比較，判斷鏡頭屬於長鏡頭還是短鏡頭，其中表示t時刻相鄰兩視頻幀之間的相對運動量，就是相鄰兩幀之間的差異，用直方圖差異率來衡量的，即便是同一鏡頭下的兩幀圖像並非完全不變，只是差異值較小。表示鏡頭的持續時間，當鏡頭運動量總和大於運動量衡量門限時判定為長鏡頭，否則為短鏡頭。S2.4，對於短鏡頭按照隨機選取方法提取一個關鍵幀，長鏡頭則按照鏡頭起始幀開始，等間隔的選取多幀圖像作為長鏡頭的關鍵幀。S2.5，對提取的關鍵幀序列進行重組，還原到不同視角方向上生成視頻概要，觀察者通過對視頻概要的操作達到視頻快速瀏覽的目的。當前第1頁1&nbsp2&nbsp3&nbsp