一種基於貝葉斯推理的圖像場景分層處理方法
2023-09-19 03:00:30 1
專利名稱：一種基於貝葉斯推理的圖像場景分層處理方法
技術領域：
本發明屬於圖像處理、計算機視覺領域，具體地說是一種基於貝葉斯推理的圖像場景分層處理方法。
背景技術：
基於視頻素材的虛擬場景生成技術是虛擬實境的重要組成部分，也是虛擬實境、 增強現實、計算機視覺及相關研究方向有機交叉的研究熱點。圖像虛擬場景生成是視頻虛擬場景生成的重要組成部分，其中，圖像虛擬場景的層次遮擋處理是圖像虛擬場景生成技術需要解決的關鍵問題。在虛擬場景生成過程中，需要處理場景對象之間、場景對象和視頻場景之間的各種空間遮擋關係，以確保視頻虛擬場景正確的空間位置關係，其問題的關鍵在於如何確定各個場景對象的相對層次位置。近年來，各國計算機視覺等領域的研究人員從線條識別、基於深度的分割、遮擋關係恢復、輪廓修復和前景/背景分割等角度研究如何解決層次化圖像表示問題。層次化圖像表示又稱為2. ID sketch，是中低級視覺中重要研究問題，指通過在遮擋區域中斷邊界產生適當的連接，尋找圖像的一個區域分解，使之具有最小數目的中斷邊界交叉點、裂縫尖端點、角點和尖點，從而將圖像分解為以遮擋關係排序的交疊區域。2007年，美國卡耐基梅隆大學機器人研究所的Hoiem等提出了從單幅圖像中恢復場景對象的遮擋邊界和深度序列的方法。該方法利用2D邊界區域線索和3D表面深度線索， 從一個訓練集中學習得到遮擋模型，通過分割算法將場景圖像分割成多個小區域，利用遮擋模型來不斷迭代推理出遮擋關係，並且通過條件隨機場模型不斷逼近和標記遮擋邊界， 最終確定整個場景的遮擋關係和遮擋邊界。2007年，華中科技大學和蓮花山研究院的高如新和吳田富等人提出基於混合馬爾科夫隨機場的貝葉斯推理算法推理圖像層次結構。該方法首次利用基於馬爾科夫隨機場建模和推理來解決真實圖像的層次結構問題，完成區域分層、輪廓修復和不確定性自動保持的處理。分析當前各種求解圖像場景分層問題的方法，這些方法一般都是從圖像中學習表示遮擋關係的各種中低層信息，如位置、輪廓、交界點等，然後根據貝葉斯推理理論和統計計算，建立場景分層問題的數學模型，然後構建遮擋的條件隨機場或者混合隨機場數學模型，利用Swendsen Wang Cuts(簡稱SWC)、最速下降法等推理算法在解空間中搜索可能的分層解結果。這些方法是在像素級別研究層次結構的構建問題，只是利用圖像中的中低層的信息解決圖像場景分層問題，沒有推理出圖像場景中最可能表示其層次結構的分層結果。 本發明研究對象級別的圖像場景分層方法，利用已知對象的高層和中低層遮擋信息特徵， 建立基於貝葉斯理論的場景分層推理框架，以及構建對象遮擋關係的圖結構表示和對象層次推理算法
發明內容
為了克服現有技術的不足，本發明的目的在於提供一種基於貝葉斯推理的圖像場景分層與遮擋處理方法，從而能夠正確處理圖像虛擬場景中對象的遮擋關係。本發明的重點是如何根據已有圖像場景語義標記推理圖像場景中對象間的遮擋關係和層次關係，從而能夠在將用戶感興趣的對象加入到圖像場景時正確處理已有對象和新加入對象之間的空間遮擋關係，使得生成的圖像虛擬場景能夠同時符合客觀實際和用戶要求，為圖像虛擬場景中遮擋處理問題提供有效的技術支持，同時為基於視頻素材的虛擬場景生成技術奠定基石出。為完成發明目的，本發明的技術解決方案是在圖像場景語義標記結果基礎上，定義語義、位置、輪廓、公共邊界和交界點五種遮擋線索，檢測學習數據集圖像的各種遮擋線索並學習每個遮擋線索的概率分布；構建貝葉斯推理框架，定義基於先驗概率和似然概率的帶權有向圖；利用本發明提出的層次排序推理算法，結合後驗概率最大化，在帶權有向圖上求解出圖像場景的層次結構。在圖像場景語義標記中，存在多個中低層和高層的信息能夠在一定程度上反映對象區域間的遮擋關係和層次關係。本發明從眾多類信息中選擇出對象語義線索、對象位置線索、對象輪廓線索、公共邊界線索和交界點線索五種能夠表示對象區域間遮擋關係和層次關係的線索，為後面的貝葉斯推理框架定義提供依據。給定圖像對應的語義標記圖，構建在已知圖像二維表示條件下求解圖像層次表示的貝葉斯推理框架。根據貝葉斯推理理論，先驗概率表示給定圖像分層的一個解，它能夠解釋圖像場景實際分層情況的概率。根據人的經驗能夠獲得不同語義對象之間的遮擋關係， 因此語義信息作為先驗信息構成先驗概率，在學習階段獲得不同語義對象之間的先驗遮擋概率。區域位置線索、區域輪廓緊湊性線索、區域公共邊界線索和區域交界點線索都能夠在一定程度上表達區域間的遮擋關係和場景層次結構，似然概率是由這四類中低層特徵共同支持的。根據貝葉斯推理理論，當後驗概率達到最大值時，對應的圖像層次表示解是圖像場景最可能出現的層次結構。因此，只要求得最大後驗概率解，就能夠實現圖像場景分層這一目標。為了快速求解出圖像層次表示的最優解，本發明在前面的貝葉斯推理框架基礎上，提出新的求解層次序列的推理算法，將求解推理過程轉化為在表示遮擋關係的帶權有向圖上求解最佳拓撲排序的問題。本發明與現有技術相比的有益特點是1、本發明在圖像素材結構分析與圖像場景語義標記的基礎上，從層次化圖像表示的角度來處理圖像對象間的遮擋關係和層次關係， 不同於以往處理圖像遮擋關係的方法。2、本發明從眾多類信息中選擇出對象語義線索、對象位置線索、對象輪廓線索、公共邊界線索和交界點線索五種能夠表示對象區域間遮擋關係和層次關係的線索。實驗表明這五種特徵確實能反應對象間遮擋關係。3、本發明將貝葉斯框架用於圖像層次推理上，根據五種遮擋線索構建了基於貝葉斯理論的圖像層次推理框架，以對象語義線索表示的概率作為先驗概率，以對象位置線索、對象輪廓線索、公共邊界線索和交界點線索聯合概率作為似然概率，滿足最大後驗概率的圖像層次表示即為所要求解的層次最優解。4、本發明將二維圖像轉換為帶權有向圖表示，並提出了一種改進的拓撲排序算法，在帶權有向圖上求解圖像層次結構。
圖1是本發明總體設計結構圖；圖2是本發明的位置線索示意圖；圖3是本發明的輪廓線索示意圖；圖4(a)是本發明的公共邊界線索表示遮擋關係情況之一的示意圖；圖4(b)是本發明的公共邊界線索表示遮擋關係情況之二的示意圖；圖5是本發明的交界點線索示意圖；圖6是本發明的交界點角度示意圖；圖7是本發明的遮擋線索計算流程示意圖；圖8是本發明的帶權有向圖構建流程圖；圖9(a)-圖9(f)是本發明的層次排序算法過程示意圖。
具體實施例方式下面結合附圖對本發明作詳細說明。本發明提出一種基於貝葉斯推理的圖像場景分層處理方法，在已有圖像場景語義標記基礎上，學習五種遮擋線索表示遮擋關係的概率分布，根據五種遮擋線索構建貝葉斯場景層次推理框架，並將求解貝葉斯框架下具有最大後驗概率的場景層次最優解的過程轉化為在帶權有向圖結構上拓撲排序求解圖像層次結構的過程，實現了快速求解圖像場景分層問題。本發明的主要步驟如圖1所示首先檢測學習數據集圖像的各種遮擋線索，學習各種遮擋線索概率分布，然後檢測測試數據集圖像的各種遮擋線索，據學習得到的遮擋概率分布獲得測試圖像中對象之間的遮擋概率，根據遮擋概率構建圖像的帶權有向圖結構，最後在帶權圖結構上利用層次排序推理算法求解圖像場景的層次結構。在圖像場景語義標記的基礎上定義了五種表示遮擋關係的遮擋線索，檢測學習數據集圖像的各種遮擋線索，學習各種遮擋線索表示遮擋關係的概率分布。本發明從眾多類信息中選擇出對象語義線索、對象位置線索、對象輪廓線索、公共邊界線索和交界點線索五種能夠表示對象區域間遮擋關係和層次關係的線索。在自然圖像場景中，馬和草地、牛和草地、樹木和建築物、汽車和道路之間的遮擋關係是可以確定的。對象間的語義信息能夠提供區域間的相對遮擋信息，是場景分層的特徵之一；從深度角度來講，一般情況下，越靠近攝像機鏡頭的對象一般位於圖像的下側，比如地面一般在最下方， 而天空一般在最上方，在圖2中，札< &表示Rl遮擋R2(以下同)，由此可見，對象區域在圖像上的位置，能夠在一定程度上反映對象間遮擋關係和層次關係，也是場景分層的特徵之一；當對象位於首層時，其輪廓形狀一般是規則且緊湊的。區域輪廓表現得越為規則，表明其被其他對象遮擋的可能性越小，如圖3所示，由此可見，如果其區域輪廓能夠在一定程度上反映區域自身的被遮擋情況，因此區域輪廓緊湊性是場景分層的低層特徵之一；在圖 4 (a)中，其公共邊界在區域Rl整體表現為凸，則Rl遮擋R2的可能性更大，因此相鄰區域間的公共邊界能夠在一定程度上反映區域間的遮擋關係，是解決圖像場景分層問題的重要線索之一；在圖4(b)中，其公共邊界在區域Rl上表現為一部分凸，也能表示Rl遮擋R2。在自然圖像場景中，當三個對象鄰接時，通常其中一個對象遮擋住其他兩個對象，表現在圖像上即為出現交界點現象，如圖5所示，R2 < R3 < R1,由此可見，鄰接區域間的交界點特徵是區域間遮擋關係的最為重要的線索，它能夠有效地反映區域間的遮擋關係，本發明將構成交界點的曲線簡化為向量形式，在交界點的局部範圍內根據各曲線的走向求曲線在有限像素點內的平均變化的方向向量，以逆時針方向選擇兩向量間的夾角表示交界點Jt，如圖6所示，Jt= (θ」 θ2)，其中，Q1為構成交界點的兩向量間最大的夾角，θ 2為繼續沿著時針方向旋轉確定的鄰接兩向量之間的夾角。如圖7所示，為了能夠快速獲得遮擋線索，本發明檢測遮擋線索步驟如下首先， 將語義標記圖讀入，從中抽取出各對象的語義標記，統計對象個數；接著，初始化對象區域信息，計算區域位置；然後，根據對象區域信息提取區域輪廓，並計算輪廓的長度和面積； 接著，將各對象的輪廓分裂為鄰接對象區域間的公共邊界，計算公共邊界的曲率和長度；最後，在公共邊界的端點處檢測判斷是否為交界點，初始化交界點的位置、分離區域、三條邊界曲線段、描述交界點形狀的角度等信息。在獲得圖像中的各種遮擋線索信息後，本發明設計實現各種遮擋線索的數學模型定義和統計量計算過程。對象語義關係的統計量計算，首先輸入要計算語義關系統計量的兩對象氏和1^.， 由於在語義標記圖中不同顏色表示不同的語義對象，所以識別兩對象氏和&的顏色，即識別兩對象的語義信息，然後輸入人工劃分的分層結果，獲得不同語義對象的遮擋關係直方圖，即在訓練數據集上，識別了對象的語義信息後，根據人工劃分的層次，統計不同語義對象之間的遮擋頻率，以此頻率作為語義表示遮擋關係的直方圖。位置線索的數學模型為:
權利要求
1.一種基於貝葉斯推理的圖像場景分層處理方法，其特徵在於該方法包括下述步驟(1)在圖像場景語義標記結果基礎上，定義語義、位置、輪廓、公共邊界和交界點五種遮擋線索，檢測學習數據集圖像的各種遮擋線索並學習每個遮擋線索的概率分布；(2)構建貝葉斯推理框架，定義基於先驗概率和似然概率的帶權有向圖，該有向圖能夠表現圖像對象之間的遮擋關係；(3)利用層次排序推理算法，結合後驗概率最大化，在帶權有向圖上求解出圖像場景的層次結構。
2.根據權利要求1所述的基於貝葉斯推理的圖像場景分層處理方法，其特徵在於步驟(1)所述的五種遮擋線索為對象語義線索、對象位置線索、對象輪廓線索、公共邊界線索和交界點線索；這五種線索從眾多類信息中選擇而出，能夠表示對象區域間的遮擋關係和層次關係，為後面的貝葉斯層次推理框架定義提供依據。
3.根據權利要求1所述的基於貝葉斯推理的圖像場景分層處理方法，其特徵在於步驟(1)所述的學習每個遮擋線索的概率分布，是指檢測出學習數據集中圖像的五種遮擋線索，根據已有的先驗遮擋關係，統計五種線索表示遮擋關係的概率分布，這種已有的先驗遮擋關係是人為標定的，以人的先驗知識作為依據。
4.根據權利要求1所述的基於貝葉斯推理的圖像場景分層處理方法，其特徵在於步驟( 所述的貝葉斯推理框架，是指由語義線索表示的遮擋概率作為先驗概率，由其他四種線索表示的遮擋概率的聯合概率作為似然概率，求解圖像場景層次最優解的過程轉換為求解最大後驗概率解的過程；步驟( 所述的定義基於先驗概率和似然概率的帶權有向圖是為了快速求解圖像層次表示的最優解。
5.根據權利要求4所述的基於貝葉斯推理的圖像場景分層處理方法，其特徵在於步驟 (2)所述的帶權有向圖的構建步驟是(2. 1)將圖像中的對象作為圖結構中的節點，相鄰對象對應的圖節點之間存在有向邊， 表現對象之間的遮擋關係；(2. 2)以對象輪廓線索表示的遮擋概率來度量圖節點自身被遮擋的權重；(2. 3)以其他四種線索表示的遮擋概率的加權和來度量有向圖中的有向邊，四種線索的權重參數能夠調節變化。
6.根據權利要求1所述的基於貝葉斯推理的圖像場景分層處理方法，其特徵在於步驟C3)所述的層次排序推理算法，改進了拓撲排序算法，考慮節點的入度和權重來決定對象的層次劃分；按照入度和節點權重迭代選擇當前圖中最優的節點，將其加入層次序列中， 再將其從圖中刪除，並將其累積的遮擋權重按照出度的邊分流到指向的節點中，直到圖為空，由此得到圖像場景的層次結構。
7.根據權利要求6所述的基於貝葉斯推理的圖像場景分層處理方法，其特徵在於所述的圖像場景的層次結構定義為對象與層次的關係對的集合，即某對象被劃分到某層次上；它是圖像的具有最大可能性的層次結構，即貝葉斯框架解空間中具有最大後驗概率的解。
全文摘要
本發明是一種基於貝葉斯推理的圖像場景分層處理方法，包括在圖像場景語義標記結果基礎上，定義語義、位置、輪廓、公共邊界和交界點五種遮擋線索，並學習這些遮擋線索的概率分布；然後構建貝葉斯推理框架，定義基於先驗概率和似然概率的帶權有向圖；最後利用本發明提出的層次排序推理算法，結合後驗概率最大化，在帶權有向圖上求解出圖像場景的層次結構。本發明可用於圖像或視頻虛擬場景的遮擋處理，圖像或視頻虛擬場景生成等應用。
文檔編號G06K9/62GK102509105SQ20111030330
公開日2012年6月20日 申請日期2011年9月30日 優先權日2011年9月30日
發明者李青, 趙東悅, 趙沁平, 陳小武 申請人:北京航空航天大學