一種與用戶交互式結構性紋理的合成方法
2023-06-08 22:53:31 1
專利名稱：一種與用戶交互式結構性紋理的合成方法
技術領域：
本發明涉及結構性紋理的互動設計與合成的技術領域，具體涉及一種與用戶交互式結構性紋理的合成方法。
背景技術：
本發明主要關注了具有結構信息紋理的互動設計與合成，最近的成果包括了基於特徵的紋理合成、紋元重排列、塊的拼接方法以及實時紋理合成。基於特徵的紋理合成紋理中的特徵多種多樣，包括了形狀、大小、方向、紋元顏色等等，所以近年來有很 多研究都著眼於此。Wu等人從樣圖中提取出小的容易獲取的結構特徵如曲線、褶皺等的分布圖，然後特徵的匹配及變形構建出一個大的特徵分布圖從而完成整個合成過程。Hays對於近規則紋理合成提出了一種較好的方法，首先從樣圖紋理中依據近似規則的拼接由用戶參與提取出分布小格子，幾何變形場的構建可以提供幾何數據用于格子形狀的變形，從而合成結果。Dischler等人利用了一個無縫的網格以及樣圖，首先拼接出一個大的網格圖，接著依據從樣圖中提出的網格信息通過其優化方法對網格圖進行變形。特徵同樣被用於加強紋理合成變化，Velho的方法就能得出這樣的結果，它將特徵進行變形混合從而引入了形狀及紋元的變化，進而得出具有豐富變化的紋理結果。Zara從樣圖中提取出多個特徵分布圖，再利用變形方程得出一個單一複雜的的插值結果。Ray利用一個等級集平滑方法進行特徵變形，限定了利用給定樣圖進行紋理的合成。相比較於在整個特徵圖上進行全局形變，Ruiters等人只是在局部進行特徵的插值，然後利用塊混合的方法進行合成。紋理特徵不僅僅能夠在空間上進行變換，在時間上也能進行變化得出良好效果，Narain就從動態的流體現象中提取出特徵信息，然後在視頻中合成出動態的效果。本文方法同樣是基於特徵的紋理設計與合成。相對於上述這些方法，本方法避免了對用戶輸入大網格的嚴格要求，同時保持了樣圖以及輸入網格的特徵，在這個基礎上添加的模式。信息為紋理設計帶來了更大的靈活性。紋元重排列特徵圖不僅僅是包含了形狀、大小、方向、顏色等信息，同樣包含了紋元的排列信息。Zhou Kun等人在特徵圖合成時加入了紋元密度、分布等信息，此方法在模擬大自然中的紋理時獲得了很好的效果。Ray等人引入了材質坐標系用於對紋元進行重排列。相較於特徵圖，控制圖則在更高的水平上加強了對於紋元排列的控制。Reng, Kwartra, Wei Liyi等人都是利用了一個輸入控制圖對紋元排列進行指導。近年來，Rosenberger自動的從給定樣圖中獲取其層次控制圖，進而進行紋理合成。除此之外，還有其他的方法用於紋元的排列。Ijiri提出了一種局部生長的過程性的方法用於紋元的生長排列得出了良好的效果。Zelinka利用了三維空間的褶皺信息用於模式的重排列。
本發明方法，從給定樣圖中提取出的網格信息可以用於對紋元的重排列。塊拼接基於塊拼接的紋理合成方法最主要的問題便是如何去除掉拼接處的縫隙。Cohen等人提出了一個由從樣圖中提取出的Wang Tiles集合，得到連續分布的紋理合成方法。Kwatra, Efros利用誤差函數,在兩個塊的重複部分找出一條最小代價的Graphcut,進而將兩個塊放在一起。Clapworthy提出了對於非規則形狀的塊進行邊的切割，然後得出在視覺上具有最小非連續性的新圖像的方法。Praun更進一步討論了在3D表面的對非規則塊進行優化從而得出滿意效果的解決方法。
在本發明方法中有兩個步驟用到了塊的信息一個是紋理網格的構造，我們會首先通過一個邊匹配代價方程從樣圖網格中提取出一個無縫的網格；另一個是光柵化階段網格的初始化部分，在這裡我們會通過一些變形放縮方法將從樣圖中提取出的塊放入結果網格中。實時紋理合成在計算機圖形學中，紋理合成是一個耗時工作，研究者們提出了額、各種方法試圖解決實時紋理合成的問題。其中一個想法便是預計算。Zelinka首先通過預計算分析了樣圖紋理，每個像素的鄰域信息都存儲在了 jump map中，就是通過這個jump map可以大大加快整個合成的速度。幾何空間的結構信息同樣可以幫助加快紋理合成的速度。在Michel Dischler中，首先是通過快速構建樣圖的二維幾何信息，在光柵化時結合GPU利用這些信息並行的快速得出結果紋理。另一種減少時間開銷的方法是通過塊合成方法。在方法Hays中，作者依據馬爾科夫隨機理論，摒棄了基於像素的合成而採用塊的合成大大加快了合成進程，並且取得了很好的效果。隨著GPU並行處理數據能力的增強，很多並行合成方法被提出來用於提高合成的效率。Lefebvre等人結合了傳統的多解析度技術與並行處理方法獲得了實時合成結果的高質量的紋理。本發明的目標是提出一種可以跟用戶進行交互的紋理設計與合成方法。所以我們不能通過預計算加快速度。本發明結合了基於塊的思想跟並行合成方法，可以完成跟用戶的交互過程。
發明內容
本發明要解決的技術問題是提供一種與用戶交互式結構性紋理的合成方法，對於用戶提供的輸入網格或者從樣圖中提取出的樣圖網格，快速的合成出與其模式相一致的結果網格。對於結構性的紋理，結合像素的距離與方向特徵快速的合成出結果紋理，完成與用戶的交互式紋理設計與合成。本發明解決上述技術問題的技術方案為一種與用戶交互式結構性紋理的合成方法，包括以下步驟
步驟(I)、結果紋理的結構信息合成根據用戶輸入的或者是從樣圖中提取出的網格進行分析，首先得到無縫的網格塊，所述的無縫的網格指的是其上邊界與其下邊界、左邊界與右邊界分別完全重疊在一起；然後將這個無縫的網格塊進行簡單拼接形成理想大小的網格塊，最後對這個理想大小的網格塊進行優化得到最後的結果紋理的網格信息；步驟(2)、結果紋理的初始化完成對於結果紋理的邊界與非邊界區域的初始化，對於邊界的初始化，利用了像素到其最近邊的距離特徵在樣圖中尋找一個與其距離特徵最為相似的像素進行賦值；對於非邊界像素，將紋理劃分成兩 個大類分別進行處理第一類是對於變形不明感的紋理，對於該紋理上的每個由網格劃分出的塊，在樣圖中隨機的找到一個塊進行拉伸填充；第二類是對拉伸敏感的紋理，對於這類紋理上的塊，在樣圖中找到一個塊，根據這兩個塊半徑的比例，對樣圖塊進行整體的放縮然後填充初始化；步驟(3)、基於鄰域的並行像素合成利用了像素的方向特徵對其鄰域進行旋轉從而找到更加適合的樣圖像素，提高合成質量。進一步的，所述的第一類紋理具體是石塊的形變不明感的紋理。進一步的，所述的第二類是紋理具體是花朵的拉伸等形變操作敏感的紋理。本發明的原理在於(I)為了從用戶輸入網格合成出理想大小的目標網格，首先需要尋找一塊無縫網格，尋找方案是隨機在輸入網格上割取網格塊，利用本發明提出的代價方程計算出每個塊的自匹配代價，找出代價最小的塊作為無縫候選塊。根據一定規則移動無縫候選塊的頂點使其成為無縫塊。拼接無縫塊獲取初始的目標網格，最後對目標網格進行優化得到結果網格。(2)對於邊界像素，根據其距離特徵，在樣圖中選擇與其特徵最為相似的像素進行初始化。對於非邊界像素，則採用對樣圖塊的拉伸或者整體塊放縮方法來填充結果紋理塊，從而完成整個初始化步驟。(3)利用方向特徵，對初始化了的結果紋理中每個像素的鄰域進行旋轉，得出最佳的鄰域，然後並行的採用鄰域匹配方法在樣圖中搜索最佳的匹配像素從而合成出結果紋理。與原有方法相比，本發明首先能夠依據用戶輸入的網格或者是從樣圖提取的網格合成出理想大小的並且與遠網格保持同一模式的結果網格，而不用嚴格的要求用戶輸入一張大的結果網格；加入了像素的距離與方向特徵後，本發明能夠獲得比原來方法效果更佳的合成結果，並且利用本發明在合成階段天生的可並行性完成與用戶的快速可交互結果合成。本發明對於結構性紋理的合成具有很好的實用性。
圖I為算法整體流程；圖2為割邊示意圖；圖3為邊界示意圖；圖4為網格塊頂點分類示意圖；圖5為網格(左)的距離特徵(中)示意圖和方向特徵(右)示意圖；圖6為邊界像素的初始化過程示意圖7為第一類紋理網格塊的初始化示意圖；圖8為第二類紋理網格塊的初始化示意圖；圖9為用戶添加不同設計風格示意圖；圖10為合成階段像素方向特徵對於領域影響示意圖；圖11為菠蘿蜜與催化餅乾合成效果示意圖；圖12為菠蘿，磚塊，馬賽克，格子，標準紋理示意圖；圖13為一種添加不同設計的馬賽克合成圖示意圖。
具體實施例方式圖I給出了本發明的具體實施過程示意圖，具體實現方法如下 步驟I:網格合成網格合成是從給定網格中獲得理想大小及模式的目標網格。幾何網格將合成帶入了幾何合成空間，所以這裡就利用了一些幾何方法進行合成。(I)割邊匹配代價我們將相交於某個塊上的線段稱為割邊，為了度量兩割條邊之間的距離，我們提出了一種變匹配代價方程。在圖2中&，e2表示兩條邊，K,Pl, 表示著兩條邊的四個頂點，並且每條邊都是具有方向性的，在本文中都是從in邊指向out邊。割邊ei到e2的距離由如下公式計算咖-2)= (l + ||ii￡||)*(l + +(iS；)-其中η( ·)表不一個向量所在的單位向量，I I · I I表不一個向量的長度，λ為權
重參數。根據上面方程可得兩條割邊的匹配代價c (θ1； e2)c(e」e2) = d (e」 e2)+d (e2, e)由上可知當兩條割邊完全重合時，它們的匹配為O。(2)邊界匹配代價在本文中邊界指的是一個塊的邊。邊界匹配的指是對於給定的一條邊界，找出本邊界跟給定邊界之間的距離。它們之間的距離的度量可以由在這兩條邊界上對應割邊之間的匹配代價之和表示。在圖3中，!^七表示一對擁有相同長度的兩條需要計算匹配代價的邊界。其中對於Id1有m條割邊與之相交，對於b2則有η條割邊，如果m與η不相等，那麼這兩條邊界之間的匹配代價為無限大，如若相等，那麼它們之間的匹配代價由如下公式給出
Cm
「Cieil, el)啪為
Lni其中，Cnt表示它們割邊的數量。(3)網格塊的自匹配網格塊的自匹配是為了從輸入網格中找出一個自身匹配代價最小的塊，用於構造無縫網格。如果我們想要將一個網格塊進行拼接那麼這個塊必須是左邊界跟右邊界相匹配，上邊界跟下邊界相匹配，所以一個網格塊的自匹配代價為c (P) =c (bleft, bright) +c (bright, bleft) +c (btop, bbottom) +c (bbottom, btop)其中，bleft，bright,bbottom, btop表示這個塊的四條邊界。如果一個網格塊的自匹配代價越小，那麼表示這個塊在拼接時將會更加的容易，如果一個網格塊的自匹配代價為0，那麼我們稱這個塊是無縫的網格塊。(4)無縫網格塊的構造無縫網格塊是生成最終大的目標網格的基礎單元，其構造過程可以分為兩個步驟塊的選擇與形變。候選無縫塊P。是從輸入網格中選取出的最小自匹配代價塊。首先，在輸入網格中隨機的選擇一些中心點以及邊長構建一系列的候選塊Pi, S表示所有Pi構成的集合。然後利用自匹配代價方程計算出每個候選塊的匹配代價。最後在這些候選塊中找出代價最小的作為候選無縫塊Pc = arg min c (Pi) Pi e S在絕大部分情況下，不可能直接由上述獲得的候選無縫塊直接拼接出想要的結果，我們必須進行一些變形操作。在候選無縫塊中頂點可以分為兩個主要部分一部分是所在邊為這個候選塊的割邊，另一部分則是所在邊跟塊邊界沒有相交，如圖4所示。對於第一類頂點，我們將與其所在邊界的對應邊界平移到本條邊界位置，然後將這個頂點與其對應頂點的中間位置作為這個頂點的新位置。對於第二類頂點我們同樣需要進行一些變形一面產生不好的效果。對於頂點V其位移dsp可由下面公式給出
權利要求
1.一種與用戶交互式結構性紋理的合成方法，其特徵在於包括以下步驟 步驟(I)、結果紋理的結構信息合成根據用戶輸入的或者是從樣圖中提取出的網格進行分析，首先得到無縫的網格塊，所述的無縫的網格指的是其上邊界與其下邊界、左邊界與右邊界分別完全重疊在一起；然後將這個無縫的網格塊進行簡單拼接形成理想大小的網格塊，最後對這個理想大小的網格塊進行優化得到最後的結果紋理的網格信息； 步驟(2)、結果紋理的初始化完成對於結果紋理的邊界與非邊界區域的初始化，對於邊界的初始化，利用了像素到其最近邊的距離特徵在樣圖中尋找一個與其距離特徵最為相似的像素進行賦值；對於非邊界像素，將紋理劃分成兩個大類分別進行處理第一類是對於變形不明感的紋理，對於該紋理上的每個由網格劃分出的塊，在樣圖中隨機的找到一個塊進行拉伸填充；第二類是對拉伸敏感的紋理，對於這類紋理上的塊，在樣圖中找到一個塊，根據這兩個塊半徑的比例，對樣圖塊進行整體的放縮然後填充初始化； 步驟(3)、基於鄰域的並行像素合成利用了像素的方向特徵對其鄰域進行旋轉從而找到更加適合的樣圖像素，提高合成質量。
2.根據權利要求I所述的一種與用戶交互式結構性紋理的合成方法，其特徵在於所述的第一類紋理具體是石塊的形變不明感的紋理。
3.根據權利要求I所述的一種與用戶交互式結構性紋理的合成方法，其特徵在於所述的第二類紋理具體是花朵的對拉伸形變操作敏感的紋理。
全文摘要
本發明提出一種與用戶交互式結構性紋理的合成方法，首先，根據用戶輸入網格或者是從樣圖中提取出的網格生成一個跟樣圖網格模式相同的理想大小的目標網格，之後用戶可以添加各種合成模式以進行紋理設計，然後依據本發明提出的特徵距離的概念對這個目標網格進行初始化，最後結合本發明提出的像素方向特徵並行合成出結果紋理。本發明對於具有結構的紋理得到了很好的合成效果，而且在幀率上利用GPU的並行性實現了可交互紋理設計與合成。
文檔編號G06T11/00GK102867317SQ20121030143
公開日2013年1月9日 申請日期2012年8月22日 優先權日2012年8月22日
發明者王莉莉, 陳益, 沈哲, 郝愛民 申請人:北京航空航天大學