基於圖像的場景再照明方法

2023-04-23 13:42:01

專利名稱：基於圖像的場景再照明方法
技術領域：
本發明涉及的是一種基於圖像的再照明方法，特別是一種快速有效的基於圖像的場景再照明方法，屬於計算機運用領域。
背景技術：
基於圖像的再照明技術(IBL)是為了解決計算機圖形學中基於圖像的建模和場景生成技術(IBMR)中光線控制的難題而提出的，它的主要思路是給定某個方向的平行光照射條件，通過插值預先採樣的參考圖像可以獲得相應的場景圖像。這種技術很好地解決了IBMR中的光線控制，但同時它也帶來了新的技術挑戰。由於場景生成的質量直接取決於預採樣圖像的數目，因而IBL技術需要的原始數據量非常大。為了保證生成圖像沒有重疊，沿經線和緯線的採樣總數往往要大於12000，也即要採集12000幅圖像。如此龐大的數據量對於存儲和傳輸所帶來的負擔之重是顯而易見的。所以需要設計一個有效快速的數據壓縮和提取的算法。經文獻檢索，目前只有一種基於球諧波的壓縮方法出現而且是IBL(基於圖像的再照明技術)技術提出者黃田津提出的，T.T.Wong，C.W.Fu，P.A.Heng and C.S.Leung.The Plenoptic IlluminationFunction.(光照全光函數)IEEE Trans.on Multimedia，4(3)，pp.361-371，2002，該文主要利用球諧波方法來壓縮IBL中的海量數據，該方案存在最大問題是無法處理大批量數據。因為球諧波是一種全局基，提取它們需要同時處理所有數據，這在實際應用中往往無法做到，同時這種方法無法反應數據的局部變化和多尺度特點。

發明內容
本發明的目的在於克服現有技術中的不足，提供一種基於圖像的場景再照明方法，該方法是基於整數變換形式的球小波變換和整數小波變換技術的IBL數據壓縮方法(簡稱SWT-IWT IBL)，使其能處理大批量數據，並在此基礎上實現快速有效的場景再照明。
本發明是通過以下技術方案實現的，本發明首先對原始數據進行YIQ格式(Y亮度(Luninance)，I(Inphase)代表顏色，Q(Quad-rature)代表顏色)變換，再進行全光函數值初始化，其次採用球小波變換技術對採樣圖像進行在位變換，然後對係數圖像進行比特分配，接著用小波變換技術對球小波變換係數圖像進行壓縮，最後基於壓縮文件的場景再照明方法生成最終的場景圖像。本發明的核心是數據壓縮部分。
以下對本發明方法作進一步的說明，具體內容如下1、對原始數據進行YIQ變換。
利用以下公式將RGB格式的原始圖像轉換為YIQ格式的圖像文件YIQ=0.2990.5870.1440.596-0.275-0.3210.212-0.5230.311RGB---(1)]]>2、全光函數值初始化。
在YIQ變換後，接著進行球面三角形中心點位置對應的光照條件對應的全光函數值初始化，對所有象素點而言也就是圖像重採樣。首先根據採樣圖像數N確定單位球面三角形分解的最大層次d，使得20×4d與N的差的絕對值最小。然後通過表徵球面三角形分解的數據結構，將球面正20面體進行d層等級均勻分解，每分解一次，當前的球面三角形被均勻劃分為四個球面三角形，中間位置的小三角形稱為T0，其它三個依次稱為T1，T2和T3，從而得到較高精確度的下一級球面近似方案。較低的解析度對應較小的分解層次，最低解析度時球面由20個三角形構成，對於d級分解的球面，一共有20×4d個小球面三角形。
對球面的三角形分解過程，本發明設計了一個表徵球面三角形分解的數據結構，它的成員變量包括三角形的頂點、中心點位置，父節點指針，子節點指針，三角形中心點對應的函數值以及一些操作函數。對基於三角形分解的球面來說，存在許多這樣的數據結構。為了便於操作和管理，對球面正二十面體各個面都分配一個編號從0到19。每進行一次分解，對所出現的球面小三角形也進行順序編號，分解前編號為t的三角形它的四個子三角形T0，T1，T2和T3的編號分別為4t，4t+1，4t+2，和4t+3，比如編號為3的三角形進行一次分解時，它的四個子三角形分別編號為12，13，14和15。利用這些編號和分解層次就可以定位某一個球面三角形了。對應這個編號，設計了一個線性鍊表結構。開始時，鍊表中保存的是最小解析度下的20個球三角形的數據結構指針，每進行一次分解(所有三角形都進行相同層次的分解)，鍊表元素就要進行更新，所有元素都是新的一次分解後的球面小三角形的數據結構指針。各元素的插入順序和球三角形的編號規則一樣，即編號為t的三角形的四個子三角形的數據結構的指針在鍊表中的位置依次為4t，4t+1，4t+2，和4t+3。這樣球小波分解和重構就完全可以根據這個鍊表的結構關係來進行。20×4d個球三角形對應的圖像值可以利用各三角形的中心位置作為插值點在原始數據中插值來得到。對沿經線和緯線均勻間隔採樣的原始數據的重採樣可以採用雙線性插值方法；對非均勻採樣則可以採用散布點插值方法來完成。
在球面分解的過程中還需建立各個球面的數據結構之間的鄰接關係。為此用組合的四叉樹結構來表徵球三角形等級分解(又稱為金字塔形分解)中的這些關係。每個樹節點是一個球三角形的數據結構指針，如前面所說這個樹節點的數據結構包含該三角形的各頂點以及中心點的數據結構、父節點和子節點的指針以及在四叉樹中的當前位置深度。各頂點數據結構包含該節點的空間位置。正二十面體的每個表面(球三角形)對應為一個四叉樹的根節點(根節點的深度為0)，一共有20個四叉樹，合在一起形成組合的四叉樹結構。為了建立鄰接關係和避免重複生成某個節點的數據結構，程序初始化時，應對20個最頂層的三角形數據結構，即20個四叉樹根節點之間進行點邊匹配，如果有兩個三角形的兩個頂點是重合的則各自定義對方為自己的一個鄰居。對一個三角形進行均勻分解需要生成3個新的頂點，也即該三角形三邊的中點，在生成之前要先查詢這個三角形的鄰居中是否已生成了這3個頂點，如果沒有則生成新的頂點數據結構對象，有則返回相應的頂點指針，然後利用這3個新生成或查詢到的頂點指針和原有3個頂點指針來生成4個下一級球三角形數據結構對象，將它們的父節點指針指向分解前的大三角形，它們的子節點指針置0，每個子三角形的深度設置為父節點深度加1。
3、採用球小波變換技術對採樣圖像進行在位變換。
本發明中採用了Bio-Haar小波變換。初始狀態對應0級球小波分解狀態或最大解析度狀態，在獲得初始的20×4d幅圖像後，根據用戶指定的最大球小波分解深度d′(d′＜d)從最大解析度d開始進行球小波分解一直分解到d-d′級為止，每一級別的球小波分解都是從線性鍊表頭開始，從第一個元素開始依次掃描到最後一個元素，依次提取4幅係數圖像(為了便於理解，以下稱IBL中的原始圖像球小波變換的中間值為係數圖像，在0級球小波分解時，係數圖像就是原始圖像)，每個圖像的文件名編號間隔為4j(j為當前分解級別，d-d′≤j≤d)，對這四個元素對應的係數圖像進行球小波分解，然後存入各自原來的位置。這樣直到第j級分解全部完成。重構步驟與這剛好相反，對應某一級(設為第j級)的重構時，從第一個元素開始依次掃描到最後一個元素，每次提取4個元素對應的上一級重構對應的係數，各元素符號之間的間隔為4d-j。對這四個元素對應的上一級重構後的係數進行球小波重構，然後存入各自原來的位置。這樣直到第j級重構全部完成。在球小波分解和重構過程中都是用整幅圖像為基本單位，數據的存放是根據最大分解層次時的球三角形的編號按順序進行的。每一次球小波分解的關係如下式所示j,*=(I=03j+1,l)/4---(2)]]>j,l=j+1,l-j,*]]>其中l＝1，2，3(3)其中λj+1，l(l＝0，1，2，3)表示讀入的第j+1級分解的係數圖像， 表示一次小波分解後(第j級小波分解係數圖像)的近似部分係數圖像，γj，l(l＝1，2，3)表示細節部分係數圖像，在算法實現中， 與λj+1，0使用同一個變量，γj，l(l＝1，2，3)與λj+1，l(l＝1，2，3)使用相同的變量，也即變換是「在位進行」的，分解完畢將分解圖像存入原來讀入的位置，然後讀入下面4幅圖(或上一級球小波分解圖)進行球小波分解，直到當前級別球小波分解全部完成。
相應的球小波重構算法用以下兩式來描述j+1,l=j,l+j,*]]>其中l＝1，2，3 (4)j+1,0=4j,*-l=13j+1,l---(5)]]>4、對係數圖像進行比特分配。
在球小波分解完畢後，根據給定比特率，對每個四叉樹對應的N＝4d個係數圖像，進行以下的比特分配過程。首先計算每個分解係數系列的方差，利用下式來求取各分解係數序列的給定比特率Ri=R+0.5log2(ii2)-{1Nj=1N0.5log2(jj2)}---(6)]]>其中R為目標比特率，Ri為第i個數據源所獲得的比特分配結果，α為一常數，對編號為N的整數倍的分解系列取α值為2.7其它編號的分解系列取αi為4.5。
5、用小波變換技術對球小波變換係數圖像進行壓縮。
根據上述步驟獲得的比特分配數，接下來對分解系列進行整數小波變換和嵌入式零樹小波編碼。整數小波變換可以採用5/3整數小波變換或者9-7整數小波變換。前者運算步驟少所需存儲空間也小，但性能比後者略差。5/3整數小波變換形式為 逆變換為 其中d表示細節部分，s表示近似部分。9-7整數小波變換形式為 相應的逆變換形式為 對球小波變換圖像進行整數小波變換後，再利用嵌入式零樹小波(EZW)編碼方法根據比特分配結果進行最終編碼。
6、基於壓縮文件的場景再照明方法生成最終的場景圖像。
最後使用最近鄰插值法來生成最終的場景圖像。對任意單位球面位置(θk，φk)，通過計算球面德拉內(Delaunay)三角形可以找到N′個最近鄰點，先對這些近鄰點對應的壓縮文件進行小波解壓縮，然後進行球小波重建以及YIQ到RGB的反變換得到相應的恢復圖像，然後I(θk，φk)可以計算如下Ik=j=1NIjkj2j=1N1kj2---(19)]]>因為考慮的是三角形的均勻分割情況，所以該過程可以簡化為對單位球面上的某個點尋找與它所在的小三角形共某個頂點的所有鄰接三角形，其中這個頂點是它所在三角形的三個頂點中離它最近的點。在原始採樣數非常大以及相應的球面三角形分解深度越來越大時，最近鄰點數目可以相應地減少甚至只取給定點所在的三角形即可。這樣給定某個光照條件，利用上述壓縮方法壓縮的數據來生成相應的場景圖像時，首先重建最近鄰點對應的採樣圖像，然後對重建圖像進行插值就可以得到想要的場景圖像。對球小波分解深度為d的壓縮數據，重建某幅圖像需要解壓縮1+3*d幅壓縮的球小波變換圖像，實際上許多鄰居點都擁有相同的父節點或祖父節點或曾祖父節點，只要兩個鄰居點位於同一個四叉樹下，重建這兩個鄰居點對應的採樣圖像時就必然要重複解壓縮某些壓縮數據以及重複進行球小波逆變換，為了減少這種重複勞動，在IBL過程中應該記錄一些中間變量。為此設計了一個輔助的數據結構用來指明哪些中間變量需要記錄以及哪些中間變量已經記錄。最近鄰點都已確定後，下一步是確定有幾個主樹(要涉及的四叉樹)以及哪些近鄰點屬於哪個主樹，然後對每個涉及到的四叉樹(這裡稱為主樹)生成一個輔助樹。輔助樹也是一個四叉樹，它的分解深度和節點數與主樹相同。對每個要涉及到的主樹，確定哪些節點需要重建，哪些節點的數據需要保留(當兩個以上近鄰點重建時都需要重建的節點數據需要保留)，分別就這些狀態對輔助樹的節點設置一些標識。然後再根據輔助樹來重建所有近鄰點，對每個輔助樹的近鄰點重建而言，在重建過程中每涉及到一個節點都要先查詢該節點的狀態，如果該節點已經被重建過，則直接取出堆棧中的數據跳到下一步，如果沒有被重建，則分別讀出該節點的兄弟節點的壓縮數據進行解壓縮，然後進行球小波組合，如果該節點需要保留中間變量，則開闢堆棧空間，存儲球小波重構後的結果供下一個近鄰點重建時使用。
本發明與基於球諧波技術的壓縮方法相比，主要區別有1、採用球小波技術對採樣數據進行變換，能量重新分配。因為球小波變換技術是局部變換，所以它與採樣數據多少無關，球諧波技術則是全局變換無法對海量數據進行操作，又由於球小波變換的局部性，使得它能有效地表達採樣數據的局部突變，而球諧波方法中，原始數據的局部變化會導致全部的球諧波係數改變，不能利用少量的球諧波來有效表達這種變化。2.採用整數小波變換技術對整數球小波變換圖像進行壓縮，壓縮技術是基於嵌入式小波零樹結構的，該技術具有很高的壓縮性能比。同時由於方法的全部運算都是基於整數變換的，所以在壓縮速度上遠遠優於球諧波方法，選用合適的插值方法，場景生成速度也可以與球諧波方法接近。而且本發明方法的初始化時間非常短暫，場景生成要使用的數據都是實時解壓縮的，因而需要的內存空間消耗極小，球諧波的方法則需要一個很長的初始化時間以及很大的內存開銷。在球小波變換中，設計了3個全新的數據結構，第一個是表徵球面三角形分解的數據結構，第二個是基於球小波分解的光照可調全光函數組成的圖像的存儲和提取數據結構(隱藏樹結構)，球面分解過程的組合四叉樹結構，完全表示了球面的三角形近似方案的空間拓撲結構，可以用在其它相關的三維物體表面建模方案中；用線性鍊表方式隱藏了球面三角形等級分解的拓撲關係，使得球小波分解和重構可以不依賴於表徵球面三角形分解過程的組合四叉樹結構而進行。無需將每個象素的全光函數單獨提出。第三個是場景生成時的輔助樹結構，指明記錄場景生成時需要使用的某個四叉樹中的相應節點以及哪些中間變量需要保留，從而減少重複解壓縮和重構所帶來的時間和資源浪費。
本發明具有實質性特點和顯著進步，對平滑或非平滑光照條件下的場景數據壓縮，使用本發明方法都能獲得很高的壓縮/重建性能比，它能快速有效地壓縮光照可調節的全光函數數據，能快速生成任意光照條件下的場景圖像，從而調節IBMR技術中的光照條件。
具體實施例方式
結合本發明方法的內容提供實施例，具體內容如下根據本發明方法，對兩組光照可調節的圖像數據進行了壓縮和圖像生成實驗，作為比較，同時使用了JPEG算法進行了壓縮和生成。第一組數據的場景是一個香爐，沿經線和緯線的採樣數分別為30和40，一共1200幅圖像，每幅圖像大小為512×512。進行SWT-IWT壓縮時，最大球面分解深度選為3，球面三角形分解後，最大解析度時一共有20×43＝1280個小三角形，用雙線性插值法獲取各小三角形的圖像值(設每個小三角形內各點對應方向的場景圖像都一樣，也即球面三角形對應的函數值相同)，這個重採樣的結果可以獲得1280幅圖像，根據前面所描述的各三角形的編號順序給它們編號並存檔，然後進行3級球小波分解，再進行比特分配和EZW編碼。第二組數據是一個閣樓場景，沿經線和緯線的採樣數分別為15和20，一共300幅圖像。最大球面分解深度選為2，球面三角形分解後，最大解析度時一共有20×42＝320個小三角形，同樣地對它們進行球小波分解和小波壓縮。
為了評價方法的性能，隨機給定100個不同光照條件，利用不同目標比特率的壓縮數據生成了100幅場景圖像，並利用未壓縮數據生成相應的100幅圖像，用基於未壓縮的圖像作為參考圖像，計算基於壓縮的場景圖像的峰值信噪比作為評價算法壓縮性能的標準。實驗結果如下當目標比特率為0.5bit時，第一組數據的壓縮率為62∶1，生成圖像平均PSNR為37.25 dB，第二組數據的壓縮率為48∶1，生成圖像平均PSNR為34.27 dB。而且無論從壓縮率還是從圖像生成質量上看，SWT-IWT算法都比JPEG算法要優越。
權利要求
1.一種基於圖像的場景再照明方法，其特徵在於首先對原始數據進行YIQ格式變換，再進行全光函數值初始化，其次採用球小波變換技術對採樣圖像進行在位變換，然後對係數圖像進行比特分配，接著用小波變換技術對球小波變換係數圖像進行壓縮，最後基於壓縮文件的場景再照明方法生成最終的場景圖像。
2.根據權利要求1所述的基於圖像的場景再照明方法，其特徵是，所述的全光函數值初始化，具體如下在YIQ變換後，進行球面三角形中心點位置對應的光照條件對應的全光函數值初始化，對所有象素點而言即為圖像重採樣，首先根據採樣圖像數N確定單位球面三角形分解的最大層次d，使得20×4d與N的差的絕對值在所有的d中最小；然後通過表徵球面三角形分解的數據結構，將球面正20面體進行d層等級均勻分解，每分解一次，當前的球面三角形被均勻劃分為四個球面三角形，最低解析度時球面由20個三角形構成，對於d級分解的球面，一共有20×4d個小球面三角形；對球面正二十面體各個面都分配一個編號，每進行一次分解，對所出現的球面小三角形也進行順序編號，通過這些編號和分解層次定位某一個球面三角形，對應編號，設計一個線性鍊表結構，球小波分解和重構根據線性鍊表結構關係來進行，20×4d個球三角形對應的圖像值利用各三角形的中心位置作為插值點在原始數據中插值來得到；對沿經線和緯線均勻間隔採樣的原始數據的重採樣採用雙線性插值方法；對非均勻採樣則採用散布點插值方法。
3.根據權利要求2所述的基於圖像的場景再照明方法，其特徵是，表徵球面三角形分解的數據結構，它的成員變量包括三角形的頂點、中心點位置，父節點指針，子節點指針，三角形中心點對應的函數值以及操作函數。
4.根據權利要求2所述的基於圖像的場景再照明方法，其特徵是，對應編號的線性鍊表結構，開始時，鍊表中保存的是最小解析度下的20個球三角形的數據結構指針，每進行一次分解，鍊表元素就進行更新，所有元素都是新的一次分解後的球面小三角形的數據結構指針，各元素的插入順序和球三角形的編號規則一樣。
5.根據權利要求2所述的基於圖像的場景再照明方法，其特徵是，在球面分解的過程中採用組合的四叉樹結構來表徵球三角形等級分解中各個球面的數據結構之間的鄰接關係，每個樹節點是一個球三角形的數據結構指針，這個樹節點的數據結構包含該三角形的各頂點以及中心點的數據結構、父節點和子節點的指針以及在四叉樹中的當前位置即深度，各頂點數據結構包含該節點的空間位置，正二十面體的每個表面對應為一個四叉樹的根節點，根節點的深度為0，一共有20個四叉樹，合在一起形成組合的四叉樹結構。
6.根據權利要求2或5所述的基於圖像的場景再照明方法，其特徵是，為了建立鄰接關係和避免重複生成某個節點的數據結構，程序初始化時，應對20個最頂層的三角形數據結構，即20個四叉樹根節點之間進行點邊匹配，如果有兩個三角形的兩個頂點是重合的則各自定義對方為自己的一個鄰居；對一個三角形進行均勻分解需要生成3個新的頂點，也即該三角形三邊的中點，在生成之前要先查詢這個三角形的鄰居中是否已生成了這3個頂點，如果沒有則生成新的頂點數據結構對象，有則返回相應的頂點指針，然後利用這3個新生成或查詢到的頂點指針和原有3個頂點指針來生成4個下一級球三角形數據結構對象，將它們的父節點指針指向分解前的大三角形，它們的子節點指針置0，每個子三角形的深度設置為父節點深度加1。
7.根據權利要求1所述的基於圖像的場景再照明方法，其特徵是，所述的採用球小波變換技術對採樣圖像進行在位變換，具體如下採用Bio-Haar小波變換，初始狀態對應0級球小波分解狀態或最大解析度狀態，在獲得初始的20×4d幅圖像後，根據用戶指定的最大球小波分解深度d′，d′＜d，從最大解析度d開始進行球小波分解一直分解到d-d′級為止，每一級別的球小波分解都是從線性鍊表頭開始，從第一個元素開始依次掃描到最後一個元素，依次提取4幅係數圖像或上一級球小波變換的圖像，每個圖像的文件名編號間隔為4j，j為當前分解級別，d-d′≤j≤d，對這四個元素對應的係數圖像或上一級分解後的係數進行球小波分解，然後存入各自原來的位置，這樣直到第j級分解全部完成；重構步驟與這剛好相反，對應某一級，設為第j級的重構時，從第一個元素開始依次掃描到最後一個元素，每次提取4個元素對應的上一級重構對應的係數，各元素符號之間的間隔為4d-j，對這四個元素對應的上一級重構後的係數進行球小波重構，然後存入各自原來的位置，這樣直到第j級重構全部完成；在球小波分解和重構過程中都是用整幅圖像為基本單位，數據的存放是根據最大分解層次時的球三角形的編號按順序進行的。
8.根據權利要求1所述的基於圖像的場景再照明方法，其特徵是，所述的對係數圖像進行比特分配，具體如下在球小波分解完畢後，根據給定比特率，對每個四叉樹對應的N＝4d個係數圖像，進行比特分配過程首先計算每個分解係數系列的方差，再利用公式求取各分解係數序列的給定比特率。
9.根據權利要求1所述的基於圖像的場景再照明方法，其特徵是，所述的用小波變換技術對球小波變換係數圖像進行壓縮，具體如下根據獲得的比特分配數，對分解系列進行整數小波變換和嵌入式零樹小波編碼，整數小波變換採用5/3整數小波變換或者9-7整數小波變換；對球小波變換圖像進行整數小波變換後，再利用嵌入式零樹小波編碼方法根據比特分配結果進行最終編碼。
10.根據權利要求1所述的基於圖像的場景再照明方法，其特徵是，所述的基於壓縮文件的場景再照明方法生成最終的場景圖像，具體如下使用最近鄰插值法來生成最終的場景圖像，對任意單位球面位置，通過計算球面德拉內三角形找到N′個最近鄰點，先對這些近鄰點對應的壓縮文件進行小波解壓縮，然後進行球小波重建以及YIQ到RGB的反變換得到相應的恢復圖像；為減少重複解壓縮和重構所帶來的時間和資源浪費，設計了一個輔助的數據結構，記錄場景生成時需要使用的某個四叉樹中的相應節點以及哪些中間變量需要保留，輔助樹也是一個四叉樹，它的分解深度和節點數與主樹相同。
全文摘要
一種基於圖像的場景再照明方法屬於計算機運用領域。本發明首先對原始數據進行YIQ格式變換，再進行全光函數值初始化，其次採用球小波變換技術對採樣圖像進行在位變換，然後對變換圖像進行比特分配，接著用小波變換技術對球小波變換圖像進行數據壓縮，最後基於壓縮文件的場景再照明方法生成最終的場景圖像。本發明方法對平滑或非平滑光照條件下的場景數據壓縮，使用本發明方法都能獲得很高的壓縮/重建性能比，它能快速有效地壓縮光照可調節的全光函數數據，能快速生成任意光照條件下的場景圖像，從而調節IBMR技術中的光照條件。
文檔編號G06T9/40GK1441388SQ0311629
公開日2003年9月10日 申請日期2003年4月10日 優先權日2003年4月10日
發明者王澤 , 朱貽盛 申請人:上海交通大學