圖像處理裝置和圖像處理方法
2023-10-27 21:25:37
專利名稱：圖像處理裝置和圖像處理方法
技術領域：
本發明涉及繪圖技術，例如圖像處理裝置和圖像處理方法，尤其涉及用於從向量格式的圖形數據中生成光柵格式的圖形數據的圖像處理裝置和圖像處理方法。
背景技術：
通過組合幾何圖形基元，例如點、直線、曲線、矩形和橢圓等而形成的圖像稱為向量圖形。另一方面，由點(像素或點)陣形成的圖像稱為光柵圖形。
通常，顯示器上所顯示的或印表機所列印的圖像是光柵圖形。因此，當上述設備處理向量圖形時，需要用於將上述圖像轉換成光柵圖形(即，光柵化)的處理。光柵化的處理成本很高，而且需要高性能計算機來光柵化複雜的向量圖形。
由於每次顯示向量圖形時，能夠生成適當解析度的光柵圖形，因此就不存在這樣的情況輪廓等等的圖像質量由於圖像的放大、縮小和變形而變差。因此，在很多情況中將輪廓清晰的人造圖像，例如插圖(illustration)和製圖(drawing)作為向量圖形處理。另一方面，例如照片等自然圖像在很多情況中作為光柵圖形處理。
作為向量圖形的使用的最常見示例，字體是公知的。在早期的個人計算機中(下文稱作「PC」)，由於CPU性能的局限，已經使用了光柵格式字體(位圖字體)。然而，在位圖字體中，必須存儲每個解析度的字體數據，並且因此，需要極大數量的存儲容量。
依照後來CPU性能的改善，現有的PC能夠以如下方式用較少存儲容量顯示高質量的字體預先存儲不依賴於解析度的向量格式字體(輪廓字體)數據，在每個情況中生成與顯示器或印表機相對應的合適解析度的字體。然而，內置到行動電話、汽車導航系統等等中的CPU具有相對低的處理能力。因此，存在這樣的目標，即減少光柵化向量圖形所需的運算成本。
近年來，已經使用圖形處理單元(GPU)來實現上述目標。在使用GPU的光柵化技術中，使用多個三角形來近似曲線。由此，當放大光柵圖形時，光柵圖形具有粗糙的外觀。由於必須通過使用大量三角形來改善曲線的近似精確度以便平滑地光柵化向量圖形，因此存儲容量的和處理成本的增加是不可避免的。
為了解決上述問題，參考文獻(C.Loop和J.Blinn，ResolutionIndependent Curve Rendering using Programmable Graphics Hardware，SIGGRAPH 2005)提出了一種方法，通過對曲線附近的每個像素點而不是三角形單元處理向量圖形的曲線部分，來始終平滑地光柵化曲線而不依賴於解析度。由於該技術中存儲器容量和處理成本均不依賴於解析度，存儲容量或處理成本都不會增加。
該參考文獻公開了一種作為光柵化方法偶奇規則。在這裡，當光柵化向量格式的圖形時，像偶奇規則和非零規則這樣的兩種類型的規則都是公知的填充規則。
偶奇規則如下從封閉區域的任意一點開始繪製半直線，瞄準該圖形中的每個封閉區域中的任意方向。僅當該半直線和圖形輪廓的交點數量是奇數時，才填充該封閉區域。
另一方面，在非零規則中，從封閉區域中的任意一點開始繪製半直線，瞄準該圖形中的任意封閉區域中的任意方向，根據圖形的輪廓與半直線相交處的方向，計數器增加和/或減小。例如，當圖形輪廓與行進方向是從左到右的半直線相交時，計數器增加(+1)，而當其輪廓與從右到左的半直線相交時，計數器減小(-1)。對半直線和圖形輪廓的所有交點執行上述的計數器的增加或減小。結果，僅當計數器的值非0時，填充該封閉區域。
在簡單圖形中，根據上述這兩種類型的規則-偶奇規則和非零規則的填充結果相等。然而，在包括自相交的圖形中和內部包括不同圖形的圖形(例如，具有孔的圖形)中，填充結果可能是不同的。
發明內容
根據本發明的一個方面的圖像處理裝置，其特徵在於包括第一數據生成單元，配置為通過分析與向量格式圖形數據有關的直線輪廓和曲線輪廓並產生直線輪廓三角形和曲線輪廓三角形，來生成三角形數據；第二數據生成單元，配置為根據從直線輪廓和曲線輪廓所生成的三角形數據的頂點的繪製順序，從所述三角形數據中生成模板(stencil)數據；以及第三數據生成單元，配置為根據所述模板數據生成光柵格式的圖形數據。本發明並不限於上述的裝置發明，還可以應用於方法發明。
圖1是示出根據第一實施例的圖像處理裝置的示意性配置的方塊圖；圖2是示出向量格式圖形的實例的視圖；圖3是示出根據所述實施例的過程的流程圖；圖4是示出向量數據的一個實例的視圖；圖5是示出所述實施例中三角形數據生成單元2的處理的過程的流程圖；圖6是示出所述實施例中的直線輪廓的實例的視圖；圖7是示出從所述實施例中的直線輪廓所生成的三角形數據的實例；圖8是示出所述實施例中直線輪廓和曲線輪廓的實例的視圖；圖9A和圖9B是示出所述實施例中的凸曲線輪廓和凹曲線輪廓的實例的視圖；圖10是示出用所述實施例中的直線輪廓的三角形所生成的模板數據的實例的視圖；圖11是示出用所述實施例中的直線輪廓的三角形所生成的模板數據的實例的視圖；圖12是示出用所述實施例中的直線輪廓的三角形所生成的模板數據的實例的視圖；
圖13是示出用所述實施例中的曲線輪廓的三角形所生成的模板數據的實例的視圖；圖14是示出用所述實施例中的曲線輪廓的三角形所生成的模板數據的實例的視圖；圖15是示出用所述實施例中的曲線輪廓的三角形所生成的模板數據的實例的視圖；圖16是示出用所述實施例中的曲線輪廓的三角形所生成的模板數據的實例的視圖；圖17是示出用所述實施例中的曲線輪廓的三角形所生成的模板數據的實例的視圖；圖18是示出實施例中所生成的模板數據的實施的視圖；圖19是示出使實施例中所生成的模板數據形成的示例視圖；圖20A和圖20B是示出生成實施例中的光柵數據的實例的視圖；圖21是示出包括三次參數曲線的圖形的實例的視圖；圖22是示出圖21中的直線輪廓和曲線輪廓的實例的視圖；圖23A和圖23B是示出圖21中的凸曲線輪廓和凹曲線輪廓的實例的視圖；以及圖24A和圖24B是示出三次參數曲線中曲線輪廓的實例的視圖。
具體實施例方式
下面將參照附圖描述實施例。
實施例中的裝置包括向量數據存儲單元1、三角形數據生成單元2、三角形數據存儲單元3、模板數據生成單元4、模板數據存儲單元5、光柵數據生成單元6、光柵數據存儲單元7和顯示單元8。圖1還示出了關於每個模塊的數據流。在上述配置中，向量數據存儲單元1和三角形數據生成單元2起CPU的作用，三角形數據存儲單元3到光柵數據存儲單元7起GPU的作用。顯示單元8起顯示設備的作用。
向量數據存儲單元1存儲向量格式的圖形數據。
三角形數據生成單元2讀出存儲在向量數據存儲單元1中的向量格式的圖形數據(以下稱為「向量數據」)，並生成三角形數據，稍後將對其進行詳細描述。
三角形數據存儲單元3存儲由三角形數據生成單元2生成的三角形數據。
模板數據生成單元4讀出存儲在三角形數據存儲單元3中的三角形數據，並生成模板數據。
模板數據存儲單元5存儲由模板數據生成單元4所生成的模板數據。
光柵數據生成單元6根據模板數據存儲單元5中存儲的模板數據生成光柵格式的數據(以下稱為「光柵數據」)，稍後將對其進行詳細描述。
光柵數據存儲單元7存儲由光柵數據生成單元6生成的光柵數據。
顯示單元8顯示光柵數據存儲單元7中存儲的光柵數據。
圖1中將向量數據存儲單元1、三角形數據存儲單元3、模板數據存儲單元5和光柵數據存儲單元7描述為不同的模塊。這些存儲單元可以配置在單個存儲器上，或者分離地配置在多個不同存儲器上。
在下文中，當圖2所示的包括自相交和參數曲線的向量圖形被光柵化為光柵圖形時，將參照圖3所示的流程圖解釋圖1的裝置的每個模塊的詳細操作(處理)和模塊之間流動的數據結構。
向量數據存儲單元1存儲要進行光柵化的向量數據。如圖4所示，向量數據由各種類型的圖形基元、構成所述圖形基元的各個點的坐標、所述點之間的連接關係等組成。例如，圖2的圖形的向量數據由圖4所示的點和直線構成。在圖4中，直線或參數行(Parameter line)的端點由黑點表示，參數曲線的控制點由白點表示。在第一實施例中，假定圖4所示的向量數據已經存儲在向量數據存儲單元1中。該向量數據並不限於前述的格式，還可以包括計算機圖形學領域中通常使用的其他數據。
圖4所示的向量數據存儲在向量數據存儲單元1中，並由三角形數據生成單元2讀出(圖3的步驟S101)。根據圖5的流程圖，三角形數據生成單元2通過分析所讀出的向量數據的輪廓，生成三角形數據。
三角形數據生成單元2分析向量數據的直線輪廓(步驟S201)。該直線輪廓構成多邊形，該多邊形是通過如圖6所示用線段連接向量數據中包括的直線和曲線的起點和終點同時忽略控制點而得到的。直線輪廓構成的多邊形並不限於一個。該多邊形可以包括自相交和孔。
接下來，執行直線輪廓三角形的製作過程(步驟S202)。具體地，首先，選擇在步驟S201中獲得的構成直線輪廓的各個多邊形的多個頂點中的任意頂點(在本說明書中，該頂點稱為「支點(pivot)」)。然後，生成以該支點為頂點的多個三角形，以便用直線連接該支點和所有其他頂點，兩個頂點彼此連接形成一個三角形的一邊。兩個頂點彼此連接意味著用多邊形的一條邊連接兩個頂點。
例如，在圖6中，如果選擇點0作為支點，通過順次連接點0-2-4、點0-4-6和點0-6-8形成三個三角形，所生成的三角形如圖7所示。
而且，分析向量數據的曲線輪廓(步驟S203)。在該處理中，曲線輪廓是一組三角形，在所述三角形中，參數曲線起點、參數曲線終點和控制點這三個點如圖8所示。在本實例中，圖4的向量數據和圖8的曲線輪廓完全相同，但是這兩者通常是不同的數據。圖8的曲線輪廓由通過順次連接點0-1-2、點2-3-4、點4-5-6、點6-7-8和點8-9-0所形成的五個三角形所構成。
在這裡，將曲線輪廓分成圖9A和圖9B所示的兩種類型的曲線輪廓。在圖9A中，在圖形中是曲線的凹形區域(在下文被稱作「凹曲線輪廓」)，而在圖9B中，在圖形中是曲線的凸形區域(在下文被稱作「凸曲線輪廓」)。
上述過程生成的直線輪廓的三角形數據(圖7)和曲線輪廓的三角形數據(圖8)從三角形數據生成單元2輸出，並存儲到三角形數據存儲單元3中。
在上述過程中，，通過同時執行步驟S201和步驟202的處理，在分析直線輪廓的同時生成三角形。三角形數據由構成每個三角形的三個點的位置坐標位置、結構(texture)坐標和連接關係等構成。然而，三角形數據配置並不限於該格式，還可以包括圖形領域中通常使用的其他數據。
在圖3的流程圖中，當生成三角形數據時，模板數據生成單元4生成模板數據(步驟S102)。在該情況下，由模板數據生成單元4讀出三角形數據存儲單元3中保存的三角形數據。然後，模板數據生成單元4通過光柵化該三角形內部的所讀出像素，生成模板數據。
所述模板數據是具有與最終在顯示單元8上顯示時的解析度相同的解析度的圖像數據。所述模板數據保存在模板數據存儲單元5中。此外，將具有若干比特的數值指定給模板數據的每個像素，而且在對於每幀的全部圖像處理之前該數字值被初始化為0。
模板數據生成單元4從三角形數據存儲單元3讀取直線輪廓的三角形數據(圖7)和曲線輪廓的三角形數據(圖8)，並將其光柵化。在該時刻，各個三角形內部的所有像素都對於該直線輪廓的三角形進行了光柵化。
在參考文檔中描述了基於偶奇規則的光柵化。在該實施例中，為了實現基於非零規則的光柵化，在模板數據生成單元4光柵化的像素中，增加(+1)順時針繪製的三角形(下文中稱作「順時針三角形」)中包括的像素值，減少(-1)逆時針繪製的三角形(下文中稱作「逆時針三角形」)中包括的像素值。
在該情況下，順時針三角形代表在投射到投射面的每個三角形中的三個頂點依次連接形成順時針環的三角形。另一方面，在投射面上形成逆時針環的三角形稱為逆時針三角形。在該情況下，假定以按照圖4所示的數字順序定義頂點的順序決定矢量的方向。
在順時針和逆時針的情況下，像素值不限於+1或-1。未填充部分的像素值可以設置成0或預定值。
根據前述的設置，圖7的三個三角形中，通過依次連接點0-2-4形成的三角形是順時針三角形。因此，例如，如圖10所示，該三角形內部包括的模板數據的像素值增加，而且成為+1。另一方面，由於圖7所示的依次連接點0-4-6形成的三角形是逆時針的，如圖11所示，該三角形內部包括的像素值被減小，成為-1。因此，通過依次連接點0-2-4所形成的三角形和通過依次連接點0-4-6所形成的三角形之間的重迭部分的像素值是0。此外，由於通過依次連接點0-6-8所形成的三角形是順時針的，如圖12所示，因此該三角形內部包括的像素被增加，而且成為+1。在該情況下，通過依次連接點0-6-8所形成的三角形、通過依次連接點0-2-4所形成的三角形和通過依次連接點0-4-6所形成的三角形的重迭部分的值被設置成將由每個三角形所設置的像素值相加而得到的值。
另一方面，與曲線輪廓的三角形有關的三角形內部像素中，僅僅屬於該曲線的凸面區域的像素被光柵化。然後，與直線輪廓的情況相同，在屬於由模板數據生成單元4光柵化的曲線的凸面區域的像素中，順時針三角形中包括的像素值被增加(+1)，而逆時針三角形中包括的像素值被減少(-1)。
例如，圖8所示的5個三角形中，由於圖13所示的順次連接點0-1-2的三角形是順時針三角形，該三角形的凸面區域中包括的模板數據的像素值被增加，成為+1。類似地，當通過依次連接點2-3-4、點4-5-6、點6-7-8、點8-9-0繪製三角形時，模板數據的像素值被更新成如圖14、圖15、圖16和圖17等所示。圖14到圖17省略了曲線輪廓的控制點(圖8中示出的白點)。
然後，當將圖12所示的直線輪廓的三角形的光柵化結果和圖17所示的曲線輪廓的三角形的光柵化結果相加時，最終獲得圖18所示的模板數據。
圖19的圖形是通過在圖18的模板數據的像素中，用黑色填充具有非零值的像素而且用灰色填充其值為0的像素而形成的。在圖19的模板數據的像素中，要基於非零規則填充的像素值不是0，而圖2所示的向量格式的圖形中不被填充的像素值是0。
在光柵化三角形數據的處理中，沒有次序上的依賴性。在圖10到圖17中，首先，對直線輪廓的三角形數據順序地光柵化，然後，對曲線輪廓的三角形數據分別順序地光柵化，通過將上述結果相加得到圖18所示的光柵化結果。進行上述解釋是為了最好地理解該實施例，圖10到圖17的所有三角形可以以任意順序被光柵化。
使用模板數據生成單元4所生成的模板數據(圖18)被寫入模板數據存儲單元5並保存。
如上所述，模板數據是具有與最終顯示到顯示單元8的解析度相同的解析度的圖像數據。然而，模板數據的配置並不限於該格式，可以包括計算機圖形領域中通常使用的其他數據。
光柵數據生成單元6生成光柵數據，以便根據模板數據存儲單元5中存儲的模板數據，僅僅光柵化像素值是非零數值的區域(圖19中用黑色填充的區域)。
光柵數據是具有與最終顯示在顯示單元8的解析度相同的解析度的圖像數據，並存儲在光柵數據存儲單元7中。對於多個顏色分量(例如，RGBA)中的每一個，將大約若干比特的數值指定給光柵數據的各個像素。
如圖20A所示，光柵數據生成單元6光柵化覆蓋整個圖形的兩個三角形內部的所有像素。然而，在這些像素中實際寫入到光柵數據存儲單元7的像素僅限於相應的模板數據的像素值是非零的數值的區域(圖20A中用黑色填充該區域)。結果，將圖20B所示的光柵數據寫入到光柵數據存儲單元7。
如上所述，光柵數據是具有與最終顯示到顯示單元8的解析度相同的解析度的圖像數據。然而，該光柵數據的配置不限於該格式，可以包括計算機圖形領域中通常使用的其他數據。
顯示單元8是由顯示器、印表機等，用於將光柵數據存儲單元7中保存的光柵數據顯示給用戶。
如上所述，根據該實施例，包括自相交的圖形可以基於非零規則進行光柵化。包括自相交的圖形在上述實施例中舉例示出，但是其中包括不同圖形(例如，具有孔的圖形)的圖形可以同樣基於非零規則進行光柵化。
在上述實施例中，作為曲線輪廓的示例，描述了作為示例的包括二次參數曲線的圖形，但是在三次參數曲線中其同樣適用。下面對其進行簡單的解釋。
假定圖21所示的圖形存儲在向量數據存儲單元1中，作為圖22所示的向量數據。
如上所述，三角形數據生成單元2分析圖22所示的向量數據，並生成圖23A所示的直線輪廓和圖23B所示的曲線輪廓。在這種情況下，用黑點表示該圖形的參數曲線的直線的端點，用白點表示該參數曲線的控制點。對於參數曲線的端點，存在參數曲線的兩個控制點，形成三角形以便連接其中一個控制點和位於對角方向的端點，三次參數曲線可以是不但具有圖24A所示的曲線還具有圖24B所示的拐點的曲線。
例如，上述實施例中，描述了從向量格式的圖形數據生成字符的光柵格式的圖形數據的情況。在由向量格式給出其他圖形，例如映射數據時，本發明可應用於當從映射數據生成光柵格式的圖形數據的情況。
根據本發明，可以基於非零規則光柵化包括自相交的圖形和內部包括不同圖形的圖形(例如，具有孔的圖形)，而且能夠極大地減小預處理成本。
權利要求
1.一種圖像處理裝置，包括第一數據生成單元，配置為通過分析與向量格式的圖形數據相關的直線輪廓和曲線輪廓，生成三角形數據；第二數據生成單元，配置為根據從直線輪廓和曲線輪廓所生成的三角形數據的頂點的繪製順序，從所述三角形數據中生成模板數據；以及第三數據生成單元，配置為根據所述模板數據生成光柵格式的圖形數據。
2.根據權利要求1所述的裝置，還包括第一存儲單元，配置為存儲所述向量格式的圖形數據；第二存儲單元，配置為存儲由所述第一數據生成單元所生成的三角形數據；第三存儲單元，配置為存儲由所述第二數據生成單元所生成的模板數據；以及第四存儲單元，配置為存儲由所述第三數據生成單元所生成的光柵格式的圖形數據。
3.根據權利要求2所述的裝置，還包括顯示單元，配置為顯示所述光柵格式的圖形數據。
4.根據權利要求1所述的裝置，其中，所述第一數據生成單元通過分析所述向量格式的圖形數據的直線輪廓，生成至少一個多邊形，並採用以下方式對於每個多邊形生成多個三角形將多邊形的一個頂點作為所述多個三角形的公用頂點，所述公用頂點和所有其他頂點用直線連接，彼此連接的兩個頂點成為一個三角形的邊。
5.根據權利要求1所述的裝置，其中，所述第二數據生成單元通過以下方式生成模板數據當所述頂點的繪製順序是順時針時，將第一值添加到所述三角形數據內的像素值中，當所述頂點的繪製順序是逆時針時，將與所述第一值不同的第二值添加到所述三角形數據內的像素值中。
6.根據權利要求5所述的裝置，其中，當所述三角形數據是表示所述曲線輪廓的三角形時，將所述第一值添加到屬於順時針三角形凸面區域的像素值中，並且將所述第二值添加到屬於逆時針三角形凸面區域的像素值中。
7.根據權利要求5所述的裝置，所述第一值是+1，而所述第二值是-1。
8.根據權利要求1所述的裝置，其中，所述曲線輪廓所定義的曲線是二次參數曲線或三次參數曲線。
9.一種圖像處理方法，包括通過分析與向量格式的圖形數據相關的直線輪廓和曲線輪廓，生成三角形數據；根據所述三角形數據的頂點的繪製順序，生成模板數據；根據所述模板數據，生成光柵格式的圖形數據。
全文摘要
一種圖像處理裝置包括第一數據生成單元，配置為通過分析與向量格式的圖形數據相關的直線輪廓和曲線輪廓並產生直線輪廓三角形和曲線輪廓三角形，來生成三角形數據；第二數據生成單元，配置為根據從直線輪廓和曲線輪廓所生成的三角形數據的頂點的繪製順序，生成模板數據；以及第三數據生成單元，配置為根據模板數據生成光柵格式的圖形數據。
文檔編號G06T11/20GK101071508SQ20071009198
公開日2007年11月14日 申請日期2007年3月30日 優先權日2006年5月11日
發明者愛島快行 申請人:株式會社東芝