用於抗混疊的過濾方法和裝置的製作方法
2023-06-01 23:09:46
專利名稱：用於抗混疊的過濾方法和裝置的製作方法
技術領域：
本發明所揭露的實施例均在圖形數據處理的領域中。
背景技術：
混疊(aliasing)是計算器圖形的基本問題，而抗混疊則減輕混疊的問題、或肇 因於不足採樣(undersampling)的高頻噪聲。目前用於實時著色(real-time rendering)
(尤其是用於遊戲)的抗混疊技術通常過於昂貴。然而，最新的圖形硬體的性能已使 得抗混疊不再是奢侈、而是一項值得期待的特徵。舉例來說，圖形基準評述(graphics benchmarking review)指出，即使是中價位的硬體，也最少需要2X多重採樣抗混疊。目前已發展出數種抗混疊的方法。已知的解決方案通常對像素次採樣採用 盒式過濾器(box filter)，該盒式過濾器在顯示的結果中提供了一些改良。超級採樣 (supersampling)和多重採樣抗混疊(multisample anti-aliasing ； MSAA)為針對現代圖形 硬體提供抗混疊的兩種常用方式。一般而言，超級採樣是以較高的解析度(resolution) 對場景加以渲染，並繼而下降採樣至目標解析度。超級採樣就性能和存儲器帶寬而言 是昂貴的，然而，由於整個場景均以較高的解析度渲染，因此，結果傾向具有高質量 (quality)。下降採樣是實施於稱為解析(resolve)的處理步驟中，該解析是使用過濾來聚 集採樣。MSAA為另一種超級採樣，並且是目前消費者圖形處理器單元(GPU)上的實時 圖形主要的抗混疊方法。第三種方法也是最近才出現的，稱為覆蓋採樣，該覆蓋採樣的 目標為產生類似於MSAA的質量水平，但卻具有減少的存儲器需求。在多重採樣方法中，每當像素中一個或多個次採樣被多邊形覆蓋時，則針對那 個像素，計算該多邊形的單一顏色分布，並且針對每一個覆蓋的次採樣位置存儲此顏色 數值。文中將會提及該緩衝器，在該緩衝器中，此數值是存儲作為MSAA顏色緩衝器。 如果實施深度緩衝，則也會針對每一個次採樣計算唯一的深度數值，並將該深度數值存 儲於MSAA深度緩衝器中。當該場景可供顯示時，則實施解析(通常僅有MSAA顏色 緩衝器被解析，因為深度信息並沒有顯示在屏幕上)。在大多數的實作中，是使用簡單 盒式過濾器，該簡單盒式過濾器將次採樣信息予以平均。硬體MSAA模式是由採樣網格 的圖案來特徵化，大部分的圖形硬體單元採用不規則的網格。圖IA顯示實例抗混疊圖案 102、104和106。在圖IB中，左像素108顯示基元(primitive)的區域分布。在MSAA 中，通過使用次像素採樣而近似該區域，如像素110所顯示的。通過僅僅增加採樣的數目有可能增加影像的質量。然而，當採樣的數目增加 時，存儲器和處理費用也大幅度地增加。因此希望能提供一種通過有利地使用現有的圖 形處理硬體、但又不會增加採樣的數目的方法，來改良抗混疊質量。
發明內容
文中所描述的用於抗混疊的過濾方法和裝置包含處理圖形數據的方法，該方法 包括將像素根據像素採樣的數值和周圍鄰域的像素採樣的數值分類成一個或多個群 組；以及，以特定於像素的每一個群組的過濾器來過濾該群組。在一個實施例中，該採樣包括使用從包括超級採樣、多重採樣、和覆蓋採樣的 群組中所選擇的一個或多個抗混疊方法所產生的採樣。一個實施例進一步包括將兩個像素群組界定成邊緣像素和非邊緣像素。在一個實施例中，一個群組被分類為邊緣像素，以及其中，該方法進一步包括 決定邊緣像素的邊緣方向的近似值。在一個實施例中，邊緣像素的邊緣方向的該近似值包括邊緣法線方向的近似值。在一個實施例中，計算該邊緣方向的該近似值包括對採樣的數值進行線性函數 擬合。一個實施例進一步包括通過評估該近似值的準確度來將邊緣像素再分類為邊緣 或非邊緣像素。一個實施例進一步包括使用最大差異閾值法來分類像素。一個實施例進一步包括如果最大差異閾值法非邊緣像素接觸到邊緣像素，則將 該最大差異閾值法非邊緣像素再分類為邊緣像素.一個實施例進一步包括產生主動和被動像素的屏蔽。一個實施例進一步包括對從每一個邊緣像素和從該邊緣像素的鄰域所取得的該 採樣使用過濾器，以計算像素數值。在一個實施例中，該過濾器通過利用根據該邊緣法線方向的該近似值所計算的 採樣權重來恢復邊緣位置。本文所描述的用於抗混疊的該過濾方法和裝置進一步包含一種系統，包括圖 形處理器；以及，存儲器裝置，可被該圖形處理器訪問，該存儲器裝置具有存儲於其 上的指令，該指令包含著色程序，當在該圖形處理器上執行該著色程序時，實施抗混疊 方法，該方法包括，將像素根據像素採樣的數值和周圍鄰域的數值分類成一個或多個群 組；以及，以特定於該像素的每一個群組的過濾器過濾該群組。在一個實施例中，該採樣包括使用從包含超級採樣、多重採樣、和覆蓋採樣的 群組中所選擇的一個或多個抗混疊方法所產生的採樣。一個實施例進一步包括將兩個像素群組界定成邊緣像素和非邊緣像素。本文所描述的用於抗混疊的該過濾方法和裝置進一步包含，一個群組被分類為 邊緣邊緣像素，以及其中，該方法進一步包含決定邊緣法線方向的近似值。
本文所描述的用於抗混疊的該過濾方法和裝置進一步包括一種系統，包括圖 形處理器；以及，存儲器裝置，可被該圖形處理器訪問，該存儲器裝置具有存儲於其上 的指令，該指令包含著色程序，當在該圖形處理器上執行該著色程序時，實施抗混疊方 法，該方法包括，接收抗混疊像素採樣；邊緣屏蔽，包括識別該採樣中的非邊緣像素； 過濾器屏蔽，包括識別該採樣中的邊緣像素；根據每一個邊緣像素的邊緣的法線方向使用導出的過濾器過濾該邊緣採樣，以及，使用標準過濾器算法過濾該非邊緣採樣。一個實施例進一步包含軟體驅動器，以及其中，該抗混疊方法是由該驅動器使 用該圖形處理器上的多個渲染通道來實施，該多個渲染通道包括第一通道，該第一通道 僅通過不含有邊緣像素的區塊。在一個實施例中，該多個渲染通道進一步包括第二通道，該第二通道僅通過含 有至少一個邊緣的區塊，以及其中，著色器計算標準解析，並同時識別邊緣像素。 在一個實施例中，該第二通道包含最大差異閾值法，實施該最大差異閾值法以 消除可能的內部像素。本文所描述的用於抗混疊的該過濾方法和裝置包含一種計算器可讀取媒體，具 有存儲於其上的指令，當在圖形處理系統中執行該指令時，使抗混疊方法得以實施，該 方法包括接收多個抗混疊採樣；識別邊緣像素，包括，當像素的該抗混疊採樣為相同 時，將該像素分類為邊緣像素；以及，檢查該像素周圍的像素，並根據該檢查，決定是 否改變該像素的該分類；以及，使用邊緣像素過濾器過濾邊緣像素，包括將權重指定給 每一個所述採樣。在一個實施例中，該多個採樣包括使用從包含超級採樣、多重採樣、和覆蓋採 樣的群組中所選擇的一個或多個抗混疊方法所產生的採樣。
圖IA為現有技術的實例抗混疊圖案的圖式；圖IB為顯示基元的區域分布的圖式，其中，該區域是通過使用MSAA中的次像 素採樣來加以近似；圖2為例示依據實施例的積分模型的圖式；圖3為顯示實例圖案屏蔽A、B、C和D的圖式，圖案屏蔽A、B、C和D是用
來依據實施例消除潛在問題像素；圖4為例示依據實施例的積分模型的圖式；以及圖5為例示依據實施例的各種驅動器通道的圖式。該圖式代表各種實施例的態樣，其目的是揭露如所請求保護的發明，但並不意 欲以任何方式來加以限制。
具體實施例方式經由圖形硬體的演進，當可編程單元的能力和彈性增加時，更多固定功能操作 經實作使用著色程序(shader program)。已經顯示許多後渲染效應(post-rendering effect)
可實作在這些著色器單元(例如，運動模糊(motionblur))上。本文所描述的實施例包含 可編程抗混疊(AA)功能，其包含改良的過濾軟體和改良的使用硬體資源，其改良抗混疊 和影像質量，但卻沒有增加採樣的數目。最近產生的圖形硬體針對多重採樣抗混疊(MSAA)渲染數據提供直接訪問 (directaccess)。通過利用像素次採樣數值，可使用可編程的圖形處理單元(GPU)著色器 單元來計算智能型重建過濾器。實施例包含適應型抗混疊過濾器，用來在GPU上實時渲 染。通過使用來自於鄰近像素採樣以計算次像素位置的近似值和像素內的基元邊緣的法線方向，以改良質量。本文所 描述的用於抗混疊的過濾方法和裝置的實施例通過使用存儲在多重採樣 抗混疊(MASS)緩衝器中經過渲染後的數據作為輸入，以利用改良的現有硬體。標準硬 件盒式過濾器接著被更聰明的解析所取代，該解析是使用著色器。實施例使用由圖形處 理單元(GPU)硬體所產生的現有的採樣來發現場景邊緣。使用來自於較單一像素大的足 跡的採樣，計算邊緣位置與邊緣法線方向的近似值。將採樣朝該法線的方向分配的非線 性過濾器給予最終結果。圖2為系統200的各種組件的方塊圖，系統200包含GPU 202和CPU 214。 圖 2顯示實施該揭露和請求保護的發明的系統的實例，但並不意欲受其限制。該GPU 202 包含各種驅動器204、存儲器控制器208和各種客戶206。該客戶206與存儲器控制器 208通信。該存儲器控制器208控制客戶206對本地存儲器210 (例如，視頻存儲器)的 訪問，並控制客戶206對總線218的訪問。更確切地說，該存儲器控制器208決定那些 客戶206與本地存儲器210通信以及那些客戶206和於何時與總線218通信。在一個實 施例中，該本地存儲器210存儲如本文進一步所提到的多次著色程序222。然而，在其 它實施例中，該著色程序也可存儲在該GPU 202上的晶片上(on-chip)。在另一個實施例 中，著色器222可存儲在系統存儲器216上，而該系統存儲器216可通過橋接器212而經 由總線218訪問。在又一個實施例中，該著色器222可存儲在該系統中存儲器裝置的組 合上。邊緣導引、方向性適應的抗混疊過濾器抗混疊架構的概述在計算器圖形中，物體上的邊緣由顯示裝置的有限解析度所引起的鋸齒狀外觀 ("jaggies")稱為混疊。更精確地說，混疊是指高頻信號以過低的速率加以採樣的一 種現象，該過低的速率使得該信號無法通過過濾而被正確地重建。該高頻信號經過過濾 後，接著如較低頻率信號般呈現在該重建的數據中(該高頻數據Mft成較低頻率，並且 如噪聲般呈現在該影像中)。計算器圖形中不希望的混》偽影(artifact)可於該渲染的處 理期間來自於多個來源，而抗混疊則試圖使用訊框緩衝器操作(frame-buffer operation)來 去除可見的混疊效應。所描述的實施例包含達到此目標的過濾器。接下來的討論集中在 將信號數位化成訊框緩衝器，以便顯示。在沒有任何抗混疊(「AA」 )的情況下，一種 數位化和在RGB空間中顯示連續信號f = f(v) (ν為連續屏幕空間中的位置[X，y])的模 型為fWD=(fU*bOXl^^ (1)其中，De。mb為狄拉克梳狀(Dirac comb)(脈衝串(impulse train))，代表連續迴旋(continuous convolution)，而boxLC;D則為對應於顯示像素的盒式過
濾器核心，其中，假設相當低解析度的LCD顯示器(在CRT顯示器中，像素並非獨立因 此可與鄰近的像素混合，但LCD顯示器上的元素卻是離散的(discrete))。如果f沒有適 當地帶限(bandlimit)於採樣速率(奈氏理論(Nyquisttheorem))的一半，則以D_b採樣將 會引入混疊。在頻域中，f的傅立葉轉換(Fouriertransform) /是與D。。mb的轉換作迴旋， 其為另一個狄拉克梳狀。/的副本之間的重疊為來自於不足採樣的噪聲。AA的一般模 型為((Pfilter) · D_b)*boxLCD 方程式⑵
其中，filter是用作預先過濾器，以帶限f並降低噪聲。通常在圖形中，盒式過 濾器是用於filter，其對應於該信號於像素上的積分(integration)。可提出爭論的是，作 為預先過濾器的該盒狀並不是希望的，而是應使用更帶限的過濾器。然而，具有較小通 帶(passband)的過濾器由於該模糊效應，因此對於遊戲圖形而言，並非總是希望的，而 且，他們對於計算通常更昂貴。一個實施例是基於盒式過濾器的使用，但可延伸至不同 的預先過濾器。抗混疊的一個目標為估計Pbox的結果或f於像素上的積分。實際上， 沒有連續的f，而是有f基於超級採樣或MSAA網格的採樣。這些網格通常是不規則的， 但本文所描述的算法可演算任何網格。算法概述在一個實施例中，該算法的後期階段是應用在部分被基元所覆蓋的像素(也就 是邊緣像素)，而完全被基元所覆蓋的像素則會被該算法的早期階段偵測出來，並以典型 的方式加以處理。完全被覆蓋的(內部)像素通常具有特定結構(textured)，並且，結構 邊緣由於可預先過濾或以其它方式處理故可予以忽略。對於部分被覆蓋的像素而言，在 長邊緣的中段的那些(延伸通過數個像素的那些)最為重要，在這些地方，鋸齒狀最看得 見。假設該邊緣在該像素處不具有高曲率，則該信號可由該函數而近似於該像素的鄰域 中。/
權利要求
1.一種處理圖形數據的方法，該方法包括將像素根據像素採樣的數值和周圍鄰域的像素採樣的數值分類成一個或多個群組；以及以特定於像素的每一個群組的過濾器來過濾該群組。
2.如權利要求1所述的方法，其中，該採樣包括使用從包括超級採樣、多重採樣、和 覆蓋採樣的群組中所選擇的一個或多個抗混疊方法所產生的採樣。
3.如權利要求1所述的方法，進一步包括將兩個像素群組界定成邊緣像素和非邊緣像素。
4.如權利要求1所述的方法，其中，一個群組被分類為邊緣像素，以及其中，該方法 進一步包括決定邊緣像素的邊緣方向的近似值。
5.如權利要求4所述的方法，其中，邊緣像素的邊緣方向的該近似值包括邊緣法線方 向的近似值。
6.如權利要求4所述的方法，其中，計算該邊緣方向的該近似值包括對採樣的數值進 行線性函數擬合。
7.如權利要求6所述的方法，進一步包括通過評估該近似值的準確度來將邊緣像素再 分類為邊緣或非邊緣像素。
8.如權利要求1所述的方法，進一步包括使用最大差異閾值法(MDT)來分類像素。
9.如權利要求8所述的方法，進一步包括如果最大差異閾值法非邊緣像素接觸到邊緣 像素，則將該最大差異閾值法非邊緣像素再分類為邊緣像素。
10.如權利要求7所述的方法，進一步包括產生主動和被動像素的屏蔽。
11.如權利要求7所述的方法，進一步包括對從每一個邊緣像素和從該邊緣像素的鄰 域所取得的該採樣使用過濾器，以計算像素數值。
12.如權利要求11所述的方法，其中，該過濾器通過利用根據該邊緣法線方向的該近 似值所計算的採樣權重來恢復邊緣位置。
13.—種系統，包括 圖形處理器；以及存儲器裝置，可被該圖形處理器訪問，該存儲器裝置具有存儲於其上的指令，該指 令包含著色程序，當在該圖形處理器上執行該著色程序時，實施抗混疊方法，該方法包 括，將像素根據像素採樣的數值和周圍鄰域的數值分類成一個或多個群組；以及 以特定於該像素的每一個群組的過濾器過濾該群組。
14.如權利要求13所述的系統，其中，該採樣包括使用從包括超級採樣、多重採樣、 和覆蓋採樣的群組中所選擇的一個或多個抗混疊方法所產生的採樣。
15.如權利要求13所述的系統，進一步包括將兩個像素群組界定成邊緣像素和非邊緣像素。
16.如權利要求13所述的系統，其中，一個群組被分類為邊緣像素，以及其中，該方 法進一步包括決定邊緣法線方向的近似值。
17.—種系統，包括 圖形處理器；以及存儲器裝置，可被該圖形處理器訪問，該存儲器裝置具有存儲於其上的指令，該指 令包含著色程序，當在該圖形處理器上執行該著色程序時，實施抗混疊方法，該方法包 括，接收抗混疊像素採樣；邊緣屏蔽，包括識別該採樣中的非邊緣像素；過濾器屏蔽，包括識別該採樣中的邊緣像素；根據每一個邊緣像素的邊緣的法線方向使用導出的過濾器過濾該邊緣採樣，以及使用標準過濾器算法過濾該非邊緣採樣。
18.如權利要求17所述的系統，進一步包括軟體驅動器，以及其中，該抗混疊方法 是由該驅動器使用該圖形處理器上的多個渲染通道來實施，該多個渲染通道包括第一通 道，該第一通道僅通過不含有邊緣像素的區塊。
19.如權利要求18所述的系統，其中，該多個渲染通道進一步包括第二通道，該第二 通道僅通過含有至少一個邊緣的區塊，以及其中，著色器計算標準解析，並同時識別邊 緣像素。
20.如權利要求19所述的系統，其中，該第二通道包含最大差異閾值法，實施該最大 差異閾值法以消除可能的內部像素。
21.—種計算器可讀取媒體，具有存儲於其上的指令，當在圖形處理系統中執行該指 令時，使抗混疊方法得以實施，該方法包括接收多個抗混疊採樣；識別邊緣像素，包括，當像素的該抗混疊採樣為相同時，將該像素分類為邊緣像素；以及檢查該像素周圍的像素，並根據該檢查，決定是否改變該像素的該分類；以及使用邊緣像素過濾器過濾邊緣像素，包括將權重指定給每一個所述採樣。
22.如權利要求21所述的計算器可讀取媒體，其中，該多個採樣包括使用從包括超級 採樣、多重採樣、和覆蓋採樣的群組中所選擇的一個或多個抗混疊方法所產生的採樣。
全文摘要
本文所描述的用於抗混疊的過濾方法和裝置的實施例通過使用存儲在多重採樣抗混疊(MSAA)緩衝器中經過著色後的數據作為輸入，以利用改良的現有硬體。標準硬體盒式過濾器接著被更聰明的解析所取代，該解析是使用著色程序來實作。實施例使用由圖形處理單元(GPU)硬體所產生的現有採樣來發現場景邊緣。使用來自於較單一像素大的足跡的採樣，經計算的梯度是符合邊緣的方向。將採樣朝該梯度的方向分配的非線性過濾器給予最終結果。
文檔編號G06T5/00GK102016916SQ200980112351
公開日2011年4月13日 申請日期2009年4月3日 優先權日2008年4月4日
發明者A·波密亞諾夫斯基, J·楊, K·約爾查 申請人:先進微裝置公司