嵌入式裝置中的靈活抗混疊的製作方法
2023-07-20 08:07:46
專利名稱：嵌入式裝置中的靈活抗混疊的製作方法
技術領域：
本發明涉及嵌入式裝置中的硬體功能性的應用級控制。所述硬體功能性涉及由具有此類裝置的3D圖形管線處理的三維(3D)圖像的抗混疊(antialiasing)。在某些方面，本發明涉及具有此類硬體功能性的行動電話。
背景技術：
許多類型的嵌入式裝置均具備處理3D場景圖像的3D圖形管線。給定場景由渲染對象(例如，三角形)的集合組成。此類3D管線可對圖像執行抗混疊。抗混疊涉及首先對圖像進行過取樣，從而導致由一組現更充裕的(經過過取樣的)像素表示的信息的量增加。五點形方案(Quincunx scheme)、全場景抗混疊(Full-Scene Antialiasing，FSAA)、累積緩衝(accumulation buffer)和Carpenter的A緩衝(Carpenter’s A-buffer)(有時稱為多取樣)是用於實行給定圖像的抗混疊過取樣或增強取樣的技術的幾個實例。
以較低經預過取樣的解析度頻繁地渲染最終圖像，在此情況下，通過對較大樣本組進行加權(例如，平均)以產生縮減組來完成抗混疊過程。
發明內容
根據一個實施例，一種三維(3D)圖形管線渲染3D場景的圖像序列，每一個3D場景一組多個對象組成。所述管線包括抗混疊過取樣機構，以針對給定圖像，在所述管線的較早階段，對所述給定圖像的對象的一部分執行過取樣。根據另一實施例，所述管線包括抗混疊過取樣機構和抗混疊加權機構。所述抗混疊過取樣機構針對給定圖像，在所述管線的較早階段，對所述給定圖像的對象的至少一部分執行抗混疊過取樣。所述抗混疊加權機構針對給定圖像，在所述管線的較早階段，對所述給定圖像的由所述抗混疊過取樣機構進行過取樣的部分執行抗混疊加權。
在以下
具體實施例方式
中，以非限定性示範性實施例的方式，參考所注附圖進一步描述本發明，其中，在附圖的若干視圖中，相同參考標號始終表示相同部分，且附圖中圖1是根據本發明一個實施例的移動裝置的方框圖；圖2是與對象抗混疊有關的那些移動裝置實體的方框圖；
圖3是圖1中所說明的移動裝置的3D圖形管線的方框圖；和圖4是所說明的3D圖形管線的著色部分的方框圖。
具體實施方式
為了幫助理解本文的描述內容，將提供某些術語的定義。圖元可以是(例如)點、線或三角形。三角形可以若干組扇形、條形或網格的形式被渲染。對象是一個或一個以上圖元。場景是模型與模型所定位在其中的環境的集合。像素包括關於屏幕上的位置的信息，以及顏色信息，且視情況包括額外信息(例如，深度)。顏色信息可呈現RGB顏色三元組(RGB color triplet)的形式。屏柵單元(screen grid cell)是屏幕的可由給定像素佔據的區域。屏柵值是對應於屏柵單元或像素的值。應用程式編程接口(API)是(一方面)應用程式與(另一方面)作業系統、硬體和其它功能性之間的接口。API允許在多種平臺上創建驅動程序和程序，其中那些驅動程序和程序與API介接，而不是直接與平臺的作業系統或硬體介接。
圖1是移動裝置10的方框圖。所說明的移動裝置10可包括例如行動電話的無線移動通信裝置。
所說明的移動裝置10包括系統存儲器12(在所說明的實施例中包括RAM)、系統總線13，和系統存儲器12中的軟體14(包括應用程式)。裝置10進一步包括3D硬體16，其包含(例如)一個或一個以上3D多媒體晶片；和其它硬體18，其包含微處理器和一個或一個以上專用集成電路(ASIC)。3D硬體16和其它硬體18經由系統總線13耦合到系統存儲器12。
所說明的3D硬體16可包括形成為還由其它硬體18所共用的集成電路的一部分，或所述3D硬體16可包括其自身的集成電路晶片或晶片組。3D硬體16包括用於保存數據的其自身的本地存儲器和寄存器34及包括圖形管線部分36的圖形管線。
就層級來說，軟體14包括一個或一個以上具有3D功能性的應用程式22，其經由3D應用程式編程接口(API)24和一個或一個以上3D硬體裝置驅動程序28與3D硬體30通信。在所說明的實施例中，3D API 24除了圖1未明確展示的其它元件外還包括對象抗混疊擴展26。
圖像數據通常保存在系統存儲器12中的一個或一個以上幀緩衝器32中。3D硬體16從這些幀緩衝器32中檢索圖像數據並將圖像數據更新到這些幀緩衝器32中。
圖2展示抗混疊方框圖，其描繪所說明的移動裝置的與抗混疊有關的那些實體。展示給定應用程式40，其通過命名抗混疊擴展44的函數名52且通過指定其參數組54來與API 42互動。
所說明的抗混疊擴展44包括一種類型的抗混疊應用程式編程接口(API)函數，其在由應用程式40調用時，指令3D圖形硬體的3D處理部分46(明確地說，3D圖形管線)執行某些抗混疊動作。抗混疊API函數包括數據結構以接收函數名52和包括抗混疊參數的參數組54，所述抗混疊參數中的每一者均來自應用程式40。抗混疊API函數將從應用程式接收到的這些抗混疊參數傳遞到3D圖形管線。
如圖2所示，如果參數組54中指定給定對象「對象i」進行抗混疊，那麼「對象i」在系統的3D處理部分內經受抗混疊50。
參數組可包括對象組識別參數56以識別待進行抗混疊的給定圖像的一組對象。對象組識別參數可包括一組識別符，其識別來自組成給定圖像的場景的對象序列的個別對象。
參數組可包括待由管線使用的一種選定類型的抗混疊算法58，以及所述選定類型的抗混疊算法的參數60。參數組可進一步包括抗混疊取樣指定參數62，以指定當進行抗混疊過取樣時，對一組指定對象的每一對象執行過取樣，還是對整個圖像執行過取樣；且參數組可進一步包括抗混疊加權指定參數64，以指定當進行抗混疊加權時，對一組指定對象的每一對象執行加權，還是對整個圖像執行加權。
參數組可包括加權計時參數66，以指定在管線的紋理化部分之前還是在管線的混合部分之後執行抗混疊加權。
圖3是可在圖1中所說明的移動裝置10中使用的3D圖形管線的有關部分的方框圖。所說明的管線80包括模型與視圖變換階段82、光照階段84、投影階段86、剪輯階段88、屏幕映射階段90，和光柵化階段92。所說明的光柵化階段92包括設置部分96、著色部分98、隱藏表面去除部分100、紋理化部分102，和混合部分104。
在模型與視圖變換階段82中，所描繪場景的模型定位在自然空間(world space)中且接著定位在相機或眼空間中。在光照階段84中添加光照信息，且在投影階段86中，依據標準化裝置坐標來描述經光照修改的對象，即，將三維對象信息轉換成二維信息。剪輯階段88將場景的處於場景的所界定視圖體積外的那些部分去除。接著通過屏幕映射階段90將場景的經投影和剪輯的二維再現映射到屏幕(以屏幕坐標x和y，且縮放為屏幕的尺寸)。還為場景保存z坐標信息。
設置部分96對圖像的圖元(例如，三角形)中的每一者執行計算。這些計算先於圖形管線的內插部分(另外稱為著色部分98，或圖元到像素轉換階段)。這些計算可包含(例如)使用邊的兩個端點處的頂點信息來計算三角形邊的斜率。著色部分98涉及執行算法以根據沿著二維屏幕依照水平和垂直(X和Y)位置尋址的像素來界定屏幕的三角形。紋理化部分102使圖像對象(在所述實施例中為三角形)與經設計以增加到那些對象的實際外觀的某些圖像匹配。明確地說，紋理化部分102將通過執行表面參數化和檢視投影來映射給定的紋理圖像。通過執行將表面參數化到對象空間(x0，y0，z0)中而將紋理空間(u，v)(以紋素表示)中的紋理圖像轉換成對象空間。接著將對象空間中的圖像投影到屏幕空間(x，y)(像素)中，並投影到對象(三角形)上。
在所說明的實施例中，混合部分104從紋理化部分102取得紋理像素顏色，並將其與紋理化前的三角形的相關三角形像素顏色組合。混合部分104還對經紋理組合的像素執行α混合，並對輸出像素執行逐位邏輯運算。更明確地說，在所說明的系統中，混合部分104是3D圖形管線中的最後階段。因此，混合部分104會將3D硬體16的最終輸出像素寫入到系統存儲器12內的幀緩衝器32。提供隱藏表面去除(HSR)部分100，其使用深度信息來從像素數據中消除隱藏表面。因為在所說明的實施例中隱藏表面去除部分100被提供在著色部分98與紋理化部分102之間，所以其簡化了圖像數據並減小了對管線的帶寬需求。
所說明的著色部分98包括抗混疊過取樣機構110和抗混疊加權機構112(如圖3中所說明的平均機構)。所說明的混合部分104也包括抗混疊加權機構114(也是如圖3中所說明的平均機構)。
抗混疊需要過取樣和隨後的加權。通過在管線中較早地進行過取樣(例如，在執行隱藏表面去除或紋理化之前)而稍後在管線中(例如，在混合部分中)進行加權，可改進經渲染圖像的質量。舉例來說，這允許在過取樣之後但在加權之前完成某些計算。這些計算(例如，關於一個對象何時接觸或覆蓋另一對象)對於經過過取樣的數據來說更為準確。然而，此過取樣造成對管線的帶寬(即，處理速率)的需求相應增加。舉例來說，每標準像素四個過取樣的像素的過取樣速率要求給定的處理階段從主存儲器存取幀，以致使對於每一幀存取來說，通過系統總線傳送多達四倍的數據。
根據一個實施例，著色部分98中的抗混疊過取樣機構110可針對給定圖像，在所述管線的較早階段，對所述給定圖像的對象的一部分執行過取樣。在此實施例中，在混合部分104中的加權機構114處執行加權。通過在圖形管線的此較早階段僅對對象的一部分執行抗混疊，減小了對管線的處理速率需求。
根據另一實施例，著色部分包括抗混疊過取樣機構110和抗混疊加權機構112。抗混疊過取樣機構110針對給定圖像，在所述管線的較早階段，對所述給定圖像的對象的至少一部分執行抗混疊過取樣。抗混疊加權機構112針對給定圖像，在所述管線的較早階段，對所述給定圖像的由所述抗混疊過取樣機構進行過取樣的部分執行抗混疊加權。通過在管線的較早階段(例如，在紋理化之前)執行過取樣和加權兩者(加權將像素數目減少到過取樣過程之前的數目)，實現了抗混疊的益處，同時由3D圖形管線的稍後部分處理的數據的量保持最少。
圖4是經配置以實現按對象抗混疊過取樣(per object antialiasing oversampling)的3D圖形管線的示範性著色部分120的方框圖。所說明的著色部分120包括切換器124，其接收給定對象「對象k」並將「對象k」引導到抗混疊過取樣126或標準像素取樣128。經取樣的值(即，所得的像素值)經由本地緩衝器或寄存器130轉發到幀緩衝器。所說明的示範性著色部分120對每一對象(在所說明的實施例中，每一個三角形)的信息執行內插函數，從而計算RGB、a(α)、u，v(紋理坐標)、z(深度)和w(透視校正)。
切換器124可包括(例如)表查找機構，以在表中查找給定對象是否將被過取樣。因為給定對象為前景對象，所以可指定給定對象進行過取樣，從而調整與抗混疊相關的額外帶寬成本。如果(例如)給定對象是不需要清晰a再現的背景對象，那麼可指定給定對象進行標準像素取樣。可使用抗混疊擴展的參數組(如圖2所示)來具體選擇對象以進行過取樣或標準像素取樣。
由圖中所示系統執行的處理可由通用計算機單獨或結合專門的處理計算機來執行。此處理可由單個平臺或由分布式處理平臺執行。另外，此處理可以專用硬體的形式或以由通用計算機運行的軟體的形式實施。在此處理過程中所處理的或由於此處理而產生的任何數據均可存儲在任何類型的存儲器中。舉例來說，此類數據可存儲在臨時存儲器中，例如存儲在給定計算機系統或子系統的RAM中。另外，或作為替代，此類數據可存儲在例如磁碟、可重寫光碟等長期存儲裝置中。出於本文的揭示內容的目的，計算機可讀媒體可包括任何形式的數據存儲機構，包含此類不同的存儲技術以及此類結構的和此類數據的硬體或電路表現形式。
雖然已參照某些所說明的實施例描述了本發明，但本文已使用的措辭是描述性措辭而不是限定性措辭。可在不脫離本發明各方面的範圍和精神的情況下，在所附權利要求書的界限內作出變化。儘管本文已參照特定結構、動作和材料描述了本發明，但本發明不應限於所揭示的細節，而是擴展到例如在所附權利要求書的範圍內的所有等效結果、動作和材料。
權利要求
1.一種三維(3D)圖形管線，其渲染3D場景的圖像序列，每一個所述3D場景由一組多個對象組成的，所述管線包括紋理化部分、混合部分和抗混疊過取樣機構，所述抗混疊過取樣機構針對給定圖像，在所述紋理化部分進行紋理化之前，對所述給定圖像的對象的一部分執行過取樣。
2.根據權利要求1所述的管線，其中所述對象為三角形。
3.根據權利要求2所述的管線，其中所述抗混疊過取樣機構接收由應用程式通過使用抗混疊應用程式接口(API)函數而指定的抗混疊參數。
4.根據權利要求3所述的管線，其中所述API函數包括API擴展。
5.根據權利要求3所述的管線，其中所述應用程式在所述3D圖形管線外部的存儲器中運行。
6.根據權利要求3所述的管線，其中所述抗混疊過取樣由所述抗混疊過取樣機構根據所述接收到的抗混疊參數來執行。
7.根據權利要求2所述的管線，其中所述抗混疊過取樣由所述抗混疊過取樣機構以每一對象為基礎來執行。
8.根據權利要求1所述的管線，其進一步包括抗混疊加權機構，以針對所述給定圖像，在所述紋理化部分進行紋理化之後，對所述給定圖像的所述經過過取樣的對象執行抗混疊加權。
9.根據權利要求8所述的管線，其中所述抗混疊加權由所述抗混疊加權機構在所述管線的混合部分進行混合之後執行。
10.根據權利要求8所述的管線，其中所述抗混疊加權機構對經過取樣的對象執行平均運算。
11.一種三維(3D)圖形管線，其渲染3D場景的圖像序列，每一個所述3D場景由一組多個對象組成，所述管線包括紋理化部分；抗混疊過取樣機構，其針對給定圖像，在所述管線的由所述紋理化部分進行紋理化之前的給定階段，對所述給定圖像的對象的至少一部分執行抗混疊過取樣；和抗混疊加權機構，其針對所述給定圖像，在所述管線的所述給定階段，對所述給定圖像的由所述抗混疊過取樣機構進行過取樣的所述部分執行抗混疊加權。
12.根據權利要求11所述的管線，其中所述對象為三角形。
13.根據權利要求11所述的管線，其中所述抗混疊過取樣機構接收由應用程式通過使用抗混疊應用程式接口(API)函數而指定的抗混疊參數。
14.根據權利要求13所述的管線，其中所述API函數包括API擴展。
15.根據權利要求13所述的管線，其中所述應用程式在所述3D圖形管線外部的存儲器中運行。
16.根據權利要求13所述的管線，其中所述抗混疊過取樣由所述抗混疊過取樣機構根據所述接收到的抗混疊參數來執行。
17.根據權利要求11所述的管線，其中所述抗混疊過取樣由所述抗混疊過取樣機構以每一對象為基礎來執行。
18.根據權利要求11所述的管線，其所述抗混疊過取樣由所述抗混疊過取樣機構對所述整個給定圖像執行。
19.根據權利要求11所述的管線，其所述抗混疊過取樣由所述抗混疊過取樣機構對所述給定圖像的所有對象執行。
20.根據權利要求11所述的管線，其中所述抗混疊加權機構執行平均運算。
21.一種保存機器可讀數據的機器可讀媒體，所述機器可讀數據在由機器讀取時致使三維(3D)圖形管線執行某些抗混疊動作，所述機器可讀數據包括抗混疊應用程式編程接口(API)函數，其在由應用程式調用時指令3D圖形管線執行某些抗混疊動作，所述抗混疊API函數包括數據結構以從所述應用程式接收抗混疊參數並將從所述應用程式接收到的所述抗混疊參數傳遞到所述3D圖形管線。
22.根據權利要求21所述的機器可讀媒體，其中所述抗混疊參數包括對象組識別參數以識別待進行抗混疊的給定圖像的一組對象。
23.根據權利要求22所述的機器可讀媒體，其中所述對象組識別參數包括一組識別符，其識別來自組成所述給定圖像的場景的對象序列的個別對象。
24.根據權利要求21所述的機器可讀媒體，其中所述抗混疊參數包括待由所述管線使用的一種選定類型的抗混疊算法。
25.根據權利要求24所述的機器可讀媒體，其中所述抗混疊參數包括所述選定類型的抗混疊算法的參數。
26.根據權利要求21所述的機器可讀媒體，其中所述抗混疊參數包括抗混疊取樣指定參數，以指定當進行抗混疊過取樣時是每一對象地對一組指定對象執行所述過取樣還是對所述整個圖像執行所述過取樣。
27.根據權利要求26所述的機器可讀媒體，其中所述抗混疊參數包括抗混疊加權指定參數，以指定當進行抗混疊加權時是每一對象地對一組指定對象執行所述加權還是對所述整個圖像執行所述加權。
28.根據權利要求27所述的機器可讀媒體，其中所述抗混疊參數包括加權計時參數，以指定在所述管線的紋理化部分之前還是在所述管線的混合部分之後執行所述抗混疊加權。
29.一種嵌入式裝置，其包括系統存儲器；系統總線；和3D圖形核心，其經由所述系統總線耦合到主存儲器，所述3D圖形核心包括圖形管線，所述圖形管線包括著色部分、紋理化部分和混合部分，且經配置以渲染3D場景的圖像序列，每一個所述3D場景由一組多個對象組成；所述圖形核心進一步包括抗混疊過取樣機構，其針對給定圖像，在所述管線的由所述紋理化部分進行紋理化之前的階段，對所述給定圖像的對象的一部分執行過取樣。
30.根據權利要求29所述的嵌入式裝置，其中所述對象為三角形。
31.一種嵌入式裝置，其包括系統存儲器；系統總線；和3D圖形核心，其經由所述系統總線耦合到主存儲器，所述3D圖形核心包括圖形管線，所述圖形管線包括著色部分、紋理化部分和混合部分，且經配置以渲染3D場景的圖像序列，每一個所述3D場景由一組多個對象組成；所述圖形核心進一步包括抗混疊過取樣機構，其針對給定圖像，在所述管線的由所述紋理化部分進行紋理化之前的給定階段，對所述給定圖像的對象的至少一部分執行抗混疊過取樣；且所述圖形核心進一步包括抗混疊加權機構，其針對所述給定圖像，在所述管線的所述給定階段，對所述給定圖像的由所述抗混疊過取樣機構進行過取樣的所述部分執行抗混疊加權。
32.根據權利要求31所述的嵌入式裝置，其中所述對象為三角形。
33.一種集成電路，其包括三維(3D)圖形管線，所述3D圖形管線渲染3D場景的圖像序列，每一個所述3D場景由一組多個對象組成，所述管線包括紋理化部分、混合部分和抗混疊過取樣機構，所述抗混疊過取樣機構針對給定圖像，在所述管線的由所述紋理化部分進行紋理化之前的階段，對所述給定圖像的對象的一部分執行過取樣。
34.根據權利要求33所述的集成電路，其中所述對象為三角形。
35.一種集成電路，其包括三維(3D)圖形管線，所述3D圖形管線渲染3D場景的圖像序列，每一個3D場景由一組多個對象組成，所述管線包括紋理化部分；抗混疊過取樣機構，其針對給定圖像，在所述管線的由所述紋理化部分進行紋理化之前的給定階段，對所述給定圖像的對象的至少一部分執行抗混疊過取樣；和抗混疊加權機構，其針對所述給定圖像，在所述管線的所述給定階段，對所述給定圖像的由所述抗混疊過取樣機構進行過取樣的部分執行抗混疊加權。
36.根據權利要求35所述的管線，其中所述對象為三角形。
全文摘要
本發明提供一種三維(3D)圖形管線，其渲染3D場景的圖像序列，每一個3D場景由一組多個對象組成。所述管線包括抗混疊過取樣機構以針對給定圖像，在所述管線的較早階段，對所述給定圖像的對象的一部分執行過取樣。
文檔編號G06T15/00GK101061518SQ200580039572
公開日2007年10月24日 申請日期2005年9月23日 優先權日2004年9月23日
發明者麥可·休·安德森 申請人:高通股份有限公司