圖形處理器中simd單元的動態啟用和禁用的製作方法

2023-07-14 16:42:46

專利名稱：：圖形處理器中simd單元的動態啟用和禁用的製作方法
技術領域：
：本發明的實施方式總體涉及在圖形處理單元(GPU)中的單指令多數據(SMD)單元的控制。
背景技術：
：圖形處理器的算術單元包括算術邏輯單元(ALU)或配置為執行整數、邏輯和單/雙精度浮點運算的算術單元。圖形處理器可以包括成陣列的如被稱為著色器核心的算術單元。著色器核心包括著色器管線(SP)。為了實現更高的效能，多個SP可以被配置為作為疊式SP—起工作。SP可以配置為成陣列的四芯管(QP)和SMD。每個SMD的所有的著色器單元在不同組的原點、頂點或像素值上可以有條件地執行相同的ALU指令。以這種方式，SMD提供算術處理功率到圖形處理器。在傳統的具有疊式SP的圖形處理器中，可以靜態地啟用或禁用SMD。例如，如果SP被確定為有故障，引線掩碼(fusemask)可以被編程為禁用故障SP。相似地，用戶可存取寄存器可以被編程為禁用/啟用特定的SMD或成組的SMD。然而，在新的工作請求發送到SMD之前，這種方法需要圖形處理器的圖形管道刷新，且需要將新值重新編程到刷新的圖形管道中。通常的假設是隨著SMD數量的相應增加，著色器引擎的效能提高。然而，這種陳述僅僅在有限的情況下是真實的，如在繁重的工作負荷條件下。對於經常出現的情況，在較少繁重的工作負荷的情況下，著色器引擎的效能不一定隨著SIMD的數目的增加而增加。在這種情況下，如果所有的SMD被啟用，由於未充分利用的SMD(即SMD具有較輕的負荷或沒有負荷)保持啟用和激活狀態，所以功率被浪費。傳統的圖形系統簡單地將工作負荷在遍布於所使用的著色器引擎內的所有的SMD進行劃分以用於特定的操作。然而，這種方法是極端地功率低效的。低效發生的原因是沒有確定在不影響系統效能的情況下是否可以用較少的SIMD來執行操作。因此，傳統的系統保持著色器引擎內的所有的SIMD是活動的，無論它們是否需要執行操作。如上所述，當SMD被啟用時，它們消耗功率。即使處於閒置狀態，SIMD仍然消耗最小的、但量可測量的功率。因此，保持所有可用的SIMD啟用，即使未使用的或未被充分利用，也浪費功率。能夠將工作負荷壓縮在儘可能最小數目的SIMD中也將是有利的。這種方法由於給每一個可用的SMD提供工作負荷而可以減少不必要的開銷(overhead)。此外，在傳統的方法中，在著色器複合器(shadercomplex)中的所有SMD單元的時鐘或同時啟用或同時禁用。在許多應用中，並不是所有的SIMD都被分配工作的。然而，傳統的方法持續主動地提供時鐘信號給這些SMD。該方法會增加圖形處理器的功率消耗，並且是低效的。因此，需要能夠實現SMD的動態控制並在SMD可能不執行處理任務時減少圖形處理器的功率消耗的系統和方法。
發明內容本發明的實施方式通過動態地激活和停用在包括多個SIMD的著色器複合器中的單個的SMD而實現在圖形處理單元中節約功率。單個的SMD的動態即時禁用和啟用在實現給定的處理應用所需的效能和功率水平方面提供了靈活性。以這種方式，可以實現圖形處理單元的最佳使用。更具體地，本發明的實施方式提供一種每瓦負荷均衡技術(LBPW)。在一個實施中，這種LBPW技術監控算術邏輯單元(ALU)指令的數目並提取每個SMD內執行的指令。此外，新分配的線程負荷(即波陣面)進行排隊並被監控。這種監控用於評估SIMD的當前和未來的利用。根據該方案，著色器引擎中只有實際需要或預期將處理給定工作負荷的SMD保持激活狀態。不需要的SMD被停用。通過停用不需要的SMD，降低功率消耗。作為額外的益處，本發明的實施方式在不顯著影響系統性能的情況下提高效能/瓦(performanceperwatt)。在本發明的又一個實施方式中，減少圖形晶片的di/dt，以提高可靠性和在較低的電壓下提高頻率。這種減少影響材料帳單，並允許使用較便宜的元件。本發明的實施方式還實現在著色器複合器中的SMD的動態紋理(grain)(例如中等紋理)時鐘門控。通過按需提供時鐘機制以關閉未使用的邏輯時鐘樹，從而減少開關功率(switchingpower)。在這種方式中，時鐘門控被增強,從而在SIMD是空閒(或者沒有分配工作)的時間階段節約更多的開關功率。本發明的實施方式可以用於任何計算機系統(例如，傳統的計算機(臺式機，筆記本等)系統、計算設備、娛樂系統、媒體系統、遊戲系統、通信裝置、個人數字助理)，或任何使用一個或多個處理器的系統。由於開發的用於一種類型的處理器的代碼用很少或不用額外的努力可以在另一種類型的處理器中有效利用，因而本發明的實施方式可用於例如具有多核的CPU、GPU、和/或GPGPU的處理系統。例如，所開發的用於在GPU執行的代碼，也稱為GPU內核，使用本發明的實施方式可被配置在CPU執行。被併入說明書中並構成本說明書的一部分的附解了本發明的實施方式，並連同上面給出的總體描述和下面給出的實施方式的詳細描述用於解釋本發明的原理。在附圖中圖1A示出根據實施方式所述的著色器複合器。圖1B-1D示出根據實施方式所述的可以被配置為控制SMD的寄存器。圖2示出根據實施方式所述的示例性時序圖。圖3A-3B示出根據實施方式所述的用於啟用和禁用SMD的示例性的寄存器設置。圖3C是根據實施方式所述的示例性的操作流程圖。圖4A-4F示出根據實施方式所述的示例性的效能圖表。圖5A是沒有均衡化的傳統的SMD負荷行為的示意圖。圖5B是根據本發明的實施方式所述的SIMD負荷行為的示意圖。圖6是根據本發明的實施方式所述的示例性的用於評估SMD活動性的可編程查找表的不意圖。圖7是根據本發明的實施方式所述的用於執行SIMD負荷均衡化的示例性方法的示例性流程圖。圖8是用於進行圖7所示的先入先出(FIFO)採樣的更詳細的流程圖。圖9是圖7所示的方法步驟的更詳細的流程圖。圖10示出根據本發明的實施方式所述的用於動態紋理時鐘門控的示例性的系統。具體實施例方式如上所討論的，本發明的實施方式通過動態地激活和停用著色器複合器中單個的SIMD實現功率節約。對圖形處理單元的下降的效能需要或為了降低散熱設計功率(TDP)，實施方式動態地禁用SMD。此外，實施方式啟用已禁用的SMD用於高效能應用而無需刷新圖形處理單元的圖形管道。這在不刷新SP的情況下通過動態開關若干SMD而實現。在某種程度上通過適當地編程設計成組的寄存器實現動態控制(或開關)。在實施方式中，著色器管內插器(SPI)根據被配置為動態地指示哪些SMD被激活的寄存器分配新的工作(或線程)。在一個實施方式中，在當前未完成的請求(或掛起的請求)由被禁用的SMD提供服務之後，這種動態配置生效。一旦被禁用，沒有新的來自SPI的請求會通過禁用的SIMD,且可捕獲邏輯(harvestablelogic)的時鐘(如，sp4_vsp和紋理時鐘)關閉，以降低圖形處理單元的TDP。當禁用的SMD啟用時，SPI將再次開始分配工作給啟用的SMD，提供圖形處理單元更高的效能。在一個實施方式中，這些SMD和一些要被激活和/停用的SMD的激活和停用依賴於各種因素，如操作條件(例如，溫度、電流、CAC)，應用(例如，節約能源的可變的利用)、工作負荷、或其他需求(如，效能需求，功率需求)。SIMD的動態控制圖1A示出示例性的著色器複合器100，其中本發明的實施方式得到實現。如上所討論的，著色器複合器可以包括著色器管道(SP)。為了實現更高的效能，多個SP可以被配置為作為疊式SP—起工作。SP可以構造成四管(QP)和SMD的陣列186。每個SMD的所有的著色單元，可以有條件地在不同的組的原點、頂點或像素值上執行相同的ALU指令。在一個實施方式中，著色器複合器100包括多個SIMD和2個著色器引擎，即，著色器引擎120和著色器引擎122。著色器複合器100還包括紋理高速緩存130(或2級紋理高速緩存)、多個著色器管內插器(SPI)和頂點高速緩存。著色器複合器100還包括多個冗餘著色器開關(RSS)、著色器的時序控制器(SQ)、I級紋理高速緩存(TCP)和紋理數據邏輯(TD)。(雖然為清楚起見，示出了數量較少的SMD，但是應當理解，本發明並不限定於圖示的實施方式，且著色器複合器100是可擴展的並且可以包括任意數量的SMD。)如上所討論的，本發明的實施方式動態地開關若干SMD而不刷新SP。這樣的動態控制(或開關)在某種程度上通過適當地編程成組的寄存器來實現。在一個實施方式中，SPI根據被配置為動態地指示哪些SIMD被激活的寄存器，分配新的工作(或工作線程)。下節討論控制SMD和QP掩碼的示例性寄存器。圖1B示出命名為「CC_GC_SHADER_PIPE_C0NFIG.」的寄存器。在一實施方式中，根據引信掩碼設置，該寄存器通過復位/配置單元(RCU)編程。作為示例，該寄存器可以被編程用於捕獲的目的。同樣地，示於圖1C的「RCU_CG_GC_SHADER_PIPE」和「RCU_CC_GC_SHADER_PIPE1」寄存器是「CC_GC_SHADER_PIPE_CONFIG」寄存器的經陰影處理(shadow)的版本。這些寄存器基於引信掩碼或SMC微碼被編程。示於圖1D中的寄存器「GC_USER_SHADER_PIPE_CONFIG，」通過用戶可編程以限制操作SMD(和/或QP)的數目。該寄存器可以是通過從圖形寄存器總線管理(GRBM)接受的每個索引的著色器引擎映射並經陰影處理的存儲器。「CC_GC_SHADER_PIPE_CONFIG」的寄存器設置(圖1B)在性質上是靜態的，且每個晶片編程一次。與此相反，「GC_USER_SHADER_PIPEC_ONFIG」寄存器的寄存器設置可以在任何時間動態(即，即時)編程。本發明的實施方式配置「GC_USER_SHADER_PIPE_CONFIG」寄存器用於SMD的動態控制。在實施方式中「CC_GC_SHADER_PIPE_CONFIG」寄存器和「GC_USER_SHADER_PIPE_CONFIG」寄存器的組合ORed值由SPI使用以確定(即時)要被分配新的線程(工作)的啟用的SIMD。在一個實施方式中，在圖形管道的所有其他的設計模塊使用「CC_GC_SHADER_PIPE_C0NFIG」寄存器以對非活動的SMD/QP靜態地禁用這些模塊。在一實施方式中，當這樣的操作會導致不合乎期望的著色器管線的「凍結」時，這樣的設計模塊不需要審查「GC_USER_SHADER_PIPE_CONFIG」寄存器。參照圖2示出的示例性時序圖，SMD的控制可以獨立於著色器引擎的活動性而實現。即使特定的SMD正忙於執行指令，實施方式在SMD的活動執行期間可以禁用該SMD。例如，參照圖2，在SMDO的活動執行期間，SIMDO可以被禁用。在並不意圖限制本發明的實施方式中，直到禁用(或停用)的SIMD重新啟用，SPI才分配工作給該禁用(或停用)的SIMD。當其中的當前工作和在工作序列管道中的掛起的工作完成時，該禁用的SMD自然引流(drain)工作線程。一旦清空，動態紋理時鐘門控(以下詳細說明)可以禁用時鐘信號到在禁用的SMD的邏輯。在禁用的SMD重新啟用時，SPI再次提交新的線程(工作請求)到啟用的SMD。SMD控制設置通過GRBM寄存器的寫操作被編程，且可以通過驅動程序或SMC微碼動態地設置。從系統設計的角度來看，SIMD可以在任何時間(S卩，即時)被啟用或禁用。從能源節約的角度來看，從SMD啟用切換到SMD禁用狀態的時間可以依賴於SMD管道中的掛起的工作負荷。當SPI準備好分配線程到SIMD時，使禁用的SIMD啟用所需要的時間(或反之亦然)與寫操作GRBM寄存器速度相當。作為示例，對於這兩種情況，所需要的時間可以是幾微秒。示例性的操作方案以下是其中使用本發明和動態控制SIMD的實施方式的示例性操作方案。A.基於條件的控制SMD的動態控制會依賴條件。這樣的示例性的條件包括，但不限於:(I)溫度行程:當外部源指示更高的處理器溫度，並且有必要降低(或當適用時提高)功率消耗時。(2)電流行程當外部源指示更高的處理器電流，並且有必要降低(或當適用時提高)功率消耗時。(3)CAC管理當晶片上CAC管理器通知增加的處理活動，並做出通過啟用更多SIMD以提高效能的決定時，或當晶片上CAC管理器通知減少的活動，並做出通過禁用若干SIMD而不降低效能以減少功率的決定時。B.基於應用的控制SIMD的動態控制也可以依賴於應用。這樣的示範性應用包括那些允許可變的利用以節約能源的應用。例如，根據本實施方式，從更多的處理器密集型應用(例如，3D圖形處理)到較不密集的應用(例如，DVD回放)的用戶應用模式中檢測的變化可以使用於SMD的動態控制。例如，通過用戶界面(UI)輸入機構或應用編程接口(API)的用戶和應用程式輸入也可被採用以提供SMD的動態控制。這些輸入機構可以用於處理應用設置所需的功率水平。這些輸入機制可以通過軟體(如應用或作業系統)、固件、硬體或它們的各種組合來啟用。C.基於工作負荷的控制SMD的動態控制可依賴於工作負荷。舉例而言，SMD的動態控制可以根據下面列出的非限制性的示例性的GPU條件中的一個或多個被觸發。(I)靜態篩選(screen)條件(無負荷)(<TDP的5%)(2)空閒條件(非常輕的負荷)(<TDP的10%)(3)中等的負荷條件(<TDP的50%)(4)重的負荷條件(TDP的90%)D.基於請求的控制SMD的動態控制可以依賴於請求，並依賴於效能需求以及功率需求。驅動程序監控GPUTDP,以及接近最大TDP負荷時，禁用SMD以降低TDP。使用沒有GPU頻率和電壓調整可以實現這種SMD的禁用。可以使用驅動程序和/或SMU管理的SMC微碼檢測和實現上述示例性的控制條件。實施方式也可以允許使用自我控制所啟用的SIMD數目的專用控制項。對於啟用和禁用SIMD的示例性寄存器設置在上述條件模式(或任何其他情況)中的任何一種中，驅動程序能寫入寄存器「GC_USER_SHADER_PIPE_CONFIG」的位欄位(例如，位欄位[31:16])以禁用和啟用SIMD。如圖3A所示，寫入「O」啟用SIMD，以及寫入「I」禁用SIMD。圖形處理單元可以包括兩個著色器引擎(例如，SEO和SEl)。在這種情況下，對於這些著色器引擎，實施方式可以啟用和禁用不同的SMD。這可以通過使用如圖3B所示的GRBM索引寄存器分開編程著色器弓I擎而實現。參考圖3B，(I)要寫入SEO(即著色器引擎)的「GC_USER_SHADER_PIPE_CONFIG」，可使用下面的示例性指令:權利要求1.一種在計算系統中提高效能的方法，其包括:確定處理應用所需的功率水平；以及根據所述功率水平動態地啟用和禁用在著色器複合器中的一個或多個單指令多數據單元(SMD)。2.如權利要求1所述的方法，還包括:實時地配置多個寄存器以指示何時所述SIMD要被啟用和禁用。3.如權利要求1所述的方法，還包括:確定所述處理應用所需的SMD的數量。4.如權利要求2所述的方法，還包括:審查所配置的所述寄存器；以及根據所述寄存器的配置分配工作線程。5.如權利要求2所述的方法，還包括:在所述配置之前服務一個或多個掛起的工作請求。6.如權利要求1所述的方法，其中，所述動態地啟用和禁用包括在所述SMD的活動執行期間並且獨立於與所述SMD相關的著色器引擎中的活動性啟用和禁用所述SMD。7.如權利要求2所述的方法，還包括:對一個或多個要被禁用的SIMD禁用工作線程；以及確定在所述要被禁用的SIMD中所有掛起的工作線程何時被清空。8.如權利要求1所述的方法，其中，所述啟用和禁用依賴於處理的工作負荷、應用請求和操作條件中的一個或多個。9.如權利要求1所述的方法，進一步包括提供動態中等紋理時鐘門控到所述SMD。10.如權利要求9所述的方法，進一步包括禁用時鐘樹到所述SIMD中的未使用的邏輯。11.如權利要求1所述的方法，進一步包括按需提供計時到所述SIMD。12.—種在計算系統中提高效能的系統，其包括:第一模塊，其被配置為確定處理應用的功率水平；以及第二模塊，其被配置為根據所述功率水平動態地啟用和禁用在著色器複合器中的一個或多個單指令多數據單元(SMD)。13.如權利要求12所述的系統，其中，所述第二模塊實時地配置多個寄存器來指示何時所述SMD要被啟用和禁用。14.如權利要求13所述的系統，其中，所述第二模塊被進一步配置為:審查所配置的所述寄存器；以及根據所述寄存器的配置分配工作線程。15.如權利要求13所述的系統，其中，所述第二模塊在所述配置之前服務一個或多個掛起的工作請求。16.如權利要求12所述的系統，其中，所述第二模塊進一步被配置為在所述SMD的活動執行期間並且獨立於與所述SMD相關的著色器引擎中的活動性啟用和禁用所述SMD。17.一種計算機可讀介質，其存儲適於由處理器執行的指令以:確定處理應用所需的功率水平；以及根據所述功率水平動態地啟用和禁用在著色器複合器中的一個或多個單指令多數據單元(SMD)。18.如權利要求17所述的計算機可讀介質，進一步包括適於由所述處理器執行的指令以:實時地配置多個寄存器，以指示何時所述SIMD要被啟用和禁用。19.如權利要求17所述的計算機可讀介質，進一步包括適於由所述處理器執行的指令以:確定所述處理應用所需的SMD的數量。20.如權利要求18所述的計算機可讀介質，進一步包括適於由所述處理器執行的指令以:審查所配置的所述寄存器；以及根據所述寄存器的配置分配工作線程。21.—種在包括多個指令數據模塊的處理器中管理工作分配的方法，其包括:分析由所述處理器接收到的工作單元；將所述多個模塊內的活動的模塊的利用水平與閾值進行比較；以及根據所述分析和所述比較在所述指令數據模塊中所選擇的指令數據模塊中遍布分布所述工作單元。22.如權利要求21所述的方法，其中，所述比較包括確定所述活動的模塊中的每個是否具有小於所述閾值中的一個或多個的利用水平。23.如權利要求22所述的方法，進一步包括禁用其利用水平小於所述一個或多個閾值的所述活動的模塊。24.如權利要求21所述的方法，其中，所述分布包括分配所述工作單元的部分給具有小於所述閾值中的一個或多個的利用水平的活動的模塊。25.如權利要求21所述的方法，其中，所述分布進一步包括啟用非活動的模塊。26.如權利要求25所述的方法，進一步包括當所述活動的模塊的利用水平大於所述閾值中的一個或多個時分配所述工作單元中的部分給所啟用的所述模塊。27.如權利要求26所述的方法，其中，所述分布實現所啟用的所述模塊中的一個或多個的充分利用。28.如權利要求21所述的方法，其中，所述比較包括計數在所述指令數據模塊內執行的指令，所述指令代表所述工作單元。29.如權利要求28所述的方法，其中，所述計數在預定的時間周期發生。30.如權利要求29所述的方法，其中，所述指令包括來自包括算術邏輯單元(ALU)指令和取指令的組中的至少一個。31.如權利要求21所述的方法，其中，所述利用水平包括來自包括當前利用和預測的利用的所述組中的至少一個。全文摘要本發明描述一種在圖形處理單元中提高效能的系統和方法。實施方式通過在包含多個SIMD單元的著色器複合器中動態地激活/停用單個的SIMD實現在圖形處理單元中的功率節約。單個SIMD的動態即時禁用和啟用對於給定的處理應用中實現所需的效能和功率水平提供了靈活性。用這種方法，實施方式實現了圖形處理單元的最優化使用。本發明的實施方式還在著色器複合器中實現SIMD的動態紋理(如中等紋理)時鐘門控。實施方式通過按需提供時鐘機制，關閉未使用的邏輯時鐘樹，以減少開關功率。用這種方法，實施方式增強時鐘門控，以在SIMD為空閒(或未指派任何工作)時的持續時間內節約更多的開關功率。文檔編號G06T15/00GK103080899SQ201180035148公開日2013年5月1日申請日期2011年7月11日優先權日2010年7月13日發明者圖沙爾·K·沙阿,拉沙德·奧雷費基,麥可·J·曼特,布萊恩·恩貝林申請人:超威半導體公司