Cpu和gpu共享片上高速緩存的方法及裝置製造方法
2023-05-30 02:02:36 2
Cpu和gpu共享片上高速緩存的方法及裝置製造方法
【專利摘要】本發明公開了一種CPU和GPU共享片上高速緩存的方法及裝置，方法步驟如下：分類緩存來自CPU/GPU的訪存請求；針對緩存的不同類型的訪存請求進行仲裁；執行訪存請求，且在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；在執行GPU的訪存請求時，將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。裝置包括CPU請求隊列、GPU請求隊列、仲裁器、高速緩存流水執行單元。本發明能夠同時兼顧CPU和GPU不同訪問特性，具有性能高、硬體實現簡單、代價小的優點。
【專利說明】CPU和GPU共享片上高速緩存的方法及裝置
【技術領域】
[0001]本發明涉及計算機微處理器領域，具體涉及一種CPU和GPU共享片上高速緩存的方法及裝置。
【背景技術】
[0002]隨著超大規模集成電路和嵌入式技術的飛速發展，單晶片上的可用電晶體資源越來越多，系統集成晶片(SoC)技術應運而生。一個SoC晶片往往集成多個不同功能的IP核，具有較為完善的功能。如手機、PDA等手持式終端機器所使用的SoC晶片可以將一個嵌入式信息處理系統的幾乎全部功能都集成在一起，進而在單個晶片上實現信息採集、輸入、存儲、處理器、輸出等功能。目前的一些嵌入式系統(如手機、遊戲機)對圖形、圖像、視頻等多媒體處理器性能提出了較高的要求，因此圖形處理單元GPU往往也被集成到SoC晶片中去。
[0003]在集成CPU和GPU兩種不同處理單元的SoC晶片中，他們一般需要共享使用高速緩存、存儲控制器等片上資源。然而，片上有限的存儲帶寬很難同時滿足CPU和GPU的高帶寬需求，進而使得CPU和GPU的性能都受到一定的影響。此外，CPU和GPU的訪存特性也存在較大差別，對片上高速緩存的特性也提出了不同的要求。CPU的訪存請求屬於延遲敏感的，它要求其訪存請求能夠得到快速服務；而GPU的訪存請求屬於帶寬敏感的，它需要高帶寬服務，否則導致GPU無法實時處理完要顯示的圖像。綜上所述，片上高速緩存的共享使用方式在一定程度上影響了 CPU和GPU的性能，使得CPU的低延遲需求和GPU的高帶寬需求都無法都得到滿足。隨著集成CPU和GPU的SoC晶片的增多，CPU和GPU的訪存競爭問題已經成為一個亟待解決的技術問題。
【發明內容】
[0004]本發明要解決的技術問題是提供一種能夠同時兼顧CPU和GPU不同訪問特性、性能高、硬體實現簡單、代價小的CPU和GPU共享片上高速緩存的方法及裝置。
[0005]為了解決上述技術問題，本發明採用的技術方案為:
一種CPU和GPU共享片上高速緩存的方法，其實施步驟如下:
O分類緩存來自CPU的訪存請求及來自GPU的訪存請求；
2)針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線；
3)檢查進入流水線的訪存請求的請求類型，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。
[0006]進一步地，所述步驟2)的詳細步驟如下:
2.1)根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值表示為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值表示為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；
2.2)根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用。
[0007]進一步地，所述步驟2.2)的詳細步驟如下:
2.2.1)判斷當前的優先級狀態值，如果當前的優先級狀態值為CPU優先則跳轉執行步驟2.2.2)，否則跳轉執行步驟2.2.3);
2.2.2)檢查緩存的GPU訪存請求以及當前的GPU使用帶寬，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且者當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；
2.2.3)檢查緩存的CPU內核訪存請求以及當前的GPU使用帶寬，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；如果緩存的CPU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢。
[0008]進一步地，所述步驟3)的詳細步驟如下:
3.1)檢查進入流水線的訪存請求的請求類型，當請求類型為CPU時，如果訪存請求的操作類型為讀操作則跳轉執行步驟3.2)，否則跳轉執行步驟3.3);當請求類型為GPU時，如果訪存請求的請求類型為讀操作則跳轉執行步驟3.4)，否則跳轉執行步驟3.5)；
3.2)判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給發出訪存請求的CPU內核；否則如果失效，則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據緩存到高速緩存中並返回給發出訪存請求的CPU內核；訪存請求執行完畢；
3.3)判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，並向CPU內核發出作廢或者更新私有數據備份的命令；否則如果失效，則採用按寫分配原則，將數據寫入高速緩存中新分配的緩存塊地址；訪存請求執行完畢；
3.4)判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給訪存請求的GPU;否則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據直接返回給訪存請求的GPU但不寫入高速緩存中；訪存請求執行完畢；
3.5)判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，然後向CPU內核發出作廢或者更新私有數據備份的命令；否則採用不按寫分配原則，只將寫操作的寫數據寫入外部的存儲器但不寫入高速緩存中；訪存請求執行完畢。
[0009]本發明還提供一種CPU和GPU共享片上高速緩存的裝置，包括:
CPU請求隊列和GPU請求隊列，用於分類緩存來自CPU的訪存請求及來自GPU的訪存請
求；
仲裁器，用於針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線；
高速緩存流水執行單元，用於檢查進入流水線的訪存請求的請求類型，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。
[0010]進一步地，所述仲裁器包括:
動態優先級仲裁模塊，用於根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值表示為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值表示為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；
優先級狀態值更新模塊，用於根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用。
[0011]進一步地，所述優先級狀態值更新模塊包括:
優先級狀態值判斷子模塊，用於判斷當前的優先級狀態值，如果當前的優先級狀態值為CPU優先則調用CPU內核優先狀態控制子模塊，否則調用GPU優先狀態控制子模塊；
CPU內核優先狀態控制子模塊，用於檢查緩存的GPU訪存請求以及當前的GPU使用帶寬，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先以供下一次仲裁使用；
GPU優先狀態控制子模塊(323)，用於檢查緩存的CPU內核訪存請求以及當前的GPU使用帶寬，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；如果緩存的(PU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先以供下一次仲裁使用。
[0012]進一步地，所述高速緩存流水執行單元包括:
訪存請求檢查模塊，用於檢查進入流水線的訪存請求的請求類型，當請求類型為CPU時，如果訪存請求的操作類型為讀操作則調用CPU讀操作執行模塊，否則調用CPU寫操作執行模塊；當請求類型為GPU時，如果訪存請求的請求類型為讀操作則調用GPU讀操作執行模塊，否則調用GPU寫操作執行模塊；
CPU讀操作執行模塊，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給發出訪存請求的CPU內核；否則如果失效，則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據緩存到高速緩存中並返回給發出訪存請求的CPU內核；
CPU寫操作執行模塊，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，並向CPU內核發出作廢或者更新私有數據備份的命令；否則如果失效，則採用按寫分配原則，將數據寫入高速緩存中新分配的緩存塊地址；
GPU讀操作執行模塊，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給訪存請求的GPU;否則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據直接返回給訪存請求的GPU但不寫入高速緩存中； GPU寫操作執行模塊，判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，然後向CPU內核發出作廢或者更新私有數據備份的命令；否則採用不按寫分配原則，只將寫操作的寫數據寫入外部的存儲器但不寫入高速緩存中。
[0013]本發明CPU和GPU共享片上高速緩存的方法具有下述優點:
1、本發明根據CPU和GPU的訪存特點，通過分類緩存來自CPU的訪存請求及來自GPU的訪存請求，針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線，在流水線執行時，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。因此，本發明根據CPU和GPU的訪存特點分別進行優化處理，針對CPU程序(即來自CPU的訪存請求)的局部性比較大，在流水線執行時其訪問數據進入高速緩存以提高程序性能，而針對GPU程序(即來自GPU的訪存請求)訪問的數據存在流特性且局部性比較差的問題，因此GPU程序訪問的數據一般繞過高速緩存，從而對較大限度地降低了對CPU程序的影響，因此能夠同時兼顧CPU和GPU不同訪問特性，具有性能高的優點。
[0014]2、本發明通過分類緩存來自CPU的訪存請求及來自GPU的訪存請求，針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線執行，因此通過在現有多核處理器的基礎上引入GPU對高速緩存的共享，基本保留了多核處理器訪問高速緩存的結構特點，對原有處理器結構改動較小，硬體結構簡單，代價小。同時，修改後的高速緩存結構還可以用於未使用GPU的多核處理器，還具有兼容性強的優點。
[0015]3、本發明根據CPU和GPU的訪存特點，通過分類緩存來自CPU的訪存請求及來自GPU的訪存請求，針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線，因此能夠根據CPU和GPU的訪存特點靈活選擇不同的仲裁策略，從而使迫切得到服務的CPU程序或者GPU程序得到優先處理，提高了系統的靈活性。
[0016]本發明CPU和GPU共享片上高速緩存的裝置為本發明CPU和GPU共享片上高速緩存的方法相對應的裝置，因此具有與本發明CPU和GPU共享片上高速緩存的方法相同的技術效果，故在此不再贅述。
【專利附圖】
【附圖說明】
[0017]圖1為本發明實施例方法的基本流程示意圖。
[0018]圖2為本發明實施例方法中針對不同類型的訪存請求進行仲裁流程示意圖。
[0019]圖3為本發明實施例方法中更新優先級狀態值的狀態機示意圖。
[0020]圖4為本發明實施例裝置的邏輯框架結構示意圖。
[0021]圖5為本發明實施例裝置中仲裁器的邏輯框架結構示意圖。
[0022]圖6為本發明實施例裝置中動態優先級仲裁模塊的框架結構示意圖。
[0023]圖7為本發明實施例裝置中優先級狀態值更新模塊的邏輯框架結構示意圖。
[0024]圖8為本發明實施例裝置中高速緩存流水執行單元的邏輯框架結構示意圖。
[0025]圖9為應用本發明實施例裝置的微處理器的框架結構示意圖。
[0026]圖10為本發明實施例裝置中高速緩存流水執行單元的框架結構示意圖。[0027]圖11為本發明實施例裝置執行CPU訪存請求的流程示意圖。
[0028]圖12為本發明實施例裝置執行GPU訪存請求的流程示意圖。
【具體實施方式】
[0029]如圖1所示，本實施例CPU和GPU共享片上高速緩存的方法的實施步驟如下:
O分類緩存來自CPU的訪存請求及來自GPU的訪存請求；
2)針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線；
3)檢查進入流水線的訪存請求的請求類型，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。
[0030]如圖2所示，本實施例中針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線，如果緩存的來自CPU的訪存請求獲勝，則該來自CPU的訪存請求進入流水線；如果緩存的來自GPU的訪存請求獲勝，則該來自GPU的訪存請求進入流水線。本實施例中，步驟2)的詳細步驟如下:
2.1)根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值表示為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值表示為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；
2.2)根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用。
[0031]結合上述步驟2.1)?2.2)可知，本實施例採用動態優先級仲裁的方法，根據優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線，而且每一次均根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用，該動態優先級仲裁的方法可以根據系統當前狀態和需求改變請求的優先級，從而使迫切得到服務的CPU相關程序或者GPU相關程序得到優先處理，提高了系統的靈活性。
[0032]本實施例中，步驟2.2)的詳細步驟如下:
2.2.1)判斷當前的優先級狀態值，如果當前的優先級狀態值為CPU優先則跳轉執行步驟2.2.2)，否則跳轉執行步驟2.2.3);
2.2.2)檢查緩存的GPU訪存請求以及當前的GPU使用帶寬，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；
2.2.3)檢查緩存的CPU內核訪存請求以及當前的GPU使用帶寬，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；如果緩存的CPU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢。
[0033]結合上述步驟2.2.1)?2.2.3)可知，本實施例根據系統當前狀態綜合考慮CPU請求與GPU請求的優先級，系統當前狀態包括緩存的GPU訪存請求數量、緩存的CPU內核訪存請求數量、當前的GPU使用帶寬三類系統當前狀態，通過對上述系統當前狀態的綜合考慮，能夠確保片上有限的存儲帶寬最大化地同時滿足CPU和GPU的高帶寬需求，進而使得CPU和GPU的性能得到最優化的發揮，從而能夠最大化地克服CPU和GPU的訪存競爭問題導致的系統性能下降問題，能夠提高處理器的整體性能，從而使迫切得到服務的CPU程序或者GTO程序得到優先處理，提高了系統的靈活性。
[0034]如圖3所示,本實施例中以Priority代表優先級狀態值，當Priority=O時，CPU請求隊列的優先級高於GPU，即Priority=O代表為CPU優先；當Priority=I時，GPU請求隊列的優先級高於CPU，即Priority=I代表為GPU優先。系統默認初始化優先級狀態值為0，即Priority=。，代表默認為CPU優先。在Priority=O的情況下，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先(Priority=。)以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先(Priority=I)以供下一次仲裁使用在Priority=I的情況下，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先(Priority=I)以供下一次仲裁使用，更新完畢；如果緩存的CPU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先(PriOrity=O)以供下一次仲裁使用。
[0035]本實施例中，步驟3)的詳細步驟如下:
3.1)檢查進入流水線的訪存請求的請求類型，當請求類型為CPU時，如果訪存請求的操作類型為讀操作則跳轉執行步驟3.2)，否則跳轉執行步驟3.3);當請求類型為GPU時，如果訪存請求的請求類型為讀操作則跳轉執行步驟3.4)，否則跳轉執行步驟3.5)；
3.2)判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給發出訪存請求的CPU內核；否則如果失效，則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據緩存到高速緩存中並返回給發出訪存請求的CPU內核；訪存請求執行完畢；
3.3)判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，並向CPU內核發出作廢或者更新私有數據備份的命令；否則如果失效，則採用按寫分配原則，將數據寫入高速緩存中新分配的緩存塊地址；訪存請求執行完畢；
3.4)判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給訪存請求的GPU;否則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據直接返回給訪存請求的GPU但不寫入高速緩存中；訪存請求執行完畢；
3.5)判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，然後向CPU內核發出作廢或者更新私有數據備份的命令；否則採用不按寫分配原則，只將寫操作的寫數據寫入外部的存儲器但不寫入高速緩存中；訪存請求執行完畢。
[0036]綜上步驟3.1)?3.5)可知，本實施例執行CPU的訪存請求時，讀取或寫入的數據在高速緩存中進行緩存，向其它CPU發出作廢或更新信息來保證多個CPU的高速緩存一致性；在CPU讀失效時，從外部存儲器讀取的數據要替換進入高速緩存；在CPU寫失效時，要執行按寫分配策略；在執行CPU寫操作時，向其它CPU發出作廢或更新信息來保證多個CPU的高速緩存一致性。本實施例執行GPU訪存請求時，讀取或寫入的數據儘量不在高速緩存中進行緩存。僅當寫命中高速緩存，向其它CPU發出作廢或更新信息來保證多個CPU的高速緩存一致性；當讀失效時，數據直接從外部存儲器發送給GPU內核；當寫失效時，數據直接寫入外部存儲器，進行不按寫分配操作。
[0037]如圖4所示，本實施例CPU和GPU共享片上高速緩存的裝置包括:
CPU請求隊列I和GPU請求隊列2，用於分類緩存來自CPU的訪存請求及來自GPU的訪存請求；這些訪存請求以報文形式表示。
[0038]仲裁器3，用於針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線；
高速緩存流水執行單元4，用於檢查進入流水線的訪存請求的請求類型，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。
[0039]如圖5所示，本實施例的仲裁器3包括:
動態優先級仲裁模塊31，用於根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值表示為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值表示為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；
優先級狀態值更新模塊32，用於根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用。
[0040]如圖6所示，動態優先級仲裁模塊31具體包括仲裁執行模塊和選擇器，仲裁執行模塊用於根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，選擇器則用於根據仲裁結果選擇從緩存的來自CPU或者GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線。在訪存請求分別進入CPU請求隊列I和GPU請求隊列2後，仲裁器3通過動態優先級仲裁模塊31進行仲裁，如果來自CPU的訪存請求仲裁獲勝，則來自CPU的訪存請求可以進入流水線，相反，如果來自GPU的訪存請求仲裁獲勝，則來自GPU的訪存請求可以進入流水線。
[0041 ] 如圖7所示，本實施例的優先級狀態值更新模塊32包括:
優先級狀態值判斷子模塊321，用於判斷當前的優先級狀態值，如果當前的優先級狀態值為CPU優先則調用CPU內核優先狀態控制子模塊322，否則調用GPU優先狀態控制子模塊323 ；
CPU內核優先狀態控制子模塊322，用於檢查緩存的GPU訪存請求以及當前的GPU使用帶寬，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先以供下一次仲裁使用；
GPU優先狀態控制子模塊323，用於檢查緩存的CPU內核訪存請求以及當前的GPU使用帶寬，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；如果緩存的CPU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先以供下一次仲裁使用。
[0042]綜合優先級狀態值更新模塊32的上述結構可知，本實施例的仲裁器3能夠根據系統當前狀態綜合考慮CPU請求與GPU請求的優先級，優化系統性能。CPU程序屬於延遲敏感，其訪存請求需要得到快速服務，而GPU對帶寬較為敏感。因此，在GPU訪存帶寬滿足需求的情況下，CPU訪存請求的優先級高於GPU訪存請求。用硬體計算器記錄單位時間內GPU的實際訪存帶寬，如果訪存帶寬低於預期，則表明GPU的訪存請求需要提高，以防止GPU出現圖形圖像處理不連續的情況；如果訪存帶寬高於預期，則表明GPU能夠正常工作，可以將更多的帶寬分配給CPU使用，提高CPU的性能。
[0043]如圖8所示，本實施例的高速緩存流水執行單元4包括:
訪存請求檢查模塊41，用於檢查進入流水線的訪存請求的請求類型，當請求類型為CPU時，如果訪存請求的操作類型為讀操作則調用CPU讀操作執行模塊42，否則調用CPU寫操作執行模塊43 ;當請求類型為GPU時，如果訪存請求的請求類型為讀操作則調用GPU讀操作執行模塊44，否則調用GPU寫操作執行模塊45 ；
CPU讀操作執行模塊42，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給發出訪存請求的CPU內核；否則如果失效，則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據緩存到高速緩存中並返回給發出訪存請求的CPU內核；
CPU寫操作執行模塊43，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，並向CPU內核發出作廢或者更新私有數據備份的命令；否則如果失效，則採用按寫分配原則，將數據寫入高速緩存中新分配的緩存塊地址；
GPU讀操作執行模塊44，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給訪存請求的GPU;否則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據直接返回給訪存請求的GPU但不寫入高速緩存中；
GTO寫操作執行模塊45，判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，然後向CPU內核發出作廢或者更新私有數據備份的命令；否則採用不按寫分配原則，只將寫操作的寫數據寫入外部的存儲器但不寫入高速緩存中。
[0044]如圖9所示，採用本實施例裝置的多核微處理器(Soc晶片)由η個CPU內核(內核I?內核η)、一個GPU、一個高速緩存和一個存儲控制器組成，每個CPU內核內部均配置私有高速緩存，η個CPU內核(內核I?內核η)和一個GPU內核通過總線、交叉開關或網絡等互連結構接到高速緩存，高速緩存則通過存儲控制器訪問外部存儲器。CPU內核訪問的數據都要經過高速緩存，並由高速緩存來保持高速緩存一致性，同時GPU內核訪問的數據一般都繞過高速緩存，避免佔用大量高速緩存。
[0045]如圖10所示，高速緩存流水執行單元4包括:緩存Tag模塊，用於記錄高速緩存中存儲數據的地址信息，用於判別所訪問的數據是否在高速緩存中存在備份。Tag狀態模塊，用於記錄緩存Tag的狀態信息，如相應Tag是否有效，Tag對應的數據是否被修改。緩存數據模塊，用於記錄Tag所記錄地址對應的數據信息。緩存目錄模塊，用於記錄上一級緩存的Tag部分，用於進行緩存一致性管理。當CPU和GPU向某地址寫數據且寫命中時，緩存一致性管理硬體將根據緩存目錄中的信息向保存有該地址數據的CPU發出作廢或者更新信息。CPU寫緩存，用於記錄CPU需要寫入外部存儲器的數據。當CPU採用寫直達策略執行寫操作時，數據在寫入高速緩存的同時還要寫入外部存儲器，此時則將寫數據寫入CPU寫緩存。GPU寫緩存，用於記錄GPU需要寫入外部存儲器的數據。當GPU寫失效時，數據將直接通過GPU寫緩存寫入外部存儲器，而不再寫入高速緩存。讀緩存，用於記錄CPU和GPU從外部存儲器讀數據所返回的結果。失效緩存，用於當CPU和GPU讀寫高速緩存失效時，將向外部存儲器發出相應的讀請求和寫請求，失效緩存記錄了相應的讀寫請求和請求地址。CPU返回隊列，用於記錄高速緩存返回給CPU的數據GPU返回隊列，用於記錄高速緩存返回給GPU的數據GPU返回隊列僅記錄GPU要讀取的數據，而CPU返回隊列不僅記錄CPU所要讀取的數據，還記錄用於一致性管理的作廢及更新等信息。高速緩存的緩存目錄記錄了所有CPU訪問數據的記錄，而沒有記錄GPU訪問數據的記錄。當CPU或GPU寫高速緩存時，高速緩存一致性裝置根據緩存目錄的狀態作廢或更新CPU中相關數據，從而使得CPU總能獲得最新的數據；但由於GPU的訪問的數據不進入高速緩存，高速緩存一致性裝置不能保證GPU訪問的數據都是最新的。儘管本實施例沒有從硬體上保證GPU訪問的數據是最新的，但是從硬體環境角度來保證提出的高速緩存裝置能夠正確工作。在集成CPU和GPU的SoC系統中，CPU通常控制GPU的執行，並為其提供必要的數據；在GPU的運行過程中，CPU和GPU處於相對獨立的運行狀態，它們之間通常不進行數據交互，因此CPU寫操作也通常不涉及GPU的地址空間，進而不會一起數據的不一致性。
[0046]如圖11所示，本實施例執行來自CPU的訪存請求的步驟如下:
ADCPU內核發出訪存請求。
[0047]A2)訪存請求被緩存到專門用於緩存CPU訪存請求的CPU請求隊列。
[0048]A3)對訪存請求進行仲裁，如果訪存請求失敗則繼續等待下一次仲裁,最終訪存請求仲裁獲勝進入高速緩存的流水線。
[0049]A4)判別訪存請求類型，如果是讀請求則跳轉步驟A5);如果是寫請求則跳轉步驟A6).A5)訪問高速緩存中的Tag標識(地址標籤標識)和Tag狀態(地址標籤狀態),判別是否在高速緩存中讀命中，如果讀命中，則訪問緩存數據並將正確的數據送入CPU返回隊列；如果讀失效，則將訪存請求送入失效緩存，進而從下一級存儲層次(如外部存儲器)中獲取正確數據，該數據將同時進入CPU返回隊列和高速緩存；
A6)訪問高速緩存中的Tag標識(地址標籤標識)和Tag狀態(地址標籤狀態),判別是否在高速緩存中寫命中，如果寫命中，則將數據寫入緩存中相應的位置，並查詢緩存目錄，根據緩存目錄向其它CPU私有緩存發出作廢或者更新消息；如果寫失效，則採用按寫分配原則，將數據寫入緩存中新分配的緩存塊地址。
[0050]如圖12所示，本實施例執行來自GPU的訪存請求的步驟如下:
BI) GPU發出訪存請求。[0051]B2)訪存請求被緩存到專門用於緩存GPU訪存請求的GPU請求隊列。
[0052]B3)對訪存請求進行仲裁，如果訪存請求失敗則繼續等待下一次仲裁，最終訪存請求仲裁獲勝進入高速緩存的流水線。
[0053]B4)判別訪存請求類型，如果是讀請求則跳轉步驟B5);如果是寫請求則跳轉步驟B6)。
[0054]B5 )訪問高速緩存中的Tag標識(地址標籤標識)和Tag狀態(地址標籤狀態)，判別是否在高速緩存中讀命中，如果讀命中，則訪問緩存數據並將正確的數據送入GPU返回隊列；如果讀失效，則將訪存請求送入失效緩存，進而從下一級存儲層次(如外部存儲器)中獲取正確數據，該數據只進入GPU返回隊列，而不進入高速緩存。
[0055]B6 )訪問高速緩存中的Tag標識(地址標籤標識)和Tag狀態(地址標籤狀態)，判別是否在高速緩存中寫命中，如果寫命中，則將數據寫入緩存中相應的位置，並查詢緩存目錄，根據緩存目錄向其它CPU私有緩存發出作廢或者更新消息；如果寫失效，則採用按不寫分配原則，將數據直接寫入外部存儲器，高速緩存中不存儲該數據的數據備份。
[0056]以上所述僅是本發明的優選實施方式，本發明的保護範圍並不僅局限於上述實施例，凡屬於本發明思路下的技術方案均屬於本發明的保護範圍。應當指出，對於本【技術領域】的普通技術人員來說，在不脫離本發明原理前提下的若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。
【權利要求】
1.一種CPU和GPU共享片上高速緩存的方法，其特徵在於實施步驟如下: .1)分類緩存來自CPU的訪存請求及來自GPU的訪存請求； . 2)針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線； . 3)檢查進入流水線的訪存請求的請求類型，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。
2.根據權利要求1所述的CPU和GPU共享片上高速緩存的方法，其特徵在於，所述步驟.2)的詳細步驟如下: . 2.1)根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值表示為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值表示為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線； . 2.2)根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用。
3.根據權利要求2所述的CPU和GPU共享片上高速緩存的方法，其特徵在於，所述步驟.2.2)的詳細步驟如下: . 2.2.1)判斷當前的優先級狀態值，如果當前的優先級狀態值為CPU優先則跳轉執行步驟2.2.2)，否則跳轉執行步驟2.2.3);. 2.2.2)檢查緩存的GPU訪存請求以及當前的GPU使用帶寬，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢； .2.2.3)檢查緩存的CPU內核訪存請求以及當前的GPU使用帶寬，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；如果緩存的CPU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢。
4.根據權利要求1或2或3所述的CPU和GPU共享片上高速緩存的方法，其特徵在於，所述步驟3)的詳細步驟如下: . 3.1)檢查進入流水線的訪存請求的請求類型，當請求類型為CPU時，如果訪存請求的操作類型為讀操作則跳轉執行步驟3.2)，否則跳轉執行步驟3.3);當請求類型為GPU時，如果訪存請求的請求類型為讀操作則跳轉執行步驟3.4)，否則跳轉執行步驟3.5)； . 3.2)判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給發出訪存請求的CPU內核；否則如果失效，則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據緩存到高速緩存中並返回給發出訪存請求的CPU內核；訪存請求執行完畢； . 3.3)判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，並向CPU內核發出作廢或者更新私有數據備份的命令；否則如果失效，則採用按寫分配原則，將數據寫入高速緩存中新分配的緩存塊地址；訪存請求執行完畢； .3.4)判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給訪存請求的GPU;否則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據直接返回給訪存請求的GPU但不寫入高速緩存中；訪存請求執行完畢； . 3.5)判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，然後向CPU內核發出作廢或者更新私有數據備份的命令；否則採用不按寫分配原則，只將寫操作的寫數據寫入外部的存儲器但不寫入高速緩存中；訪存請求執行完畢。
5.一種CPU和GPU共享片上高速緩存的裝置，其特徵在於包括: CPU請求隊列(I)和GPU請求隊列(2)，用於分類緩存來自CPU的訪存請求及來自GPU的訪存請求； 仲裁器(3)，用於針對緩存的不同類型的訪存請求進行仲裁，仲裁獲勝的訪存請求進入流水線； 高速緩存流水執行單元(4)，用於檢查進入流水線的訪存請求的請求類型，如果訪存請求為來自CPU的訪存請求，則在執行CPU的訪存請求時將訪存請求的讀寫數據經過高速緩存；如果訪存請求為來自GPU的訪存請求，則在執行GPU的訪存請求時將訪存請求的讀取或者寫入外部存儲器的讀寫數據繞過高速緩存，直接對外部存儲器進行操作，僅當寫命中高速緩存時才通知CPU內核進行作廢或者更新私有數據備份。
6.根據權利要求5所述的CPU和GPU共享片上高速緩存的裝置，其特徵在於，所述仲裁器(3)包括: 動態優先級仲裁模塊(31)，用於根據預先設置的用於表示不同緩存分類的優先級別的優先級狀態值對緩存的不同類型的訪存請求進行仲裁，如果所述優先級狀態值表示為CPU優先，則從緩存的來自CPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線；否則如果所述優先級狀態值表示為GPU優先，則從緩存的來自GPU的訪存請求中取出一個訪存請求作為仲裁獲勝的訪存請求進入流水線； 優先級狀態值更新模塊(32)，用於根據預先設置的優先級狀態值更新策略更新優先級狀態值以供下一次仲裁使用。
7.根據權利要求6所述的CPU和GPU共享片上高速緩存的裝置，其特徵在於，所述優先級狀態值更新模塊(32)包括: 優先級狀態值判斷子模塊(321)，用於判斷當前的優先級狀態值，如果當前的優先級狀態值為CPU優先則調用CPU內核優先狀態控制子模塊(322)，否則調用GPU優先狀態控制子模塊(323)； CPU內核優先狀態控制子模塊(322)，用於檢查緩存的GPU訪存請求以及當前的GPU使用帶寬，如果緩存的GPU訪存請求為空或者當前的GPU使用帶寬滿足要求，則保持當前的優先級狀態值表示為CPU優先以供下一次仲裁使用，更新完畢；如果緩存的GPU訪存請求非空且當前的GPU使用帶寬不能滿足要求，則設置當前的優先級狀態值表示為GPU優先以供下一次仲裁使用； GPU優先狀態控制子模塊(323)，用於檢查緩存的CPU內核訪存請求以及當前的GPU使用帶寬，如果緩存的CPU內核訪存請求為空或當前的GPU使用帶寬不符合要求，則保持當前的優先級狀態值表示為GPU優先以供下一次仲裁使用，更新完畢；如果緩存的CPU內核訪存請求非空且當前的GPU使用帶寬符合要求，則設置當前的優先級狀態值表示為CPU優先以供下一次仲裁使用。
8.根據權利要求5或6或7所述的CPU和GPU共享片上高速緩存的裝置，其特徵在於，所述高速緩存流水執行單元(4)包括: 訪存請求檢查模塊(41)，用於檢查進入流水線的訪存請求的請求類型，當請求類型為CPU時，如果訪存請求的操作類型為讀操作則調用CPU讀操作執行模塊(42)，否則調用CPU寫操作執行模塊(43);當請求類型為GPU時，如果訪存請求的請求類型為讀操作則調用GPU讀操作執行模塊(44)，否則調用GPU寫操作執行模塊(45)； CPU讀操作執行模塊(42)，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給發出訪存請求的CPU內核；否則如果失效，則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據緩存到高速緩存中並返回給發出訪存請求的CPU內核；CPU寫操作執行模塊(43)，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，並向CPU內核發出作廢或者更新私有數據備份的命令；否則如果失效，則採用按寫分配原則，將數據寫入高速緩存中新分配的緩存塊地址；GPU讀操作執行模塊(44)，用於判斷訪存請求是否在高速緩存中命中，如果命中，則將命中數據直接返回給訪存請求的GPU;否則訪問外部存儲器取回訪存請求的讀數據，將取回的讀數據直接返回給訪存請求的GPU但不寫入高速緩存中； GTO寫操作執行模塊(45)，判斷訪存請求是否在高速緩存中命中，如果命中，則將寫數據寫入高速緩存中替換命中的數據，然後向CPU內核發出作廢或者更新私有數據備份的命令；否則採用不按寫分 配原則，只將寫操作的寫數據寫入外部的存儲器但不寫入高速緩存中。
【文檔編號】G06F12/08GK103927277SQ201410147375
【公開日】2014年7月16日 申請日期:2014年4月14日 優先權日:2014年4月14日
【發明者】石偉, 鄧宇, 郭御風, 龔銳, 任巨, 張明, 馬愛永, 高正坤, 竇強, 童元滿 申請人:中國人民解放軍國防科學技術大學