為dma控制器提供高速緩存管理命令的系統和方法
2023-05-01 09:27:41
專利名稱：為dma控制器提供高速緩存管理命令的系統和方法
技術領域：
本發明一般地涉及存儲管理，尤其涉及通過使用直接存儲器存取(DMA)機制的高速緩存的軟體程序管理。
背景技術：
在多處理器設計中，DMA機制例如DMA引擎或DMA控制器用來將信息從一種類型的存儲器移至不包括第一存儲器類型(例如高速緩存)的另一種存儲器類型，或者從一個存儲器位置移至另一個。特別地，DMA機制將信息從系統存儲器移至處理器的局部存儲器。當DMA控制器試圖將信息從系統存儲器移至處理器的局部存儲器時，從存儲器中取回和裝入信息到處理器局部存儲器中可能存在延遲。移動信息可能消耗多個處理器周期。延遲是許多因素的累積，包括存儲器等待時間和多處理器系統中的一致性動作。即使在單處理器系統中，存儲器存取可能消耗許多周期。在具有多種類型的存儲器以及一些存儲器與處理器之間相對大的距離的多處理器系統中，處理器或DMA控制器等待存儲器存取的問題更加嚴重。
處理器可以提供有高速緩存，以幫助減小處理器訪問存儲器的延遲，從而提高運行在處理器上的軟體的性能。處理器可以提供管理高速緩存的指令以進一步提高性能。
因此，在多處理器系統中存在通過使用直接存儲器存取(DMA)機制的高速緩存軟體程序管理的需要，以減小DMA傳輸時存儲器存取的等待時間。
發明內容
本發明提供一種在支持DMA機制和高速緩存的系統中提供高速緩存管理命令的方法和系統。DMA機制由處理器建立。運行在處理器上的軟體產生高速緩存管理命令。DMA機制執行命令，從而啟動高速緩存的軟體程序管理。
為了更完整地理解本發明及其優點，現在參考結合附隨附圖進行的下面的描述，其中圖1顯示說明具有可高速緩存的DMA機制和DMA高速緩存的非對稱異構多處理器計算機系統的框圖；圖2顯示說明配置以執行高速緩存管理的DMA命令的DMA控制器的擴展視圖的框圖；圖3顯示適用於圖1和圖2中所示DMA機制的高速緩存機制的操作的流程圖；以及圖4顯示說明DMA高速緩存管理的命令的展開的流程圖。
具體實施例方式
在下面的討論中，許多具體細節被陳述以提供本發明的徹底理解。但是，對本領域技術人員將是顯然的，本發明可能不以這種具體細節的形式實踐。在其他實例中，眾所周知的要素已經以示意圖或框圖的形式說明，以便不將本發明遮蓋在不必要的細節中。
還應當注意，除非另外指示，在這裡描述的所有功能可能以硬體或軟體，或者其某種組合來執行。但是，在優選實施方案中，功能由處理器例如計算機或電子數據處理器，根據編碼以執行這種功能的代碼例如電腦程式代碼，軟體，和/或集成電路來執行，除非另外指示。
圖1顯示說明具有可高速緩存DMA機制和DMA高速緩存的非對稱異構多處理器計算機系統的框圖。具有高速緩存的DMA機制將是所謂可高速緩存的DMA機制，以及它的高速緩存，DMA高速緩存。
非對稱異構多處理器計算機系統100包括傳統多處理器方案中的一個或多個控制處理器106(PU)，其中公共共享存儲器或系統存儲器104通過可高速緩存的DMA機制緊密耦合到一個或多個相關非對稱處理器108(APU)，每個包括處理器110和局部存儲器112。
APU 108通過到和從它們的局部存儲器112的DMA操作間接地訪問公共共享存儲器或系統存儲器104。DMA操作由DMA控制器150執行。DMA控制器150由連接114連接到DMA高速緩存102，並且DMA高速緩存102由連接116連接到系統存儲器104。DMA控制器150也由連接124直接連接到系統存儲器104。
APU 108的處理器110和APU 108的局部存儲器112每個分別由連接120和122連接到DMA控制器150。
在備選實施方案中，DMA控制器150進一步直接連接到PU 106。該連接用來使得PU 106能夠發出DMA命令和DMA高速緩存管理命令。該連接為軟體提供更多的靈活性。在具有DMA控制器150和PU106之間的該直接連接的備選實施方案中，也存在增加到DMA控制器150中、用於由PU 106發出的命令的相關DMA命令隊列。參看圖2的討論，下面，關於DMA命令隊列的更多信息。兩個隊列之間的選擇復用器，沒有顯示，(APU隊列和PU隊列)以確定兩個隊列中命令的執行順序，也被增加。任何選擇方法可以使用，例如循環法。
在備選實施方案中，一個或多個另外的高速緩存可以用來與所有PU 106接口。該一個或多個高速緩存將連接到PU 106和系統存儲器。在備選實施方案中，不存在DMA高速緩存，而是存在連接到PU 106和系統存儲器104的一個或多個高速緩存。在DMA控制器150上執行的命令影響連接到PU 106和系統存儲器104的一個或多個高速緩存的操作。
數據取回到DMA高速緩存102。當DMA控制器150請求存儲在DMA高速緩存102中的數據時，DMA控制器150不需要特地返回到系統存儲器104以取回數據。代替地，DMA控制器150訪問DMA高速緩存102以取回數據並將數據傳送到局部存儲器112。在DMA高速緩存102和局部存儲器112之間傳送數據比在系統存儲器104和局部存儲器112之間傳送數據快許多倍。結果，運行在處理器110上的程序可以操作得更快。
圖2是說明配置以執行由運行在APU 108或PU 106上的軟體產生的高速緩存管理命令的DMA控制器200擴展視圖的框圖。運行在APU108或PU 106上的軟體產生用於控制DMA高速緩存210的操作的命令。命令從APU 108或PU 106發送到DMA控制器200，然後執行。結果，運行在APU 108或PU 106上的軟體程序控制DMA高速緩存210的管理。
DMA控制器200經由連接214從APU 108接收命令。命令可以放置在DMA命令隊列202中。與命令相關聯的參數提供信息，例如傳輸大小，標誌，和尋址信息。DMA控制器展開和翻譯邏輯組件204將由DMA命令及其參數描述的DMA操作展開並翻譯成一個或多個較小的總線請求218，直到全部傳輸長度被滿足。展開和總線請求的發出可以並行地執行。總線請求沿著多處理器一致性總線(MP一致性總線)232傳遞，該總線連接到DMA數據高速緩存210，以及其他存儲器，例如局部存儲器112和系統存儲器104。數據通過連接224，226，228和230經由入站數據緩衝器208和出站數據緩衝器206在DMA數據高速緩存210和局部存儲器112之間來回傳遞。MP一致性總線請求，數據傳輸，以及下一個總線請求的發出都可以並行地執行。
高速緩存管理的命令包括在高速緩存中存儲數據，從高速緩存寫入數據，清零高速緩存中的數據，以及將高速緩存中的數據標記為不再需要的命令。命令的參數指定待存儲或寫入數據的位置以及其他信息。當DMA高速緩存210實現時，命令由DMA控制器200的執行將管理DMA高速緩存210的操作。這些命令可以使用，即使DMA高速緩存沒有實現。在這種實施方案中，命令由DMA控制器200的執行將影響保存DMA控制器正在傳輸的數據的其他高速緩存。
在本發明的一種實施方案中，參數包括類線(CL)，標誌(TG)，傳輸大小(TS)，有效地址高(EAH)，和有效地址低(EAL)。TS表示命令操作於其上的數據的字節數。高速緩存管理控制命令都具有暗指的特定標誌屏蔽。暗指的特定標誌屏蔽防止具有相同標誌ID的高速緩存管理控制命令和所有隨後發出的命令執行，直到具有相同標誌ID的所有先前發出的命令已經完成。EAH和EAL被組合或連接以產生有效地址。在一種實現中，EAH是地址的高32位而EAL是低32位。連接它們產生64位地址。具體命令包括1.數據高速緩存範圍接觸(Data_cache_range_touch)該命令包括對DMA控制器200的指示，即獲取(也就是裝入)命令將可能對由該命令指定的地址範圍而發出。DMA控制器200試圖將由有效地址和傳輸大小識別的數據範圍帶入相關DMA高速緩存中。該命令可以在不具有DMA高速緩存的實施方案中使用，以使得其他系統高速緩存將修改的數據存儲到系統存儲器中，對於要求存儲器一致性的存儲。將修改的數據存儲到系統存儲器中可以減小未來DMA傳輸的等待時間。該存儲不一定使其他高速緩存中的線無效。該命令也可以用於軟體維護的一致性。
2.用於存儲的數據高速緩存範圍接觸(data_cache_range_touch_for_store)該命令包括對DMA控制器200的指示，即放置(也就是存儲)命令將可能對由該命令指定的地址範圍而發出。DMA控制器200試圖將由有效地址和傳輸大小識別的數據範圍帶入相關DMA高速緩存中。與命令1對比，該命令通知DMA控制器200，存在修改數據的意向。多處理器系統可以使用該知識來將其他系統高速緩存中數據的拷貝標記無效(使無效)，使得當前高速緩存是數據的唯一所有者。數據的唯一所有者可以修改數據而不需要執行任何一致性動作。該命令可以在沒有DMA高速緩存的實施方案中使用，以使得其他系統高速緩存將修改的數據刷新到系統存儲器中，對於要求存儲器一致性的存儲。將修改的數據刷新到系統存儲器中可以減小未來DMA傳輸的等待時間。刷新使其他高速緩存中的行無效。該命令也可以用於軟體維護的一致性。
3.數據高速緩存範圍設置為零(data_cache_range_set_to_zero)該命令將由有效地址和傳輸大小指定的存儲範圍設置為零。在具有DMA高速緩存的實施方案中，該命令使得DMA控制器200獲得與系統存儲器區域相關聯的高速緩存線的所有權，並且將DMA高速緩存中的數據置零。系統存儲器的區域有效地置零。該命令可以在沒有DMA高速緩存的實施方案中使用以將系統存儲器的區域置零。在沒有DMA高速緩存的實施方案中，系統存儲器的區域用零寫入。
4.數據高速緩存範圍存儲(data_cache_range_store)如果由有效地址和傳輸大小指定的數據塊被認為已修改，它寫入到主存儲器。如果它在相關存儲器的DMA高速緩存中修改，或者如果存儲是要求存儲器一致性的並且它在系統中任何高速緩存中被修改，它被修改。數據塊可能保留在高速緩存中，但是不再被認為已修改。該命令可以在沒有DMA高速緩存的實施方案中使用，以使得其他系統高速緩存將修改的數據存儲到系統存儲器，對於要求存儲器一致性的存儲。將修改的數據存儲到系統存儲器可以減小未來DMA傳輸的等待時間。該存儲不一定使其他高速緩存中的線無效。該命令也可以用於軟體維護的一致性。
5.數據高速緩存範圍刷新(data_cache_range_flush)如果存儲是要求存儲器一致性的，並且由有效地址和傳輸大小指定的數據塊在系統中任何一個高速緩存中被修改，數據塊寫到主存儲器中並且在所有處理器的高速緩存中被使得無效。如果存儲是要求存儲器一致性的，並且由有效地址和傳輸大小指定的數據塊在任何高速緩存中有效，相關高速緩存塊被使得無效。
如果存儲不是要求存儲器一致性的，並且數據塊在發出APU的DMA高速緩存中被修改，修改的塊寫到主存儲器中並且在發出APU的DMA高速緩存中被使得無效。如果存儲不是要求存儲器一致性的，並且數據塊在發出APU的DMA高速緩存中有效，線在與DMA控制器相關聯的DMA高速緩存中被使得無效。
該命令可以在沒有DMA高速緩存的實施方案中使用，以使得其他系統高速緩存將修改的數據刷新到系統存儲器。將修改的數據刷新到系統存儲器可以減小未來DMA傳輸的等待時間。刷新使得其他高速緩存中的線無效。該命令也可以用於軟體維護的一致性。
許多備選或另外的命令以及命令形式可以使用。本領域技術人員可以容易地定義另外的DMA命令。這些包括，但並不局限於，數據高速緩存範圍無效(data_cache_range_invalidate)和跨度命令形式。跨度接觸例如訪問非連續的數據塊；例如，訪問8塊，跳躍64塊，訪問8塊，跳躍64塊。跨度接觸可以在圖形和矩陣操作中有用。另外，刷新或存儲的不同形式可以使用。一般地說，DMA命令集可以被擴展以執行今天在處理器中發現的高速緩存管理的相同功能。
其他參數可以用於相同或其他DMA控制器體系結構。例如，命令可以引用實際地址而不是有效地址，或者不包括標誌。命令可以引用待傳輸數據的起始和結束地址，而不是起始地址和傳輸大小。更簡單地，命令可以每次在固定塊大小的數據上操作。在那種情況下，沒有傳輸大小參數或等價物將是必需的。
可能存在用於控制DMA高速緩存的DMA命令的許多不同形式，以及執行命令的許多不同方法。參數可能包括其他信息，或者可能包含僅尋址信息。如果命令在單個塊數據上操作，那麼不需要將命令展開成一個或多個更小的總線請求。每個命令將產生一個總線請求。
現在參考圖3，顯示說明適用於如圖1中所示可高速緩存DMA機制的DMA裝入的高速緩存機制的操作的流程圖。圖3包括使用高速緩存管理命令預取數據到DMA高速緩存中的步驟。
在步驟302中，DMA高速緩存管理命令被發出以預取數據到DMA高速緩存102中。在步驟304中，DMA機制開始執行從系統存儲器到DMA高速緩存102的數據傳輸。例如，轉向圖1，DMA控制器150執行從系統存儲器104到DMA高速緩存102的數據傳輸。返回到圖3，在步驟306中，DMA裝入請求被發出以從系統存儲器中請求數據。在步驟308中，確定請求的數據是否在DMA高速緩存102中找到。如果在步驟308中請求的數據在DMA高速緩存102中找到(高速緩存命中)，處理繼續到步驟310，在那裡請求的數據從DMA高速緩存102直接裝入到局部存儲器112。如果在步驟308中請求的數據沒有在DMA高速緩存102中找到(高速緩存錯過)，處理繼續到步驟312，在那裡請求的數據從系統存儲器104裝入到局部存儲器112。
作為在步驟302中發出的DMA高速緩存管理命令和在步驟304中執行的傳輸的結果，步驟308中高速緩存命中的可能性比如果步驟302和304不執行高得多。因此，高速緩存管理命令的提供，以及高速緩存管理命令由在APU 108上執行的軟體程序的產生，使得DMA高速緩存102更有效的使用。程序可以提前知道系統存儲器104中哪個數據將被需要，並且發出高速緩存管理命令到DMA控制器150以預先裝入該數據到DMA高速緩存102中，其中軟體程序將具有到它的快速訪問。結果，等待數據取回的等待時間的大部分被消除。沒有這些高速緩存管理命令的提供，由APU 108請求的數據可能很少在DMA高速緩存102中找到。
雖然圖3僅說明高速緩存管理命令的一個使用(DMA裝入的預取)，本領域技術人員可以為其他DMA操作(例如DMA存儲)的高速緩存管理開發類似的流程。另外，高速緩存管理命令也可以用於其他系統操作(例如軟體管理的高速緩存一致性和I/O傳輸)。
可能存在將數據寫到局部存儲器112和寫回系統存儲器104的不同方法，而不背離本發明的真正本質。例如，數據可以經由DMA高速緩存102寫回到系統存儲器104。作為選擇，數據可能直接寫回到系統存儲器104而不經過DMA高速緩存102。在後者情況下，寫回到系統存儲器的數據116的高速緩存條目可能被使得無效。類似地，當從系統存儲器請求的數據116沒有在DMA高速緩存102中找到時，它可能寫到DMA高速緩存102和局部存儲器112中，或者僅寫到局部存儲器112，或者僅寫到DMA高速緩存102。在後者情況下，需要兩個步驟，代替步驟312，以將數據裝入到局部存儲器112中。在第一步驟中，數據帶入到DMA高速緩存102中。第二步驟與步驟310相同。在該步驟中，請求的數據從DMA高速緩存102裝入到局部存儲器112中。關於寫數據到局部存儲器112和寫回到系統存儲器104的過程的這些和其他細節不進一步在這裡公開。
圖4是說明本發明一種實施方案中DMA命令的展開的流程圖。在步驟402中，命令由連接到DMA控制器150的APU 108或其他處理器發出並存儲在DMA命令隊列202中。例如，在圖1中，APU 108發出命令到DMA控制器150。返回到圖4，在步驟404中，命令(基於標誌和其他限定符)從DMA命令隊列202中調度。在DMA控制器150也直接連接到控制處理器106，並且存在兩個處理器DMA隊列的備選實施方案中，命令和標誌僅為相關隊列而考慮。另一個步驟也是必需的，以在從每個隊列中調度的命令之間選擇。在其他實施方案中，DMA控制器每次處理一個命令，並且命令參數可以引用存儲和取回的數據的其他參數。
在步驟406中，命令使用展開和翻譯邏輯204展開成高速緩存塊大小子命令。步驟408～414呈現步驟406的子步驟。在步驟408中，每個塊的有效地址(EA)被翻譯成適當大小命令的實際地址。在步驟410中，總線請求為數據塊而發出。在步驟412中，EA被更新(增加高速緩存塊大小或跨度值)。EA的更新和下一個總線請求的發出可以並行地執行。在步驟414中，總線請求的MP一致性總線結果獲得。在步驟416中，數據為總線請求而傳輸。MP一致性總線結果，數據傳輸，和下一個總線請求的發出都可以並行地執行。在步驟418中，步驟406～416重複，直到命令的全部傳輸大小已經滿足。
在其他實施方案中，命令可以引用單個數據塊，對於其展開將不需要。在其他實施方案中，命令可能使用實際地址而不是有效地址作為參數，或者指向受影響數據的地址的任何其他參數。在其他實施方案中，總線將不是MP一致性總線，而是根據請求在各種系統存儲設備之間傳輸數據的任何適當的一個或多個總線。
應當理解，本發明可以採取許多形式和實施方案。因此，一些變化可以在前述中進行而不背離本發明的本質或範圍。在這裡簡述的能力允許多種編程模型的可能性。該公開內容不應當被讀作推薦任何特定編程模型，而是代替地指向這些編程模型可以構建於其上的潛在機制。
已經通過參考某些其優選實施方案來如此描述本發明，應當注意，公開的實施方案是說明性的而不是實際上限制性的，並且大範圍的變化，修改，改變，和代替可以在前述公開內容中考慮，並且在一些實例中，本發明的一些特徵可以被使用，而不相應使用其他特徵。許多這種變化和修改基於優選實施方案前述描述的回顧，可以由本領域技術人員認為是期望的。因此，附加權利要求廣泛地並且以與本發明範圍一致的方式構造是適當的。
權利要求
1.一種提供高速緩存管理的軟體程序控制的系統，包括處理器，其配置以在軟體程序在處理器上執行時產生高速緩存管理的DMA命令；以及連接到處理器的DMA控制器，其配置以執行高速緩存管理的DMA命令。
2.根據權利要求1的系統，還包括連接到DMA控制器的高速緩存，該系統被配置用於高速緩存管理DMA命令在DMA控制器上的執行，以管理連接到DMA控制器的高速緩存的操作。
3.根據權利要求1的系統，其中DMA命令中至少一個是獲取命令並且DMA命令中至少一個是放置命令。
4.根據權利要求1的系統，其中DMA命令中至少一個是刷新命令。
5.根據權利要求1的系統，其中DMA命令中至少一個是清零命令。
6.根據權利要求1的系統，其中DMA命令的參數包括類線，標誌，傳輸大小，和有效地址低。
7.根據權利要求1的系統，其中高速緩存是緊密耦合到DMA控制器的DMA高速緩存。
8.根據權利要求1的系統，其中高速緩存是系統存儲器的高速緩存。
9.一種在包括DMA控制器和處理器的系統中高速緩存管理的方法，該方法包括步驟在處理器上運行軟體以產生高速緩存管理的DMA命令；發出DMA命令到DMA控制器；以及執行DMA命令。
10.根據權利要求9的方法，其中高速緩存連接到DMA控制器，並且在DMA控制器上執行DMA命令管理高速緩存的操作。
11.根據權利要求9的方法，其中DMA命令中至少一個是放置命令並且其中DMA命令中至少一個是獲取命令。
12.根據權利要求9的方法，其中DMA命令中至少一個是刷新命令。
13.根據權利要求9的方法，其中高速緩存是緊密耦合到DMA控制器的DMA高速緩存。
14.根據權利要求9的方法，其中高速緩存是系統存儲器的高速緩存。
15.一種在包括DMA控制器和處理器的系統中高速緩存管理的電腦程式產品，該電腦程式產品具有電腦程式在其上實施的介質，該電腦程式包括用於在處理器上運行軟體以產生高速緩存管理的DMA命令的計算機代碼；用於發出DMA命令到DMA控制器的計算機代碼；以及用於執行DMA命令的計算機代碼。
16.根據權利要求15的電腦程式產品，其中DMA命令中至少一個是獲取命令。
17.根據權利要求15的電腦程式產品，其中DMA命令中至少一個是放置命令。
18.根據權利要求15的電腦程式產品，其中DMA命令中至少一個是刷新命令。
19.根據權利要求15的電腦程式產品，其中DMA命令中至少一個是清零命令。
20.根據權利要求15的電腦程式產品，其中高速緩存是緊密耦合到DMA控制器的DMA高速緩存。
21.根據權利要求15的電腦程式產品，其中高速緩存是系統存儲器的高速緩存。
全文摘要
本發明提供一種用於在支持DMA機制和高速緩存的系統中提供高速緩存管理命令的方法和系統。DMA機制由處理器建立。運行在處理器上的軟體產生高速緩存管理命令。DMA機制執行命令，從而啟動高速緩存的軟體程序管理。命令包括將數據寫到高速緩存，從高速緩存中裝入數據，以及將高速緩存中的數據標記為不再需要的命令。高速緩存可以是系統高速緩存或DMA高速緩存。
文檔編號G06F13/28GK1673980SQ200510054109
公開日2005年9月28日 申請日期2005年3月4日 優先權日2004年3月25日
發明者查爾斯·雷伊·約翰斯, 詹姆斯·艾倫·卡勒, 劉培軍, 張光賞 申請人:國際商業機器公司