與標準存儲器模塊管腳兼容的存儲器模塊中的獨立可控制和可重新配置的虛擬存儲器設備的製作方法

2023-05-31 10:52:01 2

專利名稱：與標準存儲器模塊管腳兼容的存儲器模塊中的獨立可控制和可重新配置的虛擬存儲器設備的製作方法
技術領域：
本發明實施例涉及存儲器模塊，並且具體地，涉及被配置為允許包括一個或多個存儲器晶片的單獨虛擬存儲器設備的獨立控制的存儲器模塊。
背景技術：
在現代計算機系統中，對於存儲器容量和帶寬的需求保持增長。微處理器的近來的性能擴展取決於增加每晶片內核的數量，並且多核和很多內核的單晶片多處理器 (「CMP」)通過每處理器多個存儲器控制器而要求甚至更高的存儲器帶寬和容量。主存儲器模塊的功率預算與當前計算機系統中的處理器的功率預算相似，或者甚至高於當前計算機系統中的處理器的功率預算。然而，典型的存儲器模塊是能量低效的。例如，每存儲器訪問激活太多比特，並且被訪問的多數比特在未使用的情況下被存儲回去，浪費了動態功率。通過利用訪問模式的局部性，可以通過編譯器或存儲器控制器組合多個時間上鄰近的存儲器訪問，以便每存儲器激活使用更多的比特。但這些努力在具有不規則訪問模式的應用中獲得有限的成功。由於來自多個線程的獨立存儲器訪問請求是交錯的，因此這種方法的效率受到一般應用中的存儲器訪問的隨機性質的限制並且在CMP存儲器系統中甚至惡化。期望的是在不明顯地犧牲系統性能的情況下節省能量的使得能夠對信息進行訪問的存儲器系統。

發明內容
本發明各個實施例涉及多核存儲器模塊。在一個實施例中，存儲器模塊包括存儲器晶片；以及多路分配器(demultiplexer)寄存器，其電子地連接到每一個所述存儲器晶片和存儲器控制器。所述存儲器控制器根據變化的性能和/或能量效率需求將所述存儲器晶片中的一個或多個分組為至少一個虛擬存儲器設備。所述多路分配器寄存器被配置為 接收標識所述虛擬存儲器設備中的一個的命令，並且將所述命令發送到標識的虛擬存儲器設備的存儲器晶片。在特定實施例中，所述存儲器晶片可以是動態隨機存取存儲器晶片。


圖IA示出具有八個存儲器晶片的存儲器模塊的等距視圖。圖IB示出電路板上安裝的存儲器模塊和存儲器控制器的等距視圖。圖2示出構成存儲器晶片的八個存儲體(bank)的示意性表示。圖3A示出傳統存儲器模塊的示意性表示。圖;3B示出將命令廣播到傳統存儲器模塊的所有存儲器晶片的示例。圖4A示出根據本發明實施例配置的單個多核存儲器模塊的等距視圖。圖4B示出根據本發明實施例的電路板上安裝的多核存儲器模塊和存儲器控制器的等距視圖。圖5A-圖5E示出根據本發明實施例配置的多核雙列直插(dual in-line)存儲器模塊和關聯的多路分配器寄存器的一般示意性表示。圖6A-圖6C示出根據本發明實施例配置的具有存儲器模塊的第一配置的示例性多核雙列直插存儲器模塊和關聯的多路分配器寄存器的示意性表示。圖7A-圖7B示出根據本發明實施例的圖6所示的多核雙列直插存儲器模塊的兩個不同VMD配置的示意性表示。圖8示出根據本發明實施例的包括16個存儲器晶片的多核雙列直插存儲器模塊的示意性表示。圖9示出根據本發明實施例的用於控制存儲器模塊並且配置虛擬存儲器設備的方法的控制流程圖。圖10示出以根據本發明實施例的圖4所示的多核雙列直插存儲器模塊替換圖1 所示的標準雙列直插存儲器模塊。
具體實施例方式本發明各個實施例涉及存儲器模塊，所述存儲器模塊可以被重新配置為改進存儲器系統的能量效率而對計算機系統性能有小的影響。術語「性能」指的是計算機系統完成的有用功的量對比用於完成該功的資源的數量和時間量。性能度量包括帶寬和延時。例如，具有高帶寬和低延時的計算機系統比具有較低帶寬和較高延時的系統具有相對更高的性能。存儲器模塊包括可以劃分為一個或多個存儲器晶片的組的存儲器晶片。所述組被稱為「虛擬存儲器設備」(「VMD」)。每一 VMD具有其自身的數據路徑，並且可以以時分復用方式通過共享的命令路徑接收分離的存儲器請求。VMD的數量和構成每一 VMD的存儲器晶片的數量可以在引導時間期間選擇，在應用的運行時間期間動態地變化，或者由計算機系統操作者確定。換句話說，可以改變和選擇每存儲器訪問的存儲器晶片的數量，以平衡性能與能量效率需求。存儲器模塊也可以被配置為與許多存儲器模塊標準管腳兼容。換句話說，用於支持傳統存儲器模塊的相同存儲器插槽也可以用於支持本發明的存儲器模塊。如下組織詳細描述。在第一子部分描述傳統存儲器模塊和關聯的能量低效的一般描述。在第二子部分提供存儲器模塊實施例的描述。存儲器模塊和訪問存儲器中的能量低效
存儲器模塊典型地包括形成被稱為「雙列直插存儲器模塊」(「DIMM」)的存儲單元的印製電路板上安裝的若干DRAM晶片。圖IA示出包括八個DRAM晶片的單個DIMM的等距視圖。 然後在電路板上安裝一個或多個DIMM，並且由存儲器控制器控制該一個或多個DIMM。圖IB 示出電路板106上安裝的存儲器102和存儲器控制器104的等距視圖。存儲器102由插入四個DIMM插槽112-115的四個DIMM 108-111組成。存儲器控制器104可以是計算機晶片或多核微處理器晶片的部分，其管理髮送到DIMM 108-111以及從DIMM 108-111發送的命令和數據流，並且將存儲器102與計算機系統的其他主要組件(例如中央處理單元)對接。 每一 DIMM經由接口 118與存儲器控制器104進行電通信。接口 118是載送從存儲器控制器104到存儲器102的時鐘信號和命令以及DMM 108-111與存儲器控制器104之間的數據信號的總線。數據信號在DIMM 108-111中的DRAM晶片與存儲器控制器104之間。接口 118可以支持單數據率(「SDR」)、雙數據率(「DDR」)以及更高的數據率傳送。SDR指的是每時鐘周期發送數據一次，以及DDR指的是在計算機系統時鐘信號的上升沿和下降沿都發送數據。存儲器控制器104和DMM 108-111可以被配置為根據SDR和DDR發送並且接收數據。在DDR中通過使用時鐘的兩個沿，數據信號在相同的極限頻率操作，相比單數據率傳輸使得數據傳輸率加倍。DRAM晶片將比特存儲在由電晶體和電容器組成的被稱為DRAM存儲器單元的結構中。單個DRAM晶片中存在數十億個單元，以及可以以被稱為「存儲體」的許多二維陣列的二維布置組織這些單元。圖2示出構成DRAM晶片200的標為0_7的八個存儲體的示意性表示。如圖2的示例中所示，每一存儲體經由交叉信號線連接到行解碼器、感測放大器以及列解碼器。例如，存儲體0經由與χ軸平行走線的信號線(例如信號線204)連接到行解碼器202。存儲體0還經由與y軸平行走線的信號線(例如信號線210)連接到感測放大器 206和列解碼器208。存儲器單元位於信號線交點處。例如，存儲器單元212位於信號204 和210交叉的點處。從存儲器控制器104發送到存儲器102的命令包括READ(讀)、WRITE(寫)、ACTIVATE (激活)、REFRESH (刷新)和PRECHARGE (預充電)。命令由控制信號和地址信號組成。控制信號表示命令執行的操作，以及地址信號標識在其執行命令的DRAM晶片中的存儲體地址和行地址或列地址。例如，ACTIVATE命令由激活控制信號和標識在DRAM晶片內的哪個存儲體和行執行ACTIVATE命令的存儲體地址和行地址組成。READ和WRITE命令由讀取和寫入控制信號以及標識在DRAM晶片中的哪個存儲體和列執行READ和WRITE命令的存儲體地址和列地址組成。READ和WRITE命令也稱為「存儲器請求」。在兩個步驟中訪問DRAM晶片200的存儲體中存儲的數據。首先，存儲器控制器 (未示出)發送指定DRAM晶片200的行地址和存儲體地址的ACTIVATE命令。將典型地是存儲體的8K比特或16K比特的行中的所有比特激活到存儲體內的感測放大器中。其次，發送指定存儲體地址和列地址的一個或多個READ/WRITE命令。數據總線的大小和突髮長度確定每READ/WRITE事務傳送的比特的數量。突髮長度是控制在數據塊的單個突發事務或高速傳輸中執行的READ/WRITE操作的數量的常見的存儲器有關的基本輸入/輸出系統設置。 典型地，將突髮長度設置為4或8。當DRAM晶片接收到存儲器請求(例如存儲器READ請求) 時，晶片通過跨接口 118的信號線提供數據來進行響應。突髮長度確定響應於存儲器READ 請求發送的數據塊的大小。具有64比特寬的數據總線(即64個單端信號線或1 個差分信號線)和被配置為支持4的突髮長度的DRAM晶片的存儲器模塊響應於來自存儲器控制器的單個READ請求發送32位元組(4x64比特=32位元組)的數據塊。另一方面，具有64比特寬的數據總線和被配置為支持8的突髮長度的DRAM晶片的存儲器模塊響應於來自存儲器控制器的單個READ請求發送64位元組(8x64比特=64位元組)的數據塊。當在DRAM晶片的同一存儲體中的兩個不同行中讀取數據時，在可以讀取第二行中的數據之前，必須寫回第一行，對位線充電，以及通過PRECHARGE命令以及ACTIVATE命令鎖存第二行。PRECHARGE命令將該行寫回到DRAM存儲體，因為ACTIVATE命令破壞性地讀取，所以這是必須的。在READ命令、WRITE命令、ACTIVATE命令和PRECHARGE命令中，存儲體地址由小數量的比特給出。在同一存儲體中，在第一 ACTIVATE和第二 ACTIVATE命令之間，這些命令操作一般花費大約50ns。因此，除非ACTIVATE命令與PRECHARGE命令之間存在很多READ/WRITE命令，否則命令/地址/數據總線經常保持空閒。然而，如果在不同存儲體中讀取數據，則因為兩個不同存儲體之間的ACTIVATE至ACTIVATE時間短了大約8ns， 所以可以流水線化到不同存儲體的命令。因此，通過交錯不同存儲體中的請求可以實現更高的吞吐量，當ACTIVATE和PRECHARGE命令對之間不存在很多READ/WRITE命令時尤其如此。圖3A示出包括其中每一個具有8比特數據總線的8個DRAM晶片的傳統DMM 300 的示意性表示。方向箭頭302表示從存儲器控制器(未示出)發送到稱為寄存器302的可選設備的命令的分送。寄存器304位於存儲器控制器與DRAM晶片之間的總線上。寄存器 304鎖存來自存儲器控制器的命令信號，然後以更好的信號質量和定時裕度將它們轉發到每一 DRAM晶片，以減少存儲器控制器上的電負載並且保持命令信號的穩定性。寄存器304 也可以緩衝命令，並且將時鐘信號廣播到DRAM晶片，以在每存儲器控制器具有多個DIMM的系統中促進對不同DIMM的交疊訪問。寄存器304通過總線將命令廣播到所有8個DRAM晶片，如通過分支方向箭頭306和308指示的那樣。在其它傳統存儲器模塊中，將命令廣播到 DRAM晶片而不用寄存器304。圖:3B示出傳統DIMM操作的示例。如圖的示例中所示，DIMM 300內的所有DRAM 晶片從存儲器控制器接收相同命令，並且激活陰影區域310表示的每一 DRAM晶片中的相同行。結果，DIMM 300內的所有DRAM晶片充當具有更寬數據路徑和更大行的單個DRAM晶片。如上參照圖2描述的那樣，DRAM晶片行的大小典型地是8 (或16K比特)。為了讀取緩存線或者將緩存線寫入DIMM，將READ/WRITE命令廣播到所有DRAM晶片，並且每一 DRAM晶片激活相同行。換句話說，在由8個DRAM晶片組成的典型DIMM中，每一 DRAM晶片激活包括8K比特的相同行地址。因此，一次激活DI匪的DRAM單元的8x8K比特或64Κ比特，其大於待讀取或寫入的緩存線的大小。典型緩存線在64位元組或512比特的量級。因為典型地使用少於1%的激活的DRAM單元在一個緩存線中讀取和寫入READ和WRITE命令，所以對於單個READ或WRITE事務未使用超過99%的激活的DRAM單元，這是能量的低效使用。本發明實施例
本發明的存儲器模塊實施例包括用於從存儲器控制器接收命令的多路分配器寄存器 (「多路分配器寄存器」)。存儲器晶片與多路分配器寄存器一起安裝在印製電路板上，以形成被稱為「多核雙列直插存儲器模塊」(「MCDIMM」)的單個存儲單元。每一存儲器晶片與多路分配器寄存器進行電通信。在特定實施例中，存儲器晶片可以是DRAM晶片。圖4A示出根據本發明實施例的包括印製電路板412上安裝的八個DRAM晶片401-408和多路分配器寄存器410的單個MCDIMM 400的等距視圖。DRAM晶片401-408中的每一個經由分離的信號線集合(未示出)與多路分配器寄存器410電通信。該信號線的集合構成使得多路分配器寄存器410能夠將命令單獨發送到DRAM晶片401-408中的每一個的命令總線。一個或多個MCDIMM可以安裝在電路板上，並且由存儲器控制器控制。圖4B示出根據本發明實施例的電路板418上安裝的存儲器414和存儲器控制器416的等距視圖。存儲器414包括分別插入DIMM插槽424-427的MCDIMM 420-423。接口似8電子地連接存儲器控制器416與存儲器模塊420-423的多路分配器寄存器。接口 4 包括將命令信號從存儲器控制器416載送到存儲器414的總線以及在存儲器控制器416與存儲器414之間載送數據信號的數據總線。在該架構中，不向存儲器414的DRAM晶片廣播從存儲器控制器416發送的命令。相反，存儲器控制器416將存儲器配置命令(「CONFI⑶RE命令」)發送到MCDI匪 420-423的多路分配器寄存器，所述存儲器配置命令嵌入有指定哪些DRAM晶片構成VMD的指令。換句話說，存儲器控制器416將一個或多個DRAM晶片分組為每一 VMD，以服務存儲器請求。每一 VMD具有其自身的數據總線，用於獨立地將數據傳送到存儲器控制器416並且從存儲器控制器416傳送數據。在已經根據CONFI⑶RE命令配置VMD之後，存儲器控制器 416可以開始將表示存儲器請求的命令發送到MCDI匪420-423的VMD。在其它實施例中， 兩個或更多個CONFI⑶RE命令的序列可以用於改變MCDIMM的配置。隨著每存儲器模塊的VMD的數量的增加，每數據訪問消耗的能量減少。然而，與具有更少VMD相比，增加VMD的數量增加了提取相同量的數據所需的時間量，因為隨著每VMD 的存儲器晶片的數量的減少，數據總線的寬度減小。存在可以確定VMD的配置的多個方式。 在一個實施例中，可以在機器引導時間期間選擇每存儲器模塊的VMD的數量。例如，作業系統可以維持通常在計算機系統上運行的特定應用的存儲器和能量使用的歷史。然後作業系統可以在引導時間調整VMD的數量，以平衡系統性能與能量效率。在另一實施例中，在應用的運行時間期間，VMD的數量可以動態地改變。例如，在應用正運行的同時，應用可以能夠監控計算機系統性能和能量效率並且根據能量效率需求調整VMD的數量以滿足改變的存儲器要求。在另一實施例中，計算機系統操作者可以監控計算機系統的性能和能量效率，並且相應地改變VMD的數量。在所有三種情況下，可以在性能的優先級高於能量效率的優先級的情況下減少VMD的數量，在能量效率的優先級高於性能的優先級的情況下增加VMD的數量，或者可以周期性地調整VMD的數量，以在性能與能量效率之間達到平衡。在特定實施例中，計算機系統中的所有存儲器模塊可以被配置有相同數量的VMD。 在其它實施例中，每一存儲器模塊可以被配置有不同數量的VMD，並且VMD可以具有不同數量的存儲器晶片。圖5A-圖5E提供根據本發明實施例的相同MCDMM的存儲器晶片的兩個不同分組的一般示意性表示。圖5A示出根據本發明實施例的包括多路分配器寄存器502和第一配置的VMD的 MCDIMM 500的一般示意性表示。MCDIMM 500包括η個存儲器晶片，其中，η是整數。在圖5A 中，「MC」表示並且標記η個存儲器晶片中的八個，並且每一個包括表示整數的小寫索弓丨。在特定實施例中，存儲器晶片可以是DRAM晶片。圖5Α還揭示存儲器晶片被分組為N個VMD， 其中，N是整數。VMD中的四個被表示在圖5Α中，並且由VMDk標記，其中，下標K是範圍從0 到N-I的整數。例如，如圖5Α所示，VMD0包括MCtl至MCg，VMDk和VMDK+1分別包括MCh至MCi 以及MCj至MCk，以及VMDim包括MCv至MClri，其中，g、h、i、j、k和m是滿足條件0彡g <h 彡i < j彡k < m彡n-1的整數。每一存儲器晶片經由信號線電子地連接到多路分配器寄存器502。例如，方向箭頭504-511分別表示將多路分配器寄存器502電子地連接到MC。、MCg, MCh, MCi, MCj, MCk, MCn^nMClri的信號線的分離集合。信號線的集合構成命令總線。存儲器控制器(未示出)基於作業系統、應用或計算機系統操作者提供的指令選擇VMD的數量，以及特別地，每VMD的存儲器晶片的數量。存儲器控制器初始地通過被稱為「命令路徑」的信號線512的集合將 CONFI⑶RE命令直接發送到多路分配器寄存器502。CONFI⑶RE命令包括指導多路分配器寄存器502分組存儲器晶片(如圖5A所示)的指令。VMD均具有包括至少個比特的關聯的VMD地址。後續存儲器請求命令包括VMD地址。例如，當存儲器控制器發送表示對 VMD0的存儲器請求的命令時，存儲器控制器在命令內嵌入VMDtl的地址。當多路分配器寄存器502接收到該命令時，多路分配器寄存器502將命令轉發到VMDtl的存儲器晶片。例如， MCtl和MCg是構成VMDtl的存儲器晶片中的兩個，其通過信號線504和505的集合從多路分配器寄存器502接收命令。每一個VMD在圖5A中由DQ以及雙頭箭頭(例如雙頭箭頭514)標識的分離數據總線上與存儲器控制器交換數據。可以若干不同方式配置多路分配器寄存器502。圖5B示出根據本發明實施例配置的多路分配器寄存器516的示意性表示。多路分配器寄存器516包括標為0至n-1的η個命令選擇器(對於圖5Α所示的η個存儲器晶片中的每一個都有一個命令選擇器)以及廣播總線518。命令選擇器經由支路520-528電子地連接到廣播總線518，以及每一命令選擇器經由構成以上參照圖5Α描述的命令總線的信號線504-511的集合連接到一個或多個存儲器晶片。在圖5C中，用圖5Α所示的對應存儲器晶片的索引標記也在圖5Α中示出的信號線 504-511的集合。存儲器控制器在圖5Α所示的命令路徑512上發送時分復用的命令。換句話說，每一命令被編碼在比特流中，並且在固定持續時間時隙中從存儲器控制器發送到多路分配器寄存器516。在圖5Β中，由一系列矩形531-534表示時隙。每一個命令包括圖5Α 中意欲接收命令的VMD的索引。由存儲器控制器確定將命令發送到多路分配器寄存器516 的順序。因此，命令以該順序出現在圖5Β中。命令內嵌入的是標識要執行的特定種類的操作的控制信號、標識存儲體、行或列的地址信號、以及存儲器控制器分配的VMD地址。將發送到多路分配器寄存器516的每一命令廣播到所有η個命令選擇器。每一命令選擇器被配置為提取命令中嵌入的VMD地址，以確定是否要把命令轉發到VMD的對應存儲器晶片，或者該命令是否尋址到不同的VMD，在命令尋址到不同的VMD的情況下，丟棄該命令。因此，對於廣播到所有η個命令選擇器的每一命令，僅由命令選擇器將該命令發送到構成存儲器控制器選擇的VMD的存儲器晶片。例如，多路分配器寄存器516接收命令N-I 531並且將其廣播到所有η個命令選擇器0至n-1。然而，因為命令N-I 531包括VMD1^1的地址，所以命令選擇器m至n-1通過包括信號線510和511的信號線的集合536將命令N-I 531發送到VMDim的對應存儲器晶片。注意，在處理後續命令之前，在特定時間間隔內，多路分配器寄存器516還分離地處理每一命令。圖5C示出根據本發明實施例配置的命令選擇器m的示意性表示。相似地配置其它n-1個命令選擇器。命令選擇器m包括VMD地址控制M0、配置寄存器M2、寄存器/計數器544和隨機存取存儲器(「RAM」)定時控制M6。在支路5 上將命令輸入到命令選擇器m，也如圖5B所示。VMD地址控制540提取每一命令中嵌入的VMD地址。配置寄存器M2 存儲連接到信號線510的VMDim的當前VMD地址，如圖5A所示。配置寄存器542接收時鐘信號，以確定何時將VMDim的VMD地址鎖存到VMD地址控制MO。VMD地址控制MO比較提取的VMD地址與VMDim的VMD地址，並且當提取的VMD地址匹配於VMD1^1的地址時將選擇信號發送到寄存器/計數器M4。寄存器/計數器542是當在每一上升和/或下降時鐘沿從 VMD地址控制540接收到選擇信號時臨時存儲命令並且將命令發送到對應存儲器MCm的緩衝器。寄存器/計數器544包括計數器。當VMD的DRAM晶片不能支持與緩存線的READ 或WRITE事務關聯的長突髮長度時，需要計數器。多路分配器寄存器將緩存線劃分為緩存線片段，並且將命令轉換為多個命令，每一命令與緩存線片段對應。因此，計數器發送的對應命令在發送到VMD的每一緩存線片段之前。例如，當不能將VMD的一個或多個DRAM晶片的突髮長度設置得足夠長以覆蓋緩存線時，計數器將列級別命令(例如READ或WRITE)轉換為用於每一緩存線片段的若干READ/WRITE命令，從而可以分離地從DRAM晶片READ每一緩存線片段或將每一緩存線片段WRITEN到DRAM晶片。每一計數器包括跟蹤為劃分的緩存線生成的命令的數量的計數設備。計數器執行的轉換節省來自存儲器控制器的命令帶寬。RAM 定時控制548控制寄存器/計數器546的計數器部分。通過將第二 CONFI⑶RE命令從存儲器控制器發送到多路分配器寄存器502，可以改變圖5A所示的MCDI匪500的N個VMD的配置。第二 CONFI⑶RE命令嵌入有指導多路分配器寄存器502根據存儲器需求的不同集合分組VMD的指令，所述存儲器需求可以在不同引導時間期間選擇、在應用的運行期間或在應用啟動的稍後時間點選擇、或由計算機系統操作者選擇。圖5D示出根據本發明實施例的具有第二配置的VMD的MCDIMM 500的一般示意性表示。MCDIMM 500包括相同η個存儲器晶片，但如圖5D所示，存儲器控制器已經重新配置 VMD的數量和每VMD存儲器晶片的數量。特別地，改變八個存儲器晶片中的四個的索引，以表示構成VMD的存儲器晶片的不同分組。在圖5D中，存儲器晶片分組為M個VMD，其中，M 是與數N不同的整數。VMD中的四個在5D中被表示，並且由VMD』 L標記，其中，下標L是範圍從0到M-I的整數。將圖5D中的存儲器晶片的分組與圖5A中的存儲器晶片的分組進行比較發現，VMD'。包括MCtl至Mcs，其中，整數s與整數g不同；VMD』 L和VMD』 L+1分別包括存儲器晶片MCt至MCi以及MCj至MCU，其中，t和u與h和k不同；以及VMD，包括MCv至MClri， 其中，整數ν與整數m不同。方向箭頭550-553分別表示將多路分配器寄存器502電子地連接到MCS、MC0MCu和MCv的信號線的分離集合。除了第二 CONFI⑶RE命令重新配置每一命令選擇器的配置寄存器之外，多路分配器寄存器516基本上保持不變，並且以如以上參照圖5B描述的相同方式操作。圖5E示出如以上參照圖5B描述的那樣配置的第二多路分配器寄存器516。如以上參照圖5B描述的那樣，將發送到多路分配器寄存器530的每一命令廣播到所有η個命令選擇器。每一命令選擇器的VMD地址控制被重新配置為提取圖5D所示的命令中嵌入的VMD地址，以確定是否將命令轉發到VMD的對應存儲器晶片，或者該命令是否尋址到不同VMD，在該命令尋址到不同VMD的情況下，丟棄該命令。例如，多路分配器寄存器516接收命令M-I 561並且將其廣播到所有η個命令選擇器0至η-1。然而，因為命令M-I 561包括VMDsh的VMD地址，所以命令選擇器ν至η-1通過包括信號線565和511的信號線的集合562將命令M-I 571發送到VMDsh的對應存儲器晶片。其餘命令選擇器丟棄命令M-I 561。典型的READ或WRITE命令是與在VMD的若干存儲器晶片上散布數據關聯的存儲器請求。根據變化的性能和能量效率需求重新配置VMD而不恢復在先前配置下已經存儲在 MCDIMM中的數據將使得數據不可檢索。因此，本發明的方法實施例包括在重新配置存儲器模塊的VMD之前，取得VMD中已經存儲的數據，並且將其臨時存儲在另一存儲器設備中。 在已經重新配置VMD之後，在具有新VMD配置的存儲器模塊中再次存儲數據。如上所述，可以選擇存儲器晶片到VMD的若干不同分組，以適應基於性能和/或能量效率需求所需的存儲器的量的改變。以上參照圖5A和圖5D描述的存儲器晶片是具有與多路分配器寄存器516的命令選擇器的一對一映射的單個存儲器晶片。然而，本發明實施例不限於此。在其它實施例中，可以存在比存儲器晶片少的命令選擇器。例如，圖5中的存儲器晶片MQ、MCg, MCh, MCi, MCj, MCk, MCm和MClri可以表示與單個命令選擇器電通信的兩個或更多個存儲器晶片的棧。以下是具有8或16個DRAM晶片的示例性MCDIMM的描述，描述可以如何根據本發明的實施例重新配置VMD。圖6A示出根據本發明實施例配置的MCDMM 600的示意性表示。如圖6A所示， MCDIMM 600包括多路分配器寄存器602和8個VMD，其中每一個VMD包括標為0_7的單個 DRAM晶片。VMD的這個第一配置可以是評估在引導時間、在應用的運行期間的時間點所需的或者由計算機系統操作者選擇的存儲器的量的結果。方向箭頭604-611表示分別將DRAM 0-7中的每一個與多路分配器寄存器602電子連接的信號線的八個分離的集合。在命令路徑612上將命令從存儲器控制器(未示出)發送到多路分配器寄存器602。根據Iog2N，其中N等於8，DRAM 0-7中的每一個分別可以被分配三比特地址000、001、010、011、100、101、 110和111中的一個。DRAM晶片0_7中的每一個通過命令總線的信號線的對應集合接收不同的命令，並且經由DQ和雙頭箭頭(例如雙頭箭頭614)表示的其自身的數據總線獨立於其它DRAM晶片傳送數據。該MCDMM可以支持的VMD的最大數量N是8，其也是多路分配器寄存器602所需的命令選擇器的數量。圖6B示出可以代替多路分配器寄存器602使用以支持具有8個VMD 的MCDMM 600的包括標為0-7的命令選擇器和廣播總線618的多路分配器寄存器616。每一命令被廣播到所有8個命令選擇器。在圖6B中，與命令關聯的每一時隙由包括意欲接收命令的圖6A中的DRAM晶片的索引的矩形表示。每一命令選擇器被配置為提取命令中嵌入的VMD地址，以確定是否將命令轉發到連接的DRAM晶片，或者命令是否尋址到不同的DRAM 晶片並且丟棄。例如，多路分配器寄存器616接收其目的地是DRAM晶片5的命令5 620， 並且在廣播總線618上將其廣播到所有8個命令選擇器。因為命令5 620包括DRAM晶片 5的地址，所以命令選擇器5在信號線的集合609上將命令5 620發送到DRAM晶片5，並且其它命令選擇器丟棄命令5 620。圖6C示出根據本發明實施例配置的命令選擇器5的示意性表示。該描述涉及具有等於8的最大數量N的VMD的實施例。因此，在命令中使用3 ( Iog2S )比特地址000、 001、010、011、100、101、110和111以分別標識每一 DRAM晶片0-7。命令選擇器5包括VMD 地址控制622、寄存器/計數器624、RAM定時控制6 和配置寄存器628。相似地配置其它命令選擇器。在支路630上將命令輸入到命令選擇器5，也如圖6B所示。VMD地址控制622 還包括AND門632、三個OR門633-635、以及反相器636。VMD地址控制622提取每一命令的VMD地址部分。標識為A2、Al和AO的三個地址信號線每個載送提取的三比特VMD地址的一個比特。信號線Al上的比特穿過反相器636。配置寄存器擬8在信號線B2、Bl和BO 上輸出三個比特，其中，A2和B2是OR門633的輸入，Al和Bl是OR門634的輸入，以及AO 和BO是OR門6；35的輸入。OR門633_6；35的輸出C2、C1和CO是AND門632的輸入。當所有輸入信號與比特「1」對應時AND門632輸出與比特「1」對應的信號，以及當輸入信號中的至少一個與比特「0，，對應時AND門632輸出與比特「0，，對應的信號，其中，比特「 1，，和「0，， 可以分別表示信號的高電壓和低電壓。另一方面，OR門633-635中的每一個僅當所有輸入是「0」時輸出比特「0」，以及當輸入中的至少一個是比特「1」時輸出比特「1」。反相器將比特「 1，，轉換為比特「0 」，並且反之亦然。在該實施例中，VMD配置寄存器6 保持比特掩碼(具有與VMD地址相同數量10&N 的比特)，以在確定其中其駐留的命令選擇器是否是構成進入命令中指定的VMD的選擇器之一時使用。掩碼中的「0」比特使得VMD地址的(相同位置中的)對應比特有效，而掩碼中的 「 1，，比特使得VMD地址的對應比特無效或「不在乎，，，意味著該VMD地址比特對命令選擇器的輸出沒有影響。對於圖6A所示的VMD配置，配置寄存器628總是在信號線B2、Bl和BO 上輸出VMD地址比特。例如，假設提取的VMD地址包括比特101，其為DRAM晶片5的3比特VMD地址。反相器536將線Al上載送的信號的電壓反相。因此，反相器536之後的A2、 Al和AO信號線載送比特111，以及OR門633-635的輸出線將比特111載送到AND門632。 AND門632通過將表示比特「1」的選擇信號輸出到寄存器/計數器6M進行響應，寄存器/ 計數器擬4當時鐘指示時將命令鎖存到信號線的集合609。對於其它地址，因為配置寄存器 628輸出比特000，所以進入AND門632的比特流包括至少一個「0」比特。因此，AND門632 不輸出信號或輸出與比特「0」對應的低信號，並且寄存器/計數器擬4不將命令鎖存到信號線的集合609。返回圖6A，每存儲器訪問請求僅涉及一個DRAM晶片。DRAM晶片0_7的陰影區域表示與不同命令關聯的不同獨立存儲器請求。每一 DRAM晶片在命令總線上接收命令，並且使用其自身的數據總線獨立地傳送數據。因此，激活更少比特，節省用於激活和預充電的能量。然而，為了傳送數據，可以將數據劃分為更小的數據串行化部分，其中，每一部分從DRAM 晶片被分離地發送到存儲器控制器。與通過較大數據總線發送數據相比，串行化數據增加了發送數據所需的時間量。這個串行化延時問題可能對系統性能具有負面影響。作業系統、 應用或監控系統的計算機系統操作者可以確定通過增加特定VMD中的存儲器晶片的數量可以減少傳送數據所需的時間。因此，如以上參照圖5A-圖5E描述的那樣，本發明實施例使得作業系統、應用或計算機系統操作者能夠通過將MCDIMM 600重新配置成具有帶有兩個或更多個DRAM晶片的組的VMD來減緩串行化延時問題。通過將CONFI⑶RE命令從存儲器控制器(未示出)發送到多路分配器寄存器602， 改變如圖6A所示的MCDIMM 600的VMD的配置。CONFI⑶RE命令嵌入有指導每一命令選擇器的配置寄存器根據存儲器需求的不同集合分組VMD的指令。存儲器需求可以是結果改變存儲器要求，所述要求在應用的運行期間確定(可以在應用的運行期間的時間點選擇)、根據與應用關聯的存儲器要求的歷史在引導時間期間確定、或由監控MCDMM 600的性能和能量效率的計算機系統操作者確定。變化的存儲器需求可以是在平衡存儲器模塊的性能和能量效率中的改變的結果。注意，在重新配置MCDMM 600時，取得在圖6A所示的VMD配置下已經存儲在 MCDIMM 600中的數據，並且將其臨時存儲在不同存儲設備中。在重新配置MCDIMM 600之後，將臨時存儲的數據寫入重新配置的MCDMM 600。圖7A示出具有DRAM晶片0-7的MCDIMM 600的示意性表示，其中DRAM晶片0_7 被分組為分別標識為具有VMD地址00、01、10和11的VMD』 VMD' ^ VMD' 2和VMD' 3的4個 VMD。VMD中的每一個包括兩個DRAM晶片。VMD中的每一個經由QD和雙頭箭頭(例如雙頭箭頭702)表示的其自身的數據總線獨立於其它VMD傳送數據。為了按該配置使用MCDIMM 600，存儲器控制器將CONFI⑶RE命令發送到多路分配器寄存器602。多路分配器寄存器602通過將配置寄存器重新配置有新的比特掩碼進行響應。多路分配器寄存器602以如以上參照圖6B-圖6C描述的相同方式將具有存儲器請求的後續命令發送到VMD。例如，發送到 VMD'工的命令包括VMD'工的VMD地址。多路分配器寄存器602接收命令，並且將命令僅發送到DRAM晶片2和3，如以上參照圖6B-圖6C描述的那樣。對於圖7A所示的VMD配置，配置寄存器6 總是在信號線B2、B1和BO上輸出VMD 地址。命令選擇器0-7中的每一個中的配置寄存器也是這樣。線AO和BO載送VMD地址的位置或最右位置中(in the ones or right-most position)的比特，並且被稱為最低有效位(「LSB」)。LSB輸入到OR門635。當從配置寄存器628輸出的LSB是「1」時，忽略LSB VMD地址比特。例如，當從配置寄存器6 輸出的LSB是「1」時，寄存器/計數器624當提取的VMD地址是100或101時從AND門632接收選擇信號。前兩個比特10與VMD』 2的VMD 地址對應。在MCDIMM處於該配置中時，VMD地址的LSB被忽略，並且無論如何沒有什麼影響。注意，在其中MCDIMM 600操作為傳統DI匪並且所有DRAM晶片構成單個VMD的其它實施例中，向每一命令選擇器的配置寄存器發送指導命令選擇器0-7的配置寄存器輸出比特111的CONFI⑶RE命令。在該配置中，VMD地址控制622生成的選擇信號總是「 1」。VMD不限於具有相同數量的存儲器晶片。VMD可以被重新配置有不同數量的存儲器晶片。圖7B示出根據本發明實施例的具有分組為四個VMD的DRAM晶片的MCDMM 600 的示意性表示。如圖7B所示，DRAM晶片0-3分組為VMD、，DRAM晶片4_6分組為VMD"1;以及VMD"2和VMD"3分別包括DRAM晶片6和7。圖6C所示的命令選擇器的實施例在存儲器控制器的控制下通過允許在命令選擇器的配置寄存器中存儲不同比特掩碼來允許該情況。圖8示出根據本發明實施例的包括電子地連接到多路分配器寄存器802的標為 0-15的16個DRAM晶片的MCDMM 800的示意性表示。多路分配器寄存器802包括8個命令選擇器，其中，每一命令選擇器電子地連接到一對DRAM晶片。例如，命令選擇器0電子地連接到一對DRAM晶片0和8。每一對DRAM晶片表示DRAM晶片棧。每一對堆疊的DRAM晶片的數據線連接在一起，並且地址比特在它們兩個之間進行選擇。圖9示出根據本發明實施例的用於控制並且重新配置存儲器模塊的VMD的方法的控制流程圖。在步驟901中，創建具有用於配置存儲器模塊的VMD的指令的CONFIGURE命令，並且將其從存儲器控制器發送到存儲器模塊。在步驟902中，根據CONFIGURE命令配置多路分配器寄存器的配置寄存器，如以上參照圖5C-圖5E以及圖6-圖7描述的那樣。在步驟903的for循環中，對於每一存儲器請求重複步驟903-908。在步驟904中，存儲器控制器準備要由其中一個VMD接收的命令，方式是通過將該VMD的地址編碼在該命令。在步驟 905中，存儲器控制器將命令發送到存儲器模塊的多路分配器寄存器。多路分配器寄存器通過命令路徑接收命令，如以上參照圖5A描述的那樣。在步驟906中，多路分配器寄存器確定哪個VMD將要接收命令，如以上參照圖5B-圖5C描述的那樣。在步驟907中，多路分配器寄存器選擇信號線的適當集合，以將命令發送到該VMD，如以上參照圖5B-圖5C描述的那樣。在步驟908中，可以監控每一存儲器請求，並且收集關於性能和能量效率的信息，以評估當前VMD配置是否提供足夠的存儲並且滿足能量效率需求。在步驟909中，當VMD配置無法提供足夠的性能和/或能量效率需求時，方法進入步驟910，否則，方法進入步驟911。 在步驟910中，由作業系統在引導時間、由應用在應用的運行時間期間，或者由計算機系統操作者確定不同的VMD配置。在步驟911中，方法返回步驟901，並且重複步驟901-909。在其它實施例中，MCDIMM可以被配置為與DI匪標準管腳兼容。術語"DI^標準」 指的是位於DMM接口的管腳的數量。例如，特定DMM可以被配置有168個管腳，且其它 DIMM可以被配置有184個管腳。存儲器控制器可以被配置為檢測並且使用以上參照圖5-圖 8描述的所有不同的VMD配置，並且被配置為檢測並且使用以上參照圖3描述的標準DIMM。 當MCDIMM與現有DIMM管腳兼容時，不需要新的存儲器插槽標準。通過將MCDIMM插入標準的管腳兼容的DIMM插槽，MCDIMM可以簡單地替代現有DIMM。典型地，DRAM晶片和DIMM標準保留比在DRAM晶片中指定位置所需比特更多的地址比特。這些附加比特的部分可以用於在MCDMM內指定一個或多個VMD，這犧牲了 DIMM標準支持的最大DRAM容量。為了檢測 MCDIMM的VMD的類型和數量，其中一個DRAM晶片中嵌入的模式寄存器可以擴展為對該信息進行編碼。此外，存儲器模塊中的分離的管腳可以專用於將信息從模式寄存器發送到存儲器控制器。因此，在特定實施例中，存儲器控制器可以檢查每個存儲器模塊並且確定存儲器模塊是否是標準DIMM (例如DIMM 108-111)，或者存儲器模塊是否是具有多個不同的固定的或可重新配置的VMD的MCDIMM。在其它實施例中，存儲器控制器可以被配置為使用Iog2N 個地址比特作為VMD地址，導致不會損失地址範圍。圖10示出以根據本發明實施例的圖4A所示的MCDIMM 400替代圖1所示的DI匪 109。如圖10所示，MCDIMM 400與DIMM 108-111管腳兼容，並且因此，DIMM 109可以被移除，以及將MCDIMM 400插入到DIMM插槽113。當存儲器控制器104被配置為檢測並且使用用於MCDIMM 400的所有不同VMD配置時，MCDIMM 400可以將關於VMD的地址和數量的信息發送到存儲器控制器104。存儲器控制器104然後可以開始操作MCDIMM 400，如以上參照圖6-圖8描述的那樣。然而，存儲器控制器104也可以被配置為僅使用DIMM 108,110 和111，如以上參照圖3描述的那樣。在其它實施例中，不支持MCDIMM 400的使用的存儲器控制器104可以以與標準DIMM 108-111相同的方式使用MCDIMM 400。為了解釋的目的，前面的描述使用特定詞彙來提供本發明的透徹理解。然而，本領域技術人員應理解，為了實踐本發明，並不需要具體細節。給出本發明具體實施例的前面描述，目的是進行說明和描述。它們並非意欲窮盡本發明或者將其限制為所公開的精確形式。 顯然，根據以上教導，很多修改和變化是可能的。示出並且描述實施例，以最佳地解釋本發明的原理及其實際應用，由此使得本領域其他技術人員能夠最佳地利用本發明以及具有適於所考慮的特定使用的各個修改的各個實施例。本發明的範圍意欲由所附權利要求及其等同物所定義。
權利要求
1.一種存儲器模塊(500)，包括存儲器晶片；以及多路分配器寄存器(502)，其電子地連接到所述存儲器晶片中的每一個和存儲器控制器，其中，所述存儲器控制器根據變化的性能和/或能量效率需求將所述存儲器晶片中的一個或多個分組為至少一個虛擬存儲器設備，以及所述多路分配器寄存器被配置為接收標識所述虛擬存儲器設備中的一個的命令並且將所述命令發送到標識的虛擬存儲器設備的存儲器晶片。
2.如權利要求1所述的存儲器模塊，其中，所述存儲器控制器根據作業系統、應用或計算機系統操作者提供的指令將所述一個或多個存儲器晶片分組為該至少一個虛擬存儲器設備。
3.如權利要求1所述的存儲器模塊，其中，所述存儲器晶片還包括動態隨機存取存儲器晶片(401-408)。
4.如權利要求1所述的存儲器模塊，其中，以時分復用方式將所述命令從所述存儲器控制器發送到所述多路分配器寄存器，從而每一命令在固定持續時間間隔內到達所述多路分配器寄存器並且被發送到所述命令中標識的虛擬存儲器設備。
5.如權利要求1所述的存儲器模塊，其中，所述存儲器控制器根據變化的性能和/或能量效率需求將所述存儲器晶片中的一個或多個分組為至少一個虛擬存儲器設備還包括所述存儲器控制器生成從所述存儲器控制器發送到所述多路分配器寄存器的配置命令。
6.如權利要求5所述的存儲器模塊，其中，所述配置命令還包括指導所述多路分配器寄存器將所述至少一個虛擬存儲器設備重新配置成具有所述存儲器模塊的一個或多個不同存儲器晶片的指令。
7.如權利要求1所述的存儲器模塊，其中，所述多路分配器寄存器還包括至少一個命令選擇器，每一命令選擇器電子地連接到所述存儲器晶片中的一個；以及廣播總線(532)，其被配置為將命令廣播到所述至少一個命令選擇器，其中，每一命令選擇器被配置為提取所述命令中嵌入的存儲器地址，並且當所述地址匹配於連接的存儲器晶片的地址時將所述命令轉發到連接的存儲器晶片，否則所述命令選擇器丟棄所述命令。
8.如權利要求6所述的存儲器模塊，其中，所述命令選擇器還包括AND門(544)，其被配置為從所述命令提取所述存儲器晶片地址，並且當所述地址匹配於連接的存儲器晶片的地址時生成選擇信號；寄存器/計數器(546)，其被配置為當所述AND門提供所述選擇信號時接收所述命令並且將其發送到連接的存儲器晶片，否則所述寄存器/計數器丟棄所述命令；以及RAM定時控制(548)，其控制緩存線和所述命令到更小緩存線片段的劃分。
9.如權利要求1所述的存儲器模塊，電子地連接到所述存儲器晶片中的每一個的多路分配器寄存器(502)還包括在所述多路分配器寄存器與所述存儲器晶片之間布置的命令總線，其中，所述命令總線包括將所述存儲器晶片中的每一個連接到所述多路分配器寄存器 (502)的信號線(504-511)的分離集合。
10.如權利要求1所述的存儲器模塊，其中，所述存儲器模塊被配置為與DIMM標準管腳兼容。
11.一種用於控制存儲器模塊的方法，包括 提供根據權利要求1配置的存儲器模塊；配置(901)包括至少一個存儲器晶片的至少一個虛擬存儲器設備； 將命令從所述存儲器控制器發送(904)到所述存儲器模塊的多路分配器寄存器，所述命令標識所述至少一個虛擬存儲器設備的存儲器晶片；將所述命令從所述多路分配器寄存器發送(906)到在所述命令中標識的所述至少一個虛擬存儲器設備的該至少一個存儲器晶片；以及基於能量效率需求和/或系統性能的改變重新配置(908)所述至少一個虛擬存儲器設備。
12.如權利要求11所述的方法，還包括在存儲器控制器處準備(903)命令，以包括所述至少一個虛擬存儲器設備的地址。
13.如權利要求11所述的方法，其中，配置所述至少一個虛擬存儲器設備還包括以下中的一個在應用的運行時間期間確定每虛擬存儲器設備需要的存儲器晶片的數量； 在引導期間確定每虛擬存儲器設備需要的存儲器晶片的數量；以及由計算機系統操作者確定每虛擬存儲器設備需要的存儲器晶片的數量。
14.如權利要求11所述的方法，其中，重新配置所述至少一個虛擬存儲器設備還包括 在重新配置所述至少一個虛擬存儲器設備之前，臨時存儲所述至少一個虛擬存儲器設備中已經存儲的數據，以及然後將所述數據存儲在該至少一個重新配置的虛擬存儲器設備中。
全文摘要
本發明各個實施例涉及多核存儲器模塊。在一個實施例中，存儲器模塊(500)包括存儲器晶片；以及多路分配器寄存器(502)，其電子地連接到每一個所述存儲器晶片和存儲器控制器。所述存儲器控制器根據變化的性能和/或能量效率需求將所述存儲器晶片中的一個或多個分組為至少一個虛擬存儲器設備。所述多路分配器寄存器(502)被配置為接收標識所述虛擬存儲器設備中的一個的命令，並且將所述命令發送到標識的虛擬存儲器設備的存儲器晶片。在特定實施例中，所述存儲器晶片可以是動態隨機存取存儲器晶片。
文檔編號G11C8/00GK102177551SQ200880131477
公開日2011年9月7日 申請日期2008年8月8日 優先權日2008年8月8日
發明者N·P·朱皮, R·S·施賴伯, 安廷鎬 申請人:惠普開發有限公司