具有內部高速緩存和/或內存訪問預測的內存集線器的製作方法
2023-06-23 09:35:51 1
專利名稱：具有內部高速緩存和/或內存訪問預測的內存集線器的製作方法
技術領域：
本發明涉及計算機系統，更特別地，涉及具有將多個內存設備連接到處理器或者其他內存訪問設備的內存集線器的計算機系統。
背景技術：
計算機系統使用內存設備，諸如動態隨機訪問存儲器(「SDRAM」)設備，以存儲由處理器訪問的指令以及數據。在典型的計算機系統中，處理器通過處理器總線以及內存控制器與系統內存通信。處理器發出命令，例如讀取命令，以及指定數據或者指令即將被讀取的位置的地址。內存控制器使用該命令以及地址以生成應用到系統內存的適當的命令信號以及行和列地址。響應該命令以及地址，數據在系統內存以及處理器之間傳遞。內存控制器常常是系統控制器的一部分，其還包括用於連接處理器總線到諸如PCI總線這樣的擴展總線的總線橋電路。
雖然內存設備的運算速度不斷地增加，但是這個運算速度的增加沒有跟上處理器運算速度的增加。而連接處理器到內存設備的內存控制器的運算速度增加得更慢。內存控制器和內存設備的相對低的速度限制了在處理器與內存設備之間的通信帶寬。
除了在處理器與內存設備之間被限制的帶寬外，計算機系統的性能還受到延遲問題的限制，該延遲問題增加從系統內存設備讀取數據所需的時間。更具體地，當內存設備讀取命令傳遞到諸如異步DRAM(「SDRAM」)這樣的系統內存設備時，所讀取的數據在幾個時鐘周期的延遲之後才從SDRAM中輸出。因此，雖然SDRAM可以以高數據速率同步輸出突發數據，但是最初提供數據的延時可以顯著地降低使用這樣的SDRAM設備的計算機系統的運算速度。
緩解內存延遲問題的一個途徑是使用多個通過內存集線器連接到處理器的內存設備。由於當另一內存設備響應先前的內存訪問時處理器可以訪問一個內存設備，所以使用該結構的計算機系統可以具有更高的帶寬。例如，處理器可以輸出寫數據到系統中的內存設備之一，同時系統中的另一內存設備準備提供讀數據到處理器。但是，雖然使用內存集線器的計算機系統可以提供較高的性能，但是它們仍常常未能以最優速度進行工作。這樣的計算機系統的未能以最優速度進行工作的原因之一是常規的內存集線器本質上是單通道系統，因為所有控制、地址以及數據信號必須通過共同的內存集線器電路。結果，當內存集線器電路忙於與一個內存設備通信時，它不能與另一內存設備通信。此外，雖然使用內存集線器的計算機系統可以提供更大的內存帶寬，但是它們仍然遭受上述類型的延遲問題。更具體地，雖然當另一內存設備正在準備傳輸數據時處理器可以與一內存設備通信，但是在可以使用來自該另一內存設備的數據之前有時必須接收來自該一內存設備的數據。如果在可以使用來自該另一內存設備的數據之前必須從該一內存設備接收數據，則延遲問題繼續降低這樣的計算機系統的運算速度。
因此，需要一種計算機結構，其可以提供內存集線器結構的優點，而且最小化在這樣的系統中共有的延遲問題，從而提供具有高帶寬和低延遲的內存設備。
發明內容
一種可以在計算機系統中使用的內存集線器，包括與處理器或者其他內存訪問設備相耦合的內存訪問設備接口，以及多個內存接口，其每個內存接口耦合到相應的內存設備。每個內存接口包括一個內存控制器以及，根據本發明的一個方面，一個高速緩存。每個內存接口通過開關耦合到內存訪問設備。在運算中，將從耦合到內存接口之一的內存設備讀取的或寫入到其上的數據存儲在該內存接口的高速緩存中。響應隨後的內存讀取的請求，檢查該高速緩存以確定對應於該內存讀取請求的數據是否存儲在該高速緩存中。若高速緩存命中，則所請求的數據從該高速緩存中提供。否則，所請求的數據由內存設備提供。根據本發明的另一方面，每個內存接口包括一個內存控制器以及一個預測單元。該預測單元基於先前的內存訪問的地址，預測數據可能被讀取的地址。該預測單元然後使在相應的內存接口中的內存控制器從該預測的地址讀取數據。可以將內存集線器物理地包括在系統控制器、內存模塊、或者計算機系統或其他使用內存設備的電子系統的一些其他部件中。
附圖簡述
圖1為根據本發明的一個實施例的計算機系統的模塊圖，其中內存集線器包括在系統控制器中。
圖2為根據本發明的另一個實施例的計算機系統的模塊圖，其中內存集線器包括在內存模塊中。
圖3為在圖1和2的計算機系統中使用的內存集線器的模塊圖。
最佳實施例的說明在圖1中示出了根據本發明的一個實施例的計算機系統100。該計算機系統100包括處理器104，用於實現例如執行特定的程序以實現特定的計算或者任務的各種處理功能。該處理器104包括處理器總線108，其通常包括地址總線、控制總線以及數據總線。此外，計算機系統100包括一個或多個諸如鍵盤或滑鼠這樣的輸入裝置108，該輸入裝置通過系統控制器110耦合到處理器104，以允許操作者與計算機系統100進行交互。典型地，計算機系統100還包括一個或多個輸出裝置114，該輸出裝置通過系統控制器110連接到處理器104，這樣的輸出裝置典型地為印表機或者視頻終端。一個或多個數據存儲設備120典型地也通過系統控制器110與處理器104相耦合，以允許處理器104存儲數據或者從內部或外部存儲媒介(未示出)中檢索數據。典型的存儲設備120的例子包括硬碟與軟盤、盒式磁帶以及光碟只讀存儲器(CD-ROMs)。處理器104典型地也與高速緩存124相耦合，其通常為靜態隨機訪問存儲器(「SRAM」)。
系統控制器110還包括內存集線器130，用於控制對多個系統內存設備140a-d的訪問，每個系統內存設備可以是同步動態隨機訪問存儲器(「SDRAM」)。內存集線器130允許處理器104寫入數據到每個系統內存設備140a-d以及從每個系統內存設備140a-d中讀取數據。內存集線器130通過總線系統142耦合到每個系統內存設備140a-d，該總線系統通常包括控制總線、地址總線以及數據總線。
雖然內存集線器130在圖1中顯示為與處理器104相耦合，但是應當理解，如本領域所公知的，該內存集線器130還可以與在計算機系統晶片(未示出)中的其他部件相耦合，並且也可以允許其他設備(未示出)以直接內存操作方式寫入數據到系統內存設備140a-d或者從系統內存設備140a-d中讀取數據。同樣，內存集線器130可以物理地被包括作為不同於系統控制器110的電子系統的部件的一部分。例如，如圖2所示的計算機系統144使用在圖1的計算機系統100中使用的大部分相同的部件。為簡單起見，這樣共同的部件設置相同的參考數字，並且不再重複它們的操作說明。計算機系統144與在圖1中顯示的計算機系統100的不同之處在於內存集線器130沒有包括在系統控制器110中。作為替代，系統控制器110與多個內存模塊146連接，例如雙面引腳內存模塊(「DIMMs」)。每個內存模塊146包括內存集線器130以及多個內存設備148，該內存設備可以是SDRAM或者一些其他類型的內存設備。內存集線器130本質上以與上面參考圖1解釋的相同方式工作，以高速緩存存儲在內存模塊146中的數據。
雖然圖1和圖2分別顯示包括在系統控制器110和內存模塊146中的內存集線器130，但是應當理解，內存集線器130可以為獨立單元，或者可以包括在計算機系統的其他部件或者使用內存設備的其他系統中。
內存集線器130的一個實施例如圖3所示，其中內存集線器與處理器104以及三個內存設備140a-c相耦合，在圖3中所舉例說明的例子中，該三個內存設備是SDRAM設備。內存集線器130顯示為以點對點排列的方式與處理器104相耦合，其中沒有其他設備與在處理器104與內存集線器130之間的連接相耦合。這種類型的互連由於多個原因提供了在處理器104與內存集線器130之間的更好的信號耦合，包括相對低的電容、相對少的用於反射信號的線路中斷以及相對短的信號路徑。但是，也可以使用多點互連，在其中其他設備(未示出)與處理器104與內存集線器130之間的互連相耦合。
如本領域所公知的，內存集線器130包括處理器接口150，其通過多個總線和信號線與處理器104相耦合。處理器接口150通過包括寫數據總線154和讀數據總線156的多個總線以及信號線依次與開關160相耦合，雖然也可以設置單個雙向數據總線用於在處理器埠150與開關160之間雙向傳遞數據。處理器埠150還通過請求線164以及檢測線(snoop line)168與開關160相耦合。如下面所非常詳細描述的，通過檢測線168從開關160傳遞到處理器埠150的檢測信號用於保持高速緩存的一致性。通過請求線164從處理器接口150傳遞到開關160的請求信號，給開關160提供與通過開關160發送數據的請求相對應的信息。但是應當理解，處理器接口150可以是用更多或更少數量的總線和信號線或者不同於圖3舉例說明的總線和信號線與開關160相耦合。
開關160還與三個內存接口170a-c相耦合，該三個內存接口依次分別與系統內存設備140a-c相耦合。通過分別為每個系統內存設備140a-c提供分開並且獨立的內存接口170a-c，內存集線器130避免典型地發生在單通道內存結構中的總線或內存組衝突。開關160通過包括寫數據總線174、讀數據總線176和請求線178的多個總線以及信號線與每個內存接口相耦合。但是，單個雙向數據總線也可以用來替代分開的寫數據總線174以及讀數據總線176。值得注意的是，每個內存接口170a-c專門地適配其要連接的系統內存設備140a-c。更具體地，每個內存接口170a-c專門地適配以提供和接收特定的信號，該信號分別由其要連接的系統內存設備140a-c接收和產生。同樣，內存接口170a-c能夠與工作在不同時鐘頻率的系統內存設備140a-c一起工作。結果，內存接口170a-c把處理器104與變化隔離開來，並且提供更加受控制的內存設備140a-c可以交互的環境，所述變化發生於在內存集線器130與耦合到內存集線器130的內存設備140a-c之間的接口上。
將處理器接口150耦合到內存接口170a-c的開關160可以為任何各種常規的或在下文中描述的開關。例如，開關160可以是交叉(cross-bar)開關，其可以在處理器接口150和內存接口170a-c之間同時相互耦合。開關160也可以為一組多路復用器，其不提供與交叉開關相同級別的連通性，但是仍然可以將處理器接口150耦合到每個內存接口170a-c。開關160也可以包括仲裁邏輯(未示出)以確定哪個內存訪問應該優於其他內存訪問。實現該功能的總線仲裁對本領域技術人員是公知的。
進一步參考圖3，每個內存接口170a-c包括各自的內存控制器180以及各自的高速緩存單元184。內存控制器180通過提供控制、地址以及數據信號給其耦合的系統內存設備140a-c以及從其耦合的系統內存設備140a-c接收數據信號，實現與傳統內存控制器相同的功能。如本領域所公知的，高速緩存單元184包括包含有標籤內存、數據內存和比較器的高速緩存的常規部分。在高速緩存1 84中使用的內存設備可以為DRAM設備、靜態隨機訪問存儲器(「SRAM」)、其他類型的內存設備，或者這三者的組合。此外，在高速緩存單元184中使用的任何或所有這些內存設備以及其他部件可以是嵌入的或獨立的設備。
在每個內存接口170a-c中使用高速緩存單元184，允許處理器104在數據最近被從內存設備140a-c讀取或者被寫入到內存設備140a-c的情況下，不用等待內存設備140a-c提供該數據就能接收響應發送給相應系統內存設備140a-c的讀取命令的該數據。高速緩存單元因此減少系統內存設備140a-c的讀取延遲，以最大化計算機系統的內存帶寬。類似地，處理器104可以在高速緩存單元184中存儲寫入數據，然後當在相同的內存接口170a-c中的內存控制器180從高速緩存單元184傳遞該寫入數據到其耦合的系統內存設備140a-c時，執行其他功能。
為了進一步減少由內存集線器130導致的內存訪問延遲，每個內存接口170a-c可以設置有預取單元190。該預取單元190能夠使用常規算法預測後續內存讀請求的可能地址。然後，在處理器104正在訪問不同的系統內存設備140或者執行其他功能的同時，在相同內存接口170a-c中的內存控制器180可以在後臺執行內存訪問。當處理器104隨後提供命令給內存集線器130以從預測的地址讀取數據時，該讀取數據已經存在高速緩存單元180中，因而可以快速地提供給處理器104。
由前述可知，雖然在此為了舉例說明的目的已經描述了本發明的特定的實施例，但是在不背離本發明的精神和範圍的情況下可以有不同的變型。因此，本發明由權利要求書來限定。
權利要求
1.一種內存集線器，包括一個內存訪問設備接口，配置成與內存訪問設備連接；多個內存接口，配置成與相應的內存設備連接，該多個內存接口的每一個包括一個內存控制器和一個高速緩存；以及一個開關，使該內存訪問設備接口與該多個內存接口的每一個相耦合。
2.根據權利要求1所述的內存集線器，其中，所述內存訪問設備接口包括一個處理器接口，配置成與處理器相連接。
3.根據權利要求1所述的內存集線器，其中，所述多個內存接口的每一個進一步包括一個預測單元，配置成基於先前的內存訪問的地址預測數據可能被讀取的地址，並使在相應的內存接口中的所述內存控制器輸出指示從該預測的地址進行內存讀取操作的信號。
4.根據權利要求3所述的內存集線器，其中，所述預測單元進一步配置成使所述內存接口在所述高速緩存中存儲響應所述指示內存讀取操作的信號而接收的讀取數據。
5.根據權利要求1所述的內存集線器，其中，所述多個內存接口的每一個以相同的時鐘速度工作。
6.根據權利要求1所述的內存集線器，其中，所述開關包括交叉開關。
7.根據權利要求1所述的內存集線器，其中，所述開關包括多路復用器開關。
8.根據權利要求1所述的內存集線器，其中，所述高速緩存包括動態隨機訪問存儲器。
9.一種內存集線器，包括一個內存訪問設備接口，配置成與內存訪問設備相連接；多個內存接口，配置成與相應的內存設備相連接，該多個內存接口的每一個包括一個內存控制器以及一個預測單元，該預測單元配置成基於先前的內存訪問的地址預測數據可能被讀取的地址，並且使在相應的內存接口中的該內存控制器輸出指示從該預測的地址進行內存讀取操作的信號；以及一個開關，使該內存訪問設備接口與該多個內存接口相耦合。
10.根據權利要求9所述的內存集線器，其中，所述內存訪問設備接口包括處理器接口。
11.根據權利要求9所述的內存集線器，其中，所述多個內存接口的每一個以相同時鐘速度工作。
12.根據權利要求9所述的內存集線器，其中，所述開關包括交叉開關。
13.根據權利要求9所述的內存集線器，其中，所述開關包括多路復用器開關。
14.一種計算機系統，包括一個處理單元，可用於執行計算功能；一個系統控制器，與該處理單元相耦合；至少一個輸入裝置，通過該系統控制器與該處理單元相耦合；至少一個輸出裝置，通過該系統控制器與該處理單元相耦合；至少一個數據存儲設備，通過該系統控制器與該處理單元相耦合；多個內存設備；以及一個內存集線器，包括一個處理器接口，與處理器相耦合；多個內存接口，與該多個內存設備中的相應內存設備相耦合，該多個內存接口的每一個包括一個內存控制器以及一個高速緩存；以及一個開關，使該處理器接口與該多個內存接口的每一個相耦合。
15.根據權利要求14所述的計算機系統，其中，所述內存集線器物理地包括在所述系統控制器中。
16.根據權利要求14所述的計算機系統，其中，所述多個內存設備物理地封裝在一個內存模塊中，並且其中所述內存集線器物理地包括在該內存模塊中。
17.根據權利要求14所述的計算機系統，其中，所述多個內存接口的每一個進一步包括一個預測單元，配置成基於先前的內存訪問的地址預測數據可能被讀取的地址，並且使在相應的內存接口中的所述內存控制器將指示從該預測地址進行內存讀取操作的輸出信號應用到該內存接口所連接的內存設備。
18.根據權利要求15所述的計算機系統，其中，所述預測單元進一步配置成使所述內存接口在所述高速緩存中存儲響應所述指示內存讀取操作的信號從相應的內存設備中接收的讀取數據。
19.根據權利要求14所述的計算機系統，其中，所述多個內存接口的每一個以相同的時鐘速度工作。
20.根據權利要求14所述的計算機系統，其中，所述開關包括交叉開關。
21.根據權利要求14所述的計算機系統，其中，所述開關包括多路復用器開關。
22.根據權利要求14所述的計算機系統，其中，所述高速緩存包括動態隨機訪問存儲器。
23.根據權利要求14所述的計算機系統，其中，所述多個內存設備的每一個包括動態隨機訪問存儲設備。
24.根據權利要求21所述的計算機系統，其中，所述動態隨機訪問存儲設備的每一個包括同步動態隨機訪問存儲設備。
25.一種計算機系統，包括一個處理單元，可用於執行計算功能；一個系統控制器，與該處理單元相耦合；至少一個輸入裝置，通過該系統控制器與該處理單元相耦合；至少一個輸出裝置，通過該系統控制器與該處理單元相耦合；至少一個數據存儲設備，通過該系統控制器與該處理單元相耦合；多個內存設備；以及一個內存集線器，包括一個處理器接口，與處理器相耦合；多個內存接口，與該多個內存設備的相應內存設備相耦合，該多個內存接口的每一個包括一個內存控制器以及一個預測單元，該預測單元配置成基於先前的內存訪問的地址預測數據可能被讀取的地址，並且使在相應的內存接口中的該內存控制器輸出指示從該預測的地址進行內存讀取操作的信號到該內存接口所耦合的內存設備；以及一個開關，使該處理器接口與該多個內存接口的每一個相耦合。
26.根據權利要求25所述的計算機系統，其中，所述內存集線器物理地包括在所述系統控制器中。
27.根據權利要求25所述的計算機系統，其中，所述多個內存設備物理地封裝在一個內存模塊中，並且其中所述內存集線器物理地包括在該內存模塊中。
28.根據權利要求25所述的計算機系統，其中，所述多個內存接口的每一個以相同的時鐘速度工作。
29.根據權利要求25所述的計算機系統，其中，所述開關包括交叉開關。
30.根據權利要求25所述的計算機系統，其中，所述開關包括多路復用器開關。
31.根據權利要求25所述的計算機系統，其中，所述多個內存設備的每一個包括動態隨機訪問存儲設備。
32.一種訪問多個內存設備的方法，包括將一個內存訪問請求送到與內存集線器相耦合的多個內存設備的第一內存設備；在位於該內存集線器的高速緩存中存儲從該第一內存設備讀取的或者寫入到該第一內存設備的數據；隨後將一個內存讀取請求送到該第一內存設備；響應該內存讀取請求，檢測對應於該內存讀取請求的數據是否存儲在位於該內存集線器的該高速緩存中；如果確定對應於該內存讀取請求的數據存儲在位於該內存集線器的該高速緩存中，則從該高速緩存提供該讀取數據；以及如果確定對應於該內存讀取請求的數據不存儲在位於該內存集線器的高速緩存中，則從該第一內存設備提供讀取數據。
33.根據權利要求32所述的方法，進一步包括基於對所述第一內存設備的先前的內存訪問的地址，預測可能從所述第一內存設備讀取的數據的地址；從在所述第一內存設備中的該預測地址提供讀取數據；以及在所述內存集線器的所述高速緩存中存儲來自該預測地址的讀取數據。
34.根據權利要求32所述的方法，其中，在所述內存集線器的所述高速緩存中存儲從所述第一內存設備中讀取的或者寫入到所述第一內存設備的數據的步驟包括，在專用於所述第一內存設備的高速緩存中存儲從所述第一內存設備中讀取的或者寫入到所述第一內存設備的數據。
35.根據權利要求32所述的方法，其中，預測基於的所述內存訪問請求包括讀內存訪問。
36.根據權利要求32所述的方法，其中，預測基於的所述內存訪問請求包括寫內存訪問。
37.一種訪問多個內存設備的方法，包括將若干內存訪問請求送到在與內存集線器相耦合的多個內存設備中的若干個相應地址；在該內存集線器中，基於該內存訪問請求被送到的地址，預測可能將要從第一內存設備讀取的數據的至少一個地址；以及在接收被送到所述預測地址的內存讀取請求之前，從在所述內存設備中的預測地址提供相應的讀取數據。
38.根據權利要求37所述的方法，其中，預測基於的所述內存訪問請求包括讀內存請求。
39.根據權利要求37所述的方法，其中，預測基於的所述內存訪問請求包括寫內存請求。
全文摘要
一種計算機系統，包括用於將處理器(104)耦合到多個同步動態隨機訪問內存(「SDRAM」)設備的內存集線器(130)。內存集線器(130)包括耦合到處理器(104)的處理器接(150)以及耦合到相應的SDRAM設備(140a－c)的多個內存接口(170a－c)。處理器接(150)通過開關(160)耦合到內存接口(170a－c)。內存接口(170a－c)的每一個包括一個內存控制器(180)、一個高速緩存(184)和一個預測單元(190)。高速緩存(184)存儲最近從相應的SDRAM設備(140a－c)讀取的或者寫入到相應的SDRAM設備(140a－c)的數據，使得其隨後可以由處理器(104)以相當小的延遲讀取。預測單元(190)基於以前被訪問的地址，從可能的讀取訪問的地址預取數據。
文檔編號G06F12/08GK1675625SQ03818759
公開日2005年9月28日 申請日期2003年6月6日 優先權日2002年6月7日
發明者約瑟夫·傑德洛 申請人:米克倫技術公司