用於對固定等待時間互連進行鎖步處理的方法和裝置的製作方法
2023-10-29 07:03:07 2
專利名稱：用於對固定等待時間互連進行鎖步處理的方法和裝置的製作方法
技術領域：
本發明涉及冗餘處理。尤其是，本發明涉及保持冗餘處理器與以鎖步操作的其它設備之間的同步。
背景技術：
計算機系統常常在不友好的環境中執行臨界控制、分析、通信及其他功能。當這些系統在物理上難於或不可能達到的時候，提供充分的冗餘以便對故障和偽錯誤進行檢測和自動恢復是很重要的。保護計算機系統不出現錯誤的一種常見的方法是採用雙模塊冗餘度或三模塊冗餘度以鎖步模式來操作兩個或三個(或更多)系統模塊並比較它們的行為。如果幾個相同的模塊執行相同的操作，那麼理論上，該模塊的行為之間的任何差異都可能表示一個或多個模塊出現了故障。理論上僅僅通過對系統中某個關鍵點處(例如在地址和數據總線)存在的信號進行比較並且無論何時檢測到不匹配都啟動錯誤恢復程序，從而再次檢測差異。
實踐中，時鐘脈衝相位差和類似的影響會引起信號不匹配，即使當該模塊是處於適當操作時也是如此。由於錯誤恢復可能是計算代價很大的處理，所以錯誤鎖步失敗信號會嚴重地降低系統性能。同樣地，錯誤恢復可包含每個模塊上的不同操作，以及可以沒有有效的冗餘系統來保護所述恢復防止隨後發生錯誤。此外，傳統的鎖步冗餘系統包含專門的硬體電路以執行信號比較。這些電路降低了系統在不需要冗餘處理時作為普通多處理器系統來操作的靈活性。
用附圖中的圖形以舉例說明的方式說明了本發明的實施例，本發明的實施例不限制於附圖中的圖形，其中相同的參考標記表示類似的元件。應當注意在說明書中提到「一」或「一個」實施例不必然是同一個實施例，這些說法意味著「至少一個」。
圖1顯示了實現本發明實施例的系統的邏輯概觀圖。
圖2是兩個鎖步處理器可執行以確保它們發出的請求是正確的程序的流程圖。
圖3是允許兩個鎖步處理器接收消息並且開始同時處理其內容的程序的流程圖。
圖4是一個由以鎖步運行的「從屬」設備所進行的類似程序的流程圖。
圖5是從屬鎖步設備的另一個程序的流程圖。
圖6顯示了一個示例系統，其包括實現採用本發明實施例的使用功能的邏輯模塊。
具體實施例方式
本發明的實施例把處理器、存儲器和其它設備放在圍繞著固定等待時間、環形互連網絡的位置上。網絡的每個節點可向任一其它節點發送消息，並且網絡的固定等待時間性能允許發送者確定要用多長時間把這個消息送達目的節點。系統部件的這種結構支持可操作的範例，所述範例包括普通多處理以及冗餘、鎖步處理。在鎖步模式中，系統自動地過濾出由於時鐘脈衝相位差所引起的許多無害的計時誤差。大多數發出信號的錯誤表示真正的數據差異。
圖1顯示了結合本發明實施例的系統的圖。環100表示固定等待時間、無緩衝、環形的通信網絡。連接於該網絡的設備可把消息放到環上或者從環上移除消息。例如170和180這樣的消息以順時針方向在環上前進，從發送節點到目的節點。如果目的節點不能接受該消息(例如，因為它正忙或者因為它沒有空閒的緩衝空間)，則該消息繼續在環上繞行直到目的節點變為能夠接受它。只要沒有消息正在由該節點進行傳遞，該節點就可以在環上放置一個消息。環同步地進行操作，同時消息以規則的間隔從一個節點移動到下一個節點。因而，知道它的目標位於環上多遠的發送者可確定把消息送到那裡要花多少時間。(當然，當消息到達時目標可能不能接受該消息；發送者必須計算這種可能性)。儘管這個圖顯示了等於節點數目的多個消息和空消息位置，但是實際的設備可允許在環上放更多的消息。然而，網絡是無緩衝的，所以其容量是沒有彈性的。
與本發明的實施例有關的通信網絡的特徵在於發送者可以確定消息傳播到接收者要花多少時間。被顯示為元件100的固定等待時間的無緩衝環形網絡具有這種特徵，並且提供了一種易於理解的結構以供以下的說明所用。然而，實施例並不限制於環拓撲網絡，或者甚至不限制於固定等待時間互連，只要該網絡允許用已知等待時間來傳送確認信號。
可以把一系列設備放在環100的節點上。在圖1中，顯示了三個中央處理單元(CPU)110、120和130。兩個存儲模塊140和150以及存儲設備160也圍繞著環而設置。通信網絡的說明和描述指的是網絡的邏輯結構，而不是它的物理結構。實際的設備可能會把環形通信網絡全部放在單個微電子電路內或者把它分配給兩個或多個電路，只要所描述的通信能力是可用的。
在一些系統中，通信網絡可以是雙向的，其中消息可以繞著環順時針或逆時針進行傳播。(這種系統可被分析成雙疊加無向環)。為了簡要和易於理解起見，然而，以下大部分例子會假定單個、無向、固定等待時間、無緩衝通信結構。
具有這兩種情況的環上部件的系統可以以鎖步、冗餘模式來操作部件，並且如果部件把不同的消息放在環上，儘管接收相同消息，則仍發出可能鎖步錯誤信號。因而，例如，存儲器140和150可以以鎖步模式來操作，並且如果該存儲器響應不同，則檢測僅影響一個存儲器的偽錯誤。
具有三種或更多種環上部件的系統可執行相同的鎖步處理，但是也能夠通過採用投票協議來確定哪個部件失敗了或者經歷了錯誤如果三種情況中的兩種一致(或者，更一般地，如果多種情況一致)，那麼該系統如大部分消息表示的那樣來進行。
圖2的流程圖顯示了以鎖步模式運行的兩個CPU怎樣發送請求到固定等待時間通信網絡上的另一個設備。把該CPU指定為「較近」和「較遠」以表示相對於目的設備而言它們在環上的位置。這兩個CPU都產生到該設備的訪問請求(210a、210b)，所述CPU以接近同步(但是有可能不精確)的方式來執行相同的指令。如果CPU獨立地操作，則每個CPU會簡單地把消息放在環上並且把它發送給該設備，該設備將通過把適當地答覆放在環上來響應每個消息。然而，在鎖步模式中，「較遠」CPU把請求發送給「較近」CPU(220)。消息繞著環傳播到較近CPU(230)，同時較近CPU等候該消息(240)。最終，較近CPU接收到請求(250)並且將其與它本身的本地產生請求相比較(260)。如果請求匹配，則較近CPU向該設備發送單個合併請求(270)。如果請求不匹配，則較近處理器發出鎖步錯誤信號(280)以初始化鎖步恢復程序。這個請求本身可以將從存儲器或者其它設備中獲得數據，或者在存儲器中存儲數據或者把數據發送給該設備。在這方面，請求可以對應於普通的存儲器讀或寫周期，或者對應於I/O埠「IN」和「OUT」操作。
這個程序相對於計時誤差是有彈性的如果較遠處理器在較近處理器之前產生並發送請求，那麼該請求只是在環上傳播直到較近處理器發現並準備接收和比較該請求。如果較近處理器在前，那麼它會等候直到較遠處理器發現並發送請求。在每一種情況中，如果看門狗計時器邏輯電路檢測到任一個處理器花費太久來等待另一個處理器發現，則看門狗計時器邏輯電路能產生鎖步錯誤信號。
用於接收指向兩個或更多鎖步部件的消息的程序稍微更複雜一些，因為希望該部件同時開始處理消息。圖3顯示了如何實現這一點。
向鎖步部件發送消息的設備把消息放在環上，發送到部件之一(310)。例如，如果該設備響應合併消息，它的傳送已經參考圖2進行了描述，則可以將答覆發送給那個圖中標記為「較遠」的處理器，因為在無向環上，「較遠」處理器實際上是與該設備比較近的。較遠和較近處理器都等待答覆(315a、315b)。
較遠處理器接收該消息(320)但是不立即開始對消息進行處理。而是它分配緩衝區以保存確認(330)並且把該消息重新傳送給它的鎖步配對，「較近」處理器(340)。較近處理器接收該消息(350)並且向較遠處理器傳送確認(360)。一旦它在環上傳遞，較遠處理器就能夠接收到該確認(370)，因為它已經預先分配了緩衝區來保存該確認。兩個處理器都開始處理消息(380a、380b)。例如，該消息可包含處理器正在執行的計算所需的數據，或者可包含用於處理器執行的指令。處理同時開始，因為較近處理器能夠根據固定等待時間網絡的速度和較近處理器與較遠處理器之間的節點數來計算出適當的等待時間(390)。回想一下，本發明的實施例可採用非環形和/或可變等待時間網絡，只要發送者能夠計算出確認消息的等待時間。那個等待時間是該適當的等候時間390，並且對它的確認就是允許較近和較遠處理器同時開始處理消息。
雖然前面描述的流程圖集中於具有兩個鎖步CPU的本發明的實施例的操作，所述CPU發送請求或者從單個設備中接收響應，但是也可以對協議進行操作以允許處理器(或者一組鎖步處理器)與冗餘鎖步設備進行交互作用。例如，為了在存儲器中獲得或存儲數據，自一個處理器的請求、或者來自兩個或更多鎖步處理器的合併請求可以被指向兩個或更多鎖步存儲器。通過按照圖3的流程圖，兩個存儲器可設置來同時執行取出或存儲操作，如圖4所描述的那樣。
首先，處理器(或較近處理器)向較近存儲器發送存儲器請求(410)。較近存儲器接收該請求(420)，分配確認緩衝區(430)，以及向其鎖步配對存儲器重新傳送該請求(440)。該鎖步配對接收請求(450)並且返回確認(460)。較近存儲器接收確認(470)，並且兩個存儲器都同時開始取出或存儲操作(480a、480b)。鎖步配對能夠根據固定等待時間網絡的速度和確認要到達其目的地所必須經過的節點數來計算出適當的等待時間(490)。
此外，這兩個存儲器可遵循類似於關於圖2所描述的協議以把驗證答覆發送給請求處理器(一個或多個)。這是在圖5中顯示兩個存儲器都準備響應(510a、510b)。因為兩個存儲器都以鎖步模式來操作，並且如上所述它們同時開始取出或存儲操作，所以基本上同時產生響應。較遠存儲器把它的響應發送給較近的(520)，並且在較近存儲器等候(540)的同時，該響應繞著環傳播(530)。較近存儲器接收響應(550)並且把它與其本身的響應相比較以確定它們是否匹配(560)。如果響應匹配，則向請求處理器發送合併響應(570)。如果存在差別，則產生鎖步錯誤信號(580)以觸發錯誤恢復程序。
前面的討論把在網絡上傳送和接收的消息指定了例如「請求」、「響應」、「確認」之類的語義名稱。然而應當清楚，「請求」消息不同於「響應」消息僅僅在於請求發生在響應之前，並且引起一些設備或鎖步設備組通過發送響應來答覆。對於就所涉及的網絡而言，請求、響應、以及確認都僅僅是從源節點到目的節點的消息。
圖6顯示了實現本發明實施例的多處理器系統的一些邏輯部件。CPU內核610和620可以是獨立的物理設備或者可以是單個「多核」處理的全部自主或部分自主的部分。一些系統可能具有不止兩個物理CPU，在單個處理器中不止兩個核、或者不止一個多核處理器。CPU作為網絡630的節點那樣安裝。網絡可以在單獨的電路中實現，或者可以多核處理器的子部件或者另一個處理器支持電路存在。消息繞著網絡傳播並且可由目的節點處的設備來移除。節點能夠計算至少一些消息的等待時間。這個系統僅包含一個存儲器680和一個I/O設備690，並且CPU內核與存儲器或設備之間的通信是經由橋接器670來路由的，但是根據本發明的實施例的方法可以由其包含多個存儲器和/或設備、具有或不具有橋接設備的系統來使用。
系統包含映射邏輯電路640以確定網絡630上節點的相對位置，以及識別兩個節點中的哪一個離第三節點比較近。每個處理器610和620都包括請求邏輯電路612、622以在處理器以鎖步模式運行時協調從處理器到存儲器680或I/O設備690的請求。請求邏輯電路612、622通過從較遠處理器向較近處理器發送請求、把該請求與較近處理器產生的請求相比較、以及向目的地發送合併請求來實現參考圖2所說明的程序。在包含多個鎖步存儲器或I/O設備的系統中，那些設備將包含對應於請求邏輯電路612、622的邏輯電路以實現圖5的程序，並且允許鎖步存儲器或I/O設備協調對該處理器(一個或多個)的響應。
處理器610和620還包括響應邏輯電路615、625以協調處理器對來自存儲器或I/O設備的響應的處理。響應邏輯電路實現參考圖3所描述的程序。對應於響應邏輯電路615、625的邏輯電路也處於系統的存儲器和I/O設備中，所述系統具有這些部件的多種冗餘例子。
請求驗證邏輯電路618、628把從另一個處理器中接收的消息與本地產生消息相比較，並且如果消息不匹配則發出鎖步錯誤信號；以及鎖步恢復邏輯電路650允許處理器(或者適當的系統中其它鎖步設備)從鎖步錯誤中恢復。
所示的各種邏輯模塊可被實現成硬體實現的電路單元、微代碼或類似的固件或軟體，或者實現成硬體與軟體的組合。圖6所示系統還包括鎖步禁止邏輯電路660以禁止鎖步失敗信號和其他有利於鎖步的邏輯特徵。這允許處理器、存儲器以及I/O設備作為普通的多處理器系統來操作，其中每個處理器獨立地執行它自己的指令流，並且不執行冗餘檢驗。
如圖6所示，CPU內核610和620以及網絡630和各個邏輯元件，例示於單個、單片、多核CPU設備(參見短劃線666)中。在這樣的實施例中，多核CPU可直接替換系統中的普通(非鎖步)多核CPU。這種替換允許系統以冗餘處理模式進行操作以便提高可靠性，或者(當禁止鎖步邏輯時)作為正常的多處理器系統。存儲器680可以採用糾錯碼(「ECC」)電路或者其他類似的技術而不是多個冗餘單元來實現可比較的可靠性。
本發明的實施例可以是一種機器可讀介質，其上存儲了使處理器執行如上所述操作的指令。在其他實施例中，該操作可以由包含硬體邏輯電路的特定硬體部件來執行。那些操作可以替換地由可編程計算機元件和常規硬體元件的任意組合來執行。
機器可讀介質包含用於以機器(例如計算機)可讀的形式來存儲或傳送信息的任何機構，包括但不限於光碟只讀存儲器(CD-ROM)、只讀存儲器(ROM)、隨機存取存儲器(RAM)、可擦除可編程只讀存儲器(EPROM)、以及網際網路上的傳輸。
主要通過參考特定實施例並且根據分配給某些硬體和/或軟體部件的功能已描述了本發明的應用。然而本領域技術人員應當承認在可確定等待時間網絡上建立的鎖步電路操作還可以通過軟體和硬體來產生，所述軟體和硬體可不同於此處所描述那樣來分配本發明實施例的功能。這種改變和實現應當理解為落入以下權利要求之中。
權利要求
1.一種方法，包括產生第一請求；接收第二請求；把該第一請求與該第二請求進行比較；以及如果該第一請求與該第二請求相匹配，則發送合併請求。
2.權利要求1的方法，進一步包括如果該第一請求不同於該第二請求，則發出鎖步失敗信號。
3.權利要求1的方法，其中接收該第二請求包括經由固定等待時間互連來接收該第二請求。
4.權利要求1的方法，其中發送合併請求包括經由固定等待時間互連來發送該合併請求。
5.權利要求1的方法，其中該第一請求和該第二請求是為了從存儲器中獲得數據。
6.權利要求1的方法，其中該第一請求和該第二請求是為了與一部件交換數據；以及其中該部件不同於以鎖步進行操作的多個設備。
7.一種方法，包括從通信網絡上的節點接收消息；分配緩衝區以保存確認；向多個設備中的一個發送該消息；從多個設備中的一個中接收確認；以及對該消息進行處理。
8.權利要求7的方法，其中分配操作發生在發送操作之前，以及處理操作發生在接收確認之後。
9.權利要求7的方法，其中對該消息進行處理包括至少以下之一執行指令；對數據值進行操作；以及存儲數據值。
10.一種方法，包括從多個設備中的一個接收消息；經由已知等待時間通信介質向多個設備中的一個發送確認；等候預定的時間周期；以及對該消息進行處理。
11.權利要求10的方法，其中，該預定的時間周期等於已知等待時間通信介質的等待時間。
12.權利要求10的方法，其中該消息包括來自不同於該多個設備的一個部件的數據。
13.權利要求10的方法，其中對該消息進行處理包括至少以下之一執行指令；對數據值進行操作；以及存儲數據值。
14.一種處理器，包括互連網絡；連接於該網絡的多個處理器內核，其中第一內核以與第二內核鎖步的模式進行操作；連接於該網絡的設備；映射邏輯電路，確定該第一內核、該第二內核及該設備在網絡上的相對位置，以及識別該第一內核與第二內核中哪一個離內該設備較近以及哪一個離該設備較遠；請求邏輯電路，對從該第一內核和第二內核到該設備的請求進行協調；以及響應邏輯電路，對從該設備到該第一內核和第二內核的響應進行協調。
15.權利要求14的處理器，進一步包括請求驗證邏輯電路，將來自該第一內核的第一請求與來自該第二內核的第二請求進行比較；其中如果該第一請求不與該第二請求相匹配，則該請求驗證邏輯電路將發出鎖步失敗信號。
16.權利要求15的處理器，進一步包括鎖步禁止邏輯電路，用於禁止鎖步邏輯元件。
17.權利要求14的處理器，進一步包括鎖步恢復邏輯電路，用於使該第一內核與該第二內核同步。
18.權利要求14的處理器，其中請求邏輯電路用於從該較遠的內核向該較近的內核發送第一請求；把該第一請求與該較近內核的第二請求進行比較；以及從該較近內核向該設備發送合併請求。
19.權利要求14的處理器，其中響應邏輯電路將在該較近內核接收響應；在該較近內核分配確認緩衝區；向該較遠內核發送該響應；以及延遲響應處理直到從該較遠內核接收到確認。
20.一種系統，包括多個中央處理單元(CPU)；存儲器；以及用於在CPU與存儲器之間承載數據的網絡；其中來自該存儲器的消息經由網絡到達第一CPU；該第一CPU經由網絡向第二CPU發送該消息；該第二CPU經由網絡向該第一CPU發送確認；以及該第二CPU在發送該確認之後的預定時間周期開始對該消息進行處理。
21.權利要求20的系統，其中該第一CPU在收到該確認之後開始對該消息進行處理。
22.權利要求20的系統，其中該預定的時間周期等於該確認經由網絡從該第二CPU傳到該第一CPU的等待時間。
全文摘要
描述並請求保護通過在每個設備上產生請求、比較這些請求、並向服務節點提交匹配的請求來以鎖步的模式運行兩個或多個設備的方法。還描述並請求保護了採用所述方法的冗餘執行系統。
文檔編號H04L29/06GK1971548SQ20061017193
公開日2007年5月30日 申請日期2006年11月17日 優先權日2005年11月18日
發明者P·B·拉庫納斯, M·馬蒂娜, G·Z·克裡索斯, S·S·穆克赫吉 申請人:英特爾公司