操作數據處理系統的方法、數據處理系統以及處理器的製造方法

2023-04-26 23:18:36

操作數據處理系統的方法、數據處理系統以及處理器的製造方法
【專利摘要】本發明涉及一種操作數據處理系統的方法、數據處理系統以及處理。操作數據處理系統的技術包括在生產者高速緩存的數據陣列中記錄生產者核心所修改的高速緩存線的地址，以創建用於生產者核心的高可用性(HA)日誌。該技術還包括將HA日誌從生產者高速緩存直接移動到消費者核心的消費者高速緩存，以及將與HA日誌的地址關聯的HA數據從生產者高速緩存直接移動到消費者高速緩存。HA日誌對應於包含多個地址的高速緩存線。最後，該技術包括由消費者核心來為數據處理系統處理HA日誌和HA數據。
【專利說明】操作數據處理系統的方法、數據處理系統以及處理器

【技術領域】
[0001]本公開一般涉及基於檢查點的高可用性日誌和數據，更具體地，涉及將基於檢查點的高可用性日誌和數據從生產者高速緩存直接移動到消費者高速緩存。

【背景技術】
[0002]可以依據應用和支持平臺來考慮計算。支持平臺典型地包括一個或多個處理器核心、輸入/輸出、存儲器和固定存儲設備的硬體基礎設施(其組合支持作業系統(OS)，該作業系統轉而支持一個或多個應用)。應用可被認為是自包含的一組邏輯，其依賴於核心對象文件和相關的資源文件。隨著計算集成到現代產業中，應用變得互相依賴於其他應用的存在。即，應用的必要環境不僅包括底層的OS和支持硬體平臺，還包括其他關鍵應用。
[0003]關鍵應用可以包括應用伺服器、資料庫管理伺服器、協作伺服器，以及被統稱為中間件的通信邏輯。給定應用的複雜性和平臺互操作性，在單個硬體平臺中執行的應用的不同組合可以表現出不同程度的性能和穩定性。虛擬化技術在支持平臺和執行應用之間插入一層。從業務連續性和災難恢復的角度來說，移動配置有多種不同應用的整個環境可以和將虛擬映像從一個支持硬體平臺移動到另一個那麼簡單。
[0004]通常，更強大的計算環境可以支持多種不同虛擬映像的共存，而同時保持映像之間的虛擬分離。結果，一個虛擬映像中的故障情況典型地不會危害相同硬體平臺上的其他協同執行的虛擬映像的完整性。虛擬機監視器(VMM)或管理程序(hypervisor)管理每個虛擬映像和硬體平臺提供的底層資源之間的交互。裸機(bare metal)管理程序直接在硬體平臺上運行，與OS直接在硬體上運行類似。相反，有主機(hosted)的管理程序在主機OS中運行。在任一情形下，管理程序可以支持不同訪客(guest)OS映像或虛擬機(VM)映像的運行。VM映像的數量僅受到VM容器的處理資源的限制，該容器具有VM映像或硬體平臺。
[0005]對於需要針對在單個硬體平臺上部署的不同類型應用有單獨計算環境的終端用戶來說，虛擬化被證明特別有用。例如，一種類型的硬體平臺本機的基礎OS可以提供不同硬體平臺本機的虛擬化訪客OS (從而需要存在訪客OS的應用可以和需要存在基礎OS的其他應用共存)。在該情形下，終端用戶不需要提供單獨的計算環境來支持不同類型的應用。即，不管訪客OS，對單個硬體平臺的底層資源的訪問保持靜態。
[0006]虛擬化環境被部署，以在組合應用解決方案時聚合不同VM中的不同的互相依賴的應用。例如，應用伺服器可以在一個VM中執行，而資料庫管理伺服器在不同的VM中執行，並且web伺服器在另一個VM中執行。每個VM可以在安全網絡中互相通信耦合，並且應用的任何給定部署可以實時(live)遷移到不同的部署，而會干擾其他VM中的其他應用的執行。在典型的實時遷移中，VM可以從一臺主機伺服器移動到另一主機伺服器，例如以允許伺服器維護或允許改進VM的硬體支持。
[0007]基於檢查點的高可用性(HA)是一種技術，其中，在基礎主機上運行的VM在每個周期(例如25mS)將其處理器和存儲器狀態鏡像到次級主機上。鏡像過程典型地包括:跟蹤基礎VM的存儲器和處理器狀態的變化；周期性地停止基礎VM ;通過網絡將該改變發送到次級主機；等待次級主機對存儲器和處理器狀態更新的接收進行確認；以及恢復基礎VM。鏡像過程確保在基礎主機面對突發硬體故障的情況下次級主機能夠以最小服務損失來恢復工作負載。如果次級主機檢測到基礎主機沒有響應或者從基礎主機接收到顯式的通知，次級主機啟動VM的鏡像版本，並且在外部看來,在基礎主機故障時VM無縫連續地執行。
[0008]儘管基於檢查點的HA技術提供了有效的硬體故障保護，基於檢查點的HA技術不會保護軟體故障。因為基礎VM的處理器和存儲器的狀態在次級主機上如實地複製，如果軟體崩潰(例如零指針的去引用)導致次級主機上的故障轉移，VM從最後的檢查點恢復執行，並且如果程序執行是確定性的，會出現相同的錯誤。存在某些受限的情形，其中如果軟體故障導致故障轉移，VM不會崩潰。但是，這些情形很少見，並且更依賴於運氣而非設計。例如，在低級主機上恢復工作負載時，表現為一個處理器可能訪問正被另一處理器修改的數據這種競爭條件的軟體漏洞可能不會出現，因為由於調度，數據可能最終沒有被並行訪問。


【發明內容】

[0009]一種操作數據處理系統的技術，包括在生產者高速緩存的數據陣列中記錄生產者核心所修改的高速緩存線的地址，以便為生產者核心創建高可用性(HA)日誌。該技術還包括將HA日誌移動到消費者核心的消費者高速緩存，以及將與HA日誌的地址關聯的HA數據移動到消費者高速緩存。HA日誌對應於包含多個地址的高速緩存線。最後，該技術包括由消費者核心來為數據處理系統處理HA日誌和HA數據。
[0010]上述總結包含簡化、概括和細節的忽略，並且不是對所請求保護的主題的全面描述，而是要提供與之關聯的某些功能的簡要概覽。在查看下列附圖和詳細描述後，所請求保護的主題的其他系統、方法、功能、特徵和優勢對於本領域技術人員來說將變得明顯。
[0011]在下列詳細描述中，本發明的上述以及其他目標、特徵和優勢將變得明顯。

【專利附圖】

【附圖說明】
[0012]將結合附圖來閱讀說明性實施例的描述，在附圖中:
[0013]圖1是根據本公開的示例性數據處理系統環境的相關部分的圖，該數據處理系統環境被配置為產生高可用性(HA)日誌和數據；
[0014]圖2是可以在圖1的數據處理系統環境中部署的數據處理系統(其包括生產者核心和生產者高速緩存)和另一數據處理系統(其包括消費者核心和消費者高速緩存)的圖；
[0015]圖3是描述根據本公開的實施例HA日誌和數據(分別使用高速緩存注入和橫向驅逐命令)從圖2中的生產者高速緩存傳輸到消費者高速緩存的圖；
[0016]圖4是根據本公開的另一實施例的高速緩存的相關部分的圖，該高速緩存的目錄包括用於每條高速緩存線的HA位，以表示高速緩存線是否需要從生產者高速緩存傳輸到消費者高速緩存；
[0017]圖5是根據本公開的實施例的創建並將HA日誌注入到消費者高速緩存的示例性過程的流程圖；
[0018]圖6是根據本公開的實施例的指定HA數據並將指定的HA數據注入到消費者高速緩存的示例性過程的流程圖。

【具體實施方式】
[0019]說明性實施例提供了一種方法、數據處理系統和處理器，其被配置為將基於檢查點的高可用性(HA)日誌和數據從生產者高速緩存移動到消費者高速緩存。
[0020]在本發明的示例性實施例的下列詳細描述中，詳細描述了可以實現本發明的特定示例性實施例，使得本領域技術人員能夠實現本發明，並且應該理解，可以使用其他實施例，並且可以進行邏輯、架構、程序、機械、電和其他改變，而不脫離本發明的精神或範圍。因此下列詳細描述不應被理解為限制性的，並且本發明的範圍由所附權利要求及其等價物來定義。
[0021]應該理解，特定組件、設備和/或參數名稱的使用僅是示例，而不是暗示對本發明的任何限制。因此本發明可以以用於描述這裡的組件/設備/參數的不同的命名/術語來實現，而沒有限制。給定使用術語的上下文，這裡使用的每個術語應被給予最廣泛的解釋。如這裡所使用的，術語「耦合」可以包括組件或元素之間的直接連接，或者使用一個或多個中間組件或元素的組件或元素之間的間接連接。
[0022]如上所述，基於檢測點的高可用性(HA)是一種技術，其中在「基礎主機」上運行的虛擬機(VM)定期(例如每隔25mS)執行「檢查點」，其將基礎主機的處理器和存儲器狀態鏡像到「次級」主機。鏡像過程涉及:跟蹤VM的處理器寄存器和存儲器狀態的變化；周期性地停止VM ；(例如通過網絡)將被跟蹤的變化發送到次級主機；等待次級主機對處理器和存儲器狀態更新的接收進行確認；以及恢復VM。這確保了次級主機在基礎主機遇到突發硬體故障時能夠以最小服務損失來恢復工作負載。
[0023]在一種或多種傳統的基於檢查點的HA實現中，管理程序使用頁保護來識別VM存儲器的修改區域，在頁保護中，在檢查點之後所有存儲器都被打上只讀標記。管理程序的功能在於:檢測在對存儲器頁首次執行存儲時出現的後續故障；恢復頁的原始訪問許可；以及將頁標記為「髒的」，需要在下一檢查點傳輸該頁。通常，使用檢查點的VM會比不使用檢查點帶來更多的頁保護故障。應該理解，對頁中的單個字節的改變需要整個頁被發送到次級系統，因為一旦頁保護被移除，不使用額外的處理器周期和額外的存儲器將頁與原始頁的副本進行比較，將無法知道頁有多少被修改了。由於需要將整個髒頁發送到次級系統，傳統的系統典型地使用相對小的頁大小(例如4K頁大小，與64K頁大小相對),以減少基礎和次級系統之間的流量。在該情形下，傳統系統性能會受到不利影響，因為作業系統(OS)不能利用大的頁。
[0024]根據本公開的一個或多個方面，通過維護緩衝器，該緩衝器填充有從上個檢查點以來由生產者處理器核心(生產者核心)修改的高速緩存線地址，可以記錄對存儲器的修改，而沒有高速緩存線粒度上的缺頁。可以在檢查點期間或者推測性地在檢查點之前檢查緩衝器，以便確定需要將哪些高速緩存線發送到次級系統以維持一致的存儲器映像。由於更小的修改粒度(例如高速緩存線而不是頁)，在高速緩存中維護緩衝器一般會減少缺頁，並且減少基礎和次級系統之間的流量。緩衝器方法也是頁尺寸不可知的，且由此系統可使用更大的頁尺寸，而不會引起與頁尺寸相關的性能懲罰。
[0025]根據本公開的一個或多個實施例，與已知的方法相比，記錄高速緩存線地址帶來了顯著的性能優勢和複雜度降低。在多個實施例中，公開的技術可以在硬體中實現，某些組件在高速緩存中實現，並且某些參數通過只能有特權的管理程序代碼訪問的處理器寄存器來暴露。在一個或多個實施例中，管理程序軟體被修改，以利用添加的硬體特徵。
[0026]在任何現代處理器設計的高速緩存層級結構中，存在某種形式的驅逐引擎和窺探介入引擎。驅逐引擎負責將從高速緩存逐出的數據寫回到系統存儲器或寫入到與另一處理器關聯的高速緩存。窺探介入引擎負責將數據從給定的高速緩存提供給另一處理器，該處理器正嘗試訪問包含該數據的高速緩存線。例如可以由在高速緩存中為進入的數據釋放空間的需求來觸發驅逐引擎。例如可以觸發窺探介入引擎，以在另一處理器希望修改高速緩存線中的數據時向該另一處理器提供對高速緩存線的獨佔訪問。通常，在檢查點間隔期間(即兩個檢查點之間的時間)，在檢查點之間修改的每條高速緩存線作為髒數據留在高速緩存中或者已經經過驅逐或窺探介入引擎，並且在檢查點上，可以觸發高速緩存行走(walk) / 清洗(scrub)。
[0027]高速緩存清除(flush)將髒數據推送到系統存儲器，從而在檢查點之間被修改的每條高速緩存線確保已經經過驅逐引擎。驅逐引擎和窺探介入引擎可被修改，從而除了將髒高速緩存線數據寫入到存儲器/另一高速緩存之外，引擎還可以運行在將修改的高速緩存線的地址寫入到位於高速緩存中的循環緩衝器的模式中。為了提高效率，高速緩存硬體可被配置為管理中間緩衝器(例如兩條高速緩存線的深度緩衝器)，該中間緩衝器收集驅逐和/或窺探介入引擎所報告的地址。在一個或多個實施例中，在中間緩衝器被地址的全高速緩存線有效負荷充滿時，驅逐引擎(通過驅逐命令)將中間緩衝器的內容移動到循環緩衝器。在至少一個實施例中，中間緩衝器中的每條高速緩存線保存多達十六個八字節地址。
[0028]應當理解，並非數據處理系統的所有處理器核心都在所有時刻運行在生產者模式下。在生產者模式下運行的處理器核心在這裡被稱為「生產者核心」。通過設置管理程序可訪問的硬體標記，可以將處理器核心置於生產者模式下。在至少一個實施例中，在處理器核心處於生產者核心模式時，為了管理對循環緩衝器的寫入，驅逐引擎維護寄存器，其包含:基址(即到緩衝器的基地址的指針)；生產者頭部(即緩衝器中下一地址將被寫入的偏移量)；屏障(即邊界指針)；以及大小(即緩衝器的大小的指示)。
[0029]在多個實施例中，HA日誌被維護在存儲器中，該存儲器與分配給虛擬機(VM)的存儲器分離，並且只能被管理程序訪問。在生產者核心模式下，除了正常的驅逐和/或窺探介入行為，驅逐和窺探介入操作還被配置為將被修改的高速緩存線的地址記錄到高速緩存的當前填充中間緩衝器中(例如使用桌球緩衝，從而一個緩衝器可以被填充而另一個被寫回到另一存儲器)。當在生產者核心模式下時，可以命令驅逐引擎通過下列行為將高速緩存線從高速緩存的中間緩衝器(在它們填充時)移動到高速緩存中的循環緩衝器:發起高速緩存線地址到生產者頭部指針的存儲；遞增生產者頭部指針，如果生產者頭部指針到達基址(base)+大小(size)，則折回到基址；並且如果生產者頭部等於屏障，則將故障傳遞給管理程序。
[0030]在多個實施例中，在下一檢查點出現時:基礎主機上的管理程序掛起VM的執行；觸發高速緩存行走操作，以便為HA日誌生成條目；並且消費者核心(其可以是物理不同的核心或相同的核心(但不再處於生產者核心模式))遍歷HA日誌，並且針對每個條目，讀取地址，從VM的存儲器讀取該地址處的當前數據，將(地址、數據)對發送到次級主機(在那兒它被用於更新次級VM的存儲器映像)，與次級系統同步其他狀態(例如處理器寄存器)，然後發起基礎VM的執行恢復。
[0031]消費者核心可以實現各種優化。例如，在檢查點間隔中特定的地址被驅逐若干次時，驅逐地址將出現在日誌中多次。應該理解，重複的驅逐地址僅需要被發送到次級系統一次，因為被發送的是VM的存儲器中的當前數據，而不是被驅逐時的數據(其未被記錄)。這樣，消費者核心可以執行某種縮減(reduct1n)，以減少到次級系統的帶寬。如上所述，在VM使用多個處理器核心並且同一條高速緩存線在同一檢查點間隔期間被多於一個處理器核心驅逐時，該地址將出現在多個日誌中，但僅需要被發送一次。再一次地，可以執行跨日誌的某種縮減以減少帶寬。
[0032]消費者核心可以開始推測性地處理檢查點之前的生產者核心的HA日誌。儘管推測性地處理生產者核心的HA日誌降低了用於縮減的範圍，推測性地處理生產者核心的HA日誌會平滑到次級系統的數據傳輸，並更有效地利用可用的總帶寬。需要注意，基礎VM使用的工作足跡的主體(bulk)在檢查點之間的時間期間可以位於高速緩存中，並且記錄的主體可以出現在檢查點的時間。硬體的自然高速緩存可以在僅記錄給定高速緩存線一次時進行有效的工作，即使在檢查點之間它已被存儲多次。屏障寄存器的目的是確保在檢查點操作期間不會由於日誌折回而丟失任何數據。基於生產者頭部針對屏障的檢查，屏障指向檢查點間隔中的第一條日誌記錄，以確保數據不會被覆蓋。
[0033]在多個實施例中，如果到達屏障，則發起故障轉移到次要系統，或者所有VM存儲器都被重新同步。故障轉移到次要系統或者VM存儲器重新同步是需要的，因為在高速緩存中可能存在還沒有經過驅逐引擎的髒數據。在該情形下，不希望簡單地發起即刻檢查點，因為已經沒有地方來記錄髒地址。通常，管理程序應同時確保日誌有合適的大小並且還能定期監視生產者頭部指針，如果預期到日誌溢出則發起較早的檢查點。如果消費者核心推測性地處理日誌，則管理程序可以周期性地移動屏障指針，從而只有在生產者核心與(在消費者核心落後的情況下)消費者核心還沒有處理的日誌條目衝突時才會觸發溢出。
[0034]可以實施修改，使得驅逐引擎和窺探介入引擎記錄在檢查點之間離開高速緩存的存儲器地址，並且在檢查點發起高速緩存清空以確保高速緩存中沒有留下修改的數據(由此確保被修改的數據經過驅逐引擎並且被記錄)。該方法的缺點是在每個檢查點間隔都需要高速緩存清空。高速緩存清空導致驅逐引擎和存儲器子系統的額外壓力，並且一般會降低在高可用性(HA)模式下運行的工作負載的性能。
[0035]根據另一方法，通過為高速緩存中的每條高速緩存線引入新的「HA位」來確保在檢查點間隔記錄所有地址，而不需要進行高速緩存清空。當處理器核心在生產者核心模式下運行時，通過高速緩存線的修改來設置HA位，並且可作為高速緩存行走操作的一部分來清除它，該高速緩存行走操作在檢查點上執行，並且行走高速緩存使得HA位被認定(asserted)的高速緩存線將其地址記錄到循環緩衝器。然後針對所有高速緩存線來解除認定(de-aSSert)HA位。在該實現中，與高速緩存線關聯的數據未被寫入到系統存儲器，並且該高速緩存線在高速緩存內部仍然被標記為「髒的」。處理器高速緩存典型地被實現為查找表，其將地址(標籤)與某些數據相關聯。該標籤可以是虛擬或物理地址，或其某種組合，並且數據是固定大小的(例如高速緩存線)。對於任何給定標籤，在高速緩存中可以存在能找到數據的若干個位置，且從而高速緩存查找典型地涉及檢查若干個槽(slot)來找到匹配的標籤。此外，槽可以不包含任何數據，且從而槽典型地不僅包含將與標籤關聯的數據，還包含多個標誌。
[0036]根據另一實現，HA位被添加到高速緩存中的每個槽。當與高速緩存線關聯的數據被在生產者核心模式下運行的處理器核心更新時，HA位被認定。在檢查點上，高速緩存行走操作遍歷整個高速緩存，與高速緩存清空類似，但不是檢查「髒位」並將數據向外推送到系統存儲器，而是高速緩存行走操作會檢查「HA位」並將物理地址向外推送到循環緩衝器。
[0037]在大多數計算系統中，通常有多層高速緩存(例如級別I到級別N(即LI到LN)，其中LI表示最快、最小的高速緩存，其最接近處理器核心，而N典型地是3或4，並且在N增加時趨向於更慢和更大)。在一個或多個實施例中，高速緩存行走操作遍歷可能包含HA修改數據的所有高速緩存，但這不一定意味著所有高速緩存都必須被遍歷，因為某些高速緩存級別可以是直寫式(write-through)或回寫式(write-back)的。眾所周知,直寫式高速緩存在高速緩存中保留數據，但也將數據同步地推送回到下一高速緩存級別，以有利於後續讀取的快速訪問時間。直寫式高速緩存的寫入比回寫式高速緩存更昂貴，因為寫入者必須等待(更慢的)下一級別高速緩存的寫入完成。直寫式高速緩存不需要被清空。回寫式高速緩存在高速緩存中保留數據，但不會將數據同步地推送到高速緩存中的下一級別。使用回寫式高速緩存，寫入到高速緩存的過程更快，代價是必須管理對稱多處理器(SMP)系統中的高速緩存之間的數據一致性。在從高速緩存中逐出數據以為額外的數據騰出空間時，會引起寫入到高速緩存中的下一級別的成本。
[0038]在多層高速緩存的層級結構中，只有回寫式高速緩存需要被高速緩存行走操作遍歷。例如，在包含直寫式LI高速緩存、回寫式L2高速緩存和回寫式L3高速緩存的系統中，處理器執行的任何寫入都將去往LI高速緩存(因為它是直寫式的)，也被寫到L2高速緩存。在該情形下，在LI高速緩存中不存在L2高速緩存中沒有的髒數據。由於在L2高速緩存中需要更多的空間，髒數據被逐出並變成L3高速緩存中的髒數據。在該例子中，在生產者核心模式下執行的寫入會設置L2高速緩存中用於關聯的高速緩存線的HA位。當在L2高速緩存中具有設置的HA位的高速緩存線被驅逐到L3高速緩存時，L3高速緩存中的與該高速緩存線關聯的HA位被設置。在該例子中，LI高速緩存不需要HA位。在檢查點上，高速緩存行走操作需要遍歷L2和L3高速緩存兩者，將具有被認定的HA位的高速緩存線的所有物理地址寫入到循環緩衝器，並且一旦操作完成則清除所有HA位。
[0039]上述描述說明了對高速緩存硬體的增強，以確保在定期的間隔中，高速緩存中的循環緩衝器存儲從最後檢查點以來由給定存儲器核心修改的所有存儲器位置的列表。被修改的存儲器位置的列表可被用於改善系統性能和可靠性。(在「循環緩衝器」、「HA日誌」或「HA表」中存儲的)被修改的存儲器位置的列表由支持高速緩存例如L2/L3高速緩存維護，並且修改的高速緩存線保持HA數據。HA日誌和HA數據被消費者核心處理，以提供系統可靠性和冗餘度。HA生產者高速緩存將HA日誌傳統地寫到系統存儲器。由於從和HA生產者核心關聯的高速緩存中犧牲(victimize)出了 HA數據，該HA數據也被傳統地寫到系統存儲器。
[0040]為了處理HA日誌和HA數據，消費者核心從系統存儲器傳統地讀取HA日誌和HA數據兩者。與這裡公開的技術相比，該傳統方法需要對系統存儲器的多次訪問，導致存儲器資源的相對大的帶寬成本，消耗功率,並增加了消費者核心處理HA日誌和HA數據的時間。在現代的大型伺服器中，存儲器資源很昂貴，並且存儲器功率是系統功率的主要部分。根據本公開，處理HA日誌和HA數據的時間被縮減，這增加了系統可以用於其他任務的時間。
[0041]根據本公開的一個或多個實施例，與HA生產者核心關聯的生產者高速緩存(從生產者高速緩存中的循環緩衝器)直接移動HA日誌到HA消費者核心的高速緩存。根據多個方面，生產者高速緩存還將生產者高速緩存中存儲的HA數據直接移動到消費者核心的高速緩存中。通過該方式，取消了生產者高速緩存將HA日誌和HA數據往外移動到系統存儲器然後消費者核心必須從系統存儲器獲取HA日誌和HA數據兩者。這樣，消費者核心執行HA系統備份的時間被縮減，存儲器資源的負擔降低，並且與實現HA相關的功耗被降低。
[0042]在多個實施例中，HA生產者高速緩存被配置為標識應當被置於HA日誌中的高速緩存線。對於HA日誌條目，HA生產者包含硬體寄存器來標識HA日誌的位置。在一個或多個實施例中，HA生產者高速緩存利用系統總線「高速緩存注入」命令或「強制的高速緩存注入」命令將HA日誌條目一致地直接安裝到HA消費者核心的高速緩存中(而不是將HA日誌條目寫入到系統存儲器)。高速緩存注入命令被配置為維護一致性，因為生產者核心在HA日誌寫入時沒有HA日誌高速緩存線的所有權。眾所周知，高速緩存注入命令是特殊的系統總線命令，其有助於將高速緩存線直接寫到高速緩存(例如消費者高速緩存)中。基於生產者高速緩存的目錄中「HA位」，HA數據可以和非HA數據區分，該「HA位」被用於跟蹤哪條高速緩存線被HA生產者核心修改。
[0043]在生產者高速緩存犧牲HA數據時，橫向驅逐(LCO)命令可被用於將HA數據一致地傳輸到HA消費者核心的高速緩存(在同一級別，例如L2-L2，L3-L3)，而不是系統存儲器。LCO命令允許生產者高速緩存為所有HA數據特別地以消費者核心的高速緩存為目標。在一個或多個實施例中，LCO命令被用於傳輸HA數據，因為生產者核心已經具有HA數據的所有權並且LCO更高效。在(通過正常負載來)處理HA日誌時，消費者核心將發現HA日誌高速緩存線條目已經在其自己的L2和L3高速緩存中，這會最小化訪問HA日誌所需的時間(HA日誌指向HA數據高速緩存線)。在消費者核心發起HA數據處理時，這些HA數據高速緩存線被發現已經在消費者核心高速緩存(例如消費者核心的L2和L3高速緩存)中一致地安裝。將HA日誌和HA數據從生產者高速緩存直接移動到消費者高速緩存大幅降低了與執行系統的HA備份所需的消費者核心處理HA日誌和HA數據相關聯的系統總線流量和延遲。
[0044]參考圖1，示出了示例性數據處理環境100，其包含數據處理系統110，根據本公開的一個或多個實施例，數據處理系統110被配置為將HA日誌和HA數據從生產者高速緩存直接移動到消費者高速緩存。數據處理系統110可以採用多種形式，例如工作站、膝上型計算機系統、筆記本計算機系統、桌面計算機系統或伺服器以及/或者其集群。數據處理系統110包括耦合到數據存儲子系統104的一個或多個處理單元或處理器102 (其中每個可以包括用於執行程序代碼的一個或多個處理器核心)、可選的顯示器106、一個或多個輸入設備108、以及網絡適配器109。數據存儲子系統104例如可以包括應用合適數量的各種存儲器(例如動態隨機存取存儲器(DRAM)、靜態RAM(SRAM)、只讀存儲器(ROM))，以及/或者一個或多個大容量存儲設備例如磁碟或光碟驅動器。
[0045]數據存儲子系統104包括用於數據處理系統110的一個或多個作業系統(OS) 114。數據存儲子系統104還包括應用程式，例如瀏覽器112 (其可選地包括定製插件來支持各種客戶端應用)、用於管理由不同OS映像實例化的一個或多個虛擬機(VM) 120的管理程序(或虛擬機監視器(VMM)) 116、以及其他應用(例如字處理應用、演示應用以及電子郵件應用)118。
[0046]顯示器106例如可以是陰極射線管(CRT)或液晶顯示器(IXD)。數據處理系統110的輸入設備108例如可以包括滑鼠、鍵盤、觸覺設備和/或觸控螢幕。網絡適配器109支持數據處理系統110使用一種或多種通信協議(例如802.X、HTTP、簡單郵件傳輸協議(SMTP)等)與一個或多個有線和/或無線網絡進行通信。數據處理系統110被顯示為通過一個或多個有線或無線網絡(例如網際網路122)連接到各個文件伺服器124和各個網頁伺服器126，該伺服器向數據處理系統110的用戶提供感興趣的信息。數據處理環境100還包括以和數據處理系統110類似的方式配置的一個或多個數據處理系統(DPS) 150。通常，數據處理系統150表示數據處理系統110遠端的數據處理系統，並且可以執行與在數據處理系統110上執行的一個或多個OS映像相連結的OS映像。
[0047]本領域的普通技術人員將理解，圖1中示出的硬體組件和基本配置可以變化。數據處理系統110中的說明性組件不是窮舉性的，而是說明性的以突出可被用於實現本發明的組件。例如，額外地或者代替所示硬體，可以使用其他的設備/組件。所示例子不是要表示與當前描述的實施例相關的架構或其他限制。
[0048]參考圖2，以額外的細節來說明數據處理系統(DPS) 110和150的相關組件。DPS110和150可以包括一個或多個處理器102，其中每個包含與例如可在數據存儲子系統104中實現的一個或多個其他高速緩存級別(例如L2和L3高速緩存)耦合的級別I (LI)高速緩存。如圖2所示，DPS 110包括耦合到生產者高速緩存(例如L2和/或1^3高速緩存)204的生產者核心202。如圖所示，生產者高速緩存204可以包括驅逐引擎205、窺探介入引擎206、循環緩衝器207以及中間緩衝器208。類似地，DPS 150包括耦合到消費者高速緩存(例如L2和/或L3高速緩存)214的消費者核心212。儘管生產者核心202/生產者高速緩存204和消費者核心212/消費者高速緩存214被示為在不同的數據處理系統中，可以理解，生產者核心202、生產者高速緩存204、消費者核心212和消費者高速緩存214可以在包含多個處理核心的同一數據處理系統中實現。
[0049]參考圖3，生產者高速緩存204被示為將HA數據302和HA日誌304直接存儲到消費者高速緩存214中。HA數據302和HA4日誌304可被存儲在相同的高速緩存級別(例如H2或H3)中，或者可被存儲在不同的高速緩存級別中。消費者高速緩存214被示為響應於來自生產者高速緩存204的橫向驅逐(LCO)命令來存儲HA數據302。消費者高速緩存214還被示為響應於來自生產者高速緩存204的高速緩存注入命令來存儲HA日誌304。應該理解，可以使用其他類型的操作將HA數據302和HA日誌304從生產者高速緩存204直接移動到消費者高速緩存214。通常，消費者核心212處理HA日誌304和HA數據302所需的時間被大幅縮短，因為消費者核心212不需要從系統存儲器取回HA日誌304和HA數據302。如這裡所使用的，術語「系統存儲器」是指「主存儲器」，並且不包含「高速緩存存儲器」。
[0050]參考圖4，示例性高速緩存402被示為包含目錄404 (其包含用於每條高速緩存線的標籤和HA位)以及陣列406 (其包含數據)。應該理解，目錄404還可以包含用於每條高速緩存線的若干標誌(未示出)。如上所述，HA位指示高速緩存線是否需要從生產者高速緩存204傳輸到消費者高速緩存214以進行處理。在與高速緩存線關聯的數據被生產者核心202(即在生產者核心模式下運行的處理器核心)更新時，該HA位被認定。在檢查點上，(例如至少部分由驅逐引擎205執行的)高速緩存行走操作可以遍歷真箇生產者高速緩存204來檢查每條高速緩存線的「HA位」。具有被認定的HA位的每條高速緩存線的物理地址然後被寫入到HA日誌304中(其可以對應於中間緩衝器208)。在一個或多個實施例中，在HA日誌304充滿(或者在某些其他的閾值水平，例如四分之三充滿)時，生產者高速緩存204(例如響應於窺探介入引擎206所發出的高速緩存注入命令)將HA日誌304移動到消費者高速緩存214以用於後續處理。在一個或多個實施例中，在犧牲HA數據302(即從生產者高速緩存204逐出高速緩存線以為額外數據騰出空間時)時，生產者高速緩存204 (例如響應於來自驅逐引擎205的橫向驅逐命令)將HA數據302移動到消費者高速緩存214以用於後續處理。或者，生產者高速緩存204可以在犧牲之前(例如響應於橫向驅逐命令)將HA數據302移動到消費者高速緩存214。在任何情況下，在發起HA處理時，消費者核心212利用HA日誌304來確定HA數據302的位置。
[0051]參考圖5，示出了過程500，每次例如HA日誌304需要創建新條目(例如，響應於在高速緩存行走、高速緩存清空、HA高速緩存線犧牲、以及/或者HA高速緩存線介入期間找到HA線)時，該過程開始於框502。接下來，在框504中，生產者高速緩存204在生產者高速緩存204中的HA日誌304中創建條目。然後，在框506中，生產者高速緩存204在HA日誌304中記錄修改的高速緩存線的地址(例如在生產者高速緩存204的中間緩衝器208中)。接下來，在框507中，生產者高速緩存204解除認定用於記錄的高速緩存線的HA位。接下來，在決策框508中，生產者高速緩存204確定HA日誌304是否已經到達預定的填充水平(例如百分之七十滿、百分之八十滿、全滿)。響應於在框508中HA日誌304沒有滿，控制從框508傳到框506。響應於在框508中HA日誌304處於預定的填充水平，控制從框508傳到框510，在此，生產者高速緩存204 (例如在將HA日誌從中間緩衝器208傳輸到生產者高速緩存204的循環緩衝器204之後)發起將HA日誌304緩存注入到消費者高速緩存214中。除了在框510中發起將HA日誌304緩存注入到消費者高速緩存214中，可以創建另一過程500來加速檢查點。或者，生產者高速緩存204可以使用另一閾值來確定何時將HA日誌304注入到消費者高速緩存214中。在框510之後，過程500在框512中結束，直到需要創建下一HA日誌。
[0052]參考圖6，示出了過程600，其每次例如創建HA數據302時從框602開始。接下來，在框604中，生產者高速緩存204認定被修改的高速緩存線的HA位，以指示高速緩存線應當被記錄為生產者高速緩存204中的HA數據302。然後，在判定框606中，生產者高速緩存204確定HA數據302中的高速緩存線是否被犧牲。響應於在框606中HA數據302中的高速緩存線未被犧牲，控制回到框606。響應於在框606中HA數據302中的高速緩存線被犧牲，控制從框606傳到框608，其中，生產者高速緩存304發起將被修改的高速緩存線(即HA數據302)移動到消費者高速緩存214中。例如可以使用橫向驅逐(LCO)命令將被修改的高速緩存線從生產者高速緩存204移動到消費者高速緩存214。或者，可以在犧牲被修改的高速緩存線之前將被修改的高速緩存線從生產者高速緩存204移動到消費者高速緩存214。在框608之後，過程600在框610中結束，直到在生產者高速緩存204中修改下一高速緩存線。
[0053]因此，這裡公開了將基於檢查點的高可用性(HA)日誌和數據從生產者高速緩存直接移動到消費者高速緩存的技術。
[0054]在上述流程圖中，圖5和6所示的方法可以在包含計算機可讀代碼的計算機可讀介質中實現，從而在計算設備上執行計算機可讀代碼時可以執行一系列步驟。在某些實現中，該方法的特定步驟可被組合、同時或者以不同的順序來執行、或者可能被省略，而不偏離本發明的精神和範圍。於是，儘管以特定的順序描述和說明了方法步驟，使用特定順序的步驟並非表示對本發明的任何限制。可以針對步驟順序進行更改，而不偏離本發明的精神和範圍。因此使用特定的順序不應被理解為限制性的，並且本發明的範圍僅由所附權利要求來限定。
[0055]所屬【技術領域】的技術人員知道，本發明的各個方面可以實現為系統、方法或電腦程式產品。因此，本發明的各個方面可以具體實現為以下形式，即:完全的硬體實施方式、完全的軟體實施方式(包括固件、駐留軟體、微代碼等)，或硬體和軟體方面結合的實施方式，這裡可以統稱為「電路」、「模塊」或「系統」。此外，在一些實施例中，本發明的各個方面還可以實現為在一個或多個計算機可讀介質中的電腦程式產品的形式，該計算機可讀介質中包含計算機可讀的程序代碼。
[0056]可以採用一個或多個計算機可讀介質的任何組合。計算機可讀介質可以是計算機可讀信號介質或者計算機可讀存儲介質。計算機可讀存儲介質例如可以是一但不限於——電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任何以上的組合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括:具有一個或多個導線的電連接、可攜式計算機盤、硬碟、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPR0M或快閃記憶體)、光纖、可攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任何合適的組合。在本文件中，計算機可讀存儲介質可以是任何包含或存儲程序的有形介質，該程序可以被指令執行系統、裝置或者器件使用或者與其結合使用。
[0057]計算機可讀的信號介質可以包括在基帶中或者作為載波一部分傳播的數據信號，其中承載了計算機可讀的程序代碼。這種傳播的數據信號可以採用多種形式，包括——但不限於——電磁信號、光信號或上述的任何合適的組合。計算機可讀的信號介質還可以是計算機可讀存儲介質以外的任何計算機可讀介質，該計算機可讀介質可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程序。
[0058]計算機可讀介質上包含的程序代碼可以用任何適當的介質傳輸，包括一但不限於——無線、有線、光纜、RF等等，或者上述的任何合適的組合。
[0059]可以以一種或多種程序設計語言的任何組合來編寫用於執行本發明操作的電腦程式代碼，所述程序設計語言包括面向對象的程序設計語言一諸如Java、Smalltalk、C++等，還包括常規的過程式程序設計語言一諸如「C」語言或類似的程序設計語言。程序代碼可以完全地在用戶計算機上執行、部分地在用戶計算機上執行、作為一個獨立的軟體包執行、部分在用戶計算機上部分在遠程計算機上執行、或者完全在遠程計算機或伺服器上執行。在涉及遠程計算機的情形中，遠程計算機可以通過任何種類的網絡一包括區域網(LAN)或廣域網(WAN)—連接到用戶計算機，或者，可以連接到外部計算機(例如利用網際網路服務提供商來通過網際網路連接)。
[0060]參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或框圖描述了本發明。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦程式指令實現。這些電腦程式指令可以提供給通用計算機、專用計算機或其它可編程數據處理裝置的處理器，從而生產出一種機器，使得這些電腦程式指令在通過計算機或其它可編程數據處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。
[0061]也可以把這些電腦程式指令存儲在計算機可讀介質中，這些指令使得計算機、其它可編程數據處理裝置、或其他設備以特定方式工作，從而，存儲在計算機可讀介質中的指令就產生出包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的指令的製造品(article of manufacture)。也可以把電腦程式指令加載到計算機、其它可編程數據處理裝置或其他裝置上，使得在計算機、其它可編程數據處理裝置或其他裝置上執行一系列操作步驟，以產生計算機實現的過程，從而在計算機、其它可編程裝置或其他裝置上執行的指令就提供實現流程圖和/或框圖中的方框中規定的功能/操作的過程。
[0062]如將進一步理解的，本發明的實施例中的過程可使用軟體、固件或硬體的任何組合被實施。作為將本發明在軟體中實施的準備步驟，編程代碼(不管是軟體還是固件)將典型地被存儲在一個或多個機器可讀的存儲介質中，諸如固定(硬)驅動器、軟盤、光碟、磁帶、半導體存儲器，諸如R0M、PR0M等，由此製作根據本發明的製造品。包含程序代碼的製造品通過執行直接來自存儲設備的代碼被使用，通過將來自存儲設備的代碼複製到另一個存儲設備，諸如硬碟、RAM等，或通過使用傳輸類型的介質(諸如數字和模擬通信鏈路)傳輸代碼用於遠程執行。本發明的方法可通過合併一個或多個機器可讀存儲設備而被實現，所述設備包含根據本發明的代碼，並具有合適的處理硬體來執行其中包含的代碼。用於實施本發明的設備可以是一個或多個處理設備，以及包含根據本發明編碼的程序或具有對其的訪問權的存儲子系統。
[0063]因此，儘管在具有安裝(或執行)的軟體的完全功能計算機(伺服器)系統環境中描述了本發明的說明性實施例，本領域技術人員將理解本發明的說明性實施例的軟體方面能以各種形式的程序產品被分發，且本發明的說明性實施例同樣適用，而不管被用於實際執行分發的介質的特定類型。
[0064]儘管已參考示例性實施例描述本發明，本領域技術人員講理解可對其元件進行各種修改，並替換其等價物，而不脫離本發明的範圍。此外，可進行許多修改以適應特定系統、設備及其組件，以適於本發明的教導而不脫離實質範圍。因此，本發明不限於在此描述的特定實施例，而是包括落入所附權利要求書範圍內的所有實施例。而且，第一、第二等的術語的使用不是指示任何順序或重要性，而是用來區分元件。
[0065]在此使用的術語僅是為了描述特定實施例，且不旨在限制本發明。如在此使用的，單數形式「一」、「一個」和「該」也包括複數形式，除非上下文另有清楚說明。將理解術語「包括」和/或「包含」，當被用在本說明書中時，指示存在所述的特點、整體、步驟、操作、元件和/或組件，但不排除存在或添加一個或多個其他特點、整體、步驟、操作、元件、組件和/或其組合。
[0066]以下權利要求中的所述裝置或步驟加功能性元件的相應的結構、材料、行為和等價物旨在包括用於結合在權利要求中特意闡明的元件而執行該功能的任何結構、材料或行為。本發明的說明已出於解釋和描述的目的被展示，但不限於將本發明限制在公開的形式。許多修改和變化對於本領域普通技術人員來說是明顯的，且不脫離本發明的精神和範圍。選擇並描述實施例是為了最好地解釋本發明的原理和實際應用，且使得本領域普通技術人員能理解本發明的具有適用於所打算的特定用途的各種修改的各種實施例。
【權利要求】
1.一種操作數據處理系統的方法，包括: 在生產者高速緩存的數據陣列中記錄生產者核心所修改的高速緩存線的地址，以創建用於生產者核心的高可用性(HA)日誌，其中，HA日誌對應於包含多個所述地址的高速緩存線.-^4 ， 將HA日誌從生產者高速緩存直接移動到消費者核心的消費者高速緩存； 將與HA日誌的地址關聯的HA數據從生產者高速緩存直接移動到消費者高速緩存；以及 由消費者核心為數據處理系統處理HA日誌和HA數據。
2.如權利要求1所述的方法，其中，所述被修改的高速緩存線由HA位指示。
3.如權利要求1所述的方法，其中，在生產者高速緩存中記錄生產者核心所修改的高速緩存線的地址包括在與生產者高速緩存關聯的中間緩衝器中記錄被修改的高速緩存線的地址。
4.如權利要求3所述的方法，其中，將HA日誌從生產者高速緩存直接移動到消費者高速緩存包括響應於中間緩衝器充滿而將HA日誌從中間緩衝器傳輸到循環緩衝器，以及使用高速緩存注入命令將循環緩衝器中存儲的HA日誌注入到消費者高速緩存。
5.如權利要求1所述的方法，其中，響應於生產者高速緩存犧牲與HA日誌的地址關聯的HA數據而將該HA數據從生產者高速緩存直接移動到消費者高速緩存。
6.如權利要求5所述的方法，其中，所述生產者高速緩存利用橫向驅逐(LCO)命令來發起HA數據從生產者高速緩存到消費者高速緩存的一致傳輸。
7.如權利要求1所述的方法，其中，所述消費者高速緩存是級別2(L2)高速緩存或級別3(L3)高速緩存。
8.一種數據處理系統，包括: 生產者核心； 與生產者核心耦合的生產者高速緩存； 消費者核心；以及 與消費者核心耦合的消費者高速緩存，其中，所述生產者高速緩存被配置為:在生產者高速緩存的數據陣列中記錄生產者核心所修改的高速緩存線的地址，以創建用於生產者核心的高可用性(HA)日誌；將HA日誌直接寫入到消費者核心的消費者高速緩存，以及將與HA日誌的地址關聯的HA數據直接寫入到消費者高速緩存，並且其中，所述HA日誌對應於包含多個所述地址的高速緩存線，並且消費者核心被配置成為數據處理系統處理HA日誌和HA數據。
9.如權利要求8所述的數據處理系統，其中，所述被修改的高速緩存線由HA位指示。
10.如權利要求8所述的數據處理系統，其中，所述被修改的高速緩存線的地址被記錄在生產者高速緩存的中間緩衝器中。
11.如權利要求10所述的數據處理系統，其中，響應於中間緩衝器充滿，將HA日誌從中間緩衝器傳輸到消費者高速緩存的循環緩衝器，並通過將循環緩衝器中存儲的HA日誌注入到消費者高速緩存將該日誌寫入消費者高速緩存。
12.如權利要求8所述的數據處理系統，其中，響應於生產者高速緩存犧牲與HA日誌的地址關聯的HA數據，將該HA數據直接寫入到消費者高速緩存。
13.如權利要求12所述的數據處理系統，其中，所述生產者高速緩存利用橫向驅逐(LCO)命令來發起HA數據從生產者高速緩存到消費者高速緩存的一致傳輸。
14.如權利要求8所述的數據處理系統，其中，所述消費者高速緩存是級別2(L2)高速緩存或級別3 (L3)高速緩存。
15.一種處理器，包括: 生產者核心；以及 與該生產者核心耦合的生產者高速緩存，其中，該生產者高速緩存被配置為:在生產者高速緩存的數據陣列中記錄生產者核心所修改的高速緩存線的地址，以創建用於生產者核心的高可用性(HA)日誌；將撤日誌直接寫入到消費者核心的消費者高速緩存，以及將與HA日誌的地址關聯的HA數據直接寫入到消費者高速緩存，並且其中，所述HA日誌對應於包含多個所述地址的高速緩存線，並且消費者核心被配置為處理HA日誌和HA數據。
16.如權利要求15所述的處理器，其中，所述被修改的高速緩存線由HA位指示。
17.如權利要求15所述的處理器，其中，所述被修改的高速緩存線的地址被記錄在生產者高速緩存的中間緩衝器中。
18.如權利要求17所述的處理器，其中，響應於中間緩衝器充滿，將HA日誌從中間緩衝器傳輸到消費者高速緩存的循環緩衝器，並通過將循環緩衝器中存儲的HA日誌注入到消費者高速緩存將該日誌寫入消費者高速緩存，並且其中，響應於生產者高速緩存犧牲與HA日誌的地址關聯的HA數據，將該HA數據寫入到消費者高速緩存。
19.如權利要求15所述的處理器，其中，所述生產者高速緩存利用橫向驅逐(LCO)命令來發起HA數據從生產者高速緩存到消費者高速緩存的一致傳輸。
20.如權利要求15所述的處理器，其中，所述消費者高速緩存是級別2(L2)高速緩存或級別3(L3)高速緩存。
【文檔編號】G06F12/08GK104516832SQ201410513668
【公開日】2015年4月15日 申請日期:2014年9月29日 優先權日:2013年10月8日
【發明者】G·L·格思裡, S·R·孔克爾, H·M·勒, G·諾斯, W·J·斯塔克 申請人:國際商業機器公司