一種基於微架構感知的虛擬機調度多策略選擇方法

2023-05-16 01:44:31

一種基於微架構感知的虛擬機調度多策略選擇方法
【專利摘要】本發明的微架構感知的多策略虛擬機調度方法，該多策略虛擬機調度方法中採集各個虛擬機的性能特徵信息，通過對虛擬機的運行性能特徵信息中各個性能特徵，按照設定的性能特徵優先級從高至低依次為各個虛擬機設定調度算法，並根據調度算法將各個虛擬機劃分至相應的隊列中，並按照設定的隊列優先級判斷各個隊列的變化，根據隊列的變化來調用相應的調度算法。該多策略虛擬機調度方法有效利用NUMA多核系統中潛在的性能提升空間，從而提高虛擬化系統的整體性能，降低物理資源使用成本，同時降低能耗等其他管理開銷。
【專利說明】一種基於微架構感知的虛擬機調度多策略選擇方法
【技術領域】
[0001]本發明涉及虛擬計算機【技術領域】，尤其涉及一種基於微架構感知的虛擬機調度多策略選擇方法。
【背景技術】
[0002]雲計算數據中心部署的伺服器普遍採用多核處理器、非一致內存訪問(Non-Uniform Memory Access, NUMA)架構，每臺伺服器上擁有多個NUMA節點。
[0003]NUMA多核體系結構中，存在多種硬體資源的共享利用以及內存訪問的非一致性等特點。
[0004]每個NUMA節點擁有多個處理核心(core或CPU，以下稱CPU)，多個CPU共享最後一級緩存(L3共享緩存)，內存控制器等微架構。NUMA架構的引入，使得系統中硬體資源的拓撲結構相對一致內存訪問(Uniform Memory Access,UMA)架構更加複雜，導致不同NUMA節點上的CPU訪問內存的延遲不一致，CPU訪問非本地NUMA節點內存的延遲大於訪問本地NUMA節點的內存。同時，不同的CPU分別共享各自NUMA節點上的最後一級緩存，導致任務運行在不同CPU上時，任務運行的性能表現會因共享緩存的使用情況、內存帶寬的使用情況、以及內存訪問遠近等的不同而出現較大的性能差異。
[0005]例如在Intel的NUMA多核結構中，通過高速互聯技術(QuickPath Interconnect,QPI)將系統中的各個NUMA節點連接成一個統一地址空間的計算機系統。每個NUMA節點上擁有自己的L3共享緩存、內存控制器、以及相應的內存單元。如圖1所示的結構中，存在的共享微架構主要包括L3共享緩存、QPI互連設備、內存控制器。這些微架構是否能夠被系統合理高效地使用，對於系統整體性能有很大的影響。
[0006]目前，在多核NUMA架構中，主要存在以下幾種微架構資源使用問題:
[0007](1)L3共享緩存的數據共享問題；
[0008](2)L3共享緩存的資源競爭問題；
[0009](3)互連設備的帶寬競爭問題；
[0010](4)內存控制器及內存帶寬的競爭問題；
[0011](5)內存的非一致訪問問題；
[0012]其中內存的非一致訪問問題是除了以上微架構的資源使用問題之外，還存在NUMA架構最普遍的問題。
[0013]針對以上問題，現有的虛擬機傳統調度算法主要根據系統中CPU的負載情況調度相應的虛擬機，具體的解決方案主要可分為如下三種:
[0014](I)內存感知的調度及內存分配管理等方法；
[0015](2)共享緩存資源競爭消除調度方法；
[0016]⑶NUMA結構邏輯劃分的方法。
[0017]以上的調度算法沒有考慮共享緩存、核間互連網絡(interconnect)和內存控制器等共享物理資源微架構(micro-architecture)的在線運行使用情況。而在同一個NUMA多核系統中，以上幾個問題對總體性能互相影響，其相互之間的作用關係錯綜複雜。依靠單一的解決方案不能完全解決所有問題。
[0018]因此，在現有的虛擬化系統中，還沒有完全有效利用NUMA多核硬體結構所能提供的性能優勢，導致虛擬化系統的硬體資源、能耗資源的浪費。

【發明內容】

[0019]針對現有技術的不足，本發明提供了一種基於微架構感知的虛擬機調度多策略選擇方法。
[0020]一種基於微架構感知的虛擬機調度多策略選擇方法，所述的虛擬機調度多策略選擇方法應用於NUMA多核體系結構，包括:
[0021](I)採集所述的NUMA多核體系結構中各個虛擬機性能特徵信息；
[0022]所述的性能特徵信息包括虛擬機緩存行共享狀態比例、虛擬機內存帶寬佔用率和虛擬機緩存失效率；
[0023](2)根據虛擬機的性能特徵信息，按照設定的性能特徵優先級從高至低依次為各個虛擬機設定調度算法，並根據調度算法將各個虛擬機劃分至相應的隊列中；
[0024]所述的隊列分別為緩存數據共享策略隊列、內存帶寬均衡策略隊列、資源競爭消除策略隊列和默認本地運行策略隊列；
[0025](3)循環進行虛擬機調度，每次循環過程如下:
[0026]按照設定的隊列優先級從高至低依次檢測各個隊列中的虛擬機是否發生變化，若發生變化，則調用並執行該隊列對應的調度算法進行虛擬機調度；若不發生變化，則繼續判斷下一個隊列是否變化，直至最後一個隊列:
[0027]若最後一個隊列發生變化，則調用並執行相應的調度算法後休眠設定的時間周期後進入下一次循環；
[0028]若最後一個隊列不發生變化，則休眠設定的時間周期後進入下一次循環。
[0029]本發明中各個隊列設定的調度算法如下:
[0030]所述的緩存數據共享策略隊列對應的調度算法為緩存數據共享調度算法；
[0031]所述的內存帶寬均衡策略隊列對應的調度算法為內存帶寬均衡算法；
[0032]所述的資源競爭消除策略隊列對應的調度算法為共享資源競爭消除算法；
[0033]所述的默認本地運行策略隊列對應的調度算法為本地運行調度調整算法。
[0034]本發明中各個調度算(包括緩存數據共享調度算法、內存帶寬均衡算法、共享資源競爭消除算法和本地運行調度調整算法)法均為已知算法，運行時直接調用該調度算法對應的函數即可。
[0035]在虛擬化系統中，虛擬機對資源的使用情況各不相同。系統中微架構資源使用情況和內存訪問非一致性問題對於每臺虛擬機的性能影響也各不相同。一部分虛擬機由於緩存數據共享帶來的性能提升較為明顯，一部分虛擬機對於緩存和互連資源(QPI)的競爭導致的性能下降較為明顯，其他虛擬機的性能對於內存控制器和內存帶寬的使用較為敏感，還有其他的虛擬機對於內存非一致性訪問延遲較為敏感。
[0036]本發明的微架構感知的多策略虛擬機調度方法，該多策略虛擬機調度方法中首先採集各個虛擬機的性能特徵信息，並通過對虛擬機的運行性能特徵信息中各個性能特徵，按照設定的性能特徵優先級從高至低依次為各個虛擬機設定調度算法，並根據調度算法將各個虛擬機劃分至相應的隊列中，並按照設定的隊列優先級判斷各個隊列的變化，根據隊列的變化來調用相應的調度算法。該多策略虛擬機調度方法有效利用NUMA多核系統中潛在的性能提升空間，從而提高虛擬化系統的整體性能，降低物理資源使用成本，同時降低能耗等其他管理開銷。
[0037]由於虛擬機緩存行共享狀態比例虛擬機內存帶寬佔用率和虛擬機緩存失效率對虛擬機的運行性能影響逐漸減小，作為優選，所述的性能特徵優先級從高至低依次為虛擬機緩存行共享狀態比例、虛擬機內存帶寬佔用率和虛擬機緩存失效率。
[0038]所述步驟(2)通過以下方法為各個虛擬機設定調度算法:
[0039](2-1)比較該虛擬機的緩存行共享狀態比例與第一閾值的大小關係,若大於第一閾值，則設定該虛擬機的調度算法為緩存數據共享調度算法，否則，進行步驟(2-2)；
[0040](2-2)比較該虛擬機的虛擬機內存帶寬佔用率與第二閾值的大小關係，若大於第二閾值，則設定虛擬機的調度算法為內存帶寬均衡算法，否則，執行步驟(2-3)；
[0041](2-3)比較該虛擬機的虛擬機緩存失效率與第三閾值的大小關係，若大於第三閾值，則設定該虛擬機的調度算法為共享資源競爭消除算法，否則，設定該虛擬機的調度算法為本地運行調度調整算法。
[0042]所述的第一閾值為0.5?0.8。
[0043]所述的第二閾值為伺服器單路內存帶寬的1/2?4/5。
[0044]所述的第三閾值為0.5?0.8。
[0045]每個閾值設置的高低影響到整個虛擬系統的運行性能，通過合理的選擇第一閾值、第二閾值和第三閾值可以有效提高虛擬系統的整體運行性能。其中伺服器(物理機)單路內存帶寬為6GB/s到lOGB/s，根據物理機配置不同而有所不同。
[0046]作為優選，所述的隊列優先級從高至低依次為緩存數據共享策略隊列、內存帶寬均衡策略隊列、資源競爭消除策略隊列和默認本地運行策略隊列。
[0047]作為優選，所述的時間周期動態可調，若該輪循環中至少有一個隊列的虛擬機發生變化，則所述的時間周期為第一時間周期，若該輪循環中所有隊列中的虛擬機均不發生變化，則該時間周期為第二時間周期，且第二時間周期大於第一時間周期。
[0048]休眠的時間周期可以不變，即不管各個隊列是否發生變化均休眠的時間周期均相同。本發明中通過動態調整該休眠的時間周期，可以降低系統開銷，同時保證虛擬機行為變化時，及時執行調整策略。第二時間周期比第一時間周期大2?5s，通常情況下第一時間周期為5?10s，第二時間周期為8?15s。第一時間周期和第二時間周期的具體取值也可以根據實際應用情況設置。
[0049]本發明的微架構感知的多策略虛擬機調度方法，根據性能特徵進行分析處理，將所有的虛擬機劃分為若干類，並為各類虛擬機設定相應的調度策略。該多策略虛擬機調度方法有效利用NUMA多核系統中虛擬機的性能特徵對虛擬機的影響特徵，針對不同影響採用不同的調度策略，從而提高虛擬化系統的整體性能，降低物理資源使用成本，同時降低能耗等其他管理開銷。
【專利附圖】

【附圖說明】[0050]圖1為本發明的微架構感知的多策略虛擬機調度方法的流程圖；
[0051]圖2為本發明的每次循環的流程圖。
【具體實施方式】
[0052]下面將結合附圖和【具體實施方式】對本發明進行詳細說明。
[0053]本實施例的虛擬機調度多策略選擇方法應用於NUMA多核體系結構，該NUMA多核體系結構包括與若干個與各個虛擬機一一對應的硬體性能採集單元和性能監控器，與所有虛擬機性能監控器連接的特徵分析器，以及與特徵分析器連接的策略選擇器。系統通過性能監控器利用硬體性能信息採集單元在線獲取虛擬機的運行性能信息，性能監控器將收集到的虛擬機性能特徵信息傳遞到特徵分析器中，經過特徵分析器對虛擬機的性能特徵信息進行分析處理，將虛擬機的性能特徵信息傳遞給策略選擇器中。通過策略選擇器為系統中的每臺虛擬機選擇相應的調度管理策略，同時將虛擬機插入相應策略的虛擬機管理隊列中。系統周期性地調用不同策略的虛擬機調度算法，調度相應策略隊列中的虛擬機。
[0054]一種基於微架構感知的虛擬機調度多策略選擇方法，如圖1所示，包括:
[0055](I)採集該NUMA多核體系結構中各個虛擬機性能特徵信息，其中性能特徵信息包括虛擬機緩存行共享狀態比例、虛擬機內存帶寬佔用率和虛擬機緩存失效率。
[0056](2)根據虛擬機的性能特徵信息，按照設定的性能特徵優先級從高至低依次為各個虛擬機設定調度算法，並根據調度算法將各個虛擬機劃分至相應的隊列中；
[0057]本實施例中的隊列分別為緩存數據共享策略隊列(記為CS隊列)、內存帶寬均衡策略隊列(記為MU隊列)、資源競爭消除策略隊列(記為RC隊列)和默認本地運行策略隊列(記為Default隊列)。各個隊列設定的調度算法如下:
[0058]緩存數據共享策略隊列對應的調度算法為緩存數據共享調度算法；
[0059]內存帶寬均衡策略隊列對應的調度算法為內存帶寬均衡算法；
[0060]資源競爭消除策略隊列對應的調度算法為共享資源競爭消除算法；
[0061]默認本地運行策略隊列對應的調度算法為本地運行調度調整算法。
[0062]本實施例中的性能特徵優先級從高至低依次為虛擬機緩存行共享狀態比例、虛擬機內存帶寬佔用率和虛擬機緩存失效率。並通過以下方法為各個虛擬機設定調度算法:
[0063](2-1)比較該虛擬機的緩存行共享狀態比例與第一閾值(本實施例中第一閾值為
0.6)的大小關係，若大於第一閾值，則設定該虛擬機的調度算法為緩存數據共享調度算法，否則，進行步驟(2-2)；
[0064](2-2)比較該虛擬機的虛擬機內存帶寬佔用率與第二閾值的大小關係，若大於第二閾值(本實施例中第二閾值為伺服器單路內存帶寬的4/5，其中伺服器單路最大內存帶寬為lOGB/s，則第二閾值為8GB/s)，則設定虛擬機的調度算法為內存帶寬均衡算法，否則，執行步驟(2-3)；
[0065](2-3)比較該虛擬機的虛擬機緩存失效率與第三閾值(本實施例中第三閾值為
0.6)的大小關係，若大於第三閾值，則設定該虛擬機的調度算法為共享資源競爭消除算法，否則，設定該虛擬機的度算法為本地運行調度調整算法。
[0066](3)循環進行虛擬機調度，每次循環過程如下:
[0067]按照設定的隊列優先級從高至低依次檢測各個隊列中的虛擬機是否發生變化，若發生變化，則調用並執行該隊列對應的調度算法進行虛擬機調度；若不發生變化，則繼續判斷下一個隊列是否變化，直至最後一個隊列:
[0068]若最後一個隊列發生變化，則調用並執行相應的調度算法後休眠設定的時間周期後進入下一次循環；
[0069]若最後一個隊列不發生變化，則休眠設定的時間周期後進入下一次循環。
[0070]本實施例中隊列優先級從高至低依次為緩存數據共享策略隊列、內存帶寬均衡策略隊列、資源競爭消除策略隊列和默認本地運行策略隊列。每次循環具體過程如圖2所示，依次判斷緩存數據共享策略隊列、內存帶寬均衡策略隊列、資源競爭消除策略隊列和默認本地運行策略隊列中的虛擬機是否發生變化，發生變化後則對該隊列中的虛擬機實施相應的調度算法。對於默認本地運行策略隊列，若發生變化，則調用並執行相應的調度算法後休眠設定的時間周期後進入下一次循環；否則直接休眠設定的時間周期後進入下一次循環。
[0071]本實施例中時間周期動態可調，若該輪循環中至少有一個隊列的虛擬機發生變化，則該時間周期為第一時間周期(本實施例中為10s)，若該輪循環中所有隊列中的虛擬機均不發生變化，則該時間周期為第二時間周期(本實施例中為12s)，第二時間周期大於第一時間周期。
[0072]以上所述，僅為本發明的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。
【權利要求】
1.一種基於微架構感知的虛擬機調度多策略選擇方法，所述的虛擬機調度多策略選擇方法應用於NUMA多核體系結構，其特徵在於，包括: (1)採集所述的NUMA多核體系結構中各個虛擬機性能特徵信息； 所述的性能特徵信息包括虛擬機緩存行共享狀態比例、虛擬機內存帶寬佔用率和虛擬機緩存失效率； (2)根據虛擬機的性能特徵信息，按照設定的性能特徵優先級從高至低依次為各個虛擬機設定調度算法，並根據調度算法將各個虛擬機劃分至相應的隊列中； 所述的隊列分別為緩存數據共享策略隊列、內存 帶寬均衡策略隊列、資源競爭消除策略隊列和默認本地運行策略隊列； (3)循環進行虛擬機調度，每次循環過程如下: 按照設定的隊列優先級從高至低依次檢測各個隊列中的虛擬機是否發生變化，若發生變化，則調用並執行該隊列對應的調度算法進行虛擬機調度；若不發生變化，則繼續判斷下一個隊列是否變化，直至最後一個隊列: 若最後一個隊列發生變化，則調用並執行相應的調度算法後休眠設定的時間周期後進入下一次循環； 若最後一個隊列不發生變化，則休眠設定的時間周期後進入下一次循環。
2.如權利要求1所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述的性能特徵優先級從高至低依次為虛擬機緩存行共享狀態比例、虛擬機內存帶寬佔用率和虛擬機緩存失效率。
3.如權利要求2所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述步驟(2)通過以下方法為各個虛擬機設定調度算法: (2-1)比較該虛擬機的緩存行共享狀態比例與第一閾值的大小關係，若大於第一閾值，則設定該虛擬機的調度算法為緩存數據共享調度算法，否則，進行步驟(2-2)； (2-2)比較該虛擬機的虛擬機內存帶寬佔用率與第二閾值的大小關係，若大於第二閾值，則設定虛擬機的調度算法為內存帶寬均衡算法，否則，執行步驟(2-3)； (2-3)比較該虛擬機的虛擬機緩存失效率與第三閾值的大小關係，若大於第三閾值，則設定該虛擬機的調度算法為共享資源競爭消除算法，否則，設定該虛擬機的調度算法為本地運行調度調整算法。
4.如權利要求3所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述的第一閾值為0.5~0.8。
5.如權利要求3所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述的第二閾值為伺服器單路內存帶寬的1/2~4/5。
6.如權利要求3所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述的第三閾值為0.5~0.8。
7.如權利要求1~6中任意一項權利要求所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述的隊列優先級從高至低依次為緩存數據共享策略隊列、內存帶寬均衡策略隊列、資源競爭消除策略隊列和默認本地運行策略隊列。
8.如權利要求7所述的基於微架構感知的虛擬機調度多策略選擇方法，其特徵在於，所述的時間周期動態可調，若該輪循環中至少有一個隊列的虛擬機發生變化，則所述的時間周期為第一時間周期， 若該輪循環中所有隊列中的虛擬機均不發生變化，則該時間周期為第二時間周期，且第二時間周期大於第一時間周期。
【文檔編號】G06F9/455GK103955397SQ201410176035
【公開日】2014年7月30日 申請日期:2014年4月28日 優先權日:2014年4月28日
【發明者】王總輝, 程雨夏, 陳文智, 俞新傑, 金睿 申請人:浙江大學