虛擬化環境下自旋鎖lhp現象的處理方法
2023-08-02 22:26:41 1
虛擬化環境下自旋鎖lhp現象的處理方法
【專利摘要】本發明公開了一種虛擬化環境下自旋鎖LHP現象的處理方法，包括以下步驟：（1）客戶虛擬機用戶態通過系統調用進入客戶虛擬機內核，客戶虛擬機作業系統內核提供的方法創建當前線程的副本線程，並通過動態申請內核存儲空間創建共享數據副本，立即停止副本線程運行；（2）動態檢查客戶機虛擬作業系統下VCPU對應的客戶虛擬機內線程所處的狀態，預判是否出現LHP現象；當出現LHP現象時，進行步驟（3）；否則進行步驟（4）；（3）線程回滾操作：刪除原線程，運行副本線程，並用共享數據副本值覆蓋對應用戶地址空間內可能在臨界區中被修改的數據進行共享數據還原；（4）刪除當前線程的副本線程，並釋放共享數據副本佔用存儲區域，退出臨界區後，結束。該方法對宿主機作業系統內調度程序的執行效率鮮有影響，保持了宿主機作業系統內線程調度的高效率。
【專利說明】虛擬化環境下自旋鎖LHP現象的處理方法
【技術領域】
[0001]本發明屬於虛擬化【技術領域】，具體涉及一種虛擬化環境下自旋鎖LHP現象的處理方法。
【背景技術】
[0002]隨著計算機技術日新月異的發展，中央處理器經歷了從單核高頻到單芯多核的不同發展階段。在單核高頻發展階段，人們著重於提高單一核芯的主頻。隨著半導體技術的發展遭遇瓶頸，單核處理器的主頻止步於約4GHz。功耗指數級增長、流水線過長等問題使單純提高核芯的主頻已無法帶來系統整體性能的提升。多核處理器在處理器晶片上的不同執行內核之間分配任務，提高了單位時鐘周期內執行的指令條數。多核多線程處理器技術的發展使得在單核處理器主頻提高遭遇瓶頸時，計算機系統仍舊能夠滿足人們對計算能力日益增長的渴求。
[0003]系統虛擬化技術的出現，可以讓單個處理器核心以分時共享的方式模擬多個核心的並發運行，讓單個物理平臺上同時運行多個作業系統成為可能，客戶程序則在相互隔離的作業系統環境內高效執行、互不幹擾，讓計算平臺基礎架構變得簡單和高效。運用虛擬化技術還使得應用能夠更快部署、性能和可用性得到提升、操作自動進行。以上優點有助於簡化IT的實施，並降低其擁有和管理成本。
[0004]自旋鎖(spinlock)是用在多個CPU系統中的鎖機制，當一個CPU正訪問自旋鎖保護的臨界區時，臨界區將被鎖上，其他需要訪問此臨界區的CPU只能忙等待，直到前面的CPU已訪問完臨界區，將臨界區開鎖。自旋鎖上鎖後讓等待線程進行忙等待而不是睡眠阻塞，而信號量是讓等待線程睡眠阻塞。自旋鎖的忙等待浪費了處理器的時間，但時間通常很短，在I毫秒以下。一個執行單元要想訪問被自旋鎖保護的共享資源，必須先得到鎖，在訪問完共享資源後，必須釋放鎖。如果在獲取自旋鎖時，沒有任何執行單元保持該鎖，那麼將立即得到鎖；如果在獲取自旋鎖時鎖已經有保持者，那麼獲取鎖操作將自旋在那裡，直到該自旋鎖的保持者釋放了鎖。
[0005]系統虛擬化技術已經有了長足的發展，但仍有許多技術難題有待解決。自旋鎖(spinlock)的LHP(lock-holder preemption)就是眾多問題之一。在部署於對稱多處理器系統上的虛擬化環境中運行使用自旋鎖方式進行同步的多線程程序時會遭遇LHP問題。LHP問題指的是:虛擬化環境中，由於VCPU (virtual CPU)可能被虛擬機作業系統管理程序調度出物理處理器，當這個被調度下線的VCPU剛好處於客戶系統中的臨界區狀態，且與重新被調度回物理處理器的時間間隔過長時，可能致使運行於其他VCPU上的鎖競爭者線程自旋忙等時間過長，大量時間片被浪費。本發明因此而來。
【發明內容】
[0006]本發明目的在於提供一種虛擬化環境下自旋鎖LHP現象的處理方法，有效地降低了 VCPU上的鎖競爭者線程自旋忙等時間過長等問題。[0007]為了解決現有技術中的這些問題，本發明提供的技術方案是:
[0008]一種虛擬化環境下自旋鎖LHP現象的處理方法，其特徵在於所述方法中包括以下步驟:
[0009](I)客戶虛擬機用戶態通過系統調用進入客戶虛擬機內核，客戶虛擬機作業系統內核提供的方法創建當前線程的副本線程，並通過動態申請內核存儲空間創建共享數據副本，立即停止副本線程運行；
[0010](2)動態檢查客戶機虛擬作業系統下VCPU對應的客戶虛擬機內線程所處的狀態，預判是否出現LHP現象；當出現LHP現象時，進行步驟(3);否則進行步驟(4)；
[0011](3)線程回滾操作:刪除原線程，運行副本線程，並用共享數據副本值覆蓋對應用戶地址空間內可能在臨界區中被修改的數據進行共享數據還原；
[0012](4)刪除當前線程的副本線程，並釋放共享數據副本佔用存儲區域，退出臨界區後，結束。
[0013]優選的，所述方法步驟(2)中宿主機作業系統判斷是否為VCPU對應的客戶虛擬機內線程是通過預先在宿主機作業系統內核數據結構增設是否為VCPU線程的is_VCpU欄位項來進行的；is_vcpu欄位項初始化為O ;當虛擬機作業系統創建VCPU線程時,將is_vcpu
欄位置I。
[0014]優選的，所述方法中宿主機作業系統對VCPU線程的幹涉，是以發送虛擬匪I中斷實現；虛擬機作業系統接收到虛擬NMI中斷後檢查系統狀態判斷出中斷來自宿主機作業系統發起的通信，修改後的NMI中斷處理函數將主導線程進行線程回滾操作並在結束後主動發起VM_EXIT切換回宿主機作業系統。
[0015]本發明的另一目的在於提供一種虛擬機化環境下自旋鎖處理系統，其特徵在於所述系統包括用於宿主機作業系統和客戶虛擬機作業系統間進行通訊的通訊模塊、宿主機作業系統進行線程調度的線程調度模塊和客戶虛擬機作業系統中的線程回滾模塊；所述通訊模塊用於宿主機作業系統向客戶虛擬機作業系統的VCPU發送匪I事件以及客戶虛擬機作業系統處理匪I事件結束後調用Vmcall指令將VCPU切換回宿主機作業系統狀態；所述線程調度模塊在進行線程調度之前，需要判斷相應的線程是否為VCPU線程；如果是VCPU線程，則通過通訊模塊向VCPU發送匪I事件；當通訊模塊切換回宿主機作業系統狀態時在宿主機作業系統態運行線程調度程序；所述線程回滾模塊用於通訊模塊發送完匪I事件後，宿主機作業系統將VCPU切換到客戶虛擬機作業系統狀態，調用客戶虛擬機作業系統中的匪I處理函數進行匪I處理；由匪I中斷處理函數判斷LHP現象，當出現LHP現象時，線程回滾模塊進行線程回滾操作。
[0016]本發明的目的在於解決虛擬化環境下可能出現的LHP問題。通過動態檢查VCPU對應的客戶虛擬機內線程所處的狀態，預判是否可能出現LHP現象。如判斷結果為真，執行線程回滾操作並命令當前線程立刻釋放自旋鎖使其餘競爭線程能夠立刻獲得自旋鎖進入臨界區，從而完全消除LHP現象、提高客戶虛擬機內並行工作負載的運行時間效率。
[0017]為了針對LHP問題實現對自旋鎖的優化，本發明技術方案中包括三個模塊:客戶虛擬機作業系統中的線程回滾模塊、宿主機作業系統和客戶虛擬機作業系統通訊模塊、宿主機作業系統用於VCPU對應線程捕捉和調度的線程調度模塊。
[0018]線程回滾模塊的主要作用在於線程運行狀態的回滾和線程間共享數據的恢復。線程運行狀態回滾的具體方法是在客戶虛擬機用戶態通過系統調用進入客戶虛擬機內核，通過客戶虛擬機作業系統內核提供的方法創建當前線程的副本線程，並立即將這個副本線程暫停運行並加以保存。線程間共享數據恢復需要動態申請內核存儲空間，保存內核數據結構mm_struct中分別起止於mm_>start_data和mm_>end_data的已初始化全局變量。這對客戶虛擬機內並行負載的編寫提出了以下約束，即臨界區內只對屬於全局已初始化變量的進程共享數據進行修改，且這些全局已初始化變量在臨界區以外所有場合只讀。需要回滾時用共享數據副本值覆蓋對應用戶地址空間內可能在臨界區中被修改的數據，就完成了數據回滾操作。
[0019]宿主機作業系統和客戶虛擬機作業系統間的通訊模塊主要實現宿主機作業系統對VCPU線程的幹涉。宿主機作業系統對VCPU線程的幹涉，以發送虛擬中斷形式實現。發送的虛擬中斷為虛擬匪1(不可屏蔽中斷)，匪1在中斷向量中的高優先級保證了 VCPU在截獲中斷後立即無條件執行中斷服務程序。客戶機作業系統接收到中斷後檢查系統狀態判斷出中斷來自宿主機作業系統發起的通信，修改後的匪I中斷處理函數將主導線程回滾操作並在結束後主動發起VM_EXIT切換回宿主機作業系統。
[0020]宿主機作業系統VCPU對應的線程調度模塊，用於宿主機作業系統進行線程調度之前，判斷相應的線程是否為VCPU線程；如果是VCPU線程，則向VCPU發送匪I事件。發送完匪I事件後，宿主機作業系統將VCPU切換到客戶虛擬機作業系統狀態，調用客戶虛擬機作業系統中的匪I處理函數進行匪I處理。
[0021]線程調度模塊的實現基於如下事實:當客戶虛擬機作業系統開機後，虛擬機管理程序會創建一個線程作為VCPU。虛擬機管理程序是Kvm軟體的一個進程，VCPU是此進程中的線程。在創建VCPU線程前，先在宿主機作業系統中修改task_struct結構，增加欄位開啟對VCPU線程識別的支持。具體來說，用is_Vcpu欄位表示線程是否是VCPU線程:當此欄位值為I時，是VCPU線程，kvm欄位指向此VCPU所屬Kvm結構；當is_VCpu欄位值為0，不是VCPU線程，kvm欄位為空。在調用創建VCPU的函數時，將新創建的VCPU線程對應的is_vcpu與kvm欄位初始化。如此設置後,檢查每個的線程的task_struct結構中的is_vcpu欄位就可以得知線程是否是VCPU線程。為了提高系統性能，只在宿主機即將真正發生線程調度時才判斷此線程是否為VCPU線程。在宿主機作業系統實際對線程進行調度之前，判斷線程是否為VCPU線程，如果是則向VCPU發送匪I事件。發送完匪I事件後，宿主機作業系統將VCPU切換到客戶虛擬機作業系統狀態，以求第一時間調用客戶虛擬機作業系統中的NMI處理函數。在客戶虛擬機態，先檢查VCPU上運行的用戶程序是否處在了臨界區中，如果是則說明LHP現象發生，需要立刻進行回滾操作。無論有沒有進行回滾操作，在結束宿主機發送的匪I事件處理過程時，客戶虛擬機作業系統都會調用vmcall指令再將VCPU切換回宿主機作業系統狀態。並在宿主機作業系統態運行線程調度代碼。
[0022]相對於現有技術中的方案，本發明的優點是:
[0023]1.排除LHP現象發生頻率小於10%的情形，本發明最高可以為並行工作負載爭取到約11%的運行時間縮減。
[0024]2.本發明不在長等現象發生後再對長等進行特徵判斷，而是通過在客戶虛擬機內部對臨界區屬性進行預設與讀取實現完全消除由LHP現象引發的長時間自旋忙等。
[0025]3.本發明不幹涉虛擬機監控器的調度策略，保證了虛擬機調度算法的公平性。[0026]4.本發明對宿主機作業系統內調度程序的執行效率鮮有影響，保持了宿主機作業系統內線程調度的高效率。
[0027]5.本發明不依賴對並行負載的靜態屬性設定，而通過動態採集運行時信息實現對VCPU線程狀態的判定。
【專利附圖】
【附圖說明】
[0028]下面結合附圖及實施例對本發明作進一步描述:
[0029]圖1是線程回滾操作的總體流程圖；
[0030]圖2是宿主機作業系統和虛擬機作業系統修改後的匪I中斷處理函數執行流程圖；
[0031]圖3是從宿主機視角看VCPU線程調度總體流程圖；
[0032]圖4是從客戶虛擬機內線程視角看VCPU線程調度總體流程圖。
【具體實施方式】
[0033]以下結合具體實施例對上述方案做進一步說明。應理解，這些實施例是用於說明本發明而不限於限制本發明的範圍。實施例中採用的實施條件可以根據具體廠家的條件做進一步調整，未註明的實施條件通常為常規實驗中的條件。
[0034]實施例
[0035]本實施例的虛擬機化環境下自旋鎖處理系統，包括用於宿主機作業系統和客戶虛擬機作業系統間進行通訊的通訊模塊、宿主機作業系統進行線程調度的線程調度模塊和客戶虛擬機作業系統中的線程回滾模塊；所述通訊模塊用於宿主機作業系統向客戶虛擬機作業系統的VCPU發送匪I事件以及客戶虛擬機作業系統處理匪I事件結束後調用vmcall指令將VCPU切換回宿主機作業系統狀態；所述線程調度模塊在進行線程調度之前，需要判斷相應的線程是否為VCPU線程；如果是VCPU線程，則通過通訊模塊向VCPU發送匪I事件；當通訊模塊切換回宿主機作業系統狀態時在宿主機作業系統態運行線程調度程序；所述線程回滾模塊用於通訊模塊發送完NMI事件後，宿主機作業系統將VCPU切換到客戶虛擬機作業系統狀態，調用客戶虛擬機作業系統中的NMI處理函數進行NMI處理；由NMI中斷處理函數判斷LHP現象，當出現LHP現象時，線程回滾模塊進行線程回滾操作。
[0036]如圖1所示，為虛擬機作業系統內的線程回滾模塊的總體流程。
[0037](I)線程進入臨界區時，創建當前線程的副本，副本線程被創建後立即掛起，原線程繼續運行進入臨界區；
[0038](2)原線程進入臨界區前，為臨界區內可能修改的數據作好備份，並將數據備份保存；
[0039](3)若線程運行在臨界區時對應的VCPU被調度下線，刪除運行中的線程，用掛起的副本線程替代原線程運行，共享數據也隨之還原到進入臨界區時狀態，至此線程回滾完成。
[0040](4)回滾結束後VCPU下線，spinlock被釋放，某個正佔有物理處理器的自旋忙等的競爭線程立刻獲得spinlock，進入臨界區；
[0041](5)如果持有spinlock的線程在臨界區內沒發生VCPU調度，即沒有LHP現象出現，刪除副本線程和數據備份，原線程正常退出臨界區。
[0042]其中，LHP現象的判斷由宿主機作業系統發起，進入客戶虛擬機後，檢查VCPU上運行的用戶程序是否處在了臨界區中，如果是則說明LHP現象發生，需要立刻進行回滾操作；如果不處於臨界區，說明未發生LHP現象，無需線程回滾。
[0043]修改後的匪I中斷處理函數執行流程如圖2所示。
[0044]在客戶虛擬機作業系統中對匪I中斷處理函數進行定製，在接收到WI事件時首先判斷所處系統狀態:當判斷出系統處於無匪I可處理且當前線程正處於臨界區中時，可以判定出此客戶機線程為VCPU對應線程，收到的匪I事件來自於宿主機作業系統的通信，轉入LHP現象處理流程；當檢測出系統存在匪I事件需要處理時，轉入正常匪I處理流程。LHP現象處理流程中會先調用線程回滾功能函數，判斷線程回滾完畢後，調用vmcall這條vmx新增指令從客戶虛擬機作業系統中返回到宿主機作業系統中去。判斷線程是否正處於臨界區中無需再在task_struct結構中增添欄位,只需要檢測是否存在副本mm_struct,即copy_mmdata是否為NULL即可。此外，vmcall指令只會在客戶虛擬機狀態中生效,若在非虛擬化環境下調用這條指令，會給出非法指令信息並退出程序。
[0045]宿主機作業系統VCPU線程調度模塊涉及到在宿主機作業系統內識別出VCPU線程以及與通信模塊配合完整化解一次LHP現象。識別VCPU線程需要在宿主機作業系統內核數據結構task_struct中增設is_vcpu欄位,並默認初始化為O。當虛擬機創建VCPU線程時，將is_VCpu欄位置I。在每次進入宿主機作業系統的線程調度函數時，先對此線程的is_vcpu欄位進行讀取，若判斷為VCPU線程，按照宿主機作業系統和客戶虛擬機作業系統通訊模塊所述方式對VCPU線程進行幹涉。
[0046]從宿主機視角看VCPU線程調度總體流程如圖3所示。
[0047]在宿主機作業系統實際對線程進行調度之前，判斷線程是否為VCPU線程，如果是則向VCPU發送匪I事件。發送完匪I事件後，宿主機作業系統將VCPU切換到客戶虛擬機作業系統狀態，以求第一時間調用客戶虛擬機作業系統中的NMI處理函數。
[0048]從客戶虛擬機內線程視角看VCPU線程調度總體流程如圖4所示。
[0049]在客戶虛擬機態，先檢查VCPU上運行的用戶程序是否處在了臨界區中，如果是則說明LHP現象發生，需要立刻進行回滾操作。無論有沒有進行回滾操作，在結束宿主機發送的匪I事件處理過程時，客戶虛擬機作業系統都會調用vmcall指令再將VCPU切換回宿主機作業系統狀態。並在宿主機作業系統態運行線程調度代碼。
[0050]實施例所需硬體環境為:Intel Core i5_2430M型號處理器加2GB物理內存，處理器為單核主頻2.40Ghz的對稱雙核處理器。
[0051]實施例搭建的軟體環境為:安裝Ubuntul2.04LTS Linux作為宿主機作業系統，並用修改後的3.8.11版本Linux內核替代原發行版內核；安裝qemu-0.14.0作為虛擬機用戶態支持；通過qemu-kvm命令彳丁，加載客戶虛擬機內核鏡像與客戶虛擬機根文件系統啟動客戶虛擬機作業系統，啟動命令為:#qemu-system_x86_64 - kernel/boot/vmlinuz-3.8.11 -hda linux-0.2.1mg - append 「root=/dev/sda，，- enable-kvm - smp N,其中-smp N 參數用來設置客戶虛擬機對應VCPU線程數目為N。
[0052]客戶虛擬機內核鏡像採用3.8.11版本Linux內核編譯製作，客戶虛擬機根文件系統使用qemu官網提供的精簡根文件系統linux-0.2.1mg。通過掛載linux-0.2.1mg到本地目錄方式向客戶虛擬機作業系統添加動態庫與測試程序。
[0053]客戶虛擬機內並行工作負載需要滿足約束條件:臨界區內只對屬於全局已初始化變量的進程共享數據進行修改，且這些全局已初始化變量在臨界區以外所有場合只讀。
[0054]上述實例只為說明本發明的技術構思及特點，其目的在於讓熟悉此項技術的人是能夠了解本發明的內容並據以實施，並不能以此限制本發明的保護範圍。凡根據本發明精神實質所做的等效變換或修飾，都應涵蓋在本發明的保護範圍之內。
【權利要求】
1.一種虛擬化環境下自旋鎖LHP現象的處理方法，其特徵在於所述方法中包括以下步驟: (1)客戶虛擬機用戶態通過系統調用進入客戶虛擬機內核，客戶虛擬機作業系統內核提供的方法創建當前線程的副本線程，並通過動態申請內核存儲空間創建共享數據副本，立即停止副本線程運行； (2)動態檢查客戶機虛擬作業系統下VCPU對應的客戶虛擬機內線程所處的狀態，預判是否出現LHP現象；當出現LHP現象時，進行步驟(3);否則進行步驟(4)； (3)線程回滾操作:刪除原線程，運行副本線程，並用共享數據副本值覆蓋對應用戶地址空間內可能在臨界區中被修改的數據進行共享數據還原； (4)刪除當前線程的副本線程，並釋放共享數據副本佔用存儲區域，退出臨界區後，結束。
2.根據權利要求1所述的處理方法，其特徵在於所述方法步驟(2)中宿主機作業系統判斷是否為VCPU對應的客戶虛擬機內線程是通過預先在宿主機作業系統內核數據結構增設是否為VCPU線程的is_VCpu欄位項來進行的；is_VCpU欄位項初始化為O ;當虛擬機作業系統創建VCPU線程時，將is_vcpu欄位置I。
3.根據權利要求1所述的處理方法，其特徵在於所述方法中宿主機作業系統對VCPU線程的幹涉,是以發送虛擬NMI中斷實現；虛擬機作業系統接收到虛擬NMI中斷後檢查系統狀態判斷出中斷來自宿主機作業系統發起的通信，修改後的匪I中斷處理函數將主導線程進行線程回滾操作並在結束後主動發起VM_EXIT切換回宿主機作業系統。
4.一種虛擬機化環境下自旋鎖處理系統，其特徵在於所述系統包括用於宿主機作業系統和客戶虛擬機作業系統間進行通訊的通訊模塊、宿主機作業系統進行線程調度的線程調度模塊和客戶虛擬機作業系統中的線程回滾模塊；所述通訊模塊用於宿主機作業系統向客戶虛擬機作業系統的VCPU發送WI事件以及客戶虛擬機作業系統處理WI事件結束後調用vmcall指令將VCPU切換回宿主機作業系統狀態；所述線程調度模塊在進行線程調度之前，需要判斷相應的線程是否為VCPU線程；如果是VCPU線程，則通過通訊模塊向VCPU發送匪I事件；當通訊模塊切換回宿主機作業系統狀態時在宿主機作業系統態運行線程調度程序；所述線程回滾模塊用於通訊模塊發送完匪I事件後，宿主機作業系統將VCPU切換到客戶虛擬機作業系統狀態,調用客戶虛擬機作業系統中的NMI處理函數進行NMI處理；由NMI中斷處理函數判斷LHP現象，當出現LHP現象時，線程回滾模塊進行線程回滾操作。
【文檔編號】G06F9/48GK103473135SQ201310442373
【公開日】2013年12月25日 申請日期:2013年9月23日 優先權日:2013年9月23日
【發明者】吳俊敏, 沈愐, 趙小雨 申請人:中國科學技術大學蘇州研究院