一種帶安全約束的成批作業‑資源匹配方法及系統與流程
2023-05-27 08:12:06 4
本發明涉及一種帶安全約束的成批作業-資源匹配方法及系統，尤其適用於數據安全性較高的成批作業調度應用，例如基於MapReduce的警務數據作業調度、交通監控作業調度等，屬於分布式並行計算領域。
背景技術：
：作為Hadoop的核心組件之一的MapReduce框架被廣泛應用。MapReduce在數據處理時，將大的任務分成一個個小的計算作業，該類作業為典型的成批作業，包括Map作業和Reduce作業。在一批任務到達時，MapReduce將其分成非常多的Map和Reduce作業，此時不同的作業調度策略有不同的效果，成批作業調度策略對集群的資源利用率和系統的執行效率有很大影響。現有的Hadoop調度器主要有：(1)先來先服務調度器：Hadoop的默認調度器，按照作業的到達順序安排執行次序；(2)公平調度器：配置作業的資源佔用量，使得每個任務的資源佔用量保持平衡；(3)延遲調度：當前空閒的機器上沒有當前作業所需的數據時，該作業延遲一段時間，當存有數據的機器空閒時執行該延遲作業。研究者們提出了一些關於成批作業調度的方法，比如採取預取策略以縮短數據準備時間[電子科技大學.一種基於MapReduce的數據預取方法：中國,201510299063.6[P].2015-09-23]，不同的方法適用於不同的作業調度應用，比如上述策略在重視作業截止期約束的作業調度應用中有較好的優化效果。實際應用中許多作業調度應用具有安全性約束，比如警務數據作業調度，交通監控作業調度等，數據的安全性要求較高，數據的轉移和複製受到一些限制，往往需要經過加密才能夠被轉移或複製。對於這類應用，現有的作業調度策略沒有涉及安全性約束的方法。綜上所述，現有的作業調度方法不能很好的適應實際應用中具有安全約束的批處理成批作業調度問題。技術實現要素：發明目的：針對現有技術中存在的問題，考慮到數據所具有的特殊安全性約束，本發明提供一種帶安全約束的成批作業-資源匹配方法及系統，滿足實際應用的需求，在獲得較短的批處理作業完工時間的基礎上，保證數據的安全訪問。技術方案：一種帶安全約束的成批作業-資源匹配方法，包括以下步驟：步驟A、伺服器端控制節點對安全性進行配置；數據節點的當前安全設置情況，為數據節點設置安全等級；根據數據源對安全性的要求，為數據源設置安全要求等級；根據作業請求者權限，設置作業權限等級；步驟B、伺服器端控制節點採用基於安全約束和負載平衡的作業與數據節點映射方法，將Map作業映射到滿足安全和負載平衡約束的數據節點上，將各節點上的作業按優先級進行排序並依次執行；所示安全約束包含2點：(1)作業只能在其有權限執行的數據節點上執行；(2)安全要求高的數據源必須以加密狀態存儲在安全等級低的數據節點上。所示負載平衡指的是控制節點根據數據節點計算能力，設置每個數據節點上可以映射的作業數量上限。步驟C、伺服器端宕機監測節點周期性檢測數據節點當前狀態，實時將故障數據節點ID反饋給伺服器端控制節點；步驟D、伺服器端控制節點收到故障數據節點ID，對當前映射到該節點上未完成的作業按照安全約束和負載平衡的作業與數據節點映射方法，將作業重新映射至未宕機數據節點。採用基於安全約束和負載平衡的作業與數據節點映射方法，計算出若干映射方案，選擇代價最低方案進行執行；方案代價＝設置的每次數據源複製代價*數據源複製次數+設置的每次加密代價*加密次數。Map作業映射到數據節點上時，很可能該數據節點上沒有作業計算所需數據源，需要先將數據源複製過來。複製的過程需要滿足安全約束，即安全要求高的數據源必須以加密狀態存儲在安全等級低的數據節點上。控制節點在將作業映射至數據節點上時，除了滿足安全約束與負載平衡外，應該儘可能少的發生複製與加密。一種帶安全約束的成批作業-資源匹配系統包括控制節點、數據節點和宕機檢測節點。控制節點：接收來自用戶的作業並且接收來自宕機檢測節點的安全約束和宕機信息；控制節點收到宕機信息後，根據故障數據節點ID，對當前映射到該節點上的作業按照安全約束和負載平衡的作業與數據節點映射方法，將作業重新映射至未宕機數據節點；控制節點收到安全約束信息後，匹配能接受任務的子節點。控制節點對安全性進行配置：數據節點的當前安全設置情況，為數據節點設置安全等級；根據數據源對安全性的要求，為數據源設置安全要求等級；根據作業請求者權限，設置作業權限等級；採用基於安全約束和負載平衡的作業與數據節點映射方法，將作業映射到滿足安全和負載平衡約束的數據節點上，進行基於安全約束和負載平衡的作業調度/重調度工作。數據節點：向控制節點提供各節點的安全等級信息，接收控制節點分配的作業後負責對各自等待隊列中的作業進行優先級排序並執行，根據作業分配情況進行必要的數據源複製操作和加密操作，即作業映射到數據節點上時，如果該數據節點上沒有作業計算所需數據源，需要先將數據源複製過來；安全要求高的數據源存儲在安全等級低的數據節點上必須加密；在作業執行的過程中採集各自的節點負載信息提交給控制節點；宕機檢測節點：進行周期性的數據節點宕機故障檢測，將宕機數據節點ID反饋給控制節點。本發明採用上述技術方案，具有以下有益效果：本發明提供的帶安全約束的成批作業-資源匹配方法及系統，在成批作業調度過程中考慮安全性約束的實際情況，策略簡單直接，對於涉及安全性的作業調度應用具有很好的實用性。附圖說明圖1為本發明系統優選實施例的架構示意圖；圖2是本發明方法優選實施例在控制節點上的步驟流程圖；圖3圖2是本發明方法優選實施例在數據節點上的步驟流程圖。具體實施方式下面結合具體實施例，進一步闡明本發明，應理解這些實施例僅用於說明本發明而不用於限制本發明的範圍，在閱讀了本發明之後，本領域技術人員對本發明的各種等價形式的修改均落於本申請所附權利要求所限定的範圍。傳統的MapReduce系統包括控制節點和數據節點，如圖1所示，本發明提供的帶安全約束的成批作業-資源匹配方法實現系統增設了宕機檢測節點。帶安全約束的成批作業-資源匹配系統包括控制節點、數據節點和宕機檢測節點。控制節點：控制節點：接收來自用戶的作業並且接收來自宕機檢測節點的安全約束和宕機信息；控制節點收到宕機信息後，根據故障數據節點ID，對當前映射到該節點上的作業按照安全約束和負載平衡的作業與數據節點映射方法，將作業重新映射至未宕機數據節點；控制節點收到安全約束信息後，匹配能接受任務的子節點；控制節點對安全性進行配置：數據節點的當前安全設置情況，為數據節點設置安全等級；根據數據源對安全性的要求，為數據源設置安全要求等級；根據作業請求者權限，設置作業權限等級；採用基於安全約束和負載平衡的作業與數據節點映射方法，將作業映射到滿足安全和負載平衡約束的數據節點上，進行基於安全約束和負載平衡的作業調度/重調度工作。數據節點：向控制節點提供各節點的安全等級信息，接收控制節點分配的作業後負責對各自等待隊列中的作業進行優先級排序並執行，根據作業分配情況進行必要的數據源複製操作和加密操作，即作業映射到數據節點上時，如果該數據節點上沒有作業計算所需數據源，需要先將數據源複製過來；安全要求高的數據源存儲在安全等級低的數據節點上必須加密；在作業執行的過程中採集各自的節點負載信息提交給控制節點；宕機檢測節點：進行周期性的數據節點宕機故障檢測，將宕機數據節點ID反饋給控制節點。控制節點採用基於安全約束和負載平衡的作業與數據節點映射方法，計算出若干映射方案，選擇代價最低方案進行執行；方案代價＝設置的每次數據源複製代價*數據源複製次數+設置的每次加密代價*加密次數。帶安全約束的成批作業-資源匹配方法，包括以下步驟：步驟A、伺服器端控制節點對安全性進行配置；數據節點的當前安全設置情況，為數據節點設置安全等級；根據數據源對安全性的要求，為數據源設置安全要求等級；根據作業請求者權限，設置作業權限等級；步驟A中安全等級劃分工作基於數據節點所在地理位置、數據節點上的安全配置，包括防火牆設置、埠設置、安全軟體安裝情況、數據節點所有者對安全等級劃分的建議；步驟B、伺服器端控制節點採用基於安全約束和負載平衡的作業與數據節點映射方法，將Map作業映射到滿足安全和負載平衡約束的數據節點上，將各節點上的作業按優先級進行排序並依次執行；所示安全約束包含2點：(1)作業只能在其有權限執行的數據節點上執行；(2)安全要求高的數據源必須以加密狀態存儲在安全等級低的數據節點上。所示負載平衡指的是控制節點根據數據節點計算能力，設置每個數據節點上可以映射的作業數量上限，每個數據節點上映射的作業數量不能超過指定閾值。步驟C、伺服器端宕機監測節點周期性檢測數據節點當前狀態，實時將故障數據節點ID反饋給伺服器端控制節點；步驟D、伺服器端控制節點收到故障數據節點ID，對當前映射到該節點上未完成的作業按照安全約束和負載平衡的作業與數據節點映射方法，將作業重新映射至未宕機數據節點。採用基於安全約束和負載平衡的作業與數據節點映射方法，計算出若干映射方案，選擇代價最低方案進行執行；方案代價＝設置的每次數據源複製代價*數據源複製次數+設置的每次加密代價*加密次數。Map作業映射到數據節點上時，很可能該數據節點上沒有作業計算所需數據源，需要先將數據源複製過來。複製的過程需要滿足安全約束，即安全要求高的數據源必須以加密狀態存儲在安全等級低的數據節點上。控制節點在將作業映射至數據節點上時，除了滿足安全約束與負載平衡外，應該儘可能少的發生複製與加密。如圖2所示，控制節點上主要處理的步驟包括：設置數據節點安全等級/數據源安全要求等/作業權限；基於安全約束與負載平衡的作業分配/重分配；根據基於安全約束和負載平衡的作業與數據節點映射方法及最低方案進行執行的原則，作業分配/重分配方案要求滿足以下條件：(1)作業只能分配到其有權限執行的數據節點上；控制節點不會將成批作業映射至其沒有權限的數據節點之上；(2)作業儘可能分配到其所計算的數據源所在數據節點上，減少數據源複製次數；如果作業所分配的數據節點上沒有其所需數據節點，則將發生數據源複製；複製過程中，安全要求高的數據源從安全等級高的數據節點上複製到安全等級低的數據節點上，安全等級高的數據節點必須先將數據源進行加密操作，再將加密後的數據源複製至安全等級低的數據節點上；(3)如果作業無法分配到其數據源所在數據節點上，則儘可能避免將安全要求高的數據源複製到安全等級低的數據節點上，以減少數據源加密次數；對安全要求高的數據源可以以明文方式存儲在安全等級高的數據節點上；對安全要求低的數據源可以以明文方式存儲在安全等級低或安全等級高的數據節點上；(4)作業分配應保證每個數據節點上的作業數量不超過指定閾值，以保證負載均衡；如圖3所示，數據節點主要執行流程為：(1)接收作業請求並執行作業：判斷是否接收到作業請求。如果接收到，則進一步判斷所需數據源是否在該數據節點上，如果不在則向數據源所在節點發送數據源複製請求並接收數據源副本執行作業並將完成信息返回給控制節點；如果沒有收到接收作業請求，則判斷(2)是否接收數據源複製請求。如果接收到，則判斷是否數據源安全要求高且請求數據源的數據節點安全等級低，如果是則需對數據源進行加密；將數據源發送至請求數據節點。如果沒有接收到或者數據源已經複製，則判斷是否發生宕機，如果沒有發生，則(3)定期發送心跳給宕機檢測節點；否則結束。表1是在發生數據源複製時，數據源加密操作執行表。數據節點會根據數據節點安全等級和數據源安全要求等級，參照此表決定是否發生數據源加密操作。表1在發生數據源複製時，數據源加密操作執行表表2預處理階段的Map作業權限表服務端控制節點對安全性進行配置，數據節點的當前安全設置情況，為數據節點設置安全等級；當前系統中有3個數據節點，伺服器控制節點對這些數據節點所設置的安全等級，如表3所示。在本實施例中，安全等級只有高和低兩種等級。表3數據節點ID安全等級當前狀態數據節點1高正常數據節點2低正常數據節點3高正常控制節點根據數據源對安全性的要求，為數據源設置安全要求等級；表4顯示當前每個數據節點上數據源的安全要求等級。設當前數據源都尚未加密。表4數據源ID安全要求等級是否加密數據節點ID數據源a低否數據節點1數據源b高否數據節點1數據源c低否數據節點2數據源d低否數據節點2數據源e高否數據節點3數據源f低否數據節點3數據源g高否數據節點3控制節點根據作業請求者權限，設置作業權限等級；控制節點在本周期內收到10個作業請求。控制節點從作業請求中查看到每個作業所需數據源和請求者的信息，設置每個作業請求的權限。表5顯示控制節點當前收到的作業在每個數據節點上的權限。0表示無權限，1表示有權限；表6顯示每個作業所請求的數據源以及作業狀態。表5表6作業ID數據源ID作業狀態作業1數據源c未完成作業2數據源g未完成作業3數據源b未完成作業4數據源d未完成作業5數據源e未完成作業6數據源f未完成作業7數據源g未完成作業8數據源a未完成作業9數據源b未完成作業10數據源c未完成控制節點根據數據節點計算能力，設置每個數據節點上可以映射的作業數量上限，如表7所示。表7數據節點ID負載閾值數據節點13數據節點25數據節點33伺服器端控制節點採用基於安全約束和負載平衡的作業與數據節點映射方法，將Map作業映射到滿足安全和負載平衡約束的數據節點上，將各節點上的作業進行排序並依次執行。控制節點根據表3-表7信息，基於安全和負載均衡策略，計算出若干映射方案。在每個方案中，作業優先級由整數表示，整數值越低，表示優先級越高；在計算方案代價時，設置複製代價為10/每次，加密代價為15/每次。方案一，如表8所示。方案一總共需要進行6次複製和3次加密，總代價為105。表8方案二，如表9所示。方案二總共進行了5次複製和1次加密，總代價為65。表9作業ID數據節點ID是否發生複製是否發生加密優先級作業1數據節點2是否0作業2數據節點1是否0作業3數據節點3是否0作業4數據節點2否否1作業5數據節點3否否1作業6數據節點2是否2作業7數據節點2是是3作業8數據節點1否否1作業9數據節點1否否2作業10數據節點2否否4根據代價比較，方案二代價較低。控制節點決定執行方案二。執行方案二後，表4因為數據源複製發生改變，如表10所示。表10數據源ID安全要求等級是否加密數據節點ID數據源a低否數據節點1數據源b高否數據節點1數據源b高否數據節點3數據源c低否數據節點2數據源d低否數據節點2數據源e高否數據節點3數據源f低是數據節點2數據源g高否數據節點1數據源g高是數據節點2伺服器端宕機監測節點周期性檢測數據節點當前狀態，實時將故障數據節點ID反饋給伺服器端控制節點；在上述10個作業執行過程中的某個時刻，伺服器端宕機監測節點檢測到數據節點1發生宕機。此時表1信息發生變化，如表11所示表11數據節點ID安全等級當前狀態數據節點1高正常數據節點2低正常數據節點3高宕機當前作業完成情況如表12所示。發現數據節點3上面有作業5未完成，需要重新映射到運行正常的數據節點。表12作業ID作業狀態數據節點ID作業1已完成數據節點2作業2已完成數據節點1作業3已完成數據節點3作業4未完成數據節點2作業5未完成數據節點3作業6未完成數據節點2作業7未完成數據節點2作業8未完成數據節點1作業9未完成數據節點1作業10未完成數據節點2控制節點根據表5發現，作業5隻在數據節點1和數據節點3上有權限，當前只有數據節點1運行正常，所以控制節點將作業5所需數據源e從備份處拷貝至節點1，無需加密。並將作業5重新映射至數據節點1。通過上述過程，本發明實現基於安全約束的批處理成批作業調度，在獲得較短的批處理作業完工時間的基礎上，可保證數據的安全訪問。當前第1頁1 2 3