一種動態自適應的網格數據遷移方法
2023-04-24 11:04:31 3
專利名稱：一種動態自適應的網格數據遷移方法
技術領域：
本發明是一種網格計算中的數據遷移方法，主要用於解決網格數據遷移的問題，屬於分布式計算軟體領域。
背景技術：
網格計算是一個分布式和並行計算的支持平臺，是一種無縫、集成計算和協同環境。它可以作為虛擬的整體使用在地理上分散的計算資源，如高速互連的異構計算機、資料庫、科學儀器、文件和超級計算系統等。基於Internet的網格計算系統不但能使人們聚集分散的計算能力、形成超級計算的能力，解決諸如高能物理、大氣、天文、生物信息和石油地質等許多重大應用領域中的問題(諸如虛擬核爆炸、新藥研製、氣象預報和環境監測等)，而且還能使人們共享和充分利用網絡中的各種資源。簡言之，網格把整個Internet整合成一臺巨大的超級計算機，實現計算資源、存儲資源、數據資源、信息資源、知識資源、專家資源的全面共享和協同。
由於網格計算的這些優勢，它在科學計算、數據存儲、虛擬實境、軍事以及電子商務等各個領域展開了廣泛的研究和應用開發，且都有著良好的應用前景，對網格計算技術的研究也日益受到各國政府和科研機構的重視。網格計算主要包括信息管理、數據管理、資源管理、作業管理以及安全管理等功能模塊，其中數據管理是把網格應用到實際問題中的關鍵技術之一，而數據遷移是一種不產生數據副本的數據管理機制，目的就是為了提高數據請求的響應速度。因此研究有效的數據遷移方案能夠更好地提高網格數據管理能力，具有重要的意義。
數據遷移主要需考慮兩個方面的問題(1)數據遷移到新節點的選擇(2)數據遷移後如何把原來數據的URL訪問請求引導到新的位置。對於數據遷移而言，選擇一個合適的新節點作為移動數據的目的節點，有諸多因素需要考慮首先該節點的可達帶寬要大於或者等於該數據未來一段時間的可能的請求帶寬，其次新節點的數據容器要支持待遷移的數據，最後新選擇的節點的數據訪問負載要小，避免移動數據後造成該節點負載過大。而數據遷移後如何把按原來數據的URL訪問請求引導到新的位置，也是數據遷移的關鍵技術。
發明內容
技術問題本發明的目的就是提供一種動態自適應的網格數據遷移方法，來解決網格環境下的數據遷移問題，本機制是一種策略性方法，通過使用本方法可以使得網格數據在一定條件下動態自主地進行遷移。
技術方案本發明的方法是一種策略性的方法，通過一種基於基因表達式編程算法來選擇網格節點，從而解決了數據在發生遷移時新節點的選擇，同時基於索引技術來完成把遷移後的數據從原來的位置引導到新的位置上。
一、體系結構 圖1給出了動態自適應的網格數據遷移結構圖，它主要包括四個部分數據遷移控制器、目標節點選擇器、索引分析器以及數據遷移操作核心。圖中的數據遷移操作核心包括了在目標節點選好的情況下，對數據進行遷移所需的所有具體操作。本發明增加了其它三個部分並不影響對數據本身的遷移動作，只是保證數據遷移更加順利有效地進行。
下面給出具體介紹 數據遷移控制器數據的移動主要有網格系統管理下的數據移動和數據擁有者請求下的數據遷移兩種情況。當一個數據需要遷移時，表明該數據在這個節點上的存在已經不能給網格用戶提供所需的服務質量，或者造成了傳輸資源的浪費。數據遷移控制器可以通過判斷上述這些發生數據遷移的條件是否滿足來決定是否進行數據的遷移。在本專利中對數據遷移控制的具體實現不做任何限制。
目標節點選擇器數據從一個節點遷移到另一個節點上時，需要從諸多的網格節點中選擇一個合適的節點作為遷移數據的目標節點，並把數據遷移到新選擇的節點上。而新節點的選擇需要滿足節點的請求帶寬要足夠大、新舊節點的數據容器要一致以及節點的負載不能過大等條件，節點選擇器主要就是通過基因表達式編程來選擇滿足上述條件的新節點。
索引分析器數據遷移後如何把按原來數據的URL訪問請求引導到新的位置，這是數據遷移管理的關鍵環節。通過在原節點建立一個索引表，用戶請求數據時，會通過數據名查詢索引表，再通過索引表自動把用戶訪問請求引導到新的位置。
二、方法流程 1、數據遷移控制器 網格中的數據是否發生遷移取決於數據在當前節點上的存在已經不能滿足用戶的服務質量需求或者造成了傳輸資源的浪費。為了及時判斷出當前網格中的數據是否要發生遷移，在本方法中，建立一個數據遷移知識規則庫，把當前反映數據是否發生遷移的條件輸入到數據遷移知識規則庫中，用戶定時採集網格中數據提供給用戶的服務質量情況以及傳輸資源的利用情況，然後查詢數據遷移知識規則庫來判斷當前數據是否需要發生遷移。
2、目標節點選擇器 數據從一個節點遷移到另一個節點上，需要對目標節點的性能進行評估，以便於遷移後的數據能給網格用戶提供所需要的服務質量，也不會造成傳輸資源的浪費。由於新節點的選擇需要考慮諸多因素，要從中找出最優化的節點，就必須對這些指標進行量化，但有些因素是動態變化的，具體量化很困難，而且複雜。故在本方法中，我們提出了基於基因表達式編程的網格節點選擇策略。
首先要對待選擇的節點的指標進行數位化。在實際中考慮以下四個指標作為我們選擇目標節點的因素1)該節點的可達帶寬Mc；2)該節點的本地管理系統屬性y；3)本節點的數據訪問負載z；4)當前待遷移數據的大小s。為了問題的處理，需要對上述指標進行預處理。
設某節點的當前的可達帶寬為Mc，未來一段時間的可能的請求帶寬為M，則令而當該節點的本地管理系統支持遷移數據的特徵和屬性時，y＝1，否則y＝0。通過相應的分析軟體可以得到當前網格節點的數據訪問負載z的情況，並進行歸一化處理。並對當前遷移數據的大小s也進行歸一化處理。再設F表示是否接受該節點為目標節點，當x≥1，y＝1，0＜z＜0.5，0＜s＜0.5時，我們認為該節點可以作為數據遷移的目標節點，此時F＝1，否則F＝0。在此我們構建如下樣本數據表， 表1
在本發明中我們使用基因表達式編程算法來從事先得到的一組樣本數據中挖掘出F與x，y，z，s之間的函數關係F＝f(x，y，z，s)，然後對待選擇的節點把上述四個參數帶入計算F的值，取F最大的為數據遷移的目標節點。
主要工作流程如下 (1)收集有關網格節點的當前運行參數和屬性的數據，並對該數據進行預處理，組成待挖掘的測試樣本； (2)根據參數，初始化種群； (3)評價種群中每一個個體的適應度函數值； (4)判斷是否滿足終止條件，若滿足則轉到第(7)步，否則繼續； (5)按照概率執行各種遺傳操作； (6)產生新的種群，並轉到第(3)步。
(7)返回函數關係式，帶入網格節點的指標參數樣本數據進行計算，返回F為最大值的網格節點即為所求的目標節點。
通過基因表達式編程算法使得網格節點具有自適應的特點，通過定時運行該算法程序，不斷根據收集到的網格節點的運行參數和屬性的數據來動態調整算法的參數，從而使得節點的選擇更加合理和優化。
3、索引分析器 數據從一個節點遷移到另一個節點後，原來的舊數據要求刪除，如何把用戶從原來的位置引導到新節點上是數據遷移的重要工作之一。在本發明中通過建立索引來完成重新引導的工作，用戶在網格上主要是痛過數據名來訪問特定的數據實例，那麼只要把數據名和數據所處的URL，也既是把該數據名和數據所處的網絡地址進行一對一的映射，在數據遷移時，刪除原來的URL，添加目標節點所在的URL，這樣用戶通過索引分析器就可以找到對應數據名的URL地址，從而把用戶正確引導到新的位置上。為了說明這個過程，我們以電信計費數據為例，整個資料庫的結構以及更新後的情況如表2，表3所示。
表2更新前的索引資料庫 表3更新後的索引資料庫 從表2和表3中可以看出，電信計費數據從網格節點1遷移到網格節點2對應的資料庫中保存，其中數據源對應的URL也發生了變化，通過索引資料庫實現了數據名和對應的URL的綁定。
主要工作流程 (1)在索引伺服器上建立一個索引資料庫，主要欄位有數據名，當前數據所處的URL。
(2)判斷數據是否要發生遷移，若發生遷移，刪除索引資料庫中發生遷移的數據的原來記錄，然後向索引資料庫中再插入一條記錄發生遷移的數據名，待遷移的目標節點的URL。
(3)如果有相同數據名稱的數據集發生遷移，通過判斷目標伺服器上有無相同名稱的數據集，若有，則在發生遷移的過程中修改數據名，否則繼續。
通過索引分析器，用戶在訪問遷移後的數據時，無須關心數據遷移到網格哪一個節點上，只要通過查詢索引資料庫就可以知道數據遷移到新的節點的URL，從而使得網格環境下數據遷移能夠適應網格資源動態變化的特點，同時刪除原來對應的索引記錄，以減少索引資料庫的空間大小。
本發明的動態自適應的網格數據遷移方法包含的步驟為 步驟1用戶根據數據遷移控制器定時查詢數據遷移知識規則庫來判斷是否需要進行數據遷移，若需要遷移則進入到下一步，否則繼續監視； 步驟2收集當前網格中各節點的屬性特徵數據，也即是根據網格中所有節點的可達帶寬Mc，在結合未來一段時間的各相應網格節點可能的請求帶寬M來計算的值；根據網格中所有節點的本地管理系統是否支持待遷移數據的屬性和特徵來計算y的值；根據流量分析來判斷網格中節點的數據訪問負載z的值；記錄當前待遷移數據的大小s的值；同時對收集得到的這些數據進行預處理，並組成訓練數據； 步驟3運行基因表達式編程算法挖掘出目標節點與各屬性特徵數據之間的函數關係； 步驟4根據該函數關係，帶入如表1所示的由歸一化後的節點的可達帶寬Mc、本地管理系統屬性y、數據訪問負載z以及當前待遷移數據的大小s所組成的測試數據，來選擇對應的函數值最大的節點作為目標節點； 步驟5選擇待遷移數據集，同時確定目標數據集，若兩者之間屬於相同類型數據集，則轉步驟6，否則轉步驟7； 步驟6確定源和目標數據集各欄位之間的映射關係； 步驟7通過建立反映不同數據類型的元數據列表來建立這些元數據之間的映射關係，並轉化為源和目標數據集欄位之間的映射關係； 步驟8確定轉化規則並設定日誌信息； 步驟9進行具體的數據遷移，最終在目標節點上得到原數據的副本； 步驟10判斷目標節點上有無相同的數據名，若有則修改數據名後，轉到步驟11，否則直接轉到步驟11； 步驟11在索引伺服器上建立索引資料庫，並向索引資料庫中插入原數據副本的數據名以及所在節點的網絡地址； 步驟12判斷此時網格中有無數據遷移，若有，轉至步驟2，否則轉至步驟14； 步驟13返回遷移後的數據所在的網絡地址； 步驟14數據遷移結束。
有益效果本發明方法提出了一種動態自適應的網格數據遷移機制，主要用於解決網格環境下數據遷移的問題，通過使用本發明中提出的方法可以根據當前的網格節點屬性智能化選擇遷移的目標網格節點，而且在數據遷移後可以很方便地把用戶引導到新的目標位置上。
下面給出具體的說明。
目標節點選擇器通過使用基因表達式編程算法，增加了目標節點選擇的智能性。數據從一個節點遷移到目標節點上，所需要考慮的影響因素很多，如果人為從網格中根據需求進行選擇，無疑增加了用戶的負擔，而且選擇的目標節點不一定是當前最符合待遷移數據特徵和用戶需求的目標節點。故在節點選擇器中引入基因表達式編程算法，通過定時採集網格中各節點的特徵和屬性值，運行基因表達式編程算法，構造一個符合需求的函數關係，通過該函數關係式用戶可以很方便地根據待遷移數據的屬性以及當前網絡情況來選擇目標節點，從而使得選擇的目標節點具有動態自適應的特點。
索引分析器通過在伺服器上部署關於數據名的索引資料庫，從而使得用戶可以方便快捷地訪問遷移後數據。數據從網格的一個節點遷移到另一個節點上，如何在不改變用戶需求的情況下把用戶引導到新的節點上是網格數據遷移的關鍵技術。如果用戶按照遷移後新的URL訪問數據，那麼數據必須要在網格註冊中心重新註冊，使得註冊中心在向外發布數據時，及時更新數據新的URL，由於網格數據在網格環境中為了不產生過多的數據副本，遷移動作頻繁，那麼數據擁有者就要頻繁地向網格註冊中心註冊該數據資源，使之能再次成為網格中的合法可用資源，這種方法無疑增加了網格註冊中心的工作，也增加了數據擁有者的麻煩。所以在本發明中通過索引分析器來完成數據遷移後URL的重新定位問題。用戶通過數據名來訪問數據，這樣可以通過索引分析器來把數據名和其對應的URL進行有效的映射，每次數據遷移後，把遷移後的新節點的URL插入到索引資料庫中，並同時刪除對應的原來的記錄，這樣既可以更新了數據URL，又不因為要更新資料庫而增加資料庫的空間大小。
圖1是網格數據遷移的組成結構圖。主要包括數據遷移控制器、目標節點選擇器、索引分析器以及數據遷移操作核心。
圖2是參考體系結構示意圖。表示本發明方法包括的組件。
圖3是本發明方法的流程示意圖。
具體實施例方式 步驟1用戶根據數據遷移控制器定時查詢數據遷移知識規則庫來判斷是否需要進行數據遷移，若需要遷移則進入到下一步，否則繼續監視； 步驟2收集當前網格中各節點的屬性特徵數據，也即是根據網格中所有節點的可達帶寬Mc，在結合未來一段時間的各相應網格節點可能的請求帶寬M來計算的值；根據網格中所有節點的本地管理系統是否支持待遷移數據的屬性和特徵來計算y的值；根據流量分析來判斷網格中節點的數據訪問負載z的值；記錄當前待遷移數據的大小s的值；同時對收集得到的這些數據進行預處理，並組成訓練數據； 步驟3運行基因表達式編程算法挖掘出目標節點與各屬性特徵數據之間的函數關係； 步驟4根據該函數關係，帶入樣本數據表由歸一化後的節點的可達帶寬Mc、本地管理系統屬性y、數據訪問負載z以及當前待遷移數據的大小s所組成的測試數據，來選擇對應的函數值最大的節點作為目標節點； 步驟5選擇待遷移數據集，同時確定目標數據集，若兩者之間屬於相同類型數據集，則轉步驟6，否則轉步驟7； 步驟6確定源和目標數據集各欄位之間的映射關係； 步驟7通過建立反映源和目標數據集之間不同數據類型的元數據列表來建立這些元數據之間的映射關係，並轉化為源和目標數據集欄位之間的映射關係； 步驟8確定轉化規則並設定日誌信息； 步驟9進行具體的數據遷移，最終在目標節點上得到原數據的副本； 步驟10判斷目標節點上有無相同的數據名，若有則修改數據名後，轉到步驟11，否則直接轉到步驟11； 步驟11在索引伺服器上建立索引資料庫，並向索引資料庫中插入原數據副本的數據名以及所在節點的網絡地址； 步驟12判斷此時網格中有無數據遷移，若有，轉至步驟2，否則轉至步驟14； 步驟13返回遷移後的數據所在的網絡地址； 步驟14數據遷移結束。
為了方便描述，我們假設有如下應用實例 在網格節點A有數據X，由於某種原因需要遷移到網格中另一個節點B上，要求通過目標節點選擇器來選擇目標節點B，以及用戶通過索引分析器來無縫訪問遷移到目標節點B上的原數據X的副本。
其具體的實施方案為 (1)根據數據遷移控制器對當前網格節點A的數據訪問負載或從網格節點A到用戶的傳輸帶寬的利用率進行判斷，若網格節點A的數據訪問負載過大，不能滿足用戶所需的服務質量或者造成了傳輸帶寬的浪費，則提出數據遷移請求；否則繼續監視網格節點A的情況； (2)收集當前網格中各節點的屬性特徵數據，也即是根據網格中所有節點的可達帶寬Mc，在結合未來一段時間的各相應網格節點可能的請求帶寬M來計算的值；根據網格中所有節點的本地管理系統是否支持待遷移數據的屬性和特徵來計算y的值；根據流量分析來判斷網格中節點的數據訪問負載z的值；記錄當前待遷移數據的大小s的值；同時對收集得到的這些數據進行預處理，並組成訓練數據； (3)運行基因表達式編程算法挖掘出目標節點與各屬性值之間的函數關係式。然後根據上面得到的函數關係式，代入當前所收集到的網格中所有節點的屬性值數據，求出最大值所對應的節點即為目標節點B。
(4)遷移的目標節點B選定之後，要進行具體的數據遷移。首先在網格節點A上確定待遷移的數據集X，在目標節點B上選擇目標數據集X』；若兩者屬於相同類型的數據集，則在節點A和節點B之間建立原數據和目標數據之間的映射關係；否則通過建立反映源和目標數據集之間不同數據類型的元數據列表來建立這些元數據之間的映射關係，並轉化為源和目標數據集欄位之間的映射關係；接著設置數據進行轉換的規則並設定轉換日誌信息(包括格式和存儲位置)；最後藉助於臨時表結構來遷移數據，最終在目標節點上得到原數據的副本Y，接著判斷目標節點B上有無和原數據相同的數據名，若有則修改數據名。
(5)數據X遷移到目標節點B後形成了原數據的目標副本Y，原數據要求刪除，此時要做好原數據X和副本Y之間的URL映射。任意選擇網格中一個節點作為索引伺服器，並在其上建立索引資料庫。副本Y建好後，同時要向索引資料庫中寫入副本Y的名稱以及副本Y在目標節點B中所處的URL，同時刪除對應副本Y名稱的原資料庫記錄。
(6)原數據X已從節點A遷移到了節點B，同時返回了原數據處於目標節點B中的網絡地址，也既是完成了原數據的重定向，使得用戶可以在不改動任何訪問方式的情況下，訪問遷移後的數據。整個過程結束。
權利要求
1.一種動態自適應的網格數據遷移方法，其特徵在於該方法包含的步驟為
步驟1用戶根據數據遷移控制器定時查詢數據遷移知識規則庫來判斷是否需要進行數據遷移，若需要遷移則進入到下一步，否則繼續監視；
步驟2收集當前網格中各節點的屬性特徵數據，也即是根據網格中所有節點的可達帶寬Mc，在結合未來一段時間的各相應網格節點可能的請求帶寬M來計算的值；根據網格中所有節點的本地管理系統是否支持待遷移數據的屬性和特徵來計算y的值；根據流量分析來判斷網格中節點的數據訪問負載z的值；記錄當前待遷移數據的大小s的值；同時對收集得到的這些數據進行預處理，並組成訓練數據；
步驟3運行基因表達式編程算法挖掘出目標節點與各屬性特徵數據之間的函數關係；
步驟4根據該函數關係，帶入樣本數據表由歸一化後的節點的可達帶寬Mc、本地管理系統屬性y、數據訪問負載z以及當前待遷移數據的大小s所組成的測試數據，來選擇對應的函數值最大的節點作為目標節點；
步驟5選擇待遷移數據集，同時確定目標數據集，若兩者之間屬於相同類型數據集，則轉步驟6，否則轉步驟7；
步驟6確定源和目標數據集各欄位之間的映射關係；
步驟7通過建立反映源和目標數據集之間不同數據類型的元數據列表來建立這些元數據之間的映射關係，並轉化為源和目標數據集欄位之間的映射關係；
步驟8確定轉化規則並設定日誌信息；
步驟9進行具體的數據遷移，最終在目標節點上得到原數據的副本；
步驟10判斷目標節點上有無相同的數據名，若有則修改數據名後，轉到步驟11，否則直接轉到步驟11；
步驟11在索引伺服器上建立索引資料庫，並向索引資料庫中插入原數據副本的數據名以及所在節點的網絡地址；
步驟12判斷此時網格中有無數據遷移，若有，轉至步驟2，否則轉至步驟14；
步驟13返回遷移後的數據所在的網絡地址；
步驟14數據遷移結束。
全文摘要
一種動態自適應的網格數據遷移方法是一種對網格下數據需要遷移時的一種動態自適應的機制，它主要有數據遷移控制器、目標節點選擇器、索引分析器以及數據遷移操作核心等部分組成。當網格中某節點的數據如果不能滿足當前用戶的數據服務質量，或者造成了網絡帶寬的浪費時，此時該節點上的數據需要進行遷移，通過選擇該節點的可達帶寬、該節點的本地管理系統屬性、本節點的數據訪問負載以及當前待遷移數據的大小等因素，然後對這些因素進行預處理，利用基因表達式編程的算法思想來挖掘目標節點與這些因素的函數關係，通過挖掘得到的函數關係可以更好地進行目標節點的選擇。
文檔編號G06F9/46GK101299198SQ20081012415
公開日2008年11月5日 申請日期2008年6月13日 優先權日2008年6月13日
發明者王汝傳, 松 鄧, 季一木, 任勳益, 侃 易, 楊明慧, 蔣凌雲, 雄 付, 琳 張 申請人:南京郵電大學