一種數據遷移方法及裝置與流程
2023-05-02 19:27:36 1
本發明涉及數據處理
技術領域：
，特別涉及一種數據遷移方法及裝置。
背景技術：
：HDFS(HadoopDistributedFileSystem，大數據結構的分布式文件系統)用於存儲數據，包括：一個NameNode(命名節點)和至少一個DataNode(數據節點)。其中，NameNode主要負責管理HDFS的命名空間、HDFS配置信息和存儲塊的複製等；DataNode是文件存儲的基本單元，它將存儲塊存儲在本地文件系統中，保存存儲塊的元數據，同時周期性地將所有存儲塊信息發送給NameNode，一個存儲塊為一個數據的副本。另外，DataNode又分為磁碟層節點和歸檔層節點，磁碟層節點擁有較高的計算能力；歸檔層節點擁有較高的存儲密度、較低的計算能力。技術實現要素：本發明實施例公開了一種數據遷移方法及裝置，以提高HDFS的資源利用率。為達到上述目的，本發明實施例公開了一種數據遷移方法，應用於命名節點，所述方法包括：獲取目的數據的第一存儲策略和讀取頻率；確定所述第一存儲策略的目的讀取頻率範圍，並判斷所述讀取頻率是否在所述目的讀取頻率範圍內；若為否，根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為所述第二存儲策略，並根據所述第二存儲策略遷移所述目的數據。在本發明的一個實施例中，所述獲取目的數據的第一存儲策略和讀取頻率，包括：獲取目的數據的第一存儲策略，並根據預設的存儲策略和數據周期間的對應關係，確定所述第一存儲策略對應的第一數據周期；獲取所述目的數據的讀取次數；根據所述第一數據周期和所述讀取次數，確定所述目的數據的讀取頻率。在本發明的一個實施例中，所述根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為所述第二存儲策略，並根據所述第二存儲策略遷移所述目的數據，包括：根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為第二存儲策略，並將所述目的數據的遷移狀態設置為待遷移狀態；噹噹前時間達到預設時間時，根據所述第二存儲策略，對遷移狀態為所述待遷移狀態的目的數據進行遷移。在本發明的一個實施例中，所述根據所述第二存儲策略遷移所述目的數據，包括：當所述第一存儲策略為溫數據存儲策略，第二存儲策略為冷數據存儲策略時，刪除存儲在磁碟層節點中所述目的數據的存儲塊。在本發明的一個實施例中，所述根據所述第二存儲策略遷移所述目的數據，包括：當所述第一存儲策略為冷數據存儲策略，第二存儲策略為溫數據存儲策略時，將存儲在歸檔層節點中所述目的數據的存儲塊複製至磁碟層節點。為達到上述目的，本發明實施例還公開了一種數據遷移裝置，應用於命名節點，所述裝置包括：獲取單元，用於獲取目的數據的第一存儲策略和讀取頻率；判斷單元，用於確定所述第一存儲策略的目的讀取頻率範圍，並判斷所述讀取頻率是否在所述目的讀取頻率範圍內；遷移單元，用於在所述判斷單元判斷結果為否的情況下，根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為所述第二存儲策略，並根據所述第二存儲策略遷移所述目的數據。在本發明的一個實施例中，所述獲取單元，具體用於：獲取目的數據的第一存儲策略，並根據預設的存儲策略和數據周期間的對應關係，確定所述第一存儲策略對應的第一數據周期；獲取所述目的數據的讀取次數；根據所述第一數據周期和所述讀取次數，確定所述目的數據的讀取頻率。在本發明的一個實施例中，所述裝置還包括：設置單元，用於根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為第二存儲策略，並將所述目的數據的遷移狀態設置為待遷移狀態；所述遷移單元，還用於噹噹前時間達到預設時間時，根據所述第二存儲策略，對遷移狀態為所述待遷移狀態的目的數據進行遷移。在本發明的一個實施例中，所述遷移單元，具體用於：當所述第一存儲策略為溫數據存儲策略，第二存儲策略為冷數據存儲策略時，刪除存儲在磁碟層節點中所述目的數據的存儲塊。在本發明的一個實施例中，所述遷移單元，具體用於：當所述第一存儲策略為冷數據存儲策略，第二存儲策略為溫數據存儲策略時，將存儲在歸檔層節點中所述目的數據的存儲塊複製至磁碟層節點。本發明實施例提供了一種數據遷移方法及裝置，命名節點可以實時地獲取目的數據的讀取頻率，當讀取頻率在目的數據的目的讀取頻率範圍內時，根據讀取頻率確定第二存儲策略，將目的數據的存儲策略修改為第二存儲策略，最後，根據第二存儲策略遷移目的數據。這樣實時地獲取目的數據的讀取頻率，實時地更新目的數據的存儲策略，並遷移目的數據，提高了HDFS的資源利用率。附圖說明為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本發明實施例提供的一種數據遷移方法的流程示意圖；圖2為本發明實施例提供的一種HDFS的結構示意圖；圖3(a)為本發明實施例提供的另一種HDFS的結構示意圖；圖3(b)為本發明實施例提供的另一種HDFS的結構示意圖；圖3(c)為本發明實施例提供的另一種HDFS的結構示意圖；圖4為本發明實施例提供的一種數據遷移裝置的結構示意圖。具體實施方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。在HDFS中存儲的數據有3種，分別為：熱數據、溫數據和冷數據。其中，熱數據被訪問的頻率(又可以稱為讀取頻率)非常高，一般為每天被訪問至少一次；溫數據被訪問的頻率一般為每周被訪問幾次；冷數據被訪問的次數非常低，一般為幾個月或一年被訪問幾次。針對這3種類型的數據，HFDS中設置了3種存儲策略，分別為：熱數據存儲策略、溫數據存儲策略和冷數據存儲策略。若對一數據D應用熱數據存儲策略，那麼該數據D的所有副本需要都存儲磁碟層節點中；若對數據D應用溫數據存儲策略，那麼數據D的一個副本存儲在磁碟層節點中，數據D的其他副本需要存儲在歸檔層節點；若對數據D應用冷數據存儲策略，那麼數據D的所有副本都需要存儲在歸檔層節點中。下面通過具體實施例，對本發明進行詳細說明。參考圖1，圖1為本發明實施例提供的一種數據遷移方法的流程示意圖，該方法應用於HDFS中的NameNode，可參考圖2，HDFS包括：一個NameNode100、一個以上作為磁碟層節點210的DataNode和一個以上作為歸檔層節點220的DataNode。該方法包括：S101：獲取目的數據的第一存儲策略和讀取頻率；其中，存儲策略包括：熱數據存儲策略、溫數據存儲策略和冷數據存儲策略。NameNode100會為每一數據配置存儲策略，並根據配置的存儲策略存儲每一數據。如：目前需要存儲一數據D1，那麼NameNode100可以為數據D1分配熱數據存儲策略，將數據D1的所有副本都存儲在磁碟層節點210，存儲數據D1之後，隨著數據D1被訪問的頻率，也就是讀取頻率的變化，調整數據D1的存儲策略，並根據調整後的存儲策略，遷移已存儲的數據D1的副本。數據的存儲策略和讀取頻率相關，因此在確定目的數據是否需要遷移時，可以先獲取目的數據的第一存儲策略和讀取頻率。實際應用中，通過NameNode100進行存儲和讀取數據。在本發明的一個實施例中，NameNode100中可以直接根據數據的讀取次數計算得到該數據的讀取頻率，並存儲數據的讀取頻率，這樣，當需要確定是否遷移目的數據時，NameNode100可以直接獲取目的數據的讀取次數。在本發明的另一個實施例中，NameNode100可以僅記錄數據的讀取次數，另外，NameNode100還可以存儲對應每一種存儲策略的數據周期。這裡，讀取次數與時間對應；數據周期可以為一個確定的值，如7天，也可以為一個取值範圍，如7天～15天。當需要確定是否遷移目的數據時，NameNode100可以獲得目的數據對應的第一存儲策略，再獲取第一存儲策略對應的第一數據周期，並可以根據讀取次數對應的時間，獲得距離當前時刻的第一數據周期內目的數據的讀取次數，根據以下公式獲得目的數據的讀取頻率：假設，目的數據讀取次數分別為：[2015.10.110:00，1次]，[2015.10.111:00，1次]、[2015.10.112:00，1次]、[2015.10.210:00，1次]、[2015.10.211:00，1次]，若當前時刻為2015.10.212:00，第一數據周期為1天，則可以獲得距離當前時刻的第一數據周期內目的數據的讀取次數為：[2015.10.112:00，1次]、[2015.10.210:00，1次]、[2015.10.211:00，1次]，也就是共3次，此時確定目的數據的讀取頻率為：3次/1天＝3次/天。在一種較佳的實現方式中，上述讀取次數和數據周期可以對應的存儲在一個信息表中，可參考表1，表1為本發明實施例提供的一種信息表。表1數據數據周期讀取次數存儲策略Data1Age<7天20HotData27天<Age<1月5WarmData31月<Age<3月5Cold…………其中，Hot為熱數據存儲策略，Warm為溫數據存儲策略，Cold為冷數據存儲策略。這樣，NameNode100可以直接從上述信息表獲取目的數據的數據周期和讀取次數，進而確定出目的數據的讀取頻率。S102：確定第一存儲策略的目的讀取頻率範圍，並判斷上述讀取頻率是否在目的讀取頻率範圍內，若為否，執行S103；NameNode100還可以設置每一種存儲策略的讀取頻率範圍，如，可以設置：Hot的讀取頻率範圍為[2次/天，∞)，Warm的讀取頻率範圍為[2次/周，14次/周)，Cold的讀取頻率範圍為策[0，8次/周)。在確定目的數據是否需要遷移時，可以先確定目的數據的讀取頻率是否在第一存儲策略對應的目的讀取頻率範圍：若目的數據的讀取頻率在目的讀取頻率範圍內，則可以表明目的數據的存儲策略無需更新，不需要對目的數據進行遷移；若目的數據的讀取頻率不在目的讀取頻率範圍內，則可以表明目的數據的存儲策略需要修改，目的數據需要遷移，也就是執行S103。S103：根據上述讀取頻率確定第二存儲策略，將第一存儲策略修改為第二存儲策略，並根據第二存儲策略遷移目的數據。在確定目的數據需要遷移時，可以確定目的數據的讀取頻率在哪種存儲策略的讀取頻率範圍內，進而確定第二存儲策略，如：目的數據的讀取頻率在Hot的讀取頻率範圍內，則可以確定第二存儲策略為Hot。在確定第二存儲策略後，就可以將目的數據的第一存儲策略修改為第二存儲策略，進而根據第二存儲策略遷移目的數據，也就是，遷移目的數據的副本至對應的DataNode中。在本發明的一個實施例中，HDFS需要處理大量的數據，若在數據處理尖峰時段對數據進行遷移，將影響HDFS的數據處理速度，並且數據遷移的效率也非常低。基於這種情況，可以為每一數據配置遷移狀態，需要遷移的數據的遷移狀態可以設置為待遷移狀態(如「Doing」)，不需要遷移的數據的遷移狀態可以設置為完成遷移狀態(如「Done」)；另外，NameNode100中還可以預先設置一個時間，當到達該預設時間時，NameNode100掃描各個數據的遷移狀態，獲得遷移狀態為Doing的數據的存儲策略，並根據獲得的存儲策略對數據進行遷移。在遷移結束後，可以將遷移成功的數據的遷移狀態設置為Done，避免一個數據不斷的遷移，佔用HDFS的計算資源，影響HDFS的數據處理速度。這裡，預設時間可以為：凌晨00:00，凌晨03:00等HDFS的數據處理非高峰時刻。另外，在進行數據遷移時，避免將所有的數據遷移至部分磁碟層節點中或部分歸檔層節點中，可以將目的數據的副本負載均衡的遷移至對應的各個DataNode(磁碟層節點或歸檔層節點)中，也就是，對應的各個DataNode中存儲一個目的數據的副本。在本發明的一個實施例中，若第一存儲策略為Warm，表明當前目的數據的一個副本F1存儲在磁碟層節點210中，其他所有的副本存儲在歸檔層節點220中，若此時確定第二存儲策略為Cold，可以將副本F1直接移動至歸檔層節點220中；另外，由於歸檔層節點220中已存儲了目的數據的副本，若還將副本F1直接移動歸檔層節點220中，將會佔用HDFS的計算資源和帶寬，並且還會佔用歸檔層節點220的存儲空間，因此可以將副本F1在磁碟層節點210中刪除；若第一存儲策略為Cold，表明當前目的數據的所有副本都存儲在歸檔層節點220中，若此時確定第二存儲策略為Warm，為避免數據移動過程中佔用HDFS的計算資源和帶寬，可以在磁碟層節點210中複製一個目的數據的副本。值得一提的是，本發明實施例中，數據遷移可以包括：數據的複製、數據的刪除和數據的移動等。這裡，數據的移動可以為：直接將數據從源存儲位置移動至目的存儲位置；也可以為：在源存儲位置剪切數據，在目的存儲位置複製該數據等。下面結合一實例說明數據的遷移過程，可參考圖3(a)，圖3(a)所示HDFS中包括一個NameNode100和6個DataNode，這6個DataNode中，3個作為磁碟層節點210，3個作為歸檔層節點220，數據Data1的存儲策略為Hot，其3個副本Data1』、Data1」和Data1」』分別存儲在3個磁碟層節點210中。在Data1存儲一段時間後，Data1的讀取頻率降低，Data1的讀取頻率在Warm的讀取頻率範圍內了，則需要將其存儲策略Hot修改為Warm，並將其遷移狀態設置為Doing，噹噹前時刻達到預設時間時，可以將Data1」和Data1」』負載均衡地遷移至歸檔層節點220中，同時，將Data1的遷移狀態設置為Done，可參考圖3(b)；一段時間後，若Data1的讀取頻率再次降低，其讀取頻率在Cold的讀取頻率範圍內了，則需要將Data1的存儲策略Warm修改為Cold，並將其遷移狀態設置為Doing，噹噹前時刻達到預設時間時，可以將Data1』直接刪除，Data1」和Data1」』無需變化，同時，將Data1的遷移狀態設置為Done，可參考圖3(c)；一段時間後，若Data1的讀取頻率提高了，並且其讀取頻率在Warm的讀取頻率範圍內了，則需要將Data1的存儲策略Cold修改為Warm，並將其遷移狀態設置為Doing，噹噹前時刻達到預設時間時，可以根據Data1」或Data1」』直接在磁碟層節點210中複製一個Data1』，Data1」和Data1」』無需變化，同時，將Data1的遷移狀態設置為Done，可參考圖3(b)；一段時間後，若Data1的讀取頻率再次提高，並且其讀取頻率在Hot的讀取頻率範圍內了，則需要將Data1的存儲策略Warm修改為Hot，並將其遷移狀態設置為Doing，噹噹前時刻達到預設時間時，可以將Data1」和Data1」』負載均衡地遷移至磁碟層節點210中，同時，將Data1的遷移狀態設置為Done，可參考圖3(a)。本發明實施例提供了一種數據遷移方法，命名節點可以實時地獲取目的數據的讀取頻率，當讀取頻率在目的數據的目的讀取頻率範圍內時，根據讀取頻率確定第二存儲策略，將目的數據的存儲策略修改為第二存儲策略，最後，根據第二存儲策略遷移目的數據。這樣實時地獲取目的數據的讀取頻率，實時地更新目的數據的存儲策略，並遷移目的數據，提高了HDFS的資源利用率。參考圖4，圖4為本發明實施例提供的一種數據遷移裝置的結構示意圖，該裝置應用於HDFS中的NameNode，可參考圖2，HDFS包括：一個NameNode100、一個以上作為磁碟層節點210的DataNode和一個以上作為歸檔層節點220的DataNode。該裝置包括：獲取單元401，用於獲取目的數據的第一存儲策略和讀取頻率；判斷單元402，用於確定所述第一存儲策略的目的讀取頻率範圍，並判斷所述讀取頻率是否在所述目的讀取頻率範圍內；遷移單元403，用於在所述判斷單元402判斷結果為否的情況下，根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為所述第二存儲策略，並根據所述第二存儲策略遷移所述目的數據。在本發明的一個實施例中，所述獲取單元401，具體用於：獲取目的數據的第一存儲策略，並根據預設的存儲策略和數據周期間的對應關係，確定所述第一存儲策略對應的第一數據周期；獲取所述目的數據的讀取次數；根據所述第一數據周期和所述讀取次數，確定所述目的數據的讀取頻率。在本發明的一個實施例中，所述數據遷移裝置還可以包括：設置單元(圖4中未示出)，用於根據所述讀取頻率確定第二存儲策略，將所述第一存儲策略修改為第二存儲策略，並將所述目的數據的遷移狀態設置為待遷移狀態；這種情況下，所述遷移單元(圖4中未示出)，還用於噹噹前時間達到預設時間時，根據所述第二存儲策略，對遷移狀態為所述待遷移狀態的目的數據進行遷移。在本發明的一個實施例中，所述遷移單元403，具體用於：當所述第一存儲策略為溫數據存儲策略，第二存儲策略為冷數據存儲策略時，刪除存儲在磁碟層節點中所述目的數據的存儲塊。在本發明的一個實施例中，所述遷移單元403，具體用於：當所述第一存儲策略為冷數據存儲策略，第二存儲策略為溫數據存儲策略時，將存儲在歸檔層節點中所述目的數據的存儲塊複製至磁碟層節點。本發明實施例提供了一種數據遷移裝置，命名節點可以實時地獲取目的數據的讀取頻率，當讀取頻率在目的數據的目的讀取頻率範圍內時，根據讀取頻率確定第二存儲策略，將目的數據的存儲策略修改為第二存儲策略，最後，根據第二存儲策略遷移目的數據。這樣實時地獲取目的數據的讀取頻率，實時地更新目的數據的存儲策略，並遷移目的數據，提高了HDFS的資源利用率。對於裝置實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。本領域普通技術人員可以理解實現上述方法實施方式中的全部或部分步驟是可以通過程序來指令相關的硬體來完成，所述的程序可以存儲於計算機可讀取存儲介質中，這裡所稱得的存儲介質，如：ROM/RAM、磁碟、光碟等。以上所述僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護範圍內。當前第1頁1 2 3