一種磁碟大容量數據同步過程中的數據緩存方法及系統的製作方法
2023-06-10 21:53:46
專利名稱：一種磁碟大容量數據同步過程中的數據緩存方法及系統的製作方法
技術領域：
本發明涉及磁碟數據緩存領域，特別涉及一種磁碟數據同步過程中的數據緩存方法及系統。
背景技術：
在數據管理系統中，數據塊存放是使用頻度最高的操作，因為磁碟數據任何數據塊發生變化，就會將磁碟數據塊存放到備份區。但磁碟數據變化瞬間會產生很多數據塊變化，此時備份區將存放很多數據塊，從而可能導致備份區不能及時備份到所有數據塊的變化。為了攔截有效數據塊變化，在磁碟數據同步過程可採用數據緩存技術。在磁碟數據同步過程中採用的數據緩存技術涉及到變化數據塊記錄，而傳統變化數據塊記錄是指，變化了一段數據塊，就將該數據塊存入緩存區，然後將指向該數據塊的指針保留在數據塊隊列中進行管理。而系統長時間運行時，數據管理系統中的緩存區域會很快到達指定緩存區最大值，使得系統可靠性和完整性得不到保障，系統就不那麼穩定。由上可知，如何運用數據緩存來保存有效數據塊變化，是當前數據管理系統所需要創新的技術。
發明內容
本發明所要解決的技術問題是，提供一種磁碟大容量數據同步過程中的數據緩存方法及系統，能夠及時緩存有效數據塊。為了解決上述問題，本發明公開了一種數據緩存系統，包括數據塊索引模塊，將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引；數據塊比對模塊，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍內，則確定當前變化的數據塊為有效變化的數據塊；數據緩存模塊，以磁碟數據塊信息方式緩存所述數據塊比對模塊確定的有效變化的數據塊。較佳地，上述系統還包括數據緩存過濾模塊；所述數據塊比對模塊，在判斷當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍之外時，確定當前變化的數據塊為無效變化的數據塊；所述數據緩存過濾模塊，在所述數據比對模塊確定當前變化的數據塊為有效變化的數據塊時，調用所述數據緩存模塊緩存所述有效變化的數據塊，在所述數據比對模塊確定當前變化的數據塊為無效變化的數據塊時，去除所確定的無效變化的數據塊。較佳地，上述系統中，所述數據緩存模塊，緩存所述有效變化的數據塊的塊索引指針，並提供數據塊查詢、刪除和添加操作。較佳地，上述系統中，所述數據緩存過濾模塊，在所述數據比對模塊確定當前變化的數據塊為有效變化的數據塊時，還將所述有效變化的數據塊發送到備份伺服器端，並在所述備份伺服器端備份所述有效變化的數據塊後，調用所述數據緩存模塊清除該有效變化的數據塊。本發明還公開了一種磁碟大容量數據同步過程中的數據緩存方法，包括將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引；在磁碟數據同步過程中，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍內，則確定當前變化的數據塊為有效變化的數據塊，以磁碟數據塊信息方式緩存所確定的有效變化的數據塊。較佳地，上述方法還包括若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍之外時，確定當前變化的數據塊為無效變化的數據塊，去除所確定的無效變化的數據塊。較佳地，上述方法中，以磁碟數據塊信息方式緩存所確定的有效變化的數據塊指緩存所述有效變化的數據塊的塊索引指針，並提供數據塊查詢、刪除和添加操作。較佳地，上述方法還包括在確定當前變化的數據塊為有效變化的數據塊時，還將所述有效變化的數據塊發送到備份伺服器端，並在所述備份伺服器端備份所述有效變化的數據塊後，消除該有效變化的數據塊。本發明技術方案記錄有效變化的數據塊，去除同步過程中無效變化的數據塊，從而能夠及時緩存有效變化的數據塊以及發送有效變化的數據塊到備份伺服器。這樣，當磁碟上大數據量變化時，就可以在有效數據不流失的基礎上，提高數據管理系統中數據保護的效率，提高數據保護的可靠性，保證數據完整性。
圖1為本實施例中數據緩存系統結構示意圖；圖2為本實施例中磁碟大容量數據同步過程中數據緩存流程圖。
具體實施例方式為了使本申請的目的、技術方案和優點更加清楚明白，下面結合附圖對本發明技術方案作進一步詳細說明。需要說明的是，在不衝突的情況下，本申請的實施例和實施例中的特徵可以任意相互組合。目前，在磁碟大容量數據同步過程中，數據塊發生多次變化，將造成數據塊變化記錄的數據池不斷增大，導致保護數據不能及時更新到備用伺服器。因此，為了解決數據塊保存空間不斷增長，申請人提出，在大容量數據同步過程中只記錄有效變化的數據塊，即將有效變化的數據塊保存到數據緩存區域即可。實施例1本實施例基於上述思想，提供一種數據緩存系統，其結構如圖1所示，包括如下各模塊。數據塊塊索引模塊，將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引。具體地，數據塊塊索引模塊將磁碟上的數據塊分成若干數據塊的接口，並對每一個數據塊產生唯一可識別索引標示。數據塊比對模塊，判斷當前變化的數據塊塊索引是否處於已經同步的數據塊塊索引範圍內，若當前變化的數據塊塊索引處於已經同步的數據塊塊索引範圍內，則確定該數據塊為有效變化的數據塊。數據緩存模塊，以磁碟數據塊信息方式緩存數據塊比對模塊確定的有效變化的數據塊。具體地，數據緩存模塊是緩存有效變化的數據塊的塊索引指針，並提供數據塊查詢、刪除和添加操作。還有一些方案中，數據塊比對模塊，在判斷當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍之外時，則確定當前變化的數據塊為無效變化的數據塊。此時增加一個數據緩存過濾模塊，該模塊在數據比對模塊確定當前變化的數據塊為有效變化的數據塊時，調用數據緩存模塊緩存有效變化的數據塊，在數據比對模塊確定當前變化的數據塊為無效變化的數據塊時，則去除所確定的無效變化的數據塊。還有優選方案中，數據緩存過濾模塊，在數據比對模塊確定當前變化的數據塊為有效變化的數據塊時，還將有效變化的數據塊發送到備份伺服器端，並在備份伺服器端備份有效變化的數據塊後，調用數據緩存模塊清除該有效變化的數據塊。實施例2本實施例介紹一種在磁碟大容量數據同步過程中進行數據緩存的方法。首先將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引，之後在磁碟數據同步過程中，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍內，則確定當前變化的數據塊為有效變化的數據塊，以磁碟數據塊信息方式緩存所確定的有效變化的數據塊。其中，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍之外時，確定當前變化的數據塊為無效變化的數據塊，去除所確定的無效變化的數據塊。而以磁碟數據塊信息方式緩存所確定的有效變化的數據塊指緩存所述有效變化的數據塊的塊索引指針，並提供數據塊查詢、刪除和添加操作。還有一些方案中，在確定當前變化的數據塊為有效變化的數據塊時，還將有效變化的數據塊發送到備份伺服器端，並在備份伺服器端備份有效變化的數據塊後，消除該有效變化的數據塊。下面結合具體應用詳細說明上述數據緩存的方法。即以實施例1所提供的系統的工作過程為例說明。具體地，該數據緩存過程如圖2所示，包括如下步驟步驟1，當磁碟數據塊變化時，判斷是否處於磁碟同步數據階段，如果是，進入步驟 2，否則結束本流程；步驟2，獲取已經同步的數據塊的塊索引範圍；
步驟3，獲取當前變化的數據塊的塊索引；步驟4，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，如果是，進入步驟5，否則，確定當前變化的數據塊為無效變化的數據塊，並清除該數據塊；步驟5，確定當前變化的數據塊為有效變化的數據塊，以磁碟數據塊信息方式緩存所確定的有效變化的數據塊；步驟6，將有效變化的數據塊發送到備份伺服器端，並在備份伺服器端備份有效變化的數據塊後，清除該有效變化的數據。本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬體完成，所述程序可以存儲於計算機可讀存儲介質中，如只讀存儲器、磁碟或光碟等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現。相應地，上述實施例中的各模塊/單元可以採用硬體的形式實現，也可以採用軟體功能模塊的形式實現。本申請不限制於任何特定形式的硬體和軟體的結合。從上述實施例可以看出，本申請技術方案在同步磁碟數據時，對磁碟數據塊發生有效變化的數據塊進行記錄，從而過濾出備份伺服器在同步磁碟數據時候所需要的有效數據，並保存到備份伺服器，從而大大優化了數據管理系統的可靠性和完整性。從而解決了用戶有效數據流失，避免了同步時數據塊變化頻率過多，導致系統進行反覆同步磁碟數據的問題。以上所述，僅為本申請的較佳實例而已，並非用於限定本申請的保護範圍。凡在本申請的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本申請的保護範圍之內。
權利要求
1.一種數據緩存系統，其特徵在於，該系統包括數據塊索引模塊，將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引；數據塊比對模塊，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍內，則確定當前變化的數據塊為有效變化的數據塊；數據緩存模塊，以磁碟數據塊信息方式緩存所述數據塊比對模塊確定的有效變化的數據塊。
2.如權利要求1所述的系統，其特徵在於，該系統還包括數據緩存過濾模塊；所述數據塊比對模塊，在判斷當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍之外時，確定當前變化的數據塊為無效變化的數據塊；所述數據緩存過濾模塊，在所述數據比對模塊確定當前變化的數據塊為有效變化的數據塊時，調用所述數據緩存模塊緩存所述有效變化的數據塊，在所述數據比對模塊確定當前變化的數據塊為無效變化的數據塊時，去除所確定的無效變化的數據塊。
3.如權利要求2所述的系統，其特徵在於，所述數據緩存模塊，緩存所述有效變化的數據塊的塊索引指針，並提供數據塊查詢、刪除和添加操作。
4.如權利要求2或3所述的系統，其特徵在於，所述數據緩存過濾模塊，在所述數據比對模塊確定當前變化的數據塊為有效變化的數據塊時，還將所述有效變化的數據塊發送到備份伺服器端，並在所述備份伺服器端備份所述有效變化的數據塊後，調用所述數據緩存模塊清除該有效變化的數據塊。
5.一種磁碟大容量數據同步過程中的數據緩存方法，其特徵在於，該方法包括將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引；在磁碟數據同步過程中，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍內， 則確定當前變化的數據塊為有效變化的數據塊，以磁碟數據塊信息方式緩存所確定的有效變化的數據塊。
6.如權利要求5所述的方法，其特徵在於，該方法還包括若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍之外時，確定當前變化的數據塊為無效變化的數據塊，去除所確定的無效變化的數據塊。
7.如權利要求6所述的方法，其特徵在於，以磁碟數據塊信息方式緩存所確定的有效變化的數據塊指緩存所述有效變化的數據塊的塊索引指針，並提供數據塊查詢、刪除和添加操作。
8.如權利要求6或7所述的方法，其特徵在於，該方法還包括在確定當前變化的數據塊為有效變化的數據塊時，還將所述有效變化的數據塊發送到備份伺服器端，並在所述備份伺服器端備份所述有效變化的數據塊後，消除該有效變化的數據塊。
全文摘要
本發明公開了一種磁碟數據同步過程中的數據緩存方法及系統，涉及磁碟數據緩存領域。本發明系統包括數據塊索引模塊，將磁碟數據劃分為多個數據塊，並根據所劃分的數據塊的位置為各數據塊分配唯一的塊索引；數據塊比對模塊，判斷當前變化的數據塊的塊索引是否處於已經同步的數據塊的塊索引範圍內，若當前變化的數據塊的塊索引處於已經同步的數據塊的塊索引範圍內，則確定當前變化的數據塊為有效變化的數據塊；數據緩存模塊，以磁碟數據塊信息方式緩存所述數據塊比對模塊確定的有效變化的數據塊。本發明技術方案在磁碟上大數據量變化時，可以在有效數據不流失的基礎上，提高數據管理系統中數據保護的效率，提高數據保護的可靠性，保證數據完整性。
文檔編號G06F12/08GK102323908SQ20111022153
公開日2012年1月18日 申請日期2011年8月3日 優先權日2011年8月3日
發明者劉少偉, 李開君, 穆裕 申請人:浪潮(北京)電子信息產業有限公司