數據處理方法和裝置製造方法
2023-12-05 12:24:46
數據處理方法和裝置製造方法
【專利摘要】本申請實施例提供了一種數據處理方法和裝置，所述方法包括：檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述第一存儲塊是將數據存儲空間劃分確定的；判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識；若否，將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識，並將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述第二存儲塊的第二位圖；若是，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識。通過本申請實施例，節省了髒數據標記佔用的資源。
【專利說明】數據處理方法和裝置
【技術領域】
[0001]本申請涉及數據處理【技術領域】，更具體的說是涉及一種數據處理方法和裝置。
【背景技術】
[0002]髒數據是指沒有進行過預處理而直接接收到的、處於原始狀態的數據，或者不完整、含噪聲、不一致的數據，或者不在給定的範圍內或對於實際業務毫無意義，或是格式非法，以及在源系統中存在不規範的編碼和含糊的業務邏輯的數據。比如，在緩存中還未寫到磁碟中的數據；在複製操作中，系統下發至源設備，未來得及進行複製的數據等。
[0003]為了能夠實現數據的正常處理，需要對髒數據進行標記，以能夠快速識別並處理髒數據，比如在複製操作中，需要對源設備中的髒數據進行標記，以方便識別出髒數據並將其複製到鏡像設備中。
[0004]現有的髒數據標記方法，仍以複製操作中的髒數據為例，通常是將源設備的存儲空間劃分為預定容量的存儲塊，採用位圖索引方式索引不同的存儲塊，位圖是利用位數組表示的一個集合，每一存儲塊對應位圖中的不同位置，若存儲塊存儲髒數據，則在該存儲塊在位圖中的相應位置設置髒數據標識，例如可以採用位值「 I 」表示髒數據標識。
[0005]但是，發明人在研究中發現，現有的這種方法，為了減少數據識別和處理時的處理開銷，通常存儲空間劃分的存儲塊較小，這就導致位圖佔用的空間較大，資源消耗較大。
【發明內容】
[0006]本申請提供了一種數據處理方法和裝置，用以解決現有技術中髒數據標記，導致資源消耗較大的技術問題。
[0007]為實現上述目的，本申請提供如下技術方案:
[0008]第一方面，提供了一種數據處理方法，包括:
[0009]檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的；
[0010]判斷所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置是否設置有髒數據標識；
[0011]若否，將所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置設置髒數據標識，並將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖；
[0012]若是，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，所述第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊；將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識。
[0013]在所述第一方面的第一種可能實現方式中，所述方法還包括:
[0014]判斷各個第二位圖中髒數據標識的數量是否滿足預設條件；[0015]若是，則將滿足所述預設條件的第二位圖刪除。
[0016]結合所述第一方面或所述第一方面的第一種可能實現方式，還提供了所述第一方面的第二種可能實現方式，所述方法還包括:
[0017]將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
[0018]結合所述第一方面或所述第一方面的第一種可能實現方式，還提供了所述第一方面的第三種可能實現方式所述確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識包括:
[0019]判斷所述髒數據所屬的第一存儲塊是否存在建立的第二位圖；
[0020]若是，確定為所述髒數據所屬的第一存儲塊建立的所述第二位圖，並將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識；
[0021 ] 若否，返回所述檢測到髒數據時的步驟繼續執行。
[0022]結合所述第一方面或所述第一方面的上述任一種可能實現方式，還提供了所述第一方面的第四種可能實現方式，所述數據存儲空間為源設備存儲空間，所述髒數據為所述源設備中未複製到鏡像設備中的數據；
[0023]所述檢測到髒數據具體是檢測到系統下發數據至源設備，則確定所述數據為髒數據。
[0024]結合所述第一方面的第四種可能實現方式，還提供了所述第一方面的第五種可能實現方式，所述將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，進行處理包括:
[0025]將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，複製到所述鏡像設備中。
[0026]第二方面，提供了一種數據處理裝置，包括:
[0027]數據檢測單元，用於檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的；
[0028]標識判斷單元，用於判斷所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置是否設置有髒數據標識；
[0029]第一標識設置單元，用於當所述標識判斷單元結果為否時，將所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置設置髒數據標識；
[0030]位圖建立單元，用於將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖；
[0031]第二標識設置單元，用於當所述標識判斷單元結果為是時，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，所述第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊；將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識。[0032]在所述第二方面的第一種可能實現方式中，還包括:
[0033]數量判斷單元，用於判斷各個第二位圖中髒數據標識的數量是否滿足預設條件；
[0034]刪除單元，用於將滿足所述預設條件的第二位圖刪除。
[0035]結合所述第二方面或所述第二方面的第一種可能實現方式，還提供了所述第二方面的第二種可能實現方式，還包括:
[0036]處理單元，用於將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
[0037]結合所述第二方面或所述第二方面的第一種可能實現方式，還提供了所述第二方面的第三種可能實現方式，所述第二標識設置單元包括:
[0038]位圖判斷單元，用於判斷所述髒數據所屬的第一存儲塊是否存在建立的第二位圖，若否，觸發所述數據檢測單元；
[0039]第二標識設置子單元，用於當所述位圖判斷單元結果為是時，確定為所述髒數據所屬的第一存儲塊建立的所述第二位圖，並將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識。
[0040]結合所述第二方面或所述第二方面的上述任一種可能實現方式，還提供了所述第二方面的第四種可能實現方式，所述數據存儲空間為源設備存儲空間，所述髒數據為所述源設備中未複製到鏡像設備中的數據；
[0041]所述數據檢測單元檢測到髒數據具體是檢測到系統下發數據至源設備，若是，確定所述數據為髒數據。
[0042]結合所述第二方面的第四種可能實現方式，還提供了所述第二方面的第五種可能實現方式，所述處理單元具體用於將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，複製到所述鏡像設備中。
[0043]綜上，本申請提供了一種數據處理方法和裝置，當檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，並判斷該髒數據所屬第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識，若否，則將其設置髒數據標識，並將該第一存儲塊劃分出至少兩個第二預定容量的第二存儲塊，建立索引第二存儲塊的第二位圖；若是，則將該髒數據所屬第二存儲塊在第二位圖中的對應位置設置髒數據標識，第一預定容量可以選用較大的容量，且只在第一存儲塊存在髒數據標識時，再劃分第二存儲塊建立第二位圖進行標記，既保證了數據識別處理時的數據量，減少了處理開銷，同時減少了位圖佔用的資源。
【專利附圖】
【附圖說明】
[0044]為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
[0045]圖1為本申請實施例提供的一種數據處理方法一個實施例的流程圖；[0046]圖1a為本申請實施例中的一種第一位圖的示意圖；
[0047]圖2為本申請實施例提供的一種數據處理方法另一個實施例的流程圖；
[0048]圖3為本申請實施例提供的一種數據處理方法又一個實施例的流程圖；
[0049]圖4為本申請實施例提供的一種數據處理裝置一個實施例的結構示意圖；
[0050]圖5為本申請實施例提供的一種數據處理裝置另一個實施例的結構示意圖；
[0051]圖6為本申請實施例提供的一種計算設備一個實施例的結構示意圖。
【具體實施方式】
[0052]下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
[0053]本申請實施例的主要思想之一可以包括:
[0054]檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，並判斷該髒數據所屬第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識，若否，則將其設置髒數據標識，並將該第一存儲塊劃分出至少兩個第二預定容量的第二存儲塊，建立索引第二存儲塊的第二位圖；若是，則將該髒數據所屬第二存儲塊在第二位圖中的對應位置設置髒數據標識，第一預定容量可以選用較大的容量，且只在第一存儲塊存在髒數據標識時，再劃分第二存儲塊建立第二位圖進行標記，既保證了數據識別處理時的數據量，減少了處理開銷，同時減少了位圖佔用的資源。
[0055]圖1為本申請實施例提供的一種數據處理方法一個實施例的流程圖，該方法可以包括以下幾個步驟:
[0056]101:檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖。
[0057]其中，所述至少兩個第一預定容量的第一存儲塊為將數據存儲空間劃分確定的。
[0058]本實施例中，預先將數據存儲空間進行劃分，劃分出至少兩個第一預定容量的第一存儲塊，並建立至少兩個第一存儲塊對應的第一位圖。位圖是指利用位數組表示的一個集合，用於索引不同的存儲塊，其中劃分出的第一存儲塊的數量可以與第一預定容量和數據存儲空間總容量有關。
[0059]不同存儲塊對應第一位圖中的不同位置，使得每一個第一存儲塊對應第一位圖的一位，佔用一個字節。
[0060]需要說明的是，本申請實施例中將數據存儲空間進行劃分只是邏輯上的劃分，並不是物理上的劃分。
[0061]數據存儲空間是指用於存儲數據的磁碟等存儲介質的內存空間。
[0062]該第一預定容量可以設定一個較大的值，從而可以預先將數據存儲空間粗略的劃分出幾個較大存儲容量的存儲塊。
[0063]例如,對於能夠存儲ITB (Terabyte,萬億字節)數據的磁碟,第一預定容量可以設定為2MB (Megabyte，兆字節)，即第一位圖中的每一位代表2MB的第一存儲塊。
[0064]檢測到髒數據時，即查詢該預先建立的該第一位圖。[0065]該髒數據可以是沒有進行過預處理而直接接收到的、處於原始狀態的數據，或者不完整、含噪聲、不一致的數據，或者不在給定的範圍內或對於實際業務毫無意義，或是格式非法，以及在源系統中存在不規範的編碼和含糊的業務邏輯的數據等。
[0066]102:判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標記；若否，執行步驟103，若是，執行步驟105。
[0067]數據是按照存儲地址進行存儲，每一第一存儲塊對應不同的存儲地址，因此根據該髒數據的LBA(Logical Block Address,邏輯區塊地址)，可以確定其所屬的第一存儲塊，從而可以對應找到存儲塊在第一位圖中的對應位置，並判斷該對應位置處是否設置有髒數據標識，該髒數據標識可以作為該對應位置處的位值。
[0068]髒數據標識是用於區分第一存儲塊中存儲有髒數據，可以用位值「I」表示，數值「O」則可以表示未存儲髒數據，因此判斷對應位置處是否設置有髒數據標識可以具體是判斷對應位置處的位值是否為I。
[0069]如圖1a所示為本申請實施例中一種第一位圖的示意圖，假設該第一位圖的容量為16位元組，佔用16比特的資源，對應16個第一存儲塊，第一位圖中位值為I的位置對應的第一存儲塊即表明存儲有髒數據。
[0070]103:將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識。
[0071]104:將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立所述至少兩個第二預定容量的第二存儲塊對應的第二位圖。
[0072]若該髒數據所屬第一存儲塊在第一位圖中的對應位置處未設置髒數據標識，則將該對應位置進行標記，設置髒數據標識，表示其對應的第一存儲塊存儲有髒數據。
[0073]同時，將該第一存儲塊繼續進行劃分，即將第一存儲塊進行細分，劃分為多個第二存儲塊，每一第二存儲塊的容量為第二預定容量，並建立第二存儲塊對應的第二位圖，第二存儲塊的數量與第二預定容量以及所述第一存儲塊的容量，即第一預定容量有關，通常第二存儲塊的數量等於第一預定容量除以第二預定容量得到的商值。
[0074]可知，第二預定容量小於第一預定容量，例如，第一預定容量為2M時，第二預定容量可以為16K。
[0075]105:確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識。
[0076]所述髒數據所屬的第一存儲塊建立的第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊。
[0077]若該髒數據所屬第一存儲塊對應的第一位圖設置有髒數據標識，如步驟104所述，該第一存儲塊此時將被劃分出至少兩個第二預定容量的第二存儲塊，並建立有索引第二存儲塊的第二位圖。此時可以繼續查找該髒數據所屬的第二存儲塊，將其所屬第二存儲塊在該第二位圖中的對應位置設置髒數據標識。
[0078]當然步驟104並不限定於本實施例所述的操作時機，只要第一存儲塊在第一位圖中的對應位置設置有髒數據標識，即可以建立第一存儲塊的第二位圖，其可以在第一存儲塊在第一位圖中的對應位置設置髒數據標識的同時或者之後進行。
[0079]根據第一存儲塊和第二存儲塊之間的關係，可以建立第一位圖和第二位圖的對應關係，從而可以查找到髒數據所屬的第二存儲塊對應的第二位圖。
[0080]查找髒數據所屬第二存儲塊對應的第二位圖時，具體可以利用紅黑樹算法查詢，以加快查詢速度。第一位圖和第二位圖中的不同位置處的每一位對應一位置索引號，在建立第二位圖時，可以將位置索引號作為查找索引插入紅黑樹中。在進行查詢時，通過位置索引號，利用紅黑樹即可以查找到髒數據所屬第一存儲塊中的第二存儲塊在第二位圖中的對應位置。
[0081]當然，還可以採用其他算法實現，本申請並不對此進行限定。
[0082]本實施例中，只有在第一存儲塊在第一位圖中的對應位置設置有髒數據標識時，才對第一存儲塊繼續進行劃分，利用第二存儲塊對應的第二位圖標記髒數據，第一存儲塊的第一預定容量可以設定較大的容量，從而可以減少位圖佔用的系統資源，降低了資源消耗。
[0083]在進行髒數據識別和處理時，查找第一位圖和第二位圖，根據第二位圖中的髒數據標識，可以只查找並處理第二存儲塊存儲的數據，若第一存儲塊不存在第二存儲塊，再查找並處理第一存儲塊存儲的數據。
[0084]也即是將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。從而保證了數據處理時的處理量，不至於識別處理容量較大的數據，增加額外開銷，例如在需要對髒數據進行複製的處理操作中，若髒數據所屬存儲塊的容量較大，則會使得複製操作處理的數據量較大，導致處理開銷較大，而採用本申請，若存在第二存儲塊，則處理對象變為第二存儲塊存儲的數據，由於第二存儲塊容量較小，因此可以降低處理開銷。
[0085]在本實施例中，檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，當該髒數據所屬第一存儲塊在第一位圖中的對應位置未設置有髒數據標識，則將該相應位置設置髒數據標識，並將該第一存儲塊劃分出至少兩個第二預定容量的第二存儲塊，建立索引第二存儲塊的第二位圖，當髒數據所屬第一存儲塊對應的第一位圖中的相應位置設置有髒數據標識，則將髒數據所屬第二存儲塊對應的第二位圖中的相應位置設置髒數據標識，由於第一預定容量較大，無需消耗過多的系統資源，且只有在第一存儲塊在第一位圖中的對應位置設置有髒數據標識時，才繼續劃分第二存儲塊建立第二位圖進行標記，既保證了數據識別處理時的處理數據量，使得處理開銷不至於過大，同時保證了不消耗過多的資源。
[0086]圖2為本申請實施例提供的一種數據處理方法另一個實施例的流程圖，該方法可以包括以下幾個步驟:
[0087]201:檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖。
[0088]所述少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的。
[0089]202:判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識，若否，執行步驟203，若是，執行步驟205:
[0090]203:將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識。
[0091]204:將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖。[0092]205:確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識。
[0093]所述髒數據所屬的第一存儲塊建立的第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊。
[0094]步驟201?步驟205與上述實施例中的步驟101?步驟204相似，在此不再贅述。
[0095]206:判斷各個第二位圖中髒數據標識的數量是否滿足預設條件，若是，執行步驟207，若否，繼續判斷。
[0096]207:將滿足所述預設條件的第二位圖刪除。
[0097]對於檢測到的髒數據，均按照步驟201?步驟205所述的操作執行，從而可以將存儲在數據存儲空間中的數據中的髒數據標記出來。
[0098]本實施例中，還會判斷所建立的第二位圖中的髒數據標識的數量是否滿足預設條件，從而將滿足預設條件的第二位圖刪除，實現了髒數據的高效合併，進一步減少了用於標記髒數據的位圖佔用的資源。
[0099]預設條件可以是根據實際應用情況設定，當第二位圖中的髒數據標識數量滿足預設條件時，表明該第一存儲塊劃分的至少兩個第二存儲塊存儲的髒數據數量滿足預設條件，可以認為第一存儲塊主要存儲髒數據，此時可以將第二位圖刪除，以使得在索引髒數據時，只根據第一位圖查找第一存儲塊。從而實現了髒數據合併操作，既減小位圖佔用資源，又方便數據處理。
[0100]該預設條件例如可以是髒數據標識數量佔位圖容量的百分之三十等。
[0101]步驟206?步驟207的操作並不限定本實施例的執行流程，其可以是在任一步驟之前或之後執行。
[0102]因此，由於第一存儲塊的第二位圖可能不存在，步驟205中，將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識時可以具體包括:
[0103]判斷所述髒數據所屬的第一存儲塊是否存在建立的第二位圖；
[0104]若是，將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識；
[0105]若否，則繼續檢測髒數據，執行步驟201的操作。
[0106]208:將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
[0107]將髒數據標記後，可以方便數據的識別和處理。在進行髒數據處理時，是將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。根據第二位圖中髒數據標識的位置可以確定出對應哪些第二存儲塊，同樣根據第一位圖中髒數據標識的位置可以確定出對應哪些第一存儲塊。從而可以第一存儲塊存儲的髒數據或第二存儲塊存儲的髒數據進行處理。
[0108]步驟208的操作也不限定與本實施例的執行流程，其可以是在任一步驟之前或之後執行。
[0109]不同第二存儲塊和不同第一存儲塊存儲的髒數據可以同時進行處理，以加快處理進度，例如將髒數據進行複製時，若將設置髒數據標識的第一位圖或設置髒數據標識的第二位圖分別對應的第一存儲塊或第二存儲塊的髒數據同時進行複製，可以提高複製效率。
[0110]在本實施例中，檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，當該髒數據所屬第一存儲塊在第一位圖中的對應位置未設置有髒數據標識，則將該相應位置設置髒數據標識，並將該第一存儲塊劃分多至少兩個第二預定容量的第二存儲塊，建立索引第二存儲塊的第二位圖，當髒數據所屬第一存儲塊對應的第一位圖中的相應位置設置有髒數據標識，則將髒數據所屬第二存儲塊對應的第二位圖中的相應位置設置髒數據標識。當第二位圖中的髒數據標識的數量滿足預設條件時，則將該第二位圖刪除，實現了非連續髒數據的合併。從而在進行數據處理時，若存在第二位圖，則處理第二位圖髒數據標識對應的第二存儲塊的數據，若不存在第二位圖，則處理第一位圖髒數據標識對應的第一存儲塊的數據。從而既降低了位圖佔用的資源，且保證了數據處理時的數據量，不增加過多的額外的處理開銷。
[0111]本申請實施例的一個實際應用中可以具體應用於複製軟體中，複製軟體是指利用數據的複製能力，提供備份，容災，數據遷移等功能。複製軟體執行設備包括源設備和鏡像設備，複製軟體是實現將源設備中的數據複製到鏡像設備中，並保證源設備和鏡像設備的中數據保持一致。系統下發(例如輸出/輸入IO下發)的數據首先到達源設備，源設備再將下發的數據複製到鏡像設備中，由於數據下發的效率可能高於數據複製的效率，因此導致下發至源設備中的數據不能及時複製到鏡像設備中，此時該還未進行複製的數據即為髒數據。
[0112]因此，對應本申請實施例中，該數據存儲空間也即源設備中用於存儲數據的存儲空間，髒數據即為源設備中未複製到鏡像設備中的數據，檢測到髒數據也即是檢測到系統下發數據至源設備，系統下發數據至源設備，即可確定該數據為髒數據。
[0113]下面結合該實際應用場景，詳細描述本申請技術方案，圖3為本申請實施例提供的一種數據處理方法又一個實施例的流程圖，該方法可以包括:
[0114]301:檢測到系統下發數據至源設備，確定所述數據為髒數據。
[0115]302:查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖。
[0116]所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的。例如64M的數據存儲空間，第一預定容量為2M時，可以最多劃分出32塊存儲塊。
[0117]303:判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識，若否，執行步驟304，若是，執行步驟306。
[0118]304:將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識。
[0119]305:將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖；
[0120]306:確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在該第二位圖中的對應位置設置髒數據標識。
[0121]所述為髒數據所屬的第一存儲塊建立的第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊。
[0122]307:判斷各個第二位圖中髒數據標識的數量是否滿足預設條件，若是，執行步驟308，若否，繼續判斷。
[0123]308:將滿足所述預設條件的第二位圖刪除。
[0124]309:將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，複製到所述鏡像設備中。
[0125]本實施例中，即是將第一存儲塊中存儲的數據或者第二存儲塊中存儲的數據，複製到鏡像設備中，方便了數據處理，利於數據搬運。
[0126]通過髒數據標識，可以只複製第一存儲塊中的數據或者只複製第二存儲塊中的數據，從而既減少了位圖佔用資源，又避免了複製過多的數據量而造成的數據搬運開銷較大。且在第二位圖中的髒數據標識數量滿足預設條件時，刪除第二位圖，完成位圖合併，實現了非連續髒數據的合併，進一步減少位圖佔用資源。
[0127]對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本申請並不受所描述的動作順序的限制，因為依據本申請，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模塊並不一定是本申請所必須的。
[0128]圖4為本申請一種數據處理裝置一個實施例的結構示意圖，該裝置可以包括:
[0129]數據檢測單元401，用於檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖。
[0130]所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的。
[0131]標識判斷單元402，用於判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識。
[0132]第一標識設置單元403，用於當所述標識判斷單元402結果為否時，將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識。
[0133]位圖建立單元404，用於將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖。
[0134]第二標識設置單元405，用於當所述標識判斷單元402結果為是時，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，所述第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊；將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識。
[0135]若該髒數據所屬第一存儲塊對應的第一位圖設置有髒數據標識，如前文所述，該第一存儲塊此時包括第二存儲塊，建立有第二位圖。此時可以繼續查找該髒數據所屬的第二存儲塊，將其所屬第二存儲塊在第二位圖中的對應位置設置髒數據標識。
[0136]本實施例中，只有在第一存儲塊在第一位圖中的對應位置設置有髒數據標識時，才對第一存儲塊繼續進行劃分，利用第二存儲塊對應的第二位圖標記髒數據，第一存儲塊的第一預定容量可以設定較大的容量，從而可以減少位圖佔用的系統資源，降低了資源消耗。
[0137]在本實施例中，檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，當該髒數據所屬第一存儲塊在第一位圖中的對應位置未設置有髒數據標識，則將該相應位置設置髒數據標識，並將該第一存儲塊劃分多至少兩個第二預定容量的第二存儲塊，建立索引第二存儲塊的第二位圖，當髒數據所屬第一存儲塊對應的第一位圖中的相應位置設置有髒數據標識，則將髒數據所屬第二存儲塊對應的第二位圖中的相應位置設置髒數據標識，由於第一預定容量較大，無需消耗過多的系統資源，且只有在第一存儲塊在第一位圖中的對應位置設置有髒數據標識時，才繼續劃分第二存儲塊建立第二位圖進行標記，既保證了數據識別處理時的數據量，使得額外開銷不至於過大，同時保證了不消耗過多的資源。
[0138]圖5為本申請一種數據處理裝置另一個實施例的結構示意圖，該裝置可以包括:
[0139]數據檢測單元501，用於檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的。
[0140]標識判斷單元502，用於判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識。
[0141]第一標識設置單元503，用於當所述標識判斷單元502結果為否時，將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識。
[0142]位圖建立單元504，用於將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖。
[0143]第二標識設置單元505，用於當所述標識判斷單元502結果為是時，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，所述第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊；將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識。
[0144]數量判斷單元506，判斷各個第二位圖中髒數據標識的數量是否滿足預設條件。
[0145]刪除單元507，用於將滿足所述預設條件的第二位圖刪除。
[0146]由於，第一存儲塊的第二位圖可能不存在，因此該第二標識設置單元可以包括:
[0147]位圖判斷單元，用於判斷所述髒數據所屬的第一存儲塊是否存在對應的第二位圖，若否，觸發所述數據檢測單元。
[0148]第二標識設置子單元，用於當所述位圖判斷單元結果為是時，確定為所述髒數據所屬的第一存儲塊建立的所述第二位圖，並將所述髒數據所屬的第二存儲塊在第二位圖中的對應位置設置髒數據標識。
[0149]處理單元508，用於將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
[0150]將髒數據標記後，可以方便數據的識別和處理。在進行髒數據處理時，是將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
[0151]不同第二存儲塊和不同第一存儲塊存儲的髒數據可以同時進行處理，以加快處理進度，例如將髒數據進行複製時，若將設置髒數據標識的第一位圖或第二位圖對應的第一存儲塊或第二存儲塊的髒數據同時進行複製，可以提高複製效率。[0152]在本實施例中，檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，當該髒數據所屬第一存儲塊在第一位圖中的對應位置未設置有髒數據標識，則將該相應位置設置髒數據標識，並將該第一存儲塊劃分出至少兩個第二預定容量的第二存儲塊，建立索引第二存儲塊的第二位圖，當髒數據所屬第一存儲塊對應的第一位圖中的相應位置設置有髒數據標識，則將髒數據所屬第二存儲塊對應的第二位圖中的相應位置設置髒數據標識。當第二位圖中的髒數據標識的數量滿足預設條件時，則將該第二位圖刪除。從而在進行數據處理時，若存在第二位圖，則處理第二位圖髒數據標識對應的第二存儲塊的數據，若不存在第二位圖，則處理第一位圖髒數據標識對應的第一存儲塊的數據。從而既降低了位圖佔用的資源，且保證了數據處理時的數據量，不增加過多的額外的處理開銷。
[0153]其中，在一個實際應用，所述數據存儲空間為源設備存儲空間，所述髒數據為所述源設備中未複製到鏡像設備中的數據。
[0154]因此，該數據檢測單元檢測到髒數據具體是檢測到系統下發數據至源設備，若是，確定所述數據為髒數據。
[0155]所述處理單元具體用於將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，複製到所述鏡像設備中。
[0156]通過髒數據標識，可以只複製第一存儲塊中的數據或者只複製第二存儲塊中的數據，從而既減少了位圖佔用資源，又避免了複製過多的數據量而造成的數據搬運開銷較大。且在第二位圖中的髒數據標識數量滿足預設條件時，刪除第二位圖，完成位圖合併，進一步減少位圖佔用資源。
[0157]上述提供的數據處理裝置，在實際應用中，可以集成到計算設備中，部署本申請實施例該數據處理裝置的計算設備，可以實現對髒數據的標記，使得不佔用過多的資源，且保證了數據處理時的數據量。
[0158]通過以上描述可知，本領域的技術人員可以清楚地了解到本申請可藉助軟體加必需的通用硬體平臺的方式來實現。因此，參見圖6，本申請實施例還提供了一種計算設備，該計算設備至少包括存儲器601、和通過總線與存儲器601連接的處理器602。
[0159]該存儲器601用於存儲一組程序指令；該存儲器601可以是是高速RAM存儲器，也可能是非易失性存儲器(non-volatile memory),例如至少一個磁碟存儲器等。
[0160]該處理器602用於調用所述存儲器的程序指令，執行如下操作:
[0161]檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的；
[0162]判斷所述髒數據所屬的第一存儲塊在第一位圖中的對應位置是否設置有髒數據標識；
[0163]若否，將所述髒數據所屬的第一存儲塊在第一位圖中的對應位置設置髒數據標識，並將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖；
[0164]若是，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在該第二位圖中的對應位置設置髒數據標識。[0165]所述髒數據所屬的第一存儲塊建立的第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊。
[0166]該處理器602可能是一個中央處理器CPU，或者是特定集成電路ASIC(Application Specific Integrated Circuit),或者是被配置成實施本發明實施例的一個或多個集成電路。
[0167]可選地，該計算設備可以用於執行本申請實施例提供的圖1-圖3所示的任一數據處理方法。
[0168]在一個實際應用中，該計算設備可以實現複製操作中髒數據的處理，即將系統下發至源設備的數據確定為髒數據，並按照本申請技術方案進行標記，可以使得對髒數據的標記不佔用過多的資源，能夠將非連續的髒數據進行合併，方便了數據搬運時的複製處理。
[0169]本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的裝置而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
[0170]最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
[0171]為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本申請時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。
[0172]通過以上的實施方式的描述可知，本領域的技術人員可以清楚地了解到本申請可藉助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品可以存儲在存儲介質中，如R0M/RAM、磁碟、光碟等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本申請各個實施例或者實施例的某些部分所述的方法。
[0173]對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本申請。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本申請的精神或範圍的情況下，在其它實施例中實現。因此，本申請將不會被限制於本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。
【權利要求】
1.一種數據處理方法，其特徵在於，包括: 檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的； 判斷所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置是否設置有髒數據標識； 若否，將所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置設置髒數據標識；將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖； 若是，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，所述第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊；將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識。
2.根據權利要求1所述的方法，其特徵在於，所述方法還包括: 判斷各個第二位圖中髒數據標識的數量是否滿足預設條件； 若是，則將滿足所述預設條件的第二位圖刪除。
3.根據權利要求1或2所述的方法，其特徵在於，所述方法還包括: 將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
4.根據權利要求1或2所述的方法，其特徵在於，所述確定為所述髒數據所屬的第一存儲塊建立的第二位圖；將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識包括: 判斷所述髒數據所屬的第一存儲塊是否存在建立的第二位圖； 若是，確定為所述髒數據所屬的第一存儲塊建立的所述第二位圖，並將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識； 若否，返回所述檢測到髒數據時的步驟繼續執行。
5.根據權利要求1~4任一項所述的方法，其特徵在於，所述數據存儲空間為源設備存儲空間，所述髒數據為所述源設備中未複製到鏡像設備中的數據； 所述檢測到髒數據具體是檢測到系統下發數據至源設備，則確定所述數據為髒數據。
6.根據權利要求5所述的方法，其特徵在於，所述將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，進行處理包括: 將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，複製到所述鏡像設備中。
7.一種數據處理裝置，其特徵在於，包括: 數據檢測單元，用於檢測到髒數據時，查詢預先建立的用於索引至少兩個第一預定容量的第一存儲塊的第一位圖，所述至少兩個第一預定容量的第一存儲塊是將數據存儲空間劃分確定的； 標識判斷單元，用於判斷所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置是否設置有髒數據標識； 第一標識設置單元，用於當所述標識判斷單元結果為否時，將所述髒數據所屬的第一存儲塊在所述第一位圖中的對應位置設置髒數據標識； 位圖建立單元，用於將所述第一存儲塊劃分為至少兩個第二預定容量的第二存儲塊，建立用於索引所述至少兩個第二預定容量的第二存儲塊的第二位圖； 第二標識設置單元，用於當所述標識判斷單元結果為是時，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，所述第二位圖為將所述第一存儲塊在第一位圖中的對應位置設置髒數據標識時建立的，用於索引所述第一存儲塊劃分的至少兩個第二預定容量的第二存儲塊；將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識。
8.根據權利要求7所述的裝置，其特徵在於，還包括: 數量判斷單元，用於判斷各個第二位圖中髒數據標識的數量是否滿足預設條件； 刪除單元，用於將滿足所述預設條件的第二位圖刪除。
9.根據權利要求7或8所述的裝置，其特徵在於，還包括: 處理單元，用於將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的數據，進行處理。
10.根據權利要求7或8所述的裝置，其特徵在於，所述第二標識設置單元包括: 位圖判斷單元，用於判斷所述髒數據所屬的第一存儲塊是否存在建立的第二位圖，若否，觸發所述數據檢測單元；` 第二標識設置子單元，用於當所述位圖判斷單元結果為是時，確定為所述髒數據所屬的第一存儲塊建立的第二位圖，並將所述髒數據所屬的第二存儲塊在所述第二位圖中的對應位置設置髒數據標識。
11.根據權利要求7~10任一項所述的裝置，其特徵在於，所述數據存儲空間為源設備存儲空間，所述髒數據為所述源設備中未複製到鏡像設備中的數據； 所述數據檢測單元檢測到髒數據具體是檢測到系統下發數據至源設備，若是，確定所述數據為髒數據。
12.根據權利要求11所述的裝置，其特徵在於，所述處理單元具體用於將設置有髒數據標識的第二位圖對應的第二存儲塊存儲的髒數據，以及設置有髒數據標識的第一位圖對應的，且不存在第二位圖的第一存儲塊存儲的髒數據，複製到所述鏡像設備中。
【文檔編號】G06F17/30GK103530322SQ201310430443
【公開日】2014年1月22日 申請日期:2013年9月18日 優先權日:2013年9月18日
【發明者】李經緯 申請人:深圳市華為技術軟體有限公司