一種數據傳輸的方法和裝置製造方法
2023-09-20 18:26:40 2
一種數據傳輸的方法和裝置製造方法
【專利摘要】本發明實施例公開一種數據傳輸的方法和裝置。其中，所述方法包括：接收待傳輸的數據塊，所述數據塊由原始數據流經數據塊分割操作獲得；判斷多個所述數據塊是否為連續重複數據塊，如果是，則獲取所述連續重複的數據塊對應的指紋信息序列的二級緩存指紋，所述二級緩存指紋由所述指紋信息序列經過二級緩存得到；將所述二級緩存指紋代替所述連續重複的數據塊進行傳輸。本發明實施例能夠在傳輸數據的過程中減小網絡傳輸的數據量。
【專利說明】一種數據傳輸的方法和裝置
【技術領域】
[0001]本發明涉及網絡數據處理【技術領域】，特別涉及一種數據傳輸的方法和裝置。
【背景技術】
[0002]隨著計算機和通信技術的發展，Internet網絡在過去的十幾年中迅猛發展，但擁塞問題越來越嚴重。
[0003]數據緩存技術主要用來解決帶寬瓶頸、應用延遲問題。
[0004]現有技術中，字節緩存(protocol-dependentredundancy elimination)主要包括兩個步驟:數據分塊和匹配檢測。
[0005]在數據分塊階段，採用適當的算法對數據流進行劃分，儘量使對數據流添加修改刪除等局部操作對後續未變化數據的劃分位置不產生影響，並對每個分塊計算指紋。
[0006]在匹配檢測階段，現有方案通常直接對數據塊進行指紋計算，並在以前的指紋集合中進行查找，判斷該指紋是否重複，如果重複，則認為該數據塊已經出現過。在後續數據傳輸過程中，用檢測出的重複指紋塊的指紋信息代替該重複數據塊，即:不發送該重複數據塊而發送該重複數據塊對應的指紋信息。
[0007]按照現有技術中的字節緩存方法，假設數據塊的平均長度為W，數據流的總長為し如果假設該L長度的數據流以前已經全部出現過，因此，對於該數據流，可以只傳輸其全部指紋標識，設每個指紋標識長度為M，則網絡傳輸數據總長為N=M*L/W。
[0008]可以獲知，現有字節緩存方法中，N同W呈反比關係。因此，為了進ー步縮減網絡中傳輸數據量，必須儘量増大W。然而，過大的W將導致過大的平均分塊長度。由於檢測粒度為ー個數據塊，當ー個數據塊過大，即數據塊長度過長吋，即使該分塊中大部分是重複數據，但只要存在非重複數據，該分塊將計算出新的指紋，並被認為是新數據，需要進行指紋傳輸。此外，當數據塊長度取得較小時，原有大分塊中重複的那一部分將很快被小分塊檢測出來。由此，重複數據檢測率K同數據塊平均長度W呈近似反比關係。
[0009]為了提高檢測率，需要減小W，然而，當減小W吋，數據塊增多，則數據塊為重複數據塊時，替代該數據塊傳輸的指紋信息也隨之增多。如果數據塊重複機率較大，那麼，將多次傳輸該數據塊對應的指紋信息，增大網絡傳輸的數據量。
【發明內容】
[0010]本發明的實施例中提供了一種數據傳輸的方法和裝置，能夠在傳輸數據的過程中減小網絡傳輸的數據量。
[0011]為了解決上述技術問題，本發明實施例公開了如下技術方案:
[0012]第一方面，提供一種數據傳輸的方法，包括:
[0013]接收待傳輸的數據塊，所述數據塊由原始數據流經數據塊分割操作獲得；
[0014]判斷多個所述數據塊是否為連續重複數據塊，如果是，則獲取所述連續重複的數據塊對應的指紋信息序列的ニ級緩存指紋，所述ニ級緩存指紋由所述指紋信息序列經過ニ級緩存得到；
[0015]將所述ニ級緩存指紋代替所述連續重複的數據塊進行傳輸。
[0016]結合上述第一方面，在第一種可能的實現方式中，所述判斷多個所述數據塊是否為連續重複數據塊，包括:
[0017]查找保存的已傳輸的數據塊的指紋信息以及所述已傳輸數據塊的順序信息；
[0018]將多個所述數據塊對應的指紋信息與所述保存的已傳輸的數據塊的指紋信息進行匹配，如果匹配，且多個所述數據塊的順序與所述已傳輸數據塊中相同數據塊的順序相同，則確定多個所述數據塊為連續重複數據塊；否則，確定多個所述數據塊為非連續重複數據塊。
[0019]結合上述第一方面，和第一種可能的實現方式，在第二種可能的實現方式中，還包括:
[0020]如果多個所述數據塊為非連續重複數據塊，則計算每個數據塊的指紋信息；
[0021]將所述每個數據塊的指紋信息代替對應的數據塊進行傳輸。
[0022]結合上述第一方面，和第一種可能的實現方式，和第二種可能的實現方式，在第三種可能的實現方式中，所述數據塊由原始數據流經數據塊操作獲得，包括:所述數據塊由原始數據流經過Rabin算法進行不定長分塊獲得。
[0023]結合上述第一方面，和第一種可能的實現方式，和第二種可能的實現方式，和第三種可能的實現方式，在第四種可能的實現方式中，所述已接收的數據塊的指紋信息按照散列的形式進行保存。
[0024]第二方面，提供ー種數據傳輸裝置，包括:
[0025]接收模塊，用於接收待傳輸的數據塊，所述數據塊由原始數據流經數據塊分割操作獲得；
[0026]判斷模塊，用於判斷多個所述數據塊是否為連續重複數據塊，如果是，則觸發ニ級緩存指紋獲取模塊；
[0027]所述ニ級緩存指紋獲取模塊，用於當多個所述數據塊為連續重複數據塊時，獲取所述連續重複的數據塊對應的指紋信息序列的ニ級緩存指紋，所述ニ級緩存指紋由所述指紋信息序列經過ニ級緩存得到；
[0028]傳輸模塊，用於將所述ニ級緩存指紋代替所述連續重複的數據塊進行傳輸。
[0029]結合上述第二方面，在第一種可能的實現方式中，所述判斷模塊，包括:
[0030]查找單元，用於查找保存的已傳輸的數據塊的指紋信息以及所述已傳輸數據塊的順序信息；
[0031]匹配単元，用於將多個所述數據塊對應的指紋信息與所述保存的已傳輸的數據塊的指紋信息進行匹配，如果匹配，且多個所述數據塊的順序與所述已接收數據塊中相同數據塊的順序相同，則觸發第一結果單元；否則，觸發第二結果單元；
[0032]所述第一結果單元，用於確定多個所述數據塊為連續重複數據塊；
[0033]所述第二結果單元，用於確定多個所述數據塊為非連續重複數據塊。
[0034]結合上述第二方面，和第一種可能的實現方式，在第二種可能的實現方式中，所述傳輸模塊還用於:
[0035]如果多個所述數據塊為非連續重複數據塊，則計算每個數據塊的指紋信息，將所述每個數據塊的指紋信息代替對應的數據塊進行傳輸。
[0036]結合上述第二方面，和第一種可能的實現方式，和第二種可能的實現方式，在第三種可能的實現方式中，所述數據塊由原始數據流經數據塊操作獲得，包括:
[0037]所述數據塊由原始數據流經過Rabin算法進行不定長分塊獲得。
[0038]結合上述第二方面，和第一種可能的實現方式，和第二種可能的實現方式，和第三種可能的實現方式，在第四種可能的實現方式中，所述已接收的數據塊的指紋信息按照散列的形式進行保存。
[0039]第三方面，提供一種伺服器，包括:處理器、存儲器、總線和通信接ロ ；所述存儲器用於存儲計算機執行指令，所述處理器與所述存儲器通過所述總線連接，當所述伺服器運行吋，所述處理器執行所述存儲器存儲的所述計算機執行指令，並通過所述通信接ロ與所述伺服器外部的設備進行通信，以使所述伺服器執行如權利要求1-5中任一項所述的數據傳輸的方法。
[0040]本發明提供了一種數據傳輸的方法和裝置，當原始數據流被分割為數據塊進行傳輸時，當出現已傳輸過的重複數據塊時，並不是直接以重複數據塊的指紋信息代替該重複數據塊進行傳輸，而是判斷多個所述數據塊是否為連續重複數據塊，如果是，則獲取所述連續重複的數據塊對應的指紋信息序列的ニ級緩存指紋，將該ニ級緩存指紋代替指紋信息序列進行傳輸，通過ニ級緩存，將指紋信息序列進行縮減，從而減小網絡傳輸的數據量。
【專利附圖】
【附圖說明】
[0041]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0042]圖1所示為本發明一種數據傳輸的方法實施例的流程圖；
[0043]圖2所示為圖1中步驟102的流程圖；
[0044]圖3所示為本發明實施例中數據流經Rabin算法進行不定長分塊操作，產生的數據塊形式示意圖；
[0045]圖4所示為本發明ー種數據傳輸裝置實施例的結構框圖；
[0046]圖5所示為圖4中判斷模塊402的結構框圖；
[0047]圖6所示為本發明一種伺服器實施例的結構框圖。
【具體實施方式】
[0048]為了使本【技術領域】的人員更好地理解本發明實施例中的技術方案，並使本發明實施例的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖對本發明實施例中技術方案作進ー步詳細的說明。
[0049]本發明公開了ー種數據傳輸的方法和裝置，能夠在傳輸數據的過程中減小網絡傳輸的數據量。
[0050]參見圖1，為本發明提供的一種數據傳輸的方法實施例，該實施例可以包括以下執行步驟:[0051]步驟101、接收待傳輸的數據塊，所述數據塊由原始數據流經數據塊分割操作獲得。
[0052]該步驟中，待傳輸的原始數據流被分割為數據塊進行傳輸，具體地，可以採用不定長分塊的方式對原始數據流進行分塊操作。
[0053]步驟102、判斷多個所述數據塊是否為連續重複數據塊，如果是，則繼續步驟103。
[0054]該步驟中，對於順序接收的多個數據塊進行判斷，確定該多個數據塊是否為連續重複數據塊。如果在接收該多個數據塊之前，已經接收過同樣的數據塊，且該多個數據塊的接收順序與之前同樣的數據塊連續出現的順序一致，則該多個數據塊為連續重複數據塊。
[0055]步驟103、獲取所述連續重複的數據塊對應的指紋信息序列的ニ級緩存指紋，所述ニ級緩存指紋由所述指紋信息序列經過ニ級緩存得到。
[0056]按照字節緩存技木，對於重複傳輸的數據塊，在後續數據傳輸過程中，用重複傳輸的數據塊對應的指紋信息代替該重複數據塊進行傳輸，即:不發送數據塊而發送該數據塊對應的指紋信息。
[0057]該步驟中，對於連續重複的數據塊，需要獲取每個數據塊對應的指紋信息，進而得到該連續重複的數據塊對應的指紋信息序列，並將該指紋信息序列進行ニ級緩存，得到一個ニ級緩存指紋。
[0058]步驟104、將所述ニ級緩存指紋代替所述連續重複的數據塊進行傳輸。
[0059]該步驟中，對於連續重複的數據塊，傳輸時不再一一傳輸其中每個數據塊對應的指紋信息，而是傳輸連續重複的數據塊對應的ニ級緩存指紋。
[0060]通過將連續重複的數據塊對應的指紋信息序列縮減為ー個ニ級緩存指紋，並利用該ニ級緩存指紋代替指紋信息序列進行傳輸，能夠減少數據傳輸量。
[0061]本發明實施例中，當原始數據流被分割為數據塊進行傳輸時，當出現已傳輸過的重複數據塊時，並不是直接以重複數據塊的指紋信息代替該重複數據塊進行傳輸，而是判斷多個所述數據塊是否為連續重複數據塊，如果是，則獲取所述連續重複的數據塊對應的指紋信息序列的ニ級緩存指紋，將該ニ級緩存指紋代替指紋信息序列進行傳輸，通過ニ級緩存，將指紋信息序列進行縮減，從而減小網絡傳輸的數據量。
[0062]本發明實施例中，上述步驟102中，判斷多個所述數據塊是否為連續重複數據塊的實現方式如圖2所示，具體包括:
[0063]步驟201、查找保存的已傳輸的數據塊的指紋信息以及所述已傳輸數據塊的順序
信息；
[0064]在字節緩存中，針對每個數據塊，利用一個簡短的特徵值來進行唯一標識，該特徵值就是指紋，通常可以採用hash的方式求出。
[0065]對於已傳輸的數據塊，通常保存每個數據塊的指紋信息。此外，該步驟中，還額外保存了各個數據塊在原始數據流中的順序信息。因此，通過查找，可以獲得已傳輸的數據塊的指紋信息以及所述已傳輸數據塊的順序信息。
[0066]步驟202、將多個所述數據塊對應的指紋信息與所述保存的已傳輸的數據塊的指紋信息進行匹配，如果匹配，則繼續步驟203 ;如果不匹配，則繼續步驟204 ；
[0067]步驟203、判斷多個所述數據塊的順序是否與所述已傳輸數據塊中相同數據塊的順序相同，如果是，則繼續步驟205 ;否則，繼續步驟206 ；[0068]步驟204、確定所述數據塊為非重複數據塊；
[0069]步驟205、確定多個所述數據塊為連續重複數據塊；
[0070]步驟206、確定多個所述數據塊為非連續重複數據塊。
[0071]上述實現方式中，通過將待傳輸的多個數據塊對應的指紋信息與保存的已傳輸的數據塊的指紋信息進行匹配，如果匹配，則表示在接收該多個數據塊之前，已經接收並傳輸過同樣的數據塊，該多個數據塊屬於重複數據塊，進而，繼續判斷多個所述數據塊的順序與所述已傳輸數據塊中相同數據塊的順序是否相同，即判斷所述多個數據塊是否已經按照當前順序在所述已傳輸數據塊中出現過，如果順序一致，則該多個數據塊為連續重複數據塊。
[0072]本發明實施例中，如果多個所述數據塊為非連續重複數據塊，則計算每個數據塊的指紋信息；將所述每個數據塊的指紋信息代替對應的數據塊進行傳輸。
[0073]為了提高重複數據塊的檢測率，本發明實施例採用低粒度的數據流分割方式，利用Rabin算法，對原始數據流進行不定長分塊。
[0074]為了便於對本發明技術方案的理解，下面通過具體實現方式對上述技術方案進行詳細的說明。
[0075]假設數據流按照從左到右進行傳輸，類似ー個FIFtXFirst Input First Output,先入先出隊列)。數據流經Rabin算法進行不定長分塊操作，產生的數據塊形式如圖3所示，其中，Al?A7分別表示分割獲得的數據塊。經過數據分塊操作，依次產生ニ元組，,〈A3，H3>, , ,〈Al，Hl>,〈Al，Hl>, ,〈A3，H3>, ,，即:數據塊Al對應指紋的哈希值為H1，數據塊A2對應指紋的哈希值為H2，數據塊A3對應指紋的哈希值為H3，數據塊A4對應指紋的哈希值為H4，數據塊A5對應指紋的哈希值為H5，數據塊A6對應指紋的哈希值為H6，數據塊A7對應指紋的哈希值為H7。
[0076]對於第一次出現的數據塊，則直接傳輸數據塊本身。對於在數據塊A5之後接收到的數據塊A1、A1、A2及A3，其中，對於首先接收到的Al，因之前傳輸過，因此為重複數據塊；對於該數據塊Al之後的數據塊Al、A2及A3，因之前順序傳輸過數據塊Al、A2及A3，因此為連續重複的數據塊。在傳輸階段，對於重複數據塊Al，不需傳輸數據塊Al本身，只需傳輸其對應的指紋信息Fl，通過指紋信息Fl標示該重複數據塊Al之前在何處出現過。對於連續重複的數據塊A1、A2及A3，按照現有技術方案，需要分別傳輸數據塊A1、A2及A3對應的指紋信息F1、F2及F3。為了進一歩減小網絡傳輸的數據量，對連續重複的數據塊A1、A2及A3對應的指紋信息序列進行ニ級緩存，將指紋信息序列F1、F2、F3進ー步ニ級緩存，縮減為ー個ニ級緩存指紋F123，利用ニ級緩存指紋F123標示其對應連續且按序重複的數據塊Al、A2 及 A3。
[0077]進ー步，對本發明實施例中數據塊的數據結構進行如下說明。
[0078]以下數據結構對應原始數據流經過分塊操作得到的數據塊的指紋。
[0079]
【權利要求】
1.一種數據傳輸的方法，其特徵在於，包括: 接收待傳輸的數據塊，所述數據塊由原始數據流經數據塊分割操作獲得； 判斷多個所述數據塊是否為連續重複數據塊，如果是，則獲取所述連續重複的數據塊對應的指紋信息序列的二級緩存指紋，所述二級緩存指紋由所述指紋信息序列經過二級緩存得到； 將所述二級緩存指紋代替所述連續重複的數據塊進行傳輸。
2.根據權利要求1所述的方法，其特徵在於，所述判斷多個所述數據塊是否為連續重複數據塊，包括: 查找保存的已傳輸的數據塊的指紋信息以及所述已傳輸數據塊的順序信息； 將多個所述數據塊對應的指紋信息與所述保存的已傳輸的數據塊的指紋信息進行匹配，如果匹配，且多個所述數據塊的順序與所述已傳輸數據塊中相同數據塊的順序相同，則確定多個所述數據塊為連續重複數據塊；否則，確定多個所述數據塊為非連續重複數據塊。
3.根據權利要求2所述的方法，其特徵在於，還包括: 如果多個所述數據塊為非連續重複數據塊，則計算每個數據塊的指紋信息； 將所述每個數據塊的指紋信息代替對應的數據塊進行傳輸。
4.根據權利要求1所述的方法，其特徵在於，所述數據塊由原始數據流經數據塊操作獲得，包括: 所述數據塊由原始數據流經過Rabin算法進行不定長分塊獲得。
5.根據權利要求2-4中任一項所述的方法，其特徵在於，所述已接收的數據塊的指紋信息按照散列的形式進行保存。
6.ー種數據傳輸裝置，其特徵在於，包括: 接收模塊，用於接收待傳輸的數據塊，所述數據塊由原始數據流經數據塊分割操作獲得; 判斷模塊，用於判斷多個所述數據塊是否為連續重複數據塊，如果是，則觸發二級緩存指紋獲取模塊； 所述二級緩存指紋獲取模塊，用於當多個所述數據塊為連續重複數據塊時，獲取所述連續重複的數據塊對應的指紋信息序列的二級緩存指紋，所述二級緩存指紋由所述指紋信息序列經過二級緩存得到； 傳輸模塊，用於將所述二級緩存指紋代替所述連續重複的數據塊進行傳輸。
7.根據權利要求6所述的裝置，其特徵在於，所述判斷模塊，包括: 查找單元，用於查找保存的已傳輸的數據塊的指紋信息以及所述已傳輸數據塊的順序信息； 匹配単元，用於將多個所述數據塊對應的指紋信息與所述保存的已傳輸的數據塊的指紋信息進行匹配，如果匹配，且多個所述數據塊的順序與所述已接收數據塊中相同數據塊的順序相同，則觸發第一結果單元；否則，觸發第二結果單元； 所述第一結果單元，用於確定多個所述數據塊為連續重複數據塊； 所述第二結果單元，用於確定多個所述數據塊為非連續重複數據塊。
8.根據權利要求7所述的裝置，其特徵在於，所述傳輸模塊還用於: 如果多個所述數據塊為非連續重複數據塊，則計算每個數據塊的指紋信息，將所述每個數據塊的指紋信息代替對應的數據塊進行傳輸。
9.根據權利要求6所述的裝置，其特徵在於，所述數據塊由原始數據流經過Rabin算法進行不定長分塊獲得。
10.根據權利要求6-9中任一項所述的裝置，其特徵在於，所述已接收的數據塊的指紋信息按照散列的形式進行保存。
11.一種伺服器，其特徵在於，包括:處理器、存儲器、總線和通信接ロ ；所述存儲器用於存儲計算機執行指令，所述處理器與所述存儲器通過所述總線連接，當所述伺服器運行吋，所述處理器執行所述存儲器存儲的所述計算機執行指令，並通過所述通信接ロ與所述伺服器外部的設備進行通信，以使所述伺服器執行如權利要求1-5中任一項所述的數據傳輸的方法 。
【文檔編號】H04L29/08GK103609091SQ201380000699
【公開日】2014年2月26日 申請日期:2013年6月24日 優先權日:2013年6月24日
【發明者】陳崢, 楊思茗, 覃偉峰 申請人:華為技術有限公司