數據下載方法和系統的製作方法
2023-06-04 16:56:16 2
數據下載方法和系統的製作方法
【專利摘要】一種數據下載方法，獲取待下載文件的下載請求，下載請求中包含原始下載連結，原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種；根據原始下載連結獲得待下載文件的哈希值；根據待下載文件的哈希值，且當原始下載連結為BT種子文件時，獲取待下載文件的eMule下載連結信息以及多源URL集合；當原始下載連結為eMule下載連結時，獲取待下載文件的Bt種子文件信息以及多源URL集合；當原始下載連結為源URL連結時，獲取待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合；根據待下載文件的Bt種子文件信息和/或eMule下載連結信息以及多源URL集合下載待下載文件。通過上述方法能實現基於不同下載協議的網絡進行數據共享。此外，還提供一種數據下載系統。
【專利說明】數據下載方法和系統
【技術領域】
[0001]本發明涉及網絡技術，特別是涉及一種數據下載方法和系統。
【背景技術】
[0002]主要的數據下載方式有P2P和P2SP。P2P是基於點對點協議，藉由仲裁中介伺服器的數據傳輸，P2SP即點對伺服器和點，「點」指的是網絡節點-或終端。p2sp下載系統能有效的整合散落於網際網路中的資源，為用戶下載數據提供更多的通道，實現數據的共享，且相對於傳統的P2P下載系統來說穩定性有了較大的加強。目前應用最廣泛的三種下載協議分別為Http下載協議、Bt下載協議和eMule下載協議。
[0003]然而,一般的p2sp下載系統米用上述三種下載協議中的一種,每種下載系統只能共享在同一下載協議下的數據。例如，一個用戶採用的下載系統是基於Bt下載協議的，當用戶在下載某一數據文件時，下載系統首先會獲取該數據文件的種子文件，然後根據種子文件在網際網路中查找存有該數據文件的節點(Peer)，形成一個P2P網絡，進而實現該P2P網絡中該數據文件的共享。另一個用戶採用的是基於eMule下載協議的下載系統，當用戶在下載同樣的數據時，下載系統首先獲得該數據的信息摘要值，然後根據該信息摘要值在網際網路中查找存有該數據文件的Peer，並形成一個新的P2P網絡。該用戶只會在這個新的P2P網絡中與其他節點進行數據共享，而不會共享基於Bt下載協議的P2P網絡中的數據。
[0004]因此，目前的P2sp技術還沒有充分實現網絡上數據資源的無縫共享。基於不同下載協議的p2p網絡是隔離的，他們下載的同一個數據文件之間的Peer也無法共享，不同的下載協議之間還存在不能互通的鴻溝。
【發明內容】
[0005]基於此，有必要提供一種能實現基於不同下載協議的網絡進行數據共享的數據下載方法和系統。
[0006]一種數據下載方法，包括以下步驟:
[0007]獲取待下載文件的下載請求，所述下載請求中包含原始下載連結，所述原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種；
[0008]根據所述原始下載連結獲得所述待下載文件的哈希值；
[0009]根據所述待下載文件的哈希值，且當所述原始下載連結為BT種子文件時，獲取所述待下載文件的eMule下載連結信息以及多源URL集合；當所述原始下載連結為eMule下載連結時，獲取所述待下載文件的Bt種子文件信息以及多源URL集合；當所述原始下載連結為源URL連結時，獲取所述待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合；
[0010]根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件。
[0011]在其中一個實施例中，所述根據所述原始下載連結獲得所述待下載文件的哈希值的步驟為:
[0012]當所述原始下載連結為源URL連結時，根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的源URL連結對應的哈希值；
[0013]當所述原始下載連結為BT種子文件時，根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的Bt種子文件信息對應的哈希值；
[0014]當所述原始下載連結為eMule下載連結時,根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的eMule下載連結信息對應的哈希值。
[0015]在其中一個實施例中，當所述原始下載連結為源URL連結時，根據所述待下載文件的哈希值，獲取所述待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合的步驟為:
[0016]根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合；
[0017]根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的Bt種子文件信息；
[0018]根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的eMule下載連結信息。
[0019]在其中一個實施例中，當所述原始下載連接為BT種子文件時，根據所述待下載文件的哈希值，獲取所述待下載文件的eMule下載連結信息以及多源URL集合的步驟為:
[0020]根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合；
[0021]根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的eMule下載連結信息。
[0022]在其中一個實施例中，當所述原始下載連接為eMule下載連結時，根據所述待下載文件的哈希值，獲取所述待下載文件的Bt種子文件信息以及多源URL集合的步驟為:
[0023]根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合；
[0024]根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的Bt種子文件信息。
[0025]在其中一個實施例中，所述Bt種子文件信息為Bt種子文件的特徵碼和文件序號，所述eMule下載連結信息為待下載文件的信息摘要值和文件大小，所述根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件的步驟為:
[0026]將所述待下載文件劃分為多個分片，並根據下載能力對所述分片的下載任務進行
調度；
[0027]根據所述待下載文件的多源URL集合下載所述分片；
[0028]當所述原始下載連結為Bt種子文件時，根據所述原始下載連結下載所述分片，否貝1J，根據所述待下載文件的Bt種子文件的特徵碼獲取Bt種子，並根據所述BT種子下載所述分片；
[0029]當所述原始下載連結為eMule下載連結時，根據所述原始下載連結下載所述分片，否則，根據所述待下載文件的信息摘要值和文件大小構造eMule下載連結，並根據所述eMule下載連結下載所述分片。
[0030]在其中一個實施例中，所述方法還包括:
[0031]當所述待下載文件為新文件時，建立並存儲所述新文件的URL連結與哈希值、Bt種子信息與哈希值或eMule下載連結信息與哈希值之間的映射關係。
[0032]在其中一個實施例中，所述方法還包括:當所述待下載文件為新文件時，獲取並存儲所述待下載文件的Bt種子文件。
[0033]此外，還提供一種數據下載系統，所述系統包括下載伺服器和下載客戶端，所述下載伺服器包括:
[0034]資源查詢伺服器，用於獲取待下載文件的下載請求，所述下載請求中包含原始下載連結，所述原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種；
[0035]邏輯伺服器群，用於根據所述原始下載連結獲得所述待下載文件的哈希值；
[0036]所述邏輯伺服器群還用於根據所述待下載文件的哈希值，且當所述原始下載連結為BT種子文件時，獲取所述待下載文件的eMule下載連結信息以及多源URL集合；當所述原始下載連結為eMule下載連結時，獲取所述待下載文件的Bt種子文件信息以及多源URL集合；當所述原始下載連結為源URL連結時，獲取所述待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合；
[0037]所述下載客戶端用於根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件。
[0038]在其中一個實施例中，所述原始下載連結為源URL連結或BT種子文件或eMule下載連結，所述邏輯伺服器群包括:
[0039]U2h伺服器，用於當所述原始下載連結為源URL連結時，根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的源URL連結對應的哈希值；
[0040]Bt2h伺服器，用於當所述原始下載連結為BT種子文件時，根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的Bt種子文件信息對應的哈希值；
[0041]eMule2h伺服器，用於當所述原始下載連結為eMule下載連結時，根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的eMule下載連結信息對應的哈希值
[0042]在其中一個實施例中，所述邏輯伺服器群還包括h2Bt伺服器和h2eMule伺服器中的一種或兩種及h2U伺服器,其中:
[0043]h2U伺服器，用於根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合；
[0044]h2Bt伺服器，用於根據預設的Bt種子文件與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的Bt種子文件信息；
[0045]h2eMule伺服器，用於根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的eMule下載連結信息。
[0046]在其中一個實施例中，所述Bt種子文件信息為Bt種子文件的特徵碼和文件序號，所述eMule下載連結信息為待下載文件的信息摘要值和文件大小，所述下載客戶端包括:
[0047]調度模塊，用於將所述待下載文件劃分為多個分片，並根據下載能力對所述分片的下載任務進行調度；
[0048]下載模塊，包括:
[0049]Http下載單元，用於根據所述待下載文件的多源URL集合下載所述分片；
[0050]Bt下載單元，用於當所述原始下載連結為Bt種子文件時，根據所述原始下載連結下載所述分片，否則，根據所述待下載文件的Bt種子文件的特徵碼獲取Bt種子，並根據所述BT種子下載所述分片；
[0051]eMule下載單元,用於當所述原始下載連結為eMule下載連結時,根據所述原始下載連結下載所述分片，否則，根據所述待下載文件的信息摘要值和文件大小構造eMule下載連結，並根據所述eMule下載連結下載所述分片。
[0052]在其中一個實施例中，所述下載伺服器還包括資源入庫模塊，所述資源入庫模塊用於當所述待下載文件為新文件時，建立並存儲所述新文件的URL連結與哈希值、Bt種子信息與哈希值或eMule下載連結信息與哈希值之間的映射關係。
[0053]在其中一個實施例中，所述下載伺服器還包括Bt種子伺服器，所述Bt種子伺服器用於當所述待下載文件為新文件時，獲取並存儲所述待下載文件的Bt種子文件。
[0054]上述數據下載方法和系統，首先獲取包含待下載文件原始下載連結的下載請求，並根據原始下載連結獲得待下載文件的哈希值。然後根據待下載文件的哈希值，獲得待下載文件的Bt種子文件信息和eMule下載連結信息中的兩個或兩者中與原始下載連結不同的一個，以及獲取待下載文件的多源URL集合。最後根據待下載文件的多源URL集合、Bt種子文件信息和eMule下載連結信息下載待下載文件。通過上述方法和系統，在獲得待下載文件的原始下載連結後，可以得到待下載文件的多源URL集合、Bt種子文件信息和eMule下載連結信息，從而可以採用基於三種下載協議的下載方式在各自的p2p網絡中同時下載待下載文件。因此，上述方法和系統可充分利用網絡資源，實現基於不同下載協議的網絡進行數據共享。
【專利附圖】
【附圖說明】
[0055]圖1為一實施例中數據下載方法的流程示意圖；
[0056]圖2為一實施例中根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件的流程示意圖；
[0057]圖3為一實施例中數據下載系統的模塊示意圖；
[0058]圖4為一實施例中邏輯伺服器群的模塊示意圖；
[0059]圖5為一實施例中下載客戶端的模塊不意圖；
[0060]圖6為另一實施例中數據下載系統的模塊示意圖。
【具體實施方式】
[0061]如圖1所示，在一個實施例中，數據下載方法包括以下步驟:
[0062]步驟S110，獲取待下載文件的下載請求，下載請求中包含原始下載連結，原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種。
[0063]下載請求中包含了待下載文件的原始下載連結。在獲取下載請求後，可從下載請求中提取出待下載文件的原始下載連結。在一般情況下，原始下載連結為源URL連結或Bt種子或eMule下載連結。
[0064]步驟S120，根據原始下載連結獲得待下載文件的哈希值。
[0065]在獲得待下載文件的原始下載連結後，需要根據原始下載連結得到待下載文件的唯一標識號:待下載文件的哈希值。
[0066]步驟S130，根據待下載文件的哈希值，且當原始下載連結為BT種子文件時，獲取待下載文件的eMule下載連結信息以及多源URL集合；當原始下載連結為eMule下載連結時，獲取待下載文件的Bt種子文件信息以及多源URL集合；當原始下載連結為源URL連結時，獲取待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合。
[0067]哈希值是文件的唯一標識，因此不論在是何種下載協議下，同一個文件的哈希值也是相同的。因此，在得到待下載文件的哈希值後，可通過預設的映射關係獲得待下載文件在不同下載協議下的下載連結。
[0068]在一個實施例中，原始下載連結為源URL連結，上述步驟S120具體為:根據預設的URL連結與哈希值的映射關係，查詢與待下載文件的源URL連結對應的哈希值。
[0069]具體地，當待下載文件的原始下載連結為源URL連結時，查詢預設的URL連結與哈希值的映射關係，在該映射關係中，每個URL連結對應有一個哈希值。在映射關係中查找到與源URL連結相同的URL連結，則其對應的哈希值便為該待下載文件的哈希值。
[0070]在本實施例中，上述步驟S130具體為:根據預設的URL連結與哈希值的映射關係，查詢與待下載文件的哈希值對應的多源URL集合；根據預設的Bt種子文件信息與哈希值的映射關係，查詢與待下載文件的哈希值對應的Bt種子文件信息；根據預設的eMule下載連結信息與哈希值的映射關係，查詢與待下載文件的哈希值對應的eMule下載連結信息。
[0071]具體地，同一文件有可能具有多個下載地址，在URL連結與哈希值的映射關係中，每一個哈希值可能對應多個URL連結。查詢預設的URL連結與哈希值的映射關係時，可得到待下載文件的多個URL下載連結，待下載文件的多個URL下載連結共同構成多源URL集
入
口 ο
[0072]具體地，Bt種子文件信息包括Bt種子文件的特徵碼和文件序號。Bt種子文件信息與哈希值的映射關係中記錄的是文件哈希值與Bt種子的特徵碼和該Bt種子的文件序號所構成的一組數據的映射關係。同一文件有可能對應多個Bt種子，因此，在Bt種子文件信息與哈希值的映射關係中，每一個哈希值可能對應多個同一 Bt種子的一組特徵碼和文件序號。在獲取下載文件的Bt種子文件信息時，一般獲取下載平均速度最快的Bt種子的特徵碼和文件序號。
[0073]在一個實施例中，每個文件在下載完成後，都會將下載耗時、平均速度等下載相關的信息進行上報反饋，根據反饋的信息，可計算存儲每個Bt種子文件的平均下載速度，從而方便選擇下載平均速度最快的那個Bt種子。
[0074]具體地，eMule下載連結信息為待下載文件的信息摘要值和文件大小。由於信息摘要值也是待下載文件的唯一標識，因此，待下載文件的哈希值與文件的信息摘要值是一一對應的關係。預設的eMule下載連結信息與哈希值的映射關係中記錄了待下載文件的哈希值與待下載文件的信息摘要和文件大小的映射，因此，通過哈希值查詢可得到待下載文件唯一的信息摘要值和文件大小。
[0075]在另一實施例中，原始下載連結為BT種子文件，上述步驟S120具體為:根據預設的Bt種子文件信息與哈希值的映射關係，查詢與待下載文件的Bt種子文件信息對應的哈希值。
[0076]具體地，當待下載文件的原始下載連結為Bt種子時，查詢預設的Bt種子文件信息與哈希值的映射關係。在本實施例中，Bt種子文件信息為待下載文件的Bt種子文件的特徵碼和文件序號所組成的一組數據，在該映射關係中，Bt種子文件的特徵碼和文件序號與哈希值對應，其中，同一哈希值可與多個同一 Bt種子文件的特徵碼和文件序號對應。因此查詢時，以待下載文件的Bt種子的特徵碼和文件序號作為查詢主鍵，獲得待下載文件的哈希值。
[0077]在本實施例中，上述步驟S130具體為:根據預設的URL連結與哈希值的映射關係，查詢與待下載文件的哈希值對應的多源URL集合；根據預設的eMule下載連結信息與哈希值的映射關係，查詢與待下載文件的哈希值對應的eMule下載連結信息。
[0078]在另一實施例中，原始下載連結為eMule下載連結,上述步驟S120具體為:根據預設的eMule下載連結信息與哈希值的映射關係，查詢與待下載文件的eMule下載連結信息對應的哈希值。
[0079]具體的，當待下載文件的原始連結為eMule下載連結時,查詢預設的eMule下載連結信息與哈希值的映射關係。在本實施例中，eMule下載連結信息為待下載文件的信息摘要值和文件大小，在該映射關係中，待下載文件的信息摘要值和文件大小與哈希值對應，其中，哈希值與待下載文件的信息摘要值和文件大小一一對應。因此在查詢時，先從eMule下載連結中提取出文件的信息摘要值，然後以待下載文件的信息摘要值作為查詢主鍵，從而獲得待下載文件的哈希值。
[0080]在本實施例中，上述步驟S130具體為:根據預設的URL連結與哈希值的映射關係，查詢與待下載文件的哈希值對應的多源URL集合；根據預設的Bt種子文件信息與哈希值的映射關係，查詢與待下載文件的哈希值對應的Bt種子文件信息。
[0081]步驟S140，根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件。
[0082]在獲得待下載文件的多源URL集合、Bt種子文件信息和eMule下載連結信息後，即可採取Http下載、Bt下載和eMule下載三種方式下載待下載文件。
[0083]如圖2所示，在一個實施例中，Bt種子文件信息為Bt種子文件的特徵碼和文件序號，eMule下載連結信息為待下載文件的信息摘要值和文件大小，上述步驟S140具體為:
[0084]步驟S141，將待下載文件劃分為多個分片，並根據下載能力對分片的下載任務進行調度。
[0085]具體地，由於基於不同協議的下載方式的資源有差異，因此在下載不同的文件時，三種下載方式的下載能力也不一樣。例如，文件A在Bt下載協議下的資源較多，因此針對文件A，Bt下載的能力最強；而文件B在eMule協議下的資源較多，因此針對文件B，eMule下載的能力最強。因此進行下載之前，首先需要將待下載文件劃分為多個分片，並根據下載能力為基於不同協議的下載方式分配分片的下載任務。
[0086]步驟S143，根據待下載文件的多源URL集合下載分片。
[0087]具體地，進行Http下載時，首先根據待下載文件的多源URL集合，通過Tracker伺服器查詢到含有多源URL集合中的URL連結的節點，組成基於Http下載協議p2p網絡，然後基於該P2p網絡進行p2p下載，完成所分配的下載任務。
[0088]步驟S145，當原始下載連結為Bt種子文件時，根據原始下載連結下載分片，否則，根據待下載文件的Bt種子文件的特徵碼獲取Bt種子，並根據BT種子下載分片。
[0089]具體地，進行Bt下載時，若原始下載連結為Bt種子文件，則不需要通過根據Bt種子文件信息獲取Bt種子文件，而可直接通過原始下載連結進行Bt下載。若原始現在連結不為Bt種子文件，則首先根據待下載文件的Bt種子文件的特徵碼獲取Bt種子。Bt種子存儲於Bt種子庫中，每個Bt種子都具有唯一的Bt種子特徵碼與其對應，當獲得Bt種子文件的特徵碼後，可通過特徵碼在Bt種子庫中查找到Bt種子。然後利用Bt種子，通過Tracker伺服器(跟蹤伺服器)查詢到含有該Bt種子的節點，組成基於Bt下載協議p2p網絡，然後基於該p2p網絡進行p2p下載，完成所分配的下載任務。
[0090]步驟S147，當原始下載連結為eMule下載連結時，根據原始下載連結下載分片，否貝1J，根據待下載文件的信息摘要值和文件大小構造eMule下載連結，並根據eMule下載連結下載分片。
[0091]具體地，進行eMule下載時，若原始下載連結為eMule下載連結，則不需要根據eMule下載連結信息獲取eMule下載連接,而直接採用原始下載連結進行eMule下載。若原始下載連結不為eMule下載連接，則首先根據待下載文件的信息摘要值和文件大小構造eMule下載連結,然後利用eMule下載連結,通過Tracker伺服器查詢到含有該eMule下載連結的節點，組成基於eMule下載協議p2p網絡，然後基於該p2p網絡進行p2p下載，完成所分配的下載任務。
[0092]在一個實施例中，若在待下載文件的下載過程中，有一種或兩種下載方式提前完成所分配的下載任務，為了節約網絡資源，減少下載耗時，將會對剩餘的下載任務進行重新分配。
[0093]在另一個實施例中，數據下載方法還包括:
[0094]當待下載文件為新文件時，建立並存儲新文件的URL連結與哈希值、Bt種子信息與哈希值或eMule下載連結信息與哈希值之間的映射關係。
[0095]具體地，當獲得原始下載連結後，若根據原始下載連結不能查詢到待下載文件的哈希值，則判斷該待下載文件為新文件。首先計算該新文件的哈希值，若新文件的原始下載連結為源URL連結，則建立並存儲URL連結與哈希值的雙向映射關係；若新文件的原始下載連結為eMule下載連結，則建立並存儲eMule下載連結信息與哈希值的雙向映射關係；若新文件的原始下載連結為Bt種子文件，則建立並存儲Bt種子文件信息與哈希值的雙向映射關係。
[0096]此外，當新文件的原始下載連結為Bt種子文件時，數據下載方法還包括:
[0097]獲取並存儲待下載文件的Bt種子文件。
[0098]具體地，新文件的Bt種子文件存儲在Bt種子庫，當在後續的下載過程中，獲取到該Bt種子文件的特徵碼後，可在Bt種子庫中查找到相應的Bt種子文件。從而可根據該Bt種子文件進行下載。
[0099]Bt下載協議的另外一種協議變種稱為Magnet協議，即「磁力連結」，磁力連結的主要作用是識別BT種子文件。該連結是通過不同文件內容的Hash結果生成一個純文本的「數字指紋」，來識別文件的Bt種子文件。不同的是這個「數字指紋」可以被任何人從任何文件上生成，使得「磁力連結」不需要任何「中心機構」的支持(例如:BT Tracker伺服器)，且識別準確度極高。當採用Bt下載協議的變種Magnet協議進行下載時,可直接通過Magnet協議中的「數字指紋」識別收錄在Bt種子庫中的Bt種子文件，然後根據Bt種子文件進行下載，因此可提聞Magnet協議的下載效率。
[0100]如圖3所示，本發明還提供一種數據下載系統。數據下載系統包括下載伺服器100和下載客戶端200。其中，下載伺服器100包括資源查詢伺服器110、邏輯伺服器群120。
[0101]資源查詢伺服器110用於獲取待下載文件的下載請求，下載請求中包含原始下載連結，原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種。
[0102]下載請求中包含了待下載文件的原始下載連結。在獲取下載請求後，資源查詢伺服器110可從下載請求中提取出待下載文件的原始下載連結。在一般情況下，原始下載連結為源URL連結或Bt種子或eMule下載連結。
[0103]邏輯伺服器群120用於根據原始下載連結獲得待下載文件的哈希值。
[0104]在資源查詢伺服器110獲得待下載文件的原始下載連結後，邏輯伺服器群120需要根據原始下載連結得到待下載文件的唯一標識號:待下載文件的哈希值。
[0105]如圖4所示，在一個實施例中，邏輯伺服器群120包括U2h伺服器121、Bt2h伺服器123和eMule2h伺服器125。其中:
[0106]U2h伺服器121用於當原始下載連結為源URL連結時，根據預設的URL連結與哈希值的映射關係，查詢與待下載文件的源URL連結對應的哈希值。
[0107]U2h伺服器121為URL連結於對應文件hash (哈希值)映射伺服器，具體地，當待下載文件的原始下載連結為源URL連結時，U2h伺服器121查詢預設的URL連結與哈希值的映射關係，在該映射關係中，每個URL連結對應有一個哈希值。U2h伺服器121在映射關係中查找到與源URL連結相同的URL連結，則其對應的哈希值便為該待下載文件的哈希值。
[0108]Bt2h伺服器123用於當原始下載連結為BT種子文件時，根據預設的Bt種子文件信息與哈希值的映射關係，查詢與待下載文件的Bt種子文件信息對應的哈希值。
[0109]Bt2h伺服器123為Bt種子文件於對應文件hash映射伺服器，具體地，當待下載文件的原始下載連結為Bt種子時，Bt2h伺服器123預設的Bt種子文件信息與哈希值的映射關係。在本實施例中，Bt種子文件信息為待下載文件的Bt種子文件的特徵碼和文件序號，在該映射關係中，Bt種子文件的特徵碼與哈希值對應。因此，Bt2h伺服器123查詢時，以待下載文件的Bt種子的特徵碼和文件序號作為查詢主鍵，獲得待下載文件的哈希值。
[0110]eMule2h伺服器125用於當原始下載連結為eMule下載連結時,根據預設的eMule下載連結信息與哈希值的映射關係，查詢與待下載文件的eMule下載連結信息對應的哈希值。
[0111]eMule2h伺服器125為eMule下載連結與文件hash映射伺服器,具體的，當待下載文件的原始連結為eMule下載連結時，eMule2h伺服器125查詢預設的eMule下載連結信息與哈希值的映射關係。在本實施例中，eMule下載連結信息為待下載文件的信息摘要值和文件大小，在該映射關係中，待下載文件的信息摘要值與哈希值對應，因此，在eMule2h伺服器125查詢時，先從eMule下載連結中提取出文件的信息摘要值，然後以待下載文件的信息摘要值作為查詢主鍵，從而獲得待下載文件的哈希值。
[0112]邏輯伺服器群120還用於根據待下載文件的哈希值，且當原始下載連結為BT種子文件時，獲取待下載文件的eMule下載連結信息以及多源URL集合；當原始下載連結為eMule下載連結時，獲取待下載文件的Bt種子文件信息以及多源URL集合；當原始下載連結為源URL連結時，獲取待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合。
[0113]哈希值是文件的唯一標識，因此不論在是何種下載協議下，同一個文件的哈希值也是相同的。因此，邏輯伺服器群120在得到待下載文件的哈希值後，可通過預設的映射關係獲得待下載文件在不同下載協議下的下載連結。
[0114]在一個實施例中，邏輯伺服器群120還包括h2U伺服器122、h2Bt伺服器124和h2eMule伺服器126。其中:
[0115]h2U伺服器122用於根據預設的URL連結與哈希值的映射關係，查詢與待下載文件的哈希值對應的多源URL集合。
[0116]h2U伺服器122為文件hash與對應URL連結映射伺服器，同一文件有可能具有多個下載地址，在URL連結與哈希值的映射關係中，每一個哈希值可能對應多個URL連結。h2U伺服器122查詢預設的URL連結與哈希值的映射關係時，可得到待下載文件的多個URL下載連結，待下載文件的多個URL下載連結共同構成多源URL集合。
[0117]h2Bt伺服器124用於根據預設的Bt種子文件信息與哈希值的映射關係，查詢與待下載文件的哈希值對應的Bt種子文件信息。
[0118]h2Bt伺服器124為文件hash與對應Bt種子文件映射伺服器。在一個實施例中，Bt種子文件信息包括Bt種子文件的特徵碼和文件序號，Bt種子文件信息與哈希值的映射關係中記錄的是文件哈希值與Bt種子的特徵碼和文件序號所構成的一組數據的映射關係。同一文件有可能對應多個Bt種子，因此，在Bt種子文件信息與哈希值的映射關係中，每一個哈希值可能對應多個同一 Bt種子的的一組特徵碼和文件序號。h2Bt伺服器124在獲取下載文件的Bt種子文件信息時，一般獲取下載平均速度最快的那個Bt種子的特徵碼和文件序號。在一個實施例中，數據下載系統還包括統計伺服器，在每次下載完成時，下載客戶端會將下載耗時、平均下載速度等下載相關的信息上報給統計伺服器，統計伺服器對下載相關的信息進行計算分析，可知道資源的優劣以及每個Bt種子文件的平均速度，從而便於選擇下載平均速度最快的Bt種子文件。
[0119]h2eMule伺服器126用於根據預設的eMule下載連結信息與哈希值的映射關係，查詢與待下載文件的哈希值對應的eMule下載連結信息。
[0120]h2eMule伺服器126為文件hash與對應eMule下載連結映射伺服器。在一個實施例中，eMule下載連結信息為待下載文件的信息摘要值和文件大小。由於信息摘要值也是待下載文件的唯一標識，因此，待下載文件的哈希值與文件的信息摘要值是一一對應的關係。預設的eMule下載連結信息與哈希值的映射關係中記錄了待下載文件的哈希值與待下載文件的信息摘要值和文件大小的映射，因此，h2eMule伺服器126通過哈希值查詢可得到待下載文件唯一的信息摘要值和文件大小。
[0121]在另一個實施例中，當原始下載連結為Bt種子文件時，邏輯伺服器群120可僅包括h2U伺服器122及h2eMule伺服器126。
[0122]在另一個實施例中，當原始下載連結為eMule下載連結時，邏輯伺服器群120可僅包括h2U伺服器122及h2Bt伺服器124。[0123]下載客戶端200用於根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件。
[0124]在邏輯伺服器群120獲得待下載文件的多源URL集合、Bt種子文件信息和eMule下載連結信息後，下載客戶端200即可採取Http下載、Bt下載和eMule下載三種方式下載待下載文件。
[0125]如圖5所示，在一個實施例中，Bt種子文件信息為Bt種子文件的特徵碼和文件序號，下載客戶端200包括調度模塊210和下載模塊220。其中，下載模塊220包括Http下載單元221、Bt下載單元223和eMule下載單元225。
[0126]調度模塊210用於將待下載文件劃分為多個分片，並根據下載能力對分片的下載任務進行調度。
[0127]具體地，由於基於不同協議的下載方式的資源有差異，因此在下載不同的文件時，三種下載方式的下載能力也不一樣。例如，文件A在Bt下載協議下的資源較多，因此，針對文件A來說，Bt下載的能力最強；而文件B在eMule協議下的資源較多，因此針對文件B，eMule下載的能力最強。因此，在進行下載之前，調度模塊210首先需要將待下載文件劃分為多個分片，並根據下載能力為下載模塊220不同的下載單元分配分片的下載任務。
[0128]Http下載單元221用於根據待下載文件的多源URL集合下載分片。
[0129]具體地，Http下載單元221進行Http下載時，首先根據待下載文件的多源URL集合，通過Tracker伺服器查詢到含有多源URL集合中的URL連結的節點，組成基於Http下載協議p2p網絡，然後基於該p2p網絡進行p2p下載，完成所分配的下載任務。
[0130]Bt下載單元223用於當原始下載連結為Bt種子文件時，根據原始下載連結下載分片，否則，根據待下載文件的Bt種子文件的特徵碼獲取Bt種子，並根據BT種子下載分片。
[0131]具體地，Bt下載單元223進行Bt下載時，若原始下載連結為Bt種子文件，Bt下載單元223則不需要通過根據Bt種子文件信息獲取Bt種子文件，而可直接通過原始下載連結進行Bt下載。若原始現在連結不為Bt種子文件，則Bt下載單元223首先根據待下載文件的Bt種子文件的特徵碼獲取Bt種子。Bt種子存儲於Bt種子庫中，每個Bt種子都具有唯一的Bt種子特徵碼與其對應，當Bt下載單元223獲得Bt種子文件的特徵碼後，可通過特徵碼在Bt種子庫中查找到Bt種子。然後利用Bt種子，通過Tracker伺服器查詢到含有該Bt種子的節點，組成基於Bt下載協議p2p網絡，然後基於該p2p網絡進行p2p下載，完成所分配的下載任務。
[0132]eMule下載單元225用於當原始下載連結為eMule下載連結時,根據原始下載連結下載分片，否則，根據待下載文件的信息摘要值和文件大小構造eMule下載連結，並根據eMule下載連結下載分片。
[0133]具體地，eMule下載單元225進行eMule下載時，若原始下載連結為eMule下載連結,eMule下載單元225則不需要根據eMule下載連結信息獲取eMule下載連接,而直接採用原始下載連結進行eMule下載。若原始下載連結不為eMule下載連接,則eMule下載單元225首先根據待下載文件的信息摘要值和文件大小構造eMule下載連結，然後利用eMule下載連結，通過Tracker伺服器查詢到含有該eMule下載連結的節點，組成基於eMule下載協議p2p網絡，然後基於該p2p網絡進行p2p下載，完成所分配的下載任務。
[0134]在一個實施例中，若在待下載文件的下載過程中，有一個或兩個下載單元提前完成所分配的下載任務，為了節約網絡資源，減少下載耗時，調度模塊210將會對剩餘的下載任務進行重新分配。調度模塊210使三個下載單元一直處於工作狀態，防止出現空閒的下載單元，從而提高下載效率。
[0135]如圖6所示，在另一個實施例中，下載伺服器100還包括資源入庫伺服器130和Bt種子伺服器140。其中:
[0136]資源入庫伺服器130用於當待下載文件為新文件時，建立並存儲新文件的URL連結與哈希值、Bt種子信息與哈希值或eMule下載連結信息與哈希值之間的映射關係。
[0137]具體地，當資源查詢伺服器110獲得原始下載連結後，若邏輯伺服器群120根據原始下載連結不能查詢到待下載文件的哈希值，則判斷該待下載文件為新文件。下載客戶端200首先計算該新文件的哈希值，若新文件的原始下載連結為源URL連結，資源入庫伺服器130則建立並存儲URL連結與哈希值的雙向映射關係；若新文件的原始下載連結為eMule下載連結，資源入庫伺服器130則建立並存儲eMule下載連結信息與哈希值的雙向映射關係；若新文件的原始下載連結為Bt種子文件，資源入庫伺服器130則建立並存儲Bt種子文件信息與哈希值的雙向映射關係。
[0138]在一個實施例中，上述新建的映射關係存儲與索引資料庫中，所述索引資料庫的數據可被邏輯伺服器群120調用，邏輯伺服器群120在進行查詢映射關係時，可從索引資料庫中查找映射關係。同時，上述新建的映射關係還將同步於邏輯伺服器群的內存中。邏輯伺服器群120在調用映射關係時，首先在其內存中查詢，若在內存中查找不到便到索引資料庫中查找。這樣的查找方式可加快高查詢的速度，從而提高整體性能。
[0139]Bt種子伺服器140獲取並存儲待下載文件的Bt種子文件。
[0140]具體地，當待下載文件為新文件且新文件的原始下載連結為Bt種子文件時，Bt種子伺服器140獲取待下載文件完整的Bt種子文件，並將待下載文件的Bt種子文件存儲在Bt種子庫。當在後續的下載過程中，獲取到該Bt種子文件的特徵碼後，可在Bt種子庫中查找到相應的Bt種子文件。從而可根據該Bt種子文件進行下載。
[0141]Bt下載協議的另外一種協議變種稱為Magnet協議，即「磁力連結」，磁力連結的主要作用是識別BT種子文件。該連結是通過不同文件內容的Hash結果生成一個純文本的「數字指紋」，來識別文件的Bt種子文件。不同的是這個「數字指紋」可以被任何人從任何文件上生成，使得「磁力連結」不需要任何「中心機構」的支持(例如:BT Tracker伺服器)，且識別準確度極高。當採用Bt下載協議的變種Magnet協議進行下載時，下載客戶端200可直接通過Magnet協議中的「數字指紋」識別收錄在Bt種子庫中的Bt種子文件，然後根據Bt種子文件進行下載，因此可提高Magnet協議的下載效率。
[0142]上述數據下載方法和系統，首先獲取包含待下載文件原始下載連結的下載請求，並根據原始下載連結獲得待下載文件的哈希值。然後根據待下載文件的哈希值，獲得待下載文件的Bt種子文件信息和eMule下載連結信息中的兩個或兩者中與原始下載連結不同的一個，以及獲取待下載文件的多源URL集合。最後根據待下載文件的多源URL集合、Bt種子文件信息和eMule下載連結信息下載待下載文件。通過上述方法和系統，在獲得待下載文件的原始下載連結後，可以得到待下載文件的多源URL集合、Bt種子文件信息和eMule下載連結信息，從而可以採用基於三種下載協議的下載方式在各自的p2p網絡中同時下載待下載文件。因此，上述方法和系統可充分利用網絡資源，實現基於不同下載協議的網絡進行數據共享。
[0143]以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。
【權利要求】
1.一種數據下載方法，包括以下步驟: 獲取待下載文件的下載請求，所述下載請求中包含原始下載連結，所述原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種； 根據所述原始下載連結獲得所述待下載文件的哈希值； 根據所述待下載文件的哈希值，且當所述原始下載連結為BT種子文件時，獲取所述待下載文件的eMule下載連結信息以及多源URL集合；當所述原始下載連結為eMule下載連結時，獲取所述待下載文件的Bt種子文件信息以及多源URL集合；當所述原始下載連結為源URL連結時，獲取所述待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合； 根據獲取的待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件。
2.根據權利要求1所述的數據下載方法，其特徵在於，所述根據所述原始下載連結獲得所述待下載文件的哈希值的步驟為: 當所述原始下載連結為源URL連結時，根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的源URL連結對應的哈希值； 當所述原始下載連結為BT種子文件時，根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的Bt種子文件信息對應的哈希值； 當所述原始下載連結為eMule下載連結時,根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的eMule下載連結信息對應的哈希值。
3.根據權利要求1或2所述的數據下載方法，其特徵在於，當所述原始下載連結為源URL連結時，根據所述 待下載文件的哈希值，獲取所述待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合的步驟為: 根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合； 根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的Bt種子文件信息； 根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的eMule下載連結信息。
4.根據權利要求1或2所述的數據下載方法，其特徵在於，當所述原始下載連接為BT種子文件時，根據所述待下載文件的哈希值，獲取所述待下載文件的eMule下載連結信息以及多源URL集合的步驟為: 根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合； 根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的eMule下載連結信息。
5.根據權利要求1或2所述的數據下載方法，其特徵在於，當所述原始下載連接為eMule下載連結時，根據所述待下載文件的哈希值，獲取所述待下載文件的Bt種子文件信息以及多源URL集合的步驟為: 根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合； 根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的Bt種子文件信息。
6.根據權利要求1所述的數據下載方法，其特徵在於，所述Bt種子文件信息為Bt種子文件的特徵碼和文件序號，所述eMule下載連結信息為待下載文件的信息摘要值和文件大小，所述根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件的步驟為: 將所述待下載文件劃分為多個分片，並根據下載能力對所述分片的下載任務進行調度； 根據所述待下載文件的多源URL集合下載所述分片； 當所述原始下載連結為Bt種子文件時，根據所述原始下載連結下載所述分片，否則，根據所述待下載文件的Bt種子文件的特徵碼獲取Bt種子，並根據所述BT種子下載所述分片; 當所述原始下載 連結為eMule下載連結時，根據所述原始下載連結下載所述分片，否貝1J，根據所述待下載文件的信息摘要值和文件大小構造eMule下載連結，並根據所述eMule下載連結下載所述分片。
7.根據權利要求1所述的數據下載方法，其特徵在於，所述方法還包括: 當所述待下載文件為新文件時，建立並存儲所述新文件的URL連結與哈希值、Bt種子信息與哈希值或eMule下載連結信息與哈希值之間的映射關係。
8.根據權利要求7所述的數據下載方法，其特徵在於，所述方法還包括:當所述待下載文件為新文件時，獲取並存儲所述待下載文件的Bt種子文件。
9.一種數據下載系統，包括下載伺服器和下載客戶端，其特徵在於，所述下載伺服器包括: 資源查詢伺服器，用於獲取待下載文件的下載請求，所述下載請求中包含原始下載連結，所述原始下載連結為源URL連結、BT種子文件、eMule下載連結中任意一種； 邏輯伺服器群，用於根據所述原始下載連結獲得所述待下載文件的哈希值； 所述邏輯伺服器群還用於根據所述待下載文件的哈希值，且當所述原始下載連結為BT種子文件時，獲取所述待下載文件的eMule下載連結信息以及多源URL集合；當所述原始下載連結為eMule下載連結時，獲取所述待下載文件的Bt種子文件信息以及多源URL集合；當所述原始下載連結為源URL連結時，獲取所述待下載文件的Bt種子文件信息和eMule下載連結信息以及多源URL集合； 所述下載客戶端用於根據獲取待下載文件的Bt種子文件信息和/或eMule下載連結信息、以及多源URL集合下載所述待下載文件。
10.如權利要求9所述的數據下載系統，其特徵在於，所述原始下載連結為源URL連結或BT種子文件或eMule下載連結，所述邏輯伺服器群包括: U2h伺服器，用於當所述原始下載連結為源URL連結時，根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的源URL連結對應的哈希值； Bt2h伺服器，用於當所述原始下載連結為BT種子文件時，根據預設的Bt種子文件信息與哈希值的映射關係，查詢與所述待下載文件的Bt種子文件信息對應的哈希值；eMule2h伺服器,用於當所述原始下載連結為eMule下載連結時,根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的eMule下載連結信息對應的哈希值。
11.如權利要求9或10所述的數據下載系統，其特徵在於，所述邏輯伺服器群還包括h2Bt伺服器和h2eMule伺服器中的一種或兩種及h2U伺服器,其中: h2U伺服器，用於根據預設的URL連結與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的多源URL集合； h2Bt伺服器，用於根據預設的Bt種子文件與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的Bt種子文件信息； h2eMule伺服器，用於根據預設的eMule下載連結信息與哈希值的映射關係，查詢與所述待下載文件的哈希值對應的eMule下載連結信息。
12.如權利要求9所述的數據下載系統，其特徵在於，所述Bt種子文件信息為Bt種子文件的特徵碼和文件序號，所述eMule下載連結信息為待下載文件的信息摘要值和文件大小，所述下載客戶端包括: 調度模塊，用於將所述待下載文件劃分為多個分片，並根據下載能力對所述分片的下載任務進行調度； 下載模塊，包括: Http下載單元，用於根據所述待下載文件的多源URL集合下載所述分片； Bt下載單元，當所述原始下載連結為Bt種子文件時，根據所述原始下載連結下載所述分片，否則，用於根據所述待下載文件的Bt種子文件的特徵碼獲取Bt種子，並根據所述BT種子下載所述分片； eMule下載單元，用於當所述原始下載連結為eMule下載連結時，根據所述原始下載連結下載所述分片，否則，根據所述待下載文件的信息摘要值和文件大小構造eMule下載連結，並根據所述eMule下載連結下載所述分片。
13.如權利要求9所述的數據下載系統，其特徵在於，所述下載伺服器還包括資源入庫模塊，所述資源入庫模塊用於當所述待下載文件為新文件時，建立並存儲所述新文件的URL連結與哈希值、Bt種子信息與哈希值或eMule下載連結信息與哈希值之間的映射關係。
14.如權利要求13所述的數據下載系統，其特徵在於，所述下載伺服器還包括Bt種子伺服器，所述Bt種子伺服器用於當所述待下載文件為新文件時，獲取並存儲所述待下載文件的Bt種子文件。
【文檔編號】H04L29/08GK103457976SQ201210179122
【公開日】2013年12月18日 申請日期:2012年6月1日 優先權日:2012年6月1日
【發明者】劉剛 申請人:騰訊科技（深圳）有限公司