一種數據下載系統及其數據管理和下載方法

2023-11-30 14:20:51

專利名稱：一種數據下載系統及其數據管理和下載方法
技術領域：
本發明涉及網際網路信息技術領域，具體涉及一種支持離線及協同操作的數據下載系統及其數據管理和下載方法。
背景技術：
雲計算是虛擬化(Visualization)、效用計算(UtilityComputing)、IaaS (基礎設施即服務)、PaaS (平臺即服務)、SaaS (軟體即服務)等概念混合演進並躍升的結果。它提供了一個全新的網際網路商業服務模型，即用戶可以通過網絡以按需、易擴展的方式租用所需的服務。雲計算技術利用高速網際網路的傳輸能力，將計算、存儲、軟體、服務等資源從分散的個人計算機或伺服器移植到網際網路中集中管理的大規模高性能計算機、個人計算機、 虛擬計算機中，從而使用戶像使用電力一樣使用這些資源。雲計算表述了一種新的計算模式應用、數據和IT資源以服務的方式通過網絡提供給用戶使用。雲計算有三個顯著特點 一是按需租用；二是在廣大範圍的用戶廣泛協同及資源共享；三是資源有效的調配。文件下載一直是網際網路中最廣泛的應用，各種各樣的數據類型如音樂、電影、電子書等通過不同的網站途徑進行發布，然後通過文件下載在網際網路範圍內廣泛交換。各種各樣的文件傳輸及下載方式應運而生，如FTP、HTTP等。各種下載工具也得到了大量應用，如 CuteFTP、網絡螞蟻、FlashGet等。這些工具有這樣的特點，即它們只是構建了從文件資源的發布端(伺服器)到下載終端的下載通道，即單點到單點的下載，忽略了網際網路中廣泛存在的多個可能的下載源。P2P (點對點)技術無疑是網際網路技術的一場革命，它是文件傳輸及信息交換從單點(伺服器)_單點(下載終端)，演變為單點(P2P伺服器)_多點(P2P終端)_單點(下載終端)的形式。使網際網路的文件交換速度有了質的飛躍，最常見的P2P下載終端如BitTorrent，它顯著改變了文件伺服器支持的下載數量及終端的下載速度。隨著網際網路中信息量的不斷增長，網際網路中信息冗餘度越來越大。如一部電影文件可能有多個下載源，如果能在用戶下載時可以利用多個下載源，將下載模式演變為多點-多點-單點的形式，網際網路的中文件的下載速度將會再次獲得質的飛躍。國內下載文件提供商，如迅雷、騰訊等在這個領域做了一定的探索。

發明內容
本發明解決的技術問題之一在於針對當前網際網路信息傳輸的不足，提出一種數據下載系統，可以支持協同及離線操作的多點到多點下載。本發明解決的技術問題之二在於提供一種數據管理方法，便於多點到多點的數據下載。本發明解決的技術問題之三在於提供一種數據下載方法，可以實現多點到多點下載，該方法具有高協同性、高效率、強魯棒性、強安全性和綠色節能等特點。本發明解決上述技術問題之一的技術方案是包括雲下載中心、客戶端和網際網路下載源；
所述的雲下載中心由多個下載中心(Cl、C2···，CN)組成，每個下載中心為下載客戶端提供下載源信息，並存儲網際網路下載源的數據副本；所述的客戶端可以是C/S結構客戶端(D1、D2···，DX)或是B/S結構客戶端節點 (Β1、Β2···，ΒΧ)；所述的網際網路下載源包含所有第三方提供的數據下載源(S1、S2…，SN)，雲下載系統通過對下載源分析，對提供相同文件副本的下載源進行歸併；所述的任意一個下載終端可以同時從具有相同目標下載文件的網際網路下載源 (Si, CJ,…SM)，以及雲下載中心中具有目標下載文件的一個或多個下載中心(Cl，CJ，… CT)，以及具有相同目標下載文件的下載客戶端(DI，DJ,…，DZ)或(Bi，BJ,…，BS)中下載文件。多個下載中心可以在地理上分布在多個不同的數據中心中。所述的任意下載中心I由用戶管理組件、用戶資料庫、下載連結管理組件、文件下載組件、服務空間組件、離線下載服務組件、下載元資料庫管理組件、下載元資料庫、下載數據副本管理組件、下載副本存儲系統組成，各組件和模塊可以獨立或共同部署在一臺或多臺伺服器上；用戶管理組件用於對雲下載中心的用戶進行統一的管理，用戶從客戶端登錄時與用戶管理組件進行交互，以驗證用戶的合法性；用戶所有下載操作都將被客戶端記錄，並上傳到資料庫；如果用戶未登錄或註冊，客戶端將為用戶生成臨時遊客身份登錄客戶端；下載連結管理組件用於接收用戶的下載連結請求，它直接將連結的查詢、更新、刪除操作請求轉發給元資料庫管理組件，下載元資料庫管理組件直接操作元資料庫，對存儲在元資料庫中的下載連結的查詢和更新；該組件接到用戶的下載連結請求後，首先查詢元資料庫判斷該連結是否已經存在於元資料庫；如果已經存儲於元資料庫中，則查找與該連結關聯的所有下載源，並將下載源集合提交給客戶端的文件下載組件，由該組件同時從多個下載源進行下載；如果元資料庫中不存在該連結，則返回空集合給下載客戶端，客戶端下載組件下載該文件，並提取該文件MD5碼，並將該MD5碼返回給下載連結管理組件，下載連結管理組件查詢資料庫判斷是否有相同的MD5碼存在於資料庫，如有則該連結可以與其它下載連結歸併；如沒有相同的MD5碼，則作為全新的下載連結存儲於元資料庫；文件下載組件支持多種協議下載包括P2P、FTP、HTPP及自定義多對一下載協議下載；它可以將文件下載任務分解到不同的下載源，同時從各下載源下載文件的不同部份，並在各部份完成後，把它們合成為一個文件；主要用於實現多對一下載，即支持從多個數據源並行下載；用於支持離線下載組件；下載的文件作為文件副本交由下載數據副本管理組件進行管理，文件副本存儲於支持海量文件存儲管理的下載副本存儲系統；服務空間組件是B/S架構的用戶信息管理，發布及更新組件；客戶端用戶信息、操作記錄、歷史信息、在線存儲、離線下載等相關信息均由服務空間組件進行管理和更新；服務空間組件引入文件標記、上下文管理、下載源評價/注釋等相關功能，以豐富用戶體驗；離線下載服務組件用於實現用戶的離線下載任務，用戶提交給離線下載服務組件的任務，不需要由用戶客戶端直接下載，而是由離線下載服務組件啟動下載中心的文件下載組件進行下載，並在下載完成後，由用戶客戶端從下載中心取回。所述的客戶端部署在用戶計算機或手機上，它作為下載資源控針，從網際網路上找到下載源；作為支持多種下載協議的下載終端，利用不同協議從平臺提供的多個數據源 (如互聯上公開發布的數據源、已完成下載的其它用戶終端)下載不同的文件片斷，並在下載完成後完成文件的拼接，形成最終的下載文件。所述的客戶端包含以下組件用戶/任務管理組件、客戶端信息庫、下載連結捕捉組件、下載源獲取及驗證組件、文件下載/殺毒組件、文件下載管理組件、文件上傳組件組成；用戶/任務管理組件，用於實現用戶信息管理，用戶登錄後與雲下載中心聯繫，以驗證用戶身份；用戶登錄後所有的下載操作都與用戶身份關聯，並記錄在歷史信息資料庫中；如果用戶沒有登錄，伺服器為用戶隨機生成唯一身份標識，以遊客的身份進入系統；用戶提交的下載的任務管理也由用戶/任務管理組件進行，它在下載連結捕獲組件捕捉到新的下載連結後，創建新的下載任務，並啟動文件下載/殺毒組件進行下載；文件的下載進度也由該組件定時更新到用戶界面中。用戶信息，用戶下載信息均被存儲到客戶端本地的客戶端資料庫中，庫中所有信息同時在雲下載中心DX中進行保存；下載連結捕獲組件監控客戶端本地計算機的剪貼板，當剪貼板中出現以ftp、 http、https (或自定義協議連結頭)開頭的字串時，本地系統啟動下載客戶端，建立新的下載任務開始進行下載；下載源獲取及驗證組件，在客戶端創建新的下載任務後，與下載中心的下載連結管理組件進行交互，獲取與下載連結對應文件相同的下載源；如果返回的結果集合不空，則對集合中所有下載源的有效性進行驗證，驗證是否可以取得數據，形成可取得數據的下載源的列表。如取得的下載源中包括網際網路的下載源集合，以及終端下載源集合。如果返回的下載源集合為空，則作為一個全新的下連結進行下載；文件下載/殺毒組件用於實現下載任務的下載，它支持同時從多個下載源下載文件片斷，並組合成最終文件。文件下載完成後，它啟動殺毒客戶端，以判斷文件是否安全。文件下載/殺毒組件下載完成的文件交由下載文件管理組件進行管理，文件路徑，注釋，標記等相關信息增均由下載文件管理組件進行管理。當下載文件更名/移動/刪除後，由該件更新相關信息，以保證客戶端下載源信息的有效性；文件上傳組件用於實現客戶端文件的上傳。當本客戶端已經下載了相關文件並存儲於本地後，如後續有其它的客戶端下載該文件，則其它客戶端從元資料庫中查到本客戶端曾有下載記錄，則與本客戶端通信確定其是否在線，並驗證連結是否有效；如有效，則本客戶端的文件下載/殺毒組件，則與其它客戶端的文件上傳組件進行數據交換，取得所需的文件片段。本發明解決上述技術問題之二的技術方案是包括雲下載中心、客戶端和網際網路下載源；採用分布式資料庫的形式進行存儲和管理，資料庫分為多個級別，索引級別視所管理的連結資料庫而定；系統按照下載連結的關鍵字建立樹狀索引，用戶提交的下載連結，經過樹狀索引分配到不同的伺服器上進行查詢；連結中存在IP的下載連結作為一種特殊的連結；不同的索引通過歸併分布在不同的伺服器上。所述的系統資料庫中包括下載連結元數據表、客戶端下載源數據表、資料庫鏡像元數據表；
所述下載連接元數據表的欄位描述如下UUID 系統為每一個文件下載連結將產生唯一的UUID (標識符)，該欄位作為主欄位用於與其它各表建立關聯，以及本表的索引和排序；下載URL:即下載源的具體下載連結，在元資料庫中任何兩條記錄的下載URL是不相同的；下載源的描述信息是一個複合欄位，該信息來自於下載連結html語言部份的描述欄位，或用戶對於該下載源的注釋信息；入庫時間該下載連結進入元資料庫中的時間；上次使用時間上次該連結被提交到資料庫中進行查詢或更新的時間，系統將設置一個閾值，以確定言該連結是否過期。如過期，則該信息需要驗證，則該下載源則具有較低的優先級；更新時間最後一次系統更新該信息的時間；MD5碼下載完成後提取的該文件的MD5碼；用戶標記用戶給與該下載的標記信息，如下載後的文件名、評論、分類信息等；可用性該下載源最後一次下載時是否可用，如果該記錄長期無人使用，且系統未更新，並被標記為不可用；則從元資料庫中刪除該信息；因為下載源可能出現臨時故障，或短期內不在線，通過上次使用時間，更新時間，以及可用性的組合，來保證系統不誤刪除有用的信息；所述的客戶端下載源數據表有兩個特殊的欄位；IP 客戶端下載源用IP來標記客戶端的網際網路位置信息，以使客戶端與客戶端間能夠交互。埠 由於部分客戶端使用相同的公網IP，該欄位標記該客戶端與雲下載中心可通信的埠號。本發明解決上述技術問題之三的技術方案是包括雲下載中心、客戶端和網際網路下載源；每個客戶端作為整個平臺的探針從網際網路中收集不同的下載源，各種下載源信息全部存入雲下載中心的元資料庫；用戶使用下載源進行下載時，該文件的元數據信息，包括類型、描述信息、關鍵字、長度、MD5碼等相關信息也全部存入資料庫；用戶下載時，客戶端從雲下載中心的元數據中獲取各下載源信息，基於不同協議從不同的下載源獲取文件的片斷，並在完成後由客戶端把文件合成為最終的文件。用戶客戶端參與雲下載，即支持本機文件作為下載源，本機也將作為一個數據源加入資料庫。文件殺毒終端對該文件的檢測信息也將存入資料庫，如果判斷該文件攜帶病毒或木馬將將對應連結標註為危險連結，並在其它用戶試圖下載該文件時進行報警，提示用戶危險。系統支持離線下載操作，對於用戶客戶端提請的離線下載請求，終端將下載請求轉交給伺服器執行完成，伺服器首先熊貓本次請求的內容在伺服器上是否存在，如有直接將文件連結寫入用戶空間；如沒有，則由離線下載伺服器啟動下載任務對文件進行下載。離線下載的下載任務全部在伺服器上完成，任務完成後用戶可以登錄客戶端，從離線下載伺服器直接下載文件。本發明具有以下效果及優點1、高協同性傳統的下載方法只能從一個下載源進行下載，下載速度慢，並且經常因為下載源失效而無法下載。本方法通過將客戶端作為探針，廣泛地從網際網路中獲得多個下載源，通過從多個下載源進行下載，有效地體現了雲下載的高協同性。2、高效率傳統的下載方法只能從一個原始數據源獲取數據，即使是P2P方法也只是有一原始的數據源。本方法提供的下載系統，可以將多個原始數據源進行組合，同時支持P2P、 HTTP、FTP等不同下載模式，通過把下載任務分解到多個數據源(以及下載模式上)，從而極大提高了下載效率。3、強魯棒性傳統的下載方法由於只有一個下載源，如果該下載源失效或服務質量下降，用戶終端將會受到很大的影響。本方法提供的多對多下載模型，將下載源的冗餘度提高了 η倍， 在提高了系統的下載速度的同時，使系統具備了強魯棒性。4、強安全性傳統的方法對於下載文件的安全無法進行有效的監測。本方法提供的下載系統， 可以將單個下載端的文件查毒信息與所有下載用戶共享，使系統在下載前就可以判斷文件的安全性，從而使整個平臺具有高安全性。5、綠色節能本下載系統提供離線下載功能，通過設置高速下載伺服器，代替用戶終端進行下載，下載文件可以在文件伺服器共享。避免了每個下載終端下載同一文件都需要經過長時間的下載，從而從總體上降低了社會下載成本，實現綠色節能的目標。


下面結合附圖對本發明進一步說明圖1是本發明雲下載系統構成圖；圖2是本發明雲下載系統模塊圖；圖3是本發明下載連結元資料庫樹狀索引；圖4是本發明下載元資料庫表結構。
具體實施例方式如圖1所示，本發明所創建的雲數據下載系統為兩個主體部份即雲下載中心C， 客戶端D，網際網路下載源S。雲下載中心C由多個下載中心(C1、C2" ，CN)組成，每個下載中心通過元資料庫記錄下載源地址，並存儲網際網路下載源的數據副本。客戶端可以是C/S結構客戶端(D1、D2…，DX)也可以是B/S結構客戶端節點(B1、B2...，BX)，B/S結構客戶端一般基於ActiveX控制項或Java插件形式實現，其與數據中心的交互模式與C/S客戶端相同， 因此對於雲下載中心無需區別B/S或C/S架構客戶端。網際網路下載源S包含所有第三方提供的數據下載源(Si、S2···，SN)，雲下載系統通過對下載源分析，對提供相同文件副本的下載源進行歸併。對於任意一個客戶端，在雲下載系統中，它可以同時從具有相同目標下載文件的網際網路下載源(SI，CJ，…SM)，以及雲下載中心中具有目標下載文件的一個或多個下載中心(CI，CJ，…CT)，以及具有相同目標下載文件的下載客戶端(DI，DJ，…，DZ)或(Bi， BJ,…，BS)中下載文件，由於下載源的數量遠多於傳統的下載方法，因此下載的速度和成功率遠有了較大的改善。雲下載中心由多個下載中心組成，它主要功能如下(1)為下載客戶端提供下載源信息所有的客戶端捕獲的下載源都會提交給下載中心，以確定是否是新下載源，以及有無可用的其它冗餘下載源供客戶端進行多對一下載。(2)提供可作為備用下載源的文件副本在法律允許的前提下，所有客戶端下載的數據副本都會在下載中心同時保存一個副本，以備其它用戶下載使用。(3)提供下載源安全驗證信息客戶端下載任務完成後，與客戶端關聯的殺毒軟體會被啟動，以驗證文件是否安全。驗證信息將會同時提交給下載中心，如果文件是不安全的，如帶有病毒或木馬。該下載文件的連結將會被標記為不安全，後續其它用戶的下載任務將被警告。(4)提供離線下載功能的支持用戶的下載任務可以交給本地客戶端的下載組件進行下載，也可以將給伺服器端的下載組件進行離線下載。離線下載完成後，下載中心將留有一個數據副本，用戶下次登錄後，可以直接從伺服器端獲取信息。(5)提供客戶端用戶管理功能的支持用戶客戶端的下載信息，歷史記錄，用戶信息將被提交給下載中心進行管理。多個下載中心Cl，可以在地理上分布在多個不同的數據中心中。它們通過交換元數據信息，以提高信息量，下載目標冗餘度以及客戶端下載速度。如圖2所示，對於任意下載中心CI由用戶管理組件01，用戶資料庫011，下載連結管理組件02，文件下載組件03，服務空間組件04，離線下載服務組件05，下載元資料庫管理組件021，下載元資料庫022，下載數據副本管理組件031，下載副本存儲系統032組成。各組件和模塊可以獨立或共同部署在一臺或多臺伺服器上。用戶管理組件01用於對雲下載中心的用戶進行統一的管理。用戶從客戶端登錄時與用戶管理組件01進行交互，以驗證用戶的合法性。用戶所有下載操作都將被客戶端記錄，並上傳到資料庫。如果用戶未登錄或註冊，客戶端將為用戶生成臨時遊客身份登錄客戶端。下載連結管理組件02用於接收用戶的下載連結請求，它直接將連結的查詢、更新、刪除操作請求轉發給元資料庫管理組件021，下載元資料庫管理組件021直接操作元資料庫022，對存儲在元資料庫中的下載連結的查詢和更新。該組件接到用戶的下載連結請求後，首先查詢元資料庫022判斷該連結是否已經存在於元資料庫。如果已經存儲於元資料庫022中，則查找與該連結關聯的所有下載源，並將下載源集合提交給客戶端的文件下載組件14，由該組件14同時從多個下載源進行下載；如果元資料庫中不存在該連結，則返回空集合給下載客戶端，客戶端下載組件14下載該文件，並提取該文件MD5碼，並將該MD5碼返回給下載連結管理組件02，下載連結管理組件查詢資料庫判斷是否有相同的MD5碼存在於資料庫，如有則該連結可以與其它下載連結歸併；如沒有相同的MD5碼，則作為全新的下載連結存儲於元資料庫。元資料庫的數據欄位結構如圖3所示。
文件下載組件03支持多種協議下載包括P2P，FTP，HTPP及自定義多對一下載協議下載。它可以將文件下載任務分解到不同的下載源，同時從各下載源下載文件的不同部份， 並在各部份完成後，把它們合成為一個文件。雲下載中心CI的文件下載組件03與客戶端下載組件14功能相似，主要用於實現多對一下載，即支持從多個數據源並行下載。雲下載中心CI的文件下載組件03主要用於支持離線下載組件05。下載組件03下載的文件作為文件副本交由下載數據副本管理組件031進行管理，文件副本存儲於支持海量文件存儲管理的下載副本存儲系統032中。服務空間組件04是B/S架構的用戶信息管理，發布及更新組件。下載客戶端用戶信息、操作記錄、歷史信息、在線存儲、離線下載等相關信息均由服務空間組件04進行管理和更新。服務空間組件04引入文件標記、上下文管理、下載源評價/注釋等相關功能，以豐富用戶體驗。離線下載服務組件05用於實現用戶的離線下載任務，用戶提交給離線下載服務組件05的任務，不需要由用戶客戶端直接下載，而是由離線下載服務組件05啟動下載中心的文件下載組件03進行下載，並在下載完成後，由用戶客戶端從下載中心取回。客戶端D部署在用戶計算機或手機上，它主要有兩個功能(1)作為下載資源控針，從網際網路上找到下載源。任何用戶凡是通過客戶端下載的文件都被提交給系統的下載連結管理組件02，並記錄在下載元資料庫022中，作為系統下載文件時的冗餘數據源。(2)作為支持多種下載協議的下載終端，利用不同協議從平臺提供的多個數據源 (如互聯上公開發布的數據源、已完成下載的其它用戶終端)下載不同的文件片斷，並在下載完成後完成文件的拼接，形成最終的下載文件。下載客戶端D的C/S結構客戶端採用獨立開發模式作為獨立應用程式運行；B/S 架構客戶端採用Java插件或ActiveX控制項形式開發。客戶端D通過終端用戶安裝廣泛部署在用戶的個人電腦、手機終端等各種終端上。每個客戶端DX隨機生成唯一編號，結合客戶端IP、客戶端登錄用戶名等信息唯一標識一個客戶端。這種方法可以區分在使用同一外問IP的局網內不同的終端。用戶客戶端DI或BI包含以下組件用戶/任務管理組件11，客戶端信息庫111， 下載連結捕捉組件12，下載源獲取及驗證組件13，文件下載/殺毒組件14，文件下載管理組件141，文件上傳組件15組成。用戶/任務管理組件11，用於實現用戶信息管理，用戶登錄後與雲下載中心CX聯繫，以驗證用戶身份。用戶登錄後所有的下載操作都與用戶身份關聯，並記錄在歷史信息資料庫中。如果用戶沒有登錄，伺服器為用戶隨機生成唯一身份標識，以遊客的身份進入系統。用戶提交的下載的任務管理也由用戶/任務管理組件進行，它在下載連結捕獲組件12 捕捉到新的下載連結後，創建新的下載任務，並啟動文件下載/殺毒組件14進行下載。文件的下載進度也由該組件定時更新到用戶界面中。用戶信息，用戶下載信息均被存儲到客戶端本地的客戶端資料庫111中，庫中所有信息同時在雲下載中心DX中進行保存。下載連結捕獲組件12監控客戶端本地計算機的剪貼板，當剪貼板中出現以ftp， http，https (或自定義協議連結頭)開頭的字串時。本地系統啟動下載客戶端DX，建立新的下載任務開始進行下載。
下載源獲取及驗證組件12，在客戶端創建新的下載任務後，與下載中心DX的下載連結管理組件02進行交互，獲取與下載連結對應文件相同的下載源。如果返回的結果集合不空，則對集合中所有下載源的有效性進行驗證，驗證是否可以取得數據，形成可取得數據的下載源的列表。如取得的下載源中包括網際網路的下載源集合，以及終端下載源集合。如果返回的下載源集合為空，則作為一個全新的下連結進行下載。文件下載/殺毒組件14用於實現下載任務的下載，它支持同時從多個下載源下載文件片斷，並組合成最終文件。文件下載完成後，它啟動殺毒客戶端，以判斷文件是否安全。 文件下載/殺毒組件14下載完成的文件交由下載文件管理組件141進行管理，文件路徑， 注釋，標記等相關信息增均由下載文件管理組件141進行管理。當下載文件更名/移動/ 刪除後，由該件更新相關信息，以保證客戶端下載源信息的有效性。文件上傳組件15用於實現客戶端文件的上傳。當本客戶端DI已經下載了相關文件並存儲於本地後，如後續有其它的客戶端DJ下載該文件，則DJ從元資料庫中查到DI曾有下載記錄，則與DI通信確定其是否在線，並驗證連結是否有效。如有效，則DI的文件下載/殺毒組件14，則與DJ的文件上傳組件15進行數據交換，取得所需的文件片段。如圖3所示，為下載元資料庫022中對應的表欄位，即本發明數據管理方法實施圖例。下載元資料庫022採用分布式資料庫的形式進行存儲和管理，資料庫分為多個級別，索引級別視所管理的連結資料庫而定。如圖4所示系統按照下載連結的關鍵字建立樹狀索引，用戶提交的下載連結，經過樹狀索引分配到不同的伺服器上進行查詢，以提高查詢/更新的速度。連結中存在IP的下載連結作為一種特殊的連結；不同的索引通過歸併分布在不同的伺服器上。下載元資料庫022中包括下載連結元數據表，客戶端下載源數據表，資料庫鏡像元數據表。下載元資料庫中數據表的欄位描述如下UUID 系統為每一個文件下載連結將產生唯一的UUID (標識符)，該欄位作為主欄位用於與其它各表建立關聯，以及本表的索引和排序。下載URL:即下載源的具體下載連結，在元資料庫中任何兩條記錄的下載URL是不相同的。下載源的描述信息是一個複合欄位，該信息來自於下載連結html語言部份的描述欄位，或用戶對於該下載源的注釋信息。入庫時間該下載連結進入元資料庫中的時間。上次使用時間上次該連結被提交到資料庫中進行查詢或更新的時間，系統將設置一個閾值，以確定言該連結是否過期。如過期，則該信息需要驗證，則該下載源則具有較低的優先級。更新時間最後一次系統更新該信息的時間。MD5碼下載完成後提取的該文件的MD5碼。用戶標記用戶給與該下載的標記信息，如下載後的文件名、評論、分類信息等。可用性該下載源最後一次下載時是否可用。如果該記錄長期無人使用，且系統未更新，並被標記為不可用。則從元資料庫中刪除該信息。因為下載源可能出現臨時故障，或短期內不在線，通過上次使用時間，更新時間，以及可用性的組合，來保證系統不誤刪除有用的信息。
對於客戶端下載源有兩個特殊的欄位。IP 客戶端下載源用IP來標記客戶端的網際網路位置信息，以使客戶端與客戶端間能夠交互。埠 由於部分客戶端使用相同的公網IP，該欄位標記該客戶端與雲下載中心可通信的埠號。文件使用下載客戶端D下載完成後，系統提取下載文件的MD5碼，系統按照MD5碼檢索各資料庫建立視圖或快表，將MD5相同的下載連結視為可歸併的下載源，即相同的下載源。具有相同下載源的下載連結，在有新的下載請求時，可以將其它的下載連結作為下載源提供給用戶。本發明實施數據下載的方法是客戶端作為整個平臺的探針從網際網路中收集不同的下載源，各種下載源信息全部存入平臺的元資料庫；用戶使用下載源進行下載時，該文件的元數據信息，包括類型、描述信息、關鍵字、長度、MD5碼等相關信息也全部存入資料庫； 如果用戶客戶端參與雲下載，即支持本機文件作為下載源，本機也將作為一個數據源加入資料庫；用戶下載時，客戶端從平臺的元數據中獲取各下載源信息，基於不同協議從不同的下載源獲取文件的片斷，並在完成後由客戶端把文件合成為最終的文件；文件殺毒終端對該文件的檢測信息也將存入資料庫，如果判斷該文件攜帶病毒或木馬將將對應連結標註為危險連結，並在其它用戶試圖下載該文件時進行報警，提示用戶危險；平臺支持離線下載操作，對於用戶客戶端提請的離線下載請求，終端將下載請求轉交給伺服器執行完成，伺服器首先熊貓本次請求的內容在伺服器上是否存在，如有直接將文件連結寫入用戶空間；如沒有，則由離線下載伺服器啟動下載任務對文件進行下載。離線下載的下載任務全部在伺服器上完成，任務完成後用戶可以登錄客戶端，從離線下載伺服器直接下載文件。本發明中所述的雲下載中心，作為雲下載中心的伺服器節點，其基本配置如表1 所示。由於下載中心的任務繁忙，需要伺服器有較高的配置。
權利要求
1.一種數據下載系統，其特徵在於包括雲下載中心、客戶端和網際網路下載源； 所述的雲下載中心由多個下載中心(C1、C2…，CN)組成，每個下載中心為下載客戶端提供下載源信息，並存儲網際網路下載源的數據副本；所述的客戶端可以是C/S結構客戶端(D1、D2···，DX)或是B/S結構客戶端節點(Bi、 B2 —, BX)；所述的網際網路下載源包含所有第三方提供的數據下載源(S1、S2…，SN)，雲下載系統通過對下載源分析，對提供相同文件副本的下載源進行歸併；所述的任意一個下載終端可以同時從具有相同目標下載文件的網際網路下載源(Si， CJ,…SM)，以及雲下載中心中具有目標下載文件的一個或多個下載中心(Cl，CJ，…CT)， 以及具有相同目標下載文件的下載客戶端(DI，DJ,…，DZ)或(Bi，BJ,…，BS)中下載文件。
2.根據權利要求1所述的數據下載系統，其特徵在於多個下載中心可以在地理上分布在多個不同的數據中心中。
3.根據權利要求1或2所述的數據下載系統，其特徵在於所述的任意下載中心I由用戶管理組件、用戶資料庫、下載連結管理組件、文件下載組件、服務空間組件、離線下載服務組件、下載元資料庫管理組件、下載元資料庫、下載數據副本管理組件、下載副本存儲系統組成，各組件和模塊可以獨立或共同部署在一臺或多臺伺服器上；用戶管理組件用於對雲下載中心的用戶進行統一的管理，用戶從客戶端登錄時與用戶管理組件進行交互，以驗證用戶的合法性；用戶所有下載操作都將被客戶端記錄，並上傳到資料庫；如果用戶未登錄或註冊，客戶端將為用戶生成臨時遊客身份登錄客戶端；下載連結管理組件用於接收用戶的下載連結請求，它直接將連結的查詢、更新、刪除操作請求轉發給元資料庫管理組件，下載元資料庫管理組件直接操作元資料庫，對存儲在元資料庫中的下載連結的查詢和更新；該組件接到用戶的下載連結請求後，首先查詢元資料庫判斷該連結是否已經存在於元資料庫；如果已經存儲於元資料庫中，則查找與該連結關聯的所有下載源，並將下載源集合提交給客戶端的文件下載組件，由該組件同時從多個下載源進行下載；如果元資料庫中不存在該連結，則返回空集合給下載客戶端，客戶端下載組件下載該文件，並提取該文件MD5碼，並將該MD5碼返回給下載連結管理組件，下載連結管理組件查詢資料庫判斷是否有相同的MD5碼存在於資料庫，如有則該連結可以與其它下載連結歸併；如沒有相同的MD5碼，則作為全新的下載連結存儲於元資料庫；文件下載組件支持多種協議下載包括P2P、FTP、HTPP及自定義多對一下載協議下載； 它可以將文件下載任務分解到不同的下載源，同時從各下載源下載文件的不同部份，並在各部份完成後，把它們合成為一個文件；主要用於實現多對一下載，即支持從多個數據源並行下載；用於支持離線下載組件；下載的文件作為文件副本交由下載數據副本管理組件進行管理，文件副本存儲於支持海量文件存儲管理的下載副本存儲系統；服務空間組件是B/S架構的用戶信息管理，發布及更新組件；客戶端用戶信息、操作記錄、歷史信息、在線存儲、離線下載等相關信息均由服務空間組件進行管理和更新；服務空間組件引入文件標記、上下文管理、下載源評價/注釋等相關功能，以豐富用戶體驗；離線下載服務組件用於實現用戶的離線下載任務，用戶提交給離線下載服務組件的任務，不需要由用戶客戶端直接下載，而是由離線下載服務組件啟動下載中心的文件下載組件進行下載，並在下載完成後，由用戶客戶端從下載中心取回。
4.根據權利要求1或2所述的數據下載系統，其特徵在於所述的客戶端部署在用戶計算機或手機上，它作為下載資源控針，從網際網路上找到下載源；作為支持多種下載協議的下載終端，利用不同協議從平臺提供的多個數據源(如互聯上公開發布的數據源、已完成下載的其它用戶終端)下載不同的文件片斷，並在下載完成後完成文件的拼接，形成最終的下載文件。
5.根據權利要求3所述的數據下載系統，其特徵在於所述的客戶端部署在用戶計算機或手機上，它作為下載資源控針，從網際網路上找到下載源；作為支持多種下載協議的下載終端，利用不同協議從平臺提供的多個數據源(如互聯上公開發布的數據源、已完成下載的其它用戶終端)下載不同的文件片斷，並在下載完成後完成文件的拼接，形成最終的下載文件。
6.根據權利要求4所述的數據下載系統，其特徵在於所述的客戶端包含以下組件用戶/任務管理組件、客戶端信息庫、下載連結捕捉組件、下載源獲取及驗證組件、文件下載/ 殺毒組件、文件下載管理組件、文件上傳組件組成；用戶/任務管理組件，用於實現用戶信息管理，用戶登錄後與雲下載中心聯繫，以驗證用戶身份；用戶登錄後所有的下載操作都與用戶身份關聯，並記錄在歷史信息資料庫中； 如果用戶沒有登錄，伺服器為用戶隨機生成唯一身份標識，以遊客的身份進入系統；用戶提交的下載的任務管理也由用戶/任務管理組件進行，它在下載連結捕獲組件捕捉到新的下載連結後，創建新的下載任務，並啟動文件下載/殺毒組件進行下載；文件的下載進度也由該組件定時更新到用戶界面中。用戶信息，用戶下載信息均被存儲到客戶端本地的客戶端資料庫中，庫中所有信息同時在雲下載中心DX中進行保存；下載連結捕獲組件監控客戶端本地計算機的剪貼板，當剪貼板中出現以ftp、http、 https (或自定義協議連結頭)開頭的字串時，本地系統啟動下載客戶端，建立新的下載任務開始進行下載；下載源獲取及驗證組件，在客戶端創建新的下載任務後，與下載中心的下載連結管理組件進行交互，獲取與下載連結對應文件相同的下載源；如果返回的結果集合不空，則對集合中所有下載源的有效性進行驗證，驗證是否可以取得數據，形成可取得數據的下載源的列表。如取得的下載源中包括網際網路的下載源集合，以及終端下載源集合。如果返回的下載源集合為空，則作為一個全新的下連結進行下載；文件下載/殺毒組件用於實現下載任務的下載，它支持同時從多個下載源下載文件片斷，並組合成最終文件。文件下載完成後，它啟動殺毒客戶端，以判斷文件是否安全。文件下載/殺毒組件下載完成的文件交由下載文件管理組件進行管理，文件路徑，注釋，標記等相關信息增均由下載文件管理組件進行管理。當下載文件更名/移動/刪除後，由該件更新相關信息，以保證客戶端下載源信息的有效性；文件上傳組件用於實現客戶端文件的上傳。當本客戶端已經下載了相關文件並存儲於本地後，如後續有其它的客戶端下載該文件，則其它客戶端從元資料庫中查到本客戶端曾有下載記錄，則與本客戶端通信確定其是否在線，並驗證連結是否有效；如有效，則本客戶端的文件下載/殺毒組件，則與其它客戶端的文件上傳組件進行數據交換，取得所需的文件片段。
7.根據權利要求5所述的數據下載系統，其特徵在於所述的客戶端包含以下組件用戶/任務管理組件、客戶端信息庫、下載連結捕捉組件、下載源獲取及驗證組件、文件下載/ 殺毒組件、文件下載管理組件、文件上傳組件組成；用戶/任務管理組件，用於實現用戶信息管理，用戶登錄後與雲下載中心聯繫，以驗證用戶身份；用戶登錄後所有的下載操作都與用戶身份關聯，並記錄在歷史信息資料庫中； 如果用戶沒有登錄，伺服器為用戶隨機生成唯一身份標識，以遊客的身份進入系統；用戶提交的下載的任務管理也由用戶/任務管理組件進行，它在下載連結捕獲組件捕捉到新的下載連結後，創建新的下載任務，並啟動文件下載/殺毒組件進行下載；文件的下載進度也由該組件定時更新到用戶界面中。用戶信息，用戶下載信息均被存儲到客戶端本地的客戶端資料庫中，庫中所有信息同時在雲下載中心DX中進行保存；下載連結捕獲組件監控客戶端本地計算機的剪貼板，當剪貼板中出現以ftp、http、 https (或自定義協議連結頭)開頭的字串時，本地系統啟動下載客戶端，建立新的下載任務開始進行下載；下載源獲取及驗證組件，在客戶端創建新的下載任務後，與下載中心的下載連結管理組件進行交互，獲取與下載連結對應文件相同的下載源；如果返回的結果集合不空，則對集合中所有下載源的有效性進行驗證，驗證是否可以取得數據，形成可取得數據的下載源的列表。如取得的下載源中包括網際網路的下載源集合，以及終端下載源集合。如果返回的下載源集合為空，則作為一個全新的下連結進行下載；文件下載/殺毒組件用於實現下載任務的下載，它支持同時從多個下載源下載文件片斷，並組合成最終文件。文件下載完成後，它啟動殺毒客戶端，以判斷文件是否安全。文件下載/殺毒組件下載完成的文件交由下載文件管理組件進行管理，文件路徑，注釋，標記等相關信息增均由下載文件管理組件進行管理。當下載文件更名/移動/刪除後，由該件更新相關信息，以保證客戶端下載源信息的有效性；文件上傳組件用於實現客戶端文件的上傳。當本客戶端已經下載了相關文件並存儲於本地後，如後續有其它的客戶端下載該文件，則其它客戶端從元資料庫中查到本客戶端曾有下載記錄，則與本客戶端通信確定其是否在線，並驗證連結是否有效；如有效，則本客戶端的文件下載/殺毒組件，則與其它客戶端的文件上傳組件進行數據交換，取得所需的文件片段。
8.—種權利要求1所述的數據下載系統中的數據管理方法，其特徵在於採用分布式資料庫的形式進行存儲和管理，資料庫分為多個級別，索引級別視所管理的連結資料庫而定；系統按照下載連結的關鍵字建立樹狀索引，用戶提交的下載連結，經過樹狀索引分配到不同的伺服器上進行查詢；連結中存在IP的下載連結作為一種特殊的連結；不同的索引通過歸併分布在不同的伺服器上。
9.根據權利要求8所述的數據管理方法，其特徵在於所述的系統資料庫中包括下載連結元數據表、客戶端下載源數據表、資料庫鏡像元數據表；所述下載連接元數據表的欄位描述如下UUID 系統為每一個文件下載連結將產生唯一的UUID (標識符)，該欄位作為主欄位用於與其它各表建立關聯，以及本表的索引和排序；下載URL 即下載源的具體下載連結，在元資料庫中任何兩條記錄的下載URL是不相同的；下載源的描述信息是一個複合欄位，該信息來自於下載連結html語言部份的描述欄位，或用戶對於該下載源的注釋信息；入庫時間該下載連結進入元資料庫中的時間；上次使用時間上次該連結被提交到資料庫中進行查詢或更新的時間，系統將設置一個閾值，以確定言該連結是否過期。如過期，則該信息需要驗證，則該下載源則具有較低的優先級；更新時間最後一次系統更新該信息的時間；MD5碼下載完成後提取的該文件的MD5碼；用戶標記用戶給與該下載的標記信息，如下載後的文件名、評論、分類信息等；可用性該下載源最後一次下載時是否可用，如果該記錄長期無人使用，且系統未更新，並被標記為不可用；則從元資料庫中刪除該信息；因為下載源可能出現臨時故障，或短期內不在線，通過上次使用時間，更新時間，以及可用性的組合，來保證系統不誤刪除有用的信息；所述的客戶端下載源數據表有兩個特殊的欄位；IP 客戶端下載源用IP來標記客戶端的網際網路位置信息，以使客戶端與客戶端間能夠交互。埠 由於部分客戶端使用相同的公網IP，該欄位標記該客戶端與雲下載中心可通信的埠號。
10.一種權利要求1所述數據下載系統的數據下載方法，其特徵在於每個客戶端作為整個平臺的探針從網際網路中收集不同的下載源，各種下載源信息全部存入雲下載中心的元資料庫；用戶使用下載源進行下載時，該文件的元數據信息，包括類型、描述信息、關鍵字、長度、MD5碼等相關信息也全部存入資料庫；用戶下載時，客戶端從雲下載中心的元數據中獲取各下載源信息，基於不同協議從不同的下載源獲取文件的片斷，並在完成後由客戶端把文件合成為最終的文件。
11.根據權利要求10所述的數據下載方法，其特徵在於用戶客戶端參與雲下載，即支持本機文件作為下載源，本機也將作為一個數據源加入資料庫。
12.根據權利要求10或11所述的數據下載方法，其特徵在於文件殺毒終端對該文件的檢測信息也將存入資料庫，如果判斷該文件攜帶病毒或木馬將將對應連結標註為危險連結，並在其它用戶試圖下載該文件時進行報警，提示用戶危險。
13.根據權利要求10或11所述的數據下載方法，其特徵在於系統支持離線下載操作，對於用戶客戶端提請的離線下載請求，終端將下載請求轉交給伺服器執行完成，伺服器首先熊貓本次請求的內容在伺服器上是否存在，如有直接將文件連結寫入用戶空間；如沒有，則由離線下載伺服器啟動下載任務對文件進行下載。離線下載的下載任務全部在伺服器上完成，任務完成後用戶可以登錄客戶端，從離線下載伺服器直接下載文件。
14.根據權利要求12所述的數據下載方法，其特徵在於系統支持離線下載操作，對於用戶客戶端提請的離線下載請求，終端將下載請求轉交給伺服器執行完成，伺服器首先熊貓本次請求的內容在伺服器上是否存在，如有直接將文件連結寫入用戶空間；如沒有，則由離線下載伺服器啟動下載任務對文件進行下載。離線下載的下載任務全部在伺服器上完成，任務完成後用戶可以登錄客戶端，從離線下載伺服器直接下載文件。
全文摘要
本發明涉及網際網路信息技術領域，具體涉及一種支持離線及協同操作的數據下載系統及其數據管理和下載方法。本發明每個客戶端作為整個平臺的探針從網際網路中收集不同的下載源，各種下載源信息全部存入平臺的元資料庫；用戶使用下載源進行下載時，該文件的元數據信息，包括類型、描述信息、關鍵字、長度、MD5碼等相關信息也全部存入資料庫；用戶下載時，客戶端從平臺的元數據中獲取各下載源信息，基於不同協議從不同的下載源獲取文件的片斷，並在完成後由客戶端把文件合成為最終的文件，本發明系統的數據下載方法具有高協同性、高效率、強魯棒性、強安全性和綠色節能等特點。有效解決了下載速度等問題，可以廣泛應用於網際網路或系統內部的數據下載中。
文檔編號H04L29/06GK102307210SQ20111000711
公開日2012年1月4日 申請日期2011年1月13日 優先權日2011年1月13日
發明者孫傲冰, 季統凱, 嶽強, 楊松, 薛偉, 鄭壯傑 申請人:國雲科技股份有限公司