分布式網絡數據處理方法和裝置及系統的製作方法

2023-05-18 07:50:41 2

專利名稱：分布式網絡數據處理方法和裝置及系統的製作方法
分布式網絡數據處理方法和裝置及系統技術領域
本發明實施例涉及安全技術領域，尤其涉及一種分布式網絡數據處理方法和裝置 及系統。
背景技術：
在網際網路世界中，網絡帶寬是一種比較寶貴的資源。在分布式網絡中，伺服器的帶 寬資源尤其重要。例如，架設在網際網路數據中心(Internet Data Center，簡稱IDC)機房的 WEB服務，因需要為成千上萬的客戶端提供服務，所以其帶寬資源尤為重要和昂貴。然而，事 務繁忙的WEB伺服器與大量閒置的客戶端資源之間形成鮮明對比，即使在網絡資源利用處 於低端的中國，客戶端的平均用戶帶寬也達一兆以上。
針對這種情況，現有技術提供了一種集合P2P功能的瀏覽器，類似BT客戶端，可以 將某一種資源，如音樂、視頻等，在客戶端進行存儲和數據交互。客戶端可以通過伺服器查 詢其它客戶端的資源，而後再通過訪問存儲有資源的其他客戶端將數據下載到本地進行訪 問。這種方式雖然能夠利用客戶端的資源，但是仍然需要伺服器提供查詢服務，並未解決服 務器負荷過大的問題。發明內容
本發明實施例提供一種分布式網絡數據處理方法和裝置及系統，以減輕分布式網 絡中伺服器的負荷，提高資源利用率。
本發明實施例提供了一種分布式網絡數據處理方法，包括
當接收到數據獲取指示時，根據數據緩存策略確定待獲取數據所關聯的客戶端， 所述關聯的客戶端是在獲取到數據後根據所述數據緩存策略對數據進行緩存的客戶端；
向確定的客戶端發送數據獲取請求；
接收所述客戶端返回的數據，並響應所述數據獲取指示。
本發明實施例還提供了一種分布式網絡數據處理裝置，包括
指示接收模塊，用於接收數據獲取指示；
客戶端確定模塊，用於當接收到數據獲取指示時，根據數據緩存策略確定待獲取 數據所關聯的客戶端，所述關聯的客戶端是在獲取到數據後根據所述數據緩存策略對數據 進行緩存的客戶端；
數據請求模塊，用於向確定的客戶端發送數據獲取請求；
數據接收模塊，用於接收所述客戶端返回的數據，並響應所述數據獲取指示。
本發明實施例還提供了一種分布式網絡數據處理系統，包括伺服器和多個客戶 端，所述客戶端包括本發明所提供的分布式網絡數據處理裝置。
本發明實施例提供的分布式網絡數據處理方法和裝置及系統，無需通過第三方控 制伺服器來查詢和中轉數據，而是通過客戶端預設的數據緩存策略查詢出存儲有相應數據 的其他客戶端，分布式網絡中的各客戶端之間根據查詢結果直接通信，從而使各客戶端之4間能夠相互提供數據，從而減少了對伺服器的訪問次數，有效減輕了伺服器的負荷，合理分 配了網絡帶寬的使用。


為了更清楚地說明本發明實施例中的技術方案，下面將對實施例中所需要使用的 附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領 域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附 圖。
圖1為本發明實施例一提供的分布式網絡數據處理方法的流程圖2為本發明實施例所涉及的分布式網絡結構示意圖3為本發明實施例三提供的分布式網絡數據處理方法的流程圖4為本發明實施例四提供的分布式網絡數據處理方法的流程圖5為本發明實施例五提供的分布式網絡數據處理方法的流程圖6為本發明實施例六提供的分布式網絡數據處理裝置的結構示意圖7為本發明實施例七提供的分布式網絡數據處理裝置的結構示意圖。
具體實施方式
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例 中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是 本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員 在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
需要特別說明的是，本發明各實施例中的數據緩存策略，緩存在各客戶端中，各客 戶端利用該數據緩存策略判斷是否應該緩存某個數據，當判斷結果為是，在收到這個數據 時對其在本地進行緩存；並且，當其他客戶端需要獲取這個數據時，可以根據數據緩存策 略，找到應該緩存該數據的客戶端，然後向這些客戶端發送數據請求，以獲取數據。顯然， 具體的數據緩存策略可以多種多樣，本領域人員完全可以根據實際情況自由設定，只要能 確定一個數據該由哪個客戶端緩存即可。舉例來說，數據緩存策略可以是預先設定哪些 客戶端應該緩存哪些數據，也可以根據各客戶端的緩存能力大小與數據的大小來確定哪 些客戶端應該緩存哪些數據，還可以根據各數據的消息摘要算法第五版(Message Digest Algorithm5, MD5)值來確定由哪個客戶端來緩存哪個數據；此外，也可以完全隨機確定哪 個客戶端來緩存哪個數據。
實施例一
圖1為本發明實施例一提供的分布式網絡數據處理方法的流程圖，本實施例的方 法適用於包括伺服器1和多個客戶端2，以及路由器/交換機3等的分布式網絡中，如圖2 所示，客戶端2可以為各個用戶使用的個人電腦等設備。該方法的執行主體可以為分布式 網絡中的任意一個客戶端，本發明實施例中為區別起見，將執行主體命名為第一客戶端，具 體的執行步驟如下
步驟110、當第一客戶端接收到數據獲取指示時，根據數據緩存策略確定待獲取數 據所關聯的客戶端；
所謂關聯的客戶端是在獲取到數據後根據該數據緩存策略對數據進行緩存的客 戶端，即根據數據緩存策略應該緩存有對應數據的客戶端。各客戶端獲取的數據可能是從 其他客戶端獲取到的，或從伺服器獲取到的，對於獲取到的數據，客戶端在第一次獲取到後 就根據數據緩存策略來決定是否緩存。
上述步驟110中，數據獲取指示可以由用戶輸入給第一客戶端，或者從其他主機 向第一客戶端發送數據獲取指示，數據獲取指示中包含待獲取數據的定位標識，例如統一 資源定位符(University Resource Locator，簡稱URL)。第一客戶端可以根據緩存策略來 確定待獲取的數據所關聯的客戶端，為描述清楚起見，本實施例中將待獲取數據所關聯的 客戶端命名為第二客戶端，實際上，第二客戶端可以為分布網絡中的任意客戶端，數量可以 為一個或多個。第二客戶端也可以為第一客戶端本身，即實際上第一客戶端也可以從本地 緩存中讀取數據。本實施例當第一客戶端沒有存儲待獲取的數據時，進入步驟120。
步驟120、第一客戶端向確定的第二客戶端發送數據獲取請求；
步驟130、第一客戶端接收第二客戶端返回的數據，並響應數據獲取指示。
具體的，響應數據獲取指示可以是將數據呈現給用戶，或返回給需要獲取數據的 其他主機等。
本實施例提供的技術方案由於各客戶端執行同樣的數據緩存策略，所以能夠在需 要數據時，依據相同的數據緩存策略查找到存儲有數據的客戶端，從而可以直接請求存儲 有數據的其他客戶端提供數據，無需通過第三方(控制伺服器)來查詢和中轉數據。本發 明實施例提供的分布式網絡數據的處理方法，通過相同的數據緩存策略，將數據分散緩存 在各客戶端中，當用戶訪問某個客戶端時，可以通過查詢數據緩存策略使各客戶端直接通 信，從而客戶端之間可以相互提供數據，在此過程中無需訪問伺服器進行查詢，減少了對服 務器的訪問次數，有效減輕了伺服器的負荷，合理分配了網絡帶寬的使用。
在上述技術方案的基礎上，步驟110中根據數據緩存策略確定待獲取數據所關聯 的客戶端的步驟，優選是第一客戶端根據數據緩存策略在本地客戶端所在區域網路中(即 第一客戶端所在的區域網路中)確定待獲取數據所關聯的第二客戶端。
根據用戶上網習慣，大多數人在同一個時間段內會瀏覽大量相同的網頁，因此，在 離客戶端很近的區域網路部分解決一部分網絡流量是減少伺服器資源消耗和加速客戶瀏 覽的有效方法。上述技術方案即利用了網絡的這一特點，在區域網路的各客戶端中分散存 儲數據並相互提供數據，如圖2所示，可以將大量數據小範圍存儲分布在多個客戶端2中， 大量的數據傳輸都發生在虛線框所示的局域範圍內。由於傳輸的路徑相對較短，可能只通 過一個或兩個路由器或交換機3，所以有利於定位、查找和傳輸，能夠有效提高響應速度，還 可降低部署成本。
實際應用中，第一客戶端查找第二客戶端的範圍也可以進行其他限定，例如限定 在某一地理位置範圍內使用寬帶連接的不同類別客戶端之間。
實施例二
本發明實施例二所提供的分布式網絡數據處理方法可以以實施例一的方案為基 礎，進一步還包括下述步驟
第一客戶端根據數據緩存策略確定接收到的數據是否與本地客戶端(即第一客 戶端)關聯，且當確定該數據與本地客戶端關聯時將數據進行緩存，否則，可以對該數據進行其他處理。
執行上述步驟的時間可以是在從其他客戶端接收數據之後，也可以是在從伺服器 或其他主機接收數據之後。客戶端執行數據緩存前和查詢數據所在客戶端前所執行的數據 緩存策略均一致，但是對於從其他客戶端接收到的數據可以不執行數據緩存策略而默認為 不需要本地進行緩存，直接丟棄該數據。例如，可以設定當客戶端無法從其他客戶端接收到 所需數據，而必須從伺服器獲取數據時，才對從伺服器接收到的數據執行數據緩存策略，以 確定是否需要緩存。其中，緩存後的數據可以向用戶呈現，也可以在當其他客戶端請求其緩 存的數據時，向其他客戶端提供該數據。對數據進行的其他處理包括直接丟棄該數據。
本實施例提供的技術方案由於各客戶端執行同樣的數據緩存策略，所以能夠在需 要數據時，依據相同的數據緩存策略查找到存儲有數據的客戶端，從而可以直接請求存儲 有數據的其他客戶端提供數據，無需通過第三方(控制伺服器)來查詢和中轉數據。本發 明實施例提供的分布式網絡數據的處理方法，通過相同的數據緩存策略，將數據分散緩存 在各客戶端中，當用戶訪問某個客戶端時，可以通過查詢數據緩存策略使各客戶端直接通 信，從而客戶端之間可以相互提供數據，在此過程中無需訪問伺服器進行查詢，減少了對服 務器的訪問次數，有效減輕了伺服器的負荷，合理分配了網絡帶寬的使用。
此外，通過各客戶端所執行的相同的數據緩存策略，能夠使各客戶端分散存儲不 同的數據，並能夠相互請求並提供數據，減少了以往客戶端僅根據本機需求對數據多次進 行重複冗餘存儲而耗費內存資源的現象，相當於提高了網絡的存儲量。
當採用不同的數據緩存策略時，第一客戶端確定關聯第二客戶端的方式有多種， 下面分別通過實施例進行詳細介紹。
實施例三
圖3為本發明實施例三提供的分布式網絡數據處理方法的流程圖，本實施例可以 以上述各實施例為基礎，其中，數據緩存策略具體包括數據的定位標識與客戶端的網絡標 識之間的映射關係。則根據數據緩存策略確定待獲取數據所關聯的客戶端包括根據數 據的定位標識以及映射關係查找客戶端的網絡標識，根據網絡標識確定數據所關聯的客戶 端。根據數據緩存策略確定接收到的數據是否與本地客戶端關聯包括根據數據的定位標 識以及映射關係查找客戶端的網絡標識，並判斷本地客戶端是否在查找到的網絡標識範圍 內，若是即為與本地客戶端關聯，否則不關聯。
定位標識是能夠唯一標識數據的標識，網絡標識是至少在區域網路中能夠唯一標 識客戶端的標識。優選數據的定位標識包括URL，客戶端的網絡標識包括IP位址或主機名。 映射關係可以為哈希函數，或其他摘要函數等。
則本實施例的分布式網絡數據處理方法可具體執行如下步驟
步驟310、當第一客戶端接收到數據獲取指示時，根據數據獲取指示中的數據 URL，例如網頁、音頻、視頻或其他數據文件的URL，基於哈希函數計算該URL所對應的客戶 端IP位址，作為待獲取數據所關聯的第二客戶端，其中，所述關聯的客戶端是存儲有待獲 取數據的客戶端；
步驟320、第一客戶端向確定的第二客戶端發送數據獲取請求；
步驟330、第一客戶端接收第二客戶端返回的數據；
步驟340、第一客戶端根據接收到的數據的URL，基於哈希函數計算所對應的IP位址，並判斷計算出的IP位址是否為本機IP位址，或判斷本機IP位址是否在計算IP位址的 網段範圍內，若是，則執行步驟350，否則不關聯，將不關聯的數據丟棄；
步驟350、第一客戶端確定該數據與本機客戶端關聯，將與本地客戶端關聯的數據 進行緩存。
其中，緩存的數據可以供用戶訪問使用，也可以提供給其他客戶端查詢獲取。
在本實施例中，通過設計不同的哈希函數可以控制所關聯的客戶端的數量和範 圍。例如，可以將URL經哈希運算映射到某一網段的IP位址中，則在該網段的客戶端可以相 互獲取數據，而不會定位到該網段外的客戶端。在其他實施例中，出於縮小IP範圍、保障信 息安全、提高數據傳輸速度等需求，也可以將映射的範圍限定在某一個區域網內、某個VLAN 範圍內、或者其他某個限定的範圍內。
上述技術方案能夠通過映射關係實現一定程度上的精確定位，客戶端也基於同樣 的映射關係決定該緩存哪些數據，無需通過伺服器的查詢就可以準確定位到存儲有特定數 據的客戶端，進一步提高了響應速度，還減少了數據傳輸量。通過避免重複存儲也增大了網 絡的數據緩存量。相比於現有技術，不需要部署中心伺服器進行數據同步，也不需要註冊帳 號進行存儲，還不需要指定共享目錄及文件。
實施例四
圖4為本發明實施例四提供的分布式網絡數據處理方法的流程圖，本實施例可以 以上述實施例為基礎，且數據緩存策略具體為數據的定位標識與客戶端的網絡標識之間的 隨機映射關係。則根據數據緩存策略確定待獲取數據所關聯的客戶端包括根據隨機映射 關係，將本地客戶端所在區域網路中的所有客戶端確定為數據所關聯的客戶端；根據數據 緩存策略確定接收到的數據是否與本地客戶端關聯包括根據隨機映射關係隨機確定數據 是否與本地客戶端關聯。
則本實施例的分布式網絡數據處理方法可以包括如下步驟
步驟410、當第一客戶端接收到數據獲取指示時，根據隨機映射關係，將本地客戶 端所在區域網路中的所有客戶端確定為數據所關聯的第二客戶端；
上述步驟410可以令第一客戶端在本機所在區域網路中發送廣播包，該區域網路 中的交換機等設備可以控制廣播包僅在區域網路內的客戶端中傳輸。或者，第一客戶端也 可以通過設置數據獲取請求的目的地址來決定在某個範圍內的客戶端中獲取數據。
步驟420、第一客戶端向確定的第二客戶端發送數據獲取請求；
步驟430、第一客戶端接收第二客戶端返回的數據；
步驟440、第一客戶端根據隨機映射關係隨機確定數據是否與本地客戶端關聯，並 將確定為與本地客戶端關聯的數據進行緩存，不關聯的數據可以丟棄。
本實施例的技術方案在第一客戶端確定關聯的第二客戶端以及確定是否緩存數 據時，採用了隨機確定的策略，按照隨機的概率計算，仍然在一定程度上能夠滿足在客戶端 中分散緩存數據的要求。並且對於客戶端而言，所需的計算量小，而數據獲取請求的傳輸量 增加，但增加的數量傳輸量僅限於在各客戶端之間，並未增加伺服器的負荷。
本發明實施例還可以以上述任意實施例為基礎，進一步的，第一客戶端向確定的 第二客戶端發送數據獲取請求可以包括第一客戶端向確定的第二客戶端發送數據查詢請 求；接收第二客戶端返回的數據查詢響應；根據數據查詢響應向存儲有數據的第二客戶端發送數據獲取請求。本實施例即在請求獲取數據之前增加了發送查詢請求和接收查詢響應 的操作，以保證數據獲取的可靠性。通過發送查詢請求和接收查詢響應，可以在存儲有數據 的多個關聯客戶端中選擇一個或幾個客戶端來傳輸實際數據，其他關聯的客戶端不必都傳 輸數據，從而能夠減少數據傳輸量，且第一客戶端可以根據數據查詢響應有選擇的向某個 或某些第二客戶端發送數據獲取請求，避免不必要的重複獲取數據。
優選的技術方案，在向確定的客戶端發送數據查詢請求的同時，或接收到表明客 戶端未存儲所述數據的數據查詢響應之後，或在發送所述數據查詢請求後的預設時限內未 接收到數據查詢響應時，或在發送所述數據獲取請求後的預設時限內未接收到返回的數據 時，還包括向伺服器發送數據查詢請求或數據獲取請求。
本發明實施例中，當客戶端不能從關聯客戶端獲得數據的情況下，可以通過向服 務器發送數據查詢請求或數據獲取請求，使得在不能從關聯客戶端獲取數據的情況下能夠 從伺服器獲取數據，提高客戶端獲取數據的可靠性，避免對客戶端訪問數據造成影響。
實施例五
圖5為本發明實施例五提供的分布式網絡數據處理方法的流程圖，本實施例給出 一種具體實現情況，包括如下步驟
步驟501、用戶在第一客戶端上輸入待瀏覽頁面的URL，相當於數據獲取指示，例 如待瀏覽網頁的網址為「http://WWW. sohu. com/」 ；
步驟502、第一客戶端判斷該URL是否在本地緩存中，若是，則執行步驟512，否則 執行步驟503 ；
步驟503、第一客戶端根據數據獲取指示中的URL，基於哈希函數計算該URL所對 應的IP位址，例如在包括IP1、IP2、IP3和IP4這四個客戶端的區域網路中，確定了 IP2、IP3 和IP4這三個客戶端的IP位址；
步驟504、第一客戶端根據IP位址向對應的三個第二客戶端發送數據查詢請求， 並開啟第一超時計時器；
步驟505、第一客戶端判斷第一超時計時器是否超出第一預設限值，若是，則執行 步驟506，否則執行步驟507 ；
步驟506、第一客戶端向伺服器發送數據獲取請求，獲取伺服器返回的數據，並執 行步驟512，若從伺服器無法獲取數據的響應則可以執行其他常規處理，如報錯、提示網頁 無法連接或提示數據無法獲取等；
步驟507、第一客戶端接收第二客戶端返回的數據查詢響應，且在接收到數據查詢 響應時關閉第一超時計時器，數據查詢響應中表示該第二客戶端中是否存儲有該數據，例 如，IP2和IP4返回的數據查詢響應中表明存儲有對應的數據，而IP3返回的數據查詢響應 中表明未存儲相應數據；
上述步驟507中，第一客戶端所接收到的數據查詢響應，可能是一個或多個，也可 能是接收到所有第二客戶端返回的數據查詢響應，此時，第一客戶端可以根據需要在接收 到有限數量的數據查詢響應後就關閉第一超時計時器，例如，第一客戶端只需要兩個第二 客戶端提供數據時，在收到兩個數據查詢響應後就可以關閉第一超時計時器。
步驟508、第一客戶端根據數據查詢響應向對應的第二客戶端發送數據獲取請求， 並開啟第二超時計時器；
上述步驟508中，可以是有選擇的發送數據獲取請求，例如本實施例中可以選擇 僅向IP4發送數據獲取請求。
步驟509、第一客戶端判斷第二超時計時器是否超出第二預設限值，若是，則執行 步驟506，否則執行步驟510 ；
步驟510、第一客戶端接收第二客戶端，即接收IP4返回的數據；
步驟511、第一客戶端根據接收到的數據的URL，基於哈希函數計算URL所對應的 IP位址，並判斷是否為本機IP位址，或判斷本機的IP位址是否在計算出的IP位址網段範 圍內，若是，則將接收到的網頁數據進行緩存，而後可以執行打開網頁等操作，否則丟棄網 頁數據；
步驟512、第一客戶端顯示數據，向用戶呈現網頁，完成瀏覽過程。
本實施例的技術方案中，分布式網絡的每個分布式節點(即客戶端瀏覽器)瀏覽 網頁時都存儲一定範圍內的URL數據，可以根據本機的IP位址及URL的摘要計算需要存儲 的範圍。瀏覽器打開一個URL時首先查詢本地緩存，若存儲有緩存數據就直接打開，若沒 有則查詢本地網絡內其它可能存儲該URL數據的其它客戶端WEB緩存，若其他客戶端存儲 有該數據則使用該資源，若沒有則向網站伺服器請求資源。客戶端請求其它客戶端資源時 根據URL的摘要計算本網段內可能存儲資源的客戶端IP範圍，向該範圍內的客戶端發送數 據查詢請求。客戶端收到某些客戶端的數據查詢響應後選取一個或多個客戶端正式請求數 據。整個客戶端資源傳輸過程應該控制在一定時間範圍內，超過該時間範圍認定為超時，超 時後可向WEB伺服器請求數據。
本實施例的技術方案能夠實現客戶端之間分散緩存數據，並相互提供數據，能夠 有效減輕伺服器的負荷。該技術方案還通過超時後向伺服器請求來提高網頁數據的可靠 性。
實施例六
圖6為本發明實施例六提供的分布式網絡數據處理裝置的結構示意圖，該裝置包 括指示接收模塊610、客戶端確定模塊620、數據請求模塊630、數據接收模塊640和數據 緩存模塊650。其中，指示接收模塊610用於接收數據獲取指示；客戶端確定模塊620用於 當接收到數據獲取指示時，根據數據緩存策略確定待獲取數據所關聯的客戶端，所謂關聯 的客戶端是在獲取到數據後根據該數據緩存策略對數據進行緩存的客戶端；數據請求模塊 630用於向確定的客戶端發送數據獲取請求；數據接收模塊640用於接收客戶端返回的數 據。
本實施例提供的裝置可執行本發明任意實施例所提供的分布式網絡數據處理方 法的技術方案，無需通過第三方控制伺服器來查詢和中轉數據，而是通過分布式網絡中的 各客戶端對數據進行分散緩存和數據相互提供，減少了對伺服器的訪問次數，有效減輕了 伺服器的負荷，合理分配了網絡帶寬的使用。
在上述技術方案的基礎上，優選的是該裝置還包括數據緩存模塊650，用於根據數 據緩存策略確定接收到的數據是否與本地客戶端關聯，且當確定數據與本地客戶端關聯時 將數據進行緩存。
通過各客戶端所執行的數據緩存策略，能夠使數據在各客戶端進行分散存儲，減 少了以往客戶端對數據多次進行重複冗餘存儲而耗費內存資源的現象，相當於提高了網絡的存儲量。
實施例七
圖7為本發明實施例七提供的分布式網絡數據處理裝置的結構示意圖，本實施例 可以以實施例六為基礎，數據緩存策略具體為數據的定位標識與客戶端的網絡標識之間的 映射關係；則客戶端確定模塊620包括第一查找單元621和確定單元622。其中，第一查 找單元621用於根據數據的定位標識以及映射關係查找客戶端的網絡標識；確定單元622 用於根據網絡標識確定數據所關聯的客戶端。數據緩存模塊650包括第二查找單元651、 判斷單元652和緩存單元653。第二查找單元651用於根據數據的定位標識以及映射關係 查找客戶端的網絡標識；判斷單元652用於判斷本地客戶端是否在查找到的網絡標識範圍 內；緩存單元653用於根據判斷單元652的判斷結果將數據進行緩存，即判斷本地客戶端在 查找到的網絡標識範圍內時確定為關聯客戶端，進行數據緩存，否則丟棄數據。
優選的是，上述第一查找單元或第二查找單元包括標識採集子單元、存儲子單元 和地址計算子單元。其中，標識採集子單元用於從數據獲取指示中採集數據的URL作為定 位標識；存儲子單元用於存儲哈希函數作為映射關係；地址計算子單元用於根據URL，基於 哈希函數計算出客戶端的IP位址或主機名，作為客戶端的網絡標識。
上述技術方案能夠通過映射關係實現一定程度的精確定位，客戶端也基於同樣的 映射關係決定該緩存哪些數據，無需通過伺服器的查詢就可以準確定位到存儲有特定數據 的客戶端，進一步提高了響應速度，還減少了數據傳輸量。通過避免重複存儲也增大了網絡 的數據緩存量。
在上述技術方案的基礎上，該數據請求模塊630可具體包括查詢單元631、響應 單元632和請求單元633。其中，查詢單元631用於向確定的客戶端發送數據查詢請求；響 應單元632用於接收客戶端返回的數據查詢響應；請求單元633用於根據數據查詢響應向 存儲有數據的客戶端發送數據獲取請求。通過預先的查詢請求和響應過程，可以進一步精 確定位數據所在的客戶端，而後有選擇的請求獲取數據，減少重複的數據傳輸量。
上述分布式網絡數據處理裝置，還可以包括一伺服器請求模塊。該伺服器請求模 塊用於在向確定的客戶端發送數據查詢請求的同時，或接收到表明客戶端未存儲數據的數 據查詢響應之後，或在發送數據查詢請求後的預設時限內未接收到數據查詢響應時，或在 發送數據獲取請求後的預設時限內未接收到返回的數據時，向伺服器發送數據查詢請求或 數據獲取請求，以便提高獲取數據的可靠性。
本發明實施例所提供的分布式網絡數據處理裝置可以通過軟體和/或硬體方式 實現，集成在客戶端的網元中，執行本發明任意實施例所提供的分布式網絡數據處理方法。 該裝置可以嵌入在瀏覽器中，則只要用戶通過瀏覽器上網就能自動執行本發明的技術方 案，提高訪問網際網路的速度。緩存數據在一定範圍的網段內交互，大量數據傳輸在離客戶端 很近的網絡內，增加瀏覽速度，減少對WEB伺服器的數據請求。
本發明實施例還提供了一種分布式網絡數據處理系統，包括伺服器和多個客戶 端，該客戶端包括本發明任意實施例所提供的分布式網絡數據處理裝置。
本發明實施例提供的各技術方案，無需通過第三方控制伺服器來查詢和中轉數 據，而是通過分布式網絡中的各客戶端對數據進行分散緩存和數據相互提供，減少了對服 務器的訪問次數，有效減輕了伺服器的負荷，合理分配了網絡帶寬的使用。通過各客戶端所執行的數據緩存策略，能夠使數據在各客戶端進行分散存儲，避免了以往客戶端對數據進 行重複冗餘存儲而耗費內存資源的現象，相當於提高了網絡的存儲量。
最後應說明的是以上實施例僅用以說明本發明的技術方案，而非對其限制；盡 管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解其依然 可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替 換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精 神和範圍。
權利要求
1.一種分布式網絡數據處理方法，其特徵在於，包括當接收到數據獲取指示時，根據數據緩存策略確定待獲取數據所關聯的客戶端，所述 關聯的客戶端是在獲取到數據後根據所述數據緩存策略對數據進行緩存的客戶端； 向確定的客戶端發送數據獲取請求； 接收所述客戶端返回的數據，並響應所述數據獲取指示。
2.根據權利要求1所述的分布式網絡數據處理方法，其特徵在於，在接收所述客戶端 返回的數據之後，還包括根據所述數據緩存策略確定接收到的數據是否與本地客戶端關聯，且當確定所述數據 與本地客戶端關聯時將所述數據進行緩存。
3.根據權利要求1或2所述的分布式網絡數據處理方法，其特徵在於，根據數據緩存策 略確定待獲取數據所關聯的客戶端包括根據數據緩存策略在本地客戶端所在區域網路中確定待獲取數據所關聯的客戶端。
4.根據權利要求1或2所述的分布式網絡數據處理方法，其特徵在於所述數據緩存策略包括所述數據的定位標識與客戶端的網絡標識之間的映射關係； 則根據數據緩存策略確定待獲取數據所關聯的客戶端包括根據所述數據的定位標識 以及所述映射關係查找客戶端的網絡標識，根據所述網絡標識確定所述數據所關聯的客戶 端；根據所述數據緩存策略確定接收到的數據是否與本地客戶端關聯包括根據所述數據 的定位標識以及所述映射關係查找客戶端的網絡標識，並判斷本地客戶端是否在查找到的 網絡標識範圍內。
5.根據權利要求1或2所述的分布式網絡數據處理方法，其特徵在於，向確定的客戶端 發送數據獲取請求包括向確定的客戶端發送數據查詢請求； 接收客戶端返回的數據查詢響應；根據所述數據查詢響應向存儲有所述數據的客戶端發送數據獲取請求。
6.一種分布式網絡數據處理裝置，其特徵在於，包括 指示接收模塊，用於接收數據獲取指示；客戶端確定模塊，用於當接收到數據獲取指示時，根據數據緩存策略確定待獲取數據 所關聯的客戶端，所述關聯的客戶端是在獲取到數據後根據所述數據緩存策略對數據進行 緩存的客戶端；數據請求模塊，用於向確定的客戶端發送數據獲取請求； 數據接收模塊，用於接收所述客戶端返回的數據，並響應所述數據獲取指示。
7.根據權利要求6所述的分布式網絡數據處理裝置，其特徵在於，還包括數據緩存模塊，用於根據所述數據緩存策略確定接收到的數據是否與本地客戶端關 聯，且當確定所述數據與本地客戶端關聯時將所述數據進行緩存。
8.根據權利要求7所述的分布式網絡數據處理裝置，其特徵在於，所述數據緩存策略 包括所述數據的定位標識與客戶端的網絡標識之間的映射關係；則所述客戶端確定模塊包括第一查找單元，用於根據所述數據的定位標識以及所述 映射關係查找客戶端的網絡標識；確定單元，用於根據所述網絡標識確定所述數據所關聯的客戶端；所述數據緩存模塊包括第二查找單元，用於根據所述數據的定位標識以及所述映射 關係查找客戶端的網絡標識；判斷單元，用於判斷本地客戶端是否在查找到的網絡標識範 圍內；緩存單元，用於根據所述判斷單元的判斷結果將所述數據進行緩存。
9.根據權利要求6或7或8所述的分布式網絡數據處理裝置，其特徵在於，所述數據請 求模塊包括查詢單元，用於向確定的客戶端發送數據查詢請求； 響應單元，用於接收客戶端返回的數據查詢響應；請求單元，用於根據所述數據查詢響應向存儲有所述數據的客戶端發送數據獲取請
10.一種分布式網絡數據處理系統，其特徵在於，包括伺服器和多個客戶端，所述客 戶端包括權利要求6 9任一所述的分布式網絡數據處理裝置。
全文摘要
本發明公開了一種分布式網絡數據處理方法和裝置及系統。該方法包括當接收到數據獲取指示時，根據數據緩存策略確定待獲取數據所關聯的客戶端；向確定的客戶端發送數據獲取請求；接收客戶端返回的數據，並響應數據獲取指示。本發明無需通過伺服器來查詢和中轉數據，而是通過客戶端預設的數據緩存策略查詢出存儲有相應數據的其他客戶端，分布式網絡中的各客戶端之間根據查詢結果直接通信，從而使各客戶端之間能夠相互提供數據，從而減少了對伺服器的訪問次數，有效減輕了伺服器的負荷，合理分配了網絡帶寬的使用。
文檔編號H04L29/08GK102045403SQ20101062469
公開日2011年5月4日 申請日期2010年12月29日 優先權日2010年12月29日
發明者王新穎 申請人:成都市華為賽門鐵克科技有限公司