基於多副本的具有質量保證的網格數據傳輸系統的製作方法

2023-09-20 01:59:10 3

專利名稱：基於多副本的具有質量保證的網格數據傳輸系統的製作方法
技術領域：
本發明屬於網絡計算中服務和數據網格技術領域，具體涉及一種基於多副本的具有質量保證的網格數據傳輸系統。
背景技術：
在現代科學研究和應用領域中，大量的數據是重要的資源，在全球氣候模擬、高能物理、生物計算、戰場仿真、核模擬、數字地球、大規模的信息和決策支持系統等應用領域，其數據量將達到幾十TeraByte至PetaByte的級別。地理上廣泛分布的該領域的科研工作者或用戶都希望能夠訪問和分析這些龐大的數據，但其分析方法往往是計算複雜、計算量大，許多數據分析處理要求千億次或萬億次規模的計算能力。現有的數據管理體系結構、方法和技術已經不能滿足人們對高性能、大容量分布存儲和分布處理能力的要求。因此，在計算網格的基礎上人們提出了數據網格(Data Grid)的構想，以解決上述應用所面臨的問題。
目前的網格環境中，對數據文件傳輸主要把精力集中於文件的可獲取性及可控制共享性，並沒有提供關於服務質量(QoS)控制的內容。
網格的數據處理是與網格相伴而生的概念，隨著網格的處理數據的爆炸性增加，對數據的處理要求也就越來越高。作為數據處理的一個重要環節，數據傳輸的要求也就逐漸提到了日程上來。其中對數據傳輸質量的要求則是數據傳輸要求的重中之重，目前的網格範圍的數據訪問工具和結構都把注意力集中在數據的可訪問性和訪問速度的無上限追求上，但事實上很多情況下對數據的訪問要求並不需要儘量的快，而是有一個最低可接受的範圍，這也就為提供質量保障的數據服務提供了舞臺。對數據的服務質量約束還可以使有限的資源更合理的利用和分配，使得儘可能多的請求在質量可以接受的情況下得到滿足。

發明內容
本發明的目的在於提供一種基於多副本的具有質量保證的網格數據傳輸系統，該系統彌補了現有數據網格平臺實時服務質量保證的不足，對現有數據網格組件改造和高層封裝，在廣域網範圍內可以跨平臺使用。
本發明提供的基於多副本的具有質量保證的網格數據傳輸系統，其特徵在於該系統包括數據傳輸客戶端組、索引伺服器組、存儲伺服器組和認證伺服器組；數據傳輸客戶端組在上載數據到系統時，申請數據發布部署方案並請求索引伺服器組執行此方案；在平臺下載數據時，實時獲取所需數據；向索引服務服務組提出實時數據請求描述，包括數據文件邏輯描述，傳輸服務質量要求；接收索引服務服務組提供的數據傳輸方案，組織要獲取的數據從多點並行獲取；並對數據傳輸的實時服務質量進行監控和報告錯誤；進行數據傳輸重組；索引伺服器組用於對存儲伺服器組的系統信息和服務質量保證合同進行註冊和監控；存儲伺服器組根據數據傳輸客戶端組生成的數據發布方案產生發布表項並控制數據傳輸，生成多個物理複本；認證伺服器組用於驗證數據傳輸客戶端和存儲伺服器組的身份，進行證書的籤發和認證。
本發明所有的服務均遵循OGSA標準，所有服務均以網格服務(gridservice)的方式對外發布，因此本平臺獲得了網格服務的特點。所有服務繼承了網格服務的一切優良特性，包括高可用性、可伸縮性和高性價比。各個服務鬆散耦合，提高平臺的總體可靠性。各服務之間遵從OGSA標準便於各個服務獨立升級。多數據複本機制保證了多點數據並行傳輸，提高帶寬利用率；同時多複本的冗餘機制保證了系統容錯特性。本系統採用PKI/CA安全機制，提供了一種廣域範圍內可擴展的安全認證機制，將數據安全擴展到數據傳輸層。具體而言，本發明具有以下優點及效果(1)在廣域範圍內共享具有實時服務質量保證的數據文件資源。
通過一次數據發布將帶有實時容錯服務質量的某一數據，發布和部署到此平臺上。通過共享此數據及其複本，將使得此具有實時容錯特性的數據作為服務為其他用戶共享並實時(即並行)獲取。
(2)良好的容錯性。
容錯性關係到平臺的可用性和用戶對平臺的信賴程度。多複本機制使得GridFTP(網格文件傳輸協議)傳輸服務模塊(3.2)具有良好的容錯性。每一數據複本節點機只負責向用戶傳輸部分文件分片。任一臺伺服器(即節點機)的突然失效不會造整個實時數據傳輸失效，根據文件獲取方案中攜帶的容錯處理信息，數據傳輸客戶端(圖4)可以迅速調整重組文件傳輸任務(1.3、1.7、1.6)(參見圖7)以儘量減低傳輸時間，或者將失效的文件分片從冗餘的GridFTP(網格文件傳輸協議)傳輸服務模塊(3.2)上獲取。
(3)系統服務，客戶端由java實現利於跨平臺使用。
基於Java的系統服務的實現適用於Internet上大部分存儲和計算資源的整合；Java客戶端便於各種作業系統用戶使用本平臺。
(4)數據傳輸的自組織、自適應，服務質量監控由系統自動完成，對用戶透明。
用戶只需將數據將發布請求和發布描述提交給此平臺，此平臺就可以按用戶的要求自動構建實時數據服務，而不用專門建立自己的網絡計算平臺和搜集志願者。這樣可以將應用科學家從網絡計算平臺的實現細節中解放出來，集中精力進行自己領域的科學研究。
(5)在廣域範圍內共享數據存儲資源實現多點實時並行傳輸。
大規模數據文件服務的瓶頸主要出現在伺服器端的I/O。通過單點伺服器是無法完成實時數據請求的。實時協同的網格數據平臺通過在多個伺服器上數據文件複本，進行多文件分片並行傳輸避免了單一I/O瓶頸。實現了廣域網上的實時數據傳輸請求。
(6)數據傳輸處理平臺所有的服務均遵循OGSA標準。
所有服務繼承了網格服務的一切優良特性，包括可伸縮性所有的服務作為網格服務，採用服務工廠的方式可以被動態的創建和管理。當數據發布和獲取請求數目越來越多，使某一服務的伺服器系統負載過重而不能滿足實時響應時，本平臺可在新的伺服器系統上動態擴展創建各個系統服務以滿足需求，而且不降低服務質量。
高可用性各個服務鬆散耦合，即使伺服器系統的部分硬體和軟體發生故障，整個系統的服務必須是每天24小時每星期7天可用的。
高性價比與超級巨型I/O計算機相比，實時協同數據網格服務平臺具有更高的實時數據處理和傳輸能力，而且整個系統基於多個普通伺服器構成的實現是經濟的、易支付的。
(7)本系統採用GridFTP(網格文件傳輸協議)和PKI/CA安全認證機制，同普通FTP服務相比不僅僅保證用戶的安全登陸，還保證數據傳輸安全。


圖1為本發明網格數據傳輸系統的結構示意圖；圖2為網格數據傳輸子系統的結構示意圖；圖3為數據傳輸客戶端組的結構示意圖；圖4為索引服務組的結構示意圖；圖5為存儲節點結構示意圖；圖6為實時數據傳輸協議層次框架圖；圖7為發布實時數據流程圖；圖8為獲取實時數據流程圖；圖9為實時數據獲取時的容錯和傳輸服務質量控制交互圖；圖10為數據傳輸容錯處理流程圖；圖11為傳輸出錯處理圖。
具體實施例方式
下面結合附圖和實例對本發明作進一步詳細的說明。
本發明遵循世界開放式網格服務體系結構(OGSA)標準，在廣域網範圍內本發明系統在多個網域間進行數據傳輸和管理。如圖1所示，本發明系統由分布在不同網域中的N個相同的網格數據傳輸子系統組成，N≥1，各子系統之間可以進行相互的數據發布與獲取，協同的完成多個網域間的任務。
上述網格數據傳輸子系統包括數據傳輸客戶端組1、索引伺服器組2、存儲伺服器組3和認證伺服器組4。
數據傳輸客戶端組1用於在上載數據到系統時，申請數據發布部署方案並請求索引伺服器組2執行此方案；在平臺下載數據時，實時獲取所需數據。向索引服務服務組2提出實時數據請求描述，包括數據文件邏輯描述，傳輸服務質量要求；接收索引服務服務組2提供的數據傳輸方案，組織要獲取的數據從多點並行獲取；並對數據傳輸的實時服務質量進行監控和報告錯誤；進行數據傳輸重組。
索引伺服器組2用於對存儲伺服器組3的系統信息和服務等級協議(Service Level Agreement，SLA)進行註冊和監控的功能。
存儲伺服器組3根據數據傳輸客戶端組1生成的數據發布方案產生發布表項並控制數據傳輸，最終生成多個物理複本。
認證伺服器組4用於驗證數據傳輸客戶端1和存儲伺服器組3的身份，進行證書的籤發和認證，以確保安全的傳輸數據。證書用來驗證客戶端和GridFTP(網格文件傳輸協議)伺服器的身份以確保安全的傳輸數據。
如圖2所示，數據傳輸客戶端組1由i個相同的客戶端組成，索引伺服器組2由k個相同的索引伺服器組成，存儲伺服器組3由m個存儲伺服器組成，認證伺服器組4由w個認證伺服器組成，它們均可以並行處理多個用戶請求，其中，i，k，m和w均大於等於1。
如圖3所示，客戶端A包括用戶傳輸接口模塊1.1、傳輸項目組織模塊1.2、反饋匯報和控制模塊1.3、GridFTP(網格文件傳輸協議)資源池模塊1.4、GridFTP(網格文件傳輸協議)客戶端實例工廠模塊1.5、傳輸檢測控制模塊1.6、重傳支持模塊1.7、客戶端傳輸代理模塊1.8其中，用戶傳輸接口模塊1.1接收到外界數據，並傳數據到傳輸項目組織模塊1.2，傳輸項目組織模塊1.2組織傳輸項目來處理數據傳輸和進行數據傳輸任務分塊。傳輸項目組織模塊1.2將已分好的數據傳輸任務塊傳到GridFTP資源池模塊1.4，GridFTP資源池模塊1.4為數據傳輸提供物理文件服務資源池，在服務資源池上通過GridFTP客戶端實例工廠模塊1.5產生的客戶端實例，這個過程由GSI(網格安全)認證客戶端模塊3.3進行認證，最後由客戶端傳輸代理模塊1.8調用其內的索引服務並獲取傳輸任務需要的各種SLA信息和可用資源信息，執行傳輸任務。傳輸項目組織模塊1.2同時調用實時服務質量SLA反饋匯報和控制模塊1.3接收與分析傳輸的反饋信息向索引伺服器組2中的物理節點信息管理服務模塊2.5匯報對SLA的執行情況，當有傳輸錯誤發生時，將錯誤類別傳給重傳支持模塊1.7，其通過錯誤類別組織數據重傳，在重傳過程中傳輸檢測控制模塊1.6對重傳支持模塊1.7進行檢測與控制。
如圖4所示，索引伺服器B包括數據文件獲取服務模塊(QoSDGather)2.1、數據文件發布註冊服務模塊(QoSDispatcher)2.2、數據文件描述服務和發布服務模塊(QLrci)2.3、物理文件映射服務模塊(Qrli)2.4、物理節點信息管理服務模塊(Msla)2.5在發布數據文件時，用來發布數據的數據傳輸客戶端1向數據文件發布服務模塊2.2提出數據發布和部署請求。數據文件發布服務模塊2.2向邏輯文件描述和發布服務模塊2.3查詢註冊信息，邏輯文件描述和發布服務模塊2.3完成數據文件描述的註冊和數據發布的申請。同時數據文件發布服務模塊2.2通過調用物理節點信息管理服務模塊2.5，為請求分配副本存儲資源形成發布方案，物理文件映射服務模塊2.4完成物理文件同邏輯發布(部署)映射綁定，最後執行發布方案。註冊信息、發布信息以及副本部署信息均註冊到資料庫中。
在獲取數據文件時，用來獲取數據的數據傳輸客戶端1通過代理向數據文件獲取服務模塊2.1提出數據獲取請求，請求包括數據文件的邏輯描述、實時服務質量要求、安全性等級。文件獲取服務模塊2.1調用數據文件描述服務模塊2.3查找描述信息並獲取描述返回給文件獲取服務模塊2.1，文件獲取服務模塊2.1將文件的描述信息傳給物理文件映射服務模塊2.4，它通過文件描述信息查找文件發布信息返回文件獲取服務模塊2.1。
數據文件獲取服務模塊2.1搜索到所有存有此數據文件(或數據文件的複本)的物理伺服器(即結點機)和其服務質量描述後，調用物理結點信息管理服務模塊2.5。物理結點信息管理服務模塊2.5根據各個物理帶寬性能SLA將數據傳輸任務按照實時要求(如文件發布，網絡帶寬等信息)創建多個傳輸工人(多個子任務每個傳輸工人負責一個子任務)，並將其組織為數據獲取方案後返回給用來獲取數據的數據傳輸客戶端1。用來獲取數據的數據傳輸客戶端1根據獲取方案，執行多源數據並行下載數據。實時服務質量SLA反饋匯報和控制模塊1.3向物理節點信息管理服務模塊(2.5)報告服務執行情況和SLA服務質量執行情況，記入資料庫。
如圖5所示，存儲伺服器C採用GridFTP(網格文件傳輸協議)服務，包括節點代理服務模塊(NodeAgent)3.1、GridFTP(網格文件傳輸協議)傳輸服務模塊3.2、GSI(網格安全服務接口)認證客戶端模塊3.3其中，節點代理服務模塊(NodeAgent)3.1代理在數據發布時使用的用來獲取數據的數據傳輸客戶端、本地網絡和存儲資源的獲取接口，包括系統狀態註冊，數據文件註冊；GSI(網格安全服務接口)認證客戶端模塊3.3完成同外部訪問點的安全交互認證和加密傳輸數據將加密的數據傳給GridFTP(網格文件傳輸協議)傳輸服務模塊3.2；GridFTP(網格文件傳輸協議)傳輸服務模塊3.2將接收的數據進行傳輸服務。
認證伺服器D包括GSI(網格安全服務接口)客戶端安全組件。
圖6為實時數據傳輸協議層次框架圖。圖中，索引伺服器1.2負責總的管理和調度。用戶身份GSI認證和主機身份GSI認證即GSI(網格安全)認證客戶端模塊3.4，此為身份確認層。數據傳輸客戶端(1.2-1.8)和GridFTP(網格文件傳輸協議)伺服器1.3是GridFTP(網格文件傳輸協議)層，負責總的傳輸任務。其內分別部署的傳輸項目組織模塊1.2和數據文件存儲I/O執行傳輸任務。
圖7為通常一次數據發布的步驟，具體地一次數據發布過程如下1)、發布發起方向索引服務提交發布請求；2)、索引服務通過對物理節點信息管理服務2.5(Msla)信息進行查詢和整合，獲得可以接收該文件的服器及其性能列表；3)、索引服務根據發布質量要求，產生相應的發布方案；4)、索引服務將發布方案依次通知被選擇載有副本的伺服器主機，通過對節點代理服務的調用實現對物理文件的發放命令；5)、被選中的伺服器主動向發布發起方請求傳輸文件，傳輸結束後，則索引服務更新發布狀態數據，發布完成。
圖8為一次數據獲取的步驟，具體地一次數據獲取過程如下1)、客戶向索引服務提交獲取請求，並附帶有質量控制參數；2)、索引服務通過對物理節點信息管理服務2.5(Msla)信息進行查詢和整合，獲得該文件所在的宿主服器及其性能列表；3)、索引服務根據獲取的服務質量要求，產生相應的獲取方案；4)、客戶端通過方案ID獲取該獲取方案；5)、客戶根據相應的獲取方案，根據相應的QoS信息連接對應的伺服器，取得文件的一部分，在本地重組完畢後，獲取完成。
圖9為實時數據獲取時的容錯和傳輸服務質量控制交互圖。數據獲取時，在GridFTP(網格文件傳輸協議)用戶傳輸接口的數據獲取客戶端1.1內部有個實時傳輸服務質量監控(1.3、1.7、1.6)，它可以在數據傳輸的時候實現圖10所示的容錯機制，而其內部的客戶端傳輸代理實現文件的傳輸。
圖10數據傳輸中的容錯處理由所示。當傳輸文件出錯會進行相應的錯誤事件匯報，錯誤被匯報到傳輸任任務管理層。任務管理層則根據當時記錄的出錯現場記錄對錯誤進行處理，一般而言，錯誤有物理文件錯、傳輸過程錯、傳輸延時等三種，其處理流程(圖11)是有相似之處的。
實施例本發明的一個實施例系統使用4個伺服器節點和一個客戶端節點共4個物理節點，其物理部署見圖3，系統軟硬體配置見表1。其中，一臺linux節點部署索引服務和GirdFTP服務，配置IP＝192.168.1.210；其他linux節點均部署GirdFTP服務，配置IP＝192.168.1.205和192.168.1.204；剩下一個windows節點部署數據發布部署和獲取客戶端，配置IP＝192.168.1.166。
對整個系統的實現說明如下(1)索引服務通過資料庫管理所有的物理資源，維護SLA服務質量保障機制，管理數據邏輯名稱到物理複本的映射，管理所有數據文件的複本部署。所有對Mysql資料庫操作，均對外發布為網格服務。各個數據表的描述和解釋如表2-4。在系統中，稱一次文件的Dispatch為一次發布，它須要一個已經成功申請的邏輯描述ID(descriptionID)和一個已經成功創建的複本ID。前者表示該發布的實際意義，後者表示該發布的信息源，一般而言它也應該是最可靠的數據源。
本系統設計一個邏輯描述，如果要能正常工作，必須為之創建一個唯一的文件發布註冊服務2.3。一個沒有文件發布註冊服務2.3的邏輯描述2.3既不能提供有用的文件服務，也不能提供任何獲得該文件的信息，只有在發布中才有該文件的更近一步描述信息。文件發布和邏輯描述之間的綁定可以靈活指定，但通常不建議隨意進行綁定。
考慮到在實際應用過程中，可能對文件進行更新發布以及不同發布索引伺服器組的同名發布，本系統引入了名域控制發布和版本控制發布。不同名域之間可以有重名的邏輯描述，對於同名的邏輯描述在選取的時候選擇最新的版本作為其傳輸。
一次文件發布，通常要創建與其發布重要程度相對應的多個物理拷貝，該映射完成從發布到物理複本定位的過程。
(2)數據文件GridFTP(網格文件傳輸協議)伺服器提供數據的安全存儲服務，在部署數據時提供數據下載客戶端服務，管理本地物理節點信息管理服務。其資源管理表見表5。
節點代理服務(Node Agent Service)一般部署在GridFTP(網格文件傳輸協議)伺服器裡，主要由文件管理代理、磁碟空間管理、帶寬統計、帶寬管理及合理帶寬預測幾個組成。(也就是說，數據文件獲取服務模塊2.1中的計算帶寬的方案實際是由節點機上的節點代理服務完成的)文件管理代理實現對文件的查詢、創建、QoS傳輸和刪除。帶寬統計主要完成對目前使用帶寬的統計。帶寬管理完成對帶寬申請的處理、帶寬的分配和回收。合理帶寬預測根據系統目前的狀況，動態對節點機所能提供帶寬閾值進行評估，以更接近真實的帶寬評估答覆下一次帶寬申請。一般而言，節點代理伺服器與GridFTP(網格文件傳輸協議)傳輸服務模塊3.2應當同處一臺節點機上，但對此本系統不做強行的限制。目前對該服務的實現主要集中於文件查詢代理、文件傳輸執行代理、帶寬管理、磁碟空間管理幾個組成，對應NodeAgent服務的節點資源部分。
存儲伺服器組有兩種工作模式數據發布模式和數據獲取模式。數據發布模式是用於用戶將具有實時服務質量(這個「實時」是指支持多複本並行獲取的意思)的數據文件存儲於數據平臺上的過程，以便於實時獲取(即多複本並行獲取)。數據獲取是用戶向存儲伺服器組提出實時獲取數據文件的要求並獲得以軟實時要求數據傳輸(基於多複本的並行傳輸)的過程。
所有加入存儲伺服器組的數據存儲伺服器(即節點機)通過系統狀態註冊向存儲伺服器組的信息和服務質量保證合同(Service Level Agreement)進行註冊(即寫機器貢獻表)；註冊內容包括節點機的存儲空間、網絡帶寬以及對文件傳輸服務的質量描述信息(靜態SLA)。
本發明的高層服務封裝設計符合網格服務(grid service)和web服務(webservice)規範，保證了平臺的實現細節對應用的透明性和易用性；廣域網範圍內的多數據複本並行傳輸機制實現了軟實時的服務質量的保障；客戶端智能代理透明的完成數據傳輸時間服務質量監控，進行並行調度；靈活的數據管理策略將數據文件描述、物理數據複本和物理機器獨立管理。
GridFTP(網格文件傳輸協議)傳輸服務模塊3.2(GridFTP(網格文件傳輸協議)Server)是整個系統的信息宿主，它由標準GridFTP(網格文件傳輸協議)伺服器、數據文件、共享用戶和共享目錄組成。其中GridFTP(網格文件傳輸協議)負責提供文件傳輸服務以及客戶的身份認證信息。數據文件是傳輸過程的操作源數據。共享用戶是指開放GridFTP(網格文件傳輸協議)的主機宿主用戶，它把文件請求映射成自身的用戶文件請求。共享目錄是指共享用戶為該平臺開放的用於存放數據文件的目錄。在目前的結構中，它是由標準的GridFTP(網格文件傳輸協議)伺服器組成，雖然可以適應沒有GridFTP(網格文件傳輸協議)擴展的普通FTP伺服器，這樣應該而且肯定適應面更廣，但由於其認證過程則不受Globus CA系統的約束且不能遵照GridFTP(網格文件傳輸協議)的認證授權體系進行文件訪問授權，故此沒有採用。一般而言，為一個GridFTP(網格文件傳輸協議)傳輸服務模塊(3.2)列出一個用戶以提供GridFTP(網格文件傳輸協議)服務，並把其$HOME目錄或是「/tmp/username」目錄做為其共享文件的根目錄，以後來的敘述中稱這個目錄為共享目錄「$FtpRoot」。具體的配置可以參照wu-ftpd的相關配置，這裡不多贅述數據文件存放到「$FtpRoot/$NameSpaceIP/$VersionNo/$LogicalName」，這樣比較有利於文件的組織。
通過對本發明進行了性能評測，可以得出，其數據傳輸質量控制模塊可以正確、有效地控制文件傳輸帶寬以及整個傳輸過程。在分片傳輸過程中，多個伺服器相以相互協作，共同實現文件傳輸。隨著被傳輸文件的增大，文件的實際傳輸時間與理論傳輸時間也越來越接近，可以認為並行分片傳輸達到了良好的傳輸效果。
同時本發明也具有良好的容錯性能，本系統可以在傳輸過程多次出錯的情況下仍可以將傳輸正常執行結束，且其負載是一個可以預料的值，因而本系統實現的文件可容錯輸可以正常工作，達到了預期的性能。
表1 各節點的硬體及網絡配置

表2 節點機系統資源(機器貢獻表)

表3 數據文件描述表

表4 數據文件發布部署管理表

表5 本地資源管理表

表6 物理文件副本管理表

權利要求
1.一種基於多副本的具有質量保證的網格數據傳輸系統，其特徵在於該系統包括數據傳輸客戶端組(1)、索引伺服器組(2)、存儲伺服器組(3)和認證伺服器組(4)；數據傳輸客戶端組(1)在上載數據到系統時，申請數據發布部署方案並請求索引伺服器組(2)執行此方案；在平臺下載數據時，實時獲取所需數據；向索引服務服務組(2)提出實時數據請求描述，包括數據文件邏輯描述，傳輸服務質量要求；接收索引服務服務組(2)提供的數據傳輸方案，組織要獲取的數據從多點並行獲取；並對數據傳輸的實時服務質量進行監控和報告錯誤；進行數據傳輸重組；索引伺服器組(2)用於對存儲伺服器組的系統信息和服務質量保證合同進行註冊和監控；存儲伺服器組(3)根據數據傳輸客戶端組(1)生成的數據發布方案產生發布表項並控制數據傳輸，生成多個物理複本；認證伺服器組(4)用於驗證數據傳輸客戶端(1)和存儲伺服器組(3)的身份，進行證書的籤發和認證。
2.根據權利要求1所述的網格數據傳輸系統，其特徵在於數據傳輸客戶端組(1)由i個用於並行處理多個用戶請求的客戶端(A)組成，i≥1；客戶端(A)包括用戶傳輸接口模塊(1.1)、傳輸項目組織模塊(1.2)、反饋匯報和控制模塊(1.3)、網格文件傳輸協議資源池模塊(1.4)、網格文件傳輸協議客戶端實例工廠模塊(1.5)、傳輸檢測控制模塊(1.6)、重傳支持模塊(1.7)和客戶端傳輸代理模塊(1.8)；其中，其中，用戶傳輸接口模塊(1.1)用於接收到外界數據，並傳數據到傳輸項目組織模塊(1.2)，傳輸項目組織模塊(1.2)組織傳輸項目處理數據傳輸和進行數據傳輸任務分塊，將已分好的數據傳輸任務塊傳到GridFTP資源池模塊(1.4)；GridFTP資源池模塊(1.4)為數據傳輸提供物理文件服務資源池，在服務資源池上通過GridFTP客戶端實例工廠模塊(1.5)產生的客戶端實例，這個過程由GSI認證客戶端模塊3.3進行認證，由客戶端傳輸代理模塊(1.8)調用其內的索引服務並獲取傳輸任務需要的各種服務等級協議信息和可用資源信息，執行傳輸任務；傳輸項目組織模塊(1.2)調用實時服務等級協議反饋匯報和控制模塊(1.3)接收與分析傳輸的反饋信息，向索引伺服器組(2)中的物理節點信息管理服務模塊(2.5)匯報對服務等級協議的執行情況，當有傳輸錯誤發生時，將錯誤類別傳給重傳支持模塊(1.7)，其通過錯誤類別組織數據重傳，在重傳過程中傳輸檢測控制模塊(1.6)對重傳支持模塊(1.7)進行檢測與控制。
3.根據權利要求1或2所述的網格數據傳輸系統，其特徵在於索引伺服器組(2)由k個用於並行處理多個用戶請求的索引伺服器(B)組成，其中，k≥1；索引伺服器(B)包括數據文件獲取服務模塊(2.1)、數據文件發布註冊服務模塊(2.2)、數據文件描述服務和發布服務模塊(2.3)、物理文件映射服務模塊(2.4)和物理節點信息管理服務模塊(2.5)；其中，文件獲取服務模塊(2.1)用於接收數據獲取請求，並調用數據文件描述服務模塊(2.3)查找描述信息，並獲取描述返回給文件獲取服務模塊(2.1)，文件獲取服務模塊(2.1)將文件的描述信息傳給物理文件映射服務模塊(2.4)，通過文件描述信息查找文件發布信息返回文件獲取服務模塊(2.1)；數據文件發布服務模塊(2.2)用於接收數據發布和部署請求，並向邏輯文件描述和發布服務模塊(2.3)查詢註冊信息，邏輯文件描述和發布服務模塊(2.3)完成數據文件描述的註冊和數據發布的申請；同時數據文件發布服務模塊(2.2)通過調用物理節點信息管理服務模塊(2.5)，為請求分配副本存儲資源形成發布方案，物理文件映射服務模塊(2.4)完成物理文件同邏輯發布映射綁定，執行發布方案。
4.根據權利要求3所述的網格數據傳輸系統，其特徵在於存儲伺服器組(3)由m個用於並行處理多個用戶請求的存儲伺服器(C)組成，其中，m≥1；存儲伺服器(C)採用網格文件傳輸協議服務，包括節點代理服務模塊(3.1)、網格文件傳輸協議傳輸服務模塊(3.2)、網格安全服務接口認證客戶端模塊(3.3)，節點代理服務模塊(3.1)代理在數據發布時使用的用來獲取數據的數據傳輸客戶端、本地網絡和存儲資源的獲取接口，網格安全服務接口認證客戶端模塊(3.3)完成同外部訪問點的安全交互認證和加密傳輸數據，將加密的數據傳給網格文件傳輸協議傳輸服務模塊(3.2)；網格文件傳輸協議傳輸服務模塊(3.2)用於接收的數據進行傳輸服務。
5.根據權利要求4所述的網格數據傳輸系統，其特徵在於認證伺服器組(4)由w個用於並行處理多個用戶請求的認證伺服器(D)組成，其中，w≥1；認證伺服器D包括網格安全服務接口客戶端安全組件。
全文摘要
本發明公開了一種基於多副本的具有質量保證的網格數據傳輸系統，該系統包括數據傳輸客戶端組、索引伺服器組、存儲伺服器組和認證伺服器組。索引伺服器組對存儲伺服器組的系統信息和服務質量保證合同進行註冊和監控；存儲伺服器組根據客戶端組生成的數據發布方案產生發布表項並控制數據傳輸，生成物理複本；認證伺服器組驗證客戶端和存儲伺服器組的身份，進行證書籤發認證。本發明均遵循OGSA標準，以網格服務的方式對外發布，獲得網格服務的特點，具有高可用性、可伸縮性和高性價比。各個服務鬆散耦合，提高平臺的總體可靠性。本系統採用PKI/CA安全機制，提供了一種廣域範圍內可擴展的安全認證機制，將數據安全擴展到數據傳輸層。
文檔編號H04L9/00GK1997013SQ200610125570
公開日2007年7月11日 申請日期2006年12月22日 優先權日2006年12月22日
發明者金海 , 袁平鵬, 黃莉, 毛峰, 狄盛, 孫盛, 袁世倫, 李昌清, 李豔霞, 史欽 申請人:華中科技大學