一種網絡gis系統及其數據傳輸方法
2023-09-23 00:16:15 2
專利名稱:一種網絡gis系統及其數據傳輸方法
技術領域:
本發明屬於地理信息技術領域,特別涉及一種網絡GIS系統及其數據傳輸方法。
背景技術:
網絡為世界各地用戶之間的信息交換與信息查詢提供了一條信息高速公路,地理信息系統(Geographic Information System,簡稱GIS)具有豐富的空間查詢、空間分析及屬性管理功能,正在成為Internet或Intranet的一個主要內容。隨著Internet技術的不斷發展和人們對GIS系統的需求,把GIS系統與網絡技術相融合,利用Internet為用戶提供空間數據瀏覽、查詢和分析的功能,形成一個網絡化的地理空間集成平臺,成為GIS系統發展的必然趨勢。隨著網絡GIS應用領域的日益擴大、空間數據解析度的不斷提高和一維處理向多維處理的轉變,大型網絡GIS管理的空間數據量急劇增加,從GB級到TB級,甚至PB級,正在以系統為中心向以數據為中心轉變。
目前,網絡GIS在Internet的應用為典型的三層結構,包括客戶機、應用伺服器、資料庫伺服器,所有的空間數據和應用服務程序都放在伺服器端,大大降低了客戶端系統的工作量。但是,隨著空間數據量的增加,這種結構存在兩個數據傳輸瓶頸伺服器提供服務的網絡服務帶寬瓶頸和空間數據存儲系統的存儲I/O帶寬瓶頸。具體地說,當GIS用戶數量的增加,單伺服器結構的GIS應用伺服器受網絡帶寬的限制,難以滿足多用戶並發訪問的要求,這種服務數統的訪問量也急劇增加,這種空間數據傳輸壓力造成了空間數據存儲系統的存儲I/O瓶頸。因為網絡GIS應用與常規事務處理有很大不同,突出表現在巨大的數據量、複雜的處理方式、空間的分布性,因此現有網絡GIS技術領域尚未出現解決這兩種瓶頸的技術手段,網絡GIS應用的發展受到限制。
發明內容
本發明目的在於解決現有技術不足,提供網絡GIS技術方案克服網絡服務帶寬瓶頸和存儲I/O帶寬瓶頸。
為實現上述目的,本發明網絡GIS系統包括以下組成部分,GIS客戶端,用於向客戶提供GIS服務請求操作和獲得服務結果;應用伺服器集群,用於響應GIS客戶端的GIS服務請求並提供GIS服務;基於對象存儲集群,用於以空間存儲對象的方式存儲空間數據,並向應用伺服器集群提供存儲共享池。
而且,應用伺服器集群由負載調度器和GIS伺服器池組成,上述部份通過基於TCP/IP的交換網絡相連接。
而且,設置負載調度器副本。
而且,GIS伺服器池採用LVS伺服器組成。
而且,基於對象存儲集群由元數據伺服器和基於對象存儲設備組成。
而且,GIS伺服器、元數據伺服器和基於對象存儲設備通過基於TCP/IP的交換網絡互連。
本發明還提供了上述網絡GIS系統的數據傳輸方法,空間數據以空間存儲對象的方式存儲在基於對象存儲集群中,應用伺服器集群和基於對象存儲集群相結合,基於對象存儲集群給應用伺服器集群提供存儲共享池,GIS客戶端通過應用伺服器集群來訪問基於對象存儲集群中的空間存儲對象。
而且,控制路徑、數據路徑和管理路徑分離,GIS伺服器通過控制路徑向元數據伺服器發送數據訪問請求;元數據伺服器通過管理路徑來管理基於對象存儲設備;GIS伺服器通過數據路徑直接訪問基於對象存儲設備。
而且,GIS客戶端從基於對象存儲設備中獲取空間數據的數據傳輸過程為(a)GIS客戶端向負載調度器發出GIS服務請求;(b)負載調度器從GIS伺服器池中選擇一個GIS伺服器並向該GIS伺服器轉發GIS服務請求;(c)GIS伺服器向元數據伺服器發出數據服務請求;(d)元數據伺服器對GIS伺服器進行認證,返回有效的信任狀;(e)GIS伺服器利用信任狀向基於對象存儲設備發送數據訪問請求;(f)基於對象存儲設備通過信任狀來驗證GIS伺服器數據請求的合法性,建立數據傳輸連接;(g)GIS伺服器將從基於對象存儲設備獲得的空間數據根據GIS服務請求進行處理後向GIS客戶端提供。
而且,在信任狀的有效期內,GIS客戶端繼續從基於對象存儲設備中獲取空間數據時,無需重複步驟(d)~(f),直接在GIS伺服器同基於對象存儲設備之間進行數據交換。
本發明創造性地設置雙重集群來實現網絡GIS系統,通過應用伺服器集群來管理網絡GIS系統中的服務,解決了GIS伺服器提供服務的網絡服務帶寬瓶頸;通過應用伺服器集群和基於對象存儲集群的結合,構建新的空間數據傳輸路徑,解決了存儲I/O帶寬瓶頸。通過綜合解決兩種數據傳輸瓶頸,本發明大幅提高了網絡GIS的數據傳輸速率。本發明還為網絡GIS應用提供了新網絡GIS系統的數據傳輸方法,並建立了安全的數據傳輸機制;採用基於對象存儲方式,解決存儲設備的異構環境問題。本發明的實施將為全球地理信息的普及應用奠定堅實的網絡基礎,為人類生活的各方面應用地理信息帶來巨大的方便。
圖1是本發明的網絡GIS系統組成框圖;圖2是本發明的應用伺服器集群原理圖;圖3是本發明的基於對象存儲集群原理圖;圖4是本發明實施例的數據傳輸工作流程圖。
具體實施例方式
參見附圖1,本發明提供的網絡GIS系統包括以下組成部分,(1)GIS客戶端1,用於向客戶提供GIS服務請求操作;GIS客戶端部分主要是裝有GIS客戶端軟體的客戶機組成;GIS客戶端通過網絡(通常採用Internet)和應用伺服器集群相連。GIS客戶端部分屬於現有技術已有部份。在一個網絡GIS系統中,GIS客戶端的數量常常是龐大的且不確定的,用戶只需在個人計算機上安裝GIS客戶端軟體,即意味著產生一個可供接入的客戶端。因此除非安全要求高的地理信息系統(例如軍事用途),GIS客戶端1和其他部份採用內部區域網連接,其他情況下採用Internet連接是最方便最實用的做法。
(2)應用伺服器集群2,用於響應GIS客戶端的GIS服務請求並提供GIS服務;應用伺服器集群部份實現的功能與現有技術三層結構中的應用伺服器類似,用於響應GIS客戶端請求並提供服務。本發明的應用伺服器集群部份由負載調度器211、GIS伺服器池組成,具體實施時可採用使用基於TCP/IP的100M/1000M高速交換網絡。
集群是多個系統的集合或組,它們作為單個伺服器在一起工作。因此考慮到網絡GIS日益龐大的服務任務,採用集群技術提供GIS服務是解決網絡服務帶寬瓶頸的最佳思路。GIS伺服器池包括多個提供相同服務的GIS伺服器,每個GIS伺服器作為集群的一個節點發揮作用。目前基於Linux核心的集群伺服器技術最為成熟,具體實施時應用伺服器集群2可按LVS伺服器集群標準構建,GIS伺服器可採用LVS伺服器。為了分配資源,還需設置負載調度器211,當GIS客戶端1發送GIS服務請求時,負載調度器211將根據內置的調度算法將用戶的請求轉發給GIS伺服器池中的某一GIS伺服器。負載調度器211是整個應用伺服器集群的負載均衡核心,具體實施時所有的操作都在Linux作業系統核心空間中完成的,開銷很小,具有很高的吞吐率。GIS服務需要調用空間數據,本發明通過基於對象存儲集群提供共享存儲空間,以支持GIS伺服器池內所有GIS伺服器的調用。
參見圖2,本發明實施例還設置了負載調度器副本212作為負載調度器211的備用,是整個應用伺服器集群2中唯一面對GIS客戶端1的部分;GIS伺服器池由GIS伺服器221和GIS伺服器222等組成(附圖中只舉出兩個GIS伺服器,事實上可以擴展更多),構成GIS服務的真正提供者。當整個系統收到的負載超過目前所有結點的處理能力時,可以在GIS伺服器池中增加GIS伺服器來滿足不斷增長的請求負載。GIS應用伺服器、數據伺服器、WMS伺服器(WMS即倉庫管理系統)等等各種GIS伺服器都可以是GIS伺服器池的組成部份。為了提供良好的伸縮性和可用性,本發明採用了基於對象存儲技術,GIS伺服器訪問基於對象的存儲集群文件系統就像訪問本地文件系統一樣。為了便於反應應用伺服器集群2的原理,本發明實施例將基於對象存儲集群3實現的共享存儲空間稱為應用伺服器集群的存儲共享池,採用X標記。
(3)基於對象存儲集群3,用於以空間存儲對象的方式存儲空間數據,並向應用伺服器集群提供存儲共享池X。
單一資料庫伺服器的數據容量已無法滿足網絡GIS應用,本發明採用集群存儲技術取代了現有技術中資料庫伺服器的作用。海量數據存儲技術經歷了由DAS(直連方式存儲)、NAS(網絡直接存儲)到SAN(存儲區域網絡)的三個階段其中DAS方式是將存儲設備通過電纜直接到伺服器,是硬體的堆疊,沒有文件系統的改進,因為缺乏集中管理解決方案而使用有限;NAS方式可視為塊級集群技術,是將不同系統平臺下的所有文件存到一臺存儲設備中,因此同樣存在I/O瓶頸,也無法解決網絡GIS面臨的瓶頸問題;SAN方式通過一個軟體虛擬層實現文件級集群,只需通過一個SAN文件系統即可訪問存儲在多個設備上的文件,因此多個設備構成集群可以為存儲數據提供更多的空間。但是目前這種方式仍難以滿足網絡GIS的要求,因為典型的SAN方式需要設置元數據伺服器作為大規模集群存儲的中心,獲取存儲數據需經過元數據伺服器的訪問、控制、管理,因此元數據伺服器容易構成I/O瓶頸。並且SAN方式只能集中管理同構環境的文件,難以應用於網絡GIS複雜的空間數據來源。
本發明提出了適合於網絡GIS的存儲集群方案,通過應用伺服器集群2和基於對象存儲集群3的結合,構建新的空間數據傳輸路徑,GIS客戶端1通過應用伺服器集群2來訪問基於對象存儲集群3中的空間存儲對象,通過GIS伺服器和存儲設備的直接傳輸解決了存儲I/O帶寬瓶頸。
本發明採用基於對象存儲設備32,基於對象存儲通過對象層次的抽象設計,將數據存儲的訪問、控制、管理等功能重新劃分,將文件系統的邏輯結構與物理存儲的映射關係隱藏到對象一層,數據的訪問操作通過對象的接口實現。基於對象存儲能夠將與設備相關的特性(如塊分配)從設備一層中分離出來,隱藏於對象層中,實現跨平臺共享,有效解決SAN面臨的異構環境問題。具體實施時,海量空間數據根據自身特點、應用和存儲需求分解為一系列空間存儲對象進行基於對象的空間數據存儲和管理。空間存儲對象可以定義為一組分布在一個或多個基於對象存儲設備上的由空間數據、存儲屬性和操作組成的對象。存儲屬性用來定義不同空間數據的存儲特點,如數據布局、安全信息和使用狀況統計信息等,從而能根據存儲屬性指明對空間數據的操作處理。基於對象存儲將空間數據和屬性數據以空間存儲對象進行存儲,為實現空間數據的集中存儲管理提供了一種新的解決方案。因此,值得注意的是,本發明的基於對象存儲設備32在具體實施時意味著多個存儲設備硬體,並且這些硬體可以為不同種類。具體實施時這些硬體通過交換網絡互聯,構成存儲集群的基礎。從具體硬體連接來看,應用伺服器集群2的GIS伺服器、元數據伺服器31和基於對象存儲設備32通過基於TCP/IP的交換網絡互連即可。
本發明還總結提供了這種基於雙重集群的網絡GIS系統的數據傳輸方法採用空間數據以空間存儲對象的方式存儲在基於對象存儲集群3中,應用伺服器集群2和基於對象存儲集群3相結合,基於對象存儲集群3給應用伺服器集群2提供存儲共享池X,GIS客戶端1通過應用伺服器集群2來訪問基於對象存儲集群3中的空間存儲對象。本發明還改進了空間數據存儲I/O方式進行數據傳輸時,元數據伺服器31從應用伺服器中獨立出來,把控制路徑、數據路徑和管理路徑分離具體實施例參見圖3,某一GIS伺服器221通過控制路徑向元數據伺服器31發送數據訪問請求;元數據伺服器31通過管理路徑來管理基於對象存儲設備32;GIS伺服器221通過數據路徑直接訪問基於對象存儲設備32。這種結構大大縮短了I/O路徑,並且將90%的元數據管理下移到基於對象存儲設備32中,從而解決了傳統網絡集群存儲技術中的元數據伺服器瓶頸問題。
參見圖4,GIS客戶端1從基於對象存儲設備32中獲取空間數據的數據傳輸過程可分為以下步驟進行(a)GIS客戶端1向負載調度器211發出GIS服務請求;(b)負載調度器211從GIS伺服器池中選擇一個GIS伺服器221並向該GIS伺服器221轉發GIS服務請求;(c)GIS伺服器221向元數據伺服器31發出數據服務請求;(d)元數據伺服器31對GIS伺服器221進行認證,返回有效的信任狀;(e)GIS伺服器221利用信任狀向基於對象存儲設備32發送數據訪問請求;(f)基於對象存儲設備32通過信任狀來驗證GIS伺服器221數據請求的合法性,建立數據傳輸連接;(g)GIS伺服器221將從基於對象存儲設備獲得的空間數據根據GIS服務請求進行處理後向GIS客戶端1提供。
在信任狀的有效期內,GIS客戶端1繼續從基於對象存儲設備32中獲取空間數據時,無需重複步驟(d)~(f),直接在GIS伺服器221同基於對象存儲設備32之間進行數據交換。
權利要求
1.一種網絡GIS系統,其特徵在於包括以下組成部分,GIS客戶端,用於向客戶提供GIS服務請求操作和獲得服務結果;應用伺服器集群,用於響應GIS客戶端的GIS服務請求並提供GIS服務;基於對象存儲集群,用於以空間存儲對象的方式存儲空間數據,並向應用伺服器集群提供存儲共享池。
2.如權利要求1所述的網絡GIS系統,其特徵在於應用伺服器集群由負載調度器和GIS伺服器池組成,上述部份通過基於TCP/IP的交換網絡相連接。
3.如權利要求2所述的網絡GIS系統,其特徵在於設置負載調度器副本。
4.如權利要求2或3所述的網絡GIS系統,其特徵在於GIS伺服器池採用LVS伺服器組成。
5.如權利要求1或2或3所述的網絡GIS系統,其特徵在於基於對象存儲集群由元數據伺服器和基於對象存儲設備組成。
6.如權利要求5所述的網絡GIS系統,其特徵在於GIS伺服器、元數據伺服器和基於對象存儲設備通過基於TCP/IP的交換網絡互連。
7.一種如權利要求1或2或3或6所述的網絡GIS系統的數據傳輸方法,其特徵在於空間數據以空間存儲對象的方式存儲在基於對象存儲集群中,應用伺服器集群和基於對象存儲集群相結合,基於對象存儲集群給應用伺服器集群提供存儲共享池,GIS客戶端通過應用伺服器集群來訪問基於對象存儲集群中的空間存儲對象。
8.一種如權利要求7所述的網絡GIS系統的數據傳輸方法,其特徵在於控制路徑、數據路徑和管理路徑分離,GIS伺服器通過控制路徑向元數據伺服器發送數據訪問請求;元數據伺服器通過管理路徑來管理基於對象存儲設備;GIS伺服器通過數據路徑直接訪問基於對象存儲設備。
9.一種如權利要求8所述的網絡GIS系統的數據傳輸方法,其特徵在於GIS客戶端從基於對象存儲設備中獲取空間數據的數據傳輸過程為(a)GIS客戶端向負載調度器發出GIS服務請求;(b)負載調度器從GIS伺服器池中選擇一個GIS伺服器並向該GIS伺服器轉發GIS服務請求;(c)GIS伺服器向元數據伺服器發出數據服務請求;(d)元數據伺服器對GIS伺服器進行認證,返回有效的信任狀;(e)GIS伺服器利用信任狀向基於對象存儲設備發送數據訪問請求;(f)基於對象存儲設備通過信任狀來驗證GIS伺服器數據請求的合法性,建立數據傳輸連接;(g)GIS伺服器將從基於對象存儲設備獲得的空間數據根據GIS服務請求進行處理後向GIS客戶端提供。
10.一種如權利要求9所述的網絡GIS系統的數據傳輸方法,其特徵在於在信任狀的有效期內,GIS客戶端繼續從基於對象存儲設備中獲取空間數據時,無需重複步驟(d)~(f),直接在GIS伺服器同基於對象存儲設備之間進行數據交換。
全文摘要
本發明屬於地理信息技術領域,提供一種網絡GIS系統及其數據傳輸方法。網絡GIS系統包括GIS客戶端,用於向客戶提供GIS服務請求操作和獲得服務結果;應用伺服器集群,用於響應GIS客戶端的GIS服務請求並提供GIS服務;基於對象存儲集群,用於以空間存儲對象的方式存儲空間數據,並向應用伺服器集群提供存儲共享池。網絡GIS系統的數據傳輸方法是空間數據以空間存儲對象的方式存儲在基於對象存儲集群中,應用伺服器集群和基於對象存儲集群相結合,基於對象存儲集群給應用伺服器集群提供存儲共享池,GIS客戶端通過應用伺服器集群來訪問基於對象存儲集群中的空間存儲對象。本發明大幅提高了網絡GIS的數據傳輸速率。
文檔編號H04L12/44GK101014044SQ200710051430
公開日2007年8月8日 申請日期2007年1月30日 優先權日2007年1月30日
發明者喻佔武, 李忠民, 鄭勝, 李銳, 潘少明, 胡濱 申請人:武漢大學