一種分布式數據集中的方法
2023-05-20 02:20:56
專利名稱：一種分布式數據集中的方法
技術領域：
本發明涉及IT運維領域，尤其涉及一種分布式數據集中的方法。
背景技術：
隨著網絡規模日益擴大，結構日漸複雜，對分布式應用服務的數據管理和維護難度越來越大，對智能化管理需求也越來越明顯。在IT運維領域中對於分布式伺服器部署越來越廣泛，當中心伺服器需要管理分布式伺服器的數據時，往往是切換到分布式服務上才能管理數據，所以提供了分布式數據集中管理的方法在中心伺服器就可以對分布式數據進行統一管理，針對分布式伺服器海量的採集數據進行集中處理，從而快速、準確、全面、客觀的展示分布式數據。
發明內容
SNMP Simple Network Management Protocol，簡單網絡管理協議 Telne t In terne t遠程登陸服務的一種協議和方式
SSH, Secure Shell,為建立在應用層和傳輸層基礎上的安全協議
FTP，File Transfer Pro tocol，文件傳輸助> 議，用於In terne t上的控制文件的雙向傳
JDBC,Java Data Base Connectivi ty, java 資料庫連接，用於執行 SQL 語句的 Java API 接口
本發明提供了一種分布式數據集中的方法，配置數據採集機和中心伺服器的通信權限，數據採集機採集網管設備數據，通信權限認證成功後通過代理伺服器定時把數據發送到中心伺服器，數據集中在中心伺服器中管理和展現。如圖1所示，該方法主要包括註冊認證、採集、發送數據其具體步驟如下1)在代理伺服器中錄入數據採集機和中心伺服器的通信關系列表；2)在代理伺服器上註冊認證信息；3)在代理伺服器上根據認證信息， 設置數據採集機和中心伺服器的通信權限；4)在代理伺服器上配置採集數據的過濾規則； 5)在數據採集機上錄入網管設備的採集方式及相關信息，設置網管設備的定時輪詢採集模式；6)數據採集機定時發送採集數據和認證信息到代理伺服器上；7)數據採集機認證成功後連接到代理伺服器中，通過配置規則對採集數據進行封裝後統一上報到指定的中心伺服器上；8)當中心伺服器接收到數據後，通過代理伺服器通知數據採集機數據接收成功；9) 中心伺服器進行數據匯總。本發明中，所述步驟1)可用過EXCEL、XML、TXT導入中心伺服器和數據採集的通信綁定關係，一條信息代表一條可通信的線路，可支持中心伺服器集群、數據採集機集群，支持多對多的關係，多臺中心伺服器和採集機可綁定不同的通信線路。本發明中，所述步驟、2)在代理伺服器上註冊認證信息使用用戶名和密碼的方式註冊，也可以通過認證碼的方式註冊
本發明中，所述步驟、3)是將所述步驟1)和步驟2)中線路通信權限與註冊的認證信息進行關聯，有此權限後才能對中心伺服器發送數據。本發明中，所述步驟1)、2 )其順序可以任意交換。本發明中，所述步驟4)可根據具體需要進行設置或預設。本發明中，所述步驟5)、6)需要以步驟1)、2)、3)為前提。本發明中，所述步驟7 )、8 )採用步驟5 )、6 )中設置的定時輪詢方式，定時採集和發送數據。本發明中，所述步驟7)是分布式數據集中的過程，步驟9)需要以步驟1)、2)、3)、 5)、6)、7)、8)為前提。綜上所述，由於採用了上述技術方案，本發明的有益效果是可以顯著對分布式數據進行方便的管理和集中，並且數據可以在中心伺服器進行統一管理，這樣不僅節約人工維護成本，而且也降低了維護處理的風險。
本發明將通過例子並參照附圖的方式說明，其中圖1是分布式數據集中的步驟流程圖。圖2是分布式數據集中原理圖。圖3是分布式數據集中交互圖。
具體實施例方式本說明書中公開的所有特徵，或公開的所有方法或過程中的步驟，除了互相排斥的特徵和/或步驟以外，均可以以任何方式組合。本說明書(包括任何附加權利要求、摘要和附圖)中公開的任一特徵，除非特別敘述，均可被其他等效或具有類似目的的替代特徵加以替換。即，除非特別敘述，每個特徵只是一系列等效或類似特徵中的一個例子而已。
具體實施方式
1
下面將結合附圖對本發明做進一步的說明
如圖1所示，SNMP方式進行網管設備進行數據採集，代理伺服器集成FTP服務對分布式數據集中和上傳的步驟為1)通過EXCEL/XML/TXT文件方式導入在代理伺服器中錄入數據採集機和中心伺服器的通信關系列表，導入信息包括數據採集機IP位址、中心伺服器的IP位址，每條數據對應了數據採集機和中心伺服器通信關係。2)在代理伺服器上註冊認證信息，此認證信息包括了登陸FTP服務的ID和PASSWORD以及登陸代理伺服器的ID和 PASSWORD,登陸代理伺服器ID與登陸FTP服務的信息進行關聯。3)在代理伺服器上根據認證信息，設置數據採集機和中心伺服器的通信權限。此步驟就是把步驟1)和步驟2)的信息進行綁定，認證信息可擁有多條通信線路的權限，此權限目的為認證信息是否有權限在條線路中執行數據傳送4)在代理伺服器上配置採集數據的過濾規則。當網管設備採集數據發送到代理伺服器時，採集數據中包括的網絡、終端、資料庫信息，但對於1號中心伺服器只需要終端信息、此時就過濾掉網絡和資料庫信息。5)在數據採集機上錄入網管設備信息採集方式為SNMP，網管設備IP、團體字、信息採集的OID等相關採集需要的信息，再設置數據採集輪詢模式可以設置為每天/每周/每月某個時間點輪詢，同時設置定時數據發送中心伺服器的時間點和周期。6)當數據機採集完畢後獲取數據發送的時間和周期，如判斷周期和時間點已經達到則發送認證消息和數據包到代理伺服器上。7)代理伺服器步接收步驟2中的認證信息和數據包，通過認證信息獲取步驟3中進行關聯後的數據採集機和中心伺服器的數據傳輸通信權限，如果有權限則再次通過認證信息獲取關聯的ftp 口令和對應的中心伺服器IP來確定數據發送點，此後通過獲取數據過濾規則進行數據過濾，也可以對數據進行格式轉換和封裝後發送到指定的IP中心伺服器上，否則認證失敗則不發送。8 )當中心伺服器收到代理伺服器發送的數據包時候，會返回接收成功與否標示符到代理伺服器。9 )以達到中心伺服器對採集數據進行集中管理和展現的目的。
具體實施方式
2
下面將結合附圖對本發明做進一步的說明
Telnet/SSH方式進行網管設備進行數據採集，代理伺服器集成EJB對分布式數據集中和發送的步驟為1)通過信息註冊的方式註冊在代理伺服器中錄入數據採集機和中心伺服器的通信關系列表，導入信息包括數據採集機IP、埠、中心伺服器的IP、埠，每條數據對應了數據採集機和中心伺服器通信關係。2)在代理伺服器上註冊認證信息，此認證信息包括了登陸代理伺服器的口令。3)在代理伺服器上根據認證信息，設置數據採集機和中心伺服器的通信權限。此步驟就是把步驟1)和步驟2)的信息進行綁定，認證信息可擁有多條通信線路的權限，此權限目的為認證信息是否有權限在條線路中執行數據傳送 4)在代理伺服器上配置採集數據的過濾規則。當網管設備採集數據發送到代理伺服器時，採集數據中包括的網絡、終端、資料庫信息，但對於1號中心伺服器只需要終端信息、對於2號中心伺服器只需要網絡信息、3號伺服器只需要資料庫信息此時就根據過濾規則進行分別過濾。5)在數據採集機上錄入網管設備的採集方式Telnet/SSH、IP、數據採集腳本等相關採集需要的信息，再設置數據採集輪詢模式可以設置為每天/每周/每月某個時間點輪詢，同時設置定時數據發送中心伺服器的時間點和周期。6)當數據機採集完畢後獲取數據發送的時間和周期，如判斷周期和時間點已經達到則發送認證消息和數據包到代理伺服器上。 7)代理伺服器步接收步驟2中的認證信息和數據包，通過認證信息獲取步驟3中進行關聯後的數據採集機和中心伺服器的數據傳輸通信權限，如果有權限則再次通過認證信息獲取關聯IP、埠信息來確定代理伺服器中EJB數據發送點，此後通過獲取數據過濾規則進行數據過濾，也可以對數據進行格式轉換和封裝後發送到指定的IP中心伺服器上，否則認證失敗則不發送。8 )當中心伺服器收到代理伺服器發送的數據包時候，會返回接收成功與否標示符到代理伺服器。9 )中心伺服器對採集數據進行集中展現。本發明並不局限於前述的具體實施方式
。本發明擴展到任何在本說明書中披露的新特徵或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。
權利要求
1.一種分布式數據集中的方法，其特徵在於該方法包括以下步驟1)在代理伺服器中錄入數據採集機和中心伺服器的通信關系列表；2)在代理伺服器上註冊認證信息；3)在代理伺服器上根據認證信息，設置數據採集機和中心伺服器的通信權限；4)在代理伺服器上配置採集數據的過濾規則；5)在數據採集機上錄入網管設備的採集方式及相關信息，設置網管設備的定時輪詢採集模式；6)數據採集機定時發送採集數據和認證信息到代理伺服器上；7)數據採集機認證成功後連接到代理伺服器中，根據所述步驟4)中的配置規則對採集數據進行過濾再統一傳送到指定的中心伺服器上；8)當中心伺服器接收到數據後，通過代理伺服器通知數據採集機數據接收成功；9)中心伺服器進行數據匯總。
2.根據權利要求1所述的一種分布式數據集中的方法，其特徵在於所述步驟3)的具體工作步驟是將所述步驟1)和步驟2)中線路通信權限與註冊的認證信息進行關聯，有此權限後才能對中心伺服器發送數據。
3.根據權利要求1所述的一種分布式數據集中的方法，其特徵在於所述步驟7)、8)也具體採用步驟5)中設置的定時輪詢方式，定時進行數據採集和發送。
4.根據權利要求1所述的一種分布式數據集中的方法，其特徵在於所述步驟5)可根據具體需要進行設置或使用預設值。
5.根據權利要求1所述的一種分布式數據集中的方法，其特徵在於所述步驟1)、2)， 其順序可以交換。
全文摘要
本發明公開了一種分布式數據集中的方法,該方法包括以下步驟:1)在代理伺服器中錄入數據採集機和中心伺服器的通信關系列表；2)在代理伺服器上註冊認證信息；3)在代理伺服器上設置數據採集機和中心伺服器的通信權限；4)在代理伺服器上配置數據的過濾規則；5)在數據採集機上設置網管設備的定時輪詢採集模式；6)數據採集機定時發送採集數據和認證信息到代理伺服器上；7)認證成功後代理伺服器根據配置規則對數據進行過濾再統一傳送到中心伺服器；8)中心伺服器進行數據匯總。應用上述方法，可以顯著對分布式數據進行方便的管理和集中，並且數據可以在中心伺服器進行統一管理，這樣不僅節約人工維護成本，而且也降低了分布式數據管理的風險。
文檔編號H04L29/08GK102185715SQ201110114139
公開日2011年9月14日 申請日期2011年5月4日 優先權日2011年5月4日
發明者廖昕, 王希 申請人:成都勤智數碼科技有限公司