一種數據採集方法、數據採集機集群及數據採集機的製作方法

2023-05-01 18:54:01 1

專利名稱：一種數據採集方法、數據採集機集群及數據採集機的製作方法
技術領域：
本 發明屬於通信技術領域，尤其涉及一種數據採集方法、數據採集機集群及數據 採集機。
背景技術：
現有的數據採集方式分為主動採集和被動接收，其中，主動採集是指數據採集機 定期主動地從被採裝置或系統收集信息；被動接收是指被採裝置或系統定期或實時將信息 發送到數據採集機，由數據採集機接收並進行相應處理。目前，數據採集的種類及其技術方案如下1)性能數據的採集，數據採集方式主動採集，採集機性能採集器定期向被管設 備發出snmp (簡單網絡管理協議)請求，請求設備給出CPU(中央處理器)和內存的利用率 的指標，設備收到snmp請求之後，收集指標並將指標回傳性能採集機。2)告警數據採集，告警數據採集方式主要有兩種被動接收和主動輪詢，其中主 動輪詢是採集機通過主動發起探測，如按照網元可達性、性能閥值策略指定內容進行觸發 告警備註。3)流量數據採集，流量數據採集方式與流量採集和告警採集類似，也是屬於被動 接收。流量採集機被動接收核心路由器發送過來的數據包，收到數據包之後以文件形式進 行上傳。4)業務數據採集，業務數據主要是指業務系統的性能數據，採集上來用作業務報 表分析，業務數據的種類很多，對應的採集方式也不定，主要為文件接口 業務數據定期 生成文本文件，採集機定時FTP(文件傳輸協議)獲取；資料庫接口 這種方式業務數據存 在資料庫表裡，設備廠商提供相應的訪問權限，採集機去資料庫讀取snmp接口。在現有技術中，數據採集機的可靠性非常重要，數據採集機的可靠性關係到採集 數據的完整性。可靠的數據採集機和系統能夠減少人工檢查數據完備性的工作量，能促進 被採集(管理)裝置或系統的運行質量的改善。然而，由於目前的數據採集機本身是不可靠的，當數據採集機發生故障時，將會造 成數據採集系統的中斷，雖然採用補採等方式能夠儘可能實現性能數據完整性，但對於實 時的告警、狀態數據等無法保證完整性。

發明內容
為了解決上述問題，本發明的目的是提供一種數據採集方法、數據採集機集群及 數據採集機，能夠有效保證採集數據的完整性。為了達到上述目的，本發明提供一種數據採集方法，應用於數據採集機集群中，所 述數據採集機集群中包括至少兩個數據採集機，所述方法包括步驟A、所述數據採集機集群中的第一數據採集機進行數據採集，並將採集的數據 存儲到所述數據採集機集群的分布式文件系統中；
步驟B、當所述第一數據採集機發生故障時，由所述數據採集機集群中的第二數據 採集機替換所述第一數據採集機進行數據採集，所述第二數據採集機採集的數據存儲到所 述數據採集機集群的分布式文件系統中。優選的，所述第一數據採集機和所述第二數據採集機通過網絡進行互聯，作為雲 計算平臺節點。

優選的，在所述步驟A之前，所述方法還包括將所述數據採集機集群中的所述第一數據採集機設置為主數據採集機；將所述數據採集機集群中的第二數據採集機設置為備用數據採集機。優選的，所述步驟B之後，所述方法還包括步驟C、在所述第一數據採集機發生故障時，所述第一數據採集機發送故障告警信 肩、ο優選的，所述步驟C之後，所述方法還包括
對所述第一數據採集機進行故障修復；將所述第二數據採集機設置為主數據採集機，將所述第一數據採集機設置為備用 數據採集機。本發明還提供一種數據採集機集群，包括第一數據採集機，用於進行數據採集，並將採集的數據存儲到所述數據採集機集 群的分布式文件系統中；第二數據採集機，用於當所述第一數據採集機發生故障時，替換所述第一數據採 集機進行數據採集，並將採集的數據存儲到所述數據採集機集群的分布式文件系統中。優選的，所述第一數據採集機包括數據採集模塊，用於進行數據採集，並將採集的數據存儲到分布式文件系統中；故障檢測模塊，用於檢測是否發生故障，若是，觸發所述第二數據採集機中的數據 採集模塊進行數據採集。優選的，所述第一數據採集機和所述第二數據採集機通過網絡進行互聯，作為雲 計算平臺節點。本發明還提供一種數據採集機，包括數據採集模塊，用於進行數據採集，並將採集的數據存儲到分布式文件系統中；故障檢測模塊，用於檢測是否發生故障，若是，觸發其他數據採集機的數據採集模 塊進行數據採集。優選的，還包括配置模塊，與所述數據採集模塊連接，用於配置數據採集機的數據採集方式。優選的，所述數據採集機還包括故障告警模塊，與所述故障檢測模塊連接，用於在所述數據採集機發生故障時，發
送故障告警信息。由上述技術方案可知，通過在數據採集機集群中設置主數據採集機和備用數據採 集機，由主數據採集機進行數據採集，並將採集的數據存儲到數據採集機集群的分布式文 件系統中。當主數據採集機發生故障時，由備用數據採集機替換主數據採集機的數據採集 任務，將備用數據採集機採集的數據存儲到採集機集群的分布式文件系統中，避免了現有技術中因數據採集機發生故障，而影響採集數據完整性的缺陷，由於在分布式文件系統中 每個文件都有多個備份，因此本發明的技術方案能夠為採集數據提供可靠的保證支持，提 高了數據採集過程的可靠性。


圖1為本發明的實施例中數據採集方法的流程圖；圖2為本發明的實施例中數據採集機集群的結構示意
圖3為本發明的實施例中數據採集機的結構示意圖。
具體實施例方式在本實施例中，通過在數據採集機集群中設置主數據採集機和備用數據採集機， 由主數據採集機進行數據採集，並將採集的數據存儲到數據採集機集群的分布式文件系統 中。當主數據採集機發生故障時，由備用數據採集機替換主數據採集機進行數據採集，備用 數據採集機採集的數據也存儲到採集機集群的分布式文件系統中。為了使本發明實施例的目的、技術方案和優點更加清楚明白，下面結合實施例和 附圖，對本發明實施例做進一步詳細地說明。在此，本發明的示意性實施例及說明用於解釋 本發明，但並不作為對本發明的限定。參見圖1，為本發明的實施例中數據採集方法的流程圖，該數據採集方法應用於數 據採集集群中，該數據採集集群中包括至少兩個數據採集機，具體步驟如下步驟101、將數據採集機集群中的第一數據採集機設置為主數據採集機，將數據採 集機集群中的第二數據採集機設置為備用數據採集機；在本實施例中，數據採集機可通過具有數據採集功能的PC伺服器來實現，通過網 絡將多臺PC伺服器互聯，由此可建立數據採集機集群。在該數據採集機集群中包括至少兩 臺PC伺服器。下面以該數據採集機集群中包括第一數據採集機和第二數據採集機為例來 介紹本方法流程，其他情況於此類似。在本實施例中，數據採集機集群中的數據採集機可以主備復用方式進行部署，也 就是同時在數據採集機集群中部署主數據採集機和備用數據採集機，例如將數據採集機集 群中的第一數據採集機設置為主數據採集機，將數據採集機集群中的第二數據採集機設置 為備用數據採集機，也就是通常使用第一數據採集機進行數據採集，而第二數據採集機作 為備用數據採集機。當第一數據採集機發生故障時，可由第二數據採集機接管第一數據採 集機，繼續原數據採集任務。當然，主數據採集機和備用數據採集機並不需要一一對應，例 如當主數據採集機發生故障時，可從多臺備用數據採集機中隨機選取一臺備用數據採集 機，來替換發生故障的主數據採集機。上述數據採集機可作為雲計算平臺節點，該雲計算平臺是指將多個數據採集機通 過網絡進行互聯，由該數據採集機形成數據採集層，例如，將第一數據採集機和第二數據採 集機通過網絡進行互聯，作為雲計算平臺節點。該雲計算平臺上可安裝雲計算基礎軟體，例 如分布式文件系統。由於分布式文件系統中存儲的數據文件具有多副本機制，也就是每個 文件在分布式文件系統上有多個備份，且可分布在不同的數據採集機上，如果某個數據採 集機發生故障，其他數據採集機上的副本依然可以支持外界的訪問。
在本實施例中，該分布式文件系統可以獨立應用層軟體的形式嵌入到數據採集機 中，當然也可通過提供標準訪問接口與數據採集機建立連接，例如該分布式文件系統可通 過FUSE方式掛載到數據採集機上，並提供POSIX標準文件訪問接口供數據採集機訪問。通 過該分布式文件系統，有效保證了採集數據的高可用性。步驟102、設置第一數據採集機和第二數據採集機的數據採集方式；在本實施例中， 第一數據採集機和第二數據採集機採集數據的方式可以是主動採 集或被動採集。其中，主動採集是指數據採集機定期主動地從被採裝置或系統收集數據；被 動接收是指被採裝置或系統定期或實時將信息發送到數據採集機，由數據採集機接收並進 行相應處理。主動採集和被動採集是數據採集機預先設置好的採集策略，可根據具體的數據採 集機來選用具體的數據採集方式。例如可以用FTP (文件傳輸協議)或HTTP (超文件傳輸 協議)協議進行數據採集，也可建立SOCKET (用於在兩個基於TCP/IP協議的應用程式之間 相互通信)連接後，再進行數據採集。步驟103、數據採集機集群中的第一數據採集機進行數據採集，並將採集的數據存 儲到數據採集機集群的分布式文件系統中；也就是，第一數據採集機通過採用步驟102配置的數據採集方式進行數據採集， 並將採集的數據存儲到數據採集機集群的分布式文件系統中，由於每個文件在分布式文件 系統上有多個備份，且分布在不同的數據採集機上，如果某個數據採集機發生故障，其他數 據採集機上的文件副本依然可以支持外界的訪問，不會影響採集數據的完整性。步驟104、判斷數據採集機集群中第一數據採集機是否發生故障？若是，執行步驟 105 ；否則，返回步驟103 ；在本實施例中，當作為主數據採集機的第一數據採集機出現故障時，作為備用數 據採集機的第二數據採集機可以通過預先設定的方式得到通知，並被激活。上述數據採集機的故障包括硬體故障和軟體故障，其中硬體故障可以是器件的 損壞或電源掉電；軟體故障可以是任何引起數據採集功能異常的軟體層面的故障。步驟105、由數據採集機集群中的第二數據採集機替換第一數據採集機進行數據 採集，並將第二數據採集機採集的數據存儲到數據採集機集群的分布式文件系統中；也就是，當作為主數據採集機的第一數據採集機發生故障時，作為備用數據採集 機的第二數據採集機啟動接管第一數據採集機的數據採集任務，繼續原數據採集任務，並 將採集到的數據存儲到數據採集機集群的分布式文件系統中。在本實施例中，當第一數據採集機發生故障時，第二數據採集機可通過 IPdnternet Protocol)地址替換的方式來接管第一數據採集機的數據採集任務，當然第 二數據採集機接管第一數據採集機的數據採集任務的方式並不限於此。步驟106、在數據採集機發生故障時，第一數據採集機發送故障告警信息；在本實施例中，當第一數據採集機的硬體或軟體發生故障時，該第一數據採集機 可發送一故障告警信息，以提醒相關人員對該第一數據採集機進行修復。該故障告警信息可以是文字、語音、振動、鈴聲和聲光告警中的任意一種形式，在 本實施例中並不限定故障告警信息的具體形式。步驟107、對第一數據採集機進行故障修復，並將第一數據採集機設置為備用數據採集機。當 第一數據採集機的故障被修復後，可將第一數據採集機設置為備用數據採集 機，將第二數據採集機設置為主數據採集機，此時由第二數據採集機進行數據採集，並將採 集的數據存儲到分布式文件系統中。若第二數據採集機發生故障時，可由作為備用數據採 集機的第一數據採集機替換第二數據採集機進行數據採集。由上述技術方案可知，通過在數據採集機集群中設置了主數據採集機和備用數據 採集機，首先主數據採集機進行數據採集，並將採集的數據存儲到數據採集機集群的分布 式文件系統中，當主數據採集機發生故障時，則由備用數據採集機替換主數據採集機進行 數據採集，並將備用數據採集機採集的數據存儲到採集機集群的分布式文件系統中，從而 避免了現有技術中因數據採集機發生故障，而影響採集數據完整性，由於在分布式文件系 統中每個文件都有多個備份，能夠為採集數據提供可靠的保持支持，從而提高了數據採集 過程的可靠性。參見圖2，為本發明的實施例中數據採集機集群的結構示意圖，由圖中可知，該數 據採集機集群中包括至少兩個數據採集機，該數據採集機可以主備復用的方式部署在採集 機集群中，例如第一數據採集機為主數據採集機，第二數據採集機為備用數據採集機，其中第一數據採集機，用於進行數據採集，並將採集的數據存儲到所述數據採集機集 群的分布式文件系統中；第二數據採集機，用於當所述第一數據採集機發生故障時，替換所述第一數據採 集機進行數據採集，並將採集的數據存儲到所述數據採集機集群的分布式文件系統中。上述第一數據採集機和第二數據採集機可通過網絡進行互聯，作為雲計算平臺節
點ο參見圖2，在數據採集機集群中有多個以主備復用方式部署的數據採集機，例如作 為主數據採集機的第一數據採集機，以及作為備用數據採集機的第二數據採集機，其中第 一數據採集機通過主動/被動採集的方式從業務平臺網元中獲取數據，該業務平臺網元中 包括簡訊網關、GPRS網關和WAP網關，並將從業務平臺網元中採集到的數據存儲到數據採 集機集群的分布式文件系統中。若第一數據採集機發生故障，則由第二數據採集機替換第 一數據採集機進行數據採集任務。圖2中多個數據採集機組成了數據採集機集群，並且可將該數據採集機集群部署 在局址機房中，當然也可將位於不同局址機房中的數據採集機集群通過高速網絡互聯起 來，例如將同一省內不同局址機房通過高速網絡互聯起來，形成一個統一的數據採集雲。在本實施例中，第一數據採集機包括數據採集模塊和故障檢測模塊，其中數據採集模塊，用於進行數據採集，並將採集的數據存儲到分布式文件系統中；故障檢測模塊，用於檢測是否發生故障，若是，觸發所述第二數據採集機中的數據 採集模塊進行數據採集。由上述技術方案中可知，通過在數據採集機集群中設置了主數據採集機和備用數 據採集機，首先主數據採集機進行數據採集，並將採集的數據存儲到數據採集機集群的分 布式文件系統中，當主數據採集機發生故障時，則由備用數據採集機替換主數據採集機進 行數據採集，並將備用數據採集機採集的數據存儲到採集機集群的分布式文件系統中，從 而避免了現有技術中因數據採集機發生故障，而影響採集數據完整性，並且由於在分布式文件系統中每個文件都有多個備份，能夠為採集數據提供可靠的保持支持，從而提高了數 據採集過程的可靠性。參見圖3，為本發明的實施例中數據採集機的結構示意圖，由圖中可知，數據採集 機30包括數據採集模塊和故障檢測模塊，其中

數據採集模塊31，用於進行數據採集，並將採集的數據存儲到分布式文件系統 中；故障檢測模塊32，用於檢測是否發生故障，若是，觸發其他數據採集機的數據採集 模塊進行數據採集。在本發明的另一實施例中，該數據採集機30還包括配置模塊33，與數據採集模塊31連接，用於配置數據採集機的數據採集方式。在本發明的另一實施例中，該數據採集機30還包括故障告警模塊34，與故障檢測模塊連接32，用於在所述數據採集機發生故障時， 發送故障告警信息。以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的普通技術人 員來說，在不脫離本發明原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應 視為本發明的保護範圍。
權利要求
1.一種數據採集方法，應用於數據採集機集群中，所述數據採集機集群中包括至少兩 個數據採集機，其特徵在於，所述方法包括步驟A、所述數據採集機集群中的第一數據採集機進行數據採集，並將採集的數據存儲 到所述數據採集機集群的分布式文件系統中；步驟B、當所述第一數據採集機發生故障時，由所述數據採集機集群中的第二數據採集 機替換所述第一數據採集機進行數據採集，所述第二數據採集機採集的數據存儲到所述數 據採集機集群的分布式文件系統中。
2.根據權利要求1所述的數據採集方法，其特徵在於，所述第一數據採集機和所述第 二數據採集機通過網絡進行互聯，作為雲計算平臺節點。
3.根據權利要求2所述的數據採集方法，其特徵在於，在所述步驟A之前，所述方法還 包括將所述數據採集機集群中的所述第一數據採集機設置為主數據採集機； 將所述數據採集機集群中的第二數據採集機設置為備用數據採集機。
4.根據權利要求3所述的數據採集方法，其特徵在於，所述步驟B之後，所述方法還包括步驟C、在所述第一數據採集機發生故障時，所述第一數據採集機發送故障告警信息。
5.根據權利要求4所述的數據採集方法，其特徵在於，所述步驟C之後，所述方法還包括對所述第一數據採集機進行故障修復；將所述第二數據採集機設置為主數據採集機，將所述第一數據採集機設置為備用數據 採集機。
6.一種數據採集機集群，其特徵在於，包括第一數據採集機，用於進行數據採集，並將採集的數據存儲到所述數據採集機集群的 分布式文件系統中；第二數據採集機，用於當所述第一數據採集機發生故障時，替換所述第一數據採集機 進行數據採集，並將採集的數據存儲到所述數據採集機集群的分布式文件系統中。
7.根據權利要求6所述的數據採集機集群，其特徵在於，所述第一數據採集機包括 數據採集模塊，用於進行數據採集，並將採集的數據存儲到分布式文件系統中；故障檢測模塊，用於檢測是否發生故障，若是，觸發所述第二數據採集機中的數據採集 模塊進行數據採集。
8.根據權利要求6所述的數據採集機集群，其特徵在於，所述第一數據採集機和所述 第二數據採集機通過網絡進行互聯，作為雲計算平臺節點。
9.一種數據採集機，其特徵在於，包括數據採集模塊，用於進行數據採集，並將採集的數據存儲到分布式文件系統中； 故障檢測模塊，用於檢測是否發生故障，若是，觸發其他數據採集機的數據採集模塊進 行數據採集。
10.根據權利要求9所述的數據採集機，其特徵在於，還包括配置模塊，與所述數據採集模塊連接，用於配置數據採集機的數據採集方式。
11.根據權利要求10所述的數據採集機，其特徵在於，所述數據採集機還包括故障告警模塊，與所述故障檢測模塊連接，用於在所述數據採集機發生故障時，發送故障告警信息。
全文摘要
本發明提供一種數據採集方法、數據採集機集群及數據採集機，屬於通信技術領域，該方法應用於數據採集機集群中，該方法包括數據採集機集群中的第一數據採集機進行數據採集，並將採集的數據存儲到所述數據採集機集群的分布式文件系統中；當第一數據採集機發生故障時，由數據採集機集群中的第二數據採集機替換第一數據採集機進行數據採集，第二數據採集機採集的數據存儲到數據採集機集群的分布式文件系統中，能夠有效保證採集數據的完整性。
文檔編號H04L12/24GK102130759SQ20101003416
公開日2011年7月20日 申請日期2010年1月13日 優先權日2010年1月13日
發明者孫少陵, 王旭, 羅治國, 齊驥 申請人:中國移動通信集團公司