海量數據融合及實時監視系統的製作方法
2023-06-11 15:28:51 2
專利名稱：海量數據融合及實時監視系統的製作方法
技術領域：
本發明涉及一種監視系統，尤其涉及一種海量數據融合及實時監視系統。
背景技術：
目前，國家級氣象信息網絡傳輸業務需要收集全國和全球範圍的各類氣象信息、 為各級氣象部門及相關部門提供及時可靠的經過預處理的各類氣象信息，並對各類氣象信息進行分發。它收集的資料包括區域/省級氣象信息業務部門上傳數據、同城用戶資料、國家級其他氣象業務部門資料、國外氣象資料，每天收集的數據總量多達上千GB;它分發的資料包括區域/省級氣象信息數據、同城用戶資料、國家級氣象業務部門資料、國外氣象交換資料，每天分發的數據總量也多達上千GB。此外，氣象資料還具有突發性高(即在某個時刻會出現數據量陡增)等特點，從而影響了氣象資料在收集、處理、分發過程中的信息存儲和監視的高時效性需求。發明內容
針對目前氣象資料收發系統中海量氣象資料融合性差、業務流程監視時效性不高的問題，本發明提供了一種高時效的海量數據融合及實時監視系統。
為了解決以上問題本發明提供了一種海量數據融合及實時監視系統，其特徵在於包括基於日誌網關的數據接收模塊、基於日誌網關的數據處理模塊、基於日誌網關的數據入庫模塊、基於離線統計的數據融合模塊、海量數據分布式緩存模塊和海量數據實時展現模塊；基於日誌網關的數據接收模塊與基於日誌網關的數據處理模塊相連，基於日誌網關的數據處理模塊與基於日誌網關的數據入庫模塊、海量數據分布式緩存模塊相連，基於日誌網關的數據入庫模塊與基於離線統計的數據融合模塊之間設有資料庫，基於離線統計的數據融合模塊與海量數據分布式緩存模塊相連，海量數據分布式緩存模塊與海量數據實時展現模塊相連；基於日誌網關的數據接收模塊用於獲取的氣象數據，並對該氣象數據根據待處理類型進行消息封裝，並通過查找配置文件獲取該處理類型對應的日誌網關消息隊列名，並向該指定的消息隊列發送信息；基於日誌網關的數據處理模塊從配置文件中獲取要監聽的消息隊列名，實時監聽該消息隊列；當消息隊列中有待處理的消息時，從該消息隊列中獲取優先級高的消息，對該消息進行處理；如果消息需要進行入庫操作，則將處理後的消息傳遞給基於日誌網關的數據入庫模塊；如果消息需要及時展現，則將處理後的消息傳遞給海量數據分布式緩存模塊；基於日誌網關的數據入庫模塊接收基於日誌網關的數據處理模塊傳遞過來的消息，並從資料庫連接池中申請一個資料庫連接，當申請成功後，對該消息進行入庫操作；基於離線統計的數據融合模塊通過基於時間/事件觸發，對資料庫中的數據進行複雜的操作，形成實時監視所需要的數據，並將該數據傳遞給海量數據分布式緩存模塊；海量數據分布式緩存模塊接收來自基於日誌網關的數據處理模塊或基於離線統計的數據融合模塊傳遞過來的數據；海量數據實時展現模塊從海量數據分布式緩存模塊獲取待監視的數據，並實時將獲取的數據進行顯示。
有益效果本發明支持集群部署，可實現多臺機器共同完成數據的加工、融合、展現，從而解決了一臺機器所帶來的處理瓶頸，極大的提高任務處理的吞吐量，滿足海量數據實時處理的需求，且本發明支持多線程技術。
本發明採用共享消息隊列、分布式緩存來緩存數據處理結果，儘可能減少磁碟I/ O讀寫操作，滿足系統時效性的需求，同時，利用共享消息隊列、分布式緩存的可靠性機制來提高系統的可靠性。
本發明與以往系統相比，解決海量氣象資料的數據融合及監視的高時效難題，可廣泛應用於海量數據的實時處理與實時展現。
圖I是本發明的系統組成框圖示意圖。
具體實施方式
下面結合附圖對本發明作進一步的描述。
如圖I所示，本海量數據融合及實時監視系統包括基於日誌網關的數據接收模塊、基於日誌網關的數據處理模塊、基於日誌網關的數據入庫模塊、基於離線統計的數據融合模塊、海量數據分布式緩存模塊和海量數據實時展現模塊。
基於日誌網關的數據接收模塊用於獲取的氣象數據，並對該氣象數據根據待處理類型進行消息封裝，並通過查找配置文件獲取該處理類型對應的日誌網關消息隊列名，並向該指定的消息隊列發送信息。
基於日誌網關的數據處理模塊從配置文件中獲取要監聽的消息隊列名，實時監聽該消息隊列。當消息隊列中有待處理的消息時，從該消息隊列中獲取優先級高的消息，對該消息進行處理。如果消息需要進行入庫操作，則將處理後的消息傳遞給基於日誌網關的數據入庫模塊；如果消息需要及時展現，則將處理後的消息傳遞給海量數據分布式緩存模塊。
基於日誌網關的數據入庫模塊接收基於日誌網關的數據處理模塊傳遞過來的消息，並從資料庫連接池中申請一個資料庫連接，當申請成功後，對該消息進行入庫操作。
基於離線統計的數據融合模塊通過基於時間/事件觸發，對資料庫中的數據進行複雜的操作，如多表聯合操作、單表多條件篩選匯總等，形成實時監視所需要的數據，並將該數據傳遞給海量數據分布式緩存模塊。
海量數據分布式緩存模塊接收來自基於日誌網關的數據處理模塊或基於離線統計的數據融合模塊傳遞過來的數據，並將其寫入到分布式緩存Memcached中，實現基於內存讀寫、分布式存儲的數據傳遞和數據存取機制，提高數據訪問效率。
海量數據實時展現模塊從分布式緩存Memcached中定位並獲取待監視的數據，並通過Ajax實時將獲取的數據顯示在Web頁面中。
以上所述僅為本發明的優選實施例而已，並不限制於本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的權利要求範圍之內。
權利要求
1.一種海量數據融合及實時監視系統，其特徵在於包括基於日誌網關的數據接收模塊、基於日誌網關的數據處理模塊、基於日誌網關的數據入庫模塊、基於離線統計的數據融合模塊、海量數據分布式緩存模塊和海量數據實時展現模塊；基於日誌網關的數據接收模塊與基於日誌網關的數據處理模塊相連，基於日誌網關的數據處理模塊與基於日誌網關的數據入庫模塊、海量數據分布式緩存模塊相連，基於日誌網關的數據入庫模塊與基於離線統計的數據融合模塊之間設有資料庫，基於離線統計的數據融合模塊與海量數據分布式緩存模塊相連，海量數據分布式緩存模塊與海量數據實時展現模塊相連；基於日誌網關的數據接收模塊用於獲取的氣象數據，並對該氣象數據根據待處理類型進行消息封裝，並通過查找配置文件獲取該處理類型對應的日誌網關消息隊列名，並向該指定的消息隊列發送信息；基於日誌網關的數據處理模塊從配置文件中獲取要監聽的消息隊列名，實時監聽該消息隊列；當消息隊列中有待處理的消息時，從該消息隊列中獲取優先級高的消息，對該消息進行處理；如果消息需要進行入庫操作，則將處理後的消息傳遞給基於日誌網關的數據入庫模塊；如果消息需要及時展現，則將處理後的消息傳遞給海量數據分布式緩存模塊；基於日誌網關的數據入庫模塊接收基於日誌網關的數據處理模塊傳遞過來的消息，並從資料庫連接池中申請一個資料庫連接，當申請成功後，對該消息進行入庫操作；基於離線統計的數據融合模塊通過基於時間/事件觸發，對資料庫中的數據進行複雜的操作，形成實時監視所需要的數據，並將該數據傳遞給海量數據分布式緩存模塊；海量數據分布式緩存模塊接收來自基於日誌網關的數據處理模塊或基於離線統計的數據融合模塊傳遞過來的數據；海量數據實時展現模塊從海量數據分布式緩存模塊獲取待監視的數據，並實時將獲取的數據進行顯示。
全文摘要
本發明涉及一種海量數據融合及實時監視系統，其基於日誌網關的數據接收模塊與基於日誌網關的數據處理模塊相連，基於日誌網關的數據處理模塊與基於日誌網關的數據入庫模塊、海量數據分布式緩存模塊相連，基於日誌網關的數據入庫模塊與基於離線統計的數據融合模塊之間設有資料庫，基於離線統計的數據融合模塊與海量數據分布式緩存模塊相連，海量數據分布式緩存模塊與海量數據實時展現模塊相連；本發明與以往系統相比，解決海量氣象資料的數據融合及監視的高時效難題，可廣泛應用於海量數據的實時處理與實時展現。
文檔編號H04L29/08GK102916844SQ20121047635
公開日2013年2月6日 申請日期2012年11月22日 優先權日2012年11月22日
發明者張偉, 王暉 申請人:南京恩瑞特實業有限公司