基於生產實時的海量數據處理系統的製作方法
2023-09-23 08:24:30 2
專利名稱：基於生產實時的海量數據處理系統的製作方法
技術領域：
本實用新型涉及數據處理系統，具體為一種基於生產實時的海量數據處理系統。
背景技術：
地球上的信息正在以驚人的速度增長，據統計，平均每一秒都有200萬用戶在使用搜尋引擎，Facebook用戶每天共享的東西超過40億，微博每天處理的信息數量超過3. 4億。2011年全球共有I. 8ZB的數據產生，能夠填滿的⑶數據足以從地球連到月球，然而，這僅僅是信息「爆炸」的開始，科技的進步和應用的普通使得信息可以產生於各種源頭，社交網絡、行動裝置、傳感器、各行各業不斷產生的信息，使得數據正在以每年50%的量增長著。不論是通過數據優化現存的業務和管理，還是發掘新興的業務模式，大數據及新的數據技術史無前例的為企業打開了機會之門。可以為管理者提供更加精準的管理決策支撐數據，我們正處在21世紀，每一個業務都在產生著大量的數據，每一處都可以看到數據為我們帶來的巨大價值。在大數據時代，出現很多新的數據處理技術，如分布式緩存技術、NOSQL技術、雲計算等等，這些技術的出現主要是針對實時、海量的數據處理，解決數據在「高可靠性、高可用性及一致性」的要求。基於生產實時的海量數據處理模型正是在當前大數據時代的背景下，在傳統的基於實時資料庫及關係資料庫的基礎上的數據處理進行創新，並根據生產管理企業對數據的集中、共享和服務的要求，為企業開發的一套海量生產實時數據的處理系統。該系統結合了當下最先進的海量數據處理技術，將企業對數據的管理過程(採集、處理、存儲、分析)進行了整合，為企業的數據利用提供了一體化的解決方案。目前許許多多的網際網路企業，如淘寶、騰訊、微軟等大型企業已廣泛採用了分布式數據處理、分布式數據緩存、雲計算及NOSQL技術來應對當前資訊時代下的海量數據處理和分析，為用戶提供更快、更精準的信息服務。原有技術存在以下缺點1.支持的採集目標數據源單一，只能從固定數據源採集，並且針對每一種採集目標源，都需要部署不同的應用，不便於管理和維護。2.採集模塊不能確保數據的準確性，並且不能提供有效的手段幫助用戶發現錯誤或異常數據。3.對基礎網絡要求較高，在網絡不穩定的情況下，數據傳輸不能確保數據的時序性，同時不支持實現離線數據緩存。4.只實現單純的數據採集和傳輸過程，對於數據的預處理、計算、存儲和共享需要額外的信息系統支撐，且需要部署多個不同的應用。5.採用傳統的關係型資料庫或實時數據進行數據存儲，數據的訪問效率取決於資料庫產品的及硬體的處理性能，數據量越大，數據的訪問效率就越低。6.缺乏在數據分析和應用方面的技術支撐，不能幫助用戶很好地從海量數據中發現並找到有價值的信息。
實用新型內容本實用新型所解決的技術問題在於提供一種基於生產實時的海量數據處理系統，該系統採用分布式數據計算技術，在數據被存儲前就進行了基本的統計和分析，為用戶提供了海量、高效的在線統計分析數據。[0007]本實用新型所解決的技術問題採用以下技術方案來實現[0008]一種基於生產實時的海量數據處理系統，包括依次連接的DCS伺服器、數據調度伺服器、計算伺服器和結果發布伺服器，所述結果發布伺服器分別連接實時數據存儲器、關係數據存儲器和Memcache伺服器。[0009]與現有技術相比，本實用新型的有益效果是[0010]I.根據擁有海量生產過程數據的生產管理企業，特別是集團化的企業進行定製開發，適應其行業特點及對數據的管理要求；[0011]2.所支持的採集目標源接口已覆蓋95%以上，不需要再另行開發，直接部署即可使用；[0012]3.所採用的分 布式、協同數據處理模型，能適應不同數據規模的處理要求及應用場景；[0013]4.採用一體化數據處理解決方案，集成了採集、預處理、分析計算、存儲、共享等內容,為企業提供了一站式整體解決方案；[0014]5.在基於實時資料庫及關係數據進行存儲的基礎上進行創新，結合當前雲計算及大數據處理技術，採用最新的NOSQL及分布式緩存技術，使得數據訪問變得更容易、更快捷、更迅速。
[0015]圖I為本實用新型的結構框圖。
具體實施方式
[0016]為了使本實用新型的實現技術手段、創作特徵、達成目的與功效易於明白了解，下面結合具體圖示，進一步闡述本實用新型。[0017]如圖I所示，一種基於生產實時的海量數據處理系統，包括依次連接的DCS伺服器(分布式控制系統)、數據調度伺服器、計算伺服器和結果發布伺服器，所述結果發布伺服器分別連接實時數據存儲器、關係數據存儲器和Memcache (高性能的分布式的內存對象緩存系統)伺服器。[0018]所述DCS伺服器設有3個，計算伺服器設有3個。[0019]本實用新型採用分布式，協同任務處理技術，將數據處理的整個過程分布在一個網絡中不同的網絡處理節點上，以此來提高數據的整體處理效率，同時更易於擴展和升級， 當增加數據量時，只需水平擴展數據處理節點，即可滿足更大的數據處理要求，不需要對原架構進行任何的變更，達到以不變應萬變。[0020]採用數據分發技術使得數據副本可以以多種方式進行共享，數據可以以最優的、 最適應應用系統訪問方式進行存儲和訪問，同時靈活的數據處理模式使得需要在數據的處理過程增加或刪減任何一部份都變得尤為簡單。從而實現整個過程中的安全、高效、穩定， 海量數據的處理能力。[0021]本實用新型的工作原理首先，通過數據採集接口軟體，從生產企業的DCS、NCS、 PLC、其它控制系統或企業的關係型資料庫、實時資料庫中採集生產實時數據，並把實時數據穿過正向隔離裝置，發送到數據調度伺服器；之後，數據調度伺服器根據數據路由配置表，把接收到的數據實時以最快、最優的方式分發給網絡上的各個數據處理節點，實現數據的分布式計算，海量數據的處理和分析；之後，數據處理結節點採用分布式，協同工作模型，對數據進行實時的分析、計算和處理，數據處理完成後，協同發送給結果發布伺服器，由結果發布伺服器進行統一存儲，然後通知數據調度伺服器，告知處理完成，節點處於閒置狀態，可以隨時接受新的任務；最後，結果發布伺服器接收到數據後，會按要求對數據進行分發或存儲處理，可將數據存儲在不同的目標數據源或通過網絡轉發給其它的設備、應用系統或網絡上的數據處理 節點。以上顯示和描述了本實用新型的基本原理和主要特徵和本實用新型的優點。本行業的技術人員應該了解，本實用新型不受上述實施例的限制，上述實施例和說明書中描述的只是說明本實用新型的原理，在不脫離本實用新型精神和範圍的前提下，本實用新型還會有各種變化和改進，這些變化和改進都落入要求保護的本實用新型範圍內。本實用新型的要求保護範圍由所附的權利要求書及其等效物界定。
權利要求1.基於生產實時 的海量數據處理系統，其特徵在於，包括依次連接的DCS伺服器、數據調度伺服器、計算伺服器和結果發布伺服器，所述結果發布伺服器分別連接實時數據存儲器、關係數據存儲器和Memcache伺服器。
專利摘要基於生產實時的海量數據處理系統，包括依次連接的DCS伺服器、數據調度伺服器、計算伺服器和結果發布伺服器，所述結果發布伺服器分別連接實時數據存儲器、關係數據存儲器和Memcache伺服器。該系統根據擁有海量生產過程數據的生產管理企業，特別是集團化的企業進行定製開發，適應其行業特點及對數據的管理要求；所支持的採集目標源接口已覆蓋95%以上，不需要再另行開發，直接部署即可使用；所採用的分布式、協同數據處理模型，能適應不同數據規模的處理要求及應用場景；為企業提供了一站式整體解決方案；採用最新的NOSQL及分布式緩存技術，使得數據訪問變得更容易、更快捷、更迅速。
文檔編號G06F17/30GK202795370SQ20122042725
公開日2013年3月13日 申請日期2012年8月27日 優先權日2012年8月27日
發明者向春波, 龍海軍, 羅紹巍, 徐兵, 苗小虎, 廖鵬萬, 郭亮, 榮譽, 侯準 申請人:湖南大唐先一科技有限公司