一種大量實時數據存儲系統的製作方法
2023-10-04 14:36:19
專利名稱：一種大量實時數據存儲系統的製作方法
技術領域：
本發明涉及一種數據存儲系統，尤其是涉及一種大量實時數據存儲系統。
背景技術：
我們的系統需要採集大量實時數據。以山東臨沂汽車站的GPS監控項目為例，每臺GPS終端會沒隔1分鐘向數據中心上報一次實時數據。數據中心需要及時記錄每臺終端的最後一次上報情況，以及記錄所有歷史記錄以備查詢。目前現存方案為數據網關接收到一條上報數據後，即向資料庫執行INSERTINT0 操作，並且沒隔一分鐘，將向資料庫執行一次大規模循環的UPDATE操作，以刷新最新在線狀態記錄表。目前方案的性能表現有些問題，至多上線700左右終端，資料庫伺服器即表現為 CPU佔用居高不下的情況，應無法應對更大量的實時數據。原方案問題分析原方案存在如下問題原方案的分表策略為按照終端號和當前月份分表。也就是一個終端，每一個月份均建立一張表。此策略在查詢時可有效增加查詢速度，但是，在插入時存在問題原方案的實現為插入數據時通過存儲過程實現，沒此插入前，需判斷是否有目標數據表的存在，若不存在，則生成目標數據表。此方法不宜應對頻繁插入的情況，因為每次都需要進行判斷。 實際測試中，發現並發數超過800將出現並發錯誤，修改其中的部分代碼可解決並發錯誤， 但是每次都要多做查詢目標表是否存在的判斷，對效率有所影響。原方案在數據插入時，採用來一條插一條的方式，此法在頻繁插入時效率不高。一般來說，SQLSERVER在採用循環方式往資料庫插入數據時，每秒100條記錄即已幾乎達到極限，即使考慮到伺服器的因素，關係型資料庫採用常規方法也無法應付如此密集的數據插入操作。在線狀況表的刷新，每次都需要將所有車輛的最新狀態執行一次UPDATE，而且該操作頻率極高，也極大增加資料庫的壓力。
發明內容
本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種大量實時數據存儲系統。本發明的目的可以通過以下技術方案來實現一種大量實時數據存儲系統，其特徵在於，包括數據查詢伺服器、數據存儲伺服器、數據分發伺服器、數據網關、終端，所述的數據查詢伺服器分別與數據存儲伺服器、數據分發伺服器連接，所述的數據存儲伺服器與數據分發伺服器連接，所述的數據分發伺服器與數據網關連接，所述的數據網關與終端連接。所述的數據存儲伺服器與數據分發伺服器的數量相同，所述的數據存儲伺服器與數據分發伺服器一一對應。所述的數據分發伺服器與數據網關的數量相同，所述的數據分發伺服器與數據網
關一一對應。所述的數據網關設有多個，每個數據網關連接有多個終端。與現有技術相比，本發明具有可以配置多臺數據存儲伺服器，也就是可以支持更多的終端數。另外數據發布伺服器處還實現了故障轉移功能。如果某臺存儲伺服器癱瘓， 那麼數據發布伺服器將暫時存放傳輸的數據，待存儲伺服器恢復後將數據傳輸過去.如果數據網關也癱瘓了的話，那麼終端可以選擇發送給另一個數據網關，以保證服務不間斷。
圖1為本發明的結構示意圖。
具體實施例方式下面結合附圖和具體實施例對本發明進行詳細說明。實施例如圖1所示，一種大量實時數據存儲系統，包括數據查詢伺服器1、數據存儲伺服器2、數據分發伺服器3、數據網關4、終端，所述的數據查詢伺服器1分別與數據存儲伺服器 2、數據分發伺服器3連接，所述的數據存儲伺服器1與數據分發伺服器3連接，所述的數據分發伺服器3與數據網關4連接，所述的數據網關4與終端連接。所述的數據存儲伺服器2 與數據分發伺服器3的數量相同，所述的數據存儲伺服器2與數據分發伺服器3 —一對應。 所述的數據分發伺服器3與數據網關4的數量相同，所述的數據分發伺服器3與數據網關 4 一一對應。所述的數據網關4設有多個，每個數據網關4連接有多個終端。本發明的工作流程如下1)數據查詢伺服器1啟動，啟動後，將各終端對應數據網關4的對應表加載入內存中，並且對外提供查詢服務；2)數據存儲伺服器2啟動，用於存儲數據分發伺服器3分發來的數據，同時響應數據查詢伺服器1的分布式查詢；3)數據分發伺服器3進行數據分發；4)數據查詢伺服器1進行查詢。所述的步驟幻數據分發伺服器3進行數據分發具體步驟如下1)先進行一次傳輸故障數據嘗試；2)加載終端與網關對應表；3)每隔10秒鐘向數據查詢伺服器1註冊自己的運行狀況。4)當接收到上報數據時，更新最新在線狀態。所述的步驟4)當接收到上報數據時，更新最新在線狀態具體步驟如下1)如果發現並非自己負責的終端上報，則立即向數據查詢伺服器提交信息；2)查找終端對應的數據存儲伺服器2，向其傳輸數據；3)如果傳輸失敗，失敗計數+1 ；4)如果傳輸成功，失敗計數歸0 ；
5)如果傳輸失敗次數達到5，則停止嘗試傳輸，激活故障轉移程序，將上報信息暫存入本地SQLLITE資料庫，故障轉移程序每若干時間間隔，檢測終端對應的存儲伺服器是否以恢復上線。所述的步驟4)數據查詢伺服器1進行查詢包括查詢實時在線信息和查詢歷史信肩、ο所述的查詢實時在線信息步驟如下1)從對應表中找到此終端相應的數據分發伺服器；2)查看其最近一分鐘內有無註冊信息，若有，則向其進行查詢，若無，查找是否有上報的轉移記錄。所述的查詢歷史信息步驟如下1)從對應表中找到終端相應的數據分發伺服器；2)同時對設計到得終端進行異步查詢。
權利要求
1.一種大量實時數據存儲系統，其特徵在於，包括數據查詢伺服器、數據存儲伺服器、 數據分發伺服器、數據網關、終端，所述的數據查詢伺服器分別與數據存儲伺服器、數據分發伺服器連接，所述的數據存儲伺服器與數據分發伺服器連接，所述的數據分發伺服器與數據網關連接，所述的數據網關與終端連接。
2.根據權利要求1所述的一種大量實時數據存儲系統，其特徵在於，所述的數據存儲伺服器與數據分發伺服器的數量相同，所述的數據存儲伺服器與數據分發伺服器一一對應。
3.根據權利要求1所述的一種大量實時數據存儲系統，其特徵在於，所述的數據分發伺服器與數據網關的數量相同，所述的數據分發伺服器與數據網關一一對應。
4.根據權利要求1所述的一種大量實時數據存儲系統，其特徵在於，所述的數據網關設有多個，每個數據網關連接有多個終端。
全文摘要
本發明涉及一種大量實時數據存儲系統，包括數據查詢伺服器、數據存儲伺服器、數據分發伺服器、數據網關、終端，所述的數據查詢伺服器分別與數據存儲伺服器、數據分發伺服器連接，所述的數據存儲伺服器與數據分發伺服器連接，所述的數據分發伺服器與數據網關連接，所述的數據網關與終端連接。與現有技術相比，本發明具有可以配置多臺數據存儲伺服器，也就是可以支持更多的終端數等優點。
文檔編號H04L29/08GK102546677SQ20101057955
公開日2012年7月4日 申請日期2010年12月8日 優先權日2010年12月8日
發明者吳曉宇, 姚薇 申請人:上海遙薇(集團)有限公司