一種面向位置服務的實時資料庫系統的製作方法

2023-06-09 14:07:31

專利名稱：一種面向位置服務的實時資料庫系統的製作方法
技術領域：
本發明涉及信息技術領域，尤其涉及一種面向位置服務的實時資料庫系統。
背景技術：
隨著物聯網時代的到來，面向位置的信息服務呈現多元，爆炸式增長的趨勢，因 此，面向LBS服務的位置信息採集量呈現爆炸式的增長，LBS(面向位置服務，Location Based Service)系統面向的終端數量從原來的幾百上千發展到上萬乃至上十萬的超大規 模，現階段面向LBS應用的服務端數據存儲主要採用文件處理方式或者關係型資料庫方 式，但原來的處理方式已經不能滿足實際的應用需求，具體分析如下文。文件處理方式一般用於單伺服器的小型應用系統，其優點是布置簡單，成本低，但 是不能滿足多個用戶的並發寫入，難以支持數據檢索服務，不容易實現伺服器的熱備份，並 且數據容易損壞導致數據的安全性較差。因此，不能應用於大型應用系統。關係型資料庫處理方式可支持較大規模的應用系統，其優點是能滿足多個用戶的 並發讀寫，可以很方便的支持數據檢索，易於實現對伺服器的均衡熱備，數據安全性較高， 但是關係型資料庫的最大弱點是大並發寫入時速度比較慢，對於上萬，幾十萬並發系統的 應用很難支撐，而如果採用堆疊伺服器的方式則成本昂貴，企業難以承受。因此，對於超大 規模系統也不適用。實時資料庫技術目前主要應用在電力系統，電力系統中由於測量點非常多，實時 性要求高，所以採用了實時資料庫技術，解決了大並發、高實時性要求條件下的服務端數據 壓力問題。但是電力系統中每個測點只有一個數據段保存數據，實時資料庫中所採用的最 核心的「門軸壓縮」算法也只能針對單欄位處理，不能滿足LBS服務中每個位置採集點要存 儲多個數據欄位的要求。

發明內容
針對上述背景技術中，數據信息的處理方式不能滿足實現例如面向位置服務的超 大規模應用系統的種種不足，本發明實施例提供一種面向位置服務的實時資料庫系統，用 來實現存在大規模應用終端系統時對資料庫系統的實時並發寫入，滿足位置信息服務系統 數據的容量大、安全性、實時性及可擴展性要求，提供海量位置採集信息在服務端的實時保 存及快速檢索等功能。為了實現以上發明目的，本發明實施例所提供的一種面向位置服務的實時資料庫 系統是通過以下的技術方案實現的
一種面向位置服務的實時資料庫系統，所述系統包括 一個或多個數據處理伺服器，用來提供時序位置信息數據的數據處理功能； 命名及許可伺服器，用來提供所述一個或多個數據處理伺服器的服務名轉換和資料庫 授權控制功能；
數據訪問客戶端，用來提供所述實時資料庫的訪問接口，其中，所述數據處理伺服器包含所述數據處理伺服器的邏輯服務名信息。進一步優選地，所述數據處理伺服器包含
接口模塊，用來接收來自採集接口採集到的位置信息數據； 高速緩存模塊，用來對所述位置信息數據進行數據處理時提供高速緩存功能； 存儲模塊，用來存儲進行數據處理後的位置信息數據； 實時模塊，用來提供對所述位置信息數據的實時並發處理； 組態模塊，用來反饋所述位置信息數據的實時並發處理後的結果。進一步優選地，所述位置信息數據包含位置點的經度、緯度、高度、速度、方向、時 間或狀態信息，或以上信息的任意組合。進一步優選地，所述並發處理包括並發壓縮、並發存儲、並發檢索或並發讀取。進一步優選地，所述位置信息數據的壓縮採用改進的哈夫曼算法進行。進一步優選地，所述數據處理伺服器採用線程池結構，對終端用戶所提交的請求 並發處理。進一步優選地，所述數據處理伺服器採用LRU內存高速緩存算法，對所述位置信 息數據進行數據處理。進一步優選地，所述數據訪問客戶端所提供的訪問接口採用完成埠的通訊方 式。為了實現前述發明目的，本發明實施例還提供了一種基於該面向位置服務的實時 資料庫系統的數據處理方法，所述數據處理方法是通過以下技術方案實現的
一種基於前述面向位置服務的實時資料庫系統的數據處理方法，所述方法包括 當採集接口採集到當前位置信息數據時，數據處理伺服器通過高速緩存對所述採集到 的位置信息數據進行緩存，並通過哈夫曼算法對所述位置信息數據進行壓縮。本發明實施例利用系統處理器性能高的特點，充分挖掘現代處理器技術、操作系 統技術、存儲器技術和網絡通訊技術的潛力，在普通PC伺服器上位置數據處理速度達每秒 百萬以上，系統單臺伺服器可支持的採集點容量達到10萬以上，位置數據存儲壓縮比達到 4:1以上以節省存儲空間。另外，由於採用分布式架構，可通過添加伺服器的方式平滑升級， 實現位置採集點容量的無限擴展。


下面結合附圖和實施例對本發明進一步說明
圖1為本發明實施例1面向位置服務的實時資料庫系統意圖； 圖2為本發明實施例2數據處理伺服器的核心構架圖； 圖3為本發明實施例2實時資料庫數據處理流程圖。
具體實施例方式如圖1所示，本發明實施例1提供了一種面向位置服務的實時資料庫系統，所述實 時資料庫系統包括
一個或多個數據處理伺服器，用來提供時序位置信息數據的數據處理功能； 命名及許可伺服器，用來提供所述一個或多個數據處理伺服器的服務名轉換和資料庫授權控制功能；
數據訪問客戶端，用來提供所述實時資料庫的訪問接口，其中，所述數據處理伺服器包 含所述數據處理伺服器的邏輯服務名信息。如圖2所示，進一步優選地，所述數據處理伺服器包含 接口模塊，用來接收來自採集接口採集到的位置信息數據；
高速緩存模塊，用來對所述位置信息數據進行數據處理時提供高速緩存功能； 存儲模塊，用來存儲進行數據處理後的位置信息數據； 實時模塊，用來提供對所述位置信息數據的實時並發處理； 組態模塊，用來反饋所述位置信息數據的實時並發處理後的結果。進一步優選地，所述位置信息數據包含位置點的經度、緯度、高度、速度、方向、時 間或狀態信息，或以上信息的任意組合。進一步優選地，所述並發處理包括並發壓縮、並發存儲、並發檢索或並發讀取。進一步優選地，所述位置信息數據的壓縮採用改進的哈夫曼算法進行。進一步優選地，所述數據處理伺服器採用線程池結構，對終端用戶所提交的請求 並發處理。進一步優選地，所述數據處理伺服器採用LRU內存高速緩存算法，對所述位置信 息數據進行數據處理。進一步優選地，所述數據訪問客戶端所提供的訪問接口採用完成埠的通訊方 式。為了實現位置信息服務，本發明實施例3 —種基於該面向位置服務的實時資料庫 系統的數據處理方法，所述數據處理方法是通過以下技術方案實現
一種基於前述面向位置服務的實時資料庫系統的數據處理方法，所述方法包括 當採集接口採集到當前位置信息數據時，數據處理伺服器通過高速緩存對所述採集到 的位置信息數據進行緩存，並通過哈夫曼算法對所述位置信息數據進行壓縮。
具體實施方式
說明如下
為了實現位置服務的功能，位置信息量較大，需要採集每個位置點的實時位置信息，一 般LBS系統需要保存經度，緯度，高度，速度，方向，時間，狀態等多種數據，因此該系統可以 根據需要保存四個或四個以上的欄位。通過採用多欄位實時資料庫系統，來解決LBS中位 置採集點的多欄位數據存儲要求。由於數據量龐大，需要對位置信息數據進行壓縮並存儲，本發明實施例採用改進 的Huffman壓縮算法以解決LBS實時資料庫多欄位的數據壓縮要求，實現位置數據存儲壓 縮比達到4:1以上以節省存儲空間。另外，由於應用系統的數據量龐大，本發明實施例採用完成埠的通訊方式以解 決超大並發的網絡訪問。完成埠可以通過少量的線程來同時管理大量的網絡連接，對於 多核並超線程的CPU來說，CPU核越多，性能就越能成倍的提升。而現代計算機系統一般都 採用多核CPU，所以採用完成埠技術能夠充分發揮伺服器資源，實現大並發量的位置採集 信息及時接收。同時，數據處理伺服器採用線程池結構實現並發處理，提高系統整體性能，此實 施例充分利用現代計算機系統一般都支持多線程並發處理的特點，並且現代計算機系統都2個以上的CPU。因此，數據處理伺服器採用線程池結構，對用戶所提交的數據 存儲和查詢即檢索請求並行處理，包括並行壓縮、並行存儲、並行搜索、並行讀取，消除了軟 件結構對系統吞吐量的限制，大大提高了系統的整體性能。以上LBS實時資料庫系統由數據處理伺服器、命名及許可伺服器和數據訪問 客戶端組成，其中，數據處理伺服器是實時資料庫的核心，完成時序數據的壓縮存儲和查詢 功能；命名伺服器則主要完成服務名轉換和資料庫授權控制功能。由於數據訪問客戶端只需要具有數據處理伺服器的邏輯服務名信息就可以對數 據處理伺服器進行訪問，當數據處理伺服器的服務地址發生變化時，數據訪問客戶端不受 影響，從而達到數據的物理位置無關性的目標。同時，一個命名及許可伺服器可以同時管理 多個數據處理服務，從而保證整個系統的性能和容量可以平滑升級。所述的實時資料庫系 統採用分步式體系架構，整個系統的性能和容量可以平滑升級，可通過添加伺服器的方式 實現對位置採集點容量的無限擴展，從而實現平滑升級的功能。LBS實時資料庫系統採用命名服務的技術實現服務名轉換以及資料庫權限控制 的功能。客戶端通過邏輯服務名訪問資料庫伺服器，而不需要知道其物理位置等相關信息， 從而實現系統的平滑升級。本發明以上實施例利用系統處理器性能高的特點，充分挖掘現代處理器技術、操 作系統技術、存儲器技術和網絡通訊技術的潛力，在普通PC伺服器上位置數據處理速度達 每秒百萬以上，系統單臺伺服器可支持的採集點容量達到10萬以上，位置數據存儲壓縮比 達到4:1以上以節省存儲空間。另外，由於採用分布式架構，可通過添加伺服器的方式平滑 升級，實現位置採集點容量的無限擴展。本領域技術人員應該認識到，上述的具體實施方式
只是示例性的，是為了使本領 域技術人員能夠更好的理解本專利內容，不應理解為是對本專利保護範圍的限制，只要是 根據本專利所揭示精神所作的任何等同變更或修飾，均落入本專利保護範圍。
權利要求
1.一種面向位置服務的實時資料庫系統，其特徵在於，所述系統包括一個或多個數據處理伺服器，用來提供時序位置信息數據的數據處理功能；命名及許可伺服器，用來提供所述一個或多個數據處理伺服器的服務名轉換和資料庫 授權控制功能；數據訪問客戶端，用來提供所述實時資料庫的訪問接口，其中，所述數據處理伺服器包 含所述數據處理伺服器的邏輯服務名信息。
2.根據權利要求1所述的實時資料庫系統，其特徵在於，所述數據處理伺服器包括接口模塊，用來接收來自採集接口採集到的位置信息數據；高速緩存模塊，用來對所述位置信息數據進行數據處理時提供高速緩存功能；磁碟模塊，用來存儲進行數據處理後的位置信息數據；實時模塊，用來提供對所述位置信息數據的實時並發處理；組態模塊，用來反饋所述位置信息數據的實時並發處理後的結果。
3.根據權利要求2所述的實時資料庫系統，其特徵在於，所述位置信息數據包含位置 點的經度、緯度、高度、速度、方向、時間或狀態信息，或以上信息的任意組合。
4.根據權利要求3所述的實時資料庫系統，其特徵在於，所述並發處理包括並發壓縮、 並發存儲、並發檢索或並發讀取。
5.根據權利要求4所述的實時資料庫系統，其特徵在於，所述位置信息數據的壓縮採 用改進的哈夫曼算法進行。
6.根據權利要求1至5任意一項所述的實時資料庫系統，其特徵在於，所述數據處理服 務器採用線程池結構，對終端用戶所提交的請求並發處理。
7.根據權利要求1至5任意一項所述的實時資料庫系統，其特徵在於，所述數據處理服 務器採用LRU內存高速緩存算法，對所述位置信息數據進行數據處理。
8.根據權利要求1至5任意一項所述的實時資料庫系統，其特徵在於，所述數據訪問客 戶端所提供的訪問接口採用完成埠的通訊方式。
全文摘要
本發明公開了一種面向位置服務的實時資料庫系統，用於信息技術領域，以解決現有技術不能實現大規模實時性位置服務應用系統的需求，所述系統包括一個或多個數據處理伺服器，用來提供時序位置信息數據的數據處理功能；命名及許可伺服器，用來提供所述一個或多個數據處理伺服器的服務名轉換和資料庫授權控制功能；數據訪問客戶端，用來提供所述實時資料庫的訪問接口，其中，所述數據處理伺服器包含所述數據處理伺服器的邏輯服務名信息。本發明實施例利用系統處理器性能高的特點，和採用分布式架構，實時能力強，節省存儲空間，並可通過添加伺服器的方式平滑升級，實現位置採集點容量的無限擴展。
文檔編號G06F17/30GK102122301SQ201110055249
公開日2011年7月13日 申請日期2011年3月9日 優先權日2011年3月9日
發明者吳智韜, 張子強, 鬱嘉寧, 閻晨 申請人:上海迅圖數碼科技有限公司