利用分布式數據存儲程序存儲車載信息的系統及其存儲方法
2023-10-08 16:53:29
專利名稱：利用分布式數據存儲程序存儲車載信息的系統及其存儲方法
技術領域：
本發明利用分布式數據存儲程序存儲車載信息的系統及其存儲方法涉及分布式 數據存儲軟體的企業應用，尤其是一種利用分布式數據存儲程序存儲車載信息終端位置信 息數據的系統及其存儲方法。
背景技術：
隨著現代社會向信息化的快速推進，數據的海量性在各方面的體現越來越突出， 從網絡流量數據，到移動通信用戶行為記錄；從搜尋引擎的日誌數據，到銀行的客戶操作記 錄，等等。這些海量信息與生俱來的數位化與網絡化性質，在給人們帶來了改善服務機遇的 同時也提出了許多新的技術挑戰。以往當人們需要存儲結構化數據時，資料庫通常是首選 的解決方案，在數據規模不大時，其可以提供便捷、穩定的服務。然而隨著數據量的增長，特 別是當Web時代來臨後，針對動輒TB級的龐大數據，傳統的資料庫在處理海量的數據時顯 得力不從心。對於企業的數據中心而言，Oracle資料庫無法解決這樣的問題，隨著車載信 息終端數量的不斷增長，怎樣處理和存儲這些車載信息終端產生的龐大的位置信息數據是 一個必須解決的問題。
發明內容
本發明的目的是針對上述不足之處提供一種利用分布式數據存儲程序存儲車載 信息的系統及其存儲方法，相對於傳統的數據存儲和處理方案具有高擴展性，高容錯性，高 處理性能和低成本的特點。利用分布式數據存儲程序存儲車載信息的系統及其存儲方法是採取以下技術方 案實現的利用分布式數據存儲程序存儲車載信息的裝置包括車載信息終端、伺服器集群、 數據處理伺服器DP、數據訪問伺服器DAP和存儲程序，車載信息終端安裝在車輛上，用以向 伺服器集群發送車輛位置信息，伺服器集群由至少五臺PC機組成，存儲程序安裝在伺服器 集群中的PC機上。存儲程序包括開源的分布式數據存儲程序軟體Cassandra，Cassandra 是一個混合型的非關係的資料庫，具有模式靈活、真正的可擴展性、多數據中心識別、列表 數據結構、範圍查詢以及分布式寫操作的特點。對Cassandra的一個寫操作，會被複製到 其他節點上去，對Cassandra的讀操作，也會被路由到某個節點上面去讀取。對於一個 Cassandra群集來說，擴展性能是比較簡單的事情，只管在群集裡面添加伺服器(PC機)就 可以了。由於數據在物理上是分布的，但是在邏輯上仍然是統一的整體，多臺伺服器組成的 集群可以使數據處理的壓力得到良好分配，在數據存儲空間和性能到達極限的情況下，還 可以通過在集群中增加伺服器來解決這些問題。數據處理伺服器DP包括三個模塊，分別是企業提供的第三方接口控制項模塊、 數據處理模塊和分布式數據存儲程序軟體Cassandra客戶端插件Hector。數據處理服務 器DP通過分布式數據存儲程序軟體Cassandra客戶端插件Hector建立和分布式資料庫的連接並管理這些連接，然後通過企業提供的第三方接口控制項模塊接收來自數據中心的車載 信息終端位置信息數據，由數據處理模塊解析成符合分布式數據存儲程序軟體Cassandra 數據模型的數據後，再從分布式數據存儲程序軟體Cassandra客戶端插件Hector中調取 可用的連接，將數據從這個連接中寫入分布式數據存儲程序軟體Cassandra分布式集群。數據訪問伺服器DAP包括3個模塊，分別是HTTP服務模塊、數據處理模塊和分布 式數據存儲程序軟體Cassandra客戶端插件Hector。數據訪問伺服器DAP通過HTTP服務 模塊接收HTTP客戶端的請求，經過數據處理模塊的處理將請求轉化成符合分布式數據存 儲程序軟體Cassandra數據請求格式的數據，由分布式數據存儲程序軟體Cassandra客戶 端插件Hector發送給伺服器集群，再把分布式數據存儲程序軟體Cassandra客戶端插件 Hector返回的結果(終端位置信息數據)轉化成XML的數據格式返回給HTTP客戶端。所述的PC機為臺式機或者專業的資料庫伺服器，該系統可以兼用不同的硬體環 境，集群中的伺服器硬體可以採用臺式PC機，也可以採用專業的伺服器硬體。把該系統部 署在普通的臺式PC機上，在節約成本上更具有優勢，6-7臺3000元的臺式PC機的性能和存 儲容量即可和一臺專業10萬元的資料庫伺服器媲美。利用分布式數據存儲程序存儲車載信息的系統的存儲方法包括以下步驟
1)配置分布式數據存儲系統的運行環境，建立伺服器集群，並將分布式數據存儲程序 軟體Cassandra安裝在伺服器集群中的PC機上。2)建立數據存儲結構，根據車載信息終端位置信息的數據內容和分布式數據存儲 程序軟體Cassandra框架支持的數據結構的特點設置一套便於存儲和查詢的數據結構。Cassandra 的數據結構包括Keyspace，Key，Column，SuperCoIumn, ColumnFamily, SuperCo1umnFami1y。在車載信息終端上傳的位置信息數據主要以終端IMEI作為標識，來區分不同的 終端，每一個終端會在不同時間點上傳一條數據，所以根據這樣的情況和Cassandra數據 結構的特點建立數據結構。首先建立一個默認的KeySpace名位GPS，然後用一個SuperColumnFamily-名為 Locatior^nfo存儲終端位置信息數據。這個SuperColumnFamily的每個key表示為IMEI， 也就是每個ColumnFamily保存一個終端的數據。每個ColumnFamily中的每一個Key表 示為GPS-Time (終端上傳數據的時間點)，也就是每個SuperColumn保存一條GPS位置 信息數據。每個SuperColumn中的每一個Key表示為某一條GPS數據中的每一個數據項( 比如經度)，每個Column表示一個數據項，例如經度127. 2365。3)設置數據處理伺服器DP和數據訪問伺服器DAP，數據處理伺服器DP連接 itrackstar數據處理中心連接，從中讀取數據車載信息終端的位置信息數據，然後該服務 器通過Cassandra的客戶端驅動連接至分布式數據存儲集群，寫入位置信息數據。數據訪問伺服器DAP通過Http服務向企業內其他的應用平臺提供對位置信息數 據的查詢。其內部也是由Cassandra客戶端驅動與分布式數據存儲集群相連。4)啟動數據處理伺服器DP和數據訪問伺服器DAP。本發明的優點 1)數據容量優勢
以往只能滿足為客戶保存1年的數據，現在通過加入更多的硬體，可以保存5-10年的數據，甚至更長時間的數據。2)系統兼容性優勢
對於傳統的oracle資料庫而言，在存儲車載信息採集終端的數據時，採用以不同的採 集終端分表的方式存儲，這就意味著每當有新的終端加入系統時，需要新建一張表。而該項 目採用的特殊的key/value數據結構，無需新建表。大大減少了數據存儲系統的複雜性。 同時對於不同協議的數據和不同廠家生產的傳感器加入系統時，無需更改數據結構和表結 構。大大增加了系統的兼容性。3)高容錯性，災難性恢復，無單點故障
4)擴展簡單，數據增容時只需要增加硬體即可
5)節約成本，使用不同的PC機搭建的集群，和符合傳統的數據存儲要求的大型伺服器 相比，減少了相當的硬體成本。一臺具有500G硬碟的PC價格大約在3000元，6臺這樣的 PC的性能和存儲容量就相當於一臺專業10萬的數據存儲伺服器。雖然初期部署時需要進 行大量的準備工作，但簡單的擴展增容方式，維護和管理成本也得到了降低。
以下將結合附圖對本發明作進一步說明 圖1是本發明的系統架構圖。圖2是本發明的數據處理伺服器DP的數據處理流程圖。圖3是本發明的數據訪問伺服器DAP的數據處理流程圖。
具體實施例方式參照附圖1 3，利用分布式數據存儲程序存儲車載信息的裝置包括車載信息終 端、伺服器集群、數據處理伺服器DP、數據訪問伺服器DAP和存儲程序，車載信息終端安 裝在車輛上，用以向伺服器集群發送車輛位置信息，伺服器集群由至少五臺PC機組成，存 儲程序安裝在伺服器集群中的PC機上。存儲程序包括開源的分布式數據存儲程序軟體 Cassandra, Cassandra是一個混合型的非關係的資料庫，具有模式靈活、真正的可擴展性、 多數據中心識別、列表數據結構、範圍查詢以及分布式寫操作的特點。對Cassandra的一個 寫操作，會被複製到其他節點上去，對Cassandra的讀操作，也會被路由到某個節點上面去 讀取。對於一個Cassandra群集來說，擴展性能是比較簡單的事情，只管在群集裡面添加服 務器(PC機)就可以了。由於數據在物理上是分布的，但是在邏輯上仍然是統一的整體，多 臺伺服器組成的集群可以使數據處理的壓力得到良好分配，在數據存儲空間和性能到達極 限的情況下，還可以通過在集群中增加伺服器來解決這些問題。數據處理伺服器DP包括三個模塊，分別是企業提供的第三方接口控制項模塊、 數據處理模塊和分布式數據存儲程序軟體Cassandra客戶端插件Hector。數據處理服務 器DP通過分布式數據存儲程序軟體Cassandra客戶端插件Hector建立和分布式資料庫的 連接並管理這些連接，然後通過企業提供的第三方接口控制項模塊接收來自數據中心的車載 信息終端位置信息數據，由數據處理模塊解析成符合分布式數據存儲程序軟體Cassandra 數據模型的數據後，再從分布式數據存儲程序軟體Cassandra客戶端插件Hector中調取 可用的連接，將數據從這個連接中寫入分布式數據存儲程序軟體Cassandra分布式集群。
數據訪問伺服器DAP包括3個模塊，分別是HTTP服務模塊、數據處理模塊和分布 式數據存儲程序軟體Cassandra客戶端插件Hector。數據訪問伺服器DAP通過HTTP服務 模塊接收HTTP客戶端的請求，經過數據處理模塊的處理將請求轉化成符合分布式數據存 儲程序軟體Cassandra數據請求格式的數據，由分布式數據存儲程序軟體Cassandra客戶 端插件Hector發送給伺服器集群，再把分布式數據存儲程序軟體Cassandra客戶端插件 Hector返回的結果(終端位置信息數據)轉化成XML的數據格式返回給HTTP客戶端。所述的PC機為臺式機或者專業的資料庫伺服器。利用分布式數據存儲程序存儲車載信息的系統的存儲方法包括以下步驟
1)配置分布式數據存儲系統的運行環境，建立伺服器集群，並將分布式數據存儲程序 軟體Cassandra安裝在伺服器集群中的PC機上；
2)建立數據存儲結構，根據車載信息終端位置信息的數據內容和分布式數據存儲程序 軟體Cassandra框架支持的數據結構的特點設置一套便於存儲和查詢的數據結構；
3)設置數據處理伺服器DP和數據訪問伺服器DAP，數據處理伺服器DP連接 itrackstar數據處理中心連接，從中讀取數據車載信息終端的位置信息數據，然後該服務 器通過Cassandra的客戶端驅動連接至分布式數據存儲集群，寫入位置信息數據；
數據訪問伺服器DAP通過Http服務向企業內其他的應用平臺提供對位置信息數據的 查詢。其內部也是由Cassandra客戶端驅動與分布式數據存儲集群相連；
4)啟動數據處理伺服器DP和數據訪問伺服器DAP。
權利要求
1.一種利用分布式數據存儲程序存儲車載信息的系統，其特徵在於包括車載信息終 端、伺服器集群、數據處理伺服器DP、數據訪問伺服器DAP和存儲程序，車載信息終端安裝 在車輛上，伺服器集群由至少五臺PC機組成，存儲程序安裝在伺服器集群中的PC機上；存 儲程序包括開源的分布式數據存儲程序軟體Cassandra ；數據處理伺服器DP包括三個模塊，分別是企業提供的第三方接口控制項模塊、數據處理 模塊和分布式數據存儲程序軟體Cassandra客戶端插件Hector，數據處理伺服器DP通過 分布式數據存儲程序軟體Cassandra客戶端插件Hector建立和分布式資料庫的連接並管 理這些連接，然後通過企業提供的第三方接口控制項模塊接收來自數據中心的車載信息終端 位置信息數據，由數據處理模塊解析成符合分布式數據存儲程序軟體Cassandra數據模型 的數據後，再從分布式數據存儲程序軟體Cassandra客戶端插件Hector中調取可用的連 接，將數據從這個連接中寫入分布式數據存儲程序軟體Cassandra分布式集群；數據訪問伺服器DAP包括3個模塊，分別是HTTP服務模塊、數據處理模塊和分布式 數據存儲程序軟體Cassandra客戶端插件Hector，數據訪問伺服器DAP通過HTTP服務模 塊接收HTTP客戶端的請求，經過數據處理模塊的處理將請求轉化成符合分布式數據存儲 程序軟體Cassandra數據請求格式的數據，由分布式數據存儲程序軟體Cassandra客戶 端插件Hector發送給伺服器集群，再把分布式數據存儲程序軟體Cassandra客戶端插件 Hector返回的結果轉化成XML的數據格式返回給HTTP客戶端。
2.根據權利要求1所述的利用分布式數據存儲程序存儲車載信息的系統，其特徵在於 所述的PC機為臺式機或者專業的資料庫伺服器。
3.權利要求1所述的利用分布式數據存儲程序存儲車載信息的系統的存儲方法包括 以下步驟1)配置分布式數據存儲系統的運行環境，建立伺服器集群，並將分布式數據存儲程序 軟體Cassandra安裝在伺服器集群中的PC機上；2)建立數據存儲結構，根據車載信息終端位置信息的數據內容和分布式數據存儲程序 軟體Cassandra框架支持的數據結構的特點設置一套便於存儲和查詢的數據結構；3)設置數據處理伺服器DP和數據訪問伺服器DAP，數據處理伺服器DP連接 itrackstar數據處理中心連接，從中讀取數據車載信息終端的位置信息數據，然後該服務 器通過Cassandra的客戶端驅動連接至分布式數據存儲集群，寫入位置信息數據；數據訪問伺服器DAP通過Http服務向企業內其他的應用平臺提供對位置信息數據的 查詢，其內部也是由Cassandra客戶端驅動與分布式數據存儲集群相連；4)啟動數據處理伺服器DP和數據訪問伺服器DAP。
全文摘要
本發明利用分布式數據存儲程序存儲車載信息的系統及其存儲方法涉及分布式數據存儲軟體的企業應用，尤其是一種利用分布式數據存儲程序存儲車載信息終端位置信息數據的系統及其存儲方法。包括車載信息終端、伺服器集群、數據處理伺服器DP、數據訪問伺服器DAP和存儲程序，車載信息終端安裝在車輛上，伺服器集群由至少五臺PC機組成，存儲程序安裝在伺服器集群中的PC機上；存儲程序包括開源的分布式數據存儲程序軟體Cassandra；其存儲方法包括1)配置分布式數據存儲系統的運行環境；2)建立數據存儲結構；3)設置數據處理伺服器DP和數據訪問伺服器DAP；4)啟動數據處理伺服器DP和數據訪問伺服器DAP。
文檔編號H04L29/08GK102111452SQ20111005235
公開日2011年6月29日 申請日期2011年3月4日 優先權日2011年3月4日
發明者劉琨, 薛揚, 陳智也, 陳進 申請人:江蘇天澤信息產業股份有限公司