新四季網

利用分布式數據存儲程序存儲車載信息的系統及其存儲方法

2023-10-08 16:53:29

專利名稱:利用分布式數據存儲程序存儲車載信息的系統及其存儲方法
技術領域:
本發明利用分布式數據存儲程序存儲車載信息的系統及其存儲方法涉及分布式 數據存儲軟體的企業應用,尤其是一種利用分布式數據存儲程序存儲車載信息終端位置信 息數據的系統及其存儲方法。
背景技術:
隨著現代社會向信息化的快速推進,數據的海量性在各方面的體現越來越突出, 從網絡流量數據,到移動通信用戶行為記錄;從搜尋引擎的日誌數據,到銀行的客戶操作記 錄,等等。這些海量信息與生俱來的數位化與網絡化性質,在給人們帶來了改善服務機遇的 同時也提出了許多新的技術挑戰。以往當人們需要存儲結構化數據時,資料庫通常是首選 的解決方案,在數據規模不大時,其可以提供便捷、穩定的服務。然而隨著數據量的增長,特 別是當Web時代來臨後,針對動輒TB級的龐大數據,傳統的資料庫在處理海量的數據時顯 得力不從心。對於企業的數據中心而言,Oracle資料庫無法解決這樣的問題,隨著車載信 息終端數量的不斷增長,怎樣處理和存儲這些車載信息終端產生的龐大的位置信息數據是 一個必須解決的問題。

發明內容
本發明的目的是針對上述不足之處提供一種利用分布式數據存儲程序存儲車載 信息的系統及其存儲方法,相對於傳統的數據存儲和處理方案具有高擴展性,高容錯性,高 處理性能和低成本的特點。利用分布式數據存儲程序存儲車載信息的系統及其存儲方法是採取以下技術方 案實現的利用分布式數據存儲程序存儲車載信息的裝置包括車載信息終端、伺服器集群、 數據處理伺服器DP、數據訪問伺服器DAP和存儲程序,車載信息終端安裝在車輛上,用以向 伺服器集群發送車輛位置信息,伺服器集群由至少五臺PC機組成,存儲程序安裝在伺服器 集群中的PC機上。存儲程序包括開源的分布式數據存儲程序軟體Cassandra,Cassandra 是一個混合型的非關係的資料庫,具有模式靈活、真正的可擴展性、多數據中心識別、列表 數據結構、範圍查詢以及分布式寫操作的特點。對Cassandra的一個寫操作,會被複製到 其他節點上去,對Cassandra的讀操作,也會被路由到某個節點上面去讀取。對於一個 Cassandra群集來說,擴展性能是比較簡單的事情,只管在群集裡面添加伺服器(PC機)就 可以了。由於數據在物理上是分布的,但是在邏輯上仍然是統一的整體,多臺伺服器組成的 集群可以使數據處理的壓力得到良好分配,在數據存儲空間和性能到達極限的情況下,還 可以通過在集群中增加伺服器來解決這些問題。數據處理伺服器DP包括三個模塊,分別是企業提供的第三方接口控制項模塊、 數據處理模塊和分布式數據存儲程序軟體Cassandra客戶端插件Hector。數據處理服務 器DP通過分布式數據存儲程序軟體Cassandra客戶端插件Hector建立和分布式資料庫的連接並管理這些連接,然後通過企業提供的第三方接口控制項模塊接收來自數據中心的車載 信息終端位置信息數據,由數據處理模塊解析成符合分布式數據存儲程序軟體Cassandra 數據模型的數據後,再從分布式數據存儲程序軟體Cassandra客戶端插件Hector中調取 可用的連接,將數據從這個連接中寫入分布式數據存儲程序軟體Cassandra分布式集群。數據訪問伺服器DAP包括3個模塊,分別是HTTP服務模塊、數據處理模塊和分布 式數據存儲程序軟體Cassandra客戶端插件Hector。數據訪問伺服器DAP通過HTTP服務 模塊接收HTTP客戶端的請求,經過數據處理模塊的處理將請求轉化成符合分布式數據存 儲程序軟體Cassandra數據請求格式的數據,由分布式數據存儲程序軟體Cassandra客戶 端插件Hector發送給伺服器集群,再把分布式數據存儲程序軟體Cassandra客戶端插件 Hector返回的結果(終端位置信息數據)轉化成XML的數據格式返回給HTTP客戶端。所述的PC機為臺式機或者專業的資料庫伺服器,該系統可以兼用不同的硬體環 境,集群中的伺服器硬體可以採用臺式PC機,也可以採用專業的伺服器硬體。把該系統部 署在普通的臺式PC機上,在節約成本上更具有優勢,6-7臺3000元的臺式PC機的性能和存 儲容量即可和一臺專業10萬元的資料庫伺服器媲美。利用分布式數據存儲程序存儲車載信息的系統的存儲方法包括以下步驟
1)配置分布式數據存儲系統的運行環境,建立伺服器集群,並將分布式數據存儲程序 軟體Cassandra安裝在伺服器集群中的PC機上。2)建立數據存儲結構,根據車載信息終端位置信息的數據內容和分布式數據存儲 程序軟體Cassandra框架支持的數據結構的特點設置一套便於存儲和查詢的數據結構。Cassandra 的數據結構包括Keyspace,Key,Column,SuperCoIumn, ColumnFamily, SuperCo1umnFami1y。在車載信息終端上傳的位置信息數據主要以終端IMEI作為標識,來區分不同的 終端,每一個終端會在不同時間點上傳一條數據,所以根據這樣的情況和Cassandra數據 結構的特點建立數據結構。首先建立一個默認的KeySpace名位GPS,然後用一個SuperColumnFamily-名為 Locatior^nfo存儲終端位置信息數據。這個SuperColumnFamily的每個key表示為IMEI, 也就是每個ColumnFamily保存一個終端的數據。每個ColumnFamily中的每一個Key表 示為GPS-Time (終端上傳數據的時間點),也就是每個SuperColumn保存一條GPS位置 信息數據。每個SuperColumn中的每一個Key表示為某一條GPS數據中的每一個數據項( 比如經度),每個Column表示一個數據項,例如經度127. 2365。3)設置數據處理伺服器DP和數據訪問伺服器DAP,數據處理伺服器DP連接 itrackstar數據處理中心連接,從中讀取數據車載信息終端的位置信息數據,然後該服務 器通過Cassandra的客戶端驅動連接至分布式數據存儲集群,寫入位置信息數據。數據訪問伺服器DAP通過Http服務向企業內其他的應用平臺提供對位置信息數 據的查詢。其內部也是由Cassandra客戶端驅動與分布式數據存儲集群相連。4)啟動數據處理伺服器DP和數據訪問伺服器DAP。本發明的優點 1)數據容量優勢
以往只能滿足為客戶保存1年的數據,現在通過加入更多的硬體,可以保存5-10年的數據,甚至更長時間的數據。2)系統兼容性優勢
對於傳統的oracle資料庫而言,在存儲車載信息採集終端的數據時,採用以不同的採 集終端分表的方式存儲,這就意味著每當有新的終端加入系統時,需要新建一張表。而該項 目採用的特殊的key/value數據結構,無需新建表。大大減少了數據存儲系統的複雜性。 同時對於不同協議的數據和不同廠家生產的傳感器加入系統時,無需更改數據結構和表結 構。大大增加了系統的兼容性。3)高容錯性,災難性恢復,無單點故障
4)擴展簡單,數據增容時只需要增加硬體即可
5)節約成本,使用不同的PC機搭建的集群,和符合傳統的數據存儲要求的大型伺服器 相比,減少了相當的硬體成本。一臺具有500G硬碟的PC價格大約在3000元,6臺這樣的 PC的性能和存儲容量就相當於一臺專業10萬的數據存儲伺服器。雖然初期部署時需要進 行大量的準備工作,但簡單的擴展增容方式,維護和管理成本也得到了降低。


以下將結合附圖對本發明作進一步說明 圖1是本發明的系統架構圖。圖2是本發明的數據處理伺服器DP的數據處理流程圖。圖3是本發明的數據訪問伺服器DAP的數據處理流程圖。
具體實施例方式參照附圖1 3,利用分布式數據存儲程序存儲車載信息的裝置包括車載信息終 端、伺服器集群、數據處理伺服器DP、數據訪問伺服器DAP和存儲程序,車載信息終端安 裝在車輛上,用以向伺服器集群發送車輛位置信息,伺服器集群由至少五臺PC機組成,存 儲程序安裝在伺服器集群中的PC機上。存儲程序包括開源的分布式數據存儲程序軟體 Cassandra, Cassandra是一個混合型的非關係的資料庫,具有模式靈活、真正的可擴展性、 多數據中心識別、列表數據結構、範圍查詢以及分布式寫操作的特點。對Cassandra的一個 寫操作,會被複製到其他節點上去,對Cassandra的讀操作,也會被路由到某個節點上面去 讀取。對於一個Cassandra群集來說,擴展性能是比較簡單的事情,只管在群集裡面添加服 務器(PC機)就可以了。由於數據在物理上是分布的,但是在邏輯上仍然是統一的整體,多 臺伺服器組成的集群可以使數據處理的壓力得到良好分配,在數據存儲空間和性能到達極 限的情況下,還可以通過在集群中增加伺服器來解決這些問題。數據處理伺服器DP包括三個模塊,分別是企業提供的第三方接口控制項模塊、 數據處理模塊和分布式數據存儲程序軟體Cassandra客戶端插件Hector。數據處理服務 器DP通過分布式數據存儲程序軟體Cassandra客戶端插件Hector建立和分布式資料庫的 連接並管理這些連接,然後通過企業提供的第三方接口控制項模塊接收來自數據中心的車載 信息終端位置信息數據,由數據處理模塊解析成符合分布式數據存儲程序軟體Cassandra 數據模型的數據後,再從分布式數據存儲程序軟體Cassandra客戶端插件Hector中調取 可用的連接,將數據從這個連接中寫入分布式數據存儲程序軟體Cassandra分布式集群。
數據訪問伺服器DAP包括3個模塊,分別是HTTP服務模塊、數據處理模塊和分布 式數據存儲程序軟體Cassandra客戶端插件Hector。數據訪問伺服器DAP通過HTTP服務 模塊接收HTTP客戶端的請求,經過數據處理模塊的處理將請求轉化成符合分布式數據存 儲程序軟體Cassandra數據請求格式的數據,由分布式數據存儲程序軟體Cassandra客戶 端插件Hector發送給伺服器集群,再把分布式數據存儲程序軟體Cassandra客戶端插件 Hector返回的結果(終端位置信息數據)轉化成XML的數據格式返回給HTTP客戶端。所述的PC機為臺式機或者專業的資料庫伺服器。利用分布式數據存儲程序存儲車載信息的系統的存儲方法包括以下步驟
1)配置分布式數據存儲系統的運行環境,建立伺服器集群,並將分布式數據存儲程序 軟體Cassandra安裝在伺服器集群中的PC機上;
2)建立數據存儲結構,根據車載信息終端位置信息的數據內容和分布式數據存儲程序 軟體Cassandra框架支持的數據結構的特點設置一套便於存儲和查詢的數據結構;
3)設置數據處理伺服器DP和數據訪問伺服器DAP,數據處理伺服器DP連接 itrackstar數據處理中心連接,從中讀取數據車載信息終端的位置信息數據,然後該服務 器通過Cassandra的客戶端驅動連接至分布式數據存儲集群,寫入位置信息數據;
數據訪問伺服器DAP通過Http服務向企業內其他的應用平臺提供對位置信息數據的 查詢。其內部也是由Cassandra客戶端驅動與分布式數據存儲集群相連;
4)啟動數據處理伺服器DP和數據訪問伺服器DAP。
權利要求
1.一種利用分布式數據存儲程序存儲車載信息的系統,其特徵在於包括車載信息終 端、伺服器集群、數據處理伺服器DP、數據訪問伺服器DAP和存儲程序,車載信息終端安裝 在車輛上,伺服器集群由至少五臺PC機組成,存儲程序安裝在伺服器集群中的PC機上;存 儲程序包括開源的分布式數據存儲程序軟體Cassandra ;數據處理伺服器DP包括三個模塊,分別是企業提供的第三方接口控制項模塊、數據處理 模塊和分布式數據存儲程序軟體Cassandra客戶端插件Hector,數據處理伺服器DP通過 分布式數據存儲程序軟體Cassandra客戶端插件Hector建立和分布式資料庫的連接並管 理這些連接,然後通過企業提供的第三方接口控制項模塊接收來自數據中心的車載信息終端 位置信息數據,由數據處理模塊解析成符合分布式數據存儲程序軟體Cassandra數據模型 的數據後,再從分布式數據存儲程序軟體Cassandra客戶端插件Hector中調取可用的連 接,將數據從這個連接中寫入分布式數據存儲程序軟體Cassandra分布式集群;數據訪問伺服器DAP包括3個模塊,分別是HTTP服務模塊、數據處理模塊和分布式 數據存儲程序軟體Cassandra客戶端插件Hector,數據訪問伺服器DAP通過HTTP服務模 塊接收HTTP客戶端的請求,經過數據處理模塊的處理將請求轉化成符合分布式數據存儲 程序軟體Cassandra數據請求格式的數據,由分布式數據存儲程序軟體Cassandra客戶 端插件Hector發送給伺服器集群,再把分布式數據存儲程序軟體Cassandra客戶端插件 Hector返回的結果轉化成XML的數據格式返回給HTTP客戶端。
2.根據權利要求1所述的利用分布式數據存儲程序存儲車載信息的系統,其特徵在於 所述的PC機為臺式機或者專業的資料庫伺服器。
3.權利要求1所述的利用分布式數據存儲程序存儲車載信息的系統的存儲方法包括 以下步驟1)配置分布式數據存儲系統的運行環境,建立伺服器集群,並將分布式數據存儲程序 軟體Cassandra安裝在伺服器集群中的PC機上;2)建立數據存儲結構,根據車載信息終端位置信息的數據內容和分布式數據存儲程序 軟體Cassandra框架支持的數據結構的特點設置一套便於存儲和查詢的數據結構;3)設置數據處理伺服器DP和數據訪問伺服器DAP,數據處理伺服器DP連接 itrackstar數據處理中心連接,從中讀取數據車載信息終端的位置信息數據,然後該服務 器通過Cassandra的客戶端驅動連接至分布式數據存儲集群,寫入位置信息數據;數據訪問伺服器DAP通過Http服務向企業內其他的應用平臺提供對位置信息數據的 查詢,其內部也是由Cassandra客戶端驅動與分布式數據存儲集群相連;4)啟動數據處理伺服器DP和數據訪問伺服器DAP。
全文摘要
本發明利用分布式數據存儲程序存儲車載信息的系統及其存儲方法涉及分布式數據存儲軟體的企業應用,尤其是一種利用分布式數據存儲程序存儲車載信息終端位置信息數據的系統及其存儲方法。包括車載信息終端、伺服器集群、數據處理伺服器DP、數據訪問伺服器DAP和存儲程序,車載信息終端安裝在車輛上,伺服器集群由至少五臺PC機組成,存儲程序安裝在伺服器集群中的PC機上;存儲程序包括開源的分布式數據存儲程序軟體Cassandra;其存儲方法包括1)配置分布式數據存儲系統的運行環境;2)建立數據存儲結構;3)設置數據處理伺服器DP和數據訪問伺服器DAP;4)啟動數據處理伺服器DP和數據訪問伺服器DAP。
文檔編號H04L29/08GK102111452SQ20111005235
公開日2011年6月29日 申請日期2011年3月4日 優先權日2011年3月4日
發明者劉琨, 薛揚, 陳智也, 陳進 申請人:江蘇天澤信息產業股份有限公司

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀