一種基於大數據的智能交通平臺數據集成方法
2023-10-08 05:38:49
一種基於大數據的智能交通平臺數據集成方法
【專利摘要】一種基於大數據的智能交通平臺數據集成方法，該方法將數據集成層部署在網絡層和應用層之間；實現集成平臺與子系統之間數據轉發、數據暫存、數據轉儲功能；通過連接池形式提供生產者和消費者連接；引擎採用伺服器集群提供數據服務，集群中有新伺服器加入能夠自動註冊並上線運行，有伺服器故障會通知客戶端並清理連接池；引擎能夠提供數據轉發，數據被持久化為標準化流；生產者向引擎推送數據；消費者是主動拉取引擎上數據專題內容。本發明提供給智能交通子系統統一的數據接入服務，能夠支撐大規模數據不間斷穩定傳輸。自身轉發效率高，能夠提供實時數據轉發和歷史數據暫儲功能，實現對智能交通大數據分析、處理的支撐。
【專利說明】一種基於大數據的智能交通平臺數據集成方法
【技術領域】
[0001]本發明涉及一種基於大數據的智能交通平臺數據集成引擎設計和實現，它根據智能交通平臺與子系統之間數據交換類型和交換方式，提出一種新型數據採集、存儲、交互的應用服務集群構建方法，屬於智能交通大數據應用領域。
【背景技術】
[0002]智能交通集成平臺作為城市交通管理的中心:它以警用地理信息系統為依託，綜合治安卡口、電子警察、視頻監控、交通信號控制、警車警員GPS、交通流檢測、交通設備設施管理、交通信息發布等多個子系統功能為一體。
[0003]目前國內廠家在做子系統集成時候大多會按照每個子系統數據類型將數據劃分為以下幾種:結構化數據(關係型資料庫表結構數據)、非結構化數據(圖片、音頻、視頻、文本等)、空間數據(地理信息數據等)。
[0004]傳統劃分數據類型帶來的結果是:集成平臺數據接入方法會與子系統數據類型強相關，必然在做數據接入服務時候會依據不同類型數據，考慮不同接入方法甚至是不同的軟體架構。
[0005]智能交通集成平臺所面對的數據符合大數據的特點:數量大、有用的信息少。所以採用大數據技術來處理交通海量數據成了此類應用的新需求。
【發明內容】
[0006]本發明所要解決的技術問題是針對現有技術的不足，提出一種基於大數據的智能交通平臺數據集成方法。該方法設計合理，採用統一的系統架構對數據接入流程進行重新設計和優化，提供了一個具有高穩定性、高吞吐的數據接入、存儲、轉發層。
[0007]本發明所要解決的技術問題是通過以下的技術方案來實現的。本發明是一種基於大數據的智能交通平臺數據集成方法，其特點是:該方法將數據集成層部署在網絡層和應用層之間；實現集成平臺與子系統之間數據轉發、數據暫存、數據轉儲功能；能夠支持大數據應用；通過連接池形式提供生產者和消費者連接；引擎採用伺服器集群提供數據服務，集群中有新伺服器加入能夠自動註冊並上線運行，有伺服器故障會通知客戶端並清理連接池；引擎能夠提供數據轉發，數據持久化，向Hdfs文件存儲系統轉儲；數據被持久化為標準化流，保存到FIFO文件隊列，同時在內存中維持一張文件頭索引表；生產者向引擎推送數據，並發布數據專題；消費者是主動拉取引擎上數據專題內容，並自己記錄已經拉取的數據位置；引擎向消費者發送其請求的數據時，採用零拷貝方法；據專題作為消費者識別數據類型的依據；數據專題可以和多個段文件進行關聯，實現專題數據內容的橫向擴展；每個段文件在多臺伺服器上有複本，從而保證數據文件安全。
[0008]本發明所要解決的技術問題還可以通過以下的技術方案來進一步實現。本發明所述的方法，其特點是:段文件多個文件複本所在伺服器被劃分為Master和Slave兩類角色，Master負責數據寫操作、轉發讀操作、通知Slave進行數據同步；Slave負責轉發寫操作、與Master同步、提供讀取服務；Master是從Slave中選舉出來,在集群發現Master不能提供正常服務後會發起選舉，Slave的數量必須滿足2*n+l才能保證選舉成功，選舉採用fastpaxos算法。
[0009]本發明所要解決的技術問題還可以通過以下的技術方案來進一步實現。本發明所述的方法，其特點是:該方法基於大數據的存儲系統來設計數據接入層；從集成平臺接入層就對數據進行了分類，實時數據直接分發到集成平臺客戶端顯示；歷史消費的數據由支持大數據處理的文件存儲系統來存取，需要進一步處理的數據採用大數據處理方法，將數據按需轉換到不同的數據倉庫中供集成平臺調取；無需處理的數據直接按照原始的數據格式進行留存。
[0010]本發明所要解決的技術問題還可以通過以下的技術方案來進一步實現。本發明所述的方法，其特點是:數據存儲轉發引擎生產數據處理流程如下:
(1)引擎獲取生產者連接，接收生產者發送的數據到臨時隊列。引擎會根據配置文件中設置的數據緩存長度或者緩存時長，檢查接收到的數據量，達到配置文件要求時，會執行數據持久化操作；
(2)由於數據持久化是通過Master來完成，所以數據在持久化到段文件之前，弓丨擎會判斷該段文件所在的Master是否正常，如果正常則進行下一步寫入段文件操作；則轉入Master選舉流程；
(3)Master選舉流程選用fastpaxos算法,該算法對參與選舉的伺服器數要求必須是2*n+l個；選舉是由當前寫入伺服器發起，並由其統計每個Slave得票數，其他的Slave伺服器負責投票，直到Master產生；
(4)Master產生後將負責把文件寫入到段文件中，根據生產者要求將段文件關聯到指定專題，同時在內存索引表中添加該段文件地址索引項；
(5)結束數據上傳流程，並發布到專題，供消費者拉取消費。
[0011]本發明所要解決的技術問題還可以通過以下的技術方案來進一步實現。本發明所述的方法，其特點是:數據存儲轉發引擎消費數據處理流程如下:
(1)引擎獲取消費者連接，接收消費者拉取數據的請求；該請求中包括消費者要消費的專題項信息、段文件起始地址、內部數據偏移量等；
(2)引擎從頁面緩存中直接將數據轉遞到socket緩存，發送給消費者；
(3)段文件中的每條數據都會有一個遞增的唯一ID標識；Slave伺服器會定期向Master發送最大標識ID,詢問Master是否需要同步數據,Master收到標識後會給出應答，同步採用增量同步方式，每次同步的增量Master在應答中會告知Slave, Slave收到後就啟動同步線程，執行同步；
(4)每次消費者拉取的數據多少，引擎端不做任何的記錄；需要消費者在本地記錄已經讀取的數據地址和偏移，當然消費者也可以通過修改地址和偏移的方式，重複讀取引擎端的數據。
[0012]智能交通集成指揮平臺分為以下五層:用戶界面層、應用層、數據集成層、網絡層、設備層，參見圖1。本發明主要完成數據存儲轉發引擎集群設計和實現。集群設計的目標是:單個引擎功能設計如圖2數據存儲轉發引擎功能圖所示。本發明從對數據到達消費者的時效性要求的高低，將智能交通集成平臺數據劃分為兩類:實時消費數據和歷史消費數據。為了實現統一設計，就要統一這兩類數據處理方法。通常只要能滿足消費實時數據要求，同時增加數據緩存隊列保存歷史數據，就可以滿足消費歷史數據要求。本發明採用集群的方式實現高穩定性、高性能。引擎集群能夠自動感知集群新進引擎並上線提供服務。老引擎停止服務時通知生產者和消費者，重新選取引擎服務來處理數據。引擎中的數據由生產者推送過來，為了避免頻繁的1操作，生產者是按批次推送數據，引擎成批的接收數據，消費者成批的拉取數據。
[0013]引擎為了提高數據轉發、轉儲的效率，對數據內容不進行任何解析操作。生產者將數據格式化為統一結構(例如:google buffer、json等)然後序列化為標準文件流。標準化文件流就可以方便在網絡層、引擎伺服器、消費者之間進行傳輸，這種數據只有到達真正的使用者時才會被解析，反序列化出來。傳輸採用零拷貝技術，減少數據在用戶空間緩存與內核空間緩存的拷貝。如圖3零拷貝與傳統發送數據流程對比圖。
[0014]在引擎伺服器內存維護一張段文件索引表，存儲每個段文件起始地址。持久化生產者發送的數據到引擎伺服器段文件中，段文件採用FIFO隊列組織。提供多個段文件在不同引擎伺服器上的數據複本，保證持久化數據安全。
[0015]每一個段文件多個複本分別存放在不同的物理伺服器上，物理伺服器會被劃分為兩類角色:Master和Slave。Master負責段文件的寫操作、並通知Slave數據同步；Slave負責向Master轉發寫操作,提供應用層讀取服務。Master是採用paxos動態選舉產生,一旦一個Master失效,會從Slave中重新選舉一個Master,此算法需要段文件複本數大於2*N+1 個。
[0016]自動在引擎集群之間同步數據，保證所有消費者在任意一個引擎上看到的數據都是一致的。引擎向生產者提供發布數據專題接口，將專題關聯到無限多個段文件上，從而保證專題內容可以橫向擴展；通過不同專題向應用層提供不同協議類型的數據。協調生產者推送數據速度和消費者拉取數據速度，避免當消費者由於資源限制不能及時處理生產者發送數據，而引起消費者伺服器資源耗盡的拒絕服務攻擊。引擎提供數據訪問連接池，生產者和消費者每次連接到引擎時會初始化連接池，當推送或拉取數據時會從連接池中優選一條連接傳輸數據。
[0017]消費者保存當前的數據專題信息，包括專題中段文件的起始地址和段文件中已經讀取數據的偏移量。每次讀取都會根據當前偏移加上數據長度來拉取數據。由於數據讀取偏移是記錄在消費者，所以消費者通過回退偏移量，可以重新拉取以前使用的數據。這個特性可以保證歷史上被錯誤處理的數據，可以在修復消費邏輯後重新處理一遍。在實際中如車流量數據在糾偏時採用算法得到進一步完善，就可以在實施新算法後採用回退機制重新獲取一遍原始數據進行糾偏。當然歷史數據保留期限可以在引擎上設置，引擎會自動清理過期數據，防止歷史數據佔滿引擎存儲空間。
[0018]本發明是一種基於大數據的智能交通平臺數據集成引擎，引擎提供給智能交通子系統統一的數據接入服務，能夠支撐大規模數據不間斷穩定傳輸。引擎通過集群設計和優化數據存取模式提高自身轉發效率，能夠提供實時數據轉發和歷史數據暫儲功能，通過原生支持HDFS文件轉儲，實現對智能交通大數據分析、處理的支撐。
【專利附圖】
【附圖說明】
[0019]圖1為基於大數據集成平臺結構圖；
圖2為數據存儲轉發引擎功能圖；
圖3為零拷貝與傳統發送數據流程對比圖；
圖4為基於大數據與傳統數據處理流程圖對比圖；
圖5為數據存儲轉發引擎生產數據處理流程圖；
圖6為數據存儲轉發引擎消費數據處理流程圖。
【具體實施方式】
[0020]以下參照附圖，進一步地對本發明的技術方案進行描述，以使本領域技術人員進一步地理解本發明，而不構成對本發明權利的限制。
[0021]實施例1，參照圖1-3，一種基於大數據的智能交通平臺數據集成方法，該方法將數據集成層部署在網絡層和應用層之間；實現集成平臺與子系統之間數據轉發、數據暫存、數據轉儲功能；能夠支持大數據應用；通過連接池形式提供生產者和消費者連接；引擎採用伺服器集群提供數據服務，集群中有新伺服器加入能夠自動註冊並上線運行，有伺服器故障會通知客戶端並清理連接池；引擎能夠提供數據轉發，數據持久化，向Hdfs文件存儲系統轉儲；數據被持久化為標準化流，保存到FIFO文件隊列，同時在內存中維持一張文件頭索引表；生產者向引擎推送數據，並發布數據專題；消費者是主動拉取引擎上數據專題內容，並自己記錄已經拉取的數據位置；引擎向消費者發送其請求的數據時，採用零拷貝方法；據專題作為消費者識別數據類型的依據；數據專題可以和多個段文件進行關聯，實現專題數據內容的橫向擴展；每個段文件在多臺伺服器上有複本，從而保證數據文件安全。
[0022]實施例2，實施例1所述的方法中:段文件多個文件複本所在伺服器被劃分為Master和Slave兩類角色，Master負責數據寫操作、轉發讀操作、通知Slave進行數據同步；Slave負責轉發寫操作、與Master同步、提供讀取服務;Master是從Slave中選舉出來，在集群發現Master不能提供正常服務後會發起選舉，Slave的數量必須滿足2*n+l才能保證選舉成功，選舉採用fast paxos算法。
[0023]實施例3，實施例1所述的方法中:該方法基於大數據的存儲系統來設計數據接入層；從集成平臺接入層就對數據進行了分類，實時數據直接分發到集成平臺客戶端顯示；歷史消費的數據由支持大數據處理的文件存儲系統來存取，需要進一步處理的數據採用大數據處理方法，將數據按需轉換到不同的數據倉庫中供集成平臺調取；無需處理的數據直接按照原始的數據格式進行留存。
[0024]實施例4，如圖4基於大數據與傳統數據處理流程對比圖所示，基於大數據的存儲系統來設計數據接入層。從集成平臺接入層就對數據進行了分類，實時數據直接分發到集成平臺客戶端顯示；歷史消費的數據由支持大數據處理的文件存儲系統來存取，需要進一步處理的數據採用大數據處理技術和方法，將數據按需轉換到不同的數據倉庫中供集成平臺調取；無需處理的數據直接按照原始的數據格式進行留存。圖4中與傳統方法相比，本設計避開數據轉儲的過程，將數據接入層直接與大數據存儲層對接，實現了對大數據處理原生支持。減少數據處理流程，避免數據格式來迴轉換造成伺服器資源開銷，將有限伺服器資源集中到集成平臺上層更關注的大數據應用上。
[0025]實施例5，實施例1所述的方法中:如圖5數據存儲轉發引擎生產數據處理流程圖:
I)引擎獲取生產者連接，接收生產者發送的數據到臨時隊列。引擎會根據配置文件中設置的數據緩存長度或者緩存時長，檢查接收到的數據量，達到配置文件要求時，會執行數據持久化操作。
[0026]2)由於數據持久化是通過Master來完成，所以數據在持久化到段文件之前，引擎會判斷該段文件所在的Master是否正常，如果正常則進行下一步寫入段文件操作。否則轉入Master選舉流程。
[0027]3)Master選舉流程選用fast paxos算法,該算法對參與選舉的伺服器數要求必須是2*n+l個。選舉是由當前寫入伺服器發起，並由其統計每個Slave得票數，其他的Slave伺服器負責投票，直到Master產生。
[0028]4)Master產生後將負責把文件寫入到段文件中，根據生產者要求將段文件關聯到指定專題，同時在內存索引表中添加該段文件地址索引項。
[0029]5)結束數據上傳流程，並發布到專題，供消費者拉取消費。
[0030]實施例6，實施例1所述的方法中:如圖6數據存儲轉發引擎消費數據處理流程圖:
I)引擎獲取消費者連接，接收消費者拉取數據的請求。該請求中包括消費者要消費的專題項信息、段文件起始地址、內部數據偏移量等。
[0031]2)引擎從頁面緩存中直接將數據轉遞到socket緩存，發送給消費者。
[0032]3)段文件中的每條數據都會有一個遞增的唯一 ID標識。Slave伺服器會定期向Master發送最大標識ID,詢問Master是否需要同步數據,Master收到標識後會給出應答，同步採用增量同步方式，每次同步的增量Master在應答中會告知Slave, Slave收到後就啟動同步線程，執行同步。
[0033]4)每次消費者拉取的數據多少，引擎端不做任何的記錄。需要消費者在本地記錄已經讀取的數據地址和偏移，當然消費者也可以通過修改地址和偏移的方式，重複讀取引擎端的數據。
[0034]以上實現了基於大數據智能交通平臺數據集成引擎設計，本引擎能提供高性能的智能交通平臺大數據接入服務，能夠支撐智能交通平臺大數據分析、處理的要求。
【權利要求】
1.一種基於大數據的智能交通平臺數據集成方法，其特徵在於:該方法將數據集成層部署在網絡層和應用層之間；實現集成平臺與子系統之間數據轉發、數據暫存、數據轉儲功能；能夠支持大數據應用；通過連接池形式提供生產者和消費者連接；引擎採用伺服器集群提供數據服務，集群中有新伺服器加入能夠自動註冊並上線運行，有伺服器故障會通知客戶端並清理連接池；引擎能夠提供數據轉發，數據持久化，向HdfS文件存儲系統轉儲；數據被持久化為標準化流，保存到FIFO文件隊列，同時在內存中維持一張文件頭索引表；生產者向引擎推送數據，並發布數據專題；消費者是主動拉取引擎上數據專題內容，並自己記錄已經拉取的數據位置；引擎向消費者發送其請求的數據時，採用零拷貝方法；據專題作為消費者識別數據類型的依據；數據專題可以和多個段文件進行關聯，實現專題數據內容的橫向擴展；每個段文件在多臺伺服器上有複本，從而保證數據文件安全。
2.根據權利要求1所述的方法，其特徵在於:段文件多個文件複本所在伺服器被劃分為Master和Slave兩類角色，Master負責數據寫操作、轉發讀操作、通知Slave進行數據同步；Slave負責轉發寫操作、與Master同步、提供讀取服務;Master是從Slave中選舉出來，在集群發現Master不能提供正常服務後會發起選舉，Slave的數量必須滿足2*n+l才能保證選舉成功，選舉採用fast paxos算法。
3.根據權利要求1所述的方法，其特徵在於:該方法基於大數據的存儲系統來設計數據接入層；從集成平臺接入層就對數據進行了分類，實時數據直接分發到集成平臺客戶端顯示；歷史消費的數據由支持大數據處理的文件存儲系統來存取，需要進一步處理的數據採用大數據處理方法，將數據按需轉換到不同的數據倉庫中供集成平臺調取；無需處理的數據直接按照原始的數據格式進行留存。
4.根據權利要求1所述的方法，其特徵在於:數據存儲轉發引擎生產數據處理流程如下: 引擎獲取生產者連接，接收生產者發送的數據到臨時隊列，引擎會根據配置文件中設置的數據緩存長度或者緩存時長，檢查接收到的數據量，達到配置文件要求時，會執行數據持久化操作； 由於數據持久化是通過Master來完成，所以數據在持久化到段文件之前，引擎會判斷該段文件所在的Master是否正常，如果正常則進行下一步寫入段文件操作；則轉入Master選舉流程； Master選舉流程選用fast paxos算法,該算法對參與選舉的伺服器數要求必須是2*n+l個；選舉是由當前寫入伺服器發起，並由其統計每個Slave得票數，其他的Slave伺服器負責投票，直到Master產生； Master產生後將負責把文件寫入到段文件中，根據生產者要求將段文件關聯到指定專題，同時在內存索引表中添加該段文件地址索引項； 結束數據上傳流程，並發布到專題，供消費者拉取消費。
5.根據權利要求1所述的方法，其特徵在於:數據存儲轉發引擎消費數據處理流程如下: 引擎獲取消費者連接，接收消費者拉取數據的請求；該請求中包括消費者要消費的專題項信息、段文件起始地址、內部數據偏移量等； 引擎從頁面緩存中直接將數據轉遞到socket緩存，發送給消費者； 段文件中的每條數據都會有一個遞增的唯一 ID標識；Slave伺服器會定期向Master發送最大標識ID，詢問Master是否需要同步數據，Master收到標識後會給出應答，同步採用增量同步方式，每次同步的增量Master在應答中會告知Slave, Slave收到後就啟動同步線程，執行同步； 每次消費者拉取的數據多少，引擎端不做任何的記錄；需要消費者在本地記錄已經讀取的數據地址和偏移，當然消費者也可以通過修改地址和偏移的方式，重複讀取引擎端的數據。
【文檔編號】H04L29/08GK104320486SQ201410626644
【公開日】2015年1月28日 申請日期:2014年11月10日 優先權日:2014年11月10日
【發明者】張鋒鑫, 項俊平, 王帥, 母萬國, 劉建華 申請人:連雲港傑瑞電子有限公司