一種超大數據交換引擎的製作方法
2023-04-23 11:34:51 1
專利名稱：一種超大數據交換引擎的製作方法
技術領域：
本發明涉及一種超大數據交換引擎。
背景技術：
治安卡口系統發展迅速，已初步形成了覆蓋全省主要道路的治安卡口系統，在實戰中也發揮顯著效用，但其早期卡口軟體管理平臺又多以單級部署為主，缺乏立足於全省的統一部署規劃，形成單系統信息孤島，數據信息共享不暢，難以形成立足於全省的查控系統，在實戰中無法最大限度地發揮效用。為解決以上問題，省級公安機提出了依託公安信息網絡，搭建省、市、縣三級治安卡口管理平臺，實現全省所有治安卡口數據實時轉發，分域統一存儲。省級管理平臺與公安業務信息庫建立聯接，實現各類違法車輛信息的比對報警以及統一查詢；實現立足於全省聯網的布控、比對、報警，構建全省治安卡口系統查控體系，與全省公安系統的防控體系緊
滋妙入
" ι 糹口口。全省卡口數據的實時匯聚轉發，由於受地域距離、網絡帶寬等因素影響也產生了如果高效的處理超大數據量數據交換以及保證數據實時有效傳輸等問題。傳統的做法是通過數據交換的兩端實時監聽，實時進行數據交換，若數據量大，容易發生數據傳輸擁堵的現象，導致數據傳輸不完整以及數據處理不及時。
發明內容
本發明的目的在於提供一種超大數據交換引擎，能有效地保證數據實時高效、有效地傳輸，避免網絡、地域等因素造成數據的丟失以及延遲。—種超大數據交換引擎，其特徵在於包括數據發送端、若干數據打包和數據發送模塊、對象容器、若干數據接收和數據拆包模塊和數據接收端，其中數據打包和數據發送模塊和對象容器附帶本地存儲單元，數據發送端接收需要發送的數據，交由數據打包和數據發送模塊進行打包，封裝生成類型無關性對象數據緩存在本地存儲單元，以異步網絡收發模式傳輸至對象容器，該對象容器接收打包好的各種類型對象數據，並依序緩存在本地存儲單元中；由數據接收和數據拆包模塊從對象容器中讀取需要的對象數據，然後進行拆包並恢復成原始數據通過數據接收端送入業務系統。本發明改進了傳統的數據交換模式，針對超大數據量能夠實現高效數據交換，並能夠適應不同網絡環境，保證數據高效、實時、有效地傳輸，為公安機關緝查交通違法嫌疑車輛、交通肇事逃逸車輛、涉牌違法車輛以及刑事治安案提供技術保證。本發明不僅可以適用於治安卡口系統，也可適用於其他多級數據傳輸、大數據量數據傳輸系統。
圖1為本發明超大數據交換引擎的結構示意圖2為本發明的工作流程示意圖。以下結合附圖和具體實施例對本發明作進一步詳述。
具體實施例方式如圖1所示，本發明一種超大數據交換引擎，包括數據發送端1、若干數據打包和數據發送模塊2、對象容器3、若干數據接收和數據拆包模塊4和數據接收端5，其中數據打包和數據發送模塊2和對象容器3附帶本地存儲單元，數據發送端1接收需要發送的數據， 交由數據打包和數據發送模塊2進行打包，封裝生成類型無關性對象數據緩存在本地存儲單元21，以異步網絡收發模式傳輸至對象容器3，避免網絡不穩定時造成數據傳輸的延遲， 並啟用斷點續傳功能，避免數據丟失並可提高傳輸效率，對象容器3接收打包好的各種類型對象數據，包括圖片、視頻信息、文本信息等，並依序緩存在本地存儲單元31中；數據接收和數據拆包模塊4從對象容器3中讀取需要的對象數據，然後進行拆包並恢復成原始數據通過數據接收端5送入業務系統。所述的數據發送端1和數據接收端5可以是超大數據交換引擎的二次開發接口， 通過接口可以將需要發送的數據(文本、圖形圖像等)提交給數據打包和數據發送模塊2 ； 或者，由數據接收和數據拆包模塊4從對象容器3中讀取需要的對象數據，進行拆包，還原為原始數據，通過該接口送入對應的業務系統(資料庫信息、文件信息等)。如圖2所示，本發明一種超大數據交換引擎按照如下步驟進行數據處理步驟1、數據打包和數據發送模塊2從數據發送端1獲得數據(文本、圖片)；步驟2、數據打包和數據發送模塊2對數據進行打包，將獲得的數據生成數據類型無關性的對象數據發送至對象容器3 ；當網絡異常時，數據打包和數據發送模塊2將該對象數據緩存在本地存儲單元21中避免數據丟失，一旦網絡恢復正常，則將對象數據從本地存儲單元21中取出發送到對象容器3中；步驟3、對象容器3接收對象數據，並依序緩存至本地存儲單元31中等待數據接收和數據拆包模塊4來讀取數據；步驟4、數據接收和數據拆包模塊4在網絡正常的情況下從對象容器3中讀取數據，對所讀取的數據進行拆包，並還原為原始數據，通過數據接收端5送入對應的業務系統中，也可直接寫入數據或本地文件等。以上所述，僅是本發明較佳實施例而已，並非對本發明的技術範圍作任何限制，故凡是依據本發明的技術實質對以上實施例所作的任何細微修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。
權利要求
1. 一種超大數據交換引擎，其特徵在於包括數據發送端、若干數據打包和數據發送模塊、對象容器、若干數據接收和數據拆包模塊和數據接收端，其中數據打包和數據發送模塊和對象容器附帶本地存儲單元，數據發送端接收需要發送的數據，交由數據打包和數據發送模塊進行打包，封裝生成類型無關性對象數據緩存在本地存儲單元，以異步網絡收發模式傳輸至對象容器，該對象容器接收打包好的各種類型對象數據，並依序緩存在本地存儲單元中；由數據接收和數據拆包模塊從對象容器中讀取需要的對象數據，然後進行拆包並恢復成原始數據通過數據接收端送入業務系統。
全文摘要
本發明一種超大數據交換引擎，包括數據發送端、若干數據打包和數據發送模塊、對象容器、若干數據接收和數據拆包模塊和數據接收端，其中數據打包和數據發送模塊和對象容器附帶本地存儲單元，數據發送端接收需要發送的數據，交由數據打包和數據發送模塊進行打包，封裝生成類型無關性對象數據緩存在本地存儲單元，以異步網絡收發模式傳輸至對象容器，該對象容器接收打包好的各種類型對象數據，並依序緩存在本地存儲單元中；由數據接收和數據拆包模塊從對象容器中讀取需要的對象數據，然後進行拆包並恢復成原始數據通過數據接收端送入業務系統，本發明針對超大數據量能夠實現高效數據交換，並能夠適應不同網絡環境，保證數據高效、實時、有效地傳輸。
文檔編號H04L12/56GK102355419SQ20111030465
公開日2012年2月15日 申請日期2011年9月30日 優先權日2011年9月30日
發明者曾彬海, 林嵩, 陳嵩榮 申請人:南威軟體股份有限公司