支持多協議多類型的實時數據同步的系統和方法
2023-10-04 14:17:39 2
專利名稱：支持多協議多類型的實時數據同步的系統和方法
技術領域：
本發明涉及數據傳輸領域，尤其是一種支持多協議多類型的實時數據同步的系統和方法。
背景技術：
全球經濟的繁榮大大得益於信息技術的蓬勃發展，正因為如此，信息對於當今所有企業來說都至關重要，數據正日漸成為企業的戰略資產，隨著數據對企業決策的重要性的提升，其準確性、及時性和安全性也得到世人前所未有的重視。以往，企業數據基礎架構面臨的問題並不十分複雜，比如企業信息通常保存在一個數據中心、數據一般以KB字節計量僅最大和最複雜的數據以MB字節計量、報表以批處理方式運行但統計結果經常延遲，企業內普遍為單一供應商環境等等。但是，隨著全球經濟 一體化程度的逐漸加深，企業組織面臨的狀況極盡複雜一大部分企業在某領域甚至是全領域的業務中展開合作，互相共享數據，但是由於各合作企業的地理位置差異，致使與企業業務相關的數據信息零散地存儲於各地的伺服器中，頻繁交易使得數據分布的速率日益加快，數據量的激增及數據分散狀況的加劇給數據管理帶來更大的難度。目前，合作企業間的數據同步技術都是針對特定的數據類型，進行單一的傳輸協議以實現同步。但是，各企業保存的數據在格式上不同，使用的傳輸協議也不相同，從而造成數據傳輸緩慢甚至停滯。
發明內容
本發明所要解決的技術問題是提供一種支持多協議多類型的實時數據同步的系統和方法，以解決合作企業間的數據同步只能針對特定數據類型、單一傳輸協議的問題。為了解決上述問題，本發明提供了一種支持多協議多類型的實時數據同步的系統，其特徵在於，包括後臺同步管理模塊、數據採集模塊、數據同步模塊；其中，所述後臺同步管理模塊，與數據同步模塊相耦接，用於接收並存儲支持數據同步的定製內容；所述數據採集模塊，與所述數據同步模塊相耦接，用於對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝後發送給所述數據同步模塊；所述數據同步模塊，分別與所述後臺同步管理模塊和數據採集模塊相耦接，用於對接收的組裝後的數據根據所述後臺同步管理模塊中所述定製內容進行同步操作，然後輸出同步後的數據。進一步，其中，所述後臺同步管理模塊接收並存儲支持數據同步的定製內容包括數據類型、傳輸協議、參數設定、掃描周期、傳輸編碼以及失敗處理方案。進一步，其中，所述數據採集模塊包括採集處理單元、掃描提取單元和數據組裝單元；其中，
所述採集處理單元，與所述掃描提取單元相耦接，用於採集不同通道發送的需要進行同步的信息，並判斷處理通道上是否出現數據處理阻塞，如出現數據處理阻塞，則進入等待，根據設定的固定時間再進行判斷處理通道上是否出現數據處理阻塞；如未出現數據處理阻塞，則將所述需要進行同步的信息發送給所述掃描提取單元；
所述掃描提取單元，與所述採集處理單元和數據組裝單元相耦接，用於接收所述採集處理單元發送的所述需要進行同步的信息進行掃描並提取數據，將提取出的數據發送給所述數據組裝單元；所述數據組裝單元，與所述掃描提取單元相耦接，用於對相同類型和相同傳輸協議的數據進行組裝後發送給所述數據同步模塊。進一步，其中，所述數據同步模塊，進一步為用於對組裝後的相同類型和相同傳輸協議的數據，根據從所述後臺同步管理模塊中所述定製內容進行同步操作，如同步成功，則將同步後的數據輸出；如同步不成功，則繼續根據所述定製內容進行同步操作。為了解決上述問題，本發明還提供了一種支持多協議多類型的實時數據同步的方法，其特徵在於，包括接收並存儲支持數據同步的定製內容；對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝；對所述組裝後的數據根據所述定製內容進行同步操作，然後輸出同步後的數據。進一步，其中，所述接收並存儲支持數據同步的定製內容包括數據類型、傳輸協議、參數設定、掃描周期、傳輸編碼以及失敗處理方案。進一步，其中，所述對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝，進一步為用於採集不同通道發送的需要進行同步的信息，並判斷處理通道上是否出現數據處理阻塞，如出現數據處理阻塞，則進入等待，根據設定的固定時間再進行判斷處理通道上是否出現數據處理阻塞；如未出現數據處理阻塞，則執行下一步；將所述需要進行同步的信息進行掃描並提取數據；對於所述提取數據，將相同類型和相同傳輸協議的數據進行組裝。進一步，其中，所述對所述組裝後的數據根據所述定製內容進行同步操作，然後輸出同步後的數據，進一步為對組裝後的相同類型和相同傳輸協議的數據，根據所述定製內容進行同步操作，如同步成功，則將同步後的數據輸出；如同步不成功，則繼續根據所述定製內容進行同步操作。與現有技術相比，本發明所述支持多協議多類型的實時數據同步的系統和方法達到了如下效果I)採用本發明可以對合作企業的數據類型及傳輸協議進行數據同步定製，實現同
I K
少；2)採用本發明可以對合作企業的特點定製不同的同步策略；3)採用本發明可以支持海量數據同步，支持合作方同步數據的獨立性；4)採用本發明可以有效提高企業間數據同步的準確性、及時性。
圖I為本發明實施例一所述一種支持多協議多類型的實時數據同步的系統結構框圖；圖2為本發明實施例二所述一種支持多協議多類型的實時數據同步的方法流程圖；圖3為本發明實施例一所述的系統中數據採集模塊的結構框圖；圖4為本發明實施例二所述的方法中步驟2021的流程示意圖。
具體實施例方式在說明書及權利要求當中使用了某些詞彙來指稱特定組件。本領域技術人員應 可理解，硬體製造商可能會用不同名詞來稱呼同一個組件。本說明書及權利要求並不以名稱的差異來作為區分組件的方式，而是以組件在功能上的差異來作為區分的準則。在通篇說明書及權利要求當中所提及的「包含」為一開放式用語，故應解釋成「包含但不限定於」。「大致」是指在可接受的誤差範圍內，本領域技術人員能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，「耦接」一詞在此包含任何直接及間接的電性連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表所述第一裝置可直接電性連接於所述第二裝置，或通過其他裝置或連接手段間接地電性連接至所述第二裝置。說明書後續描述為實施本發明的較佳實施方式，然所述描述乃以說明本發明的一般原則為目的，並非用以限定本發明的範圍。本發明的保護範圍當視所附權利要求所界定者為準。以下結合附圖對本發明作進一步詳細說明，但不作為對本發明的限定。如圖I所示，為本發明實施例一所述的一種支持多協議多類型的實時數據同步的系統結構圖，包括後臺同步管理模塊10、數據採集模塊11、數據同步模塊12 ;其中，所述後臺同步管理模塊10，與數據同步模塊12相耦接，用於接收並存儲支持數據同步的定製內容。所述數據採集模塊11，與所述數據同步模塊12相耦接，用於對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝後發送給所述數據同步模塊12。所述數據同步模塊12，分別與所述後臺同步管理模塊10和數據採集模塊11相耦接，用於對接收的組裝後的數據根據所述後臺同步管理模塊10中所述定製內容進行同步操作，然後輸出同步後的數據。具體地，在本發明實施例一中所述後臺同步管理模塊10接收並存儲支持數據同步的定製內容包括有數據類型、傳輸協議、參數設定、掃描周期、傳輸編碼以及失敗處理方案。數據類型是指業務中一些數據值的組合，對於本發明來說，以下都可做為操作對象短彩信話單，IVR話單，銀行卡支付話單、用戶充值數據，用戶消費記錄等等。傳輸協議是指計算機的網絡傳送協議，本發明包括TCP協議，UDP協議。參數設定是指對數據需要同步的屬性進行設定，可以選擇其中一部分進行同步，比如IVR話單，可以設定只同步話單時間，話單用戶號，話單號，而對IVR話單中通話時長不做同步。掃描周期提取數據的時間間隔設定。傳輸編碼用戶設置的傳輸時的編碼格式，比如GBK，UTF-8等。失敗處理方案在同步失敗時，進行最多N次重試同步，如果仍然失敗，則將該同步通道設為陰塞標識具體地，如圖3所示，在本發明實施例一中所述數據採集模塊11包括採集處理單元101、掃描提取單元102和數據組裝單元103 ;其中，所述採集處理單元101，與所述掃描提取單元102相耦接，用於採集不同通道發送的需要進行同步的信息，並判斷處理通道上是否出現數據處理阻塞，如出現數據處理阻塞，則進入等待，根據設定的固定時間再進行判斷處理通道上是否出現數據處理阻塞；如未出現數據處理阻塞，則將所述需要進行同步的信息發送給所述掃描提取單元102 ；所述掃描提取單元102，與所述採集處理單元101和數據組裝單元103相耦接，用於接收所述採集處理單元101發送的所述需要進行同步的信息進行掃描並提取數據，將提取出的數據發送給所述數據組裝單元103 ；
所述數據組裝單元103，與所述掃描提取單元102相耦接，用於對相同類型和相同傳輸協議的數據進行組裝後發送給所述數據同步模塊12。具體地，在本發明實施例一中所述數據同步模塊12具體操作是用於對組裝後的相同類型和相同傳輸協議的數據，根據從所述後臺同步管理模塊10中所述定製內容進行同步操作，如同步成功，則將同步後的數據輸出；如同步不成功，則繼續根據所述定製內容進行同步操作。如圖2所示，為本發明實施例二所述的一種支持多協議多類型的實時數據同步的方法流程圖，該方法包括步驟201，接收並存儲支持數據同步的定製內容；步驟202，對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝；步驟203，對所述組裝後的數據根據所述定製內容進行同步操作，然後輸出同步後的數據。具體地，在本發明實施例二中步驟201中所述接收並存儲支持數據同步的定製內容包括有數據類型、傳輸協議、參數設定、掃描周期、傳輸編碼以及失敗處理方案。具體地，在本發明實施例二中步驟202中具體操作為如圖4所示，步驟2021，用於採集不同通道發送的需要進行同步的信息，並判斷處理通道上是否出現數據處理阻塞，如出現數據處理阻塞，則進入等待，根據設定的固定時間再進行判斷處理通道上是否出現數據處理阻塞；如未出現數據處理阻塞，則執行下一步(步驟 2022)；步驟2022，將所述需要進行同步的信息進行掃描並提取數據；步驟2023，將相同類型和相同傳輸協議的數據進行組裝後，執行步驟203。具體地，在本發明實施例二中步驟203具體操作是對組裝後的相同類型和相同傳輸協議的數據，根據步驟201中所述定製內容進行同步操作，如同步成功，則將同步後的數據輸出；如同步不成功，則繼續根據所述定製內容進行同步操作。與現有技術相比，本發明所述支持多協議多類型的實時數據同步的系統和方法達到了如下效果I)採用本發明可以對合作企業的數據類型及傳輸協議進行數據同步定製，實現同I K
少；2)採用本發明可以對合作企業的特點定製不同的同步策略；3)採用本發明可以支持海量數據同步，支持合作方同步數據的獨立性；4)採用本發明可以有效提高企業間數據同步的準確性、及時性。本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、CD-ROM、光學存儲器等)上實施的電腦程式產品的形式。·
上述說明示出並描述了本發明的若干優選實施例，但如前所述，應當理解本發明並非局限於本文所披露的形式，不應看作是對其他實施例的排除，而可用於各種其他組合、修改和環境，並能夠在本文所述發明構想範圍內，通過上述教導或相關領域的技術或知識進行改動。而本領域人員所進行的改動和變化不脫離本發明的精神和範圍，則都應在本發明所附權利要求的保護範圍內。
權利要求
1.一種支持多協議多類型的實時數據同步的系統，其特徵在於，包括後臺同步管理模 塊、數據採集模塊、數據同步模塊；其中， 所述後臺同步管理模塊，與數據同步模塊相耦接，用於接收並存儲支持數據同步的定製內容; 所述數據採集模塊，與所述數據同步模塊相耦接，用於對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝後發送給所述數據同步豐吳塊； 所述數據同步模塊，分別與所述後臺同步管理模塊和數據採集模塊相耦接，用於對接收的組裝後的數據根據所述後臺同步管理模塊中所述定製內容進行同步操作，然後輸出同步後的數據。
2.如權利要求I所述的一種支持多協議多類型的實時數據同步的系統，其特徵在於，所述後臺同步管理模塊接收並存儲支持數據同步的定製內容包括數據類型、傳輸協議、參數設定、掃描周期、傳輸編碼以及失敗處理方案。
3.如權利要求I所述的一種支持多協議多類型的實時數據同步的系統，其特徵在於，所述數據採集模塊包括採集處理單元、掃描提取單元和數據組裝單元；其中， 所述採集處理單元，與所述掃描提取單元相耦接，用於採集不同通道發送的需要進行同步的信息，並判斷處理通道上是否出現數據處理阻塞，如出現數據處理阻塞，則進入等待，根據設定的固定時間再進行判斷處理通道上是否出現數據處理阻塞；如未出現數據處理阻塞，則將所述需要進行同步的信息發送給所述掃描提取單元； 所述掃描提取單元，與所述採集處理單元和數據組裝單元相耦接，用於接收所述採集處理單元發送的所述需要進行同步的信息進行掃描並提取數據，將提取出的數據發送給所述數據組裝單元； 所述數據組裝單元，與所述掃描提取單元相耦接，用於對相同類型和相同傳輸協議的數據進行組裝後發送給所述數據同步模塊。
4.如權利要求I所述的一種支持多協議多類型的實時數據同步的系統，其特徵在於，所述數據同步模塊，進一步為用於對組裝後的相同類型和相同傳輸協議的數據，根據從所述後臺同步管理模塊中所述定製內容進行同步操作，如同步成功，則將同步後的數據輸出；如同步不成功，則繼續根據所述定製內容進行同步操作。
5.一種支持多協議多類型的實時數據同步的方法，其特徵在於，包括 接收並存儲支持數據同步的定製內容； 對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝； 對所述組裝後的數據根據所述定製內容進行同步操作，然後輸出同步後的數據。
6.如權利要求5所述的一種支持多協議多類型的實時數據同步的方法，其特徵在於，所述接收並存儲支持數據同步的定製內容包括數據類型、傳輸協議、參數設定、掃描周期、傳輸編碼以及失敗處理方案。
7.如權利要求5所述的一種支持多協議多類型的實時數據同步的方法，其特徵在於，所述對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝，進一步為用於採集不同通道發送的需要進行同步的信息，並判斷處理通道上是否出現數據處理阻塞，如出現數據處理阻塞，則進入等待，根據設定的固定時間再進行判斷處理通道上是否出現數據處理阻塞；如未出現數據處理阻塞，則執行下一步； 將所述需要進行同步的信息進行掃描並提取數據； 對於所述提取數據，將相同類型和相同傳輸協議的數據進行組裝。
8.如權利要求5所述的一種支持多協議多類型的實時數據同步的方法，其特徵在於，所述對所述組裝後的數據根據所述定製內容進行同步操作，然後輸出同步後的數據，進一步為 對組裝後的相同類型和相同傳輸協議的數據，根據所述定製內容進行同步操作，如同步成功，則將同步後的數據輸出；如同步不成功，則繼續根據所述定製內容進行同步操作。
全文摘要
本發明公開了一種支持多協議多類型的實時數據同步的系統和方法，該方法包括接收並存儲支持數據同步的定製內容；對採集到的需要進行同步的信息掃描並提取數據，然後對相同類型和相同傳輸協議的數據進行組裝；對組裝後的數據根據所述定製內容進行同步操作，然後輸出同步後的數據。與現有技術相比，本發明解決了合作企業間的數據同步只能針對特定數據類型、單一傳輸協議的問題。
文檔編號H04L29/08GK102868760SQ20121037228
公開日2013年1月9日 申請日期2012年9月28日 優先權日2012年9月28日
發明者龔雲, 曹東, 李建濤 申請人:南京奇幻通信科技有限公司