訂閱/發布系統中信息倉庫聯邦及數據同步方法

2023-05-07 23:01:41

專利名稱：訂閱/發布系統中信息倉庫聯邦及數據同步方法
技術領域：
本發明涉及的是一種計算機分布式系統，具體涉及一種在訂閱/發布系統中中信息倉庫聯邦以及在這些聯邦成員之間進行數據同步的方法。
背景技術：
訂閱/發布系統中信息倉庫聯邦成員數據同步，屬於分布式系統中數據同步技術範疇。目前在分布式系統中數據同步主要有以下幾種同步技術I.事務控制法I. I.傳統的事務控制法在分布式資料庫系統中，「事務」是一系列不可分割的操作序列，將資料庫從一個一致性狀態轉變到另一個一致性狀態，由於全局事務與局部事務存在並發執行，可能會造成數據副本不一致。傳統的事務控制法通過分布式兩段鎖協議(2PL協議)來保證全局事務與局部事務執行的可串行性，即可保證事務的一致性調度，以及通過分布式兩段提交協議(2PC協議)來同步更新各副本數據。這對數據操作涉及的記錄不多、事務保持時間不長的分布式資料庫系統有效。而在一些數據量大、用戶對數據的操作範圍大的情況下，事務保持時間長，若採用2PL協議，則會嚴重地影響事務並發程度，不能滿足實際需要，同時，2PC協議或3PC協議的方法在網上通信量很大，而由於網絡速度有限，因此，會使用戶陷入長時間的不可忍受的等待狀態，或遇到頻繁的事務失敗，重新啟動事務太多，造成應用程式運行效率低下。I. 2.擴展事務控制法在分布式環境下，2PC協議是實現事務原子性的一個主要原則，然而大多數原有的資料庫系統並不支持這一協議，擴展事務控制法則不依賴於局部資料庫系統是否支持2PC協議，而是對全局子事務和局部事務進行擴展，並為各個局部資料庫引進了鎖表和日誌表，它在局部資料庫和控制表之上執行擴展事務，它們負責維護全局可串行性和實際事務的恢復。通過擴展事務來檢測鎖，以避免衝突發生和進行恢復。該方法在一定的基礎上維護了局部事務的自治性，但它增加了事務的負擔而降低了事務本身的執行效率。2.複製控制法2. I.同步複製控制法利用同步複製使得各數據副本保持緊一致性，即任何時刻不同站點的副本的值總是一致的。這樣，全局事務管理系統要明確數據的各個副本所在的站點，當事務對某一數據副本進行了更新時，全局事務管理系統必須向其他站點發送強制用戶修改數據副本的消息以保持數據各副本一致。但是對於出現故障的站點，則必須等待其恢復以後再進行複製，因此數據並非嚴格一致。由於對數據的更新操作頻繁，從而向系統發送的複製消息也頻繁，系統通信量大，降低了系統處理速度。而且對於很多資料庫系統來說，它並不要求嚴格的數據一致，如空間資料庫一般允許訪問時間相對滯後的數據，採用同步複製控制並不實用。2. 2 異步複製控制法
利用異步複製使得各數據副本保持松一致性，即數據的更新與其各副本所做的修改複製有一段時間間隔，在某一時刻不同站點的副本的值可能是不一致的，數據暫時不同步。它主要解決兩個問題，即如何捕捉到更新數據和什麼時候覆制。一般採用基於事務日誌方法和基於觸發器方法捕捉系統更新操作，大多數資料庫系統一般採用事務日誌來捕捉數據更新，如Sybase, Informix,Microsoft SQL Server等。但由於事務日誌格式可能不相同，設計通用的資料庫日誌讀取程序相當困難，因而一些系統採用觸發器方法。對於觸發器法，一旦被跟蹤的對象被更新，會觸發相關事件發生，記錄數據源與數據更新的內容。對於被觸發器所捕捉的更新數據，由複製伺服器對各副本進行更新，複製伺服器需要保證被複製的數據是最後的更新結果。3.消息隊列法消息隊列是進程間通信的一種機制，兩個或多個進程間通過訪問共用的系統消息 隊列來交換信息，這裡將消息隊列的概念擴展到位於分布式環境下的不同站點間的進程間通信，由消息管理機構在Internet上實現可靠的消息傳送，其中涉及的消息隊列有發送隊列、接收隊列、應答隊列和管理隊列。應用程式在本地資料庫上完成數據更新後，將更新信息以及本地應答隊列和管理隊列的地址存放到消息中，發送到遠端接收隊列中，消息交給消息管理機構後首先進入本地發送隊列等待發送，如一切正常，消息將送到應用程式指定的遠端接收隊列中，同時，一個後臺處理程序一直在監視著自己的接收隊列，一旦有消息到達，它將讀消息，並對本地資料庫實施消息中所描述的更新操作，如果更新陳珉等分布式資料庫系統中數據一致性維護方法研究成功，則處理結束，否則依應答隊列的地址信息發送出錯消息，另一個後臺處理程序一直在監視應答隊列，根據收到的錯誤信息，它將在本地資料庫中試圖撤消相應的更新操作。該方法提供的是資料庫間異步更新，而不是同步更新，這樣可能讀到的不是最新數據，所以它不適合要求實時數據同步的分布式資料庫系統。

發明內容
本發明的目的在於提供一種可以提高分布式系統的健壯性、穩定性的訂閱/發布系統中信息倉庫聯邦。本發明的目的還在於提供一種能避免數據髒讀、提高容錯性的訂閱/發布系統中信息倉庫聯邦數據同步方法。本發明的目的是這樣實現的本發明的訂閱/發布系統中信息倉庫聯邦由多個結構相同且平級的聯邦成員、即信息倉庫構成，每個信息倉庫的結構如下(I)數據存儲模塊，負責數據的持久化存儲的基礎模塊，存儲的數據分為聯邦數據、業務數據兩種，聯邦數據為各聯邦成員的狀態、位置信息；業務數據為發布/訂閱系統運行所必須的業務數據；(2)同步處理模塊，負責同步聯邦成員之間數據的模塊，分為消息隊列、監聽器、觸發器、控制器四個子模塊；消息隊列用於緩存應用程式發送的寫入請求；監聽器用於監視系統狀態並向其它模塊推送；觸發器用於根據條件觸發操作；控制器用於控制整個同步操作過程；(3)公共服務模塊，負責向上層模塊提供公共服務的底層模塊，分為時間管理、聯邦狀態管理、底層通信三個子模塊；時間管理用於對各聯邦成員進行時間同步；聯邦狀態管理用於維護聯邦成員之間的狀態、位置信息；底層通訊用於實現系統中數據的收發。所述數據存儲模塊採用資料庫或XML文件方式存儲。訂閱/發布系統中信息倉庫聯邦的數據同步方法包括如下步驟(I)系統中的應用程式向某一信息倉庫A發起「寫消息」；(2)信息倉庫A將「寫消息」存入消息隊列，觸發同步操作；(3)信息倉庫A取出消息隊列中最下一條消息，將消息打包並根據聯邦狀態選擇某一聯邦成員發送同步消息；
(4)信息倉庫A發送消息之後，開始計時，若在一定時間內沒有收到對方應答，則重發該消息，若收到應答，則進入第(8)步；(5)信息倉庫B接收到同步消息，判斷自身是否有比該同步消息發起時間更早的同步發起消息尚未結束，若有，則拋棄信息倉庫A的同步消息，若沒有，則接收同步消息開始執行同步操作；(6)解析收到的同步消息，根據消息內容中的主關鍵字檢索自身現有業務數據；(7)根據自身現有業務數據情況，判斷應如何操作自身業務數據；(8)信息倉庫B完成對自身業務數據的操作之後，向信息倉庫A發送操作成功響應，此時信息倉庫B完成同步；(9)信息倉庫A收到操作成功相應之後，根據聯邦狀態選擇下一聯邦成員發送同步消息，若此時已無下一聯邦成員，則開始執行自身同步操作，更新自身業務數據；(10)信息倉庫A完成對自身的業務數據操作之後，聯邦內所有聯邦成員數據已同步，信息倉庫A刪除消息隊列中最下一條已被執行的消息，同步完成。本發明提出的數據同步方法以簡單的結構及較少的網絡資源消耗迫使聯邦中所有聯邦成員按照順序線性執行同步過程，避免了多聯邦成員互相發起同步所造成的數據重複改寫、數據髒讀等問題，有效提高系統的健壯性、穩定性、容錯性。另外本發明還具有以下三個特點。第一，本發明中各聯邦成員在聯邦中的地位完全平等，同步過程完全通過聯邦成員自身的控制器控制完成，而不需要一個特殊的節點參與。這位聯邦的實現提供了便利，同時也方便了用戶部署聯邦環境。在同步過程中，同步的消息不需要經過某個特定的節點中轉，網絡負載較為平衡，避免了特定節點網絡通信較大而造成的系統瓶頸。第二，本發明中聯邦作為一個邏輯結構，對應用程式完全透明，應用程式直接訪問、操作的仍然是信息倉庫本身，聯邦的狀態由信息倉庫彼此之間互相維繫。這為應用程式的開發與部署帶來了極大的便利，開發人員甚至不需要對應用程式進行任何修改，就可讓其運行在信息倉庫聯邦環境下。第三，本發明中信息倉庫內部不需要存儲業務數據的額外備份，應用程式發起的寫入消息在同步之前進入消息隊列緩存，待同步之後再存儲進業務數據中。這在保證同步得以完成的前提下儘量簡化了信息倉庫的結構，使其能夠使用更多的資源完成向應用程式提供數據存儲、寫入服務的本職工作，也從根本上杜絕了數據髒讀的發生。


圖I是聯邦內聯邦成員即信息倉庫的功能結構圖。
圖2是聯邦內聯邦成員發起同步、接收同步的程序流程圖。圖3是聯邦成員之間完成一次數據同步過程實例的流程圖。
具體實施例方式下面結合附圖和具體實施方式
對本發明做進一步說明。本發明的技術思路是在不影響訂閱/發布系統中應用程式的前提下，尋求一種結構簡單的、網絡帶寬佔用小的、工程可實施性強的信息倉庫之間實時同步數據的技術。該技術能針對訂閱/發布系統的特點，組件信息倉庫聯邦，迫使聯邦內多個聯邦成員的同步請求按照順序串行執行，以此保證聯邦同步過程正確完成，提高整個訂閱/發布系統的健壯性、穩定性以及容錯性。結合圖1，本發明的訂閱/發布系統中信息倉庫聯邦(100)內信息倉庫(102)的結、構包括以下幾個部分(I)數據存儲模塊(104)。數據存儲模塊是信息倉庫對信息、數據進行存放的基本模塊。主要負責數據的持久化存儲，根據訂閱/發布系統的區別及運行環境，可以採用資料庫、XML文件等方法進行結構化數據存儲，以供系統中應用程式訪問。數據存儲模塊中存儲的數據分以下兩類。I.聯邦數據(106):系統中的信息倉庫作為聯邦成員加入聯邦，聯邦數據即為聯邦中各聯邦成員狀態、位置等信息，以二維表的方式持久化存儲以供聯邦成員之間互相訪問。2.業務數據(108):存放訂閱/發布系統中應用程式產生、使用的業務數據，需要被同步的即為這一部分數據。例如DDS系統中的Topic等。(2)同步處理模塊(110)同步處理模塊主要負責聯邦內的聯邦成員(信息倉庫)之間的數據同步任務。由以下四個子模塊構成。I.消息隊列(112):訂閱/發布系統中客戶端應用程式向信息倉庫發起的「寫入」請求並不直接存入數據存儲模塊中，而是暫時進入消息隊列中進行緩存，以供同步處理。2.監聽器(114):監視信息倉庫內部狀態以及網絡中的消息，並向需要的模塊推送消息。3.觸發器(116):接收監聽器推送的消息，當達到觸發條件時，觸發操作。例如，當消息隊列中有消息時，觸發同步操作。4.控制器(118):對整個同步操作過程進行控制，以保證同步正確完成。(3)公共服務模塊(120)公共服務模塊是系統底層的服務模塊，為上層數據存儲模塊和同步處理模塊提供時間同步服務、維護聯邦成員狀態信息、對外通信等功能。I.時間管理(122):實現聯邦內各聯邦成員時間同步，並提供接口，以便隨時獲取當前的仿真時間。2.聯邦狀態管理(124):向外廣播心跳數據並接收對方心跳數據，以維護聯邦內所有成員狀態、位置信息。3.底層通信(126):底層通信平臺，負責在系統中發送、接收數據。以上三大模塊構成了一個完整的信息倉庫。當整個發布/訂閱系統中只有一個信息倉庫時，可以認為這個信息倉庫組成一個只包含一個聯邦成員的聯邦。而當多個信息倉庫組成聯邦之後，所有聯邦成員之間的數據需要進行同步，根據信息倉庫的狀態，整個聯邦可以分為如下三個狀態(I) 一致性狀態此時聯邦中各聯邦成員，即信息倉庫(102)內的數據一致。
(2)積累狀態此時聯邦中各聯邦成員，即信息倉庫(102)之間可能由於某些原因暫時無法通信，訂閱/發布系統中的客戶端應用程式對各自所連接的信息倉庫的「寫入」請求在信息倉庫的消息隊列(112)中積累起來。此時雖然各信息倉庫中存儲的業務數據(108)仍保持一致，但積累的消息需要被同步。(3)同步處理狀態一旦聯邦內某個聯邦成員，即信息倉庫(102)的消息隊列(112)有積累，則立即進A同步處理狀態。完成所有的同步操作之後，系統返回一致性狀態。整個聯邦在這三個狀態下不斷循環，每一次循環均完成一次數據同步操作。如圖2所示，本發明中聯邦內聯邦成員之間數據同步的過程包括以下幾個步驟I.系統中的應用程式向某一信息倉庫A發起「寫消息」(202)，此時整個聯邦的一致性狀態結束，進入積累狀態。2.信息倉庫A將「寫消息」存入消息隊列(204)。使用消息隊列(108)是為了在同步進行過程中緩存「寫消息」，迫使這些「寫消息」按照順序在聯邦中進行同步，同時又不影響信息倉庫本身向應用程式提供的數據讀寫服務。3.信息倉庫A中的監聽器(114)監聽到消息隊列(108)不為空，觸發器(116)觸發同步操作，信息倉庫A將自身標記為「未同步狀態」(206)。標記為「未同步狀態」是為了在同步執行過程中根據情況拋棄別的聯邦成員向自身發起的請求同步消息。此時整個聯邦的積累狀態結束，進入同步處理狀態。4.信息倉庫A中的控制器(118)取出消息隊列(108)中最下一條數據(可能會存在多條消息在消息隊列中積累)，將消息打包(206)。打包信息包含隊列編號(整個系統運行中該值唯一)、時間戳(當前系統仿真時間)、消息內容(需要執行的具體操作)。5.根據聯邦狀態數據(208)，按照順序，首先向另一聯邦成員信息倉庫B發送該「請求同步消息」，並開始計時(216 )。5. I.若在規定時間之內未收到信息倉庫B對本次同步的「操作成功消息」，可能是由於信息倉庫B沒有收到「請求同步消息」，也有可能是由於信息倉庫B發送的「操作成功消息」沒有成功到達(218)。不論哪種原因，均重複第5步。5. 2.若在規定時間之內收到信息倉庫B對本次同步的「操作成功消息」，跳轉到第10 步(218)。6.信息倉庫B中的監聽器(114)監聽到網絡中的「請求同步消息」(224)。7.信息倉庫B中的控制器(118)獲取消息並進行解包，讀取時間戳(226)。7. I.若自身狀態為「已同步狀態」，則受理同步，將自身標記為「未同步狀態」，進入第 8 步(228)。7. 2.若自身狀態為「未同步狀態」，比對上一條自身向外發送的「請求同步消息」中的時間戳(228)。加入時間戳比較的目的是為了解決兩個信息倉庫之間同時、互相發送「請求同步消息」而造成的死鎖等情況。7. 2. I.若收到消息的時間戳早於自身發送同步請求時的時間戳，則打斷自身發起的同步，受理收到的同步請求，將自身標記為「未同步狀態」，進入第8步(230)。7. 2. 2.若收到消息的時間戳晚於自身發送同步請求時的時間戳，則丟棄對方的同步請求，繼續進行自身發起的同步過程(238 )。8.信息倉庫B正式受理對方的同步請求，控制器(118)解包「請求同步消息」中的隊列編號、消息內容，根據消息內容，對業務數據進行操作(230)。對消息做以下判斷是為了在收到遲到的「請求同步消息」時進行正確處理。 8. I若消息請求為寫入，根據主關鍵字檢索信息倉庫B現有數據(232 )。8. I. I若沒有，則寫入數據，進入第9步(234)。 8. I. 2若已有，則不做寫入操作，進入第9步(234)。8. 2若消息請求為刪除，根據主關鍵字檢索信息倉庫B現有數據(232)。8. 2. I若沒有，則不做刪除操作，進入第9步(234)。8. 2. 2若已有，則刪除數據，進入第9步(234)。8. 3若消息請求為修改，直接修改數據，進入第9步(234)。
9.向同步請求發送方返回操作成功消息，消息中包含原消息隊列編號，並將自身狀態設置為「已同步狀態」(236)。10.信息倉庫A中的監聽器(114)監聽到網絡中返回的「操作成功消息」，查看聯邦狀態數據(208)。10. I.若有下一個聯邦成員，則向下一個聯邦成員信息倉庫C發起同步(216)，此時對信息倉庫C的同步過程與B相同，不再重複。 10.2.若沒有下一個聯邦成員，則進行自身業務數據操作，進入第11步(212 )。11.信息倉庫A獲取返回的「操作成功消息」中的隊列編號值，與自身之前發送的隊列編號進行比對(214)。
11.1.若相同，則更新自身的業務數據，進入第12步(214)。11.2.若不同或此時狀態為「已同步狀態」，則丟棄該「操作成功消息」(214)。12.信息倉庫A更新數據之後，從消息隊列(112)中刪除最下一條已被同步的對應消息(214)。13.信息倉庫A將自身狀態設置為「已同步狀態」，此時整個聯邦的同步處理狀態結束，重新進入一致性狀態(220 )。到此為止，整個聯邦從一致性狀態過渡到積累狀態，又經過同步處理狀態回到一致性狀態，整個聯邦狀態完成一次循環，聯邦成員之間的數據也經過了一次同步過程。圖3給出了一個實例，該實例描述了由三個信息倉庫組成的聯邦之間，從發起到完成一次同步的過程。其中包含了一些常見的異常情況。應當理解的是，對本發明技術所在領域的普通技術人員來說，可以根據本發明的技術方案及其構思進行相應的等同改變或替換，而所有這些改變或替換，都應屬於本發明所附權利要求的保護範圍。
權利要求
1.一種訂閱/發布系統中信息倉庫聯邦，由多個結構相同且平級的聯邦成員、即信息倉庫構成，其特徵是每個信息倉庫的結構如下 (1)數據存儲模塊，負責數據的持久化存儲的基礎模塊，存儲的數據分為聯邦數據、業務數據兩種，聯邦數據為各聯邦成員的狀態、位置信息；業務數據為發布/訂閱系統運行所必須的業務數據； (2)同步處理模塊，負責同步聯邦成員之間數據的模塊，分為消息隊列、監聽器、觸發器、控制器四個子模塊；消息隊列用於緩存應用程式發送的寫入請求；監聽器用於監視系統狀態並向其它模塊推送；觸發器用於根據條件觸發操作；控制器用於控制整個同步操作過程； (3)公共服務模塊，負責向上層模塊提供公共服務的底層模塊，分為時間管理、聯邦狀態管理、底層通信三個子模塊；時間管理用於對各聯邦成員進行時間同步；聯邦狀態管理用於維護聯邦成員之間的狀態、位置信息；底層通訊用於實現系統中數據的收發。
2.根據權利要求I所述的訂閱/發布系統中信息倉庫聯邦，其特徵是所述數據存儲模塊採用資料庫或XML文件方式存儲。
3.—種權利要求I所述的訂閱/發布系統中信息倉庫聯邦的數據同步方法，其特徵是包括如下步驟 (1)系統中的應用程式向某一信息倉庫A發起「寫消息」； (2)信息倉庫A將「寫消息」存入消息隊列，觸發同步操作； (3)信息倉庫A取出消息隊列中最下一條消息，將消息打包並根據聯邦狀態選擇某一聯邦成員發送同步消息； (4)信息倉庫A發送消息之後，開始計時，若在一定時間內沒有收到對方應答，則重發該消息，若收到應答，則進入第(8)步； (5)信息倉庫B接收到同步消息，判斷自身是否有比該同步消息發起時間更早的同步發起消息尚未結束，若有，則拋棄信息倉庫A的同步消息，若沒有，則接收同步消息開始執行同步操作； (6)解析收到的同步消息,根據消息內容中的主關鍵字檢索自身現有業務數據； (7)根據自身現有業務數據情況，判斷應如何操作自身業務數據； (8)信息倉庫B完成對自身業務數據的操作之後，向信息倉庫A發送操作成功響應，此時信息倉庫B完成同步； (9)信息倉庫A收到操作成功相應之後，根據聯邦狀態選擇下一聯邦成員發送同步消息，若此時已無下一聯邦成員，則開始執行自身同步操作，更新自身業務數據； (10)信息倉庫A完成對自身的業務數據操作之後，聯邦內所有聯邦成員數據已同步，信息倉庫A刪除消息隊列中最下一條已被執行的消息，同步完成。
全文摘要
本發明提供的是一中訂閱/發布系統中信息倉庫聯邦及數據同步方法。信息倉庫聯邦，由多個結構相同且平級的信息倉庫構成。信息倉庫包括數據存儲模塊、同步處理模塊、公共服務模塊，通過這些模塊之間的協同工作能夠將某一信息倉庫中需要更新的數據以消息的方式及時通知聯邦中其他的信息倉庫；其他信息倉庫接收到更新消息之後做出相應的更新操作，並將處理的結果返回給消息發送源；消息發送源收到反饋消息後對自身數據進行更新操作。本發明對數據量小、更新頻率低的訂閱/發布系統中信息倉庫之間的實時數據同步提出了一種有效、快速且易於實現的解決方法，提高系統的健壯性、穩定性及容錯性，保證訂閱/發布系統中組成聯邦的信息倉庫之間數據的一致性。
文檔編號G06F17/30GK102724304SQ201210184508
公開日2012年10月10日 申請日期2012年6月6日 優先權日2012年6月6日
發明者印桂生, 張萬松, 徐悅竹, 楊帆, 王紅濱, 石天放, 董紅斌 申請人:哈爾濱工程大學