數據同步方法及裝置的製作方法

2023-10-06 13:23:29 1

專利名稱：數據同步方法及裝置的製作方法
技術領域：
本發明涉及資料庫技術領域，尤其涉及一種數據同步方法及裝置。
背景技術：
隨著計算機網絡的發展，網上消費已經深入到人們的日常生活之中，相應的實時 交易系統所處理的數據量不斷增加。很多網絡實時交易系統不得不將原來的一個資料庫實 例，按不同功能模塊，分成兩個或多個資料庫實例，以降低資料庫訪問壓力。比如，將資料庫 分為在線資料庫和後線資料庫，在線資料庫負責聯機交易處理，後線資料庫負責批量交易、 客服查詢、統計分析等。 由於多個資料庫實例的應用，導致了資料庫之間的數據同步成為最關鍵的技術之 一。通常需要將在線資料庫同步到後線資料庫，並且在同步時需要考慮實時性和正確性； 同時，由於設計的功能不同，對應的表結構可能有所差異，需要在同步時能支持欄位的映射 (甚至一對多的映射)或者表名的映射(設置一對多、多對一的映射)，並且也可能不是全 部數據都同步，而是僅僅針對指定條件的數據進行同步。 現有的數據同步方法需要在實時交易時，單獨記錄數據的變化情況，並利用同步 程序輪詢數據變化情況，根據輪詢的結果，將變化的數據從源資料庫中取出，再對應的添加 到目標資料庫中。但是輪詢源資料庫表的變化情況會帶來一定的系統開銷，因此輪詢周期 的設定就存在兩難的情況，輪詢周期設得過長，會導致同步數據的滯後，目標資料庫無法滿 足資料庫同步的實時性需求；而輪詢周期設置得過短，則會導致源資料庫系統的巨大開銷， 從而影響源資料庫的響應速度。

發明內容
本發明實施例提供一種數據同步方法及其裝置，用以解決現有數據同步技術中系 統開銷過大的問題。 本發明實施例提供了一種數據同步的方法，包括獲得對應源資料庫的操作日誌 記錄，所述操作日誌記錄用於記錄當前時刻之前的規定時長內對源資料庫的各操作行為和 操作信息；根據獲得的操作日誌記錄的每一條記錄對應的操作行為和操作信息，對目標數 據庫執行對應的操作。 本發明實施例提供了一種數據同步的裝置，包括操作日誌記錄獲取單元，用於獲 得對應源資料庫的操作日誌記錄，所述操作日誌記錄用於記錄當前時刻之前的規定時長內 對源資料庫的各操作行為和操作信息；數據同步單元，用於根據操作日誌記錄獲取單元獲 得的操作日誌記錄的每一條記錄對應的操作行為和操作信息，對目標資料庫執行對應的操 作。 本發明實施例提供的數據同步方法及其裝置，通過讀取源資料庫的日誌，解析針 對源資料庫的數據操作，並在目標資料庫上執行相同的數據操作，實現資料庫之間的數據 同步。本發明實施例提供的數據同步方法及其裝置降低了數據同步方法中的系統開銷，提
4高了數據同步的實時性和準確性。


圖1是本發明實施例1提供的數據同步方法的流程圖；
圖2是本發明實施例2提供的數據同步裝置的結構示意圖。
具體實施例方式
本發明通過解析源資料庫事務日誌來提取數據變化情況，將其轉換成SQL語句， 並在目標資料庫上執行，對目標資料庫執行相同的數據操作，以此完成源資料庫與目標數 據庫之間的數據同步。 資料庫事務日誌完整記錄了源資料庫發生的每一次數據變化，並且按照數據變化 的時間順序，記錄了數據處理、事務提交、事務回滾等操作。事務日誌可以準確的反應源數 據庫數據變化的順序、內容以及事務的操作用戶等信息。通過解析事務日誌，可以完全再 現導致數據變化的SQL語句，並將語句在目標資料庫實例上運行，實現數據的同步；同時可 以通過查看由解析日誌得到的SQL語句和提交對應事務的用戶，追溯每一個數據操作的來 源，實現數據的監控。 本發明實施例1提供了一種數據同步方法，如圖1所示，具體包括 S101、獲得對應源資料庫的操作日誌記錄，所述操作日誌記錄用於記錄當前時刻
之前的規定時長內對源資料庫的各操作行為和操作信息； 通過調用資料庫引擎提供的應用程式編程接口 (API， ApplicationProgramming Interface)，可以在源資料庫中讀取資料庫的事務日誌。為了提高效率，可以從源資料庫中 一次讀取當前時刻之前一定時間長度內的所有事務日誌記錄。改時間長度由數據同步的實 時性要求以及系統的處理能力決定。事務日誌記錄中包括針對資料庫的操作的記錄，為操 作日誌記錄。操作日誌記錄的每條記錄裡包括了針對源資料庫的操作行為和操作信息。
操作日誌記錄中針對數據的操作行為主要有數據更新(insert/update/ delete/undo insert/undo update/undo delete)禾口事務提交(commit)、回滾(rollback) 等操作。可以通過讀取的事務日誌記錄的二進位標識碼將上述針對數據操作的日誌記錄與 其他日誌記錄區分並將其讀取出來。 為了提高整個操作的效率，可以採用多線程異步處理機制。當採用多線程機制時， 讀取線程在讀取到事務日誌記錄後，將區分出來的操作日誌記錄壓入"原始日誌隊列"。如 果讀取線程讀取到的日誌記錄數量小於指定條數，則表明已經達到事務日誌的末尾，此時， 讀取線程睡眠一段時間之後再重試讀取。 S102、根據獲得的操作日誌記錄的每一條記錄對應的操作行為和操作信息，對目 標資料庫執行對應的操作。 將得到的針對數據操作的操作日誌記錄，根據日誌記錄的類型、格式等對相應的 日誌記錄進行解析處理，得到對源資料庫中數據的操作行為和操作信息，將其轉換為相應 的對資料庫進行數據處理的指令。可以是轉換為相應SQL語句。 可以根據事務ID建立對應的日誌記錄列表， 一般一個日誌記錄對應一個事務，當 遇到大事務(一個事務下有很多條的日誌記錄)的情況下，所有操作針對的是同一個操作
5信息進行的，或者同樣的操作行為針對不同的操作信息進行的，此時可以將大事務對應的 所有操作日誌記錄進行合併處理。並且可以將對應的日誌列表部分序列化保存到磁碟上， 從而可以防止內存溢出； 在對源資料庫的日誌記錄進行解析時，當出現撤銷操作(undo)的日誌記錄時，則 在日誌記錄中先前解析出針對資料庫的操作中的找到對應的需要被撤銷的操作，將兩個操 作合併，相互抵消，不必在目標資料庫中執行，這樣將有效地提高數據同步的處理效率；
當採用多線程異步處理機制時，從"原始日誌隊列"中提取操作日誌記錄，出現事 務提交(commit)日誌記錄時，則將對應事務操作的日誌記錄，轉換成原始SQL語句然後全 部壓入"已解析日誌隊列"(此操作根據"已解析日誌隊列"和"同步隊列"中的日誌數量動 態處理，當"已解析日誌隊列"中記錄過多時，可以將再現SQL語句的過程放到後續步驟中 進行處理)。 遇到事務回滾日誌記錄時，則刪除相應的操作日誌記錄對應的操作行為和操作信 息，不進行數據同步，從而提高數據同步的效率。 在目標資料庫中進行操作時，可以首先判斷操作是否滿足目標資料庫的過濾條件
(例如阻止針對某些數據內容的操作或者阻止某些固定的操作等)，當不滿足過濾條件時， 操作不予執行；否則在目標資料庫中執行源資料庫中獲得的操作日誌記錄對應的操作行為
和操作信息，實現數據的同步。 當採用多線程異步處理機制時，從"已解析日誌隊列"中提取記錄，由於不同的數 據庫表對應不同的"同步隊列"和同步線程，所以，需要將具體的操作行為和操作信息或者 轉換得到的SQL語句等內容壓入對應資料庫表的"同步隊列"(每個資料庫表一個"同步隊 列"和一個同步線程)； 資料庫表的同步線程從"同步隊列"中提取操作行為和操作信息，如果尚未轉換成 SQL語句，則根據操作行為和操作信息進行轉換得到SQL語句，然後在目標資料庫中執行相 應的SQL語句，完成數據的同步。 對應於本發明實施例1提供的數據同步的方法，本發明實施例2提供了一種數據 同步的裝置，其結構示意圖如圖2所示，包括 操作日誌記錄獲取單元201，用於獲得對應源資料庫的操作日誌記錄，所述操作日 志記錄用於記錄當前時刻之前的規定時長內對源資料庫的各操作行為和操作信息；
數據同步單元202，用於根據操作日誌記錄獲取單元201獲得的操作日誌記錄的 每一條記錄對應的操作行為和操作信息，對目標資料庫執行對應的操作。
數據同步單元包括 記錄合併處理子單元2021，根據操作日誌記錄獲取單元201獲得的操作日誌記錄 中的每一條記錄對應的操作行為和/或操作信息，對各條記錄進行合併處理。
記錄合併處理子單元2021用於將對應相同操作信息的操作行為和對應的撤銷該 操作行為分別所在的記錄進行合併處理； 記錄合併處理子單元2021還可以用於將各條記錄中包含相同操作行為的記錄進
行合併處理；或者用於將各條記錄中包含相同操作信息的記錄進行合併處理。 數據同步子單元2022，用於基於記錄合併處理子單元2021合併得到的各條記錄
中的每一條記錄對應的操作行為和操作信息，對目標資料庫執行對應的操作。
數據同步單元202包括 指令生成子單元2023，用於根據操作日誌記錄獲取單元201獲得的操作日誌記錄 的每一條記錄對應的操作行為和操作信息，生成對應的包括該操作信息的、具有指示目標 資料庫執行對應操作行為的指令； 數據同步子單元2024，用於基於指令生成子單元2023生成的指令對目標資料庫 執行對應的操作。 相對於現有的數據同步方法及設備，本發明實施例不需要輪詢源資料庫來得到每 一個在線交易的記錄，從而減少了對源資料庫數據的訪問次數，降低資料庫壓力的效果明 顯；並且能夠滿足數據同步的高實時性的要求。 顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精 神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍 之內，則本發明也意圖包含這些改動和變型在內。
權利要求
一種數據同步的方法，其特徵在於，包括獲得對應源資料庫的操作日誌記錄，所述操作日誌記錄用於記錄當前時刻之前的規定時長內對源資料庫的各操作行為和操作信息；根據獲得的操作日誌記錄的每一條記錄對應的操作行為和操作信息，對目標資料庫執行對應的操作。
2. 如權利要求1所述的方法，其特徵在於，根據操作日誌記錄的每一記錄對應的操作 行為和操作信息，對目標資料庫執行對應的操作，包括根據獲得的操作日誌記錄中的每一條記錄對應的操作行為和/或操作信息，對各條記 錄進行合併處理；基於合併後得到的各條記錄中的每一條記錄對應的操作行為和操作信息，對目標數據 庫執行對應的操作。
3. 如權利要求2所述的方法，其特徵在於，所述對各條記錄進行合併處理，包括 將對應相同操作信息的操作行為和對應的撤銷該操作行為分別所在的記錄進行合併處理。
4. 如權利要求2所述的方法，其特徵在於，所述對各條記錄進行合併處理，包括 將各條記錄中包含相同操作行為的記錄進行合併處理；或 將各條記錄中包含相同操作信息的記錄進行合併處理。
5. 如權利要求1或2所述的方法，其特徵在於，所述對目標資料庫執行對應的操作，具 體為根據每一條記錄對應的操作行為和操作信息，生成對應的包括該操作信息的、具有指 示目標資料庫執行對應操作行為的指令；以及基於生成的指令對目標資料庫執行對應的操作。
6. 如權利要求5所述的方法，其特徵在於，所述指令為基於SQL語句的指令。
7. —種數據同步的裝置，其特徵在於，包括操作日誌記錄獲取單元，用於獲得對應源資料庫的操作日誌記錄，所述操作日誌記錄 用於記錄當前時刻之前的規定時長內對源資料庫的各操作行為和操作信息；數據同步單元，用於根據操作日誌記錄獲取單元獲得的操作日誌記錄的每一條記錄對 應的操作行為和操作信息，對目標資料庫執行對應的操作。
8. 如權利要求7所述的裝置，其特徵在於，所述數據同步單元包括 記錄合併處理子單元，根據操作日誌記錄獲取單元獲得的操作日誌記錄中的每一條記錄對應的操作行為和/或操作信息，對各條記錄進行合併處理；數據同步子單元，用於基於記錄合併處理子單元合併得到的各條記錄中的每一條記錄 對應的操作行為和操作信息，對目標資料庫執行對應的操作。
9. 如權利要求8所述的裝置，其特徵在於，所述記錄合併處理子單元通過將對應相同 操作信息的操作行為和對應的撤銷該操作行為分別所在的記錄進行合併處理。
10. 如權利要求8所述的裝置，其特徵在於，所述記錄合併處理子單元通過將各條記錄 中包含相同操作行為的記錄進行合併處理；或通過將各條記錄中包含相同操作信息的記錄進行合併處理。
11. 如權利要求7所述的裝置，其特徵在於，所述數據同步單元包括指令生成子單元，用於根據操作日誌記錄獲取單元獲得的操作日誌記錄的每一條記錄 對應的操作行為和操作信息，生成對應的包括該操作信息的、具有指示目標資料庫執行對 應操作行為的指令；指令執行子單元，用於基於指令生成子單元生成的指令對目標資料庫執行對應的操作。
全文摘要
本發明實施例提供了一種數據同步的方法，包括獲得對應源資料庫的操作日誌記錄，所述操作日誌記錄用於記錄當前時刻之前的規定時長內對源資料庫的各操作行為和操作信息；根據獲得的操作日誌記錄的每一條記錄對應的操作行為和操作信息，對目標資料庫執行對應的操作。本發明實施例提供的數據同步方法通過讀取源資料庫的日誌，解析針對源資料庫的數據操作，並在目標資料庫上執行相同的數據操作，實現資料庫之間的數據同步。本發明實施例提供的數據同步方法及其裝置降低了數據同步方法中的系統開銷，提高了數據同步的實時性和準確性。
文檔編號G06F17/30GK101719149SQ200910241240
公開日2010年6月2日 申請日期2009年12月3日 優先權日2009年12月3日
發明者吳宏強, 陳瑛綺 申請人:聯動優勢科技有限公司