新四季網

一種支持通用資料庫基於物理隔離設備同步數據的方法

2023-09-10 10:25:40

專利名稱:一種支持通用資料庫基於物理隔離設備同步數據的方法
技術領域:
本發明屬於電力系統電網數據管理技術領域,尤指一種支持通用資料庫基於物理隔離設備同步數據的方法。
背景技術:
智能電網調度技術支持系統網絡架構分為安全I、II、III區。為了保證數據安全,I、 II區與III區之間架有物理隔離設備。安全I、II區上部署有實時監控與預警類應用、調度計劃類應用和安全校核應用,而安全III區則部署有調度管理應用。為了對部署在安全I、II、III區上的四大類電網應用所需的電網數據進行統一的管理和維護,需要支持跨物理隔離設備同步數據。原有的方式是由上層應用來實現,在同步效率和可靠性上都較低,不能保證數據一致性,無法滿足新一代智能電網調度技術支持系統的要求。需要提供一種全新的數據同步方法,可以做到在資料庫層面的高效同步,支持多種資料庫和多種物理隔離設備,具有高可靠性和完善的異常處理機制,保證已提交的數據不會在同步過程中丟失。

發明內容
本發明所要解決的技術問題是提供一種支持通用資料庫基於物理隔離設備同步數據的方法。為解決以上問題,本發明提供一種支持通用資料庫基於物理隔離設備同步數據的方法,包括以下步驟
(1)實時監視源端資料庫的物理日誌,若發現有新的變化數據產生,則依次解析物理日誌的變化內容,生成邏輯日誌,並放入外存邏輯日誌文件中;
(2)當外存邏輯日誌文件存在新的變化數據時,從外存邏輯日誌文件讀取一條或多條邏輯日誌記錄,然後封裝成網絡報文,並通過物理隔離設備與目的資料庫建立連結,進行發送;
(3)目的資料庫實時監視源端發送的連接請求,若收到連接請求,則創建一個邏輯日誌接收線程,用於接收源端發送的數據;
(4)讀取接收到的網絡報文,重新組裝成邏輯日誌記錄,並保存到外存邏輯日誌文件
中;
(5)目的端實時監測接受到的外存邏輯日誌文件,依次讀取每條邏輯日誌記錄,寫入到目的端資料庫中,完成數據同步,若無法寫入目的端資料庫,則反覆重新嘗試寫入,直至寫入成功。本發明支持多種通用資料庫產品,支持跨多種物理隔離設備進行數據同步;數據同步方式採用觸髮式實現,當源端資料庫發生數據修改時,可以立即觸發同步流程,同步到目的資料庫中;針對物理隔離設備對帶寬的限制,支持網絡數據包的壓縮功能,提高數據同步性能;數據同步採用異步複製方式,當數據寫入源端資料庫後立即將執行結果返回給調用者,數據同步在後臺完成;數據同步支持DDL和DML語句,既可以同步INSERT、DELETE、UPDATE等數據更新語句,也可以同步CREATE、ALTER、DROP等結構更新語句;數據同步可以提供完善的異常處理機制,可以保證在網絡異常或目的資料庫異常時,在源端資料庫已提交的數據不丟失。本發明的方法具有較強的通用性,可以支持多種資料庫產品和多種物理隔離設備;具有完善的異常處理機制,可以最大程度保證源端資料庫和目的資料庫的數據一致性; 具有網絡數據包壓縮功能,可以提高數據同步的效率;異步複製方式可以最大限度降低數據同步對源端資料庫數據訪問的影響。本發明的工作原理為
實時監視源端資料庫的物理日誌,若發現有新的變化數據產生,則依次解析物理日誌的變化內容,生成外存邏輯日誌,然後從外存邏輯日誌文件讀取一條或多條邏輯日誌記錄, 封裝成網絡報文(可選擇是否壓縮),並通過物理隔離設備與目的資料庫建立連結,進行發送。發送完畢後若未收到回執報文,將關閉並嘗試重建連結,重發此網絡報文,直至發送成功。目的資料庫實時監視源端發送的連接請求,接收源端發送的數據,讀取接收到的網絡報文,重新組裝成邏輯日誌記錄,並保存到外存邏輯日誌文件中。如果保存成功,則發送回執報文到源端資料庫,若出現失敗,則關閉當前建立的連結,等待源端資料庫重連重發。目的端實時監測外存邏輯日誌文件,依次讀取每條邏輯日誌記錄,寫入到目的端資料庫中,完成數據同步,若無法寫入目的端資料庫,則反覆重新嘗試寫入,直至寫入成功。


圖1為本發明的一種支持通用資料庫基於物理隔離設備同步數據的方法流程圖。
具體實施例方式下面結合附圖對本發明作進一步說明。圖1為本發明的一種支持通用資料庫基於物理隔離設備同步數據的方法的流程圖。本發明的處理流程為
流程開始時,源端資料庫接收外部的數據更新請求,形成變化數據,寫入物理日誌中。實時監視源端資料庫的物理日誌,若發現有新的變化數據產生,則依次解析物理日誌的變化內容,生成邏輯日誌,並放入外存邏輯日誌文件中。當外存邏輯日誌文件存在新的變化數據時,從外存邏輯日誌文件讀取一條或多條 (可動態配置)邏輯日誌記錄,然後封裝成網絡報文(可選擇是否壓縮),並通過物理隔離設備與目的資料庫建立連結,進行發送。發送完畢後等待回執報文,若收到則準備進行下次發送,若未收到回執報文,將關閉並嘗試重建連結,重發此網絡報文,直至發送成功。目的資料庫實時監視源端發送的連接請求,若收到連接請求,則創建一個邏輯日誌接收線程,用於接收源端發送的數據。讀取接收到的網絡報文,重新組裝成邏輯日誌記錄,並保存到外存邏輯日誌文件中。如果上述過程成功,則發送回執報文到源端資料庫。若出現失敗,則關閉當前建立的連結,等待源端資料庫重連重發。目的端實時監測接受到的外存邏輯日誌文件,依次讀取每條邏輯日誌記錄,寫入到目的端資料庫中,完成數據同步。若無法寫入目的端資料庫,則反覆重新嘗試寫入,直至寫入成功。 本發明按照優選實施例進行了說明,應當理解,上述實施例不以任何形式限定本發明,凡採用等同替換或等效變換的形式所獲得的技術方案,均落在本發明的保護範圍之內。
權利要求
1.一種支持通用資料庫基於物理隔離設備同步數據的方法,其特徵在於包括以下步驟(1)實時監視源端資料庫的物理日誌,若發現有新的變化數據產生,則依次解析物理日誌的變化內容,生成邏輯日誌,並放入外存邏輯日誌文件中;(2)當外存邏輯日誌文件存在新的變化數據時,從外存邏輯日誌文件讀取一條或多條邏輯日誌記錄,然後封裝成網絡報文,並通過物理隔離設備與目的資料庫建立連結,進行發送;(3)目的資料庫實時監視源端發送的連接請求,若收到連接請求,則創建一個邏輯日誌接收線程,用於接收源端發送的數據;(4)讀取接收到的網絡報文,重新組裝成邏輯日誌記錄,並保存到外存邏輯日誌文件中;(5)目的端實時監測接收到的外存邏輯日誌文件,依次讀取每條邏輯日誌記錄,寫入到目的端資料庫中,完成數據同步,若無法寫入目的端資料庫,則反覆重新嘗試寫入,直至寫入成功。
2.根據權利要求1所述的一種支持通用資料庫基於物理隔離設備同步數據的方法,其特徵在於在所述步驟2)中,發送完畢後等待回執報文,若收到回執報文則準備進行下次發送,若未收到回執報文,將關閉並重建連結,重發此網絡報文,直至發送成功。
3.根據權利要求1所述的一種支持通用資料庫基於物理隔離設備同步數據的方法,其特徵在於在所述步驟3)和4)中,如果保存成功,則發送回執報文到源端資料庫,若出現失敗,則關閉當前建立的連結,等待源端資料庫重連重發。
4.根據權利要求1所述的一種支持通用資料庫基於物理隔離設備同步數據的方法,其特徵在於在所述步驟2)中,針對物理隔離設備對帶寬的限制,支持網絡數據包的壓縮功能,提高數據同步性能。
5.根據權利要求1所述的一種支持通用資料庫基於物理隔離設備同步數據的方法,其特徵在於在所述步驟2)中,數據同步採用異步複製方式,當數據寫入源端資料庫後立即將執行結果返回給調用者,數據同步在後臺完成。
6.根據權利要求1所述的一種支持通用資料庫基於物理隔離設備同步數據的方法,其特徵在於數據同步支持DDL和DML語句,既同步數據更新語句,也同步結構更新語句。
全文摘要
本發明公開了一種支持通用資料庫基於物理隔離設備同步數據的方法,包括以下步驟1)實時監視源端資料庫的物理日誌,若發現有新的變化數據產生,則依次解析物理日誌的變化內容,生成邏輯日誌,並放入外存邏輯日誌文件中;2)從外存邏輯日誌文件讀取邏輯日誌記錄,然後封裝成網絡報文,並通過物理隔離設備與目的資料庫建立連結,進行發送;3)目的資料庫若收到連接請求,則創建一個邏輯日誌接收線程,用於接收源端發送的數據;4)讀取接收到的網絡報文,並保存到外存邏輯日誌文件中;5)目的端實時監測接受到的外存邏輯日誌文件,依次讀取並寫入到目的端資料庫中。本發明的方法具有較強的通用性,可以支持多種資料庫產品和多種物理隔離設備。
文檔編號G06F17/30GK102289469SQ201110210120
公開日2011年12月21日 申請日期2011年7月26日 優先權日2011年7月26日
發明者季學純, 張鴻, 翟明玉, 陳鵬, 黃海峰 申請人:國電南瑞科技股份有限公司

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀