一種工業資料庫數據完整性管控方法
2023-08-07 07:46:16 1
專利名稱：一種工業資料庫數據完整性管控方法
技術領域：
本發明涉及一種工業資料庫數據完整性管控技術。
背景技術：
工業資料庫系統與一般的商業資料庫系統(關係型資料庫或者面向對象的資料庫)在本質上沒有不同，但在安全性角度上，工業資料庫系統中數據丟失所造成的危害可能比一般的商業資料庫系統要大很多。作為系統容災措施的重要組成部分，工業資料庫必須提供一套完整的災難恢復機制，以便系統在異常情況下，包括軟體異常、硬體異常、意外掉電、存儲介質溢出等，保證數據完整性，不影響系統重新正常運行。
發明內容
本發明主要解決的技術問題是提供一種工業資料庫數據完整性管控方法，使得可以完整地完成工業資料庫數據備份，以便在災難性事件發生後，最大限度地完成數據的恢復，保證系統的正常運行。為了解決上述技術問題，本發明提供了一種工業資料庫數據完整性管控方法，包含以下步驟按照第一周期對工業資料庫中未存檔數據進行整體備份；在所述第一周期內按照第二周期對所述工業資料庫中未存檔數據進行增量備份， 所述第二周期小於第一周期；按照第三周期對工業資料庫中已歸檔數據進行整體備份；按照第四周期對內存中數據進行實時快照備份。其中第一周期和第三周期一般以周計算，通常大於等於一周小於等於一個月；述第二周期一般以小時計算，通常大於等於一小時小於等於八小時；第四周期可以以分鐘計算，一般小於等於十分鐘。作為上述方案的改進，在初次進行整體備份或增量備份時分別建立對應的備份索引和備份日誌；之後每次進行整體備份或增量備份時，更新對應的備份索引和備份日誌；在備份過程中出現突發事件時，根據所述備份索引和備份日誌進行整體和增量備份數據的有效性檢查，並進行恢復。作為上述技術方案的改進，所述對未存檔數據進行增量備份的步驟之前，還包括以下步驟判斷本時間點之前的一個整體備份周期內，系統是否完成了整體備份，如果上一個整體備份周期內，正常完成整體備份，則執行所述對未存檔數據進行增量備份的步驟；反之，則對工業資料庫中未存檔數據進行整體備份。作為上述技術方案的改進，所述對內存數據進行快照備份的步驟中對內存中運行狀態下的未歸檔數據進行實時物理備份，將所述數據同步到一快照文件，包括正在執行資料庫事務的所有內容。作為上述技術方案的改進，所述對內存數據進行快照備份的步驟中檢查事務完整性，對未完成的事務進行過濾，對過濾出來的未完成的事務不進行備份。作為上述技術方案的改進，所述已歸檔數據為未歸檔數據壓縮轉存後得到，每個已歸檔數據文件對應一時間戳；所述對已歸檔數據進行增量備份的步驟中，如果所述已歸檔數據文件的時間戳早於所述第三周期的指點時間，則進行備份操作。本發明實施方式與現有技術相比，主要區別及其效果在於工業資料庫中需要管控的數據分為已歸檔數據、未歸檔數據和運行中的內存數據，根據不同數據的變化特性， 按照不同的周期和方式分別進行備份，可以完整而全面地完成數據備份，最大程度滿足工業資料庫的需求，並且能夠在災難性事件發生後，最大限度的完成數據的恢復，保證系統的正常運行。
下面結合附圖和具體實施方式
對本發明作進一步詳細說明。圖1是本發明一較佳實施方式中工業資料庫未歸檔數據備份方法流程圖；圖2是本發明一較佳實施方式中工業資料庫已歸檔數據備份方法流程圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明的實施方式作進一步地詳細描述。本發明一較佳實施方式涉及一種工業資料庫數據完整性管控方法。主要包括工業資料庫中已歸檔數據、未歸檔數據和運行中的內存數據按照不同的周期分別進行備份。其中，已歸檔數據為未歸檔數據進行整理、壓縮後轉存到歸檔數據區後的數據文件，每個已歸檔數據文件對應一時間戳。上述的未歸檔數據及已歸檔數據主要包括數據文件、索引和日
士絕
；-vj- O對於未歸檔數據本實施方式中，按照一周、幾周、或一個月為周期，定期對工業資料庫中的未存檔數據進行整體備份，並在兩次整體備份的間隙，以幾小時為周期進行增量備份。由管理員設置未歸檔數據整體備份的周期和時間點，以及增量備份的周期。本實施方式中，對未歸檔數據的備份流程如圖1所示。步驟101中，在系統運行到整體備份周期內的預定時間點後，執行備份功能，對資料庫中未歸檔的數據文件、索引和日誌等進行統一備份，可以通過系統鎖和控制開關，保證業務事務的完整性。本步驟中，在初次進行備份時，需要新建一備份索引和一備份日誌，每次執行備份後，均對該備份索引和備份日誌進行更新。在出現突發事件時，根據該備份索引和備份日誌進行整體備份數據的有效性檢查，並進行恢復。步驟102中，在系統運行到增量備份周期的預定時間點時，判斷當前時間點往前的一個整體備份周期內，系統是否正常完成整體備份，即上一個整體備份周期內，系統是否進行了整體備份，如果該周期內未進行整體備份，可能因系統關機、重新啟動等原因，跳過了上個周期整體備份的時間點，則進入步驟103，對未歸檔數據執行整體備份；反之，則進入步驟104，對未歸檔數據進行增量備份。在步驟104中，如果本次增量備份為上一次整體備份後的首次增量備份，則備份該整體備份的增量部分；如果本次增量備份之前已存在上一次增量備份，則基於上一次增量備份的增量部分進行備份。對於增量備份，在備份完畢後，同樣需要保存備份日誌和備份索引。如果在備份時出現災難性事件，則以日誌為準，進行備份的有效性檢查，並進行恢復。比如說，管理員設置整體備份周期為一周，時間點為每周三，增量備份的周期為4 小時。則系統運行到每周三時，自動進行未歸檔數據的整體備份，並在整體備份之後每4小時，基於上一次的備份執行增量備份。在增量備份前，首先判本時間往前一個周期內，系統是否正常完成了整體備份，如因為關機等原因，未進行整體備份，則先進行整體備份，之後每4小時再進行增量備份。對於內存中的數據本實施方式中，進行實時的快照備份，一般可以以幾分鐘為周期進行備份。具體地說，就是對內存中運行狀態下的未歸檔數據進行實時物理備份，將數據同步到一快照文件， 包括正在執行資料庫事務的所有內容。在備份時，首先需要檢查事務完整性，對未完成的事務進行過濾，未完成的事務將不被備份，以免無法進行恢復。需要說明的是，為了儘可能地備份和恢復業務數據，降低數據的丟失，必須減少內存中內容的單元粒度，但在實際應用中，為了保證系統性能，減少備份操作的任務執行對系統CPU等資源的佔用，需要進行一個平衡，視系統運行的實際環境，採用靈活配置，可以以 1 η筆事務操作為備份的執行主體。對於已歸檔數據本實施方式中，進行周期性地物理備份。同樣可以由管理員設置備份周期和對應的時間點。周期一般是幾周或者一個月。這裡所說的已歸檔數據為未歸檔數據壓縮轉存後得到的數據文件，每個已歸檔數據文件對應一時間戳。在備份時，根據歸檔文件的時間戳、 和備份所要求的時間條件，進行文件備份。其流程如圖2所示。步驟201中，在系統運行到增量備份周期的預定時間點時，掃描已歸檔的所有數據文件，檢查其時間戳，如果文件的時間戳早於備份所要求的指定時間點，則進入步驟202， 進行備份操作，拷貝備份的文件到備份的目的存儲介質。反之則結束本流程。比如備份所要求的時間條件為每次備份三天前的所有文件，則掃描已歸檔的所有數據文件，檢查其時間戳，如果文件的時間戳為三天前的，則進入步驟202，進行備份操作，否則結束本流程。步驟203中，在首次備份時建立備份的日誌和備份索引，之後每次進行備份完畢後，更新備份的日誌和索引。如果在備份時出現災難性事件，則以日誌為準，進行備份的有效性檢查，並進行恢復。上述數據完整性管控方法針對不同數據的特性，分別進行不同方式的備份，可以完整而全面地完成數據備份，最大程度滿足工業資料庫的需求，並且能夠在災難性事件發生後，最大限度的完成數據的恢復，保證系統的正常運行。雖然通過參照本發明的某些優選實施方式，已經對本發明進行了圖示和描述，但本領域的普通技術人員應該明白，可以在形式上和細節上對其作各種改變，而不偏離本發明的精神和範圍。
權利要求
1.一種工業資料庫數據完整性管控方法，其特徵在於，包含以下步驟按照第一周期對工業資料庫中未存檔數據進行整體備份；在所述第一周期內按照第二周期對所述工業資料庫中未存檔數據進行增量備份，所述第二周期小於第一周期；按照第三周期對工業資料庫中已歸檔數據進行整體備份；按照第四周期對內存中數據進行實時的快照備份。
2.根據權利要求1所述的工業資料庫數據完整性管控方法，其特徵在於，所述增量備份和整體備份的數據至少包括數據文件、索引和日誌。
3.根據權利要求1所述的工業資料庫數據完整性管控方法，其特徵在於，還包含以下步驟在初次進行整體備份或增量備份時分別建立對應的備份索引和備份日誌；之後每次進行整體備份或增量備份時，更新對應的備份索引和備份日誌；在備份過程中出現突發事件時，根據所述備份索引和備份日誌進行整體和增量備份數據的有效性檢查，並進行恢復。
4.根據權利要求1所述的工業資料庫數據完整性管控方法，其特徵在於，所述對未存檔數據進行增量備份的步驟之前，還包括以下步驟判斷本時間點之前的一個整體備份周期內，系統是否完成了整體備份，如果上一個整體備份周期內，正常完成整體備份，則執行所述對未存檔數據進行增量備份的步驟；反之， 則對工業資料庫中未存檔數據進行整體備份。
5.根據權利要求4所述的工業資料庫數據完整性管控方法，其特徵在於，所述對未存檔數據進行增量備份的步驟中，如果本次備份為上一次整體備份後的首次增量備份，則基於該整體備份的增量部分進行備份；如果本次增量備份之前已存在上一次增量備份，則基於上一次增量備份的增量部分進行備份。
6.根據權利要求1所述的工業資料庫數據完整性管控方法，其特徵在於，所述對內存數據進行快照備份的步驟中對內存中運行狀態下的未歸檔數據進行實時物理備份，將所述數據同步到一快照文件，包括正在執行資料庫事務的所有內容。
7.根據權利要求6所述的工業資料庫數據完整性管控方法，其特徵在於，所述對內存數據進行快照備份的步驟中檢查事務完整性，對未完成的事務進行過濾，對過濾出來的未完成的事務不進行備份。
8.根據權利要求1所述的工業資料庫數據完整性管控方法，其特徵在於，所述已歸檔數據為未歸檔數據壓縮轉存後得到，每個已歸檔數據文件對應一時間戳；所述對已歸檔數據進行增量備份的步驟中，如果所述已歸檔數據文件的時間戳早於所述第三周期的指定時間，則進行備份操作。
9.根據權利要求1至8中任意一項所述的工業資料庫數據完整性管控方法，其特徵在於，所述第一周期和第三周期以周計算，大於等於一周小於等於一個月；所述第二周期以小時計算，大於等於一小時小於等於八小時； 所述第四周期以分鐘計算，小於等於十分鐘。
全文摘要
本發明公開了一種工業資料庫數據完整性管控方法，工業資料庫中需要管控的數據分為已歸檔數據、未歸檔數據和運行中的內存數據，根據不同數據的變化特性，按照不同的周期和方式分別進行備份，可以完整而全面地完成數據備份，最大程度滿足工業資料庫的需求，並且能夠在災難性事件發生後，最大限度的完成數據的恢復，保證系統的正常運行。
文檔編號G06F17/30GK102541940SQ20101061929
公開日2012年7月4日 申請日期2010年12月31日 優先權日2010年12月31日
發明者俞高宇, 梁俊, 王偉 申請人:上海可魯系統軟體有限公司