數據複製方法及裝置與流程
2023-08-07 14:30:01 1
本發明涉及數據實時處理技術，特別涉及一種數據複製方法及裝置。
背景技術：
對於處理實時數據的IT系統，經常建設有異地雙活生產中心及或異地災備中心。在這類系統中，經常需要在信息中心內部不同生產系統之間、或異地不同信息中心之間進行連續的數據複製。
數據複製技術具有實時性高、數據丟失少或零丟失、容災恢復快、投資較高等特點。現有的數據複製技術實現根據數據複製的層次可以分為：存儲系統層數據複製、虛擬存儲數據複製、作業系統數據複製和應用層數據複製。
存儲系統層的數據複製：對於主機的作業系統是完全透明的，是對於將來增加新的操作平臺，可不用增加任何複製軟體的投資，即可實現複製。這樣管理比較簡單，最大程度保護了用戶的投資，達到充分利用資源的目的。基於存儲的複製一般都是採ATM或光纖通道作為遠端的鏈路連接，不僅可以做到異步複製，更可以做到同步複製，使兩端數據可做到實時同步的目的，保證了數據的一致性。但是由於基於存儲是由存儲硬體廠商提供的，在兼容性方面有局限性。用戶要使用同一廠商的devices，給用戶造成的選擇面太小，成本容易提高，並且對線路帶寬的要求通常也較高。
虛擬存儲複製技術：伴隨著存儲區域網的出現引入的，通過構建虛擬存儲上實現數據複製。通過存儲虛擬化設備實現卷鏡像複製功能的優勢在於操作由存儲虛擬化設備來完成、壓力集中的存儲虛擬化設備上，不需要主機參與，數據複製進程安全穩定。但是該技術需要增加專用存儲虛擬化設備，有的需要在主機端需要安裝存儲虛擬化設備的客戶端軟體，比如UIT SVM；有的需要依賴高端智能交換機，比如EMC VSM。目前使用這種技術的產品還不是很多，成熟性還有待提高，具有這種功能的專用設備價格也相對較高，所以採用這種方案的用戶比較少。
作業系統層數據複製：主要通過作業系統或者數據卷管理器來實現對數據的遠程複製。這種複製技術要求本地系統和遠端系統的主機是同構的，其實現方式是基於主機的數據複製，容災方式工作在主機的卷管理器這一層，通過磁碟卷的鏡像或複製，實現數據的容災。這種方式也不需要在兩邊採用同樣的存儲設備，具有較大的靈活性，但是複製功能會多少佔用一些主機的CPU資源，對主機的性能有一定的影響。
應用層數據複製：大多數IT系統使用的數據複製應用僅針對單個數據源對單個目標端，存在部署不統一，服務不通用，資料庫耦合性較強的問題；對於單個數據源需要向多目標端複製數據的需求，往往需要同一數據需要從源庫獲取多次，對源庫影響較大。
技術實現要素：
本發明實施例提供了一種數據複製方法及裝置，以獨立的執行不同的數據複製任務，使得各個數據複製任務互不影響，便於管理和運維。
為了實現上述目的，本發明實施例提供了一種數據複製方法，該數據複製方法包括：
接收數據發布端的數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的至少部分發布數據；
向數據訂閱端發送發布數據分發請求，根據不同數據訂閱端的訂閱需求並行向所述數據訂閱端發送所述發布數據。
一實施例中，該數據複製方法還包括：將所述發布數據緩存至本地。
一實施例中，根據不同數據訂閱端的訂閱需求並發向所述訂閱端發送所述發布數據，包括：
根據不同數據訂閱端的訂閱需求進行對應的形變處理，將形變處理後的所述發布數據並行發送至不同的所述數據訂閱端。
一實施例中，根據所述數據發布請求向所述數據發布端發送數據接收應答請求，以使所述數據發布端繼續發送剩餘的發布數據。
一實施例中，該數據複製方法還包括：根據所述數據發布端和/或所述數據訂閱端的接入請求進行接入認證，以建立與所述數據發布端和/或所述數據訂閱端的連接，其中，所述接入請求中包括：埠、地址及進程編號。
為了實現上述目的，本發明實施例還提供了一種數據複製方法，該數據複製方法包括：
向數據分發服務端發送數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的部分發布數據；
若接收到所述數據分發服務端發送的數據接收應答請求，基於所述數據接收應答請求向所述數據分發服務端發送剩餘的發布數據。
為了實現上述目的，本發明實施例還提供了一種數據複製方法，該數據複製方法包括：
接收數據分發服務端發送的發布數據分發請求；
根據所述發布數據分發請求從所述數據分發服務端的緩存中獲取對應的發布數據，並將所述發布數據保持至目標資料庫。
為了實現上述目的，本發明實施例還提供了一種數據複製裝置，該數據複製裝置包括：
請求接收單元，用於接收數據發布端的數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的至少部分發布數據；
數據並行發送單元，用於向數據訂閱端發送發布數據分發請求，根據不同數據訂閱端的訂閱需求並行向所述數據訂閱端發送所述發布數據。
一實施例中，該數據複製裝置還包括：存儲單元，用於將所述發布數據緩存至本地。
一實施例中，所述數據並行發送單元具體用於：根據不同數據訂閱端的訂閱需求進行對應的形變處理，將形變處理後的所述發布數據並行發送至不同的所述數據訂閱端。
一實施例中，該數據複製裝置還包括：應答發送單元，用於根據所述數據發布請求向所述數據發布端發送數據接收應答請求，以使所述數據發布端繼續發送剩餘的發布數據。
一實施例中，該數據複製裝置還包括：終端接入單元，用於根據所述數據發布端和/或所述數據訂閱端的接入請求進行接入認證，以建立與所述數據發布端和/或所述數據訂閱端的連接，其中，所述接入請求中包括：埠、地址及進程編號。
為了實現上述目的，本發明實施例還提供了一種數據複製裝置，該數據複製裝置包括：
請求發送單元，用於向數據分發服務端發送數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的部分發布數據；
數據發送單元，用於基於所述數據接收應答請求向所述數據分發服務端發送剩餘的發布數據。
為了實現上述目的，本發明實施例還提供了一種數據複製裝置，該數據複製裝置包括：
請求接收單元，用於接收數據分發服務端發送的發布數據分發請求；
數據獲取單元，用於根據所述發布數據分發請求從所述數據分發服務端的緩存中獲取對應的發布數據，並將所述發布數據保持至目標資料庫。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例的數據複製方法流程圖；
圖2為本發明實施例的數據分發服務端的結構示意圖；
圖3為本發明一實施例的數據複製裝置的結構示意圖
圖4為本發明另一實施例的數據複製裝置的結構示意圖；
圖5為本發明一實施例的數據複製方法流程圖；
圖6為本發明一實施例的數據複製裝置的結構示意圖；
圖7為本發明一實施例的數據複製方法流程圖；
圖8為本發明一實施例的數據複製裝置的結構示意圖；
圖9為本發明實施例的數據複製系統的結構示意圖；
圖10為本發明實施例的數據複製實現示意圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
實施例一
圖1為本發明實施例的數據複製方法流程圖，如圖1所示，該數據複製方法包括：
S101：接收數據發布端的數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的至少部分發布數據；
S102：向數據訂閱端發送發布數據分發請求，根據不同數據訂閱端的訂閱需求並行向所述數據訂閱端發送所述發布數據。
圖1所示的方法的執行主體可以為數據分發服務端，該數據分發服務端與多個數據發布端及多個數據訂閱端分別連接。由圖1所示的流程可知，本實施例首先接收數據發布端的數據發布請求，然後向數據訂閱端發送發布數據分發請求，最後根據不同數據訂閱端的訂閱需求並行向所述數據訂閱端發送所述發布數據。利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據複製任務設置各自的進程中處理；各個數據複製任務互不影響，便於管理和運維。
本發明實施例中，數據分發服務端在接收到數據發布端發送的發布請求之後，還可以根據所述數據發布請求向所述數據發布端發送數據接收應答請求，以使所述數據發布端繼續發送剩餘的發布數據。
圖2為本發明實施例的數據分發服務端的結構示意圖，如圖2所示，該數據分發服務端主要包括：通信網關，配置模塊，數據接收模塊，數據緩存模塊，任務調度模塊，多個任務分發模塊。
本發明的數據分發服務端制定了數據分發的統一接口，利用通信網關，數據分發服務端可以與多個數據發布端及多個數據訂閱端分別通信。利用配置模塊，可以根據數據發布端和/或所述數據訂閱端的接入請求進行接入認證及配置，以建立與所述數據發布端和/或所述數據訂閱端的連接，其中，所述接入請求中包括：埠、地址及進程編號。通過配置模塊的配置，可以使得不同的數據複製任務設置各自的進程，各個數據複製任務互不影響，便於管理和運維。另外，利用配置模塊，還可以根據不同數據訂閱端的訂閱需求進行對應的形變處理，將形變處理後的所述發布數據並行發送至不同的所述數據訂閱端。
利用數據接收模塊可以實現上述發布請求的接收，利用數據緩存模塊可以將發布數據緩存至數據分發服務端。數據分發服務端的數據緩存模塊可以根據發布數據的存儲發布數據，將發布數據按照任務隊列存儲。任務調度模塊根據數據訂閱端的請求，可以將任務隊列的數據通過不同的任務分發模塊發送至不同的數據訂閱端。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
實施例二
基於與實施例一的數據複製方法相同的發明構思，本申請提供一種數據複製裝置，如下面實施例所述。由於該數據複製裝置解決問題的原理與實施例一的數據複製方法相似，因此該數據複製裝置的實施可以參見實施例一所述的數據複製方法的實施，重複之處不再贅述。
圖3為本發明一實施例的數據複製裝置的結構示意圖，如圖3所示，該數據複製裝置包括：
請求接收單元301，用於接收數據發布端的數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的至少部分發布數據；
數據並行發送單元302，用於向數據訂閱端發送發布數據分發請求，根據不同數據訂閱端的訂閱需求並行向所述數據訂閱端發送所述發布數據。
具體實施時，數據並行發送單元302可以根據不同數據訂閱端的訂閱需求進行對應的形變處理，將形變處理後的所述發布數據並行發送至不同的所述數據訂閱端。
圖4為本發明另一實施例的數據複製裝置的結構示意圖，該數據複製裝置包括：請求接收單元301及數據並行發送單元302。
本實施例中，數據複製裝置還包括：存儲單元401，用於將所述發布數據緩存至本地。
本實施例中，數據複製裝置還包括：應答發送單元402，用於根據所述數據發布請求向所述數據發布端發送數據接收應答請求，以使所述數據發布端繼續發送剩餘的發布數據。
本實施例中，數據複製裝置還包括：終端接入單元403，用於根據所述數據發布端和/或所述數據訂閱端的接入請求進行接入認證，以建立與所述數據發布端和/或所述數據訂閱端的連接，其中，所述接入請求中包括：埠、地址及進程編號。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
實施例三
本實施例提供一種數據複製方法，該數據複製方法的執行主體為數據發布端，該數據發布端與實施例一中數據分發服務端交互，由於該數據複製方法解決問題的原理與實施例一的數據複製方法相似，因此該數據複製方法的實施可以參見實施例一數據複製方法的實施，重複之處不再贅述。
圖5為本實施例的數據複製方法流程圖，如圖5所示，該數據複製方法包括：
S501：向數據分發服務端發送數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的部分發布數據；
S502：若接收到所述數據分發服務端發送的數據接收應答請求，基於所述數據接收應答請求向所述數據分發服務端發送剩餘的發布數據。
圖5所示的數據複製方法的執行主體為數據發布端，可以為PC或移動終端。數據發布端可以通過定義的API接口與數據分發服務端進行雙工通信，該數據發布端不但可以與同一數據中心的數據分發服務端通信，還可以與其它數據中心的數據分發服務端通信，實現跨平臺數據複製。
本實施例中，數據發布端可以同時數據訂閱端，即數據的發布及訂閱可以在同一個終端進行。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
實施例四
基於與實施例三的數據複製方法相同的發明構思，本申請提供一種數據複製裝置，如下面實施例所述。由於該數據複製裝置解決問題的原理與實施例三的數據複製方法相似，因此該終端的實施可以參見實施例三所述的數據複製方法的實施，重複之處不再贅述。
圖6為本發明一實施例的數據複製裝置(數據發布端)的結構示意圖，如圖6所示，該數據複製裝置包括：
請求發送單元601，用於向數據分發服務端發送數據發布請求，所述數據發布請求包括所述數據發布端從源資料庫中讀取的部分發布數據；
數據發送單元602，用於基於所述數據接收應答請求向所述數據分發服務端發送剩餘的發布數據。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
實施例五
本實施例提供一種數據複製方法，該數據複製方法的執行主體為數據發布端，該數據發布端與實施例一中數據分發服務端交互，由於該數據複製方法解決問題的原理與實施例一的數據複製方法相似，因此該數據複製方法的實施可以參見實施例一數據複製方法的實施，重複之處不再贅述。
圖7為本實施例的數據複製方法流程圖，如圖7所示，該數據複製方法包括：
S701：接收數據分發服務端發送的發布數據分發請求；
S702：根據所述發布數據分發請求從所述數據分發服務端的緩存中獲取對應的發布數據，並將所述發布數據保持至目標資料庫。
圖7所示的數據複製方法的執行主體為數據訂閱端，可以為PC或移動終端。數據訂閱端可以通過定義的API接口與數據分發服務端進行雙工通信。
本實施例中，數據發布端可以同時數據訂閱端，即數據的發布及訂閱可以在同一個終端進行。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
實施例六
基於與實施例五的數據複製方法相同的發明構思，本申請提供一種數據複製裝置，如下面實施例所述。由於該數據複製裝置解決問題的原理與實施例五的數據複製方法相似，因此該終端的實施可以參見實施例五所述的數據複製方法的實施，重複之處不再贅述。
圖8為本發明一實施例的數據複製裝置(數據訂閱端)的結構示意圖，如圖6所示，該數據複製裝置包括：
請求接收單元801，用於接收數據分發服務端發送的發布數據分發請求；
數據獲取單元802，用於根據所述發布數據分發請求從所述數據分發服務端的緩存中獲取對應的發布數據，並將所述發布數據保持至目標資料庫。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
實施例七
基於與實施例一的數據複製方法相同的發明構思，本申請提供一種數據複製系統，如下面實施例所述。由於該數據複製系統解決問題的原理與實施例一的數據複製方法相似，因此該數據複製系統的實施可以參見實施例一所述的數據複製方法的實施，重複之處不再贅述。
圖9為本發明實施例的數據複製系統的結構示意圖。如圖9所示，該數據複製系統包括：至少一數據分發服務端202、多個數據發布端201及多個數據訂閱端203，數據發布端201及數據訂閱端203分別與數據分發服務端202相連接。
多個數據發布端201可以分別向數據分發服務端發送數據發布請求，該數據發布請求包括數據發布端從與其連接的源資料庫204中讀取的部分發布數據。
多個數據訂閱端203可以分別接收數據分發服務端202發送的發布數據分發請求，根據發布數據分發請求從數據分發服務端202的緩存中獲取對應的發布數據，並將所述發布數據保持至目標資料庫205。
數據分發服務端202可以接收多個數據發布端201發送的數據發布請求，並可以向數據訂閱端203發送發布數據分發請求，根據不同數據訂閱端203的訂閱需求並行向所述數據訂閱端203發送所述發布數據。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
本發明可以在同一數據中心實現，也可以在不同數據中心間實現，下面結合具體的例子詳細說明本發明。
圖10為本發明實施例的數據複製實現示意圖。如圖10所示，其中展示了兩個數據分發服務端所在的兩個數據中心的部署配置示例及兩種數據複製的示例。
各個數據分發客戶端負責連接對應的源資料庫，讀取發布數據傳輸至所在數據中心的數據分發服務端；數據訂閱端從數據分發服務端讀取數據寫入其對應的目標資料庫。每個客戶端(數據分發端及數據訂閱端)在部署配置時，均在數據分發服務端進行配置，每個發布數據分發的任務獨立配置，以便在數據分發服務端集中管理。客戶端啟動後，依據各自任務在數據分發服務端記錄的時間，從資料庫讀取數據。
圖10所示的示例1中，數據中心A的兩個源資料庫分別作為源端，通過各自對應的數據分發端讀取發布數據至數據中心B的數據分發服務端，通過數據中心B的數據訂閱端寫入兩個目標庫。
圖10所示的示例2中，數據中心A的源資料庫通過本地的數據分發服務端寫入本地到目標資料庫3。
作為本發明的擴展，根據不同的需求，可靈活的部署和配置數據分發任務，例如：可重新開發源資料庫1的數據分發端，在現有數據分發端中新增任務，在數據分發服務端新增相應的任務配置，源資料庫1通過其數據分發端讀取發布數據至數據中心A的數據分發服務端，送至與本地的目標資料庫3連接的數據訂閱端3寫入本地的目標資料庫3。
利用本發明，可以將原有一對一的數據轉移方式通過統一分發的方式實現，不同的數據源由各自的發布端實現，不同的數據目標由各自的訂閱端實現；不同的數據複製任務設置各自的進程處理；各個數據複製任務互不影響，便於管理和運維。
本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、CD-ROM、光學存儲器等)上實施的電腦程式產品的形式。
本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
本發明中應用了具體實施例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。