Ugc主備數據同步方法及其系統的製作方法
2023-07-26 17:16:31
Ugc主備數據同步方法及其系統的製作方法
【專利摘要】本發明提供一種UGC主備數據同步方法及其系統，所述方法包括以下步驟：保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識；當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件；如果是，則從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點；否則，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。本發明提供的UGC主備數據同步方法及其系統能夠實現UGC主備數據同步一致，並且同步數據不會佔用過多通信資源，同步效率受UGC數據膨脹的影響較小。
【專利說明】UGC主備數據同步方法及其系統
【技術領域】
[0001]本發明涉及網際網路的【技術領域】，特別是涉及一種UGC主備數據同步方法，以及一種UGC主備數據同步系統。
【背景技術】
[0002]UGC (User Generated Content,用戶生成內容)是一種使用網際網路的新方式，由原來以用戶下載數據為主的應用方式，變成用戶下載和上傳並重。社區網絡、視頻分享和微博等都是UGC的主要應用形式。隨著全球網際網路業務的不斷發展，UGC業務正在日漸崛起，引起了業界的廣泛關注。
[0003]UGC類應用中對用戶產生的數據的存儲是其核心技術之一，為提升用戶體驗、保持穩定性和提高抵抗災難的能力(如IDC掉電，地震等意外)，UGC數據存儲一般都採用冗餘熱備的方式，即數據保存多份，如分別儲存在多個IDCXInternet Data Center,網際網路數據中心)甚至是不同城市的IDC。其中一份為主儲存點保存的主點數據，所述主儲存點是UGC數據寫入的唯一入口 ；其它的為備份點保存的備份數據，接收所述主點數據的同步，通過同步系統使多份數據之間保持實時的一致性。
[0004]由於UGC類應用中數據具有膨脹的特點，即用戶產生的數據隨時間推移會越來越多，如用戶發表微博產生的數據，隨著用戶發表的微博量增大而增大，主儲存點和備份點之間需要同步越來越大的數據量，佔用越來越多的通信帶寬資源。因此，UGC數據的膨脹性特點，使主點數據和備份數據之間的高實時一致性要求成為一個難題。
[0005]通常的UGC主備數據同步方法採用定時全量同步的方式保持一致，其原理如圖1所示。當用戶的UGC數據有修改時，主儲存點Master上對應的用戶集unit (由多個用戶標識uin組成的集合)的更新標識local seq加I,同步進程syncd定時檢查local seq和備份點的更新標識peer seq的差異，如果local seq>peer seq,則根據peer seq從所述主儲存點的數據更新日誌binlog中取出發生數據更新的uin，並且取出對應的uin的全量UGC數據，發送給備份點Slave。所述備份點Slave接收所述全量UGC數據,保存至對應的uin,並更新本地的用戶集unit的更新標識local seq，從而達到保持數據的一致的目的。
[0006]當主備點之間同步的數據量基本穩定且不大的情況，上述同步方法可以較好的保證數據一致性。然而，由於UGC類應用中數據膨脹的特性比較突出，用戶的UGC數據會隨時間越來越大，例如在微博應用，用戶發表的微博量可以達到數十萬，用戶索引數據總量可以達到數十兆，如果採用上述同步方法，則用戶每發表一條微博或刪除一條微博，都會將該用戶的用戶標識所對應的全量UGC數據同步到備份點。而隨著同步的數據量變大，同步效率及實時性會大幅降低，通常解決的方法大多依賴於建立同步所用的專線帶寬，而同步專線的資源有限，特別是建設跨城同步專線更是昂貴。
【發明內容】
[0007]針對上述【背景技術】中存在的問題，本發明的目的在於提供一種能夠實現UGC主備數據同步一致，並且同步數據不會佔用過多通信資源的UGC主備數據同步方法，以及一種UGC主備數據同步系統。
[0008]一種UGC主備數據同步方法，包括:
[0009]保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識；
[0010]當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件；
[0011]如果是，則從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點；
[0012]否則，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。
[0013]一種UGC主備數據同步系統，包括:
[0014]更新版本標識模塊，用於保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識；
[0015]判斷模塊，用於當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件；
[0016]數據同步模塊，用於在所述版本標識滿足預定的全量同步條件時，從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點；在所述版本標識不滿足預定的全量同步條件時，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。
[0017]本發明的UGC主備數據同步方法及其系統，通過保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識以及預先設定全量同步條件，只有在所述版本標識滿足所述全量同步條件時，才進行全量同步，保證UGC主備數據的一致性；否則，進行增量同步，使同步數據不會佔用過多的通信帶寬資源。因此，能夠使UGC類應用的膨脹性數據在窄帶情況下也能夠保持較高的實時一致性。
【專利附圖】
【附圖說明】
[0018]圖1是通常的UGC主備數據同步方法的原理示意圖；
[0019]圖2是本發明UGC主備數據同步方法第一實施方式的流程示意圖；
[0020]圖3是本發明UGC主備數據同步方法第二實施方式的流程示意圖；
[0021]圖4時本發明UGC主備數據同步方法在一個實施例中應用的原理示意圖；
[0022]圖5是本發明UGC主備數據同步系統的結構示意圖。
【具體實施方式】
[0023]請參閱圖2，圖2是本發明UGC主備數據同步方法第一實施方式的流程示意圖。
[0024]所述UGC主備數據同步方法包括以下步驟:
[0025]S101，保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識；
[0026]S102，當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件；
[0027]如果是，則執行步驟S103，從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點；
[0028]否則，執行步驟S104，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。
[0029]其中，對於步驟S101，所述主儲存點中每一用戶標識對應的UGC數據更新的版本標識包括版本號，或者各個所述用戶標識對應的UGC數據發生更新的累計次數等，用於記錄同一用戶標識對應的UGC數據發生更新的數據版本或者更新的累計次數。在各個所述用戶標識對應的UGC數據發生更新時，所述版本標識對應修改，例如UGC數據發生更新一次，所述版本標識的取值加1，以便在步驟S102中根據所述版本標識決定是否進行全量同步。
[0030]對於步驟S102，所述UGC主備數據的同步操作可以按照預定的時間間隔執行，也可以按照其他自定義的觸發方式執行。優選地，所述主儲存點和所述備份點都保存有相同的若干個用戶集，對每個所述用戶集設定UGC數據更新的用戶集版本標識；其中，每一所述用戶集包括多個所述用戶標識；
[0031]在執行步驟S102之前，先按照以下方式判斷是否執行主儲存點和UGC數據的備份點的數據同步:
[0032]按照預定的檢測周期，比較所述主儲存點的所述用戶集版本標識，是否大於所述備份點的所述用戶集版本標識；
[0033]如果是，則判斷執行所述主儲存點和UGC數據的備份點的數據同步；
[0034]否則，判斷不執行所述主儲存點和UGC數據的備份點的數據同步。
[0035]通過將所述主儲存點和所述備份點的多個用戶標識劃分為若干個用戶集，設定所述用戶集版本標識，標記每個用戶集的UGC數據更新的版本，在所述主儲存點的用戶集版本標識大於所述備份點的用戶集版本標識時，表明對於該用戶集，主儲存點的UGC數據比備份點的UGC數據更新，因此執行所述主儲存點和UGC數據的備份點的數據同步。
[0036]當執行UGC主備數據同步時，判斷所述版本標識是否滿足預定的全量同步條件，所述預定條件包括累計更新次數為預設的全量同步間隔的整數倍，或者距離上一次UGC數據全量同步的時間間隔超過預設值等，本領域的技術人員可以根據實際情況具體設定。
[0037]作為一個實施例，所述判斷所述版本標識是否滿足預定的全量同步條件的步驟可以通過以下方式實現:
[0038]根據所述版本標識，判斷在上一次全量同步之後，所述用戶標識對應的UGC數據發生更新的次數是否大於或等於預設的全量同步間隔；
[0039]如果是，則判斷滿足預定的全量同步條件；
[0040]否則，判斷不滿足預定的全量同步條件；
[0041]其中，所述全量同步為將所述用戶標識對應的全量UGC數據同步至所述備份點。
[0042]在本實施例中，以所述UGC數據發生更新的次數是否大於或等於預設的全量同步間隔作為UGC數據全量同步的條件。例如可以設定全量同步間隔為10，則在一次全量同步之後，同一用戶標識對應的UGC數據只有再次經過10次更新(包括增加、刪除和修改等)後，才會滿足預定的全量同步條件，再次執行全量同步，否則，在不滿足全量同步條件時，只執行增量同步，從而減少同步數據對通信帶寬資源的佔用。
[0043]上述實施例中，設置所述版本標識為各個所述用戶標識對應的UGC數據發生更新的累計次數，則只有在本次同步時的版本標識減去上一次全量同步時的版本標識的差值大於或等於預設的全量同步間隔次數時，才執行全量同步。
[0044]對於步驟S103，所述用戶標識所對應的全量UGC數據包括所述用戶標識對應的UGC更新數據以及UGC歷史數據。
[0045]而對於S104，則只同步所述用戶標識對應的UGC更新數據。
[0046]本發明的UGC主備數據同步方法，通過保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識以及預先設定全量同步條件，只有在所述版本標識滿足所述全量同步條件時，才進行全量同步，保證UGC主備數據的一致性；否則，進行增量同步，使同步數據不會佔用過多的通信帶寬資源。因此，能夠使UGC類應用的膨脹性數據在窄帶情況下也能夠保持較高的實時一致性。
[0047]請進一步參閱圖3，圖3是本發明UGC主備數據同步方法第二實施方式的流程示意圖。
[0048]與第一實施方式的所述UGC主備數據同步方法相比較，在本實施方式的所述UGC主備數據同步方法的主要區別在於:
[0049]在執行步驟S102後，如果判斷所述版本標識不滿足預定的全量同步條件，從所述主儲存點獲取所述用戶標識對應的UGC更新數據時，進一步執行以下步驟:
[0050]S105，獲取所述用戶標識對應的用戶基本屬性數據；
[0051 ] 然後在步驟S106中，將所述用戶基本屬性數據以及所述UGC更新數據同步至所述備份點。
[0052]其中，每個所述用戶標識對應的UGC數據可分為用戶基本屬性數據，以及由用戶一次操作產生的追加數據。
[0053]所述追加數據是由用戶的一次應用生成的數據，包括由於用戶的上傳操作，或者編輯操作引起的各種一次性新增數據，例如微博系統中用戶發表的消息的內容、發表消息的id，消息的時間，消息來源等，是UGC數據膨脹的主要來源。
[0054]而所述用戶基本屬性數據亦即是所述追加數據之外的其他UGC數據，通常是UGC的應用系統帶有的基本統計數據，或者是所有不是由用戶的一次應用而產生的UGC數據。例如用戶原創的微博數量、用戶轉發的微博數量、發表的評論數量或者用戶的積分等統計數據，其特點是數據量不大，並且不會隨時間的推移而有較大的增長。通常追加數據遠大於用戶基本屬性數據。
[0055]在本實施方式中，在判斷所述版本標識不滿足預定的全量同步條件時，不僅同步所述用戶標識對應的UGC更新數據，而且同步所述用戶標識對應的用戶基本屬性數據，因此，能夠確保備份點與主儲存點的用戶基本屬性數據保持一致，提高UGC主備數據的一致性。而由於所述由用戶操作產生的追加數據才是UGC數據膨脹的主要來源，而所述基本屬性數據的數據量不大，並且不會隨時間膨脹，因此，同步數據同樣不會佔用過多的通訊帶寬資源，並且更好地解決了 UGC主備數據的一致性的問題。
[0056]優選地，在本發明的UGC主備數據同步方法中，判斷所述版本標識是否滿足預定的全量同步條件之前，可進一步執行以下步驟:
[0057]讀取所述主儲存點的UGC更新日誌，獲取所述UGC更新日誌中記載的UGC數據更新對應的用戶標識；
[0058]獲取所述用戶標識對應的UGC數據更新的版本標識來進行判斷。[0059]貝U，在需要執行UGC的主備數據同步時，首先根據UGC更新日誌篩選出哪一個用戶標識所對應的UGC數據發生更新，從而對發生更新的UGC數據，根據對應的用戶標識獲取UGC數據更新的版本標識，進行是否滿足預定的全量同步條件的判斷。因為首先根據UGC更新日誌篩選出發生過UGC數據更新的用戶標識，提高了同步效率。
[0060]進一步地，在每次將所述全量UGC數據或者UGC更新數據同步至所述備份點時，進一步將所述用戶標識對應的UGC數據更新的版本標識保存為歷史版本標識；
[0061]則從所述主儲存點獲取所述用戶標識對應的UGC更新數據的步驟包括:
[0062]根據所述用戶標識對應的UGC數據更新的當前版本標識，以及對應的歷史版本標識，從所述主儲存點的UGC更新日誌中獲取所述用戶標識對應的UGC更新數據。
[0063]通過比較所述UGC數據的當前版本標識，以及對應的歷史版本標識，可以準確地確定在上一次同步之後，UGC數據發生了那些更新，從而可以從所述UGC更新日誌中獲取對應的UGC更新數據，非常方便。
[0064]請參閱圖4，圖4時本發明UGC主備數據同步方法在一個實施例中應用的原理示意圖。
[0065]以微博系統的UGC主備數據同步為例，將微博系統的UGC數據劃分成用戶基本屬性數據base_data以及由用戶一次操作產生的追加數據gen_data兩部分；保存主儲存點Master中每一用戶標識uin對應的UGC數據更新的版本標識，在本實施例中為UGC數據更新的序列號uin seq,在UGC數據發生更新時,無論是base_data還是gen_data的部分發生變化都會進行uin seq加I的操作。
[0066]將所述主儲存點和所述備份點的用戶標識Uin劃分為若干個用戶集unit，其中，每一個用戶集unit包括多個用戶標識Uin的集合,如10萬個連續的Uin為一個Unit。對所述主儲存點的每個所述用戶集設定UGC數據更新的用戶集版本標識local seq，在所述主儲存點記錄對所述備份點的每個所述用戶集設定的UGC數據更新的用戶集版本標識peerseq。
[0067]同步進程syncd定時檢查每一個用戶集unit的local seq和peer seq,當localseq>peer seq的時候發起同步動作。
[0068]數據同步分成增量同步和全量同步兩種模式，設定全量同步條件為Uin_Seq%N=0，其中％為模運算符號，N為預設的全量同步頻率因子，取值範圍是[1，+唚]的正整數。則Uin_Seq%N取值範圍是[0，N-1]，如果Uin_Seq%N=0，則同步對應的uin的全量UGC數據，即base_data加gen_data ;如果Uin_Seq%N>0,則同步對應的uin的用戶基本屬性數據base_data,以及UGC更新數據binlog。例如設定N的取值為10，則每十次更新數據中進行九次增量數據同步，一次全量數據同步。在保持UGC主備數據一致的同時，降低同步數據對通信帶寬資源的佔用。
[0069]本實施例的UGC主備數據同步方法具有以下優點:對於不斷膨脹的UGC數據的同步，在保證實時一致性的前提下，能夠保證同步效率基本相同；解決不斷膨脹的UGC數據對帶寬的高消耗，使得數據同步窄帶化，節約成本；同步設置靈活，通過配置全量同步頻率因子N，可以方便配置全量同步和增量同步的比例，系統運營靈活。
[0070]請參閱圖5，圖5是本發明UGC主備數據同步系統的結構示意圖。
[0071]所述UGC主備數據同步系統包括:更新版本標識模塊11、判斷模塊12和數據同步模塊13。所述更新版本標識模塊11用於保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識；所述判斷模塊12用於當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件；所述數據同步模塊13用於在所述版本標識滿足預定的全量同步條件時，從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點；在所述版本標識不滿足預定的全量同步條件時，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。
[0072]其中，所述主儲存點中每一用戶標識對應的UGC數據更新的版本標識包括版本號，或者各個所述用戶標識對應的UGC數據發生更新的累計次數等，用於記錄同一用戶標識對應的UGC數據發生更新的數據版本或者更新的累計次數。在各個所述用戶標識對應的UGC數據發生更新時，所述版本標識對應修改，例如UGC數據發生更新一次，所述版本標識的取值加1，所述判斷模塊12根據所述版本標識決定是否進行全量同步。
[0073]所述UGC主備數據的同步操作可以按照預定的時間間隔執行，也可以按照其他自定義的觸發方式執行。
[0074]優選地，所述UGC主備數據同步系統進一步包括:用戶集設置模塊和更新判斷模塊(圖未示)，所述用戶集設置模塊用於在所述主儲存點和所述備份點保存相同的若干個用戶集，對每個所述用戶集設定UGC數據更新的用戶集版本標識；其中，每一所述用戶集包括多個所述用戶標識；
[0075]所述更新判斷模塊用於在所述判斷模塊12判斷所述版本標識是否滿足預定的全量同步條件之前，先按以下方式判斷是否執行所述主儲存點和所述備份點的數據同步:
[0076]按照預定的檢測周期，比較所述主儲存點的用戶集版本標識，是否大於所述備份點的用戶集版本標識；如果是，則判斷執行所述主儲存點和UGC數據的備份點的數據同步；否則，判斷不執行所述主儲存點和UGC數據的備份點的數據同步。
[0077]通過將所述主儲存點和所述備份點的多個用戶標識劃分為若干個用戶集，設定所述用戶集版本標識，標記每個用戶集的UGC數據更新的版本，提高UGC數據主備同步的效率。在所述主儲存點的用戶集版本標識大於所述備份點的用戶集版本標識時，表明對於該用戶集，主儲存點的UGC數據比備份點的UGC數據更新，因此執行所述主儲存點和UGC數據的備份點的數據同步。
[0078]當執行UGC主備數據同步時，所述判斷模塊12判斷所述版本標識是否滿足預定的全量同步條件，所述預定條件包括累計更新次數為預設的全量同步間隔的整數倍，或者距離上一次UGC數據全量同步的時間間隔超過預設值等，本領域的技術人員可以根據實際情況具體設定。
[0079]作為一個實施例，所述判斷模塊12判斷所述版本標識是否滿足預定的全量同步條件的步驟可以通過以下方式實現:
[0080]根據所述版本標識，判斷在上一次全量同步之後，所述用戶標識對應的UGC數據發生更新的次數是否大於或等於預設的全量同步間隔；
[0081]如果是，則判斷滿足預定的全量同步條件；
[0082]否則，判斷不滿足預定的全量同步條件；
[0083]其中，所述全量同步為將所述用戶標識對應的全量UGC數據同步至所述備份點。
[0084]在本實施例中，所述判斷模塊12以所述UGC數據發生更新的次數是否大於或等於預設的全量同步間隔作為UGC數據全量同步的條件。例如可以設定全量同步間隔為10，則在一次全量同步之後，同一用戶標識對應的UGC數據只有再次經過10次更新(包括增加、刪除和修改等)後，才會滿足預定的全量同步條件，再次進行全量同步，否則，在不滿足全量同步條件時，只進行增量同步，從而減少同步數據對通信帶寬資源的佔用。
[0085]上述實施例中，所述版本標識設置為各個所述用戶標識對應的UGC數據發生更新的累計次數，則所述判斷模塊12判斷只有在本次同步時的版本標識減去上一次全量同步時的版本標識的差值大於或等於預設的全量同步間隔次數時，才執行全量同步。
[0086]所述用戶標識所對應的全量UGC數據包括所述用戶標識對應的UGC更新數據以及UGC歷史數據。所述數據同步模塊13根據所述判斷模塊12的判斷，分別進行全量同步和增量同步。進行全量同步時，將所述用戶標識所對應的全量UGC數據(包括UGC更新數據以及UGC歷史數據)同步至所述備份點；在進行增量同步時，將所述用戶標識對應的UGC更新數據同步至所述備份點。
[0087]本發明的UGC主備數據同步系統通過保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識以及預先設定全量同步條件，只有在所述版本標識滿足所述全量同步條件時，才進行全量同步，保證UGC主備數據的一致性；否則，進行增量同步，使同步數據不會佔用過多的通信帶寬資源。因此，能夠使UGC類應用的膨脹性數據在窄帶情況下也能夠保持較高的實時一致性。
[0088]在本發明所述UGC主備數據同步系統的一種優選實施方式中，所述數據同步模塊13在所述版本標識不滿足預定的全量同步條件時，進一步獲取所述用戶標識對應的用戶基本屬性數據；將所述用戶基本屬性數據以及所述UGC更新數據同步至所述備份點。
[0089]其中，每個所述用戶標識對應的UGC數據可分為用戶基本屬性數據，以及由用戶一次操作產生的追加數據。
[0090]所述追加數據是由用戶的一次應用生成的數據，包括由於用戶的上傳操作，或者編輯操作引起的各種一次性新增數據，例如微博系統中用戶發表的消息的內容、發表消息的id，消息的時間，消息來源等，是UGC數據膨脹的主要來源。
[0091]而所述用戶基本屬性數據亦即是所述追加數據之外的其他UGC數據，通常是UGC的應用系統帶有的基本統計數據，或者是所有不是由用戶的一次應用而產生的UGC數據。例如用戶原創的微博數量、用戶轉發的微博數量、發表的評論數量或者用戶的積分等統計數據，其特點是數據量不大，並且不會隨時間的推移而有較大的增長。通常追加數據遠大於用戶基本屬性數據。
[0092]在本實施方式中，所述數據同步模塊13在所述判斷模塊12判斷所述版本標識不滿足預定的全量同步條件時，不僅同步所述用戶標識對應的UGC更新數據，而且同步所述用戶標識對應的用戶基本屬性數據，因此，能夠確保備份點與主儲存點的用戶基本屬性數據保持一致，提高UGC主備數據的一致性。而由於所述由用戶操作產生的追加數據才是UGC數據膨脹的主要來源，所述基本屬性數據的數據量不大，並且不會隨時間膨脹，因此，同步數據同樣不會佔用過多的通訊帶寬資源，並且更好地解決了 UGC主備數據的一致性的問題。
[0093]優選地，所述判斷模塊12進一步用於讀取所述主儲存點的UGC更新日誌，獲取所述UGC更新日誌中記載的UGC數據更新對應的用戶標識；獲取所述用戶標識對應的UGC數據更新的版本標識來進行判斷。
[0094]貝U，在需要執行UGC的主備數據同步時，所述判斷模塊12首先根據UGC更新日誌篩選出哪一個用戶標識所對應的UGC數據發生更新，從而對發生更新的UGC數據，根據對應的用戶標識獲取UGC數據更新的版本標識，進行是否滿足預定的全量同步條件的判斷。因為首先根據UGC更新日誌篩選出發生過UGC數據更新的用戶標識，提高了同步效率。
[0095]進一步地，所述數據同步模塊13在每次將所述全量UGC數據或者UGC更新數據同步至所述備份點時，進一步將所述用戶標識對應的UGC數據更新的版本標識保存為歷史版本標識；並且根據所述用戶標識對應的UGC數據更新的當前版本標識，以及對應的歷史版本標識，從所述主儲存點的UGC更新日誌中獲取所述用戶標識對應的UGC更新數據。
[0096]通過比較所述UGC數據的當前版本標識，以及對應的歷史版本標識，可以準確地確定在上一次同步之後，UGC數據發生了那些更新，從而可以從所述UGC更新日誌中獲取對應的UGC更新數據，非常方便。
[0097]本領域普通技術人員可以理解實現上述實施方式中的全部或部分流程以及對應的系統，是可以通過電腦程式來指令相關的硬體來完成，所述的程序可存儲於一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各實施方式的流程。其中，所述的存儲介質可為磁碟、光碟、只讀存儲記憶體(Read-Only Memory,ROM)或隨機存儲記憶體(RandomAccess Memory, RAM)等。
[0098]以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。
【權利要求】
1.一種UGC主備數據同步方法，其特徵在於，包括以下步驟: 保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識； 當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件； 如果是，則從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點； 否則，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。
2.如權利要求1所述的UGC主備數據同步方法，其特徵在於，如果判斷所述版本標識不滿足預定的全量同步條件，則進一步執行以下步驟: 獲取所述用戶標識對應的用戶基本屬性數據； 將所述用戶基本屬性數據以及所述UGC更新數據同步至所述備份點。
3.如權利要求1所述的UGC主備數據同步方法，其特徵在於，在判斷所述版本標識是否滿足預定的全量同步條件之前進一步包括以下步驟: 讀取所述主儲存點的UGC更新日誌，獲取所述UGC更新日誌中記載的UGC數據更新對應的用戶標識； 獲取所述用戶標識對應的UGC數據更新的版本標識來進行判斷。
4.如權利要求3所·述的UGC主備數據同步方法，其特徵在於，在每次將所述全量UGC數據或者UGC更新數據同步至所述備份點時，進一步將所述用戶標識對應的UGC數據更新的版本標識保存為歷史版本標識； 則從所述主儲存點獲取所述用戶標識對應的UGC更新數據的步驟包括: 根據所述用戶標識對應的UGC數據更新的當前版本標識，以及對應的歷史版本標識，從所述主儲存點的UGC更新日誌中獲取所述用戶標識對應的UGC更新數據。
5.如權利要求1所述的UGC主備數據同步方法，其特徵在於，判斷所述版本標識是否滿足預定的全量同步條件的步驟包括: 根據所述版本標識，判斷在上一次全量同步之後，所述用戶標識對應的UGC數據發生更新的次數是否大於或等於預設的全量同步間隔； 如果是，則判斷滿足預定的全量同步條件； 否則，判斷不滿足預定的全量同步條件； 其中，所述全量同步為將所述用戶標識對應的全量UGC數據同步至所述備份點。
6.如權利要求5所述的UGC主備數據同步方法，其特徵在於，所述版本標識為各個所述用戶標識對應的UGC數據發生更新的累計次數。
7.如權利要求1所述的UGC主備數據同步方法，其特徵在於，所述主儲存點和所述備份點都保存有相同的若干個用戶集，對每個所述用戶集設定UGC數據更新的用戶集版本標識；其中，每一所述用戶集包括多個所述用戶標識； 在執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件的步驟之前，先按照以下方式判斷是否執行所述主儲存點和所述備份點的數據同步: 按照預定的檢測周期，比較所述主儲存點的所述用戶集版本標識，是否大於所述備份點的所述用戶集版本標識； 如果是，則判斷執行所述主儲存點和UGC數據的備份點的數據同步； 否則，判斷不執行所述主儲存點和UGC數據的備份點的數據同步。
8.—種UGC王備數據冋步系統,其特徵在於,包括: 更新版本標識模塊，用於保存主儲存點中每一用戶標識對應的UGC數據更新的版本標識； 判斷模塊，用於當執行所述主儲存點和UGC數據的備份點的數據同步時，判斷所述版本標識是否滿足預定的全量同步條件； 數據同步模塊，用於在所述版本標識滿足預定的全量同步條件時，從所述主儲存點獲取所述用戶標識所對應的全量UGC數據，並同步至所述備份點；在所述版本標識不滿足預定的全量同步條件時，從所述主儲存點獲取所述用戶標識對應的UGC更新數據，並將所述UGC更新數據同步至所述備份點。
9.如權利要求8所述的UGC主備數據同步系統，其特徵在於，所述數據同步模塊在所述版本標識不滿足預定的全量 同步條件時，進一步獲取所述用戶標識對應的用戶基本屬性數據；將所述用戶基本屬性數據以及所述UGC更新數據同步至所述備份點。
10.如權利要求8所述的UGC主備數據同步系統，其特徵在於，所述判斷模塊進一步用於讀取所述主儲存點的UGC更新日誌，獲取所述UGC更新日誌中記載的UGC數據更新對應的用戶標識；獲取所述用戶標識對應的UGC數據更新的版本標識來進行判斷。
11.如權利要求10所述的UGC主備數據同步系統，其特徵在於，所述數據同步模塊在每次將所述全量UGC數據或者UGC更新數據同步至所述備份點時，進一步將所述用戶標識對應的UGC數據更新的版本標識保存為歷史版本標識；並根據所述用戶標識對應的UGC數據更新的當前版本標識，以及對應的歷史版本標識，從所述主儲存點的UGC更新日誌中獲取所述用戶標識對應的UGC更新數據。
12.如權利要求8所述的UGC主備數據同步系統，其特徵在於，所述判斷模塊用於根據所述版本標識，判斷在上一次全量同步之後，所述用戶標識對應的UGC數據發生更新的次數是否大於或等於預設的全量同步間隔；如果是，則判斷滿足預定的全量同步條件；否則，判斷不滿足預定的全量同步條件；其中，所述全量同步為將所述用戶標識對應的全量UGC數據同步至所述備份點。
13.如權利要求12所述的UGC主備數據同步系統，其特徵在於，所述版本標識為各個所述用戶標識對應的UGC數據發生更新的累計次數。
14.如權利要求8所述的UGC主備數據同步系統，其特徵在於，進一步包括: 用戶集設置模塊，用於在所述主儲存點和所述備份點保存相同的若干個用戶集，對每個所述用戶集設定UGC數據更新的用戶集版本標識；其中，每一所述用戶集包括多個所述用戶標識； 更新判斷模塊，用於在所述判斷模塊判斷所述版本標識是否滿足預定的全量同步條件之前，先按以下方式判斷是否執行所述主儲存點和所述備份點的數據同步: 按照預定的檢測周期，比較所述主儲存點的所述用戶集版本標識，是否大於所述備份點的所述用戶集版本標識；如果是，則判斷執行所述主儲存點和UGC數據的備份點的數據同步；否則，判斷不執行所述主儲存點和UGC數據的備份點的數據同步。
【文檔編號】H04L29/08GK103581231SQ201210261533
【公開日】2014年2月12日 申請日期:2012年7月25日 優先權日:2012年7月25日
【發明者】田明, 劉裡 申請人:騰訊科技（北京）有限公司