數據處理方法和設備的製作方法
2023-06-10 17:33:11
專利名稱：數據處理方法和設備的製作方法
技術領域：
本發明涉及信息技術領域，並且具體地，涉及數據處理方法和設備。
背景技術：
在現有數據存儲技術中，為保證異常情況下數據的可靠性和一致性，通常採用類似文件系統的存儲模式，即redo (重做)模式。在需要存儲數據時，首先在redo區域寫入待存儲數據和相應的索引信息，然後再將數據和索引信息分別寫入到相應的存儲區域中，在發生異常情況時可以根據redo區域的信息進行恢復。可見，在這種redo模式下，每次進行存儲時，數據都需要在磁碟上寫兩次，增加了輸入(Input，I)/輸出(Output，0)操作次數，從而降低了系統的讀寫性能和吞吐量。
發明內容
本發明實施例提供數據處理方法和設備，能夠提高系統的讀寫性能和吞吐量。第一方面，提供了一種數據處理方法，包括生成數據對應的索引信息，其中該索引信息指示用於存儲該數據的數據區域；根據該索引信息，將該數據寫入該數據區域；執行將該索引信息寫入索引區域中的主區域的操作；在執行將該索引信息寫入該主區域的操作成功時，執行將該索引信息寫入該索引區域中的備份區域的操作。結合第一方面，在第一種可能的實現方式中，還包括在執行將該索引信息寫入該備份區域的操作發生異常時，判斷該備份區域的該索引信息與該主區域的該索引信息是否一致；如果該主區域的該索引信息與該備份區域的該索引信息不一致，則將該主區域的該索引信息同步到該備份區域。結合第一方面的第一種可能的實現方式，在第二種可能的實現方式中，該判斷該主區域的該索引信息與該備份區域的該索引信息是否一致，包括根據該主區域的序列號與該備份區域的序列號，判斷該主區域的該索引信息與該備份區域的該索引信息是否一致。結合第一方面，在第三種可能的實現方式中，還包括在執行將該索引信息寫入該主區域的操作發生異常時，判斷該主區域的內容與該備份區域的內容是否一致；如果該主區域的內容與該備份區域的內容不一致，則根據該備份區域的內容對該主區域的內容進行修正。結合第一方面或第一方面的第一種可能的實現方式或第一方面的第二種可能的實現方式或第一方面的第三種可能的實現方式，在第四種可能的實現方式中，該生成數據對應的索引信息，包括根據該數據的標識信息，生成該索引信息。第二方面，提供了一種數據處理設備，包括生成單元，用於生成數據對應的索引信息，其中該索引信息指示用於存儲該數據的數據區域；寫操作單元，用於根據該索引信息，將該數據寫入該數據區域；寫操作單元，還用於執行將該索引信息寫入索引區域中的主區域的操作；該寫操作單元還用於在將該索引信息寫入該主區域的操作執行成功時，執行將該索引信息寫入該索引區域中的備份區域的操作。結合第二方面，在第一種可能的實現方式中，還包括第一判斷單元，該第一判斷單元，用於在該執行單元執行將該索引信息寫入該備份區域的操作發生異常時，判斷該備份區域的該索引信息與該主區域的該索引信息是否一致；該寫操作單元還用於如果該主區域的該索引信息與該備份區域的該索引信息不一致，則將該主區域的該索引信息同步到該備份區域。結合第二方面的第一種可能的實現方式，在第二種可能的實現方式中，該第一判斷單元具體用於根據該主區域的序列號與該備份區域的序列號，判斷該主區域的該索引信息與該備份區域的該索引信息是否一致。結合第二方面，在第三種可能的實現方式中，還包括第二判斷單元，該第二判斷單元，用於在該執行單元執行將該索引信息寫入該主區域的操作發生異常時，判斷該主區域的內容與該備份區域的內容是否一致；該寫操作單元，還用於如果該主區域的內容與該備份區域的內容不一致，則根據該備份區域的內容對該主區域的內容進行修正。結合第二方面或第二方面的第一種可能的實現方式或第二方面的第二種可能的實現方式或第二方面的第三種可能的實現方式，在第四種可能的實現方式中，該生成單元具體用於根據該數據的標識信息，生成該索引信息。本發明實施例中，通過根據數據對應的索弓I信息將數據寫入數據區域,並將索引信息寫入索引區域中的主區域，在將索引信息寫入主區域成功時執行將索引信息寫入索引區域中的備份區域的操作，無需執行兩次數據寫操作，因此能夠減少I/o操作次數，從而能夠提高系統的讀寫性能和吞吐量。
為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖I是根據本發明實施例的數據處理方法的示意性流程圖。圖2是根據本發明實施例的數據處理方法的過程的示意性流程圖。圖3是根據本發明實施例的數據處理設備的示意框圖。圖4是根據本發明實施例的數據處理設備的示意框圖。
具體實施例方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明的一部分實施例，而不是全部實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都應屬於本發明保護的範圍。圖I是根據本發明實施例的數據處理方法的示意性流程圖。圖I的方法由數據處理設備執行。
110，生成數據對應的索引(Index)信息，其中索引信息指示用於存儲數據的數據區域。應理解，本發明實施例中，數據可以是指數據分片或完整的數據對象。可選地，作為一個實施例，數據處理設備可以根據數據的標識信息，生成索引信息。例如，數據的標識信息可以包括數據的關鍵詞(Key)。索引信息可以包括該數據相關的元數據。120，根據索引信息，將數據寫入數據區域。130，執行將索引信息寫入索引區域中的主區域的操作。140，在執行將索引信息寫入主區域的操作成功時，執行將索引信息寫入索引區域中的備份區域的操作。本發明實施例中，索引區域可以是用於存儲索引信息的區域。索引區域可以包括主區域和備份區域。主區域和備份區域都用於存儲索引信息。此外，主區域和備份區域是可以互換的。例如，主區域為A區域，備份區域為B區域，那麼數據處理設備再次重新啟動時，可以將A區域作為備份區域，B區域作為主區域。通常主區域的讀寫次數較多，而備份區域的讀寫次數較少，因此通過互換主區域和備份區域，能夠均衡主區域和備份區域的讀寫次數，保證索引區域的存儲性能。此外，數據處理設備可以將多個數據對應的索引信息進行緩存，將多個數據對應的索引信息批量寫入備份區域。例如，數據處理設備可以在處理器的使用率較低或者空閒時候，將多個數據對應的索引信息批量寫入備份區域。這樣，能夠減少備份區域的I/O操作次數，提高處理器的讀寫性能。可選地，作為另一實施例，數據處理設備可以在執行將索引信息寫入備份區域的操作發生異常時，判斷主區域的索引信息與備份區域的索引信息是否一致。如果主區域的索引信息與備份區域的索引信息不一致，則將主區域的索引信息同步到備份區域。可選地，作為另一實施例，數據處理設備可以根據主區域的序列號與備份區域的序列號，判斷主區域的索引信息與備份區域的索引信息是否一致。例如，數據處理設備在執行將索引信息寫入備份區域的操作時，發生掉電或系統崩潰等異常，數據處理設備可以在重新啟動時，根據主區域的序列號和備份區域的序列號，判斷主區域的索引信息與備份區域的索引信息是否一致。如果主區域的索引信息與備份區域的索引信息不一致，由於索引信息寫入主區域的操作已經執行成功，因此數據處理設備可以將主區域的索引信息同步到備份區域。可選地，作為另一實施例，數據處理設備可以在執行將索引信息寫入主區域的操作發生異常時，判斷主區域的內容與備份區域的內容是否一致。如果主區域的內容與備份區域的內容不一致，則根據備份區域的內容對主區域的內容進行修正。例如，數據處理設備在執行將索引信息寫入主區域的操作時，發生掉電或系統崩潰等異常，數據處理設備可以在重新啟動時，判斷主區域的內容與備份區域的內容是否一致。例如可以根據主區域的序列號和備份區域的序列號，判斷主區域的內容與備份區域的內容是否一致。如果主區域的內容與備份區域的內容不一致，則可以根據備份區域的內容對主區域的內容進行修正。本發明實施例中，通過根據數據對應的索引信息將數據寫入數據區域，並將索引信息寫入索引區域中的主區域，在將索引信息寫入主區域成功時執行將索引信息寫入索引區域中的備份區域的操作，無需執行兩次數據寫操作，因此能夠減少I/o操作次數，從而能夠提高系統的讀寫性能和吞吐量。此外，本發明實施例中，通過將索引信息分別寫入索引區域的主區域和備份區域，使得在發生異常時能夠根據主區域和備份區域進行數據恢復或回退，從而能夠保證數據的可靠性和一致性。圖2是根據本發明實施例的數據處理方法的過程的示意性流程圖。201，生成需要存儲的數據對應的索引信息，索引信息指示用於存儲數據的數據區域。 例如，可以根據數據的標識信息，生成索引信息。202，根據索引信息，將數據寫入數據區域。203，判斷在將數據寫入數據區域的過程中是否發生異常。例如，判斷在將數據寫入數據區域的過程中是否發生掉電或系統崩潰等異常。如果發生異常，則轉到步驟204。如果沒有發生異常，則轉到步驟205。204，如果在將數據寫入數據區域的過程中發生異常，則此次數據寫入操作失敗，返回失敗信息。205，如果在將數據寫入數據區域的過程中沒有發生異常，則將索引信息寫入索引區域的主區域。206，判斷在將索引信息寫入主區域的過程中是否發生異常。例如，判斷在將索引信息寫入主區域的過程中是否發生掉電或系統崩潰等異常。如果發生異常，則轉到步驟207。如果沒有發生異常，則轉到步驟210。207，如果在將索引信息寫入主區域的過程中發生異常，則此次數據存儲操作失敗，返回失敗信息。208，判斷主區域的內容與備份區域的內容是否一致。例如，可以根據主區域的序列號和備份區域的序列號，判斷主區域的內容與備份區域的內容是否一致。如果主區域的內容與備份區域的內容一致，則操作結束。此外，也可以重新執行步驟 201。如果主區域的內容與備份區域的內容不一致，則轉到步驟209。209，根據備份區域的內容對主區域的內容進行修正。210，如果在將索引信息寫主區域的過程中沒有發生異常，則將索引信息寫入備份區域。211，判斷在將索引信息寫入備份區域的過程中是否發生異常。如果在將索引信息寫入備份區域的過程沒有發生異常，則此次操作結束。如果在將索引信息寫入備份區域的過程發生異常，則轉到步驟212。212，判斷主區域的索引信息與備份區域的索引信息是否一致。如果主區域的索引信息與備份區域的索引信息一致，則操作結束。如果主區域的索引信息與備份區域的索引信息不一致，則轉到步驟213。213，將主區域的索引信息同步到備份區域。
本發明實施例中，通過根據數據對應的索引信息將數據寫入數據區域，並將索引信息寫入索引區域中的主區域，在將索引信息寫入主區域成功時執行將索引信息寫入索引區域中的備份區域的操作，無需執行兩次數據寫操作，因此能夠減少I/O操作次數，從而能夠提高系統的讀寫性能和吞吐量。此外，本發明實施例中，通過將索引信息分別寫入索引區域的主區域和備份區域，使得在發生異常時能夠根據主區域和備份區域進行數據恢復或回退，從而能夠保證數據的可靠性和一致性。圖3是根據本發明實施例的數據處理設備的示意框圖。數據處理設備300包括生成單元310和寫操作單元320。生成單元310生成數據對應的索引信息，其中索引信息指示用於存儲數據的數據區域。寫操作單元320根據索引信息，將數據寫入數據區域。寫操作單元320還執行將索引信息寫入索引區域中的主區域的操作。寫操作單元320還在將索引信息寫入主區域的操作執行成功時，執行將索引信息寫入索引區域中的備份區域的操作。本發明實施例中，通過根據數據對應的索引信息將數據寫入數據區域，並將索引信息寫入索引區域中的主區域，在將索引信息寫入主區域成功時執行將索引信息寫入索引區域中的備份區域的操作，無需執行兩次數據寫操作，因此能夠減少I/O操作次數，從而能夠提高系統的讀寫性能和吞吐量。此外，本發明實施例中，通過將索引信息分別寫入索引區域的主區域和備份區域，使得在發生異常時能夠根據主區域和備份區域進行數據恢復或回退，從而能夠保證數據的可靠性和一致性。圖3的設備300的其他操作和功能可以參照上面圖I和圖2的方法實施例的過程，為了避免重複，此處不再贅述。可選地，作為一個實施例，數據處理設備300還可以包括第一判斷單元330。第一判斷單元330可以在執行單元執行將索引信息寫入備份區域的操作發生異常時，判斷備份區域的索引信息與主區域的索引信息是否一致。如果主區域的索引信息與備份區域的索引信息不一致，則寫操作單元320可以將主區域的索引信息同步到備份區域。可選地，作為另一實施例，第一判斷單元330可以根據主區域的序列號與備份區域的序列號，判斷主區域的索引信息與備份區域的索引信息是否一致。可選地，作為另一實施例，數據處理設備300可以包括第二判斷單元340。第二判斷單元340在執行單元執行將索引信息寫入主區域的操作發生異常時，判斷主區域的內容與備份區域的內容是否一致。如果主區域的內容與備份區域的內容不一致，則寫操作單元320可以根據備份區域的內容對主區域的內容進行修正。可選地，作為另一實施例，生成單元310可以根據數據的標識信息，生成索引信肩、O圖4是根據本發明實施例的數據處理設備的示意框圖。如圖4所示，數據處理設備400 —般包括至少一個處理器410，例如CPU，至少一個埠 420，存儲器430，和至少一個通信總線440。通信總線440用於實現這些裝置之間的連接通信。處理器410用於執行存儲器430中存儲的可執行模塊，例如電腦程式；可選地，數據處理設備400可包括用戶接口 450，用戶接口 450包括但不限於顯示器，鍵盤和點擊設備，例如滑鼠、軌跡球(trackbalI)、觸感板或者觸感顯示屏。存儲器430可能包含高速RAM存儲器，也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁碟存儲器。在一些實施方式中，存儲器430存儲了如下的元素，可執行模塊或者數據結構，或者他們的子集，或者他們的擴展集作業系統432，包含各種系統程序，用於實現各種基礎業務以及處理基於硬體的任務;應用模塊434，包含各種應用程式，用於實現各種應用業務。應用模塊434中包括但不限於生成單元310、寫操作單元320、第一判斷單元330和第二判斷單元340。應用模塊432中各單元的具體實現參見圖3所示實施例中的相應單元，在此不贅述。本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、或者計算機軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本申請所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括U盤、移動硬碟、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM, Random Access Memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。以上所述，僅為本發明的具體實施方式
，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述權利要求的保護範圍為準。
權利要求
1.一種數據處理方法，其特徵在於，包括生成數據對應的索引信息，其中所述索引信息指示用於存儲所述數據的數據區域；根據所述索引信息，將所述數據寫入所述數據區域；執行將所述索引信息寫入索引區域中的主區域的操作；在執行將所述索引信息寫入所述主區域的操作成功時，執行將所述索引信息寫入所述索引區域中的備份區域的操作。
2.根據權利要求I所述的方法，其特徵在於，還包括在執行將所述索引信息寫入所述備份區域的操作發生異常時，判斷所述備份區域的所述索引信息與所述主區域的所述索引信息是否一致；如果所述主區域的所述索引信息與所述備份區域的所述索引信息不一致，則將所述主區域的所述索引信息同步到所述備份區域。
3.根據權利要求2所述的方法，其特徵在於，所述判斷所述主區域的所述索引信息與所述備份區域的所述索引信息是否一致，包括根據所述主區域的序列號與所述備份區域的序列號，判斷所述主區域的所述索引信息與所述備份區域的所述索引信息是否一致。
4.根據權利要求I所述的方法，其特徵在於，還包括在執行將所述索引信息寫入所述主區域的操作發生異常時，判斷所述主區域的內容與所述備份區域的內容是否一致；如果所述主區域的內容與所述備份區域的內容不一致，則根據所述備份區域的內容對所述主區域的內容進行修正。
5.根據權利要求I至4中任一項所述的方法，其特徵在於，所述生成數據對應的索引信息，包括根據所述數據的標識信息，生成所述索引信息。
6.一種數據處理設備，其特徵在於，包括生成單元，用於生成數據對應的索引信息，其中所述索引信息指示用於存儲所述數據的數據區域；寫操作單元，用於根據所述索引信息，將所述數據寫入所述數據區域；寫操作單元，還用於執行將所述索引信息寫入索引區域中的主區域的操作；所述寫操作單元還用於在將所述索引信息寫入所述主區域的操作執行成功時，執行將所述索引信息寫入所述索引區域中的備份區域的操作。
7.根據權利要求6所述的設備，其特徵在於，還包括第一判斷單元；所述第一判斷單元，用於在所述執行單元執行將所述索引信息寫入所述備份區域的操作發生異常時，判斷所述備份區域的所述索引信息與所述主區域的所述索引信息是否一所述寫操作單元還用於如果所述主區域的所述索引信息與所述備份區域的所述索引信息不一致，則將所述主區域的所述索引信息同步到所述備份區域。
8.根據權利要求7所述的設備，其特徵在於，所述第一判斷單元具體用於根據所述主區域的序列號與所述備份區域的序列號，判斷所述主區域的所述索引信息與所述備份區域的所述索引信息是否一致。
9.根據權利要求6所述的設備，其特徵在於，還包括第二判斷單元； 所述第二判斷單元，用於在所述執行單元執行將所述索引信息寫入所述主區域的操作發生異常時，判斷所述主區域的內容與所述備份區域的內容是否一致； 所述寫操作單元，還用於如果所述主區域的內容與所述備份區域的內容不一致，則根據所述備份區域的內容對所述主區域的內容進行修正。
10.根據權利要求6至9中任一項所述的設備，其特徵在於，所述生成單元具體用於根據所述數據的標識信息，生成所述索引信息。
全文摘要
本發明實施例提供了數據處理方法和設備。該方法包括生成數據對應的索引信息，其中索引信息指示用於存儲該數據的數據區域；根據索引信息，將該數據寫入數據區域；執行將索引信息寫入索引區域中的主區域的操作；在執行將索引信息寫入主區域的操作成功時，執行將索引信息寫入索引區域中的備份區域的操作。本發明實施例中，通過根據數據對應的索引信息將數據寫入數據區域，並將索引信息寫入索引區域中的主區域，在將索引信息寫入主區域成功時執行將索引信息寫入索引區域中的備份區域的操作，無需執行兩次數據寫操作，因此能夠減少I/O操作次數，從而能夠提高系統的讀寫性能和吞吐量。
文檔編號G06F3/06GK102981779SQ20121047841
公開日2013年3月20日 申請日期2012年11月22日 優先權日2012年11月22日
發明者張雷, 熊四兵 申請人:華為技術有限公司