數據存儲業務控制方法及系統的製作方法
2023-04-25 01:07:31 2
專利名稱：數據存儲業務控制方法及系統的製作方法
技術領域：
本發明涉及數據存儲領域，具體涉及一種數據存儲業務控制方法及系統。
背景技術：
在網際網路應用中，用戶的文章、評論、相片等都可稱為對象。隨著網際網路的發展，對 海量對象存儲的需求日漸迫切。這類對象存儲的特點有大小通常為幾十k到若干兆；隨機 訪問；一次寫多次讀；並發讀寫量大；數量巨大；針對這些特點，鑑於Linux文件系統對於 海量文件存儲支持不夠，目前普遍採用日誌文件結構方式存儲對象，有效的減少存儲文件 規模。在日誌文件中，新加入的對象追加到文件尾。通過修改對象有效標識，將對象標識為 無效，並不立即回收磁碟空間。系統磁碟空間緊張且日誌文件空間利用率較低時，建立新的 日誌文件，將有效數據寫入新日誌文件，取代舊文件提供服務。針對日誌文件的相關操作，需要實時了解文件磁碟配額上限、文件尾指示和有效 空間大小。作用有三其一，方便追加新對象到文件尾；其二，控制對象的並發寫入；其三， 方便計算磁碟空間利用率，進行磁碟空間回收。現有的解決方案為，將對象的索引按照日誌 文件的形式寫入磁碟。系統啟動時，將對象索引文件全部加載到內存。對於重複的對象，僅 保留最新版本。通過加載過程，計算磁碟空間的利用情況。運行過程中，實時修改相應的變 量，並持久化存儲新對象索引。現有數據存儲的技術在對象數量巨大時有如下不足(1)由於對象索引文件較多，索引加載速度慢，影響系統啟動速度。(2)磁碟操作較多，影響系統性能。
發明內容
本發明的第一目的是提出一種高效的數據存儲業務控制方法。本發明的第二目的是提出一種高效的數據存儲業務控制系統。為實現上述第一目的，本發明提供了一種數據存儲業務控制方法，包括在數據存 儲業務啟動時，磁碟將日誌索引文件加載至內存，日誌索引文件包括多個用於表徵日誌文 件屬性的日誌索引；內存在根據日誌索引文件判定磁碟配額未滿時，將接收的數據添加至 日誌文件中，並修改或新增對應於添加數據的日誌文件的日誌索引；內存將修改或新增的 日誌索引同步至磁碟。為實現上述第二目的，本發明提供了一種數據存儲業務控制系統包括加載模塊， 用於在數據存儲業務啟動時，將磁碟中的日誌索引文件加載至內存，其中，日誌索引文件包 括多個用於表徵日誌文件屬性的日誌索引；添加處理模塊，用於在根據日誌索引文件判定 磁碟配額未滿時，將接收的數據添加至內存中的日誌文件，並修改或新增對應於添加數據 的日誌文件的日誌索引；同步模塊，用於將修改或新增的日誌索引同步至磁碟。本發明各個實施例中，通過建立日誌索引文件並將該日誌索引文件加載至內存使 得內存根據該日誌索引文件即可判斷磁碟的使用狀況進而進行數據操作，避免了利用現有技術中的對象索引文件進行磁碟使用狀況的判定，從而避免了因對象索引文件加載速度慢而影響系統啟動速度的缺陷。
附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，與本發明的實 施例一併用於解釋本發明，並不構成對本發明的限制。在附圖中圖1為本發明的數據存儲業務控制方法的實施例一流程圖；圖2為本發明的數據存儲業務控制方法的實施例二流程圖；圖3為本發明的數據存儲業務控制方法中日誌文件、日誌索引及日誌索引文件的 示意圖；圖4為本發明的數據存儲業務控制方法中磁碟與內存間日誌索引映射關係示意 圖；圖5為本發明的數據存儲業務控制方法的實施例三流程圖；圖6為本發明的數據存儲業務控制系統的實施例結構圖。
具體實施例方式以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實 施例僅用於說明和解釋本發明，並不用於限定本發明。方法實施例圖1為本發明的數據存儲業務控制方法的實施例一流程圖。如圖1所示，本實施 例包括步驟S102 在系統(該系統包含數據存儲業務)啟動時，磁碟將日誌索引文件加 載至內存，其中，日誌索引文件包括多個用於表徵日誌文件屬性的日誌索引；具體操作過程 參見圖2中步驟S201的解釋說明；步驟S104:內存在根據日誌索引文件判定磁碟配額未滿時，將接收的數據添加至 日誌文件中，並修改或新增對應於添加數據的日誌文件的日誌索引；具體操作過程參見圖 5的解釋說明；步驟S106 內存將修改或新增的日誌索引同步至磁碟；具體操作過程參見圖2中 步驟S203及步驟S204以及圖3的解釋說明；本實施例通過建立日誌索引文件並將該日誌索引文件加載至內存使得內存根據 該日誌索引文件即可判斷磁碟的使用狀況進而進行數據操作，避免了利用現有技術中的對 象索引文件進行磁碟使用狀況的判定，從而避免了因對象索引文件加載速度慢而影響系統 啟動速度的缺陷。圖2為本發明的數據存儲業務控制方法的實施例二流程圖。圖3及圖4分別為本 發明的數據存儲業務控制方法中日誌文件、日誌索引及日誌索引文件的示意圖，以及磁碟 與內存間日誌索引映射關係示意圖。以下結合圖2至圖4進行解釋說明。如圖2所示，本 實施例包括步驟S201 在系統啟動時，磁碟將每一日誌索引文件中的日誌索引分別加載到內 存中預設對應的多個緩存頁中；
其中，日誌索引(即為日誌文件的索引信息)在磁碟中的示意圖如圖3所示，其記 錄日誌文件的基本元數據信息(即屬性信息)，包括磁碟配額(即Max-space)、對象數目 (即total-objs)、已用磁碟空間(即Used-space)、有效對象數目(valid objs)、有效對象 佔用磁碟空間(即valid-space)以及其他信息(如，日誌文件尾指示(即tail)、日誌文件 版本(即vesion)、用來區分不同的日誌文件的id)，故，日誌索引與日誌文件(如圖3所示， 包括文件頭File Header及多個對象obj) —一對應；具體操作時，由於每個日誌索引佔用 的空間較小，且動態性較大，為了方便該動態數據的加載和持久化，採用結構化方式存儲在 一個索引文件中，形成日誌索引文件，即如圖3所示，日誌索引文件中的每個LogFilelndex 對應一個日誌索引；日誌索引文件大小隨著日誌文件數目線性增長；如圖4所示， 磁碟中的每個日誌索引文件對應內存中一個索引文件頭(即 IndexFile hdr)，索引文件頭之間組成雙向循環鍊表，鍊表頭為哨兵指針，作為訪問的入 口 ；索引文件頭指向由索引緩存頁面(即Index Page)組成的單向鍊表，該鍊表中的每個節 點為一個索引頁，每一個索引頁中緩存了若干個日誌索引，並且設置有一個頁面髒標記，即 每個日誌索引文件，由內存中的若干索引緩存頁面緩存，按照訪問需要，將索引文件分批緩 存到內存，而不是一次全部加載；索引文件頭中有指向該緩存頁面鍊表頭的指針，每個緩存 頁面保存了指向索引文件頭的指針，方便訪問；其中，索引文件頭及索引緩存頁面所包括的 內容如表1所示索弓丨文件頭及索弓丨緩存頁面的內容
索引文件頭索引緩存頁面
索引文件頭前驅指針(即Prev Ptr)指向日誌索引文件頭指針(即
IndexFile hdr Ptr)
索引文件後繼指針(即Next Ptr)索引緩存頁面後繼指針(即Next Ptr)^
日誌索引文件名(即Index File Name 本頁面緩存的日誌索引條目(即Index~
Num)
日誌索引文件中索引條目(即Index當前緩存的頁面在日誌索引文件中的
Num)起始偏移值(即Offset)
最大緩存頁面數(即Max Page Num)日誌索引修改標誌(即Dirty flag)
緩存頁面數(即Page Num)H
指向緩存頁面鍊表頭(即IndexPageLogFileIndex
Ptr)
..............
LogFileIndex
步驟S202 內存在根據日誌索引文件判定磁碟配額未滿時，將接收的數據添加至 日誌文件，並修改或新增對應於添加數據的日誌文件的日誌索引；具體操作過程參見圖5 的解釋說明；步驟S203 內存在接收到數據刪除信息時，修改包含刪除數據的日誌文件對應的 日誌索引，並將修改的日誌索引對應的緩存頁標識為髒頁；即，在對象刪除時，首先從分布 式資料庫中刪除對象索引，然後修改內存中該數據對應的日誌索引，以及將相應的緩存頁 標識為髒頁；步驟S204 內存在根據日誌索引文件判定磁碟空間達到配額上限或/和磁碟空間 利用率低於預設閾值時，根據內存中的日誌文件建立新的日誌文件；並建立新的日誌文件 的日誌索引，以及將建立的日誌索引對應的緩存頁標識為髒頁；即，當日誌文件磁碟空間達 到配額上限或/和空間有效利用率較低時，對日誌文件進行壓縮，即，剔除無效對象的實體 數據，將有效對象的實體數據寫入到的新的日誌文件，並用新的日誌文件的索引替代舊文 件的索引，且將緩存頁標識為髒頁，即該緩存頁進行標識；
步驟S205 將標識為髒頁的緩存頁中的日誌索引同步至磁碟中對應的日誌索引 文件中；即，緩存頁為髒頁則表示緩存頁中的日誌索引發生了修改，需要同步到磁碟中；具 體操作如下首先，在內存中拷貝該緩存頁的副本，清除原緩存頁髒頁標誌；然後，將副本放入需要同步的緩存頁隊列(即在同步隊列中每個緩存頁僅保留一 份最新的副本)，同步策略可以有如下兩種(1)即時寫入，其具體含義為發生修改時，立 即將緩存頁副本寫入索引文件對應的位置；(2)延時寫入，其具體含義為通過定時觸發或 者待寫入的緩存頁達到一定數量，批量的更新索引文；需要說明的是，索引頁中的偏移量標識了該部分索引在索引文件中的位置，方便 索引信息寫入磁碟，即在上述兩種方式寫入時，均根據偏移量找到其在索引文件中的起始 位置，然後將整頁數據寫入索引文件；即時寫入能保證數據一致性，保證數據不丟失；延時 寫入能實現批量寫入，可以避免同一緩存頁的反覆寫入，當採用延時寫入時可以聯合增加 操作日誌的方式共同完成數據的寫入，即日誌索引數據修改時，操作日誌記載修改的緩存 頁標識以及修改的數據；系統異常重啟後，重放操作日誌中的操作，完成數據的同步。本實施例通過建立日誌索引文件並將該日誌索引文件加載至內存使得內存根據 該日誌索引文件即可判斷磁碟的使用狀況進而進行數據操作，提高系統啟動速度；日誌文 件保存對象的實體數據、對象索引使用分布式資料庫存儲、日誌索引存儲在本地結構化文 件中；日誌索引文件獨立於現有技術中的對象索引文件獨立設置，二者分布式存儲，使得對 象索引文件不再用於分析日誌文件存儲情況，對象索引文件功能單一，實現業務分離，提高 系統的健壯性；此外，分布式的特性也提升了系統的擴展性及對象索引並發訪問效率；日 志索引結構化聚集存儲，即採用日誌索引文件的形式，方便了索引文件的加載和同步；索引 文件的分頁緩存機制，方便了索引的快速訪問和動態修改，降低了磁碟訪問次數，加快了索 引同步效率。圖5為本發明的數據存儲業務控制方法的實施例三流程圖。如圖5所示，本實施 例包括步驟S301 根據日誌索引文件判斷磁碟配額是否已滿；若是，則結束，若否，則執行步驟S302 ； 步驟S302 將對象索引存入分布式資料庫；步驟S303 是否可以查找到可存放實體數據的日誌文件；若是，則執行步驟S306， 若否，則執行步驟S304;步驟S304 創建新日誌文件；步驟S305 添加新日誌索引到相應的緩存頁；步驟S306 修改緩存頁中日誌索引；步驟S307 置位緩存頁髒標誌，即將緩存頁標識為髒頁；步驟S308 將實體數據添加到日誌文件，具體操作時，可以將對象實體數據追加 到日誌文件尾部。本實施例通過建立日誌索引文件並將該日誌索引文件加載至內存使得內存根據 該日誌索引文件即可判斷磁碟的使用狀況進而進行數據操作，避免了利用現有技術中的對 象索引文件進行磁碟使用狀況的判定，從而避免了因對象索引文件加載速度慢而影響系統 啟動速度的缺陷。系統實施例圖6為本發明的數據存儲業務控制系統的實施例結構圖。上述圖1-5方法發明的 各個實施例均可以在圖6結構圖所示結構的系統中實現。如圖6所示，該數據存儲業務控 制系統包括加載模塊642，用於在數據存儲業務啟動時，將磁碟中的日誌索引文件加載至 內存，其中，所述日誌索引文件包括多個用於表徵日誌文件屬性的日誌索引；添加處理模塊 621，用於在根據所述日誌索引文件判定所述磁碟配額未滿時，將接收的數據添加至所述內 存中的日誌文件，並修改或新增對應於添加數據的日誌文件的日誌索引；同步模塊625，用 於將所述修改或新增的日誌索引同步至所述磁碟。該數據存儲業務控制系統還可以包括映射控制模塊644，用於控制所述加載模塊在數據存儲業務啟動時將每一日誌索 引文件中的日誌索引分別加載到所述內存中預設對應的多個緩存頁中，其中每一日誌索引 文件的預設對應的多個緩存頁組成單向鍊表以及每一日誌索引文件預設對應一索引文件 頭；標識模塊624，用於將所述修改或新增的日誌索引對應的緩存頁標識為髒頁；清除模塊626，用於在同步模塊將標識為髒頁的緩存頁中的日誌索引同步至所述 磁碟後清除所述標識為髒頁的緩存頁的髒頁標識；刪除處理模塊622，用於在接收到數據刪除信息時，修改包含所述刪除數據的日誌 文件對應的日誌索引，並將修改的日誌索引對應的緩存頁標識為髒頁；壓縮處理模塊623，用於在根據所述日誌索引文件判定所述磁碟空間達到配額上 限或/和所述磁碟空間利用率低於預設閾值時，根據所述內存中的日誌文件建立新的日誌 文件，並建立所述新的日誌文件的日誌索引，以及將所述建立的日誌索引對應的緩存頁標 識為髒頁。本實施例通過加載模塊642將該日誌索引文件加載至內存使得內存中的添加處 理模塊621及壓縮處理模塊623根據該日誌索引文件即可判斷磁碟的使用狀況進而進行數 據操作，提高系統啟動速度；日誌文件僅保存對象的實體數據，對象索引使用分布式資料庫存儲，而日誌索引存儲在本地結構化文件中，日誌索引文件獨立於現有技術中的對象索引 文件獨立設置，二者分布式存儲，使得對象索引文件不再用於分析日誌文件存儲情況，對象 索引文件功能單一，實現業務分離，提高系統的健壯性；此外分布式的特性也提升了系統的 擴展性及對象索引並發訪問效率；日誌索引結構化聚集存儲，即採用日誌索引文件的形式， 方便 了索引文件的加載和同步；索引文件的分頁緩存機制，方便了索引的快速訪問和動態 修改，降低了磁碟訪問次數，加快了索引同步效率。 最後應說明的是以上僅為本發明的優選實施例而已，並不用於限制本發明，儘管 參照前述實施例對本發明進行了詳細的說明，對於本領域的技術人員來說，其依然可以對 前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換。凡在 本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護 範圍之內。
權利要求
1.一種數據存儲業務控制方法，其特徵在於，包括以下步驟在數據存儲業務啟動時，磁碟將日誌索引文件加載至內存，其中，所述日誌索引文件包 括多個用於表徵日誌文件屬性的日誌索引；所述內存在根據所述日誌索引文件判定所述磁碟配額未滿時，將接收的數據添加至日 志文件中，並修改或新增對應於添加數據的日誌文件的日誌索引； 所述內存將所述修改或新增的日誌索引同步至所述磁碟。
2.根據權利要求1所述的數據存儲業務控制方法，其特徵在於，所述在數據存儲業務 啟動時，磁碟將日誌索引文件加載至內存的步驟包括在數據存儲業務啟動時，所述磁碟將每一日誌索引文件中的日誌索引分別加載到所述 內存中預設對應的多個緩存頁中，其中每一日誌索引文件的預設對應的多個緩存頁組成單 向鍊表；所述單向鍊表中的緩存頁與其預設對應的索引文件頭進行信息交互。
3.根據權利要求2所述的數據存儲業務控制方法，其特徵在於，在所述修改或新增對 應於添加數據的日誌文件的日誌索引的步驟之後包括對所述修改或新增的日誌索引對應的緩存頁進行標識。
4.根據權利要求3所述的數據存儲業務控制方法，其特徵在於，所述內存將所述修改 或新增的日誌索引同步至所述磁碟的步驟包括所述內存將被標識的緩存頁中的日誌索引同步至所述磁碟； 刪除所述被標識的緩存頁中的標識。
5.根據權利要求4所述的數據存儲業務控制方法，其特徵在於，所述內存將被標識的 緩存頁中的日誌索引同步至所述磁碟的步驟包括在任一緩存頁被標識時，所述內存將被標識的緩存頁中的日誌索引同步至所述磁碟； 在達到預設的觸發時間或者被標識的緩存頁達到預設數量時，所述內存將被標識的緩 存頁中的日誌索引同步至所述磁碟。
6.根據上述權利要求2至4中任一項所述的數據存儲業務控制方法，其特徵在於，還包括所述內存在接收到數據刪除信息時，修改包含所述刪除數據的日誌文件對應的日誌索 引，並對所述修改的日誌索引對應的緩存頁進行標識。
7.根據上述權利要求2至4中任一項所述的數據存儲業務控制方法，其特徵在於，還包括所述內存在根據所述日誌索引文件判定所述磁碟空間達到配額上限或/和所述磁碟 空間利用率低於預設閾值時，建立新的日誌文件；所述內存建立所述新的日誌文件的日誌索引，並對所述建立的日誌索引對應的緩存頁 進行標識。
8.一種數據存儲業務控制系統，其特徵在於，該系統包括加載模塊，用於在數據存儲業務啟動時，將磁碟中的日誌索引文件加載至內存，其中， 所述日誌索引文件包括多個用於表徵日誌文件屬性的日誌索引；添加處理模塊，用於在根據所述日誌索引文件判定所述磁碟配額未滿時，將接收的數 據添加至所述內存中的日誌文件，並修改或新增對應於添加數據的日誌文件的日誌索引；同步模塊，用於將所述修改或新增的日誌索引同步至所述磁碟。
9.根據權利要求8所述的數據存儲業務控制系統，其特徵在於，還包括映射控制模塊，用於控制所述加載模塊在數據存儲業務啟動時將每一日誌索引文件中 的日誌索引分別加載到所述內存中預設對應的多個緩存頁中，其中，每一日誌索引文件的 預設對應的多個緩存頁組成單向鍊表以及每一日誌索引文件預設對應於一索引文件頭。
10.根據權利要求9所述的數據存儲業務控制系統，其特徵在於，還包括標識模塊，用於對所述修改或新增的日誌索引對應的緩存頁進行標識；清除模塊，用於在所述同步模塊將被標識的緩存頁中的日誌索引同步至所述磁碟後清 除所述被標識的緩存頁中的標識；刪除處理模塊，用於在接收到數據刪除信息時，修改包含所述刪除數據的日誌文件對 應的日誌索引，並對所述修改的日誌索引對應的緩存頁進行標識；壓縮處理模塊，用於在根據所述日誌索引文件判定所述磁碟空間達到配額上限或/和 所述磁碟空間利用率低於預設閾值時，根據所述內存中的日誌文件建立新的日誌文件，並 建立所述新的日誌文件的日誌索引，以及對所述建立的日誌索引對應的緩存頁進行標識。
全文摘要
本發明提供了一種數據存儲業務控制方法及系統，其中，該方法包括在數據存儲業務啟動時，磁碟將日誌索引文件加載至內存，日誌索引文件包括多個用於表徵日誌文件屬性的日誌索引；內存在根據日誌索引文件判定磁碟配額未滿時，將接收的數據添加至日誌文件中，並修改或新增對應於添加數據的日誌文件的日誌索引；內存將修改或新增的日誌索引同步至磁碟。本發明通過建立日誌索引文件並將該日誌索引文件加載至內存使得內存根據該日誌索引文件即可判斷磁碟的使用狀況進而進行數據操作，避免了現有技術中對象索引文件加載速度慢而影響系統啟動速度的缺陷。
文檔編號G06F17/30GK102129435SQ20101003415
公開日2011年7月20日 申請日期2010年1月13日 優先權日2010年1月13日
發明者孫少陵, 徐承傑, 羅治國, 韓金宇, 黃曉慶 申請人:中國移動通信集團公司