數據處理裝置和數據處理方法

2023-07-18 03:03:31

專利名稱：數據處理裝置和數據處理方法
技術領域：
本發明涉及計算機技術領域，具體而言，涉及一種數據處理裝置和一種數據處理方法。
背景技術：
CouchDB是一個"面向文檔"的資料庫，文檔的格式是一個JSON字符串(也可包含二進位附件)。底層結構是由一個「存儲」(storeage)，以及多個「視圖索引」(viewindexs) 0 「儲存」用來儲存文件，「視圖索引」用於查詢處理。所有的更新操作(包括文件(document)的創建,修改和刪除)都是以在CouchDB資料庫中的後綴為COUCh的文件尾部追加的方式(即Append追加方式)進行。我們進行更新時，首先拷貝原有的數據信息(僅僅針對修改，如果是創建(Create)那麼就沒有拷貝(copy)可言了)，隨後將其追加到文件的結尾，這個時候就激發平衡二叉查找樹(B+Tree)從葉子節點(leaf)到根節點(root)的更新過程,更新的節點(Node)信息也是採用Append的方式寫入到文件的結尾，到達根節點時，我們將根節點信息寫入到文件頭(Header)中。這樣一次更新操作涉及I次數據寫入，以及LogN次節點更新，所以其複雜度為O(IogN)。因此採用追加的方式，所以在資料庫運行一段時間後，我們需要對其進行「瘦身」，以清理那些舊的Document數據。這個過程成為壓緊(Compaction)。在Compaction的過程，資料庫仍然可用，只是需要注意，在Compaction的時候，是通過遍歷DBName. couch文件，將最新的數據拷貝到一個DBName. compat文件中，因此這個過程可能會耗費很大的存儲空間，如果在系統繁忙(主要是寫入操作(write))的情況下進行Compaction，可能會導致硬碟空間耗盡。值得注意的是，讀操作是並行的，寫操作是串行的。換句話說，在任何時候只有一個寫的更新操作。這也就是說，通過目前的數據存儲方式，對於單個數據文件而言，隨著使用時間的增多，數據文件會佔用大量存儲空間，壓緊(Compaction)過程佔用資源過多，時間長，影響服務。因此，需要一種新的針對數據存儲的數據管理方式，能夠實現同時進行多個數據文件的寫入操作，而且可以保證生成的數據文件大小合理，不至於由於進行壓緊操作，而導致佔用大量的資源和時間，避免對用戶造成不良的使用影響。

發明內容
本發明所需要解決的技術問題在於，提供一種新的針對數據存儲的數據管理方式，能夠實現同時進行多個數據文件的寫入操作，而且可以保證生成的數據文件大小合理，不至於由於進行壓緊操作，而導致佔用大量的資源和時間，避免對用戶造成不良的使用影響。有鑑於此，本發明提供一種數據處理裝置，包括文件管理模塊，在需要存儲數據時，分配寫入文件，由數據操作模塊將所述數據追加到所述寫入文件的尾部；所述數據操作模塊，在需要對所述數據進行新增時，將所述數據的新增數據，繼續追加到所述寫入文件的尾部，在需要對所述數據進行修改時，將所述數據的修改數據繼續追加到所述寫入文件的尾部，並在所述寫入文件中，將所述數據中的需修改數據作為廢棄數據，在需要對所述數據進行刪除時，在所述寫入文件中，將所述數據作為所述廢棄數據，所述文件管理模塊在所述寫入文件滿足預定條件時，分配新寫入文件，並由所述數據操作模塊將所述寫入文件中的非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件。通過該技術方案，針對對數據進行的增刪改等操作，僅採用追加的方式來實現，效率較高，並且有效控制了數據文件的大小，不需進行浪費時間以及資源的壓緊操作，不影響用戶的正常使用。在上述技術方案中，優選地，所述文件管理模塊還創建多個寫入文件以供分配，以及在所述寫入文件被刪除時，再創建一個寫入文件，以供分配。通過該技術方案，保證隨時有穩定數量的寫入文件來實現數據的寫入操作，保證方案執行的流暢與穩定。通過多個寫入文件，可以實現並發的對數據的增刪改操作。在上述技術方案中，優選地，還包括區域設置模塊，設置新生區、保持區和銷毀區，並由所述文件管理模塊將新創建的所有寫入文件放入所述新生區，其中，禁止對所述保持區和所述銷毀區中的所有寫入文件進行寫入操作，所述寫入操作包括對所述所有寫入文件中進行數據追加；所述文件管理模塊在所述寫入文件的大小超過第一預設值時，將所述寫入文件移入所述保持區，同時再創建一個寫入文件並放入所述新生區，在所述寫入文件滿足所述預定條件時，將所述寫入文件移入所述銷毀區，並在所述銷毀區中，由所述數據操作模塊將所述寫入文件中的所述非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件，其中所述預定條件包括所述寫入文件中所述非廢棄數據的比率低於第二預設值。通過該技術方案，通過設置不同的區域來對不同大小的數據文件進行管理，保證了可將數據文件控制在合理的大小之間，可以實現數據的平滑淘汰。在上述技術方案中，優選地，所述區域設置模塊還將所述新生區、所述保持區和所述銷毀區設置在一個或多個存儲裝置中。通過該技術方案，通過將多個新生區設置在不同的存儲裝置上，能夠避免出現輸入/輸出堵塞的情況。在上述技術方案中，優選地，還包括統計模塊，創建統計文件，以記錄所有寫入文件，以及所述所有寫入文件中的數據的大小和廢棄數據的大小；所述文件管理模塊還根據所述統計文件，來判斷所述寫入文件的大小是否超過所述第一預設值，以及所述寫入文件中所述非廢棄數據的比率是否低於所述第二預設值。通過該技術方案，通過統計文件記錄的信息，能夠有效實現對數據文件的管理。本技術方案中，還創建索引，記錄數據文件和其對應的偏移量及數據長度，結合索引和統計文件，能夠準確定位至相關數據文件，以對數據文件按統計文件的信息進行處理。本發明還提供一種數據處理方法，包括步驟202，文件管理模塊在需要存儲數據時，分配寫入文件，由數據操作模塊將所述數據追加到所述寫入文件的尾部；步驟204，所述數據操作模塊在需要對所述數據進行新增時，將所述數據的新增數據，繼續追加到所述寫入文件的尾部；步驟206，所述數據操作模塊在需要對所述數據進行修改時，將所述數據的修改數據繼續追加到所述寫入文件的尾部，並在所述寫入文件中，將所述數據中的需修改數據作為廢棄數據；步驟208，所述數據操作模塊在需要對所述數據進行刪除時，在所述寫入文件中，將所述數據作為所述廢棄數據；步驟210，所述文件管理模塊在所述寫入文件滿足預定條件時，分配新寫入文件，並由所述數據操作模塊將所述寫入文件中的非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件。在上述技術方案中，優選地，在所述步驟202之前，還包括所述文件管理模塊創建多個寫入文件以供分配；在所述步驟210中，還包括所述文件管理模塊再創建一個寫入文件，以供分配。通過多個寫入文件，可以實現並發的對數據的增刪改操作。在上述技術方案中，優選地，在所述步驟202之前，還包括區域設置模塊設置新生區、保持區和銷毀區，並由所述文件管理模塊將新創建的所有寫入文件放入所述新生區，其中，禁止對所述保持區和所述銷毀區中的所有寫入文件進行寫入操作，所述寫入操作包括對所述所有寫入文件中進行數據追加；在所述步驟210具體包括所述文件管理模塊在所述寫入文件的大小超過第一預設值時，將所述寫入文件移入所述保持區，同時再創建一個寫入文件並放入所述新生區，在所述寫入文件滿足所述預定條件時，將所述寫入文件移入所述銷毀區，並在所述銷毀區中，由所述數據操作模塊將所述寫入文件中的所述非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件，其中所述預定條件包括所述寫入文件中所述非廢棄數據的比率低於第二預設值。通過該技術方案，通過設置不同的區域來對不同大小的數據文件進行管理，保證了可將數據文件控制在合理的大小之間，可以實現數據的平滑淘汰。在上述技術方案中，優選地，在所述步驟202之前，還包括所述區域設置模塊將所述新生區、所述保持區和所述銷毀區設置在一個或多個存儲裝置中。通過該技術方案，通過將多個新生區設置在不同的存儲裝置上，能夠避免出現輸入/輸出堵塞的情況。在上述技術方案中，優選地，在所述步驟202之前，還包括統計模塊創建統計文件，以記錄所有寫入文件，以及所述所有寫入文件中的數據的大小和廢棄數據的大小；在所述步驟210中，還包括所述文件管理模塊根據所述統計文件，來判斷所述寫入文件的大小是否超過所述第一預設值，以及所述寫入文件中所述非廢棄數據的比率是否低於所述第二預設值。通過該技術方案，通過統計文件記錄的信息，能夠有效實現對數據文件的管理。本技術方案中，還創建索引，記錄數據文件和其對應的偏移量及數據長度，結合索引和統計文件，能夠準確定位至相關數據文件，以對數據文件按統計文件的信息進行處理。通過上述技術方案，可以實現一種數據管理裝置和一種數據管理方法，能夠實現同時進行多個數據文件的寫入操作，而且可以保證生成的數據文件大小合理，不至於由於進行壓緊操作，而導致佔用大量的資源和時間，避免對用戶造成不良的使用影響。


圖1是根據本發明的一個實施例的數據管理裝置的框圖；圖2是根據本發明的一個實施例的數據管理方法的流程圖；圖3是根據本發明的一個實施例的數據管理方法的文件管理示意圖；圖4是根據本發明的一個實施例的數據管理方法的數據結構示意圖。
具體實施例方式為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施方式
對本發明進行進一步的詳細描述。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，但是，本發明還可以採用其他不同於在此描述的其他方式來實施，因此，本發明並不限於下面公開的具體實施例的限制。圖1是根據本發明的一個實施例的數據管理裝置的框圖。如圖1所示，本發明提供一種數據處理裝置100，包括文件管理模塊102，在需要存儲數據時，分配寫入文件，由數據操作模塊104將所述數據追加到所述寫入文件的尾部；所述數據操作模塊104，在需要對所述數據進行新增時，將所述數據的新增數據，繼續追加到所述寫入文件的尾部，在需要對所述數據進行修改時，將所述數據的修改數據繼續追加到所述寫入文件的尾部，並在所述寫入文件中，將所述數據中的需修改數據作為廢棄數據，在需要對所述數據進行刪除時，在所述寫入文件中，將所述數據作為所述廢棄數據，所述文件管理模塊102在所述寫入文件滿足預定條件時，分配新寫入文件，並由所述數據操作模塊104將所述寫入文件中的非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件。通過該技術方案，針對對數據進行的增刪改等操作，僅採用追加的方式來實現，效率較高，並且有效控制了數據文件的大小，不需進行浪費時間以及資源的壓緊操作，不影響用戶的正常使用。在上述技術方案中，所述文件管理模塊102還創建多個寫入文件以供分配，以及在所述寫入文件被刪除時，再創建一個寫入文件，以供分配。通過該技術方案，保證隨時有穩定數量的寫入文件來實現數據的寫入操作，保證方案執行的流暢與穩定。通過多個寫入文件，可以實現並發的對數據的增刪改操作。在上述技術方案中，還包括區域設置模塊106，設置新生區、保持區和銷毀區，並由所述文件管理模塊102將新創建的所有寫入文件放入所述新生區，其中，禁止對所述保持區和所述銷毀區中的所有寫入文件進行寫入操作，所述寫入操作包括對所述所有寫入文件中進行數據追加；所述文件管理模塊102在所述寫入文件的大小超過第一預設值時，將所述寫入文件移入所述保持區，同時再創建一個寫入文件並放入所述新生區，在所述寫入文件滿足所述預定條件時，將所述寫入文件移入所述銷毀區，並在所述銷毀區中，由所述數據操作模塊104將所述寫入文件中的所述非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件，其中所述預定條件包括所述寫入文件中所述非廢棄數據的比率低於第二預設值。通過該技術方案，通過設置不同的區域來對不同大小的數據文件進行管理，保證了可將數據文件控制在合理的大小之間，可以實現數據的平滑淘汰。在上述技術方案中，所述區域設置模塊106還將所述新生區、所述保持區和所述銷毀區設置在一個或多個存儲裝置中。通過該技術方案，通過將多個新生區設置在不同的存儲裝置上，能夠避免出現輸入/輸出堵塞的情況。在上述技術方案中，還包括統計模塊108，創建統計文件，以記錄所有寫入文件，以及所述所有寫入文件中的數據的大小和廢棄數據的大小；所述文件管理模塊102還根據所述統計文件，來判斷所述寫入文件的大小是否超過所述第一預設值，以及所述寫入文件中所述非廢棄數據的比率是否低於所述第二預設值。通過該技術方案，通過統計文件記錄的信息，能夠有效實現對數據文件的管理。本技術方案中，還創建索引，記錄數據文件和其對應的偏移量及數據長度，結合索引和統計文件，能夠準確定位至相關數據文件，以對數據文件按統計文件的信息進行處理。
圖2是根據本發明的一個實施例的數據管理方法的流程圖。如圖2所示，本發明還提供一種數據處理方法，包括步驟202，文件管理模塊在需要存儲數據時，分配寫入文件，由數據操作模塊將所述數據追加到所述寫入文件的尾部；步驟204，所述數據操作模塊在需要對所述數據進行新增時，將所述數據的新增數據，繼續追加到所述寫入文件的尾部；步驟206，所述數據操作模塊在需要對所述數據進行修改時，將所述數據的修改數據繼續追加到所述寫入文件的尾部，並在所述寫入文件中，將所述數據中的需修改數據作為廢棄數據；步驟208，所述數據操作模塊在需要對所述數據進行刪除時，在所述寫入文件中，將所述數據作為所述廢棄數據；步驟210，所述文件管理模塊在所述寫入文件滿足預定條件時，分配新寫入文件，並由所述數據操作模塊將所述寫入文件中的非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件。在上述技術方案中，在所述步驟202之前，還包括所述文件管理模塊創建多個寫入文件以供分配；在所述步驟210中，還包括所述文件管理模塊再創建一個寫入文件，以供分配。通過多個寫入文件，可以實現並發的對數據的增刪改操作。在上述技術方案中，在所述步驟202之前，還包括區域設置模塊設置新生區、保持區和銷毀區，並由所述文件管理模塊將新創建的所有寫入文件放入所述新生區，其中，禁止對所述保持區和所述銷毀區中的所有寫入文件進行寫入操作，所述寫入操作包括對所述所有寫入文件中進行數據追加；在所述步驟210具體包括所述文件管理模塊在所述寫入文件的大小超過第一預設值時，將所述寫入文件移入所述保持區，同時再創建一個寫入文件並放入所述新生區，在所述寫入文件滿足所述預定條件時，將所述寫入文件移入所述銷毀區，並在所述銷毀區中，由所述數據操作模塊將所述寫入文件中的所述非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件，其中所述預定條件包括所述寫入文件中所述非廢棄數據的比率低於第二預設值。通過該技術方案，通過設置不同的區域來對不同大小的數據文件進行管理，保證了可將數據文件控制在合理的大小之間，可以實現數據的平滑淘汰。在上述技術方案中，在所述步驟202之前，還包括所述區域設置模塊將所述新生區、所述保持區和所述銷毀區設置在一個或多個存儲裝置中。通過該技術方案，通過將多個新生區設置在不同的存儲裝置上，能夠避免出現輸入/輸出堵塞的情況。在上述技術方案中，在所述步驟202之前，還包括統計模塊創建統計文件，以記錄所有寫入文件，以及所述所有寫入文件中的數據的大小和廢棄數據的大小；在所述步驟210中，還包括所述文件管理模塊根據所述統計文件，來判斷所述寫入文件的大小是否超過所述第一預設值，以及所述寫入文件中所述非廢棄數據的比率是否低於所述第二預設值。通過該技術方案，通過統計文件記錄的信息，能夠有效實現對數據文件的管理。本技術方案中，還創建索引，記錄數據文件和其對應的偏移量及數據長度，結合索引和統計文件，能夠準確定位至相關數據文件，以對數據文件按統計文件的信息進行處理。以下對本發明的實施例的技術方案進行詳細說明。本發明實施例的原理一切皆最佳的操作提供的一個有趣的MVCC(多版本並發控制)模型，因為該文件保存了所有以前的歷史文件版本信息。只要客戶端持有先前根節點的B+樹索引，它就可以得到快照視圖。即便是更新不斷發生，客戶將不會看到任何的最新變化。這種一致性快照在在線備份以及在線「瘦身」方面是非常有用的。
本實施例中，使用多組數據寫入文件配合索引、統計文件來進行數據的有效管理。數據文件採用只追加的方式寫入。根據數據文件的寫入狀況，存放數據文件的區域共分為三組新生區、保持區和銷毀區，如圖3所示。數據的新增和修改都影響新生區，即追加操作，保持區和銷毀區的文件都只有讀取操作。輔助文件包括索引文件和統計文件。索引在內存中操作，周期寫入索引文件。統計文件包含數據文件類表和每個文件的總大小和廢棄總大小，周期或發生重大變更時寫入統計文件。本實施例的技術方案中，對數據進行管理的流程如下1.初始化多個寫入文件，放入新生區(可以位於不同的存儲裝置上，避免io阻塞)。並更新文件列表，寫入統計文件。2.索引的主要內容是對key進行哈希，哈希的位置記錄了對應數據的文件和偏移量，以及數據長度。索引的示例可以如圖4所示。3.在數據插入時，從新生區中分配一個數據文件。將插入的數據追加到文件的末尾，然後更新索引，在索引中記錄對應文件和偏移量、數據長度。並在統計文件中，更新對應數據文件總大小。4.當新生區的任一數據文件總大小超過預設最大值時，則將該文件轉移到保持區，並初始化新的數據文件加入新生區，保持新生區文件數量穩定。新數據文件加入新文件列表，並立即將文件列表和對應寫入狀況寫入統計文件。5.數據刪除更新索引，在索引中，將記錄的對應數據文件設置為無效。在統計文件中，更新原數據文件的廢棄區大小。實際上，並不改變數據文件。6.數據更新將新內容寫入新生區的數據文件(同插入)。更新索引，指向新的數據文件和偏移量，數據長度。在統計文件中，更新寫入文件的大小，原數據文件廢棄大小。7.數據檢索根據索引得到對應的數據文件、偏移量、長度，直接定位到數據文件並進行讀取。8.在保持區中的任一數據文件的利用率((總大小-廢棄大小)/總大小)低於預設的最小值時，將該數據文件移到銷毀區。9.對銷毀區的數據文件，對照索引，將該文件的有效數據追加到新生區數據文件的末尾，同時刪除該銷毀區數據文件。綜上所述，通過本發明的技術方案，可以實現一種數據管理裝置和一種管理方法，使用一組數據寫入文件，只通過數據追加的方式存儲實際數據，能夠實現對數據的高並發寫入、更新、讀取，並且能夠通過索引和統計文件，管理各個文件的數據內容，實現了在後臺按需回收存儲空間，平滑淘汰舊數據。以上所述僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種數據處理裝置，其特徵在於，包括 文件管理模塊，在需要存儲數據時，分配寫入文件，由數據操作模塊將所述數據追加到所述寫入文件的尾部； 所述數據操作模塊，在需要對所述數據進行新增時，將所述數據的新增數據，繼續追加到所述寫入文件的尾部，在需要對所述數據進行修改時，將所述數據的修改數據繼續追加到所述寫入文件的尾部，並在所述寫入文件中，將所述數據中的需修改數據作為廢棄數據，在需要對所述數據進行刪除時，在所述寫入文件中，將所述數據作為所述廢棄數據， 所述文件管理模塊在所述寫入文件滿足預定條件時，分配新寫入文件，並由所述數據操作模塊將所述寫入文件中的非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件。
2.根據權利要求1所述的數據處理裝置，其特徵在於，所述文件管理模塊還創建多個寫入文件以供分配，以及在所述寫入文件被刪除時，再創建一個寫入文件，以供分配。
3.根據權利要求2所述的數據處理裝置，其特徵在於，還包括 區域設置模塊，設置新生區、保持區和銷毀區，並由所述文件管理模塊將新創建的所有寫入文件放入所述新生區，其中，禁止對所述保持區和所述銷毀區中的所有寫入文件進行寫入操作，所述寫入操作包括對所述所有寫入文件中進行數據追加； 所述文件管理模塊在所述寫入文件的大小超過第一預設值時，將所述寫入文件移入所述保持區，同時再創建一個寫入文件並放入所述新生區，在所述寫入文件滿足所述預定條件時，將所述寫入文件移入所述銷毀區，並在所述銷毀區中，由所述數據操作模塊將所述寫入文件中的所述非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件，其中所述預定條件包括所述寫入文件中所述非廢棄數據的比率低於第二預設值。
4.根據權利要求3所述的數據處理裝置，其特徵在於，所述區域設置模塊還將所述新生區、所述保持區和所述銷毀區設置在一個或多個存儲裝置中。
5.根據權利要求3所述的數據處理裝置，其特徵在於，還包括 統計模塊，創建統計文件，以記錄所有寫入文件，以及所述所有寫入文件中的數據的大小和廢棄數據的大小； 所述文件管理模塊還根據所述統計文件，來判斷所述寫入文件的大小是否超過所述第一預設值，以及所述寫入文件中所述非廢棄數據的比率是否低於所述第二預設值。
6.一種數據處理方法，其特徵在於，包括 步驟202，文件管理模塊在需要存儲數據時，分配寫入文件，由數據操作模塊將所述數據追加到所述寫入文件的尾部； 步驟204，所述數據操作模塊在需要對所述數據進行新增時，將所述數據的新增數據，繼續追加到所述寫入文件的尾部； 步驟206，所述數據操作模塊在需要對所述數據進行修改時，將所述數據的修改數據繼續追加到所述寫入文件的尾部，並在所述寫入文件中，將所述數據中的需修改數據作為廢棄數據； 步驟208，所述數據操作模塊在需要對所述數據進行刪除時，在所述寫入文件中，將所述數據作為所述廢棄數據； 步驟210，所述文件管理模塊在所述寫入文件滿足預定條件時，分配新寫入文件，並由所述數據操作模塊將所述寫入文件中的非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件。
7.根據權利要求6所述的數據處理方法，其特徵在於，在所述步驟202之前，還包括 所述文件管理模塊創建多個寫入文件以供分配； 在所述步驟210中，還包括所述文件管理模塊再創建一個寫入文件，以供分配。
8.根據權利要求7所述的數據處理方法，其特徵在於，在所述步驟202之前，還包括 區域設置模塊設置新生區、保持區和銷毀區，並由所述文件管理模塊將新創建的所有寫入文件放入所述新生區，其中，禁止對所述保持區和所述銷毀區中的所有寫入文件進行寫入操作，所述寫入操作包括對所述所有寫入文件中進行數據追加； 在所述步驟210具體包括所述文件管理模塊在所述寫入文件的大小超過第一預設值時，將所述寫入文件移入所述保持區，同時再創建一個寫入文件並放入所述新生區，在所述寫入文件滿足所述預定條件時，將所述寫入文件移入所述銷毀區，並在所述銷毀區中，由所述數據操作模塊將所述寫入文件中的所述非廢棄數據追加到所述新寫入文件的尾部，同時刪除所述寫入文件，其中所述預定條件包括所述寫入文件中所述非廢棄數據的比率低於第二預設值。
9.根據權利要求8所述的數據處理方法，其特徵在於，在所述步驟202之前，還包括 所述區域設置模塊將所述新生區、所述保持區和所述銷毀區設置在一個或多個存儲裝置中。
10.根據權利要求8所述的數據處理方法，其特徵在於，在所述步驟202之前，還包括 統計模塊創建統計文件，以記錄所有寫入文件，以及所述所有寫入文件中的數據的大小和廢棄數據的大小； 在所述步驟210中，還包括 所述文件管理模塊根據所述統計文件，來判斷所述寫入文件的大小是否超過所述第一預設值，以及所述寫入文件中所述非廢棄數據的比率是否低於所述第二預設值。
全文摘要
本發明提供一種數據處理裝置和一種數據處理方法，其中，數據處理裝置包括文件管理模塊，在需要存儲數據時，分配寫入文件，由數據操作模塊將數據追加到寫入文件的尾部；數據操作模塊，在對數據進行增刪改時，用追加方式增加新數據，並標識出無效的數據，文件管理模塊在寫入文件滿足預定條件時，分配新寫入文件，並由數據操作模塊將寫入文件中的非廢棄數據追加到新寫入文件的尾部，同時刪除寫入文件。通過本發明，數據存儲效率較高，有效控制了數據文件的大小，不需壓緊操作。
文檔編號G06F17/30GK103064843SQ20111031956
公開日2013年4月24日 申請日期2011年10月20日 優先權日2011年10月20日
發明者譚光超, 王亮, 陳沛 申請人:北京中搜網絡技術股份有限公司