嵌入式文件系統的緩存方法及嵌入式文件系統的製作方法

2023-11-03 22:28:27 2

專利名稱：嵌入式文件系統的緩存方法及嵌入式文件系統的製作方法
技術領域：
本發明屬於信息技術領域，尤其涉及一種應用於嵌入式文件系統的緩存技術。
背景技術：
在文件系統中，通常需要使用一級緩存來訪問存儲設備。最初的存儲設備主要是 像磁碟這類轉動存儲設備，這類設備的特點是在訪問數據時需要漫長的轉動尋址過程。因 為轉動存儲設備具有這種特點，如果每次訪問都進行尋址將導致文件系統的性能低下。通 用緩存技術在這種背景下應運而生，它有效的改善了訪問轉動存儲設備的性能。通用緩存技術使用一個內存池來緩存存儲設備中的數據，通過減少在存儲設備中 的尋址次數來提高性能。文件系統以扇區為單位來管理存儲設備。使用通用緩存技術後， 在讀取存儲設備數據時除讀取有效扇區的數據外，還會額外多讀取幾個連續扇區的數據， 這種方式叫做預讀取；在數據寫入時，首先將數據寫入到緩存數據的內存池，再周期性的將 緩存中的數據同步到存儲設備上，這種方式叫統一寫入。通用緩存技術通過預讀取和統一 寫入使存儲設備的尋址次數大大減少，從而有效的改善了文件系統的性能。通用緩存技術雖然有較多的優點，但並不適用於嵌入式文件系統，主要限制是通 用緩存技術無法保證嵌入式文件系統的可靠性。通用緩存技術依賴於數據的預讀取和周期 性的統一寫入，這就會導致待寫入的數據會在緩存中駐留一段時間，從而不能實時的同步 到存儲設備。由於嵌入式設備常常需要面對意外掉電的挑戰，這就有可能會導致駐留在緩 存中那部分數據的丟失。如果丟失的數據恰好是文件系統的關鍵數據，如啟動扇區數據、 FAT (File AllocationTable，文件分配表)數據、目錄數據等，這將對文件系統造成嚴重的 破壞，甚至可能導致文件系統的崩潰。隨著技術的進步，現在嵌入式設備中普遍採用快閃記憶體(簡稱FLASH)或者標準快閃記憶體卡 (CompactFlash，簡稱CF卡)作為存儲設備。Flash具有可隨機訪問的特點，不再有尋址時 間長的限制，也就減少了對緩存技術的依賴。目前，為了保證可靠性，有在嵌入式系統中去 除緩存的做法。但這樣處理後，又會因為元數據的讀寫操作頻繁訪問外部存儲設備導致系 統性能降低的問題。可見，在嵌入式文件系統中不能使用現有的通用緩存技術，而不使用緩存技術又 無法滿足文件系統性能的需求。因此有必要實現一種適用於嵌入式文件系統的緩存技術， 既能滿足性能需求又不損害文件系統的可靠性。

發明內容
本發明要解決的技術問題是提供一種可兼顧性能和可靠性需求的適用於嵌入式 文件系統的緩存方法以及實現該方法的嵌入式文件系統。本發明為解決上述技術問題所採用的技術方案是，嵌入式文件系統的緩存方法， 包括在內存中分配一塊緩衝區；所述緩衝區至少包括2個緩衝區單元，每個緩衝區單元可緩存一個扇區的數據； 當讀寫以扇區為單位的整數據時，直接在存儲設備上的目的操作扇區上進行操 作；當讀寫元數據時，在與目的操作扇區對應的緩衝區單元上進行操作；當文件關閉時，觸發將每個緩衝區單元中的數據同步至存儲設備的對應扇區中。當讀寫以扇區為單位的整數據時，直接在存儲設備上操作；讀寫元數據時主要通 過操作緩衝區單元完成，儘量減少訪問硬體存儲設備的次數與訪問硬體存儲設備的耗費時 間總和。在文件關閉時同步所有緩衝區單元的數據到存儲設備的對應扇區，保證已關閉的 文件的數據完整性。優選的，所述緩衝區包括3個緩衝區單元。本發明方案中採用3個緩衝區單元為最優方式是根據文件系統操作的特性來設 計的。在文件操作的過程中，讀寫存儲設備的扇區通常需要在其FAT扇區，目錄扇區和數據 扇區之間來回切換。如果緩衝區僅有一個緩衝區單元，將導致每次扇區的切換都重新同步 和緩存數據，不能起到減少硬體存儲設備訪問次數的作用，如緩衝區中緩衝區單元過多又 會造成文件關閉時，需同步的數據過多，影響系統可靠性。具體的，存儲設備為快閃記憶體或標準快閃記憶體卡。儘管在嵌入式系統中廣泛使用的FLASH設備不需要漫長的尋址時間，但每次的硬 件訪問仍需要建立時間，保持時間和恢復時間三種時間耗費。頻繁的硬體訪問會使得累加 後的時間耗費非常巨大，嚴重影響文件系統的性能，因此需要儘量減少硬體訪問的次數。結 合FLASH的硬體特點和多次的試驗結果，我們發現以扇區為單位來訪問FLASH可以獲得一 個性能和穩定性的平衡點。進一步的，緩衝區單元中包含有扇區號與同步標記兩個管理參數；扇區號表示緩 衝區單元中緩存數據對應的扇區號；同步標記表示緩衝區單元中緩存數據是否需同步。讀元數據的具體實現方式為先在緩衝區中查找是否有和目的操作扇區對應的緩 衝區單元，如有，則直接對該緩衝區單元進行讀操作；如否，則在緩衝區中分配一個空閒緩 衝區單元，將存儲設備中目的操作扇區的數據讀取到該緩衝區單元中，同時設置該緩衝區 單元的扇區號，然後對該緩衝區單元進行讀操作。寫元數據的具體實現方式為先在緩衝區中查找是否有和目的操作扇區對應的緩 衝區單元，如有，則直接將待寫入的元數據寫入該緩衝區單元中；如否，將存儲設備目的操 作扇區中的數據先讀取到分配的空閒緩衝區單元中，同時設置該緩衝區單元的扇區號，再 將需寫入的元數據寫入該緩衝區單元，設置該緩衝區單元的同步標記為需同步狀態。具體的，在讀寫元數據時，如緩衝區中無和存儲設備的目的操作扇區對應的緩衝 區單元，且緩衝區中無空閒緩衝區單元可分配，則執行緩衝區單元替換；所述緩衝區單元替 換為，選出對應扇區號最大的緩衝區單元作為替換緩衝區，並將替換緩衝區單元中的數據 同步至存儲設備的對應扇區，將同步處理後的替換緩衝區單元作為空閒緩衝區單元。所述 扇區號最大的緩衝區單元針對dosFs文件系統而言的，dosFs文件系統中數據扇區號的扇 區號較其它類型扇區號大。優選的，儘可能地選擇數據扇區作為替換緩衝區單元，保留FAT 扇區和目錄扇區中的數據；使FAT扇區和目錄扇區這種相對固定又需要頻繁訪問的扇區較 長時間的緩存在緩衝區單元中可以有效的提高性能。
嵌入式文件系統，包括文件系統處理模塊、存儲設備，其特徵在於，還包括內存中 的一塊緩衝區；緩衝區用於，緩存元數據；所述緩衝區包含有至少2個緩衝區單元，每個緩衝區單元可用於緩存一個扇區的數據；文件系統處理模塊用於，當讀寫以扇區為單位的整數據時，直接在存儲設備上的目的操作扇區上進行操作；當讀寫元數據時，先在與目的操作扇區對應的緩衝區單元上進 行操作；存儲設備用於，存儲以扇區為單位的數據。進一步的，文件系統處理模塊還用於，在緩衝區的每個緩衝區單元中包含有扇區號與同步標記兩個管理參數；扇區號表示緩衝區單元中緩存數據對應的扇區號；同步標記 表示緩衝區單元中的緩存數據是否需同步。具體的，所述文件系統處理模塊在用於讀元數據時，先在緩衝區中查找是否有和目的操作扇區對應的緩衝區單元，如有，則直接對該緩衝區單元進行讀操作；如否，則在緩 衝區中分配一個空閒緩衝區單元，將存儲設備中目的操作扇區的數據讀取到該緩衝區單元 中，同時設置該緩衝區單元的扇區號，然後對該緩衝區單元進行讀操作。具體的，所述文件系統處理模塊在用於寫元數據時，先在緩衝區中查找是否有和 目的操作扇區對應的緩衝區單元，如有，則直接將待寫入的元數據寫入該緩衝區單元中；如 否，將存儲設備目的操作扇區中的數據先讀取到分配的空閒緩衝區單元中，同時設置該緩 衝區單元的扇區號，再將需寫入的元數據寫入該緩衝區單元，設置該緩衝區單元的同步標 記為需同步狀態。本發明的有益效果是，同時兼顧可靠性和性能需求，與通用緩存技術相比，本發明 佔用內存小，駐留數據少，數據丟失破壞可控。


圖1是本發明實施例的文件系統結構示意圖。圖2是本發明實施例的緩衝區單元同步處理流程圖。圖3是本發明實施例的元數據讀寫處理流程圖。圖4是本發明實施例的緩衝區單元替換處理的流程圖。
具體實施例方式下面結合附圖和具體實施方式
對本發明做進一步的詳細說明。從圖1中的實例中可以看出，嵌入式文件系統包括文件系統處理模塊、存儲設備、 緩衝區；在本例中緩衝區包括了 3個緩衝區單元(緩衝區單元W]、緩衝區單元[1]、緩衝區 單元[2])，每個緩衝區單元可以緩存一個扇區的數據，存儲設備為FLASH或者CF卡。對於 本發明的緩衝區，建議由2至5個緩衝區單元組成，能夠達到滿足性能需求又不損害文件系 統的可靠性的效果。文件系統處理模塊對數據的處理方法，主要有1.初始狀態時，首先在內存中分配一個3倍扇區大小的緩衝區；並將該緩衝區劃 分為3個緩衝區單元，每個緩衝區單元有兩個管理參數扇區號和同步標記。扇區號代表緩衝區單元中的緩存數據對應的扇區號，初始為空；同步標記代表緩存的扇區數據是否需要 同步，初始為無需同步；2.當讀寫以扇區為單位的整數據時，直接在FLASH上的目的操作扇區上進行讀寫 整數據的操作；3.當讀寫元數據時，在和目的操作扇區對應的緩衝區單元上進行讀寫操作初始讀取元數據時，在緩衝區中分配一個空閒緩衝區單元，將讀操作的FLASH中 的目的扇區中的數據讀取到緩衝區單元中，同時在扇區號中記錄該扇區號，然後進行相應 的讀操作。後續進行元數據的讀操作時，先在緩衝區中查找是否有和目的操作扇區對應的 緩衝區單元，如有，則直接將待寫入的元數據寫入該緩衝區單元中；如否，將存儲設備目的 操作扇區中的數據先讀取到分配的空閒緩衝區單元中，同時設置該緩衝區單元的扇區號， 再將需寫入的元數據寫入該緩衝區單元，設置該緩衝區單元的同步標記為需同步狀態。
在寫入數據時，先在緩衝區中查找是否有和目的操作扇區對應的緩衝區單元，如 有，則直接將待寫入的元數據寫入該緩衝區單元中；如否，在緩衝區中分配一個空閒緩衝區 單元，將存儲設備目的操作扇區中的數據先讀取到以上分配的空閒緩衝區單元中，同時設 置該緩衝區單元的扇區號，再將需寫入的元數據寫入該緩衝區單元，設置該緩衝區單元的 同步標記為需同步狀態，但此時不進行同步操作。如緩衝區中無和存儲設備的目的操作扇 區對應的緩衝區單元，且緩衝區中無空閒緩衝區單元可分配，則執行緩衝區單元替換；所述 緩衝區單元替換為，選出替換緩衝區單元，並將替換緩衝區單元中的數據以扇區為單位同 步至存儲設備，將同步處理後的替換緩衝區單元作為空閒緩衝區單元；可以選擇緩衝區中 對應扇區號最大的緩衝區單元作為替換緩衝區單元。4.在文件關閉時，將緩衝區中的同步標記設置為需要同步的緩衝區單元數據同步 到存儲設備FLASH。圖2為緩衝區單元同步部分的處理流程示意圖，在文件關閉時會觸發同步標記為 需要同步的每個緩衝區單元中的數據同步到存儲器的對應緩衝區的處理。如圖所示，緩衝 區單元同步包括以下步驟201.本次處理流程開始；202.讀取當前緩衝區單元的管理參數中的同步標記；203.判斷當前緩衝區單元是否需要同步，如果需要則進入數據同步流程，即將緩 衝區單元中同步標記為需同步狀態的緩衝區單元中的數據同步至存儲設備的對應扇區，並 且復位當前緩衝區單元的同步標記為不需要同步；如果不需要同步則執行步驟204 ；204.判斷對緩衝區的緩衝區單元遍歷是否完成，沒有完成則跳回步驟202 ；完成 後則執行步驟205 ；205.本次處理流程結束；圖3為元數據讀寫部分處理的流程示意圖，如圖所示，元數據的讀寫流程包括以 下步驟301.本次處理流程開始；302.依照特有策略為待讀寫的目的操作扇區分配一個空閒緩衝區單元，並將該目 的操作扇區的數據讀取到已分配的空閒緩衝區單元中；303.如果需要進行元數據的寫操作則將待寫入的元數據寫入到該緩衝區單元，並設置該緩衝區單元的管理參數，即將扇區號設為對應存儲設備上的扇區號，將同步標記設 為需同步狀態；如果是讀操作則執行相應的讀操作；304.本次處理流程結束；圖4為緩衝區單元替換部分的處理流程示意圖，如圖所示，緩衝區單元同步包括 以下步驟401.本次處理流程開始；402.如果待操作的目的操作扇區在緩衝區中已經有對應緩衝區單元，則不需要任 何處理，本次處理流程結束；如果沒有則執行步驟403 ；403.如果緩衝區中有空閒緩衝區單元則執行步驟406 ；如果沒有空閒緩衝區單元 則執行替換策略，即執行步驟404 ；404.在進行扇區替換時採取的策略是替換緩衝區中扇區號最大的緩衝區單元； 採用這樣的替換策略是根據文件系統操作特性來設計的在文件操作過程中，需要在存儲 設備的FAT扇區，目錄扇區和數據扇區之間反覆切換，其中FAT扇區和目錄扇區中寫入的數 據較少，扇區號也就相對固定；使這些扇區號相對固定又需要頻繁訪問的扇區較長時間的 緩存在緩衝區單元中可以有效的提高性能。在d0SFS(d0S file system，是基於FAT的一種 文件系統，最早由微軟公司提出)文件系統中，FAT扇區號< 目錄扇區號<數據扇區號，在 其它文件系統中可根據類似關係做相應的修改。405.將根據以上策略選擇出來的緩衝區單元中的數據根據其同步必要性同步到 FLASH ；406.將待操作的目的操作扇區數據緩存到選擇出來的緩衝區單元中；407.設置該緩衝區單元的管理參數，即將扇區號設為對應存儲設備上的扇區號；408.本次處理流程結束；本發明中提出的嵌入式緩存技術具有佔用內存小，駐留數據少，數據丟失破壞可 控的優點。本發明的技術方案僅緩存元數據，因此只需要很少的內存空間，且駐留數據很 少；由於數據同步和文件的關閉相關聯，即使掉電使駐留數據丟失，也僅影響未關閉的這一 個文件，這就保證了破壞可控。上述實施例以dosFs文件系統處理模塊為例來加以說明的，採用的存儲設備為FLASH。本發明也適用於其它類型的嵌入式文件系統，採用的存儲設備需要具有可隨機訪問 的特點。在這類系統中，根據本發明技術方案實現的嵌入式緩存技術也屬於本發明的範疇。以上所述的具體實施例，對本發明的目的，技術方案和有益效果進行了進一步詳 細說明，所應注意的是以上所述僅為本發明的具體實施例而已，本領域的技術人員可以對 本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改 和變型屬於本發明權利要求記載的技術方案及等同技術的範圍之內，則本發明也意圖包含 這些改動和變型在內。
權利要求
嵌入式文件系統的緩存方法，其特徵在於，包括在內存中分配一塊緩衝區；所述緩衝區至少包括2個緩衝區單元，每個緩衝區單元可緩存一個扇區的數據；當讀寫以扇區為單位的整數據時，直接在存儲設備上的目的操作扇區上進行操作；當讀寫元數據時，在與目的操作扇區對應的緩衝區單元上進行操作；當文件關閉時，觸發將每個緩衝區單元中的數據同步至存儲設備的對應扇區中。
2.如權利要求1所述嵌入式文件系統的緩存方法，其特徵在於，所述緩衝區包括3個緩 衝區單元。
3.如權利要求1或2所述嵌入式文件系統的緩存方法，其特徵在於，所述存儲設備為閃 存或者標準快閃記憶體卡。
4.如權利要求3任一項所述嵌入式文件系統的緩存方法，其特徵在於，緩衝區單元中 包含有扇區號與同步標記兩個管理參數；扇區號表示緩衝區單元中緩存數據對應的扇區 號；同步標記表示緩衝區單元中緩存數據是否需同步。
5.如權利要求1或2所述嵌入式文件系統的緩存方法，其特徵在於，讀元數據的具體實 現方式為先在緩衝區中查找是否有和目的操作扇區對應的緩衝區單元，如有，則直接對該 緩衝區單元進行讀操作；如否，則在緩衝區中分配一個空閒緩衝區單元，將存儲設備中目的 操作扇區的數據讀取到該緩衝區單元中，同時設置該緩衝區單元的扇區號，然後對該緩衝 區單元進行讀操作。
6.如權利要求1或2所述嵌入式文件系統的緩存方法，其特徵在於，寫元數據的具體實 現方式為先在緩衝區中查找是否有和目的操作扇區對應的緩衝區單元，如有，則直接將待 寫入的元數據寫入該緩衝區單元中；如否，將存儲設備目的操作扇區中的數據先讀取到分 配的空閒緩衝區單元中，同時設置該緩衝區單元的扇區號，再將待寫入的元數據寫入該緩 衝區單元，設置該緩衝區單元的同步標記為需同步狀態。
7.如權利要求5或6所述嵌入式文件系統的緩存方法，其特徵在於，在讀寫元數據時， 如緩衝區中無和存儲設備的目的操作扇區對應的緩衝區單元，且緩衝區中無空閒緩衝區單 元可分配，則執行緩衝區單元替換；所述緩衝區單元替換為，選出對應扇區號最大的緩衝區 單元作為替換緩衝區單元，並將替換緩衝區單元中的數據同步至存儲設備的對應扇區，將 同步處理後的替換緩衝區單元作為空閒緩衝區單元。
8.嵌入式文件系統，包括文件系統處理模塊、存儲設備，其特徵在於，還包括內存中的 一塊緩衝區；緩衝區用於，緩存元數據；所述緩衝區包含有至少2個緩衝區單元，每個緩衝區單元可 用於緩存一個扇區的數據；文件系統處理模塊用於，當讀寫以扇區為單位的整數據時，直接在存儲設備上的目的 操作扇區上進行操作；當讀寫元數據時，先在與目的操作扇區對應的緩衝區單元上進行操 作；存儲設備用於，存儲以扇區為單位的數據。
9.如權利要求8所述嵌入式文件系統，其特徵在於，在緩衝區的每個緩衝區單元中包 含扇區號與同步標記兩個管理參數；扇區號表示緩衝區單元中緩存數據對應的存儲設備上 的扇區號；同步標記表示緩衝區單元中的緩存數據是否需同步。
10.如權利要求8或9所述嵌入式文件系統，其特徵在於，所述文件系統處理模塊在用 於讀元數據時，先在緩衝區中查找是否有和目的操作扇區對應的緩衝區單元，如有，則直接 對該緩衝區單元進行讀操作；如否，則在緩衝區中分配一個空閒緩衝區單元，將存儲設備中 目的操作扇區的數據讀取到該緩衝區單元中，同時設置該緩衝區單元的扇區號，然後對該 緩衝區單元進行讀操作。
11.如權利要求8或9所述嵌入式文件系統，其特徵在於，所述文件系統處理模塊在用 於寫元數據時，先在緩衝區中查找是否有和目的操作扇區對應的緩衝區單元，如有，則直接 將待寫入的元數據寫入該緩衝區單元中；如否，將存儲設備目的操作扇區中的數據先讀取 到分配的空閒緩衝區單元中，同時設置該緩衝區單元的扇區號，再將需寫入的元數據寫入 該緩衝區單元，設置該緩衝區單元的同步標記為需同步狀態。
全文摘要
本發明要解決的技術問題是提供一種可兼顧性能和可靠性需求的適用於嵌入式文件系統的緩存方法以及實現該方法的嵌入式文件系統。當讀寫以扇區為單位的整數據時，直接在存儲設備上操作；讀寫元數據時主要通過操作緩衝區單元完成，儘量減少訪問硬體存儲設備的次數與訪問硬體存儲設備的耗費時間總和。在文件關閉時同步所有緩衝區單元的數據到存儲設備的對應扇區，保證已關閉的文件的數據完整性。
文檔編號G06F17/30GK101807212SQ20101016099
公開日2010年8月18日 申請日期2010年4月30日 優先權日2010年4月30日
發明者陳小軍 申請人:邁普通信技術股份有限公司