基於移動存儲的計算機系統磁碟同步寫性能提高方法
2023-10-08 16:23:44
專利名稱：基於移動存儲的計算機系統磁碟同步寫性能提高方法
技術領域：
基於移動存儲的計算機系統磁碟同步寫性能提高方法(簡稱MSYNC)屬於計算機存儲系統結構領域。
背景技術：
當今計算機系統的主要性能瓶頸在於I/O環節。這主要是由於I/O系統性能的提高遠遠低於CPU和內存性能的提高。根據Moore定律，CPU性能和內存容量每18個月就可翻一番。但是作為外存的主要設備——硬磁碟，由於機械運動的本質特徵導致性能的提高非常有限，每年約7％。這樣可由Amadl定律得出，如今I/O在系統整體性能中佔有舉足輕重的地位。實際上真正限制磁碟性能的主要因素是磁碟訪問延遲，每年只能增長約10％(硬碟的訪問時間主要由數據定位，尋道與旋轉延遲、數據讀寫組成，其中尋道與旋轉指的是磁頭移動到硬碟的相應位置以便進行數據訪問。因為這兩者是機械操作，其性能與數據定位與訪問操作相差兩個數量級以上，這就阻礙了磁碟訪問性能的提高。具體的磁碟訪問延遲分析見附錄1)。
從軟體角度講，可以採用多種優化技術來降低I/O訪問對系統性能的影響，比如緩存技術。通過各種緩存調度算法，緩存技術可以減少對磁碟讀、寫操作的次數——應用程式對磁碟的寫操作實際上被轉換化對緩存的寫操作，而由作業系統根據系統運行狀態適時地將這些數據寫入磁碟。這樣可以將多次的磁碟寫操作簡化成一次操作，從而減少磁碟訪問次數，提高整體性能。這種寫操作一般被稱為異步寫。
但是需要進行同步寫(與異步寫不同，同步寫不使用緩存，而是直接將數據寫入硬碟的相應位置後才算完成操作，因此性能很低，通常是異步寫的百分之一或千分之一)時這些方法不起作用。通用文件系統中，寫操作佔大多數，約57％，同步操作比例佔50％到75％，而且寫操作中對元數據的訪問佔67％到78％。從這些數據中可以得出I/O的同步寫操作是性能瓶頸的主要原因。之所以如此，主要是由於文件系統為了保證數據的完整性必須通過同步方式來完成對元數據以及重要用戶數據的寫操作。另外對於資料庫系統而言，同步操作對於事務處理的性能具有關鍵性的影響。
從硬體角度來講，採用非易失的NVRAM取代傳統的內存可以在不降低系統可靠性的前提下提高計算機存儲系統的性能，但這種機制需要特殊的硬體(包括主板等)。因此對於目前廣為使用的廉價的PC機，這一方法成本太高，難以實用。
因此關鍵的問題在於如何利用通用且廉價的硬體，較為方便地提高計算機系統的磁碟同步寫入性能，同時應該具有較高的可移植性(即實現原理不依賴於某個或某類作業系統)。
目前，移動存儲設備(如移動硬碟，快閃記憶體盤)的使用越來越廣泛，幾乎已經成為PC機的標準配置；同時越來越多的數碼設備(如mp3播放器、數位相機等)使用基於Flash Memory(快閃記憶體)的存儲器來與PC機交換數據。Flash Memory是近年來發展迅速的內存，屬於非揮發性內存(Non-volatile即斷電數據也能保存)，它具有電擦除的特點，還具有低功耗、密度高、體積小、可靠性高、可擦除、可重寫等優點(詳見附錄2)。這樣，往移動存儲設備裡同步寫入數據的操作的性能可以遠高於向PC機硬碟的同步寫入，主要原因是前者無需磁碟的尋道與旋轉延遲時間。同時，支持高帶寬外設的技術的發展(包括USB協議、IEEE-1394等)使得此類移動存儲與主機間的數據傳輸越來越快速，使得前者的性能優勢得以體現。
基於上述分析，本發明提出的利用高速的移動存儲設備作為某些I/O密集型應用的可靠的磁碟緩存。
發明內容
本發明在於提供一種以移動存儲作為計算機磁碟緩存的高性能同步寫方法，以便充分利用目前計算機系統高帶寬外設的性能(USB，IEEE-1394等接口)，以提高磁碟同步寫速度，解決當前計算機存儲結構層次中存在的問題。MSYNC為I/O密集型應用程式——如Web Server和資料庫事務處理服務，提供了一個高性能的存儲方法。
MSYNC技術的核心內容在於——利用連接於計算機上的高速移動存儲設備(以USB、IEEE-1394等接口相連)作為主機上某些應用(往往需要執行較多的同步磁碟寫)的磁碟緩存，使得需要同步寫入的數據以較高的速率可靠地存於行動裝置上，而在主機上只是執行快速的異步寫，以此在不降低數據可靠性的前提下提高這些應用的性能。具體的實現關鍵在於本發明透明地截獲了作業系統的同步寫入文件調用，使其定向到高速的移動存儲設備上。
其主要的創新點如下 1.利用移動存儲設備作為磁碟緩存，其與計算機間以高帶寬外設接口相連(包括usb接口、IEEE-1394接口)。
2.採用系統調用透明包裹技術使得該方法的實現對於作業系統與目標應用程式完全透明，即應用程式無須作任何修改。
3.高效的行動裝置寫入數據的日誌式管理，使得較小容量的移動存儲設備能夠支持大規模的IO密集型應用，包括大型資料庫應用。
本發明所述的系統，其特徵在於 它是通過計算機的高帶寬外設接口(如USB、IEEE-1394等)，利用移動存儲設備作為計算機磁碟緩存以提高數據處理效率的系統，它含有 有高帶寬外設接口的計算機即欲提高磁碟同步寫性能的計算機，運行目標應用程式。高帶寬外設接口包括USB接口(1.1與2.0標準)，IEEE-1394接口等。
移動存儲設備如U盤、移動硬碟等，作為計算機的磁碟同步寫緩存。當前有許多高速移動存儲設備，從存儲介質上區分包括移動硬碟與基於Flash Memory的多種存儲器，後者包括快閃記憶體盤(優盤)，CompactFlash卡，SmartMedia卡，Memory Stick，MultiMedia Card卡等。其中U盤已經逐步取代軟盤稱為PC機的標準配置。
兩者以高帶寬外設接口相連。目前，支持高帶寬外設接口的存儲設備已被大多數主流的作業系統支持，包括Windows系列，Linux，MAC OS，Solaris等。一般而言，將這些設備連接到計算機上後，作業系統利用其驅動程序將這些設備作為單獨的存儲分區——如在Windows 2000下，被作為一個新的磁碟；而在Linux下，則可以作為一個獨立的磁碟映射到某一目錄，而後對其的操作與對本機的硬碟操作沒有區別。因此，對移動存儲設備的安裝與使用已由作業系統解決，這也說明MSYNC技術具有較大的可移植性與易用性。
本發明所述方法的特徵在於 它利用移動存儲設備作為計算機磁碟緩存，有高帶寬外設接口的計算機將此設備映射為本地磁碟。然後通過對於系統調用進行包裹(實質就是在用戶用到的系統調用與實際實現的功能之間插入代碼，以便截獲用戶程序的調用參數等信息)，這樣可以直接截獲應用程式的相關磁碟寫入調用，然後將其中的磁碟同步寫轉換為異步寫，而將需同步寫入的數據以可靠方式寫入移動存儲。因為後者的寫入速度比前者快很多，所以有較高的性能提高餘地。
它依次含有如下步驟 第1步計算機系統把連接到自己的高帶寬外部移動存儲設備映射為一個系統磁碟，將其作為系統的寫緩存； 第2步對步驟1所得到的用移動存儲設備作為寫緩存的計算機系統進行初始化 使用預置的包裹程序將目標程序中的文件操作進行包裹，即在目標程序執行文件中插入代碼，以重寫所要包裹的文件系統調用在執行文件中的入口； 第3步運行目標程序； 第4步當上述系統截獲到目標應用程式的文件操作時進行如下步驟 第4.1步是否為寫入文件操作？若是，則上述步驟2中的插入代碼將數據以異步寫的形式寫入移動存儲；同時以異步寫方式將數據寫入主機硬碟； 第4.2步是否為文件數據刷入磁碟操作(即同步寫操作)？若是，則上述步驟2中的插入代碼將移動存儲上的寫入數據刷入存儲介質。寫入行動裝置的數據以日誌式數據管理策略來進行數據管理，它依次含有如下步驟 第4.2.1步在步驟4截獲到目標應用程式的文件寫入數據後，將數據寫入到移動存儲上預設的備份文件中，每一次的寫入格式為數據大小，數據在計算機磁碟文件中的起始位置，數據體； 第4.2.2步如果寫入數據後，備份文件大小超過某個預定的閾值時，上述系統就迫使主機硬碟上的對應文件執行同步刷入操作，成功後清空該備份文件； 第4.3步若為其他文件操作，則直接交由被包裹的文件操作處理； 第5步轉4，繼續。
所述的行動裝置寫入數據的日誌式管理步驟如下 1.MSYNC初始化在移動存儲設備上創建一個或多個備份文件，每個用於存儲相關應用的同步寫入數據。
2.當上述的步驟4截獲到應用程式的文件寫入數據後，將數據寫入備份文件，每一次的寫入格式為數據大小，數據在計算機磁碟文件中的起始位置，數據體。
3.如果寫入數據後備份文件大小超過某個預定的閾值時，MSYNC就迫使主機硬碟上的對應文件執行同步刷入操作，成功後清空該備份文件。
這麼做的主要理由在於一般而言，移動存儲設備的容量遠小於主機磁碟，而應用程式用到的需要同步寫入的文件大小可能大於移動存儲的容量，因此設計了一個日誌式數據管理策略來解決這一矛盾。這種機制實際上與作業系統的磁碟緩存是一樣的——一旦緩存數據刷入硬碟，這些緩存可以被釋放而重複使用。
本發明在Windows系統進行了實現，其磁碟同步寫性能比不使用該發明的寫入性能提高了1.5-2.5倍。而對於MySQL資料庫，針對其事務操作(即數據是同步寫入磁碟的)的性能提高了1.5-1.9倍。
圖1，本發明所述的系統的結構圖，即MSYNC系統模型。
圖2，本發明所述系統的流程框圖。
圖3，Win32執行文件格式。
圖4，函數包裹後的執行文件格式。
具體實施例方式 本發明由一臺帶有高帶寬外設接口(包括USB、IEEE-1394)的計算機、移動存儲設備組成。利用移動存儲設備作為計算機磁碟緩存，有高帶寬外設接口的計算機將此設備映射為本地磁碟。然後通過對於系統調用進行透明包裹，這樣可以直接截獲應用程式的相關磁碟寫入調用，將其中的磁碟同步寫轉換為異步寫，而將需同步寫入的數據以可靠方式寫入移動存儲。因為後者的寫入速度比前者快很多，所以有較高的性能提高餘地。
MSYNC是以一種對用戶而言完全透明的形式提供服務的。只要使用者利用MSYNC提供的系統調用透明包裹技術(在形式上是一個軟體程序)對欲提高寫性能的應用程式進行一次處理(詳見「系統調用透明包裹技術「一節)，並指定所要使用的移動存儲設備在計算機上的映射磁碟或目錄就可以了。這樣就能夠保證用戶的應用程式不加任何的改動。
●高速移動存儲設備的安裝與使用 目前支持高帶寬接口的存儲設備已被大多數主流的作業系統支持，包括Windows系列，Linux，MAC OS，Solaris等。一般而言，將這些設備連接到計算機上後，作業系統利用其驅動程序將這些設備作為單獨的存儲分區——如在Windows 2000下，被作為一個新的磁碟；而在Linux下，則可以作為一個獨立的磁碟映射到某一目錄，而後對其的操作與對本機的硬碟操作沒有區別。因此，對移動存儲設備的安裝與使用已由作業系統解決，這也說明MSYNC技術具有較大的可移植性與易用性。
●系統調用透明包裹技術 系統調用包裹技術的實質就是在用戶用到的系統調用與實際實現的功能之間插入代碼，以便截獲用戶程序的調用參數等信息。
一般而言，這種技術是通過函數換名或重寫函數所在的庫來實現的；但MSYNC採用了透明的代碼插入技術，有兩種方式 一是在應用程式的執行文件中插入代碼，通過重寫所要包裹的系統調用在文件中的入口來實現。這樣一旦應用程式使用此調用，就會先進入MSYNC插入的代碼，由後者進行適當的處理後再調用真正的系統函數或直接返回。
二是將應用程式裝載入內存後再進行函數包裹，直接在內存中改寫相關函數的影像，這樣可以不改變執行文件的大小，而效果是一樣的。
這種技術能在用戶無需修改原始碼，無需重新編譯連接，及不替換任何動態連接庫的前提下實現所需的功能。目前在我們的參考實現中使用的是第一種方式。
●Windows系統下的參考實現 MSYNC已經在Windows 2000/XP系統上完成了一個實現，其具體的系統組成如下 Windows 2000 Professional(sp4)； USB 2.0移動硬碟； Windows版本的MSYNC程序，用於系統調用的透明包裹； 用於性能測試的目標應用程式，包括MySQL資料庫應用與專門編寫的硬碟同步寫入程序。
1)系統調用的透明包裹 圖3顯示了Windows下執行文件的組成，包括文件頭，PE頭，正文段包括程序代碼，數據段包括初始化數據、所用到的動態連接庫與系統調用的輸入鍊表，輸出(Exported)函數表與調試符號。
為修改Windows執行代碼，MSYNC在調試符號與輸出函數表之間創建了一個新的段(detours section)——含有原先的PE頭的拷貝、一個新的函數輸入表、以及MSYNC插入的代碼，同時修改了原先的PE頭使之指向新的輸入表。如圖4。
插入新的輸入表有兩個目的首先它保留了原先的輸入表以便在需要時將修改過的執行文件改回去。其次，新的輸入表可以包括新的動態連接庫，用以完成所需的額外功能。這樣當目標應用程式調用文件寫操作時，實際上查詢的是MSYNC插入的新的函數輸入表，從而調用了MSYNC的插入代碼，後者對原有調用函數進行了包括。
2)插入的代碼說明 MSYNC在Windows下包裹了四個系統調用——CreateFile，CloseHandle，WriteFile，FlushFileBuffer，同時實現了相關的插入代碼。總體操作流程如下 Step1MSYNC初始化。包括初始化備份文件列表，及取得要備份的硬碟文件的名稱(這個需要人工指定)。
Step2截獲相關系統調用，進行如下判斷—— 如果是CreateFile操作，則先調用原始的createFile創建文件。後進入插入代碼，判斷是否為要備份的文件，若是則在移動存儲設備上創建備份文件，並將此信息插入備份文件列表。返回。
如果是CloseHandle操作，則判斷關閉的文件是否已經備份？若是則將此關閉文件內容刷入本機硬碟，成功後關閉移動存儲上的備份文件，並刪除之。調用原始的CloseHandle並返回。
如果是WriteFile，則首先調用原始的WritFile。然後判斷是否是寫入已備份的文件？若是，則將寫入的數據以異步方式(WriteFIle)寫入備份文件。返回。
如果是FlushFileBuffer(Windows下的同步刷入函數)，則首先判斷是否是刷入備份文件？若是則針對移動存儲上的備份文件調用原始的FlushFileBuffer，直接返回。
包裹後的函數如下 New_CreateFile(LPCSTR a0. DWORD a1， DWORD a2， LPSECURITY_ATTRIBUTES a3. DWORD a4， DWORD a5， HANDLE a6) { HANDLE rv＝0； _try{ rv＝Real_CreateFile(a0，a1，a2，a3，a4，a5，a6)；//調用真正的CreateFile if(rv ！＝INVALID_HANDLE_VALUE)//若操作成功， DuplicateFile(rv，(LPCSTR)szName，0，0，0，0，0，0)；//調用MSYNC插入的操作 }_finally{ }； return rv； } New_CloseHandle(HANDLE a0) { BOOL rv＝0； _try{ CloseDuplicateFile(a0)； rv＝Real CloseHandle(a0)； }_finally{ }； return rv； } New_FlushFileBuffers(HANDLE a0) {<!-- SIPO --> BOOL rv＝1； _try{ if(！FlushDuplicateFileBuffers(a0)) rv＝Real_FlushFileBuffers(a0)； }_finally{ }； return rv；}New_WriteFile(HANDLE a0， LPCVOID a1， DWORD a2， LPDWORD a3， LPOVERLAPPED a4){ BOOL rv＝0； _try{ rv＝Real_WriteFile(a0，a1，a2，a3，a4)； if(rv) WriteDuplicateFile(a0，a1，a2，a3，a4，a4 ！＝NULL，rv)； }_finally{ }； return rv； } 3)性能評測 針對Windows 2000下的參考實現，進行了MSYNC的性能測試。具體的計算機配置如下 Windows 2000 Professional(sp4)； CPUPIII 800Mhz 內存128內存 USB驅動微軟的USB Mass Storage Device，5.0.2195.1 主機硬碟IBM-DJSA-220 USB 2.0移動硬碟； 具體的測試對象應用程式分為兩類專門編寫的磁碟同步寫文件程序與MySQL資料庫。對於每種測試，比較了其直接寫入本機硬碟與使用MSYNC技術後的性能差異。
測試1 本測試採用了自己編寫的磁碟同步寫程序，每次往硬碟上同步寫入1024次不同大小的數據，就啟用MSYNC與否進行完成時間的比較，如下4KB*1024 2KB*1024 1KB*1024 512B*1024未啟用MSYNC(單位秒) 39 37 37 40啟用MSYNC(單位秒) 25 18 16 16性能比 1.56 2.05 2.31 2.5 測試2 本測試採用了Windwos下的MySQL資料庫，往一個表中連續插入1024次不同大小的數據(採用事務模式，即數據是同步寫入磁碟的)。就啟用MSYNC與否進行完成時間的比較，如下1KB*1024 512B*1024 64B*1024未啟用MSYNC(單位秒) 155 143 110啟用MSYNC(單位秒) 83 75 72性能比 1.87 1.91 1.5權利要求
1.基於移動存儲的計算機系統磁碟同步寫性能提高方法，其特徵在於，它依次含有以下步驟
第1步計算機系統把連接到自己的高帶寬外部移動存儲設備映射為一個系統磁碟，將其作為系統的寫緩存；
第2步對步驟1所得到的用移動存儲設備作為寫緩存的計算機系統進行初始化
使用預置的包裹程序將目標應用程式中的文件操作進行包裹，即在目標應用程式執行文件中插入代碼，以重寫所要包裹的文件系統調用在執行文件中的入口；
第3步運行目標應用程式；
第4步當上述系統截獲到目標應用程式的文件操作時進行如下步驟
第4.1步是否為寫入文件操作？若是，則上述步驟2中的插入代碼將數據以異步寫的形式寫入移動存儲；同時以異步寫方式將數據寫入主機硬碟；
第4.2步是否為文件數據刷入磁碟操作，即同步寫操作？若是，則上述步驟2中的插入代碼將移動存儲上的寫入數據刷入存儲介質。寫入行動裝置的數據以日誌式數據管理策略來進行數據管理，它依次含有如下步驟
第4.2.1步在步驟4截獲到目標應用程式的文件寫入數據後，將數據寫入到移動存儲上預設的備份文件中，每一次的寫入格式為數據大小、數據在計算機磁碟文件中的起始位置、數據體；
第4.2.2步如果寫入數據後，備份文件大小超過某個預定的閾值時，上述系統就迫使主機硬碟上的對應文件執行同步刷入操作，成功後清空該備份文件；
第4.3步若為其他文件操作，則直接交由被包裹的文件操作處理；
第5步轉4，繼續。
全文摘要
基於移動存儲的計算機系統磁碟同步寫性能提高方法屬於計算機存儲系統結構技術領域。它是一種通過系統調用透明包裹機制，將常見的計算機移動存儲設備(如U盤、移動硬碟等)作為計算機系統的同步寫緩存以提高數據處理效率的磁碟同步寫性能提高方法，簡稱為MSYNC。它含有一臺計算機，一個移動存儲設備。兩者通過快速的高帶寬接口(包括usb接口、IEEE－1394接口)相連，計算機將此行動裝置映射為一個本地硬碟。然後通過系統調用透明包裹技術對應用程式的文件寫操作進行包裹，從而將其同步磁碟寫操作轉換為速度更快的對移動存儲的同步寫，在不降低數據可靠性的前提下提高計算機的磁碟同步寫性能。
文檔編號G06F12/00GK1648878SQ20051001112
公開日2005年8月3日 申請日期2005年1月7日 優先權日2005年1月7日
發明者張悠慧 申請人:清華大學