一種分布式系統中的海量文件存儲和訪問方法
2023-06-11 12:53:01 1
專利名稱：一種分布式系統中的海量文件存儲和訪問方法
一種分布式系統中的海量文件存儲和訪問方法技術領域
本發明專利申請公開一種信息技術領域的海量文件的存儲、組織和訪問方法。
技術背景
在信息技術領域，經常需要處理大量的數據，特別是在處理一些流式數據的時候， 往往需要將數據保存在文件系統裡面。但是文件系統的節點下的文件數量太多會導致IO 瓶頸。在為了保持低成本而使用多個廉價存儲伺服器構成的分布式集群的時候，需要保證分布式存儲方法的有效性和簡潔性。因此針對應用的海量數據特性來組織和存儲文件，會提高海量文件服務的響應性能。特別地，如果這些文件系統還需要響應應用程式不同維度的數據訪問的時候，需要對這些文件進行遍歷訪問，因此採用何種方式來組織和存儲文件有可能會對應用的反應時間產生較大的影響。
比如在搜尋引擎的文件存儲系統裡面，搜尋引擎接收和解析的各種文件體存放在本地文件系統裡面，在搜尋引擎按照不同的方法對文件進行檢索的時候，經常會遍歷這些文件的索引，同時還會訪問這些文件體及相關的淨文本。在一類特殊應用裡面，時間維度或者數據的業務類型可能是需要檢索的一個關鍵特性。百度、谷歌提供了對最新文件的檢索功能，但是其主要文件檢索過程則是在關鍵詞的字符基礎上發生的。因此，除非對百度、谷歌等商業化引擎進行改造，使其能夠支持時間特性的檢索。還有其他的一些特性的檢索方式，百度、谷歌對其的支持也不好，這是因為其進行通用的搜索方面走的太遠了的緣故。
本專利提出一種分布式系統中的海量文件存儲、組織和訪問方法，其利用分布式並行架構和維度分割特性來對海量的文件進行組織，使得對某些維度的數據訪問非常快捷。對於搜尋引擎來講，由於限定訪問的維度和文件組織一致，只需要訪問指定節點所代表的維度即可完成應用的要求，因此沒有額外的訪問開銷。發明內容
通過對文件按照各種維度來組織文件的存放，可以加速文件的訪問過程，針對應用的要求減少不必要的文件訪問，是本發明申請的出發點。
比如文件對象有3個維度，時間、協議類型、業務類型等等，時間維度還可以細分為年月日、時、分等維度。如果應用程式想訪問某一業務在某一時間段內的數據時，只需要訪問對應的文件夾下的目錄裡面的文件即可，即一個層次的目錄代表了一個維度。該層目錄下某個文件夾的文件名即代表了一個維度的一個實例。
常見的集群式分布式系統，可以採用多臺節點來進行文件的組織和存放，只需要將各個節點間的文件都按照一致的維度分割方法和秩序來進行，即可使用訪問代理來對節點中的文件按照維度進行同步的訪問，加快整個分布式系統的數據吞吐量。
當上層應用選擇某一個維度的文件訪問時，訪問代理會將訪問轉化為對分布式節點的同步訪問，節點上的本地代理會將某個維度的訪問轉換為對相應維度的文件夾內文件的訪問，再由本地的訪問引擎對文件進行處理並將處理結果反饋給訪問代理。
也就是說在多個分布式節點上使用相同的方式來組織和保存文件，即將海量數據按照多個維度存儲，每一個維度為文件系統中的一個層次的目錄，目錄的名稱即該維度的一個實例。系統將訪問指令中的維度信息提取出來，轉化為對文件夾的訪問，可以提高數據訪問的效率，減小不必要的數據訪問開銷。
附圖1是不同節點間的文件存儲和組織方式。各個節點採用相同的方式按照不同的維度來組織和存儲文件。
附圖2是通過訪問代理對不同節點的數據訪問和分布式節點的本地代理進行數據訪問的流程。
具體實施方式
按照圖1所示，文件組織為多個層次結構，一個維度為一個層次的目錄，目錄的名稱為該維度的一個實例，比如日期為20111215。將最常用的維度放在最靠近根的層次下，比如附圖1所示的維度A。不同的節點採用相同的文件組織模式，
如圖2所示，具體的訪問步驟如下
①應用向訪問代理下發訪問指令，對某些維度的具體實例進行訪問請求；
②訪問代理將指令轉化為對分布式節點的訪問，將訪問指令同步下發給各個分布式節點上的本地代理；
③分布式節點的本地代理將訪問指令分解為不同的維度實例集合，將訪問指令加載到訪問引擎；
④分布式節點的訪問引擎將訪問指令中的維度實例集合轉化為具體的文件夾，並對文件夾內的數據進行加載；
⑤分布式節點的訪問引擎對加載的數據按照指令進行訪問後將結果返回給本地代理；
⑥分布式節點的本地代理將本分布式節點的結果返回給訪問代理；
⑦訪問代理綜合各個分布式節點的結果後返回給應用。
比如用戶選擇了某一段時間內的某種業務進行關鍵詞查詢，查詢訪問代理會將查詢分解到分布式節點，節點的本地代理會對關鍵詞查詢按照業務類型、時間的維度，按照具體命中的維度實例來對表示該實例的文件夾下的內容進行訪問，從而減少不必要的磁碟訪問和計算開銷。本分布式節點的查詢結果由本地代理返回給查詢訪問代理，再由查詢訪問代理綜合各節點的查詢結果後返回給用戶。
本發明申請能夠利用廉價的PC伺服器來打造分布式節點集群，同時能夠快速對指定維度的數據進行快速訪問，減少對不相關數據的訪問和計算，極大地降低了系統的總體擁有成本。在不採用昂貴的磁碟陣列或者磁碟櫃的時候，本發明申請的方案也能夠提供非常優秀的訪問性能。
權利要求
1.一種分布式系統中的海量文件存儲和訪問方法，其特徵在於在多個分布式節點上使用相同的方式來組織和保存文件，即將海量數據按照多個維度存儲，每一個維度為文件系統中的一個層次的目錄，目錄的名稱即該維度的一個實例。
2.一種分布式系統中的海量文件存儲和訪問方法，其特徵在於系統將訪問指令中的維度信息提取出來，轉化為對文件夾的訪問。
全文摘要
本發明申請公開一種信息技術領域內的海量文件存儲和訪問方法。分布式系統內各節點均按照此方式來組織和保存文件其通過對海量數據按照業務的要求分層多個維度來存儲，每個維度對應一個層次的文件夾，文件夾的名稱即維度的實例。當上層應用選擇某一個維度的文件訪問時，訪問代理會將訪問轉化為對分布式節點的同步訪問，節點上的本地代理會將某個維度的訪問轉換為對相應維度的文件夾內文件的訪問，再由本地的訪問引擎對文件進行處理並將處理結果反饋給訪問代理，由訪問代理將各個節點的處理結果匯總後返回給應用。本申請能夠利用廉價的PC伺服器來構成分布式集群來實現對海量數據的高速訪問，提供價格低廉但媲美於磁碟陣列和磁碟櫃的訪問性能。
文檔編號G06F17/30GK102521383SQ20111043348
公開日2012年6月27日 申請日期2011年12月22日 優先權日2011年12月22日
發明者倪良勝, 廖聞劍, 汪洋 申請人:南京烽火星空通信發展有限公司