一種分布式計算文件管理方法、系統及其裝置的製作方法

2023-04-28 22:40:36

專利名稱：一種分布式計算文件管理方法、系統及其裝置的製作方法
技術領域：
本發明涉及網絡技術領域，特別是涉及一種分布式計算文件管理方法、 系統及其裝置。
背景技術：
隨著網際網路技術的飛速發展，對於網際網路上存在海量信息的處理就成為 了難題。如果要在單機上處理這些數據量非常龐大的信息，就需要有很強的 處理能力和埠能力，然而一方面這種高性能單機價格不菲，而且這種依靠 單機的處理模式也是有限度的。因此人們提出了分布式計算的概念，利用互 聯網上有很多互連計算機的空閒資源來處理網際網路上的海量信息。而在分布式計算中比較重要方面就是分布式存儲，由於數據量的不斷增加，單機已經不能滿足存儲的需要，需要專門的設備來存儲數據；同時數據 的使用已經不僅僅局限於一個地方， 一種系統的應用，而是對多個用戶，多 個系統的共享。因此分布式存儲既能存儲大容量的數據信息，又能滿足對多 系統、多用戶的實時共享。現有技術是將文件存儲在專門的高速存儲設備上，系統提供訪問文件的 接口。用戶通過這些系統提供的接口來訪問文件，通過高速的、可靠的存儲 設備來達到快速對文件的讀、寫操作。但是如果文件非常大，以及文件讀寫 非常頻繁，效率就糹艮低。這是為了通用而犧牲了性能。現有技術還提出一種針對特定場合的分布式文件處理方法，將文件按照 塊的方式保存在分布式節點機器上，通過一臺主控機器保存文件元數據信息 (文件包含多少塊，各個塊分別分布在哪個節點上)來進行分布式計算文件 的存儲。當用戶讀取文件時，先從主控機器上讀取文件的塊信息，然後根據 塊信息從分布式節點中讀取文件數據；用戶寫入文件時，先從主控機器上讀 取文件信息，然後根據負載均衡，選擇一個文件存放的節點；最後用戶將文件數據寫入到分布式節點中。但是這種方法只能允許用戶順序的讀寫，並且 用戶還根據文件各個塊的分布情況編寫相應的分布式代碼，對用戶來說是十 分煩瑣的，因此增加了用戶的工作量。發明內容本發明要解決的問題是提供一種分布式計算文件管理方法、系統及其裝 置，降^f氐分布式計算的複雜度，減輕用戶的工作量。為達到上述目的，本發明的實施例的技術方案提出一種分布式計算文件管理方法，包括以下步驟向主伺服器的全局文件註冊；當需要對所述全局 文件進行處理時，從所述主伺服器調取所述全局文件的元數據；根據所述全其中，在所述將全局文件包含的文件從各個節點取回後，還包括以下步 驟將所述從各個分布式節點取回的文件合併。其中，所述全局文件的元數據具體包括全局文件包含的文件及所述文件與分布式節點的對應關係。其中，所述從主伺服器調取全局文件的元數據具體包括以下步驟向所述主伺服器發送讀取所述全局文件的請求；所述伺服器根據所述請求將所述 全局文件的元數據取出後下發。其中，所述向主伺服器的全局文件註冊，具體包括以下步驟各個分布 式節點將所述分布式節點上的本地文件向所述主伺服器註冊；所述主伺服器 才艮據所述分布式節點上的本地文件註冊信息4I"改所述全局文件元數據。本發明的實施例的技術方案還提出一種分布式計算文件管理系統，包括 客戶端、主伺服器和分布式節點，所述主伺服器，用於對全局文件的元數據 進行管理，並在所述客戶端需要對所述全局文件進行處理時，將所述全局文 件的元數據信息下發給所述客戶端；所述分布式節點，用於將所述分布式節 點上的本地文件註冊到所述主伺服器的全局文件上，並在接收所述客戶端請 求後將所述本地文件下發給所述客戶端。其中，所述主伺服器包括全局文件管理模塊和全局文件下發模塊，所述全局文件管理模塊用於對全局文件的元數據進行管理；所述全局文件下發模 塊用於在所述客戶端需要對所述全局文件進行處理時，將所述全局文件管理 模塊中的全局文件元數據信息下發給所述客戶端其中，所述主伺服器還包括註冊接收模塊，用於接收所述分布式節點向 所述主伺服器發送的註冊信息，並將所述註冊信息傳給所述全局文件管理模 塊。其中，所述分布式節點包括註冊上報模塊和文件數據下發模塊，所述注 冊上報模塊用於將所述分布式節點上的本地文件註冊到所述主伺服器的全局 文件上；所述文件數據下發模塊用於在接收所述客戶端請求後將所述本地文 件下發給所述客戶端。其中，在所述向主伺服器的全局文件註冊之前，還包括以下步驟設定 各個分布式節點上的本地文件與全局文件的對應關係。本發明的實施例的技術方案還提出一種主伺服器，包括全局文件管理模 塊和全局文件下發模塊，所述全局文件管理模塊用於對全局文件的元數據進 行管理；所述全局文件下發模塊用於在所述客戶端需要對所述全局文件進行 處理時，將所述全局文件管理模塊中的全局文件元數據信息下發給所述客戶其中，主伺服器還包括註冊接收模塊，用於接收所述分布式節點向所述 主伺服器發送的註冊信息，並將所述註冊信息傳給所述全局文件管理模塊。本發明實施例的技術方案實現了用戶只對全局文件進行操作，而不需要 編寫分布式的相關代碼，又可以利用多臺機器的分布式來提高文件讀取的性能的分布式計算文件管理方法。通過該管理方法，用戶只需要知道一個全局 文件，而不需要知道這個全局文件有哪些文件構成，又保存在哪些分布式節 點上，對於用戶來說，則降低了分布式計算的複雜度，減輕了用戶的工作量。


圖l為本發明實施例分布式計算文件管理系統結構圖；圖2為本發明實施例另一種分布式計算文件管理系統的結構圖；圖3為本發明實施例分布式計算文件管理方法的流程圖；圖4為本發明實施例以網站日誌處理系統為例的分布式計算文件管理方法的流程圖；圖5為本發明實施例對分布式計算文件修改的流程圖；圖6為本發明實施例一種在分布式節點上對分布式計算文件修改的流程圖。
具體實施方式
下面結合附圖和實施例，對本發明的具體實施方式
作進一步詳細描述 本發明核心思想在於通過定義一種全局文件，該全局文件由很多分布 在各個分布式節點上的本地文件構成。該全局文件的信息儲存在主伺服器 上的全局文件的元數據中，全局文件的信息包括全局文件的名稱、全局 文件包含哪些文件，及包含的這些文件與各個分布式節點的對應關係。並 且該全局文件包含的文件是由分布式節點自動向主伺服器註冊形成的，用 戶只知道該全局文件是用來幹什麼或處理什麼數據的，而不用知道該全局 文件中包含哪些文件等細節問題。因此通過該全局文件可以隱藏分布式處 理的文件處理細節，並在讀取文件時利用分布式系統的多個分布式節點並 行處理的優點提高訪問速度。如圖l所示，為本發明實施例分布式計算文件管理系統結構圖， 該分布式計算文件管理系統包括主伺服器1、分布式節點2和客戶端3, 主伺服器1用於對全局文件的元數據進行管理，並在客戶端3需要對全局文 件進行處理時，將全局文件的元數據信息下發給客戶端3;分布式節點2用於 將分布式節點2上的本地文件註冊到主伺服器1上的全局文件，並在接^)t^ 戶端3請求後將分布式節點2上的本地文件下發給客戶端3。針對上述分布式計算文件管理系統分布式文件管理過程如下，首先分布 式節點2調用註冊接口，依據預先設定的對應關係通過TCP/IP協議將本地文 件註冊到一個全局文件上，該預先設定的對應關係可以由用戶根據需要設定， 並且分布式節點2上的本地文件可以對應多個全局文件；主伺服器1管理各個分布式節點2上本地文件的註冊信息，即全局文件的元數據，該元數據包 括全局文件包含哪些文件，這些文件與其存在的分布式節點2的對應關係； 當客戶端3需要調取全局文件進行處理時，則調用讀取文件接口向主伺服器1 發送查詢某個全局文件元數據的請求；主伺服器1根據客戶端3請求查詢的 全局文件名稱，通過TCP/IP協議將該全局文件的元數據下發給客戶端3;客 戶端3根據傳回的全局文件的元數據信息從各個分布式節點2將該全局文件 包含的文件全部取回並合併，組合成一個全局文件。其中，主伺服器1包括全局文件下發模塊11、全局文件管理模塊12和注 冊接收模塊13,全局文件管理模塊12用於對全局文件的元數據進行管理；全 局文件下發模塊11用於在客戶端3需要對全局文件進行處理時，將全局文件 管理模塊12中的全局文件元數據信息下發給客戶端3;註冊接收模塊13,用 於接收分布式節點2向主伺服器1發送的註冊信息，並將該註冊信息傳給全 局文件管理模塊12。其中，分布式節點2包括註冊上才艮模塊21和文件數據下發^^塊22，註冊 上報模塊21用於將分布式節點2上的本地文件註冊到主伺服器1上的全局文 件；文件數據下發模塊22用於在接收客戶端3請求後將本地文件下發給客戶 ^fii/ 3 。如圖2所示，為本發明實施例另一種分布式計算文件管理系統的結構圖， 該系統將上述實施例中客戶端3也視為分布式節點2。該分布式計算文件管理系統包括主伺服器1和分布式節點2，主伺服器1 用於對全局文件的元數據進行管理，並當需要對全局文件進行處理時，將全 局文件的元數據信息下發給分布式節點2;分布式節點2用於將分布式節點2 上的本地文件註冊到主伺服器1上的全局文件；文件數據下發模塊22用於在 接收其它分布式節點2請求後將本地文件下發。針對上述分布式計算文件管理系統分布式文件管理過程如下，首先分布 式節點2調用註冊接口，依據預先設定的對應關係通過TCP/IP協議將本地文 件註冊到一個全局文件上，該預先設定的對應關係可以由用戶根據需要設定, 並且分布式節點2上的本地文件可以對應多個全局文件；主伺服器1管理各個分布式節點2上本地文件的註冊信息，即全局文件的元數據，該元數據包 括全局文件包含哪些文件，這些文件與其存在的分布式節點2的對應關係；當需要調取全局文件進行處理時，則調用讀取文件接口向主伺服器1發送奎 詢某個全局文件元數據的請求；主伺服器1根據請求查詢的全局文件名稱， 通過TCP/IP協議將該全局文件的元數據下發給分布式節點2;分布式節點2 根據傳回的全局文件的元數據信息從各個分布式節點2將該全局文件包含的 文件全部取回並合併，組合成一個全局文件。其中，主伺服器1包括全局文件下發模塊11、全局文件管理模塊12和注 冊接收模塊13,全局文件管理模塊12用於對全局文件的元數據進行管理；全 局文件下發模塊11用於在需要對全局文件進行處理時，將全局文件管理模塊 12中的全局文件元數據信息下發；註冊接收模塊13，用於接收分布式節點2 向主伺服器1發送的註冊信息，並將該註冊信息傳給全局文件管理模塊12。其中，分布式節點2包括註冊上報模塊21和文件數據下發模塊22，註冊 上報模塊21用於將分布式節點2上的本地文件註冊到主伺服器1上的全局文 件；文件數據下發模塊22用於在接收其它分布式節點2請求後將本地文件下 發。如圖3所示，為本發明實施例分布式計算文件管理方法的流程圖，包括 以下步驟步驟S301，向主伺服器的全局文件註冊；分布式節點調用註冊接口，伺服器根據註冊信息修改全局文件的元數據；該預先設定的對應關係可以 由用戶根據需要設定，並且分布式節點上的本地文件可以對應多個全局文 件；例如假設整個分布式系統有2個分布式節點， 一個主伺服器。分布 式節點m上有本地文件al， a2共2個文件，分布式節點2有本地文件bl， b2 共2個文件；用戶根據需要將分布式節點1上的本地文件al設為與全局文 件filel和全局文件file2對應；將分布式節點m上的本地文件a2設為與 全局文件fUel對應；將分布式節點n上的本地文件bl也設為與全局文件 filel對應，並將分布式節點n上的本地文件b2設為與全局文件file2對應，根據上述預設的對應關係，分布式節點m調用註冊接口通過TCP/IP 協議，向主伺服器發送註冊指令，將al文件註冊為全局文件filel,並將 al文件註冊為全局文件file2，將a2文件註冊為全局文件f ilel;同時， 分布式節點n調用註冊接口通過TCP/IP協議，向主伺服器發送註冊指令， 將bl文件註冊為全局文件f ilel，並將b2文件註冊為全局文件f ile2。通 過上述註冊過程，目前主伺服器上存在2個全局文件分別為filel和 f ile2,其中全局文件f ilel包括分布式節點m上的al和a2以及分布式節 點2上的bl,全局文件file2包括分布式節點m上的al和分布式節點n 上的b2。主伺服器管理各個分布式節點上本地文件的註冊信息，即全局文件 的元數據，該元數據包括全局文件包含哪些文件，這些文件與其存在的分布 式節點的對應關係；對於上述實施例，全局文件filel的元數據包括al、 a2 和bl,以及al、 a2和bl與分布式節點的對應關係。步驟S302，當需要對全局文件進行處理時，從主伺服器調取全局文件的 元數據。當客戶端需要調取全局文件進行處理時，則調用讀取文件接口，向 主伺服器發送查詢某個全局文件元數據的請求；主伺服器根據請求查詢的全 局文件名稱，通過TCP/IP協議將該全局文件的元數據下發。其中，註冊全局 文件的客戶端和讀取全局文件的客戶端可以不是同一個客戶端，並且客戶 端在讀取全局文件時並不知道全局文件包括什麼，只有在主伺服器將全局 文件的元數據下發後，客戶端才根據全局文件的元數據知道全局文件包括 哪些文件。步驟S303,根據全局文件的元數據將全局文件包含的文件從各個分布式 節點取回；對於上述實施例，則將al、 a2從分布式節點m上取回，將bl 從分布式節點n上取回。如圖4所示，為本發明實施例以網站日誌處理系統為例的分布式計算 文件管理方法的流程圖，包括以下步驟步驟S401,根據需要設定分布式節點上的本地文件與全局文件的對應 關係，例如對於網站日誌處理系統則需要分布式節點 一上的本地文件 news, log (新聞日誌)，節點二上的本地文件club, log (倶樂部日誌)，節點三上的本i也文件bbs. log ( i侖壇日誌)，節點四上的本i也文件search, log (搜索日誌)，以及節點五上的本地文件blog. log (博客日誌)，這些各個 節點上的本地文件共同構成了該網站日誌處理所需要的全局文件 cookie.log。步驟S402,依據上述步驟設定的對應關係各個分布式節點向主伺服器 的全局文件註冊，例如分布式節點一發現本地文件有news, log存在，則調 用註冊接口並通過TCP/IP協議將本地文件news, log向主伺服器註冊，主 伺服器根據上述步驟設定的對應關係將news, log註冊到全局文件 cookie.log; 貝寸以》匕類4,分另'j將club, log 、 bbs. log、 search.log和 blog. log向主伺服器註冊，主伺服器根據上述步驟設定的對應關係將上述 本地文件向全局文件cookie, log註冊。這樣對於使用者來說只要知道全局 文件cookie, log是處理網站日誌的文件就可以了 ，而不需要知道全局文件 cookie, log究竟包括什麼文件、以及這些文件與分布式節點的對應關係。步驟S403，如果用戶在分布式系統客戶端上需要對上述網絡日誌進行 統計處理，則調用讀取文件接口，向主伺服器發送查詢全局文件cookie, log 元數據的請求；主伺服器根據請求查詢的全局文件cookie, log,通過TCP/IP 協議將該全局文件的元數據下發給客戶端，即將全局文件cookie, log包含的 文件news, log、 club, log、 bbs. log、 search, log和blog. log, 以及這些 文件與分布式節點的對應關係下發給客戶端。其中，註冊全局文件的客戶端和讀取全局文件的客戶端可以不是同一個客戶端，並且客戶端在讀取全 局文件時並不知道全局文件包括什麼，只有在主伺服器將全局文件的元數步驟S404,客戶端根據上述下發的全局文件的元數據信息，從其它節 點上將全局文件cookie, log包含的文件news, log、 club, log、 bbs. log、 search, log和blog. log取回後合併。例如通過TCP/IP協議從分布式節點 一上取回news, log(新聞日誌)，從節點二上取回club, log(倶樂部日誌)， 並以此類推。這樣用戶需要的處理網絡日誌的所有文件都集中到了用戶所 使用的客戶端上以供用戶使用。如圖5所示，為本發明實施例對分布式計算文件修改的流程圖，以圖4 實施例為例對全局文件cookie, log進4亍修改，包括以下步驟步驟S501，根據需要設定分布式節點上的本地文件與全局文件的對應 關係。步驟S502,依據上述步驟設定的對應關係，各個分布式節點向主服務 器的全局文件註冊。分布式節點一發現本地文件有news, log存在，則調用 註冊接口並通過TCP/IP協議將本地文件news, log向主伺服器註冊，主服 務器根據上述步驟設定的對應關係將news, log註冊到全局文件 cookie.log;貝'J以jt匕類才,分另'J將club, log 、 bbs. log、 search.log和 blog. log向主伺服器註冊，主伺服器根據上述步驟設定的對應關係將上述 本地文件向全局文件cookie, log註冊。這樣對於4吏用者來i兌只要知道全局 文件cookie, log是處理網站日誌的文件就可以了 ，而不需要知道全局文件 cookie, log究竟包括什麼文件、以及這些文件與分布式節點的對應關係。步驟S503,如果用戶在分布式節點上需要對全局文件cookie, log進 行修改，則調用讀取文件接口，向主伺服器發送查詢全局文件cookie, log 元數據的請求；主伺服器根據請求查詢的全局文件cookie, log,通過TCP/IP 協議將該全局文件的元數據下發給客戶端，即將全局文件cookie, log包含的 文件news, log、 club, log、 bbs. log、 search, log和blog. log, 以及這些 文件與分布式節點的對應關係下發給客戶端。步驟S504，分布式節點根據步驟S503下發的全局文件的元數據信息， 從其它節點上將全局文件cookie, log包含的文件news, log、 club, log、 bbs. log、 search, log和blog. log取回後合併。例如通過TCP/IP協議從 分布式節點一上取回news, log(新聞日誌)，從節點二上取回club, log(倶 樂部日誌)，並以此類推。步驟S505,在分布式節點上對全局文件cookie, log進行修改。 步驟S506,根據預先設定的對應關係，將全局文件cookie, log作為 該分布式節點上的本地文件向主伺服器上的與cookie.log對應的全局文 件進行註冊。如圖6所示，為本發明實施例一種在分布式節點上對分布式計算文件 《奮改的流程圖，以圖4實施例為例對全局文件cookie, log中存在與分布式 節點一上的本地文件news, log (新聞日誌)在分布式節點一上進行修改， 包括以下步驟步驟S601,根據需要設定分布式節點上的本地文件與全局文件的對應 關係。步驟S602，依據上述步驟設定的對應關係向主伺服器的全局文件注 冊。分布式節點一發現本地文件有news, log存在，則調用註冊接口並通過 TCP/IP協議將本地文件news, log向主伺服器註冊，主伺服器根據上述步 驟i殳定的對應關係將news, log註冊到全局文件cookie, log;則以此類推 分另'J將club, log、 bbs. log、 search, log和blog. log向主月l務器;;主冊，主 伺服器根據上述步驟設定的對應關係將上述本地文件向全局文件 cookie, log註冊。這樣對於使用者來說只要知道全局文件cookie, log是 處理網站日誌的文件就可以了 ，而不需要知道全局文件cookie, log究竟包 括什麼文件、以及這些文件與分布式節點的對應關係。步驟S603,對分布式節點一上的news, log進行修改。 步驟S604,分布式節點一重新向主伺服器的全局文件註冊。 本發明實施例通過為用戶設定的全局文件實現了用戶只對全局文件進行 操作，而不需要編寫分布式的相關代碼，又可以利用多臺機器的分布式來提高文件讀取的性能的分布式計算文件管理方法。通過該管理方法，用戶只需 要知道一個全局文件，而不需要知道這個全局文件有哪些文件構成，又保存 在哪些分布式節點上。對於用戶來說，則降低了分布式計算的複雜度，減輕 了用戶的工作量。以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的 普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進 和潤飾，這些改進和潤飾也應視為本發明的保護範圍。
權利要求
1. 一種分布式計算文件管理方法，其特徵在於，包括以下步驟向主伺服器的全局文件註冊；當需要對所述全局文件進行處理時，從所述主伺服器調取所述全局文件的元數據；根據所述全局文件的元數據將所述全局文件包含的文件從各個分布式節點取回。
2、 如權利要求1所述分布式計算文件管理方法，其特徵在於，在所述將 全局文件包含的文件從各個節點取回後，還包括以下步驟將所述從各個分布式節點取回的文件合併。
3、 如權利要求1所述分布式計算文件管理方法，其特徵在於，所述全局 文件的元數據具體包括全局文件包含的文件及所述文件與分布式節點的對 應關係。
4、 如權利要求1所述分布式計算文件管理方法，其特徵在於，所述從主 伺服器調取全局文件的元數據具體包括以下步驟向所述主伺服器發送讀取所述全局文件的請求； 所述伺服器根據所述請求將所述全局文件的元數據取出後下發。
5、 如權利要求1所述分布式計算文件管理方法，其特徵在於，所述向主 伺服器的全局文件註冊，具體包括以下步驟各個分布式節點將所述分布式節點上的本地文件向所述主伺服器註冊； 所述主伺服器根據所述分布式節點上的本地文件的註冊信息修改所述全 局文件元數據。
6、 如權利要求l所述分布式計算文件管理方法，其特徵在於，在所述向 主伺服器的全局文件註冊之前，還包括以下步驟設定各個分布式節點上的本地文件與全局文件的對應關係。
7、 一種分布式計算文件管理系統，包括客戶端，其特徵在於，還包括主伺服器和分布式節點，所述主伺服器，用於對全局文件的元數據進行管理，並在所迷客戶端需要對所述全局文件進行處理時，將所述全局文件的元數據信息下發給所述客戶端；所述分布式節點，用於將所述分布式節點上的本地文件註冊到所述主服 務器的全局文件上，並在接收所述客戶端請求後將所述本地文件下發給所述 客戶端。
8、 如權利要求7所述分布式計算文件管理系統，其特徵在於，所迷主伺服器包括全局文件管理模塊和全局文件下發模塊，所述全局文件管理模塊用於對全局文件的元數據進行管理； 所述全局文件下發模塊用於在所述客戶端需要對所述全局文件進行處理 時，將所述全局文件管理模塊中的全局文件元數據信息下發給所述客戶端
9、 如權利要求8所迷分布式計算文件管理系統，其特徵在於，所述主服 務器還包括註冊接收模塊，用於接收所述分布式節點向所述主伺服器發送的 註冊信息，並將所述註冊信息傳給所述全局文件管理;f莫塊。
10、 如權利要求7所述分布式計算文件管理系統，其特徵在於，所述分 布式節點包括註冊上報模塊和文件數據下發模塊，所述註冊上才M^莫塊用於將所述分布式節點上的本地文件註冊到所述主服 務器的全局文件上；所述文件數據下發模塊用於在接收所述客戶端請求後將所述本地文件下 發給所述客戶端。
11、 一種主伺服器，其特徵在於，包括全局文件管理模塊和全局文件下 發模塊，所述全局文件管理^^塊用於對全局文件的元數據進行管理； 所述全局文件下發模塊用於在所述客戶端需要對所迷全局文件進行處理 時，將所述全局文件管理模塊中的全局文件元數據信息下發給所述客戶端
12、 如權利要求ll所述主伺服器，其特徵在於，還包括註冊接收模塊， 用於接收所述分布式節點向所述主伺服器發送的註冊信息，並將所述註冊信 息傳給所述全局文件管理模塊。
全文摘要
本發明公開了一種分布式計算文件管理方法，包括以下步驟向主伺服器的全局文件註冊；當需要對所述全局文件進行處理時，從所述主伺服器調取所述全局文件的元數據；根據所述全局文件的元數據將所述全局文件包含的文件從各個分布式節點取回。通過該管理方法，用戶只需要知道一個全局文件，而不需要知道這個全局文件有哪些文件構成，又保存在哪些分布式節點上，降低了分布式計算的複雜度，減輕了用戶的工作量。
文檔編號G06F17/30GK101271458SQ20071008714
公開日2008年9月24日 申請日期2007年3月22日 優先權日2007年3月22日
發明者吳偉勳, 李江華, 松 陳 申請人:阿里巴巴公司