一種基於Web的作業計算系統的製作方法

2023-05-20 23:58:57 3

本發明涉及高性能計算領域，特別涉及一種基於web的作業計算系統。

背景技術：

隨著現代社會科技的發展，對於大量數據構成的作業的高性能計算越來越受到人們的重視。在當今許多科學領域中計算管道或工作流已成為分析大量數據的重要工具。這些工作流的計算複雜度有著顯著不同，但通常需要數天的計算時間和大量的計算能力。為了加快這些作業的執行，並行算法和高性能計算集群的應用已經變得越來越普遍。

計算機集群通過聚合來自多個單個計算機的資源來提供高性能。資源管理器是管理在這些集群上的作業的提交和調度以及對單個作業的資源(如存儲器和處理核)分配所需的軟體系統。隨著計算建模和大數據分析在各領域中的普及，越來越多的研究人員需要使用高性能計算資源。

現有技術中，研究人員對作業的高性能計算，需要通過自身將作業和計算作業所需的工作流編寫成資源管理器可以執行的腳本，使得研究人員對於編寫腳本和開發工具的存在一定的障礙。並且由於不存在專門對作業進行高性能計算的系統，並無法對資源管理器的計算機集群進行整合，使得計算機集群對於作業的計算的能力不足。因此，如何提供一種對作業進行高性能計算的系統，使專業領域用戶更容易使用高性能計算，是現今急需解決的問題。

技術實現要素：

本發明的目的是提供一種基於web的作業計算系統，以消除用戶編寫腳本和開發工具的障礙，使用戶更容易對作業進行高性能計算，提升用戶體驗。

為解決上述技術問題，本發明提供一種基於web的作業計算系統，包括：

接收模塊，用於通過網絡接收作業和計算所述作業所需的工作流；其中，所述工作流由文件組成；

腳本生成模塊，用於根據所述作業和所述工作流生成作業腳本；

執行模塊，用於通過資源管理器執行所述腳本，獲取所述作業的計算結果文件；

記錄模塊，用於記錄所述計算結果文件。

可選的，所述接收模塊，包括：

接收單元，用於通過網絡接收預先設置的web界面發送的所述作業和所述工作流。

可選的，所述腳本生成模塊，包括：

第一生成單元，用於根據所述作業、所述工作流和預設的請求資源，生成作業腳本；

第二生成單元，用於根據所述作業、所述工作流和所述web界面發送的請求資源，生成作業腳本；其中，所述請求資源包括計算所述作業所需的內存、內核數以及分配給所述作業的掛起時間。

可選的，該系統還包括：

訪問模塊，用於按預設時間間隔訪問所述資源管理器，獲取所述腳本執行狀態對應的數據；

解析模塊，用於解析所述數據，獲取所述數據對應的所述作業的狀態信息，並將所述狀態信息保存到所述記錄模塊。

可選的，所述記錄模塊，包括：

展示單元，用於根據所述web界面發送的展示請求，將所述展示請求對應的所述數據的所述狀態信息發送到所述web界面，以通過所述web界面向用戶展示所述狀態信息。

可選的，所述執行模塊，還包括：

管理單元，用於根據所述web界面發送的管理請求，對所述作業執行對應的操作；其中，所述管理請求包括刪除請求、取消請求、暫停請求和更改請求中至少一項。

可選的，所述管理單元，包括：

刪除子單元，用於根據所述刪除請求，刪除所述資源管理器並未執行的所述腳本；

取消子單元，用於根據所述取消請求，取消所述資源管理器正在執行的所述腳本；

暫停子單元，用於根據所述暫停請求，暫停所述資源管理器並未執行或正在執行的所述腳本；

更改子單元，用於根據所述更改請求，對暫停的所述腳本進行對應的更改。

可選的，該系統還包括：

驗證模塊，用於根據所述接收模塊通過網絡接收的用戶登錄信息，判斷所述用戶登錄信息是否為預設用戶的登錄信息；若是，則通過所述接收模塊接收所述用戶登錄信息對應的用戶的所述作業和所述工作流。

可選的，該系統還包括：

顯示模塊，用於獲取所述資源管理器對應的集群的當前狀態的總結信息；其中，所述總結信息包括所述集群中在線節點數量、離線節點數量、正在運行的處理器的比例、正在運行的作業數量、等待運行的作業數量和可用的磁碟空間量中至少一項。

可選的，該系統還包括：

共享模塊，用於保存所述工作流和/或所述工作流中的預定的文件。

本發明所提供的一種基於web的作業計算系統，包括：接收模塊，用於通過網絡接收作業和計算所述作業所需的工作流；其中，所述工作流由文件組成；腳本生成模塊，用於根據所述作業和所述工作流生成作業腳本；執行模塊，用於通過資源管理器執行所述腳本，獲取所述作業的計算結果文件；記錄模塊，用於記錄所述計算結果文件；

可見，本發明通過腳本生成模塊根據作業和工作流生成作業腳本，可以消除用戶編寫腳本和開發工具的障礙，使用戶可以更加方便的通過資源管理器管理的計算機集群對作業進行高性能計算；通過記錄模塊記錄計算結果文件，使用戶可以通過網絡在任意地點便捷的下載計算結果文件；並且通過本系統可以對多個資源管理器管理的計算機集群進行整合，提高了對於作業的高性能計算的效果，提升了用戶體驗。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。

圖1為本發明實施例所提供的一種基於web的作業計算系統的結構圖；

圖2為本發明實施例所提供的另一種基於web的作業計算系統的結構圖；

圖3為本發明實施例所提供的另一種基於web的作業計算系統的軟體架構的示意圖；

圖4為本發明實施例所提供的另一種基於web的作業計算系統的系統架構的示意圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

請參考圖1，圖1為本發明實施例所提供的一種基於web的作業計算系統的結構圖。該系統可以包括：

接收模塊100，用於通過網絡接收作業和計算作業所需的工作流；其中，工作流由文件組成。

腳本生成模塊200，用於根據作業和工作流生成作業腳本。

執行模塊300，用於通過資源管理器執行腳本，獲取作業的計算結果文件。

記錄模塊400，用於記錄計算結果文件。

其中，對於接收模塊100通過網絡作業和工作流的方式，也就是用戶上傳或設置作業和工作流的位置，可以為本系統所處的web伺服器通過web接口獲取用戶在web中上傳或設置作業和工作流；也可以為web伺服器通過其他接口獲取用戶在對應的其他位置中上傳或設置作業和工作流，如web伺服器通過網絡接收用戶在的應用程式中上傳或設置作業和工作流。本實施例對此不受任何限制。

可以理解的是，腳本生成模塊200根據作業和工作流生成作業腳本的過程中，需要對如計算作業所需的內存、內核數以及分配給作業的掛起時間的請求資源進行設置。對於請求資源的設置方式，可以為直接使用預設的請求資源，也就是系統默認的請求資源或對作業進行分析後得到的請求資源；也可以為通過接收模塊100接收的用戶設置的請求資源，如用戶在web界面中上直接傳或設置了作業、工作流和請求資源。本實施例對此不做任何限制。

需要說明的是，本實施例所提供的系統中的執行模塊300，可以通過資源管理器執行腳本生成模塊200生成的腳本，獲取作業的計算結果文件；也可以通過資源管理器直接執行接收模塊100接收的腳本，獲取作業的計算結果文件。只要可以通過資源管理器執行腳本，獲取作業的計算結果文件，對於腳本的獲取方式和過程，本實施例不做任何限制。

優選的，本實施例所提供的系統還可以包括訪問模塊和解析模塊，以監視腳本的執行狀態，並將腳本的執行狀態也就是作業的計算狀態保存的記錄模塊，以方便用戶查看。如用戶可以通過web界面向記錄模塊發送展示請求，以在web界面中查看任務的計算狀態。

優選的，本實施例所提供的系統還可以包括管理單元，以方便用戶可以對作業進行管理。如用戶可以通過web界面刪除作業、取消正在運行的作業、在開始運行之前或之後暫停並保留作業，並且之後將來用戶能夠請求更改作業。

優選的，本實施例所提供的系統還可以包括驗證模塊，使得用戶需要先在預設的web網頁或app中登陸，再對作業進行高性能計算，提高本系統的安全性。

優選的，本實施例所提供的系統還可以包括顯示模塊，以方便用戶查看資源管理器管理的計算機集群的當前狀態的總結信息，進一步方便用戶對請求資源的設置。

優選的，本實施例所提供的系統還可以共享模塊，以保存工作流或工作流中的文件，方便自身或其他用戶可以方便的使用，以提升研究人員和研究團體之間的協作。

具體的，對於本實施例所提供的系統的具體設置，可以包括只包括本實施例所提供的4個模塊，也可以包括上述優選方案中的一個或多個模塊，還可以包括其他模塊以達到更優的效果。只要可以根據接收的作業和工作流，通過資源管理器計算該作業，達到對作業的高性能計算的目的，本實施例對此不做任何限制。對於本實施例所提供的系統中各模塊的具體設置位置和設置方式，可以由設計人員根據實用場景和用戶需求自行設置，如本實施例中的腳本生成模塊200和執行模塊300可以作為本實施例所提供的系統中計算作業功能的體現，設置在web伺服器的資料庫。本實施例對此同樣不做任何限制。

本實施例中，本發明實施例通過腳本生成模塊200根據作業和工作流生成作業腳本，可以消除用戶編寫腳本和開發工具的障礙，使用戶可以更加方便的通過資源管理器管理的計算機集群對作業進行高性能計算；通過記錄模塊400記錄計算結果文件，使用戶可以通過網絡在任意地點便捷的下載計算結果文件；並且通過本系統可以對多個資源管理器管理的計算機集群進行整合，提高了對於作業的高性能計算的效果，提升了用戶體驗。

請參考圖2、圖3和圖4，圖2為本發明實施例所提供的另一種基於web的作業計算系統的結構圖；圖3為本發明實施例所提供的另一種基於web的作業計算系統的軟體架構的示意圖；圖4為本發明實施例所提供的另一種基於web的作業計算系統的系統架構的示意圖。該系統可以包括：

接收單元110，用於通過網絡接收預先設置的web界面發送作業和計算作業所需的工作流；其中，工作流由文件組成。

腳本生成模塊200，用於根據作業和工作流生成作業腳本。

執行模塊300，用於通過資源管理器執行腳本，獲取作業的計算結果文件。

記錄模塊400，用於記錄計算結果文件。

驗證模塊500，用於根據接收單元110通過網絡接收的用戶登錄信息，判斷用戶登錄信息是否為預設用戶的登錄信息；若是，則通過接收單元110接收用戶登錄信息對應的用戶的作業和工作流。

訪問模塊600，用於按預設時間間隔訪問資源管理器，獲取腳本執行狀態對應的數據；

解析模塊700，用於解析數據，獲取數據對應的作業的狀態信息，並將狀態信息保存到記錄模塊400。

其中，對於本實施例所提供的系統的軟體架構，可以如圖3所示，通過web界面為用戶的提供作業的高性能計算系統，可以使用相關架構進行開發，本實施例對此不受任何限制。

如圖3所示，本系統的軟體架構可以採用三層架構：由表示層，應用層和數據存儲層組成。表示層負責接收用戶輸入並將其傳遞到應用層，也就是提供一個供用戶輸入作業和工作流的web界面，本實施對此不受任何限制。還可以提供訪問模塊600和解析模塊700對應的展示選項，可以允許用戶在行動裝置上監視和管理作業。

應用層由兩個模塊(或應用)組成，即圖1中的用戶模塊和作業模塊，負責根據從表示層接收的輸入來執行任務。用戶模塊也就是驗證模塊500負責用戶管理和認證，並執行安全功能，還負責提供作業計算系統中內置的協作功能。作業模塊可以包括腳本生成模塊200和執行模塊300以及與作業計算有關的模塊，負責提供工作流的創建、管理、提交，作業和作業歷史記錄的管理和監視，以及資源管理器插件管理、交互和配置資源管理器設置相關的功能。

除了上述兩個模塊，應用程式層還包括一個後臺服務和認證伺服器。後臺服務也就是訪問模塊600和解析模塊700的目的是持續輪詢底層的資源管理器，以確保作業記錄在記錄模塊400(資料庫)中保持最新。認證伺服器用於驗證模塊500可以通過linux身份驗證系統驗證用戶身份，以便用戶通過ssh登錄服務時具有相同的權限，若本系統可以自行驗證用戶身份，則不需要設置認證伺服器。

數據存儲層(資料庫)負責存儲作業、工作流和用戶詳細信息以及資源管理器配置數據和設置。

如圖4所示，本系統作為現有高性能計算集群之上的單獨組件進行安裝和配置，以形成雙層的系統架構。即現有的高性能計算軟體可以保持不變，並且不需要以任何方式修改或調整。為了使作業計算系統與儘可能多的資源管理器兼容，設計了一個自定義插件架構。使用這種架構，添加對其他資源管理器的支持只需為資源管理器編寫插件。這些插件需遵循三個規則：

一、插件必須從基本資源管理器類繼承。這個類提供了作業計算系統所需的一些重要功能，但也需要插件來覆蓋一些未實現的函數。

二、創建了多個預定義對象作為插件必須覆蓋的基本函數的輸出。插件必須用來自資源管理器的數據填充這些對象，並將它們返回到作業計算系統。通過這樣做，作業計算系統接收並知道如何處理對象或對象的列表。底層資源管理器對象內容可能不同，所以對象包含描述他們持有哪種類型數據的元數據，以便作業計算系統調整其接口來適應數據。

三、必須將插件複製並粘貼到作業計算系統知道要查找的特定文件夾中。要使用插件，必須在作業計算系統配置文件中指定插件名稱。

使用這種架構，將能夠快速增加支持的資源管理器的數量。

具體的，本系統可以為三種類型的用戶提供作業計算的功能，即開發人員，管理員和研究人員。這些功能包括如下內容：

1.作業計算和管理。作業計算系統可以允許用戶在運行時向集群提交新作業、監視和管理作業，並在作業完成後獲取作業的結果。它通過與底層資源管理器以及工作流管理服務連接來實現。

作業計算系統允許用戶上傳或創建要提交到集群的腳本，然後請求資源，包括所需的內存、內核數以及要分配給作業的掛起時間。基於這些輸入，作業計算系統通過腳本生成模塊200生成作業腳本並將其提交給資源管理器執行。作業計算系統能夠運行可以從命令行執行的任何程序或腳本，監視作業，直到其完成。依賴於資源管理器插件，包括所使用的資源，作業的輸入和輸出流以及作業的工作目錄。與輸出流組合的作業退出狀態用於確定執行是否成功。完成後，用戶可以從輸出和錯誤流訪問作業的結果，或從記錄模塊400下載計算結果文件。所有結果都可以通過web界面的「作業歷史記錄」選項卡訪問。

作業的實時監視通過訪問模塊600與資源管理器插件交互來完成。訪問模塊600由後臺服務持續輪詢以更新作業詳細信息。返回的數據被解析模塊700解析並存儲在作業計算系統資料庫(記錄模塊400)中，以保留所有作業的永久記錄。

除了監視作業的狀態，作業計算系統為用戶提供作業管理功能。如用戶可以從其作業歷史記錄中刪除作業、取消正在運行的作業、在開始運行之前或之後暫停或保留作業，並且將來用戶能夠請求更改作業。由於更改請求可能包括對其他資源的請求，因此它們需要管理員用戶的批准。如果非管理員用戶請求對其任務之一進行更改，則該請求將轉發給管理員用戶以授予或拒絕。

2.工作流管理。除了與底層資源管理器連接之外，作業計算系統還提供允許用戶構建和執行複雜計算管道或工作流的功能。工作流由一組模塊組成，每個模塊表示已添加到作業計算系統的一個工具。

工具可以是已安裝在集群上的任何命令行實用程序，也可以是用戶上傳的自定義腳本或可執行文件。對於每個工具，用戶向作業計算系統提供詳細信息，包括用於從終端運行工具或腳本的命令、命令可以採用的參數、應由資源管理器分配給工具的資源、以及工具將生成的預期輸出。所有這些細節通過web界面輸入到本系統中，然後存儲在資料庫後端。此外，用戶上傳的腳本和可執行文件自動存儲在由作業計算系統管理的目錄層次結構中。

作業計算系統提供一個工作流創建界面，其中各種工具可安排到複雜的工作流中。工具添加到工作流上，可以被重新排列，並且可以通過拖放在它們之間創建依賴關係。

作業計算系統允許工作流中的某些模塊按並行運行，同時其他模塊按順序運行。從作業計算系統界面的相應「工作流程」和「工具」選項卡中選擇和執行工作流和工具。要運行一個工具或工作流，作業計算系統提供自動生成的web界面。此界面允許用戶為創建的工具指定每個參數的值。

3.顯示面板。作業計算系統提供了一個包含詳細狀態信息的顯示面板。面板為用戶提供描述集群當前狀態的總結信息，包括有多少節點在線/離線、在整個群集中使用的處理器的比例、當前正在運行或等待運行的作業數以及仍然可用的磁碟空間量。

用戶可通過面板檢查集群中每個節點的狀態以及提交到集群的作業的當前隊列。顯示面板顯示的具體信息將取決於正在使用的資源管理器插件。如果用戶具有適當的權限，則該用戶能夠直接從隊列中取消作業。

4.訪問控制和協作。一旦用戶創建了工具或工作流，就可以與系統中的其他用戶共享。工具或工作流的創建者可以向某些用戶分配管理員權限。除了以管理員身份移除創建者，管理員擁有創建者擁有的所有權限。管理員可以向其他用戶分配權限。這些權限包括執行工具或工作流的能力、導出和下載要導入到作業計算系統的另一個實例中的工具或工作流、編輯工具等。工具和工作流也可以公開，這樣則所有用戶都有權運行它們。

5.集群配置。除了與底層資源管理器連接以提供作業管理功能之外，作業計算系統還提供集群配置功能。這允許管理員設置和管理隊列、配置伺服器、設置和添加計算節點。此頁面提供的功能將取決於正在使用的資源管理器插件。

對於本實施例所提供系統中各模塊的具體設置和數量，可以本實施所示，也可以通過上述功能的描述對應設置或增加其他模塊。本實施例對此不受任何限制。

本實施例中，本發明實施例通過驗證模塊500，使得用戶需要先在預設的web網頁中登陸，再對作業進行高性能計算，提高了本系統的安全性；通過訪問模塊600和解析模塊700在記錄模塊400中保存作業的狀態信息，使用戶可以方便的查看作業的計算狀態，提升了用戶體驗；通過預先設置的web界面，提供了用戶可以使用本系統的頁面，有利於本系統與用戶的交互，提高了用戶體驗。

說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的裝置而言，由於其與實施例公開的系統相對應，所以描述的比較簡單，相關之處參見系統部分說明即可。

專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同系統來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。

結合本文中所公開的實施例描述的系統或算法的步驟可以直接用硬體、處理器執行的軟體模塊，或者二者的結合來實施。軟體模塊可以置於隨機存儲器(ram)、內存、只讀存儲器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬碟、可移動磁碟、cd-rom、或技術領域內所公知的任意其它形式的存儲介質中。

以上對本發明所提供的基於web的作業計算系統進行了詳細介紹。本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的系統及其核心思想。應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以對本發明進行若干改進和修飾，這些改進和修飾也落入本發明權利要求的保護範圍內。