一種在大規模集群中調度MaterialsStudio並行計算的方法

2023-04-27 12:49:16 2

一種在大規模集群中調度Materials Studio並行計算的方法
【專利摘要】本發明特別涉及一種在大規模集群中調度MaterialsStudio並行計算的方法。該在大規模集群中調度MaterialsStudio並行計算的方法通過openPBS作業調度軟體，openmpi等工具使MaterialsStudio在Linux集群中實現作業的並行計算。本發明通過相關配置，使用openPBS作業調度軟體能實現在大規模Linux集群中對MaterialsStudio作業進行統一調度；對用戶來說，只需要用qsub命令提交作業，計算和存儲都在集群中，方便；對集群管理員，能夠達到對使用該軟體用戶可見可管可控的目的，省心。
【專利說明】—種在大規模集群中調度Mater ial s Stud iο並行計算的方法

【技術領域】
[0001]本發明涉及計算機【技術領域】，特別涉及一種在大規模集群中調度MaterialsStud1並行計算的方法。

【背景技術】
[0002]隨著信息化社會的飛速發展，人類對信息處理能力的要求越來越高，不僅石油勘探、氣象預報、航天國防、科學研究等需求高性能計算機，而金融、政府信息化、教育、企業、網路遊戲等更廣泛的領域對高性能計算的需求迅猛增長。當然，要進行高性能計算除了更高速的網絡以及更高性能的伺服器，應用軟體與高性能集群的有效搭配也是必須的。
[0003]Materials Stud1是專門為材料科學領域研究者開發的一款可運行在PC上的模擬軟體。可以解決當今化學、材料工業中的一系列重要問題。它的跨平臺性使化學及材料科學的研究者們能更方便地建立三維結構模型，並對各種晶體、無定型以及高分子材料的性質及相關過程進行深入的研究。
[0004]雖然Materials Stud1有支持多種操作平臺的優點,然而其大多時候還是被用在Windows系統或者小型的工作站上，這其中除了用戶對Linux系統的不熟悉外，主要是因為在大規模集群中目前並沒有一種統一的行之有效又靈活的調度方式讓用戶能夠輕鬆的提交管理作業。而且對於集群的管理人員，由於Materials Stud1安裝方式的特殊性，也不能很好的對不同用戶提交的作業進行管理，監控及記帳。隨著科技的日新發展，人們對高性能計算的要求也逐步提高，Materials Stud1作為材料科學領域不可或缺的軟體,實現其在大規模計算集群上的部署及應用是必然的。
[0005]對於Materials Stud1軟體，當前大多數用戶主要有以下兩種使用方式。
[0006]1、單機使用，只安裝在獨立PC機上，直接單機計算。優點是安全性高，操作簡單，缺點是單機性能較低，運算時間長，運算結果佔用空間大，而且運算時用戶不能關機也影響用戶在該PC機上的其他操作。
[0007]2、使用Materials Stud1 Windows客戶端提交作業,通過選擇合適的遠程伺服器提交作業計算。優點是計算速度快，缺點是作業狀態對客戶不可見，用戶只能通過Web界面對作業進行管理，如果是大規模集群，用戶數量多，都用一個公用ip的話肯定會有性能上的影響。而且對於集群管理員來說，對Materials Stud1用戶的管理工作也成了一份十分傷神的負擔。


【發明內容】

[0008]本發明為了彌補現有技術的缺陷，提供了一種方便實用的在大規模集群中調度Materials Stud1並行計算的方法。
[0009]本發明是通過如下技術方案實現的:
一種在大規模集群中調度Materials Stud1並行計算的方法,其特徵在於包括以下步驟:
a)在電腦終端上新建用戶I，並設置該用戶的ssh無密碼訪問及環境變量；
b)配置好NFS服務以及nis服務實現對集群用戶的統一管理；
c)編譯安裝openmpi並在/etc/bashrc裡指定其環境變量；
d)安裝Torque+maui作業調度軟體；
e)切換為用戶I完成對MaterialsStud1 6.1軟體的安裝；
f)開啟Gateway並將其設直為開機啟動；
g)將如下用戶1.sh文件放入用戶I的家目錄下的Accelrys下,此目錄為MaterialsStud1的默認安裝目錄；
h)編輯pbs腳本，並為每個需要使用MS軟體的用戶建立帳戶配置好並行環境，並將其加入到用戶I的組內，最後使用test測試。
[0010]所述電腦終端作業系統為Windows,軟體工具包括Materials Stud1 6.1,Xmanager Enterprise 4。
[0011]本發明的有益效果是:本發明通過相關配置，使用OpenPBS作業調度軟體能實現在大規模Linux集群中對Materials Stud1作業進行統一調度；對用戶來說，只需要用qsub命令提交作業，計算和存儲都在集群中，方便；對集群管理員，能夠達到對使用該軟體用戶可見可管可控的目的，省心。

【專利附圖】

【附圖說明】
[0012]下面結合附圖對本發明作進一步的說明。
[0013]附圖1為本發明方法流程示意圖。

【具體實施方式】
[0014]附圖為本發明的一種具體實施例。該在大規模集群中調度Materials Stud1並行計算的方法，物理環境為:
硬體架構:1臺電腦終端作業系統:Windows
軟體工具:Materials Stud1 6.1, Xmanager Enterprise 4
Linux集群
作業系統:Redhat Iinux 文件系統:NFS
工具:PBS, MPI, ssh 等，安裝了 Linux 版的 Materials Stud1 6.1。
[0015]該在大規模集群中調度Materials Stud1並行計算的方法,包括以下步驟:
1、新建用戶ms61，並按照以下步驟設置好該用戶的ssh無密碼訪問及環境變量。
[0016]設置集群間無需密碼的ssh登陸，方法原理如下:
假設A，B，C伺服器，現在需要在A機上用root登陸B機C機，而不需要輸入密碼，那我們可按照下面的步驟來做。
[0017](I)在A機上以root用戶登錄，生成鑰匙對，執行以下命令:
[rootilinuxA # ssh-keygen _t dsa 目的是簡單的在/root下創建目錄.ssh,當提示輸入passphase時打入兩次回車。這將生成 /root/, ssh/id—dsa 和 /root/, ssh/id—dsa.pub。其中 id—rsa 是密鑰，id—rsa.pub是公鑰。
[0018](2)在B機上以root登錄，運行ssh-keygen - t dsa，然後將A機上的id—rsa.pub 文件複製到 B 機的 /root/.ssh/authorized_keys2 中，在 B 機的 /root/, ssh/ 目錄下運行 cat id—dsa.pub〉〉authorized—keys2，再將 B 機的 authorized—keys2 文件複製到 C機的/root/, ssh/文件夾下。
[0019](3)重複以上步驟在後面結點上，在最後的計算節點上將生成一個完整的authorized—keys2文件，然後把authorized—keys2文件用scp命令拷貝到其餘所有節點的/root/, ssh/目錄下，ssh配置完成。
[0020](4)測試
在A機上以root帳號登錄，嘗試ssh登錄B機。命令:
[rootilinuxA # ssh root@LinuxB 看看是不是需要密碼。
[0021]說明，通過此配置方法可以在新集群中以達到所有節點間實現ssh無密碼訪問；
2、配置好NFS服務以及nis服務實現對集群用戶的統一管理；
3、編譯安裝openmpi並在/etc/bashrc裡指定其環境變量；
4、安裝Torque+maui作業調度軟體；
5、切換為用戶ms61完成對MaterialsStud1 6.1軟體的安裝;
#su ms61
#cd /media/UNIX/Materials Stud1 6.1/
#_/Install
6、開啟Gateway並將其設直為開機啟動。
[0022]#cp msgateway—control—18888 /etc/rc.d/init.d
#/sbin/chkconfig - add msgateway_control_18888
#/sbin/chkconfig msgateway_control_18888 on
7、設置環境變量，可以將環境變量寫到一個ms61.sh文件中，放入用戶ms61的家目錄下的Accelrys下，此目錄為Materials Stud1的默認安裝目錄。
[0023]此時MS已經安裝完成，如果用MS的Windows客戶端提交作業的話，集群管理人員只能發現是ms61這個用戶在提交作業，如果需要控制用戶，只能通過MS軟體本身的用戶管理功能，這對於大型集群管理顯然是非常的不方便；
8、編輯pbs作業腳本時，只要將環境變量的路徑指定一下就行了。
[0024]#pbs 腳本
source /home/ms61/Accelrys/ms61.sh
使用ms61用戶提交作業測試。
[0025]#qsub ms61.pbs
查看作業狀態。
[0026]#qstat -a - n
等待最終計算結果；
9、為每個需要使用MS軟體的用戶建立帳戶配置好並行環境，並將其加入到ms61用戶的組內。
[0027]#useradd test #usermod -G ms61 test #gpasswd -a test ms61
10、使用test測試。
[0028]#qsub ms61.pbs
#qstat查看作業狀態
如此，用戶只需要利用Xmanager等工具連接到集群上傳作業進行計算，無需一直打開本地MS終端，作業計算完成就保存在自己所有帳戶的家目錄下，不用擔心MS計算結果過大而造成的本地存儲資源吃緊的現象。
[0029]對於集群管理員，使用qstat命令即可查看MS作業的所有者是test而不只是MS軟體的安裝用戶ms61。既方便了管理也可以對使用者進行流量控制以及記帳。
【權利要求】
1.一種在大規模集群中調度Materials Stud1並行計算的方法,其特徵在於包括以下步驟: a)在電腦終端上新建用戶I，並設置該用戶的ssh無密碼訪問及環境變量； b)配置好NFS服務以及nis服務實現對集群用戶的統一管理； c)編譯安裝openmpi並在/etc/bashrc裡指定其環境變量； d)安裝Torque+maui作業調度軟體； e)切換為用戶I完成對MaterialsStud1 6.1軟體的安裝； f)開啟Gateway並將其設直為開機啟動； g)將如下用戶1.sh文件放入用戶I的家目錄下的Accelrys下,此目錄為MaterialsStud1的默認安裝目錄； h)編輯pbs腳本，並為每個需要使用MS軟體的用戶建立帳戶配置好並行環境，並將其加入到用戶I的組內，最後使用test測試。
2.根據權利要求1所述的在大規模集群中調度MaterialsStud1並行計算的方法，其特徵在於:所述電腦終端作業系統為Windows,軟體工具包括Materials Stud1 6.1,Xmanager Enterprise 4。
【文檔編號】G06F9/48GK104166595SQ201410411469
【公開日】2014年11月26日 申請日期:2014年8月20日 優先權日:2014年8月20日
【發明者】李徵 申請人:浪潮電子信息產業股份有限公司