一種生命科學應用的集群分配方法、軟體安裝方法及裝置製造方法
2023-04-28 10:21:36 2
一種生命科學應用的集群分配方法、軟體安裝方法及裝置製造方法
【專利摘要】本發明公開了一種生命科學應用的集群分配方法及裝置、軟體安裝方法及系統，將這些應用快速高效地部署到集群中，其中，所述集群分配方法包括：對生命科學應用進行分類；根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。所述安裝方法在集群分配方法的基礎上還包括：在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝。本發明的集群分配方法及裝置、軟體安裝方法及系統將這些應用快速高效地部署到集群中，提高生命科學領域程序部署進度以及集群管理員的工作效率。
【專利說明】一種生命科學應用的集群分配方法、軟體安裝方法及裝置
【技術領域】
[0001]本發明涉及高性能計算科學集群，具體涉及一種生命科學應用的集群分配方法及裝置、軟體安裝方法及系統。
【背景技術】
[0002]將多臺同構或異構的計算機連接起來協同完成特定的任務就構成了集群(cluster)系統。簡單的說,集群(cluster)就是一組計算機,它們作為一個整體向用戶提供一組網絡資源。這些單個的計算機系統就是集群的節點。在高性能計算中，生命科學佔有非常重要的位置，並且在該領域中應用類別龐雜，每個應用又包含很多軟體，以某基因研究所為例，其應用軟體高達100種，這些應用有些為計算密集型應用，有些為存儲密集型，有些為內存密集型應用，有些事網絡密集型應用，如此多的應用，應用特徵不一，對硬體平臺的需求自然不同，使得集群選型部署難度重重，何種集群能夠滿足這麼多應用的需求就變的非常重要，如何將這些應用快速高效地部署到集群中是集群管理員或是科研工作者頭痛的問題。
【發明內容】
[0003]本發明需要解決的技術問題是提供一種生命科學應用的集群分配方法及裝置、軟體安裝方法及系統，將這些應用快速高效地部署到集群中，提高生命科學領域程序部署進度以及集群管理員的工作效率。
[0004]為了解決上述技術問題，本發明提供了一種生命科學應用的集群分配方法，包括:
[0005]對生命科學應用進行分類；
[0006]根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。
[0007]進一步地，所述對生命科學應用進行分類包括:
[0008]將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
[0009]進一步地，所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求；
[0010]所述分配策略包括:
[0011]當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群；
[0012]當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群；
[0013]當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。[0014]為了解決上述技術問題，本發明還提供了一種生命科學應用的集群軟體安裝方法，包括:
[0015]對生命科學應用進行分類；
[0016]根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群；
[0017]在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝。
[0018]進一步地，在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝包括:
[0019]根據所述應用的類別將各個類別對應的應用軟體使用靜態庫編譯軟體，生成二進位文件，並將每類應用的所述二進位文件構建一個文件夾。
[0020]進一步地,所述方法還包括:
[0021]當有應用軟體需要更新時，將需要更新的應用軟體使用靜態庫重新編譯軟體生成二進位文件，添加到相應應用類別的所述文件夾中。
[0022]進一步地，在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝之前，還包括:
[0023]在所述集群中的節點上安裝作業系統及集群文件系統，安裝編譯器並設置消息傳送接口 MPI並行環境。
[0024]進一步地，所述對生命科學應用進行分類包括:
[0025]將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
[0026]進一步地，所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求；
[0027]所述分配策略包括:
[0028]當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群；
[0029]當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群；
[0030]當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
[0031]為了解決上述技術問題，本發明還提供了一種生命科學應用的集群分配裝置，包括:
[0032]分類模塊，用於對生命科學應用進行分類；
[0033]集群分配模塊，用於根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。
[0034]進一步地，所述對生命科學應用進行分類包括:
[0035]將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
[0036]進一步地，所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求；
[0037]所述分配策略包括:[0038]當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群；
[0039]當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群；
[0040]當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
[0041]為了解決上述技術問題，本發明還提供了一種生命科學應用的集群軟體安裝系統，包括:如上所述的裝置，還包括:
[0042]與所述裝置相連的安裝模塊，用於在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝。
[0043]進一步地，所述安裝模塊，用於在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝包括:
[0044]根據所述應用的類別將各個類別對應的應用軟體使用靜態庫編譯軟體，生成二進位文件，並將每類應用的所述二進位文件構建一個文件夾。
[0045]進一步地，所述安裝模塊，還用於當有應用軟體需要更新時，將需要更新的應用軟體使用靜態庫重新編譯軟體生成二進位文件，添加到相應應用類別的所述文件夾中。
[0046]與現有技術相比，本發明提供的生命科學應用的集群分配方法及裝置、軟體安裝方法及系統，分析生命科學應用類別，選擇滿足分配策略的集群，能夠將這些應用快速高效地部署到集群中，大大提高了生命科學領域程序部署進度，通過使用靜態庫批量的安裝生命科學應用軟體，大大提高了集群管理員的工作效率。
【專利附圖】
【附圖說明】
[0047]圖1是實施例中生命科學應用的集群分配方法流程圖；
[0048]圖2是實施例中生命科學應用的集群軟體安裝方法流程圖；
[0049]圖3是實施例中生命科學應用的集群軟體安裝方法流程圖；
[0050]圖4是實施例中生命科學應用的集群分配裝置結構圖；
[0051]圖5是實施例中生命科學應用的集群軟體安裝系統結構圖。
【具體實施方式】
[0052]為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本發明的實施例進行詳細說明。需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互任意組合。
[0053]實施例:
[0054]如圖1所示，本實施例提供了一種生命科學應用的集群分配方法，包括:
[0055]SlOl:對生命科學應用進行分類；
[0056]其中，將生命科學類應用中與高性能計算相關的應用照生命科學的研究方向，研究熱點等將生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構等幾個類別；[0057]S102:根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。
[0058]其中，集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求；
[0059]其中，生命科學中有三種集群，分別是:胖節點集群，雙路高主頻高網絡帶寬集群，雙路高主頻高IO吞吐集群，在步驟S102中，所述分配策略包括:
[0060]當某類應用對內存容量需求大於第一閾值且對磁碟IO需求大於第二閾值時，為該類應用分配胖節點集群；
[0061]當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第二閾值且大於第三閾值、主頻敏感度大於第四閾值、對網絡帶寬需求高於第五閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群；
[0062]當某類應用對內存需求小於第一閾值、對磁碟IO需求大於第二閾值、主頻敏感度大於第四閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
[0063]例如，序列比對應用對內存容量需求以及磁碟IO需求中上，高主頻可加快計算速度；序列拼接應用內存容量需求以及磁碟IO需求大，高主頻可加快計算速度。一般情況下，序列比對和序列拼接應用會被同時使用，這兩類應用的應用特徵也有其交集，能夠滿足需求序列拼接的集群必然能夠滿足序列比對應用，且能發揮較好性能，一般大內存胖節點集群滿足序列比對和序列拼接應用的計算需求；分子動力學、分子對接、蛋白質結構預測這三類應用都是對內存容量需求小，主頻敏感度高，擴展性較好，網絡帶寬需求高,磁碟IO需求適中的應用，雙路高主頻、高網絡帶寬集群適用於該類應用，集群一般選用雙路高主頻機型，各個機器間使用高速Infiniband網絡互連；質譜解析，三維電鏡重構應用對內存容量需求小,磁碟IO需求較大，主頻敏感度高，擴展性好，一般雙路高主頻高IO吞吐集群適用於該類應用。
[0064]如果某客戶應用包含著幾個方面，可以選擇胖節點和雙路節點機型，雙路節點間通過高速INFINIBAND互聯；各個胖節點千兆連接，各個胖節點節點內並行即可，胖節點只運行序列比對，序列拼接應用；對於存儲介質，鑑於序列比對，序列拼接，質譜解析和電鏡三維重構對磁碟IO壓力較大，可選用讀速率達到1.2GB/s,寫速率達到700-800MB/S的設備，且磁碟容量較大；存儲和計算節點間使用萬兆或是光纖互聯。
[0065]此外，如圖2所示，本實施例還提供了一種生命科學應用的集群軟體安裝方法，SP在上述步驟SlOl?S102之後，還包括以下步驟:
[0066]S103:在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝；
[0067]根據所述應用的類別將各個類別對應的應用軟體使用靜態庫編譯軟體，生成二進位文件；這樣不論系統版本如何升級，這些編譯出的二進位文件均可以使用，無需重頭編譯。
[0068]按照研究方向進行分類，應用的類別包括:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構等8類應用，每類應用對應多種軟體，每種軟體都使用靜態庫安裝，生成二進位文件；
[0069]由於在現有技術中，都是在節點上一個一個軟體地安裝，每個節點上都需要將每套應用軟體安裝一遍，浪費時間、效率極低，而本實施例將所有待安裝的應用軟體根據應用的類別使用靜態庫編譯軟體生成二進位文件後，統一安裝，就可以節省大量時間，提高工作效率了。
[0070]S104:在安裝所述應用軟體時，將使用靜態庫安裝生成的二進位文件統一設置在一個固定目錄下，即將每類應用的所述二進位文件構建一個文件夾，並且設置相應的環境變量。
[0071]如圖3所示，本實施例還提供了一種生命科學應用的集群軟體安裝方法，包括以下步驟:
[0072]S201:對生命科學應用進行分類；
[0073]S202:根據各類應用對內存容量需求、對磁碟IO需求、主頻敏感度、擴展性的要求，為各類應用分配滿足分配策略的集群；
[0074]S203:在所述集群中的節點上安裝作業系統及集群文件系統，安裝編譯器並設置MPI並行環境；
[0075]其中，安裝作業系統前先確定各個節點主機名，節點名稱能夠區分登陸節點，管理節點，計算節點，胖節點，IO節點，在這些節點上安裝相應的作業系統，作業系統安裝完成後該節點的名稱也相應確定了。系統安裝完成後配置NFS (Network File System，網絡文件系統)或是Lustre文件系統，節點間訪問時無需密碼；安裝編譯器，並設置MPI並行環境。
[0076]S204:生命科學應用集群部署完成後按需進行軟體安裝，在安裝軟體時，全部選用靜態庫進行安裝，編譯生成二進位文件；
[0077]S205:將應用程式打包分裝，即將安裝好的二進位文件統一設置在一個固定目錄下，即，將每類應用的所述二進位文件構建一個文件夾，並且設置好環境變量；
[0078]S206:判斷是否有軟體需要更新，如果是，則將需要更新的應用軟體使用靜態庫重新編譯軟體生成二進位文件，添加到相應應用類別的文件夾中。
[0079]如圖4所示，本實施例還提供了生命科學應用的集群分配裝置，包括:
[0080]分類模塊，用於對生命科學應用進行分類；
[0081]集群分配模塊，用於根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。
[0082]其中，所述對生命科學應用進行分類包括:
[0083]將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
[0084]所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求；
[0085]所述分配策略包括:
[0086]當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群；
[0087]當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群；
[0088]當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
[0089]如圖5所示，本實施例還提供了一種生命科學應用的集群軟體安裝系統，包括如上所述的生命科學應用的集群分配裝置以及與其相連的安裝模塊，用於在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝。
[0090]其中，所述安裝模塊，用於在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝包括:
[0091]根據所述應用的類別將各個類別對應的應用軟體使用靜態庫編譯軟體，生成二進位文件，並將每類應用的所述二進位文件構建一個文件夾。
[0092]此外，優選地，所述安裝模塊，還用於當有應用軟體需要更新時，將需要更新的應用軟體使用靜態庫重新編譯軟體生成二進位文件，添加到相應應用類別的所述文件夾中。
[0093]從上述實施例可以看出，相對於現有技術，上述實施例中提供的生命科學應用的高性能計算集群分配方法及應用軟體安裝方法，分析生命科學應用類別，選擇滿足分配策略的集群，能夠將這些應用快速高效地部署到集群中，大大提高了生命科學領域程序部署進度，通過使用靜態庫批量的安裝生命科學應用軟體，大大提高了集群管理員的工作效率。
[0094]本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬體完成，所述程序可以存儲於計算機可讀存儲介質中，如只讀存儲器、磁碟或光碟等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現。相應地，上述實施例中的各模塊/單元可以採用硬體的形式實現，也可以採用軟體功能模塊的形式實現。本發明不限制於任何特定形式的硬體和軟體的結合。
[0095]以上所述僅為本發明的優選實施例而已，並非用於限定本發明的保護範圍。根據本發明的
【發明內容】
，還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
【權利要求】
1.一種生命科學應用的集群分配方法，包括: 對生命科學應用進行分類； 根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。
2.如權利要求1所述的方法，其特徵在於: 所述對生命科學應用進行分類包括: 將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
3.如權利要求1所述的方法，其特徵在於:所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求； 所述分配策略包括: 當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群； 當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群； 當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
4.一種生命科學應用的集群軟體安裝方法，包括: 對生命科學應用進行分類； 根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群； 在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝。
5.如權利要求4所述的方法，其特徵在於: 在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝包括: 根據所述應用的類別將各個類別對應的應用軟體使用靜態庫編譯軟體，生成二進位文件，並將每類應用的所述二進位文件構建一個文件夾。
6.如權利要求5所述的方法，其特徵在於:所述方法還包括: 當有應用軟體需要更新時，將需要更新的應用軟體使用靜態庫重新編譯軟體生成二進位文件，添加到相應應用類別的所述文件夾中。
7.如權利要求4所述的方法，其特徵在於:在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝之前，還包括: 在所述集群中的節點上安裝作業系統及集群文件系統，安裝編譯器並設置消息傳送接口 MPI並行環境。
8.如權利要求4所述的方法，其特徵在於: 所述對生命科學應用進行分類包括: 將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
9.如權利要求4所述的方法，其特徵在於:所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求； 所述分配策略包括 :當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群； 當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群； 當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
10.一種生命科學應用的集群分配裝置，包括: 分類模塊，用於對生命科學應用進行分類； 集群分配模塊，用於根據各類應用對集群資源的需求，為各類應用分配滿足分配策略的集群。
11.如權利要求10所述的裝置，其特徵在於: 所述對生命科學應用進行分類包括: 將所述生命科學應用分為:序列比對、序列拼接、分子動力學、分子對接、蛋白質結構預測、質譜解析和三維電鏡重構。
12.如權利要求10所述的裝置，其特徵在於:所述對集群資源的需求包括:對內存容量需求、對磁碟IO需求、主頻敏感度和擴展性的要求； 所述分配策略包括: 當某類應用對內存容量需求及磁碟IO需求大於第一閾值時，為該類應用分配胖節點集群； 當某類應用對內存需求小於第一閾值、對磁碟IO需求小於第一閾值且大於第二閾值、主頻敏感度大於第三閾值、對網絡帶寬需求高於第四閾值且擴展性好時，為該類應用分配雙路高主頻、高網絡帶寬集群； 當某類應用對內存容量需求小於第一閾值、對磁碟IO需求大於第一閾值、主頻敏感度大於第三閾值且擴展性好時，為該類應用分配雙路高主頻高IO吞吐集群。
13.—種生命科學應用的集群軟體安裝系統，包括:如權利要求10~12任一項所述的裝置，還包括: 與所述裝置相連的安裝模塊，用於在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝。
14.如權利要求13所述的系統，其特徵在於: 所述安裝模塊，用於在所述集群的節點上將待安裝的應用軟體使用靜態庫進行安裝包括: 根據所述應用的類別將各個類別對應的應用軟體使用靜態庫編譯軟體，生成二進位文件，並將每類應用的所述二進位文件構建一個文件夾。
15.如權利要求14所述的系統，其特徵在於: 所述安裝模塊，還用於當有應用軟體需要更新時，將需要更新的應用軟體使用靜態庫重新編譯軟體生成二進位文件，添加到相應應用類別的所述文件夾中。
【文檔編號】G06F9/445GK103473140SQ201310467565
【公開日】2013年12月25日 申請日期:2013年10月9日 優先權日:2013年10月9日
【發明者】金蓮 申請人:浪潮(北京)電子信息產業有限公司