適於集群系統的並行程序集成開發系統及其應用實現方法

2023-04-26 10:41:46 4

專利名稱：適於集群系統的並行程序集成開發系統及其應用實現方法
技術領域：
本發明涉及一種適於集群系統的分布式並行程序集成開發系統及其應用實現方法。
背景技術：
集成開發環境(Integrated Development Environment, IDE)是當前軟體工程師 進行軟體研發的主要工具和手段，它通常集成了編輯器、編譯器和調試器，允許軟體工程師 進行程序原始碼的編寫、修改、編譯和調試。當前市場上有多個廣泛使用的集成開發環境， 其中有影響力的包括微軟公司的Microsoft Visual Studio. Net和開源軟體Eclipse。
各類軟體可以依據執行方式分為串行程序和並行程序兩類串行程序是指軟體 或程序在執行過程中由單個進程或線程獨自完成所有的計算工作；並行程序是指軟體或 程序在執行過程中由多個進程或線程協同工作完成計算工作。隨著多核處理器和集群 (Cluster,即多臺計算機通過內部網絡互聯成一個整體進行計算)的廣泛使用，當前並行 程序在軟體開發中所佔比重正逐步增加。 現有的集成開發環境主要針對單臺計算機進行工作，即程序的編寫、編譯和調
試等工作均在一臺計算機進行，對集群系統下的並行程序開發缺乏良好的支持。最新的 Microsoft Visual Studio. Net 2008支持並行程序的開發，但仍然採用一份編譯器系統，
即實際程序的編譯只能在一臺計算機完成，編譯生成的可執行程序只能在和編譯器所在的
計算機相同或相近的系統中運行，不具有多平臺(如Li皿x、Unix)等環境的可移植性。 現有的並行程序開發方法有兩種第一種方法是在單機集成開發環境l'，如
Microsoft Visual Studio中開發、調試、編譯所述的並行程序，生成可執行文件(如圖l所
示)。但此時生成的可執行文件缺乏多平臺環境下的可移植性，並行程序執行需要手工複製
單機環境下生成的可執行文件到集群環境2'中，而後才可繼續執行。第二種方法是在缺乏
單機集成開發環境的情況下，直接在集群環境中開發並行程序，這將導致編譯、調試存在一
定的困難，雖然開發的程序滿足一定的平臺移植性，但開發過程和難度都很大。 另夕卜，中國專利申請"三層架構下的集成編譯環境的實現方法"(公開號
CN101097525)提出了一種三層架構下的集成編譯環境的實現方法，其使用XML作為主文
件、中間件、主機信息環境變量，利用作業系統的編譯器進行編譯。但這種技術主要是為了
實現對後臺程序的集中管理，尤其是複雜應用版本管理等，缺乏對並行程序開發和分布式
集群環境的支持。 整體而言，現有的技術和產品大多不支持面向集群環境的並行程序的開發；個別 最新產品能夠編譯生成可運行於集群系統的並行程序，但編譯工作仍在單機客戶端進行， 缺乏集群環境的驗證，且生成的目標代碼不具備跨作業系統的可移植性。

發明內容
本發明的目的在於提供一種適於集群系統的分布式並行程序集成開發系統及其
4應用實現方法，在所述的並行程序集成開發系統中，通過在個人開發單機端和程序運行的 集群伺服器端同時建立配置編譯和運行環境，能夠使得開發的並行程序具有良好的可移植 性，並且使得並行程序的開發更為簡潔方便。 為達上述目的，本發明提供一種適於集群系統的分布式並行程序集成開發系統，
其包括通過乙太網連接的單機端的集成開發系統和集群伺服器端的集群系統； 所述的單機端的集成開發系統為遠程開發，是整個系統的入口 ，響應各類請求；其
包含並行程序集成開發模塊，並行程序開發的中間模塊和單機端作業系統； 所述的並行程序集成開發模塊進行並行程序代碼的編寫和調試，獲得調試通過的
並行程序原始碼； 所述的並行程序開發的中間模塊包含分別和並行程序集成開發模塊信號連接的 通信服務模塊、服務配置模塊以及遠程編譯和調試運行模塊； 所述的遠程編譯和調試運行模塊將單機端集成開發產生的原始碼程序自動傳輸 到遠程集群伺服器端的集群系統中，在單機端的控制下，在遠程集群系統中完成編譯及運 行； 所述的集群伺服器端的集群系統為遠程開發代理，包括若干節點和高速網絡，所 述的節點對並行程序進行遠程控制和運行，該節點和節點之間的信息傳遞通過所述的高速 網絡完成； 所述的節點為高性能伺服器，包含編譯器和MPI消息通信庫模塊； 所述的編譯器與單機端集成開發系統中的並行程序集成開發模塊無縫集成，可方
便地從該並行程序集成開發模塊中對原始碼進行調用、編譯、調試和運行處理，該編譯器具
備並行集成開發系統的調試和分析功能； 所述的MPI消息通信庫模塊為並行程序原始碼的開發、編譯、調試及運行進行優 化。 所述的單機端和集群伺服器端之間通過標準ftp(File Transfer Protocol, 文件傳輸協議)/sftp (Secure File Transfer Protocol,安全文件傳輸協議)、 telnet (Internet的遠程登錄協議)以及遠程開發協議實現協同工作，進行數據傳輸。
所述的通信服務模塊實現在並行程序開發過程中單機端和集群伺服器端之間的 遠程交互；如實現本地單機端和集群伺服器端建立工程的開發模式、遠端編譯報錯信息的 本地單機端定位、在本地單機端和集群伺服器端制定路徑文件的查找和定位、單機端和集 群伺服器端之間的多重遠程動態連接。 所述的服務配置模塊中包括和集群伺服器端建立連接的配置，以及在並行程序開 發過程中支持各個單機端協作開發的配置。 進一步，所述的並行程序開發的中間模塊還包括和並行程序集成開發模塊信號 連接的支持若干軟體語言的編輯器，其包含程序模板調用模塊、MPI (Message Passing Interface,消息傳遞接口 )庫函數調用模塊、C庫函數調用模塊、Fortran庫函數調用模 塊以及其他常用的庫函數調用模塊；提供簡單、易用的代碼編輯環境，完成基於C/C++及 Fortran語言的並行程序開發。 所述的節點還包含數學函數庫模塊，包括C庫函數調用模塊、Fortran庫函數調用 模塊以及其他常用的庫函數調用模塊，使得編譯器支持C、C++、Fotran77和Fortran99的軟體語言。 本發明還提供一種適於集群系統的分布式並行程序集成開發系統的實現方法，其 包括以下步驟 步驟1、在單機端的集成開發系統和集群伺服器端的集群系統中均建立並配置並 行程序編譯和運行環境，使得原始碼在單機端和集群伺服器端具有可移植性；
步驟2、在單機端集成開發系統的並行程序集成開發模塊中進行並行程序代碼的 編寫和調試，獲得調試通過的並行程序原始碼； 步驟3、將步驟2中所得到的並行程序原始碼自動傳輸到集群伺服器端； 步驟4、在集群伺服器端的集群系統中對所述的並行程序原始碼完成編譯，最終基
於該集群系統生成可執行的並行程序文件。 所述的步驟1中，單機端的集成開發系統的程序編譯和運行環境包含遠程編譯和 調試運行模塊；所述的集群伺服器端的集群系統中的程序編譯和運行環境包含編譯器和 MPI消息通信庫模塊。 所述的步驟3具體為單機端的遠程編譯和調試運行模塊將單機端集成開發產生 的原始碼程序傳輸到遠程集群伺服器端集群系統中的編譯器中。
所述的步驟4具體包含以下步驟 步驟4. 1、在單機端的控制下，利用通信服務模塊，在遠程集群系統的編譯器中，根 據當前系統配置，對並行程序原始碼完成編譯及運行，並由MPI消息通信庫模塊進行程序 優化，生成可執行的並行程序文件； 步驟4. 2、集群伺服器端將編譯執行後生成的並行程序文件及時發送到單機端，呈 現給用戶；若編譯出錯，向單機端提供錯誤定位信息。 本發明提供的適於集群系統的分布式並行程序集成開發系統及其應用實現方法， 具有以下特點 1、同時在個人開發單機端和集群伺服器端配置並行程序的編譯環境； 2、個人開發單機端向集群伺服器端傳輸的不是已經編譯完成的可執行文件，而是
經過調試通過的並行程序原始碼； 3、在集群伺服器端的集群系統中完成並行程序原始碼的最終編譯，基於該集群系 統生成可執行的並行程序。 本發明提供的集群系統的分布式並行程序集成開發系統及其應用實現方法，具有 以下有益效果 1、由於並行程序原始碼的編寫和調試是在個人開發單機端完成的，開發者無需考 慮集群系統的配置或環境，使得開發和調試更為簡潔方便； 2、由於在單機端和集群伺服器端傳輸的是並行程序原始碼，而不是可執行程序， 這使得整個開發系統具有良好的可移植性，針對使用不同版本作業系統的集群伺服器，通 過預先配置的編譯環境，即可依據單機端開發生成的原始碼生成適合當前集群伺服器使用 的作業系統的可執行文件； 3、通過單機端和集群伺服器端之間的通信模塊等的設置，可以實現原始碼的自動 傳輸和伺服器端的自動編譯，無需程序開發人員參與，有效提高並行程序開發的效率。


圖1為現有技術中的並行程序開發方法的原理示意圖； 圖2為本發明提供的適於集群系統的分布式並行程序集成開發系統的示意圖；
圖3為本發明中的集群伺服器端的集群系統的硬體結構圖； 圖4為本發明提供的適於集群系統的分布式並行程序集成開發系統的應用實現 方法的原理示意圖。
具體實施例方式
以下結合圖2 圖4，詳細說明本發明的一種較佳實施方式。 如圖2所示，為本發明提供的一種適於集群系統的分布式並行程序集成開發系 統，其包括通過100M的乙太網3連接的單機端(也稱客戶端)1的集成開發系統和集群服 務器端2的集群系統； 所述的單機端1的集成開發系統為遠程開發，是整個系統的入口 ，響應用戶的各 類請求；其包含並行程序集成開發模塊ll，並行程序開發的中間模塊和單機端作業系統 13 ; 所述的並行程序集成開發模塊11進行並行程序代碼的編寫和調試，獲得調試通 過的並行程序原始碼； 所述的並行程序開發的中間模塊包含分別和並行程序集成開發模塊11信號連 接的通信服務模塊121、服務配置模塊122以及遠程編譯和調試運行模塊123 ;
所述的遠程編譯和調試運行模塊123將單機端1集成開發產生的原始碼程序自動 傳輸到遠程集群伺服器端2的集群系統中，在單機端1的控制下，在遠程集群系統中完成編 譯及運行； 所述的單機端作業系統13支持Windows/Li皿x作業系統； 所述的集群伺服器端2的集群系統為遠程開發代理，如圖3所示，其包括若干節 點21和高速網絡22，所述的節點21對並行程序進行遠程控制和運行，各個節點21之間的 信息傳遞通過所述的高速網絡22完成，該高速網絡22可以是千兆乙太網(Gig-E)，或者是 Myrinet，或者是InfiniBand ; 本實施例中，所述的節點21為超級計算機，支持Li皿x作業系統，包含編譯器211 和MPI消息通信庫模塊212 ; 所述的編譯器211與單機端1集成開發系統中的並行程序集成開發模塊11無縫 集成，可方便地從該並行程序集成開發模塊11中對原始碼進行調用、編譯、調試和運行處 理，該編譯器211具備並行集成開發系統的調試和分析功能； 所述的MPI消息通信庫模塊212為並行程序原始碼的開發、編譯、調試及運行進行 優化，本實施例中，採用MPI庫作為MPI消息通信庫模塊212，其為針對曙光4000A集群系統 的通信和消息庫測評分析之後，經過優化配置的。 所述的單機端1和集群伺服器端2之間通過標準ftp/sftp、telnet以及遠程開發 協議實現協同工作，進行數據傳輸。 所述的通信服務模塊121實現在並行程序開發過程中單機端1和集群伺服器端2 之間的遠程交互；如實現本地單機端1和集群伺服器端2建立工程的開發模式、遠端編譯報錯信息的本地單機端1定位、在本地單機端1和集群伺服器端2制定路徑文件的查找和定 位、單機端1和集群伺服器端2之間的多重遠程動態連接。 所述的服務配置模塊122中包括和集群伺服器端建立連接的配置，以及在並行程 序開發過程中支持各個單機端1協作開發的配置。 進一步，所述的並行程序開發的中間模塊還包括和並行程序集成開發模塊11信 號連接的支持若干軟體語言的編輯器124，其包含程序模板調用模塊1241、MPI庫函數調用 模塊1242、C庫函數調用模塊1243、 Fortran庫函數調用模塊1244以及其他常用的庫函數 調用模塊1245 ;提供簡單、易用的代碼編輯環境，完成基於0/[++及？01^1^11語言的並行程 序開發。 所述的節點21還包含數學函數庫模塊，包括C庫函數調用模塊、Fortran庫函數 調用模塊以及其他常用的庫函數調用模塊，使得編譯器支持C、C++、Fotran77和Fortran99 的軟體語言；本實施例中，該數學函數庫模塊包含Li皿x標準庫213 (Li皿x作業系統自帶的 編程函數庫)和其他常用的庫函數調用模塊214。 如圖4所示，本發明還提供一種適於集群系統的分布式並行程序集成開發系統的 應用實現方法，其包括以下步驟 步驟1、在單機端1的集成開發系統和集群伺服器端2的集群系統中均建立並配置 並行程序編譯和運行環境，使得原始碼在單機端1和集群伺服器端2具有可移植性；
步驟2、在單機端1集成開發系統的並行程序集成開發模塊11中進行並行程序代 碼的編寫和調試，獲得調試通過的並行程序原始碼； 步驟3、將步驟2中所得到的並行程序原始碼自動傳輸到集群伺服器端2 ; 步驟4、在集群伺服器端的集群系統中對所述的並行程序原始碼完成編譯，最終基
於該集群系統生成可執行的並行程序文件。 所述的步驟1中，單機端1的集成開發系統的程序編譯和運行環境包含遠程編譯 和調試運行模塊123 ;所述的集群伺服器端2的集群系統中的程序編譯和運行環境包含編 譯器211和MPI消息通信庫模塊212。 所述的步驟3具體為單機端1的遠程編譯和調試運行模塊123將單機端1集成 開發產生的原始碼程序傳輸到遠程集群伺服器端2集群系統中的編譯器211中。
所述的步驟4具體包含以下步驟 步驟4. 1、在單機端1的控制下，利用通信服務模塊121，在遠程集群系統的編譯器 211中，根據當前系統配置，對並行程序原始碼完成編譯及運行，並由MPI消息通信庫模塊 212進行程序優化，生成可執行的並行程序文件； 步驟4. 2、集群伺服器端2將編譯執行後生成的並行程序文件及時發送到單機端 2，呈現給用戶；若編譯出錯，向單機端2提供錯誤定位信息。 本發明提供的適於集群系統的分布式並行程序集成開發系統及其應用實現方法， 具有以下有益效果 1、由於並行程序原始碼的編寫和調試是在個人開發單機端完成的，開發者無需考 慮集群系統的配置或環境，使得開發和調試更為簡潔方便； 2、由於在單機端和集群伺服器端傳輸的是並行程序原始碼，而不是可執行程序， 這使得整個開發系統具有良好的可移植性，針對使用不同版本作業系統的集群伺服器，通過預先配置的編譯環境，即可依據單機端開發生成的原始碼生成適合當前集群伺服器使用 的作業系統的可執行文件； 3、通過單機端和集群伺服器端之間的通信模塊等的設置，可以實現原始碼的自動 傳輸和伺服器端的自動編譯，無需程序開發人員參與，有效提高並行程序開發的效率。
權利要求
一種適於集群系統的分布式並行程序集成開發系統，包括通過乙太網(3)連接的單機端(1)集成開發系統和集群伺服器端(2)集群系統；其特徵在於所述的單機端(1)的集成開發系統為遠程開發，其包含進行並行程序原始碼編寫和調試的並行程序集成開發模塊(11)，並行程序開發的中間模塊和單機端作業系統(13)；所述的並行程序開發的中間模塊包含分別和並行程序集成開發模塊(11)信號連接的通信服務模塊(121)、服務配置模塊(122)以及遠程編譯和調試運行模塊(123)；所述的遠程編譯和調試運行模塊(123)將單機端(1)集成開發產生的並行程序原始碼傳輸到遠程集群伺服器端(2)的集群系統中，在單機端(1)的控制下，在遠程集群系統中編譯及運行；所述的集群伺服器端(2)的集群系統為遠程開發代理，其包括若干對並行程序進行遠程控制和運行的節點(21)以及實現各節點(21)之間信息傳遞的高速網絡(22)；所述的節點(21)包含編譯器(211)和MPI消息通信庫模塊(212)；所述的編譯器(211)與單機端(1)集成開發系統中的並行程序集成開發模塊(11)無縫集成，從該並行程序集成開發模塊(11)中對並行程序原始碼進行調用、編譯、調試和運行處理；所述的MPI消息通信庫模塊(212)為並行程序原始碼的開發、編譯、調試及運行進行優化。
2. 如權利要求1所述的適於集群系統的分布式並行程序集成開發系統，其特徵在於， 所述的單機端(1)和集群伺服器端(2)之間通過標準ftp/sftp、telnet協議以及遠程開發 協議實現協同工作，進行數據傳輸。
3. 如權利要求1所述的適於集群系統的分布式並行程序集成開發系統，其特徵在於， 所述的通信服務模塊(121)實現在並行程序開發過程中單機端(1)和集群伺服器端(2)之 間的遠程交互。
4. 如權利要求1所述的適於集群系統的分布式並行程序集成開發系統，其特徵在於， 所述的服務配置模塊(122)中包括和集群伺服器端建立連接的配置，以及在並行程序開發 過程中支持各個單機端(1)協作開發的配置。
5. 如權利要求1所述的適於集群系統的分布式並行程序集成開發系統，其特徵在於， 所述的並行程序開發的中間模塊還包括和並行程序集成開發模塊(11)信號連接的編輯器 (124)，其包含程序模板調用模塊(1241) 、 MPI庫函數調用模塊(1242) 、 C庫函數調用模塊 (1243)和Fortran庫函數調用模塊(1244)。
6. 如權利要求1所述的適於集群系統的分布式並行程序集成開發系統，其特徵在於， 所述的節點(21)還包含數學函數庫模塊，其包括C庫函數調用模塊和Fortran庫函數調用 模塊。
7. —種如權利要求1所述的適於集群系統的分布式並行程序集成開發系統的應用實 現方法，其特徵在於，包含以下步驟步驟1、在單機端(1)的集成開發系統和集群伺服器端(2)的集群系統中均建立並配置 並行程序編譯和運行環境；步驟2、在單機端(1)集成開發系統的並行程序集成開發模塊(11)中進行並行程序源 代碼的編寫和調試，獲得調試通過的並行程序原始碼；步驟3、將步驟2中所得到的並行程序原始碼自動傳輸到集群伺服器端(2); 步驟4、在集群伺服器端(2)的集群系統中對所述的並行程序原始碼完成編譯，最終基 於該集群系統生成可執行的並行程序文件。
8. 如權利要求7所述的適於集群系統的分布式並行程序集成開發系統的應用實現方 法，其特徵在於，所述的步驟1中，單機端(1)的集成開發系統的程序編譯和運行環境包含 遠程編譯和調試運行模塊(123);所述的集群伺服器端(2)的集群系統中的程序編譯和運 行環境包含編譯器(211)和MPI消息通信庫模塊(212)。
9. 如權利要求7所述的適於集群系統的分布式並行程序集成開發系統的應用實現方 法，其特徵在於，所述的步驟3具體為單機端(1)的遠程編譯和調試運行模塊(123)將單 機端(1)集成開發產生的原始碼程序傳輸到遠程集群伺服器端(2)集群系統中的編譯器 (211)中。
10. 如權利要求7所述的適於集群系統的分布式並行程序集成開發系統的應用實現方 法，其特徵在於，所述的步驟4具體包含以下步驟步驟4. 1、在單機端(1)的控制下，利用通信服務模塊(121)，在遠程集群系統的編譯器 (211)中，根據當前系統配置，對並行程序原始碼完成編譯及運行，並由MPI消息通信庫模 塊(212)進行程序優化，生成可執行的並行程序文件；步驟4.2、集群伺服器端(2)將編譯執行後生成的並行程序文件及時發送到單機端 (2)，呈現給用戶；若編譯出錯，向單機端(2)提供錯誤定位信息。
全文摘要
本發明涉及一種適於集群系統的並行程序集成開發系統及其應用實現方法，在所述的並行程序集成開發系統中，通過在個人開發單機端和程序運行的集群伺服器端同時建立配置編譯和運行環境，由單機端完成並行程序原始碼的編寫和調試，並將該原始碼傳輸至集群伺服器端，根據系統配置進行遠程編譯和調試，生成並行程序的可執行文件。使用本發明系統和方法，使得開發的並行程序具有良好的可移植性，並且使得並行程序的開發更為簡潔方便，效率得以提高。
文檔編號H04L29/08GK101727316SQ20081020155
公開日2010年6月9日 申請日期2008年10月22日 優先權日2008年10月22日
發明者姚繼峰, 姜愷 申請人:上海超級計算中心