訪問超級計算中心上服務程序的方法及系統與流程
2023-09-19 01:46:56
本發明涉及雲計算技術領域，尤其是訪問超級計算中心上服務程序的方法及系統。
背景技術：
超算計算中心的計算機環境通常是一個網絡受限環境。用戶訪問超級計算中心時，通常需要先建立vpn鏈路，然後使用putty/xshell/securecrt等超級終端登錄到超級計算中心系統中進行相應的操作。這是由於超級計算中心的系統本身是一個公共網際網路隔離的系統，用戶無法通過網際網路直接訪問超級計算中心的伺服器；超級計算中心上的伺服器也無法直接訪問網際網路。
但在很多情況下，用戶需要在超級計算中心上運行一些私有服務，用來採集作業的數據、作業運行的實時狀態等，並希望通過網際網路安全地訪問到這些數據。現在常用的方法就是使用安全外殼協議(即，ssh協議)的埠轉發功能，如圖1所示，將超級計算中心110上的服務埠通過ssh隧道轉發到對應的客戶端120的一個本地埠上，用戶可以通過訪問本地埠來與超級計算中心上服務進行通訊。但是，超級計算中心所提供的服務程序都是基於tcpsocket，因此啟動服務時需要使用一個或多個伺服器上的埠，如ssh服務默認是22埠，http服務默認是80埠。由於埠1～1023是系統特權埠，普通用戶只能使用大於1023的埠，但埠是有限資源，對於超級計算中心這樣擁有眾多用戶的系統，埠資源更顯緊張。因此，大量啟動基於tcpsocket的服務的一個缺點就是埠數量有限，一個用戶佔用的埠，其他用戶便無法使用，在靈活性上也會受到限制。另外，使用基於埠的服務，會將埠暴露給超級計算中心伺服器上的所有用戶，在同一伺服器上的其他用戶可以掃描埠進行訪問嘗試，因此在服務的安全性方面也存在問題。
綜上，需要一種既能夠解決埠資源緊張的問題、又能保證服務安全性的訪問超級計算中心上服務程序的方案。
技術實現要素：
為此，本發明提供了訪問超級計算中心上服務程序的方案，以力圖解決或者至少緩解上面存在的至少一個問題。
根據本發明的一個方面，提供了一種服務程序的訪問方法，該方法在調度伺服器上執行，調度伺服器分別與超級計算中心、客戶端相連，在超級計算中心上以客戶端用戶的身份運行各自的服務程序，且服務程序通過進程間通訊與用作通訊接口的接口文件相關聯，該方法包括步驟：接收由客戶端發送的訪問服務程序的請求，該請求包含該客戶端上的用戶標識；根據用戶標識確定服務程序所對應的超級計算中心上的接口文件；以及利用安全外殼協議將所確定的接口文件映射為調度伺服器本地的某個服務，以便客戶端通過訪問調度伺服器本地的該服務來訪問服務程序。
可選地，在根據本發明的服務程序的訪問方法中，根據用戶標識確定服務程序所對應的超級計算中心上的接口文件的步驟還包括：預先存儲客戶端用戶的訪問權限列表，用於記錄每個用戶標識對應的服務程序、以及該服務程序所關聯的超級計算中心上的接口文件的文件標識。
可選地，在根據本發明的服務程序的訪問方法中，調度伺服器與所述客戶端之間通過進程間通訊或tcp協議進行通訊。
可選地，在根據本發明的服務程序的訪問方法中，利用安全外殼協議將所確定的接口文件映射為調度伺服器本地的某個服務的步驟包括：利用安全外殼協議將所確定的接口文件映射到調度伺服器本地的服務文件，以便客戶端通過進程間通訊訪問本地的服務文件來訪問所述服務程序。
可選地，在根據本發明的服務程序的訪問方法中，利用安全外殼協議將所確定的接口文件映射為調度伺服器本地的某個服務的步驟包括：利用安全外殼協議將所確定的接口文件映射為調度伺服器本地的tcp埠上的某個服務，以便客戶端通過tcp的方式來訪問所述服務程序。
可選地，在根據本發明的服務程序的訪問方法中，當tcp埠為本地迴環地址時，該方法還包括步驟：通過調度伺服器上的公有服務層接收來自客戶端的訪問服務程序的請求；以及通過公有服務層以tcp方式訪問映射到本地迴環地址上的服務。
可選地，在根據本發明的服務程序的訪問方法中，預先存儲客戶端用戶的訪問權限列表的步驟還包括：通過公有服務層設置客戶端對服務程序的訪問權限。
可選地，在根據本發明的服務程序的訪問方法中，進程間通訊為unixdomainsocket，接口文件為unixdomainsocket文件。
根據本發明的另一個方面，提供了一種訪問超級計算中心的系統，該系統包括：超級計算中心，適於以客戶端用戶的身份運行各自的服務程序，其中，服務程序通過進程間通訊與用作通訊接口的接口文件相關聯；客戶端，適於發送訪問運行在超級計算中心上的服務程序的請求給調度伺服器，該請求中包含客戶端上的用戶標識；調度伺服器，分別與超級計算中心和客戶端相連，適於在接收到客戶端的訪問請求後，根據用戶標識確定請求訪問的服務程序所對應的超級計算中心上的接口文件、並利用安全外殼協議將該接口文件映射為調度伺服器本地的某個服務；以及客戶端還適於通過訪問調度伺服器本地的該服務來訪問所述服務程序。
可選地，在根據本發明的系統中，調度伺服器還適於存儲客戶端用戶的訪問權限列表，用於記錄每個用戶標識對應的服務程序、以及該服務程序所關聯的超級計算中心上的接口文件的文件標識。
可選地，在根據本發明的系統中，調度伺服器適於以進程間通訊的方式或tcp協議與客戶端進行通訊。
可選地，在根據本發明的系統中，調度伺服器適於利用安全外殼協議將所確定的接口文件映射到本地的服務文件；客戶端適於通過進程間通訊訪問本地的服務文件來訪問服務程序。
可選地，在根據本發明的系統中，調度伺服器還適於利用安全外殼協議將所確定的接口文件映射為本地tcp埠上的某個服務；以及客戶端還適於通過該tcp埠訪問該服務。
可選地，在根據本發明的系統中，當tcp埠為本地迴環地址時，調度伺服器還包括公有伺服器，公有伺服器適於接收來自客戶端的訪問服務程序的請求、並以tcp方式訪問映射在本地迴環地址上的服務。
可選地，在根據本發明的系統中，公有伺服器還適於設置客戶端用戶對服務程序的訪問權限。
可選地，在根據本發明的系統中，進程間通訊為unixdomainsocket，接口文件為unixdomainsocket文件。
根據本發明的訪問超級計算中心上服務程序的方案，將超級計算中心上的服務程序通過進程間通訊與用作通訊接口的接口文件相關聯，當客戶端用戶要訪問超級計算中心上的服務程序時，通過調度伺服器將該服務程序的接口文件映射到調度伺服器本地的一個服務上，以供客戶端直接訪問，一方面可以不受埠資源的限制，另一方面也避免了同一系統上其他用戶非法訪問，提高了安全性。
附圖說明
為了實現上述以及相關目的，本文結合下面的描述和附圖來描述某些說明性方面，這些方面指示了可以實踐本文所公開的原理的各種方式，並且所有方面及其等效方面旨在落入所要求保護的主題的範圍內。通過結合附圖閱讀下面的詳細描述，本公開的上述以及其它目的、特徵和優勢將變得更加明顯。遍及本公開，相同的附圖標記通常指代相同的部件或元素。
圖1示出了現有技術中訪問超級計算中心上服務程序的一個方案的示意圖；
圖2示出了根據本發明一個實施例的訪問超級計算中心的系統200的示意圖；
圖3示出了根據本發明一個實施例的服務程序的訪問方法300的示意圖；以及
圖4示出了根據本發明另一個實施例的訪問超級計算中心的系統200的示意圖。
具體實施方式
下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
圖2示出了根據本發明一個實施例的訪問超級計算中心的系統200的示意圖。如圖2所示，該系統200包括多個超級計算中心210、調度伺服器220和多個客戶端230，且調度伺服器220分別與超級計算中心210和客戶端230相連接。
根據一種實現方式，每個超級計算中心210中都包含至少一個集群，每個集群又包括多個伺服器(或，稱作計算節點)，超級計算中心210通過這些計算節點運行各種服務程序(或作業)，完成計算任務。
在超級計算中心210的伺服器上，每個客戶端230的服務程序都以客戶端用戶自己的身份運行，例如，在超級計算中心210上，usera/b/c分別以自己的身份運行各自的服務程序，不需要使用中間代理用戶，這樣就不會存在用戶身份切換的問題。同時，服務程序通過進程間通訊與用作通訊接口的接口文件相關聯，根據本發明的一個實施例，進程間通訊為unixdomainsocket，接口文件就是unixdomainsocket文件，也就是說，將服務程序綁定到unixdomainsocket文件上。相比於使用tcpsocket，由於unixdomainsocket不需要經過網絡協議棧，不需要打包拆包、計算校驗和等，只是將應用層數據從一個進程拷貝到另一個進程，因此不需要開放或監聽系統的埠；另外，unixdomainsocket使用完全基於文件系統安全性的socket文件作為通訊渠道，能夠更好地通訊保密，位於超級計算中心210上的其他用戶不能通過埠掃描的方式進行非法訪問。
調度伺服器220通過安全外殼協議(即，ssh協議)與超級計算中心210進行通訊，並通過進程間通訊方式或tcp協議與客戶端230進行通訊，具體的通訊方式取決於服務程序在調度伺服器220上的映射方式，在下文會有詳細說明，此處不作展開。
如前文所述，超級計算中心210是一個網絡受限的環境，為了讓客戶端230上的用戶可以訪問到其在超級計算中心210上啟動的服務程序，需要將運行在超級計算中心210上用戶的服務程序映射到調度伺服器220上，客戶端230的用戶通過調度伺服器220的公開服務來訪問超級計算中心210上的服務程序。
結合圖3，下面將重點介紹調度伺服器220執行服務程序的訪問方法的過程。
圖3示出了根據本發明一個實施例的服務程序的訪問方法300的示意圖。方法300在調度伺服器220上執行，該方法300始於步驟s310，接收由客戶端230發送的訪問服務程序的請求，該請求包含該客戶端230上的用戶標識userid。
隨後在步驟s320中，根據用戶標識userid確定要訪問的服務程序所對應的超級計算中心上的接口文件。
在調度伺服器220上，預先存儲客戶端用戶的訪問權限列表，用於記錄每個用戶標識對應的服務程序(即，每個用戶在超級計算中心上啟動的私有服務)、以及該服務程序所關聯的超級計算中心上的接口文件的文件標識。如下表1所示：
表1客戶端用戶訪問權限列表
可選地，該列表中還可以關聯記錄超級計算中心標識、集群標識。一個用戶標識也可能對應多個服務程序，每個用戶使用一個單獨的接口文件啟動自己的服務程序。還可以設置多個用戶共享同一服務，如，用戶a使用接口文件「service1.socket」啟動一個服務程序，他希望用戶b、c都可以使用這個服務，那麼用戶a只需要將「service1.socket」這個接口文件的文件權限分享給用戶b、c，這樣，用戶a、b、c就可以共享同一服務了，而其他沒有獲得權限的用戶，不能使用該服務。上述示例性地列舉了一些可能的涉及用戶訪問權限的情況，本發明對此均不作限制。
調度伺服器220根據上述的用戶訪問權限列表就可以確定客戶端230的用戶對應的服務程序所關聯的接口文件。
隨後在步驟s330中，利用安全外殼協議將所確定的接口文件映射為調度伺服器220本地的某個服務，以便客戶端230通過訪問調度伺服器220本地的該服務來訪問服務程序。
根據本發明的一種實施方式，利用安全外殼協議ssh將所確定的接口文件映射到調度伺服器220本地的服務文件，該服務文件也是unixdomainsocket文件。這樣，客戶端230可以通過進程間通訊訪問本地的服務文件來訪問該服務程序。如下示出了將超級計算中心上的接口文件轉發到本地的unixdomainsocket文件的代碼示例：
socatunix-listen:/local/unix_domain_socket_file.sock\
exec:'sshuser@remoteserver\
"socatstdiounix-connect:/tmp/remote_socket_file.sock"'
上述代碼表示，remotesever上的服務程序，其關聯到了接口文件remote_socket_file上，通過該路徑/tmp/remote_socket_file.sock、利用ssh協議將該接口文件映射為本地的unixdomainsocket文件，即，/local/unix_domain_socket_file.sock上。這種情況下，調度伺服器220與客戶端230之間通過進程間通訊的方式進行通訊。
根據本發明的另一種實施方式，利用安全外殼協議ssh將所確定的接口文件映射為調度伺服器220本地的tcp埠上的某個服務，這樣，客戶端230通過tcp的方式來訪問該服務程序。如下示出了將超級計算中心上的接口文件轉發到本地tcp埠的代碼示例：
socattcp-listen:8000,bind＝127.0.0.1\
exec:'sshuser@remoteserver\
"socatstdiounix-connect:/tmp/remote_socket_file.sock"'
上面的示例代碼是將remotesever上、關聯到接口文件remote_socket_file上的服務程序，通過ssh協議轉發到本地的127.0.0.0.1的8000埠上，客戶端230在本地訪問127.0.0.1：8000就可以訪問超級計算中心上對應的服務程序了。
上述兩種實現方式，即，將服務程序的接口文件映射到本地的unixdomainsocket文件與映射到本地的tcp埠服務上，在服務功能上並沒有任何差別。只不過unixdomainsocket文件使用socket提供服務，而tcp埠服務則使用ip和埠提供服務。也就是前文所述的，調度伺服器220通過進程間通訊方式還是tcp協議的方式與客戶端230進行通訊。
更進一步地，當將所確定的接口文件映射為調度伺服器220本地的tcp埠上的某個服務時，可以映射到任意本地可用的ip。如，直接映射到調度伺服器220的公網ip地址上的某個服務，客戶端230可以通過公網ip和相應的埠來訪問該服務。
但在實際應用中，考慮到超級計算中心服務的安全性，並不會將超級計算中心210上的接口文件直接映射到調度伺服器220的公網ip上，而是選擇將其映射到迴環地址127.0.0.1上。在這種情況下，相當於在調度伺服器220上布置了一個代理層——公有服務層publicservice，該公有服務層可以被實現為一個或多個公有伺服器，如圖4所示。圖4為根據本發明一個實施例的該系統200的另一種示例性示意圖。
如圖4，在超級計算中心210上，用戶212、用戶214、用戶216以自己的身份運行其對應的服務程序，且各服務程序通過進程間通訊與用作通訊接口的接口文件相關聯，如服務程序2122與接口文件2124相關聯，服務程序2142與接口文件2144相關聯，服務程序2162與接口文件2164相關聯，依次類推。
調度伺服器220利用ssh通道將各接口文件映射到其迴環地址127.0.0.1上的對應服務。
客戶端230通過internet訪問調度伺服器220上的公有服務層或公有伺服器224，公有伺服器224接收到其訪問服務程序的請求時，再通過內部tcp通訊訪問映射到本地迴環地址上的對應服務。通過公有伺服器224，客戶端230與超級計算中心210上的服務程序可以進行雙向通訊，跨越了超級計算中心網絡受限的制約。
可選地，在該公有伺服器224上，設置客戶端對服務程序的訪問權限，如表1，設置用戶id001訪問服務程序t1，用戶id002訪問服務程序t2，當然，也可以根據需要，設置用戶id001和用戶id002均可以訪問服務程序t1。通過公有伺服器224，既保證了客戶端上的用戶能夠準確、方便地訪問其在超級計算中心上啟動的服務程序，又避免了直接將超級計算中心210上的服務程序暴露給客戶端用戶的風險。
參照上文所述，根據本發明的訪問超級計算中心上服務程序的方案，將超級計算中心上的服務程序通過進程間通訊與用作通訊接口的接口文件相關聯，當客戶端用戶要訪問超級計算中心上的服務程序時，通過調度伺服器將該服務程序的接口文件映射到調度伺服器本地的一個服務上，以供客戶端直接訪問，一方面可以不受埠資源的限制，另一方面也避免了同一系統上其他用戶非法訪問。
進一步地，通過在調度伺服器上運行統一的公共服務，將超級計算中心伺服器上每個用戶獨立運行的服務程序發布給相應的客戶端用戶。在保證安全性的同時，也提供了靈活性。
應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖：即所要求保護的本發明要求比在每個權利要求中所明確記載的特徵更多特徵。更確切地說，如下面的權利要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循具體實施方式的權利要求書由此明確地併入該具體實施方式，其中每個權利要求本身都作為本發明的單獨實施例。
本領域那些技術人員應當理解在本文所公開的示例中的設備的模塊或單元或組件可以布置在如該實施例中所描述的設備中，或者可替換地可以定位在與該示例中的設備不同的一個或多個設備中。前述示例中的模塊可以組合為一個模塊或者此外可以分成多個子模塊。
本領域那些技術人員可以理解，可以對實施例中的設備中的模塊進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外，可以採用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
本發明一併公開了：
a6、如a5所述的方法，其中，當所述tcp埠為本地迴環地址時，所述服務程序的訪問方法還包括步驟：通過所述調度伺服器上的公有服務層接收來自客戶端的訪問服務程序的請求；以及通過所述公有服務層以tcp方式訪問映射到所述本地迴環地址上的服務。
a7、如a6所述的方法，其中，所述預先存儲客戶端用戶的訪問權限列表的步驟還包括：通過所述公有服務層設置客戶端對服務程序的訪問權限。
a8、如a1-7中任一項所述的方法，其中，所述進程間通訊為unixdomainsocket，所述接口文件為unixdomainsocket文件。
b14、如b13所述的系統，其中，當所述tcp埠為本地迴環地址時，所述調度伺服器還包括公有伺服器，所述公有伺服器適於接收來自客戶端的訪問服務程序的請求、並以tcp方式訪問映射在所述本地迴環地址上的服務。
b15、如b14所述的系統，其中，所述公有伺服器還適於設置客戶端用戶對服務程序的訪問權限。
b16、如b9-15中任一項所述的系統，其中，所述進程間通訊為unixdomainsocket，所述接口文件為unixdomainsocket文件。
此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如，在下面的權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
此外，所述實施例中的一些在此被描述成可以由計算機系統的處理器或者由執行所述功能的其它裝置實施的方法或方法元素的組合。因此，具有用於實施所述方法或方法元素的必要指令的處理器形成用於實施該方法或方法元素的裝置。此外，裝置實施例的在此所述的元素是如下裝置的例子：該裝置用於實施由為了實施該發明的目的的元素所執行的功能。
如在此所使用的那樣，除非另行規定，使用序數詞「第一」、「第二」、「第三」等等來描述普通對象僅僅表示涉及類似對象的不同實例，並且並不意圖暗示這樣被描述的對象必須具有時間上、空間上、排序方面或者以任意其它方式的給定順序。
儘管根據有限數量的實施例描述了本發明，但是受益於上面的描述，本技術領域內的技術人員明白，在由此描述的本發明的範圍內，可以設想其它實施例。此外，應當注意，本說明書中使用的語言主要是為了可讀性和教導的目的而選擇的，而不是為了解釋或者限定本發明的主題而選擇的。因此，在不偏離所附權利要求書的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。對於本發明的範圍，對本發明所做的公開是說明性的，而非限制性的，本發明的範圍由所附權利要求書限定。