將rdma語義映射到高速存儲的製作方法
2023-05-18 23:02:01
專利名稱：將rdma語義映射到高速存儲的製作方法
將RDMA語義映射到高速存儲背景計算機已變得高度集成於工作、家庭、行動裝置以及許多其他地方中。計算機可快速且有效地處理大量信息。被設計成在計算機系統上運行的軟體應用允許用戶執行包括商業應用、學校作業、娛樂等等在內的各種各樣的功能。軟體應用通常被設計成執行特定的任務，諸如用於草擬文檔的文字處理器應用或者用於發送、接收和組織電子郵件的電子郵件程序。在一些情況下，計算機系統使用不同類型的軟體應用彼此通信。然而，這樣的應用間通信通常需要處理器處理每個所發送的輸出和每個所接收的輸入。尤其是當幾千或幾百萬輸入和輸出在不同軟體應用之間被發送時，該增加的工作量可能向處理器施加過多的開銷。
為了避免這樣的處理器參與同時仍然允許應用之間(或者應用與遠程數據存儲之間)的通信，可以實現遠程直接存儲器訪問(RDMA)。RDMA允許來自應用的讀取和寫入請求直接從應用流向網絡存儲設備或存儲伺服器。讀取或寫入請求可以被滿足並且在兩個計算機之間傳輸，而不需要兩個系統任一的處理器的參與。簡要概述在此所述的實施例所針對的是，擴展遠程直接存儲器訪問(RDMA)語義以允許本地存儲系統中的實現、以及提供用於初始化本地數據存儲的管理界面。在一個實施例中，計算機系統將RDMA語義擴展為使用RDMA提供本地存儲訪問，其中擴展RDMA語義包括下列動作將RDMA動詞接口的RDMA動詞映射到本地數據存儲；以及修改RDMA排序語義以允許無序處理和/或無序完成。計算機系統還使用經擴展的RDMA語義來訪問本地數據存儲的各個部分。在另一實施例中，計算機系統將管理界面實例化，所述管理界面被配置為初始化本地持久數據存儲。計算機系統接收指示在初始化本地持久數據存儲時要應用的各個設定的輸入，其中所述設定至少之一標識出本地持久數據存儲將被如何分區。計算機系統將本地持久數據存儲分區成分區，所述分區每個都可以使用管理界面來訪問。計算機系統還使用管理界面將經分區的本地持久數據存儲初始化為本地RDMA端點。提供本發明內容以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本概述並非旨在標識所要求保護的主題的關鍵特徵或必要特徵，也不旨在用於幫助確定所要求保護的主題的範圍。另外的特徵和優點將在以下的描述中闡述，並且部分可從該描述中顯而易見，或者可以從此處的教示實踐中習得。本發明的特徵和優點可以通過在所附權利要求中特別指出的手段和組合來實現並獲取。本發明的特徵將從以下描述和所附權利要求書中變得完全顯而易見，或者可通過如下所述對本發明的實踐而獲知。附圖
簡述為了進一步闡明本發明的各實施例的以上和其他優點和特徵，將參考附圖來呈現本發明的各實施例的更具體的描述。可以理解，這些附圖只描繪本發明的典型實施例，因此將不被認為是對其範圍的限制。本發明將通過使用附圖用附加特徵和細節來描述和解釋，附圖中圖I示出了用於操作本發明的實施例的計算機體系結構，所述實施例包括將遠程直接存儲器訪問(RDMA)語義擴展為允許本地存儲系統中的實現。圖2示出了用於將遠程直接存儲器訪問(RDMA)語義擴展為允許本地存儲系統中的實現的示例性方法的流程圖。圖3示出了用於提供用於初始化本地數據存儲的管理界面的示例性方法的流程圖。圖4示出了用戶使用管理界面與數據存儲交互的實施例。
具體實施例 在此所述的實施例所針對的是，將遠程直接存儲器訪問(RDMA)語義擴展為允許本地存儲系統中的實現、以及提供用於初始化本地數據存儲的管理界面。在一個實施例中，計算機系統將RDMA語義擴展為使用RDMA提供本地存儲訪問，其中擴展RDMA語義包括下列動作將RDMA動詞接口的RDMA動詞映射到本地數據存儲；以及修改RDMA排序語義以允許無序處理和/或無序完成。計算機系統還使用經擴展的RDMA語義來訪問本地數據存儲的各個部分。在另一實施例中，計算機系統將管理界面實例化，所述管理界面被配置為初始化本地持久數據存儲。計算機系統接收指示在初始化本地持久數據存儲時要應用的各個設定的輸入，其中所述設定至少之一標識出本地持久數據存儲將被如何分區。計算機系統將本地持久數據存儲分區成分區，所述分區每個都可以使用管理界面來訪問。計算機系統還使用管理界面將經分區的本地持久數據存儲初始化為本地RDMA端點。以下討論現涉及可以執行的多種方法以及方法動作。應當注意，雖然這些方法動作可能是按一定次序討論的，或者是在流程圖中被描繪為是按照特定順序進行的，然而並非必然需要特定的次序，除非特別聲明，或者是在一個動作被執行之前因為該動作依賴於另一動作的完成而需要的情況。本發明的各實施例可包括或利用專用或通用計算機，該專用或通用計算機包括諸如例如一個或多個處理器和系統存儲器等計算機硬體，如以下更詳細討論的。本發明範圍內的各實施例還包括用於承載或存儲計算機可執行指令和/或數據結構的物理和其他計算機可讀介質。這樣的計算機可讀介質可以是可由通用或專用計算機系統訪問的任何可用介質。存儲計算機可執行指令的計算機可讀介質是計算機存儲介質。承載計算機可執行指令的計算機可讀介質是傳輸介質。由此，作為示例而非限制，本發明的各實施例可包括至少兩種顯著不同的計算機可讀介質計算機存儲介質和傳輸介質。計算機存儲介質包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲、磁碟存儲或其他磁存儲設備、或可用於存儲計算機可執行指令或數據結構形式的所需程序代碼裝置且可由通用或專用計算機訪問的任何其他介質。「網絡」被定義為允許在計算機系統和/或模塊和/或其他電子設備之間傳輸電子數據的一個或多個數據鏈路。當信息通過網絡或另一個通信連接(硬連線、無線、或者硬連線或無線的組合)傳輸或提供給計算機時，該計算機將該連接適當地視為傳輸介質。傳輸介質可包括可用於攜帶計算機可執行指令或數據結構形式的所需程序代碼裝置且可由通用或專用計算機訪問的網絡和/或數據鏈路。上述的組合也應被包括在計算機可讀介質的範圍內。此外，在到達各種計算機系統組件之後，計算機可執行指令或數據結構形式的程序代碼裝置可從傳輸介質自動傳輸到計算機存儲介質(或反之亦然)。例如，通過網絡或數據鏈路接收到的計算機可執行指令或數據結構可被緩存在網絡接口模塊(例如，「NIC」)內的RAM中，然後最終被傳輸到計算機系統RAM和/或計算機系統處的較不易失性的計算機存儲介質。因而，應當理解，計算機存儲介質可被包括在還利用(或甚至主要利用)傳輸介質的計算機系統組件中。計算機可執行指令包括，例如使通用計算機、專用計算機、或專用處理設備執行某一功能或某組功能的指令和數據。計算機可執行指令可以是例如二進位代碼、諸如彙編語言之類的中間格式指令、或甚至原始碼。儘管用結構特徵和/或方法動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限於上述特徵或動作。相反，上 述特徵和動作是作為實現權利要求的示例形式而公開的。本領域的技術人員將理解，本發明可以在具有許多類型的計算機系統配置的網絡計算環境中實踐，這些計算機系統配置包括個人計算機、臺式計算機、膝上型計算機、消息處理器、手持式設備、多處理器系統、基於微處理器的或可編程消費電子設備、網絡PC、小型計算機、大型計算機、行動電話、PDA、尋呼機、路由器、交換機等等。本發明也可在其中通過網絡連結(或者通過硬連線數據鏈路、無線數據鏈路，或者通過硬連線和無線數據鏈路的組合)的本地和遠程計算機系統兩者都執行任務的分布式系統環境中實施。在分布式系統環境中，程序模塊可以位於本地和遠程存儲器存儲設備二者中。圖I示出了可在其中採用本發明的原理的計算機體系結構100。計算機體系結構100包括管理界面110。管理界面110可以是允許用戶與本地數據存儲140交互或以其他方式使用本地數據存儲140的任何類型的軟體界面。本地數據存儲140(或者在此簡稱「數據存儲」)可以是任何類型的數據存儲系統，包括磁或光碟機動器、驅動器的集合、資料庫、存儲域網絡或其他存儲系統。用戶105可能期望與數據存儲交互。這樣的交互可以包括存儲或修改所存儲的數據。用戶可以向管理界面110發送數據請求106，管理界面110然後使用其一個或多個內部模塊來處理該請求。例如，界面110可以使用遠程直接存儲器訪問(RDMA)語義擴展模塊來將RDMA語義116擴展為使得這些語義可以用於訪問數據存儲140上的數據。RDMA語義可以包括允許一個設備或程序使用RDMA與另一設備或程序交談的命令、查詢、動詞或其他語義。在一些情況下，映射模塊120可以用於將RDMA動詞接口的各個RDMA動詞映射到本地數據存儲。語義修改模塊125可以用於修改各個RDMA排序語義以允許無序處理和無序完成任一或二者。這樣的映射和修改(RDMA擴展)可以允許用戶或軟體應用使用經擴展的RDMA語義來訪問本地數據存儲140。這些概念將在以下參考圖2的方法200更詳細地解釋。考慮到以上描述的系統和體系結構，參考圖2和圖3的流程圖將更好地理解根據所公開的主題實現的方法。為了解釋簡明起見，這些方法被示出和描述為一系列框。然而，應該理解和了解，所要求保護的主題不受框的次序的限制，因為一些框可按不同的次序進行和/或與此處所描繪和描述的其他框同時進行。此外，並非全部所示的框都是實現下面所述的方法所必需的。圖2示出了用於將遠程直接存儲器訪問(RDMA)語義擴展為允許本地存儲系統中的實現的方法200的流程圖。現在將頻繁參考環境100的組件和數據來描述方法200。方法200包括將一個或多個RDMA語義擴展為使用RDMA提供本地存儲訪問的動作(動作210)。例如，RDMA語義擴展模塊115可以將RDMA語義116擴展為使用RDMA來提供對本地數據存儲140的訪問。RDMA語義可以通過如下方式來擴展添加允許RDMA與本地存儲結合使用的附加命令或其他屬性。在一些情況下，經擴展的RDMA語義可以包括在每個操作都已完成時進行報告的至少一個語義。因此，例如當讀取或寫入操作已完成時，語義報告該讀取或寫入已完成。可以單獨地或結合前述語義使用許多其他這樣的語義。如上所述，本地數據存儲140可以包括各種類型的數據存儲解決方案。在一些情況下，本地數據存儲140是基於存儲器陣列的目標設備。在其他情況下，本地數據存儲是某種類型的基於快閃記憶體的存儲。本地數據存儲可以被配置為在可配置的時間段內高速緩存數據 的各個部分。在一些情況下，經擴展的RDMA語義被配置為提供對本地數據存儲的遠程訪問。因此，用戶105可以使用被模塊115擴展的經擴展的RDMA語義116遠程地訪問本地數據存儲140。在一些情況下，如上所述，經擴展的RDMA語義可以包括RDMA網絡應用編程接口(API)語義(或RDMA動詞)，其用於通過網絡的RDMA數據訪問。RDMA網絡API可以被擴展和用於訪問存儲在本地數據存儲中的數據、以及存儲在遠程數據存儲中的數據。因此，同一經擴展的RDMA網絡API可以用於從本地和遠程數據存儲中訪問本地和遠程數據二者。換言之，存儲在遠程數據存儲中的遠程數據可以使用用於訪問存儲在本地數據存儲中的本地數據的相同的經擴展RDMA語義來訪問。通過這種方式，可以使用單個經擴展的RDMA API來訪問本地和遠程數據存儲二者。方法200包括將RDMA動詞接口的一個或多個RDMA動詞映射到本地數據存儲的動作(動作220)。例如，映射模塊120可以將RDMA動詞接口的一個或多個RDMA動詞映射到本地數據存儲140。RDMA動詞可以以允許用戶或軟體應用(例如分別為105或107)使用RDMA動詞訪問數據存儲上的數據的方式被映射到本地數據存儲。該映射還可以包括對本地數據存儲進行命名使得本地數據存儲被RDMA識別成端點。因此，當本地數據存儲被識別成端點時，用戶或各個其他軟體應用可以訪問該數據存儲並將其用作典型的RDMA端點。方法包括200 :修改一個或多個RDMA排序語義以允許無序處理和無序完成中的至少之一(動作230)。例如，語義修改模塊125可以修改RDMA語義116以允許無序處理和/或無序完成。無序處理允許管理界面110在請求被接收時(例如用戶數據請求106和應用數據請求108)將所述請求發送給本地數據存儲140，然後本地數據存儲可以無序地響應所述請求。由於所述請求不必按順序地響應，因此提供了響應數據請求時的更大靈活性。無序完成還提供了每個操作可無序地完成(以及信號完成)方面的更大靈活性。在一些情況下，用戶或軟體程序可能想要(或需要)保證讀取、寫入或其他操作已完成。在一些情況下，當使用RDMA時，未決的請求可能需要被轉儲清除以便執行操作(例如讀取操作)。這樣的操作可以稱為壁壘(barrier)操作。因此，壁壘操作保證給定的數據傳輸已經通過轉儲清除未決數據傳輸並且保證操作被完成而發生。因此，壁壘操作可以用於快速地完成項目而不是取消該項目。
在一些實施例中，RDMA的現有阻隔(fencing)能力被維持，同時允許無序處理和無序完成。例如，發送隊列可以被無序地處理，同時仍然維持對阻隔操作(壁壘操作的完成部分)的支持。阻隔操作驗證一個或多個在先事件已經發生，而壁壘操作保證給定數據傳輸已經發生。因此，用戶可以將依賴於在其完成以前的所有操作的某物插入到發送隊列中，並且阻隔操作保證其之前的操作已經完成。附加地或可替代地，壁壘操作可以被處理以轉儲清除未決的數據傳輸並且保證至少一個數據操作的完成。此外，由RDMA提供的網絡擔保可以被選擇性地放寬到用戶指示的程度以供與本地數據存儲一起使用。通過放寬這些擔保，不一定需要這些擔保的本地存儲實現可以以更有效的方式實現。放寬這些擔保還允許數據傳輸並行執行和並行完成。因此，可以實現到存儲在數據存儲140中的數據的更快速訪問。方法200包括使用經擴展的RDMA語義來訪問本地數據存儲的一個或多個部分的動作(動作240)。例如，管理界面110可以使用經擴展的RDMA語義來訪問本地數據存儲140。因此，一旦RDMA語義擴展已經實現，用戶105和/或應用107就可以使用RDMA來訪 問本地數據存儲140。在一些情況下，經擴展的RDMA語義可以在包括文件系統和/或資料庫的存儲管理層中實現。在一些實施例中，軟體應用107可以使用經擴展的RDMA語義來建立應用與本地數據存儲140之間的連結。軟體應用然後可以使用所建立的連結來訪問存儲在本地數據存儲中的應用數據的至少一部分。在連結建立以後，可以在軟體應用與本地數據存儲之間傳輸數據，而不需要任何處理器參與。因此，所建立的連結允許來自和去往應用107和本地數據存儲140的數據傳輸。該數據傳輸可以在沒有來自中央處理器的任何參與的情況下在運行應用的計算機系統處進行。因此，數據可以直接從應用存儲器傳輸給數據存儲(並且反之亦然)，而無需處理器參與。圖3示出了用於提供用於初始化本地數據存儲的管理界面的方法300的流程圖。現在將頻繁參考圖I的環境100和圖4的環境400的組件和數據來描述方法300。方法300包括將管理界面實例化的動作，所述管理界面被配置為初始化本地持久數據存儲(動作310)。例如，計算機系統將管理界面410實例化，所述管理界面被配置為初始化本地持久數據存儲440。管理界面可以是允許訪問數據存儲440的任何類型的軟體應用。在一些情況下，管理界面可以是由數據存儲提供者以外的某人提供的第三方管理界面。方法300包括接收指示在初始化本地持久數據存儲時要應用的一個或多個設定的輸入的動作，其中所述設定至少之一標識出本地持久數據存儲將被如何分區(動作320)。例如，管理界面410可以從用戶405接收包括數據存儲初始化設定130/430的用戶輸入406。這些設定將在初始化數據存儲440時被應用。例如，分區設定431可以指示數據存儲440將被分區成多少個分區、每個分區將為多大、將為每個分區如何配置存儲器偏移量442、以及其他設定。在一些實施例中，用戶405可以控制數據存儲初始化設定430中的任何或全部設定。管理界面410還可以允許用戶為每個分區配置用戶訪問設定432。因此，用戶可以限制對某些(安全的)分區的訪問，同時許可對其他分區的完全訪問。方法300包括將本地持久數據存儲分區成一個或多個分區的動作，所述分區每個都可以使用管理界面來訪問(動作330)。例如，管理界面410可以將本地持久數據存儲440分區成可使用界面410來訪問的分區(或發起對其的分區)。訪問能力設定432可以結合分區來應用，使得根據訪問能力設定來限制對新近創建的分區的訪問。方法300包括使用管理界面將經分區的本地持久數據存儲初始化為本地RDMA端點的動作(動作340)。例如，管理界面410可以將經分區的本地持久數據存儲440初始化為本地RDMA端點。當數據存儲已經被初始化為RDMA端點時，用戶可以通過管理界面經由RDMA來訪問數據存儲中的數據。這樣的RDMA端點訪問允許應用將數據從應用存儲器直接傳輸給數據存儲上的一個或多個分區，而無需涉及處理器。此外，如上所述，由於至少在一些實施例中，傳統的RDMA網絡擔保可以在RDMA與本地存儲一起使用時被放寬，因此數據傳輸和其他操作可以並行地執行和完成。因此，提供了將RDMA語義擴展為允許使用經擴展的RDMA語義進行本地存儲系統中的數據訪問和數據存儲的方法、系統和電腦程式產品。此外，可以提供允許用戶或軟體應用初始化本地數據存儲的管理界面。可以以用戶設置初始化設定時所依據的定製方法來初始化數據存儲。本發明可具體化為其它具體形式而不背離其精神或本質特徵。所描述的實施例在 所有方面都應被認為僅是說明性而非限制性的。因此，本發明的範圍由所附權利要求書而非前述描述指示。落入權利要求書的等效方案的含義和範圍內的所有改變被權利要求書的範圍所涵蓋。
權利要求
1.ー種在包括處理器和存儲器的計算機系統處的用於將遠程直接存儲器訪問(RDMA)語義擴展為允許本地存儲系統中的實現的計算機實現的方法，該方法包括 將ー個或多個RDMA語義擴展為使用RDMA提供本地存儲訪問的動作，其中擴展RDMA語義包括下列動作 將RDMA動詞接ロ的ー個或多個RDMA動詞映射到本地數據存儲的動作；以及 修改ー個或多個RDMA排序語義以允許無序處理和無序完成中的至少之ー的動過；以及 使用經擴展的RDMA語義來訪問所述本地數據存儲的ー個或多個部分的動作。
2.如權利要求I所述的方法，其特徵在幹，映射包括對本地數據存儲進行命名使得所述本地數據存儲被RDMA識別成端點。
3.如權利要求I所述的方法，其特徵在幹，RDMA的現有阻隔能力被維持，同時允許無序處理和無序完成。
4.如權利要求I所述的方法，其特徵在幹，經擴展的RDMA語義被實現在包括文件系統和資料庫至少之ー的存儲管理層中。
5.如權利要求I所述的方法，其特徵在幹，經擴展的RDMA語義包括在每個操作都已完成時進行報告的至少ー個語義。
6.如權利要求I所述的方法，其特徵在於，還包括軟體應用使用經擴展的RDMA語義來建立所述應用與所述本地數據存儲之間的連結的動作。
7.如權利要求6所述的方法，其特徵在幹，所述軟體應用使用所建立的連結來訪問存儲在所述本地數據存儲中的應用數據的至少一部分。
8.如權利要求6所述的方法，其特徵在於，在連結被建立以後，在所述軟體應用與所述本地數據存儲之間傳輸數據，而不需要任何處理器參與。
9.如權利要求I所述的方法，其特徵在於，還包括處理ー個或多個壁壘操作以轉儲清除未決的數據傳輸並且保證至少一個數據操作的完成的動作。
10.如權利要求I所述的方法，其特徵在於，所述本地數據存儲包括基於存儲器陣列的目標設備。
11.如權利要求I所述的方法，其特徵在於，所述本地數據存儲包括基於快閃記憶體的存儲。
12.如權利要求I所述的方法，其特徵在於，數據的ー個或多個部分被高速緩存在本地數據存儲中。
13.如權利要求I所述的方法，其特徵在幹，經擴展的RDMA語義被配置為提供對所述本地數據存儲的遠程訪問。
14.如權利要求I所述的方法，其特徵在於，由RDMA提供的一個或多個網絡擔保被選擇性地放寬到用戶指示的程度以供與所述本地數據存儲一起使用。
15.一種用於實現ー種用於提供用於初始化本地數據存儲的管理界面的方法的電腦程式產品，所述電腦程式產品包括其上存儲有計算機可執行指令的一個或多個計算機可讀存儲介質，所述指令在被計算系統的ー個或多個處理器執行時致使所述計算系統執行該方法，該方法包括 將管理界面實例化的動作，所述管理界面被配置為初始化本地持久數據存儲； 接收指示在初始化所述本地持久數據存儲時要應用的ー個或多個設定的輸入的動作，其中所述設定至少之ー標識出本地持久數據存儲將被如何分區； 將所述本地持久數據存儲分區成ー個或多個分區的動作，所述分區每個都能夠使用所述管理界面來訪問；以及 使用所述管理界面將經分區的本地持久數據存儲初始化為本地RDMA端點。
16.如權利要求15所述的電腦程式產品，其特徵在於，所述管理界面包括第三方管理界面。
17.如權利要求15所述的電腦程式產品，其特徵在於，所述管理界面允許用戶配置所述本地持久數據存儲將被分區成的分區的數目。
18.如權利要求15所述的電腦程式產品，其特徵在於，所述管理界面允許用戶為每個分區配置用戶訪問設定。
19.如權利要求15所述的電腦程式產品，其特徵在於，所述管理界面允許用戶為每個分區配置存儲器偏移量。
20.一種計算機系統，包括 一個或多個處理器； 系統存儲器； 本地數據存儲； 其上存儲有計算機可執行指令的一個或多個計算機可讀存儲介質，所述計算機可執行指令在由所述ー個或多個處理器執行時致使所述計算系統執行一種將遠程直接存儲器訪問(RDMA)語義擴展為允許本地存儲系統中的實現的方法，該方法包括 將ー個或多個RDMA語義擴展為使用RDMA提供本地存儲訪問的動作，其中擴展所述RDMA語義包括下列動作 將RDMA網絡API語義接ロ的ー個或多個RDMA網絡API語義映射到所述本地數據存儲的動作；以及 修改ー個或多個RDMA排序語義以允許無序處理和無序完成中的至少之ー的動作；使用經擴展的RDMA網絡API語義來從遠程計算系統訪問所述本地數據存儲的ー個或多個部分的動作；以及 使用同一經擴展的RDMA網絡API語義來從本地計算系統訪問所述本地數據存儲的一個或多個部分的動作。
全文摘要
在此所述的實施例所針對的是，擴展遠程直接存儲器訪問(RDMA)語義以允許本地存儲系統中的實現、以及提供用於初始化本地數據存儲的管理界面。計算機系統將RDMA語義擴展為使用RDMA提供本地存儲訪問，其中擴展RDMA語義包括下列動作將RDMA動詞接口的RDMA動詞映射到本地數據存儲；以及修改RDMA排序語義以允許無序處理和/或無序完成。計算機系統還使用經擴展的RDMA語義來訪問本地數據存儲的各個部分。
文檔編號G06F13/16GK102844747SQ201180016570
公開日2012年12月26日 申請日期2011年3月25日 優先權日2010年4月2日
發明者J·T·平克頓, T·M·塔爾佩伊 申請人:微軟公司