一種數字圖書館即服務的雲計算平臺構建方法
2023-05-21 12:01:51
一種數字圖書館即服務的雲計算平臺構建方法
【專利摘要】本發明公開了一種數字圖書館即服務的雲計算平臺構建方法。平臺的構建採用四層結構,即物理存儲層,虛擬設施架構層,數字圖書館引擎以及數字圖書館系統應用層,其中:物理存儲層基於非結構化數據管理系統來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能;虛擬設施架構層用於構建和處理虛擬機節點,提供基礎的雲計算設施;數字圖書館引擎用於創建和處理數字圖書館服務節點,並實現了資源處理服務、多租戶服務和質量保證服務。本發明通過構建數字圖書館即服務的雲計算平臺,可以方便用戶構建和維護數字圖書館系統;同時,數字圖書館引擎通過資源處理服務、多租戶服務和質量保證服務,使得數字圖書館系統安全、可靠、可擴展和高性能。
【專利說明】一種數字圖書館即服務的雲計算平臺構建方法
【技術領域】
[0001]本發明涉及雲計算【技術領域】,特別是涉及一種數字圖書館即服務的雲計算平臺構建方法。
【背景技術】
[0002]隨著數字圖書館的快速發展,涉及越來越多的數據和智能服務。同時,人們也意識到數字圖書館的重要性和便捷性。然而在目前條件下,構建並維護一個專業數字圖書館的代價是很大的,一些機構團體和個人用戶也沒有能力去運行和維護這麼一個涉及海量數據和複雜服務的數字圖書館。同時,隨著網際網路、雲計算、虛擬化技術的快速發展,如今的時代是一個無處不網、無時不網、人人上網、時時在線的時代,通過雲計算,廣大用戶無需自購軟體、硬體,無需將自己的軟硬體系統交給他人託管,甚至無需知道是誰提供的服務,只需關注自己真正需要什麼樣的資源或者得到什麼樣的服務。如今雲計算技術在很多領域得到了極大的發展,但對於數字圖書館領域,真正能夠提供用於數字圖書館服務動態部署和應用的平臺或框架相對較少。鑑於此,本發明提出了一種數字圖書館即服務的雲計算平臺構建方法。該方法將數字圖書館和雲計算技術結合起來,在雲端構建一個數字圖書館引擎,用於快速部署數字圖書館服務、方便處理數字圖書館服務節點資源以及處理用戶服務請求。單位和機構可以通過數字圖書館引擎創建數字圖書館服務節點,然後將自己的服務部署在數字圖書館服務節點中,即可得到高效穩定的數字圖書館服務,而無需擔心數字圖書館的處理和維護問題。
【發明內容】
[0003]本發明的目的是克服現有技術的不足,提供一種數字圖書館即服務的雲計算平臺構建方法。
[0004]為實現上述的發明目的,本發明採用下述的技術方案:
一種數字圖書館即服務的雲計算平臺構建方法的步驟如下:
(1)平臺服務提供者構建基於非結構化數據管理系統的物理存儲層,用來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能;
(2)平臺服務提供者構建基於基礎設施即服務框架的虛擬設施架構層,用於構建和處理虛擬機節點,提供基礎的雲計算設施;
(3)平臺服務提供者構建基於面向服務架構的數字圖書館引擎,實現服務組件處理,同時創建和處理數字圖書館服務節點,並實現資源處理服務、多租戶服務和質量保證服務;
(4)平臺服務提供者構建數字圖書館系統應用層,提供用戶創建的數字圖書館服務節點,用於處理數字圖書館服務;
(5)完成上述四個步驟之後,普通用戶向平臺提交創建數字圖書館所需的硬體需求,所需的硬體需求包括內存、CPU、硬碟大小以及作業系統類型;
(6)用戶通過命令行向數字圖書館引擎提交創建數字圖書館服務節點的請求,所述的請求包括創建命令、服務名稱、服務節點數目以及包含步驟(5)中所述的硬體需求的XML文件名稱;
(7)平臺根據步驟(6)中用戶所提交的請求,創建虛擬機節點,並啟動虛擬機節點;
(8)用戶根據面向服務架構的技術規範開發服務組件,並為服務組件構建組件說明文件,包括組件名稱、服務名稱、組件依賴關係以及組件部署份數信息;
(9)平臺根據步驟(8)中的組件說明文件,部署並啟動服務組件和服務組件依賴的組
件;
(IO )啟動服務後,通過表述性狀態轉移接口或網頁訪問數字圖書館服務。
[0005]所述的物理存儲層基於非結構化數據管理系統來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能,其中非結構化數據管理系統提供數字對象模型解決異構數字資源的統一表達,提供數字對象倉儲用於數字對象的創建、讀寫、刪除和更新操作,還提供了基於大規模數據集軟體架構的分布式計算功能、分布式索引功能和分布式查詢功倉泛。
[0006]所述的數字圖書館引擎,包括數字圖書館框架、數字圖書館服務節點處理服務、資源處理服務、多租戶服務和質量保證服務,數字圖書館引擎根據數字圖書館框架創建數字圖書館服務節點,然後用戶在該服務節點上部署數字圖書館服務組件,具體表現為:
(1)所述的數字圖書館框架是數字圖書館引擎中最重要的部分,數字圖書館框架採用主從體系架構,包含一個主服務處理器,一個輔助服務處理器和多個應用服務處理器,同時提供表述性狀態轉移接口來處理數字圖書館服務;
主服務處理器通過分布式協調器處理應用服務處理器集群,當一個應用服務處理器宕掉時,主服務處理器會收到通知,然後主服務處理器會重新調度服務組件以保證服務質量;同時主服務處理器維護服務組件的所有元數據信息,包括服務到應用服務處理器的映射關係、會話ID到應用服務處理器的映射關係以及服務組件的位置;主服務處理器同時維護應用服務處理器的狀態信息以用於服務調度和負載均衡;另外,主服務處理器控制系統層次的活動,包括應用服務處理器間的服務組件遷移、服務組件生命周期的處理,應用服務處理器和服務組件的容災;輔助服務處理器是主服務處理器的備份,當主服務處理器失效時,輔助服務處理器能夠及時替換主服務處理器以繼續提供服務;
應用服務處理器基於面向服務的框架實現,負責動態處理服務組件,在應用服務處理器中,服務組件分為基礎服務組件和應用服務組件,基礎服務組件部署在所有應用服務處理器上,包括非結構化數據管理系統客戶端組件、監控服務、緩存服務、日誌組件以及會話組件,而應用服務組件根據伺服器負載情況和服務組件間的依賴關係部署在指定的應用服務處理器上;在數字圖書館引擎中,基礎服務組件被集成在虛擬機鏡像中,隨虛擬機啟動而啟動,而應用服務組件則是用戶自己部署安裝的;
(2)所述的數字圖書館服務節點處理服務指的是數字圖書館引擎創建的數字圖書館服務節點的全生命周期處理,包括創建、運行和刪除數字圖書館服務節點,數字圖書館服務節點維護了用戶創建的數字圖書館系統的所有元數據信息,包括服務節點的位置信息、服務節點所使用的虛擬機數量、租戶與系統服務間的映射關係,通過這些元數據,數字圖書館引擎控制服務節點的所有活動,也可以將用戶的請求發送給相應的服務節點;
(3)所述的資源處理服務,由一個全局資源處理器和部署在每臺物理機上的節點處理器實現;
資源處理器和節點處理器共同處理虛擬機的運行,資源處理器收集物理機的資源利用率,包括CPU、內存和硬碟利用信息,通過這些信息,資源處理器能夠在合適的物理機上創建虛擬機和在物理機間進行虛擬機遷移來實現負載均衡,節點處理器根據資源處理器的命令處理本地物理機上的虛擬機,包括創建、移除和遷移操作,同時將虛擬機的運行情況報告給資源處理器;
當用戶想要創建數字圖書館服務節點時,可以將需要的硬體配置信息,包括CPU、內存、硬碟利用信息發送給資源處理器,資源處理器接收到消息後,根據物理機的資源利用率將請求發送給合適的一組節點處理器,這組節點處理器則通過調用虛擬設施架構層的虛擬機應用服務,構建虛擬機集群以部署數字圖書館服務節點,每個服務節點上的主服務處理器監聽應用服務處理器以獲取資源利用情況,當應用服務處理器上的CPU利用率超過80%時,主服務處理器會通知資源處理器,資源處理器將會增加更多的虛擬機到該數字圖書館服務節點中以保證服務質量;
(4)所述的多租戶服務,指的是在數字圖書館引擎中,隔離不同用戶創建的數字圖書館服務節點,以達到安全的目的,對於服務的多租戶服務,即通過虛擬機的隔離策略實現,不同的數字圖書館服務節點可以部署在不同的虛擬機集群上,使得數字圖書館的服務得到隔離;同時,數字圖書館引擎可以通過資源處理器和節點處理器來調度虛擬機,提高資源利用率;對於數據的多租戶服務,則通過非結構化數據管理系統的命名空間來實現,不同用戶的數據存放在各自的命名空間中,以達到隔離的效果;
(5)所述的質量保證服務,指的是數字圖書館引擎可以根據數字圖書館系統的負載自適應的調整應用服務處理器個數,以達到負載均衡和理想的服務質量,質量保證服務通過消息隊列和分布式協調器實現;
在數字圖書館服務節點中部署服務時,主服務處理器通知應用服務處理器部署相關的服務,然後創建消息隊列用於用戶請求處理,同時應用服務處理器上啟動監聽消息隊列伺服器的服務,當用戶請求到來時,主服務處理器將請求入隊,相應的應用服務處理器從消息隊列中取出消息,並解析處理響應,由於應用服務處理器一直在監聽消息隊列,這個機制能夠確保用戶請求得到及時響應;
同時,主服務處理器監控消息隊列和物理機的狀況,當消息隊列的長度超過所設置的閾值時,這意味著用戶請求數量超過系統所能處理的能力,有些請求將不能得到及時處理,此時主服務處理器將會部署更多的服務組件以提供服務,當所有的應用服務處理器的負載都很重時,系統將添加新的應用服務處理器並部署所需的服務組件;當請求數量減少時,應用服務處理器出現空閒,那麼部分空閒的虛擬機將會被移除以達到充分利用資源。
[0007]本發明與技術背景相比具有的有益效果:
1)通過構建數字圖書館即服務的雲計算平臺,可以方便用戶構建和維護數字圖書館系
統;
2)數字圖書館引擎通過資源服務、多租戶服務和質量保證服務,使得數字圖書館系統安全、可靠、可擴展,並具有容錯容災和負載均衡的特性。
【專利附圖】
【附圖說明】[0008]圖1是本發明提出的數字圖書館即服務的雲計算平臺的層次結構圖;
圖2是本發明提出的數字圖書館引擎的架構圖;
圖3是本發明提出的數字圖書館引擎中的數字圖書館框架圖;
圖4是本發明提出的數字圖書館引擎中的資源處理服務架構圖;
圖5是本發明提出的數字圖書館引擎中多租戶服務結構圖;
圖6是本發明實施例中用戶提交創建數字圖書館所需的硬體需求描述文件;
圖7是本發明實施例中平臺創建的虛擬機節點運行圖;
圖8是本發明實施例中中國書法服務組件的描述文件;
圖9是本發明實施例中服務組件啟動結果圖;
圖10是本發明實施例中通過表述性狀態轉移接口訪問中國書法字結果顯示圖;
圖11是本發明實施例中通過網頁形式訪問中國書法字結果顯示圖。
【具體實施方式】
[0009]一種數字圖書館即服務的雲計算平臺構建方法的步驟如下:
(1)平臺服務提供者構建基於非結構化數據管理系統的物理存儲層,如圖1所示,用來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能;
(2)平臺服務提供者構建基於基礎設施即服務框架的虛擬設施架構層,如圖1所示,用於構建和處理虛擬機節點,提供基礎的雲計算設施;
(3)平臺服務提供者構建基於面向服務架構的數字圖書館引擎,如圖1所示,實現服務組件處理,同時用於創建和處理數字圖書館服務節點,並實現資源處理服務、多租戶服務和質量保證服務;
(4)平臺服務提供者構建數字圖書館系統應用層,如圖1所示,提供用戶創建的數字圖書館服務節點,用於處理數字圖書館服務;
(5)完成上述四步驟之後,普通用戶提交創建數字圖書館所需的硬體需求,所需的硬體需求包括內存、CPU、硬碟大小以及作業系統類型;
(6)用戶通過命令行向數字圖書館引擎提交創建數字圖書館服務節點的請求,所述的請求包括創建命令、服務名稱、服務節點數目以及包含步驟(5)中所述的硬體需求的XML文件名稱;
(7)平臺根據步驟(6)中用戶所提交的請求,創建虛擬機節點,並啟動虛擬機節點;
(8)用戶根據面向服務架構的技術規範開發服務組件,並為服務組件構建組件說明文件,包括組件名稱、服務名稱、組件依賴關係以及組件部署份數信息;
(9)平臺根據步驟(8)中的組件說明文件,部署並啟動服務組件和服務組件依賴的組
件;
(IO )啟動服務後,通過表述性狀態轉移接口或網頁訪問數字圖書館服務。
[0010]所述的物理存儲層基於非結構化數據管理系統來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能,其中非結構化數據管理系統提供數字對象模型解決異構數字資源的統一表達,提供數字對象倉儲用於數字對象的創建、讀寫、刪除和更新操作,還提供了基於大規模數據集軟體架構的分布式計算功能、分布式索引功能和分布式查詢功倉泛。[0011]所述的數字圖書館引擎,其框架如圖2所示,包括數字圖書館框架、數字圖書館服務節點處理服務、資源處理服務、多租戶服務和質量保證服務,數字圖書館引擎根據數字圖書館框架創建數字圖書館服務節點,然後用戶在該服務節點上部署數字圖書館服務組件,具體表現為:
(1)所述的數字圖書館框架,如圖3所示,是數字圖書館引擎中最重要的部分,數字圖書館框架採用主從體系架構,包含一個主服務處理器,一個輔助服務處理器和多個應用服務處理器,同時提供表述性狀態轉移接口(REST)來處理數字圖書館服務;
主服務處理器通過分布式協調器(Zooke^er)處理應用服務處理器集群,當一個應用服務處理器宕掉時,主服務處理器會收到通知,然後主服務處理器會重新調度服務組件以保證服務質量;同時主服務處理器維護服務組件的所有元數據信息,包括服務到應用服務處理器的映射關係、會話ID到應用服務處理器的映射關係以及服務組件的位置;主服務處理器同時維護應用服務處理器的狀態信息以用於服務調度和負載均衡;另外,主服務處理器控制系統層次的活動,包括應用服務處理器間的服務組件遷移、服務組件生命周期的處理,應用服務處理器和服務組件的容災;輔助服務處理器是主服務處理器的備份,當主服務處理器失效時,輔助服務處理器能夠及時替換主服務處理器以繼續提供服務;
應用服務處理器基於面向服務的框架實現,負責動態處理服務組件,在應用服務處理器中,服務組件分為基礎服務組件(Basic Service Bundle, BSB)和應用服務組件(Application Service Bundle, ASB),基礎服務組件部署在所有應用服務處理器上,包括非結構化數據管理系統客戶端組件、監控服務、緩存服務、日誌組件以及會話組件,而應用服務組件根據伺服器負載情況和服務組件間的依賴關係部署在指定的應用服務處理器上;在數字圖書館引擎中,基礎服務組件被集成在虛擬機鏡像中,隨虛擬機啟動而啟動,而應用服務組件則是用戶自己部署安裝的;
(2)所述的數字圖書館服務節點處理服務指的是數字圖書館引擎創建的數字圖書館服務節點的全生命周期處理,包括創建、運行和刪除數字圖書館服務節點,數字圖書館服務節點維護了用戶創建的數字圖書館系統的所有元數據信息,包括服務節點的位置信息、服務節點所使用的虛擬機數量、租戶與系統服務間的映射關係,通過這些元數據,數字圖書館引擎控制服務節點的所有活動,也可以將用戶的請求發送給相應的服務節點;
(3)所述的資源服務,如圖4所示,由一個全局資源處理器和部署在每臺物理機上的節點處理器實現;
資源處理器和節點處理器共同處理虛擬機的運行,資源處理器收集物理機的資源利用率,包括CPU、內存和硬碟利用信息,通過這些信息,資源處理器能夠在合適的物理機上創建虛擬機和在物理機間進行虛擬機遷移來實現負載均衡,節點處理器根據資源處理器的命令處理本地物理機上的虛擬機,包括創建、移除和遷移操作,同時將虛擬機的運行情況報告給資源處理器;
當用戶想要創建數字圖書館服務節點時,可以將需要的硬體配置信息,包括CPU、內存、硬碟利用信息發送給資源處理器,資源處理器接收到消息後,根據物理機的資源利用率將請求發送給合適的一組節點處理器,這組節點處理器則通過調用虛擬設施架構層的虛擬機應用服務,構建虛擬機集群以部署數字圖書館服務節點,每個服務節點上的主服務處理器監聽應用服務處理器以獲取資源利用情況,當應用服務處理器上的CPU利用率超過80%時,主服務處理器會通知資源處理器,資源處理器將會增加更多的虛擬機到該數字圖書館服務節點中以保證服務質量;
(4)所述的多租戶服務,如圖5所示,指的是在數字圖書館引擎中,隔離不同用戶創建的數字圖書館服務節點,以達到安全的目的,對於服務的多租戶服務,即通過虛擬機的隔離策略實現,不同的數字圖書館服務節點可以部署在不同的虛擬機集群上,使得數字圖書館的服務得到隔離;同時,數字圖書館引擎可以通過資源處理器和節點處理器來調度虛擬機,提高資源利用率;對於數據的多租戶服務,則通過非結構化數據管理系統的命名空間來實現,不同用戶的數據存放在各自的命名空間中,以達到隔離的效果;
(5)所述的質量保證服務,指的是數字圖書館引擎可以根據數字圖書館系統的負載自適應的調整應用服務處理器個數,以達到負載均衡和服務質量保證,質量保證服務則通過消息隊列和分布式協調器(Zooke^er)實現;
在數字圖書館服務節點中部署服務時,主服務處理器通知應用服務處理器部署相關的服務,然後創建消息隊列用於用戶請求處理,同時應用服務處理器上啟動監聽消息隊列伺服器的服務,當用戶請求到來時,主服務處理器將請求入隊,相應的應用服務處理器從消息隊列中取出消息,並解析處理響應,由於應用服務處理器一直在監聽消息隊列,這個機制能夠確保用戶請求得到及時響應;
同時,主服務處理器監控消息隊列和物理機的狀況,當消息隊列的長度超過所設置的閾值時,這意味著用戶請求數量超過系統所能處理的能力,有些請求將不能得到及時處理,此時主服務處理器將會部署更多的服務組件以提供服務,當所有的應用服務處理器的負載都很重時,系統將添加新的應用服務處理器並部署所需的服務組件;當請求數量減少時,應用服務處理器出現空閒,那麼部分空閒的虛擬機將會被移除以達到充分利用資源。
實施例
[0012]大學數字圖書館國際合作計`劃CADAL創建的數字圖書館中構建了數字圖書館即服務的雲計算平臺,並採用數字圖書館引擎部署了中國書法數字圖書館、中國文學編年史數字圖書館、中醫藥數字圖書館等系統實例。下面結合本發明,詳細說明中國書法數字圖書館系統實例構建的具體步驟,如下:
(1)普通用戶提交創建數字圖書館所需的硬體需求,所需的硬體需求包括內存、CPU、硬碟大小以及作業系統類型,如圖6所示;
(2)用戶通過命令行向數字圖書館引擎提交創建數字圖書館服務節點的請求,所述的請求包括創建命令、服務名稱、服務節點數目以及包含步驟(1)中所述的硬體需求的XML文件名稱;
(3)平臺根據步驟(2)中用戶所提交的請求,創建虛擬機節點,並啟動虛擬機節點,結果如圖7所示;
(4)用戶根據面向服務架構的技術規範開發服務組件,並為服務組件構建組件說明文件,包括組件名稱、服務名稱、組件依賴關係以及組件部署份數信息,如圖8為中國書法服務組件的說明文件;
(5)平臺根據步驟(4)中的組件說明文件,部署並啟動服務組件和服務組件依賴的組件,如圖9所示; (6)啟動服務後,通過表述性狀態轉移REST接口訪問,如圖10為訪問中國書法字結果顯示圖;
(7)啟動服務後,通過網頁訪問,如圖11為訪問中國書法字結果顯示圖。
【權利要求】
1.一種數字圖書館即服務的雲計算平臺構建方法,其特徵是,它的步驟包括: (1)平臺服務提供者構建基於非結構化數據管理系統的物理存儲層,用來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能; (2)平臺服務提供者構建基於基礎設施即服務框架的虛擬設施架構層,用於構建和處理虛擬機節點,提供基礎的雲計算設施; (3)平臺服務提供者構建基於面向服務架構的數字圖書館引擎,實現服務組件處理,同時創建和處理數字圖書館服務節點,並實現資源處理服務、多租戶服務和質量保證服務; (4)平臺服務提供者構建數字圖書館系統應用層,提供用戶創建的數字圖書館服務節點,用於處理數字圖書館服務; (5)完成上述四個步驟之後,普通用戶向平臺提交創建數字圖書館所需的硬體需求,所需的硬體需求包括內存、CPU、硬碟大小以及作業系統類型; (6)用戶通過命令行向數字圖書館引擎提交創建數字圖書館服務節點的請求,所述的請求包括創建命令、服務名稱、服務節點數目以及包含步驟(5)中所述的硬體需求的XML文件名稱; (7)平臺根據步驟(6)中用戶所提交的請求,創建虛擬機節點,並啟動虛擬機節點; (8)用戶根據面向服務架構的技術規範開發服務組件,並為服務組件構建組件說明文件,包括組件名稱、服務名稱、組件依賴關係以及組件部署份數信息; (9)平臺根據步驟(8)中的組件說明文件,部署並啟動服務組件和服務組件依賴的組件; (IO )啟動服務後,通過表述性狀態轉移接口或網頁訪問數字圖書館服務。
2.根據權利要求1所述的一種數字圖書館即服務的雲計算平臺構建方法,其特徵在於:所述的物理存儲層基於非結構化數據管理系統來存儲和處理數字圖書館中的數據並提供分析、索引和查詢功能,其中非結構化數據管理系統提供數字對象模型解決異構數字資源的統一表達,提供數字對象倉儲用於數字對象的創建、讀寫、刪除和更新操作,還提供了基於大規模數據集軟體架構的分布式計算功能、分布式索引功能和分布式查詢功能。
3.根據權利要求1所述的一種數字圖書館即服務的雲計算平臺構建方法,其特徵在於:所述的數字圖書館引擎,包括數字圖書館框架、數字圖書館服務節點處理服務、資源處理服務、多租戶服務和質量保證服務,數字圖書館引擎根據數字圖書館框架創建數字圖書館服務節點,然後用戶在該服務節點上部署數字圖書館服務組件,具體表現為: (I)所述的數字圖書館框架是數字圖書館引擎中最重要的部分,數字圖書館框架採用主從體系架構,包含一個主服務處理器,一個輔助服務處理器和多個應用服務處理器,同時提供表述性狀態轉移接口來處理數字圖書館服務; 主服務處理器通過分布式協調器處理應用服務處理器集群,當一個應用服務處理器宕掉時,主服務處理器會收到通知,然後主服務處理器會重新調度服務組件以保證服務質量;同時主服務處理器維護服務組件的所有元數據信息,包括服務到應用服務處理器的映射關係、會話ID到應用服務處理器的映射關係以及服務組件的位置;主服務處理器同時維護應用服務處理器的狀態信息以用於服務調度和負載均衡;另外,主服務處理器控制系統層次的活動,包括應用服務處理器間的服務組件遷移、服務組件生命周期的處理,應用服務處理器和服務組件的容災;輔助服務處理器是主服務處理器的備份,當主服務處理器失效時,輔助服務處理器能夠及時替換主服務處理器以繼續提供服務; 應用服務處理器基於面向服務的框架實現,負責動態處理服務組件,在應用服務處理器中,服務組件分為基礎服務組件和應用服務組件,基礎服務組件部署在所有應用服務處理器上,包括非結構化數據管理系統客戶端組件、監控服務、緩存服務、日誌組件以及會話組件,而應用服務組件根據伺服器負載情況和服務組件間的依賴關係部署在指定的應用服務處理器上;在數字圖書館引擎中,基礎服務組件被集成在虛擬機鏡像中,隨虛擬機啟動而啟動,而應用服務組件則是用戶自己部署安裝的; (2)所述的數字圖書館服務節點處理服務指的是數字圖書館引擎創建的數字圖書館服務節點的全生命周期處理,包括創建、運行和刪除數字圖書館服務節點,數字圖書館服務節點維護了用戶創建的數字圖書館系統的所有元數據信息,包括服務節點的位置信息、服務節點所使用的虛擬機數量、租戶與系統服務間的映射關係,通過這些元數據,數字圖書館引擎控制服務節點的所有活動,也可以將用戶的請求發送給相應的服務節點; (3)所述的資源處理服務,由一個全局資源處理器和部署在每臺物理機上的節點處理器實現; 資源處理器和節點處理器共同處理虛擬機的運行,資源處理器收集物理機的資源利用率,包括CPU、內存和硬碟利用信息,通過這些信息,資源處理器能夠在合適的物理機上創建虛擬機和在物理機間進行虛擬機遷移來實現負載均衡,節點處理器根據資源處理器的命令處理本地物理機上的虛擬機,包括創建、移除和遷移操作,同時將虛擬機的運行情況報告給資源處理器; 當用戶想要創建數字圖書館服務節點時,可以將需要的硬體配置信息,包括CPU、內存、硬碟利 用信息發送給資源處理器,資源處理器接收到消息後,根據物理機的資源利用率將請求發送給合適的一組節點處理器,這組節點處理器則通過調用虛擬設施架構層的虛擬機應用服務,構建虛擬機集群以部署數字圖書館服務節點,每個服務節點上的主服務處理器監聽應用服務處理器以獲取資源利用情況,當應用服務處理器上的CPU利用率超過80%時,主服務處理器會通知資源處理器,資源處理器將會增加更多的虛擬機到該數字圖書館服務節點中以保證服務質量; (4)所述的多租戶服務,指的是在數字圖書館引擎中,隔離不同用戶創建的數字圖書館服務節點,以達到安全的目的,對於服務的多租戶服務,即通過虛擬機的隔離策略實現,不同的數字圖書館服務節點可以部署在不同的虛擬機集群上,使得數字圖書館的服務得到隔離;同時,數字圖書館引擎可以通過資源處理器和節點處理器來調度虛擬機,提高資源利用率;對於數據的多租戶服務,則通過非結構化數據管理系統的命名空間來實現,不同用戶的數據存放在各自的命名空間中,以達到隔離的效果; (5)所述的質量保證服務,指的是數字圖書館引擎可以根據數字圖書館系統的負載自適應的調整應用服務處理器個數,以達到負載均衡和理想的服務質量,質量保證服務通過消息隊列和分布式協調器實現; 在數字圖書館服務節點中部署服務時,主服務處理器通知應用服務處理器部署相關的服務,然後創建消息隊列用於用戶請求處理,同時應用服務處理器上啟動監聽消息隊列伺服器的服務,當用戶請求到來時,主服務處理器將請求入隊,相應的應用服務處理器從消息隊列中取出消息,並解析處理響應,由於應用服務處理器一直在監聽消息隊列,這個機制能夠確保用戶請求得到及時響應; 同時,主服務處理器監控消息隊列和物理機的狀況,當消息隊列的長度超過所設置的閾值時,這意味著用戶請求數量超過系統所能處理的能力,有些請求將不能得到及時處理,此時主服務處理器將會部署更多的服務組件以提供服務,當所有的應用服務處理器的負載都很重時,系統將添加新的應用服務處理器並部署所需的服務組件;當請求數量減少時,應用服務處理器 出現空閒,那麼部分空閒的虛擬機將會被移除以達到充分利用資源。
【文檔編號】G06F17/30GK103716372SQ201310592410
【公開日】2014年4月9日 申請日期:2013年11月22日 優先權日:2013年11月22日
【發明者】魯偉明, 鄭良櫸, 魏寶剛, 莊越挺 申請人:浙江大學