分析處理特定數據集的請求的資源系統的性能的製作方法

2024-04-13 13:09:05 1

分析處理特定數據集的請求的資源系統的性能
1.權益要求；相關申請；通過引用併入
2.本技術要求2021年9月23日提交的印度臨時專利申請no.202141043065的權益，該申請通過引用併入本文。
技術領域
3.本公開涉及管理應用於數據集處理的資源的操作性能。特別地，本公開涉及在可以包括分區和/或複製的數據集資源實例的系統(例如，資料庫系統)中數據集資源實例的性能分析和可視化。


背景技術：

4.維持高水平的資料庫性能對於日常業務運營至關重要，無論是用於庫存管理、人事管理、財務事務、通信還是其它類型的業務運營。在大多數情況下，通過監視底層計算硬體的性能來監視和管理資料庫性能。例如，當資料庫操作表現出降低的性能水平(例如，較慢的查詢響應時間)時，資料庫管理員可以確定資料庫正在其上操作的機器是否需要修改。示例修改可以包括增加工作存儲器或增加處理器容量。在其它示例中，降低的資料庫性能可能與資料庫作業系統和/或管理軟體相關聯。在這些示例中，資料庫管理員可以應用任意數量的軟體升級或修改。無論資料庫性能下降的原因是什麼，性能水平都是在整個資料庫和/或存儲設備水平進行評估的。
5.本部分中描述的方法是可以採用的方法，但不一定是先前已經設想或採用的方法。因此，除非另有說明，否則不應僅由於將本部分中所述的任何方法包括在本部分中而將其視為有資格作為現有技術。
附圖說明
6.在附圖的各圖中，通過示例而非限制的方式圖示了實施例。應當注意的是，在本公開中對「實施例」或「一個實施例」的引用不一定是指同一個實施例，並且它們意味著至少一個。在附圖中：
7.圖1是根據一個或多個實施例的系統的框圖；
8.圖2a和圖2b圖示了根據一個或多個實施例的識別和重新定位與從一個數據集資源實例到另一個數據集資源實例的升高的服務需求水平相關聯的數據集的一部分的示例；
9.圖3圖示了根據一個或多個實施例的用於確定跨多個數據集資源實例的聚合服務需求的示例操作集合；
10.圖4a-圖4j圖示了根據一個或多個實施例的圖形用戶接口(interface)的示例；以及
11.圖5示出了圖示根據一個或多個實施例的計算機系統的框圖。
具體實施方式
12.在下面的描述中，出於解釋的目的，闡述了許多具體細節以便提供透徹的理解。可以在沒有這些具體細節的情況下實踐一個或多個實施例。一個實施例中描述的特徵可以與另一個實施例中描述的特徵組合。在一些示例中，參考框圖形式描述了眾所周知的結構和設備，以避免不必要地混淆本發明。
13.1.總體概述
14.2.系統體系架構
15.3.以數據為中心的資料庫性能分析與管理
16.4.示例實施例
17.5.計算機網絡和雲網絡
18.6.其它；擴展
19.7.硬體概述
20.1.總體概述
21.一個或多個實施例通過跨與特定數據集對應的多個資源實例聚合服務需求來識別與任何特定數據集對應的服務需求。系統向管理員呈現單獨的和聚合的服務需求水平。在一個示例中，管理員可以使用該信息將數據集的子集(例如，數據塊)從與第一數據集相關聯的數據集資源實例重新定位到與第二數據集相關聯的數據集資源實例(或多個實例)。替代地或附加地，系統可以自動重新定位數據的一個或多個子集，從而重新分配計算資源的消耗。
22.在本「總體概述」部分中可以不包括本說明書中描述的和/或權利要求中闡述的一個或多個實施例。
23.2.體系架構概述
24.圖1圖示了根據一個或多個實施例的系統100。在一個或多個實施例中，系統100可以包括比圖1中所示的組件更多或更少的組件。圖1中所示的組件可以在彼此本地或遠程。圖1中所示的組件可以用軟體和/或硬體來實現。每個組件可以分布在多個應用和/或機器上。多個組件可以被組合成一個應用和/或機器。相對於一個組件描述的操作可以替代地由另一個組件執行。
25.如圖1中所示，系統100包括任意數量的數據集資源實例組，每組服務與對應數據集相關聯的請求。作為示例，系統100可以包括一組數據集資源實例104s和一組數據集資源實例140s。在一些示例中，數據集資源實例可以被實施為與特定數據集相關聯的計算資源。在一個圖示中，數據集資源實例可以包括被分配以執行與特定數據集相關聯的計算事務的處理器/處理器容量、存儲設備/存儲容量、可執行代碼的實例、以及其組合。在一些示例中，實例還可以包括在與實例相關聯的特定數據集分離的數據集上處理和/或執行事務的能力。在一些示例中，數據集資源實例可以是指派的硬體和/或軟體資源集合，諸如可單獨識別的伺服器和/或存儲設備。在其它示例中，數據集資源實例可以是在分布式或虛擬化計算環境(例如，「雲計算」)中分配的指定比例的計算資源(例如，處理器周期、存儲容量、事務數量/代碼執行時間量)。在還有的其它示例中，實例是一個或多個資料庫、資料庫分片、伺服器和/或軟體系統的實例化。
26.在一個具體說明中，數據集資源實例可以與分區和/或複製的資料庫相關聯。替代
地或附加地，數據集資源實例中的一個或多個可以與未分區和/或非複製的資料庫相關聯。例如，分區的資料庫可以是分片資料庫。資料庫的「分片」是作為數據的水平分區的存儲體系架構。在一個說明中，分片可以被實施為取自父表的一行或多行數據(即，水平分區)。分片可以跨主要實例和一個或多個備用實例進行複製，每個實例都有其自己的存儲位置、處理器資源、代碼執行資源等。
27.返回到圖1，數據集資源實例104s、140s中的每一個被示為包括主要數據集資源實例和備用資源實例。數據集資源實例104s包括主要數據集資源實例104a和備用數據集資源實例104b。數據集110a被存儲為主要數據集資源實例104a的元素。數據集110a由數據子集112-132組成。數據集110b被存儲為備用數據集資源實例104b的元素。數據集110b由數據子集112'-132'組成。在這個示例中，數據集110b是數據集110a的複製(replication)。
28.數據集資源實例140s包括主要數據集資源實例140a和備用數據集資源實例140b。數據集120a被存儲為主要數據集資源實例140b的元素。數據集140a由數據子集144-154組成。數據集120b被存儲為備用數據集資源實例140b的元素。數據集120b由數據子集144'-154'組成。在這個示例中，數據集120b是數據集120a的複製。
29.在一些示例中，主要數據集實例104a、140a使用讀/寫存儲結構。在一些示例中，備用實例104b、140b使用冗餘數據結構，這些數據結構是存儲在它們對應的主要資源實例中的數據集的複製版本。在一些示例中，備用數據集資源實例104b、140b使用可以響應查詢(從而減少由對應的主要數據集資源實例執行的操作的數量)但不能由用戶直接寫入的只讀數據結構。替代地，為了維持數據完整性，使用防止直接用戶訪問備用數據集資源實例104b、140b的數據複寫(duplication)系統，由用戶寫入操作對主要數據集資源實例104a、140a所做的更新被複製到備用數據集資源實例104b、140b中的對應備用數據集資源實例。數據複寫系統的一個示例是由oracle公司(oracle)的data
30.在一些示例中，計算事務可以由主要數據集實例104a、140a和/或備用數據集實例104b、140b中的一者或兩者執行。主要數據集實例104a、140a能夠執行讀取操作和寫入操作兩者。備用數據集資源實例104b、140b被配置為執行讀取操作。這種冗餘存儲體系架構可以用於資料庫系統中以實現高可用性(「ha」)和/或災難恢復(「dr」)。
31.主要實例104a、140a和對應的備用數據集資源實例104b、140b可以以在數據集內包括進一步細分的方式存儲它們相應的數據集110a、110b、120a、120b。這些細分被指示為數據集110a的子集112-132、數據集110b的子集112'-132'、數據集120a的子集144-154和數據集120b的子集144'-154'。在一些示例中，這些可以被稱為「部分(portion)」或「塊(chunk)」。在其中數據集110a、110b、120a、120b是表數據的一個示例中，塊可以是可以與特定數據集對應的水平分區數據的部分。例如，數據塊可以對應於與特定唯一用戶標識符相關聯的數據行。在另一個示例中，數據塊可以對應於與在特定時間單位(例如，一小時、一天等)期間或來自特定地點(例如，地理區域、指定的工作地點、ip地址)的計算事務相關聯的數據行。
32.圖1中所示的數據集資源實例104s、140s中的每一個還指示主要實例104a、140a和備用實例104b、140b中的每一個的數據吞吐量。數據吞吐量數量是置於數據集資源實例上
的服務需求的具體示例，在這種情況下以每秒對資料庫的調用次數(calls)來表示。但是，可以使用本文描述的實施例來分析其它類型的服務需求，諸如活動會話的數量、每次調用的服務時間等。
33.如圖所示，主要數據集資源實例104a的數據吞吐量為每秒1100次調用。備用數據集資源實例104b的數據吞吐量為每秒1000次調用。主要數據集資源實例140a的數據吞吐量為每秒600次調用。備用數據集資源實例140b的數據吞吐量為每秒500次調用。
34.圖1中還示出了針對實例104和140中的每一個跨數據集資源實例(主要和備用)聚合的服務需求水平。該聚合吞吐量量化了作為整體置於數據集資源實例上的服務需求總數(在這種情況下為調用次數/秒)。也就是說，聚合吞吐量是對主要數據集資源實例和一個或多個備用數據集資源實例的服務需求之和。在該圖示中，數據集資源實例104s上的聚合吞吐量是2100次調用/秒，並且數據集資源實例140s上的聚合吞吐量是1100次調用/秒。
35.這種對數據集資源實例的聚合服務需求包括比可能監視置於任何一個資源實例(例如，資料庫)或計算資源(例如，伺服器)上的服務需求的一些其它計算管理系統更精細的方法。分析置於單獨資源上的需求無法提供對任何特定數據集資源實例、特定數據集或特定數據集部分是否正在導致或促成測量的服務需求水平的精細理解。
36.圖2a和圖2b圖示了其中本公開的實施例可以用於確定數據集的特定部分和/或一組數據資源實例的特定實例與高服務需求水平相關聯的示例。圖2a和圖2b在被共同觀察時還圖示了其中系統可以將數據集的一部分指示和/或重新定位到未充分利用的數據集資源實例，從而平衡計算負載的實施例。
37.圖2a包括數據集實例104s、140s、它們對應的主要實例104a、140a和備用實例104b、140b、數據集110a、110b、120a、120b，以及上面在圖1的上下文中描述的對應數據集子集。圖1中與每個數據集資源實例(單獨地和集體地)相關聯的相同吞吐量也在圖2a中指示。
38.使用下面在圖3的上下文中描述的技術，系統可以通過對置於個體(individual)實例上的資源需求的精細識別來集體識別跨相關聯數據集資源實例的聚合服務需求水平。在資料庫管理系統的示例圖示中，執行圖3的技術的系統可以為一組邏輯關聯的資料庫分片、資料庫實例和/或集體數據集實例的實例識別單獨的服務需求水平。然後可以聚合這些個體服務需求值以捕獲作為整體對資料庫的服務需求水平。該圖示可以在更一般的意義上適用於數據集資源實例。
39.在圖2a的圖示中，採用本文描述的實施例的系統可以跨個體數據集資源實例檢測聚合服務需求水平(在這種情況下為吞吐量)，該聚合服務需求水平也是針對該組邏輯上關聯的數據集資源實例聚合的。在圖2a的圖示中，數據集資源實例104s的主要數據集資源實例104a具有1100次調用/秒的數據吞吐量。數據集資源實例104s的備用數據集資源實例104b具有1000次調用/秒的數據吞吐量。數據集資源實例140s的主要數據集資源實例140a具有600次調用/秒的數據吞吐量。數據集資源實例140s的備用數據集資源實例140b具有500次調用/秒的數據吞吐量。如還指示的，數據集資源實例104s的聚合吞吐量是2100次調用/秒並且數據集資源實例140s的聚合吞吐量是1100次調用/秒。
40.對每個數據集資源實例的這種服務需求水平的精細識別有助於準確地管理計算資源的分配。如以上指示的，一組邏輯上相關的數據集資源實例和各種相關聯的數據集可以分布在多個單獨的實例、數據集和/或數據集的部分上。因為系統可以對這些方面中的每
個方面(這些方面可以聚合)單獨地分析服務需求水平(在這種情況下為調用次數/秒的吞吐量)，因此管理員可以理解分布式數據集資源的哪些元素被最頻繁地調用。當系統需求數據以每個實例、每個數據集和/或每個數據集部分為基礎呈現時，管理員可以更精確和更有效地集體管理數據集資源計算系統的性能。
41.在一些示例中，系統還可以識別與高服務需求水平相關聯的特定部分、子集和/或數據塊。也就是說，系統可以識別比與特定實例(或一組實例)相關聯的其它數據集更頻繁地被查詢、寫入、讀取或以其它方式處理的具體數據子集。通過識別比與同一實例相關聯的其它部分更有助於數據集資源實例服務水平的數據部分，系統可以推薦重新定位這些高服務需求數據部分。這種逐個數據部分對需求的細粒度分析使得系統能夠精確地管理數據集資源實例操作，從而以最小的管理資源消耗提高系統整體性能。
42.這種基於數據集的方法在圖2a和圖2b中關於塊124的重新定位進行了圖示。例如，系統可以確定塊124與置於主要數據集資源實例104a上的1100次調用/秒的重要部分以及置於備用數據集資源實例104b上的1000次調用/秒的類似重要部分相關聯。
43.在一個示例中，系統可以向管理員識別塊124，可選地在數據集資源實例104s上的聚合吞吐量的上下文中。例如，系統可以呈現對於主要數據集資源實例104a和備用數據集資源實例104b中的每一個，塊124吞吐量為300次調用/秒(總共600次調用/秒)。系統還可以呈現數據集資源實例104s的聚合吞吐量(2100次調用/秒)。如果特定數據集(例如，資料庫)分布在數據集資源實例104s和數據集資源實例140s兩者之間，那麼系統可以附加地呈現數據集資源實例140s的聚合吞吐量(1100次調用/秒)。
44.在這個示例中，如圖2a中所示，管理員可以將塊124從主要數據集資源實例104a重新定位到主要數據集資源實例140a。在一些實施例中，系統本身可以重新定位塊124。在任一情況下，圖2a示出了在塊124從數據集資源實例104s中移除之後被存儲在主要數據集資源實例140s上。因為備用數據集資源實例140b可能不被用戶直接寫入，因此系統可以通過數據複寫軟體(如上所述)的操作將塊124間接地存儲在備用數據集資源實例140b上。
45.圖2b圖示了從數據集資源實例104s中移除塊124並將塊124重新定位到數據集資源實例140s的各種效果和/或結果。如圖2b中所示，塊124不再存儲在數據集資源實例104s的任何實例中。替代地，塊124現在存儲在數據集資源實例140s的主要數據集資源實例140a和備用數據集資源實例140b上。
46.通過從數據集資源實例104s中移動塊124，系統將數據集資源實例104s上的聚合吞吐量從2100次調用/秒降低到1500次調用/秒。這種吞吐量的降低也反映在個體實例104a、104b吞吐量中。具體而言，主要數據集資源實例104a上的吞吐量降低了300次調用/秒(從1100次調用/秒降低到800次調用/秒)，並且備用數據集資源實例104b上的吞吐量也降低了300次調用/秒(從1000次調用/秒降低到700次調用/秒)。類似地，通過移動數據塊124，系統平衡了數據集資源實例104s和數據集資源實例140s之間的聚合服務水平需求，因為主要資源實例140a和備用資源實例140b上的對應吞吐量各自增加了300次調用/秒，並且數據集資源實例140s上的聚合吞吐量增加了600次調用/秒。
47.本文描述的各種實施例可能涉及計算機網絡的使用。與計算機網絡相關的附加實施例和/或示例在下面標題為「計算機網絡和雲網絡」的部分中進行描述。
48.在一些示例中，數據集資源實例可以被實施為存儲在數據儲存庫中的資料庫。在
一個或多個實施例中，數據儲存庫是用於存儲數據的任何類型的存儲單元和/或設備(例如，文件系統、資料庫、表的集合或任何其它存儲機制)。另外，數據儲存庫可以包括多個不同的存儲單元和/或設備。多個不同的存儲單元和/或設備可以是或可以不是相同類型或位於相同物理站點。另外，可以在與系統100相同的計算系統上實現或執行數據儲存庫。替代地或附加地，數據儲存庫可以在與系統100分離的計算系統上實現或執行。數據儲存庫104可以經由直接連接或經由網絡通信地耦合到系統100。
49.在一個或多個實施例中，系統100是指被配置為執行本文描述的操作的硬體和/或軟體。下面參考圖3描述系統100的用於識別聚合計算資源需求水平、個體計算資源需求水平、數據集和數據部分(塊)需求水平的操作示例。
50.在實施例中，系統100被實現在一個或多個數字設備上。術語「數字設備」一般而言是指包括處理器的任何硬體設備。數字設備可以指執行應用或虛擬機的物理設備。數字設備的示例包括計算機、平板電腦、筆記本電腦、臺式機、上網本、伺服器、web伺服器、網絡策略伺服器、代理伺服器、通用機器、特定於功能的硬體設備、硬體路由器、硬體交換機、硬體防火牆、硬體防火牆、硬體網絡地址轉換器(nat)、硬體負載平衡器、大型機、電視機、內容接收器、機頂盒、印表機、行動電話、智慧型電話、個人數字助理(「pda」)、無線接收器和/或發送器、基站、通信管理設備、路由器、交換機、控制器、接入點和/或客戶端設備。
51.在一個或多個實施例中，系統100可以包括接口(未示出)，該接口是指被配置為促進用戶和系統100之間的通信的硬體和/或軟體。接口呈現用戶接口元素並經由用戶接口元素接收輸入。接口的示例包括圖形用戶接口(gui)、命令行接口(cli)、觸覺接口和語音命令接口。用戶接口元素的示例包括複選框、單選按鈕、下拉列表、列表框、按鈕、切換開關、文本欄位、日期和時間選擇器、命令行、滑塊、頁面和表單。接口的不同組件可以用不同的語言來指定。用戶接口元素的行為可以用動態程式語言(諸如javascript)來指定。用戶接口元素的內容可以用標記語言來指定，諸如超文本標記語言(html)或xml用戶接口語言(xul)。用戶接口元素的布局可以用樣式表語言來指定，諸如層疊樣式表(css)。替代地，用一種或多種其它語言(諸如java、c或c++)來指定接口。下面更詳細地描述用戶接口的一些示例。
52.3.以數據為中心的資料庫性能分析與管理
53.圖3圖示了根據一個或多個實施例的示例操作集合，統稱為用於使用以數據為中心的技術分析和管理數據集資源實例性能的方法300。圖3中所示的一個或多個操作可以被一起修改、重新布置或省略。因而，圖3中所示的特定操作序列不應該被解釋為限制一個或多個實施例的範圍。
54.方法300可以開始於系統確定針對與數據集相關聯的一組實例內的每個數據集資源實例的第一服務需求值(操作308)。例如，參考圖2a，與數據集資源實例104s相關聯的數據存儲在兩個單獨的實例104a和104b中。操作308檢測與特定數據集相關聯的每個實例的傳入(incoming)事務(或其它類型的服務需求)。如上所述，可以使用一個或多個分區的、未分區的、複製的和/或非複製的資料庫來實踐一個或多個實施例。
55.系統可以通過例如檢查傳入指令並確定所指示的動作類型、通過比較傳入指令分組和對應響應分組的時間戳確定平均執行時間、以及其它技術來確定每個數據集資源實例的服務需求值。一旦系統為每個數據集資源實例收集了這些數據，系統就可以檢測與數據集資源實例邏輯上關聯的數據集。例如，系統可以通過檢測與數據集相關聯的簡檔數據、識
別指示數據集實例的指定網絡通信通路(例如，地址/路由/文件層次結構)以及其它技術來檢測與數據集相關聯的數據集資源實例。
56.系統可以生成與每個數據集對應的聚合服務需求水平(操作312)。系統可以通過識別每個數據集資源實例的需求值並基於相關聯的數據集標識符對結果進行分組來實現這一點。一旦被分組，系統就可以對相關聯的服務水平求和以生成數據集的聚合服務需求水平，而不管與數據集相關聯的各個數據集資源實例的分布的數量或程度如何。
57.對於與一組數據集資源實例相關聯的每個數據集，可以重複前述元素。具體而言，系統可以確定針對與多個數據集中的附加數據集相關聯的每個數據集資源實例的附加服務需求值(操作316)。可以聚合這些附加服務需求值以類似於操作312確定多個數據集中的第二數據集的聚合服務需求水平(操作320)。系統可以針對多個數據集中的每個數據集重複這些操作以確定由一個或多個數據集資源實例處理的組成數據集(constituent datasets)之間的相對服務需求。
58.在一些示例中，系統可以接收用於在用戶接口中呈現服務需求數據、跨數據集資源實例自動平衡服務需求或兩者的指令(或執行存儲的指令)(操作324)。作為一個示例，系統可以接收和/或執行指令以呈現服務需求數據，而無需平衡服務需求。作為另一個示例，系統可以接收和/或執行用於平衡服務需求的指令，而無需還呈現服務需求數據。作為又一個示例，系統可以接收和/或執行既用於呈現服務需求數據又平衡服務需求的指令。
59.如果指令包括呈現服務需求數據的指令，那麼系統可以同時在用戶接口中呈現數據的表示，其包括對資料庫的一個數據集的聚合服務需求水平和對資料庫的任何其它數據集的聚合服務需求水平(操作328)。在一些實施例中，所呈現的數據表示甚至可以包括描繪數據塊服務需求。在一些示例中，系統可以呈現與分布在各種數據集資源實例之間的數據集(例如，分布在存儲伺服器之間的資料庫、分布在不同資料庫實例和/或資料庫分片之間的數據、和/或跨整個資料庫分布的數據集)相關聯的最活躍的數據塊以及對應數據集的標識。在其它示例中，系統可以呈現與每個數據集相關聯的最活躍的數據塊。
60.如果指令包括跨數據集資源實例自動平衡服務需求的指令，那麼方法300進行到操作332，其中系統識別經歷高服務需求的數據塊。
61.系統可以將一個塊(或多個塊)識別為從一個數據集資源實例重新定位到具有較低聚合服務需求水平的另一個數據集資源實例的候選者(操作336)。在一些示例中，可以基於其服務需求水平高於閾值服務需求水平來識別作為將被重新定位的候選者的(一個或多個)識別出的塊。在其它示例中，可以相對於其它分析的塊來識別候選塊。例如，服務需求排名列表的前10％中的塊可以被識別為將被重新定位的候選者。
62.一旦在操作336中識別出塊，系統就可以將塊轉移或以其它方式重新定位到具有較低聚合服務需求值的另一個數據集資源實例(操作340)。重新定位塊可以提高總體系統性能，而無需分配附加的計算資源。因此，除了提高系統性能之外，一個或多個實施例還降低了與系統相關聯的總體擁有成本。
63.確定塊的目標地點可以基於多種因素。系統可以選擇在物理上和/或邏輯上接近於(例如，需要最少的網絡跳數、處於相同的地理地點、處於相同的網絡段中等)對該塊的需求趨於起源(例如，用戶群中的普通用戶)的目標地點。在塊與其用戶之間避免不必要的物理和/或邏輯距離可以幫助保持時延，從而使服務時間低於將塊重新定位到物理上和/或邏
400包括示出資料庫分片的屬性的熱圖，每個分片在熱圖中表示為元素(例如，元素402)。在這個示例中，分片被顯示為「圖塊(tile)」，但也可以使用其它形狀。控制項404允許用戶選擇是否呈現實時(與靜態)性能數據、元素的大小表示什麼、以及元素的顏色表示什麼。下面更詳細地描述了控制項的一些示例。
73.在圖4a中，數據集分布在兩個區域中，具有1個分片空間、2個分片組、總共30個分片(15個主要分片和15個備用分片)、100個塊和2個提供對數據集的訪問的服務。數據元素的大小表示分片的數據大小，並且顏色(在圖4a中圖示為不同的圖案)表示每秒的調用次數為單位的吞吐量。顏色編碼將性能劃分為三個預定帶：低吞吐量(0-10次調用/秒)；中等吞吐量(11-15次調用/秒)；以及高吞吐量(16次或更多次調用/秒)。
74.在圖4b中，gui 400包括單色熱圖(即，相同顏色的不同陰影和/或圖案，在圖4b中圖示為不同的圖案密度)。系統基於整個數據集的觀察值的範圍自動生成色帶範圍，從而產生三個帶：低吞吐量(2.1-7.61次調用/秒)；中等吞吐量(7.61-13.12次調用/秒)；以及高吞吐量(13.12-18.63次調用/秒)。
75.圖4c圖示了單個分片的熱圖示例，在這個示例中，分片標記為「sh07stdby」(即，分片07的備用分片)。在這個示例中，元素對應於個體塊。每個元素的大小表示對應塊的數據大小，並且每個元素的顏色表示對應塊的吞吐量性能帶。系統基於觀察到的分片性能值範圍自動生成色帶範圍，從而產生三個帶：低吞吐量(0.07-0.45次調用/秒)；中等吞吐量(0.45-0.83次調用/秒)；以及高吞吐量(0.83-1.21次調用/秒)。
76.圖4d-圖4g圖示了用於改變每個元素的大小在gui 400中所表示內容的控制項406的示例。在這個示例中，gui 400包括整個數據集的熱圖。用戶可以使用控制項406從數據大小、唯一鍵的數量、塊的數量和平均活動會話數中進行選擇。響應於用戶的選擇，系統修改熱圖，使得元素大小基於所選擇的大小度量成比例。工具提示(tooltip)408顯示關於個體分片的附加信息，並且幫助對話框410提供關於如何使用控制項406的引導。在圖4d中，選擇了「數據大小」，使得元素大小與每個分片的數據大小成比例。在圖4e中，選擇了「唯一鍵的數量」，使得元素大小與每個分片的唯一鍵的數量成比例。在圖4f中，選擇了「塊的數量」，使得元素大小與每個分片中的塊的數量成比例。在圖4g中，選擇了「平均活動會話數」，使得元素大小與在特定時間間隔內觀察到的平均活動會話數量成比例。
77.圖4h-圖4i圖示了用於改變每個元素的顏色在gui 400中所表示的內容的控制項412的示例。在這個示例中，gui 400包括整個數據集的熱圖。用戶可以使用控制項412從測量為吞吐量(每秒的調用次數)的使用、測量為服務時間(每次調用的毫秒數)的使用、或大小變化率(每秒的千字節)中進行選擇。響應於用戶的選擇，系統修改熱圖，使得元素顏色與指派給每個性能帶的顏色對應。工具提示414顯示關於個體分片的附加信息，並且幫助對話框416提供關於如何使用控制項412的引導。在圖4h中，選擇了「調用次數/秒」。在圖4i中，選擇了「毫秒/調用」。未示出使用大小變化率的示例。
78.在實施例中，gui 400中所示的信息是用戶可通過應用一個或多個用戶指定的過濾器來配置的。圖4j示出了根據一個或多個實施例的用戶可定義過濾標準418的示例。在這個示例中，過濾標準418中的一個或多個包括用於以下的控制項：搜索一個或多個特定分片；搜索一個或多個特定鍵；指定排序順序(例如，按大小從高到低平鋪)；按角色過濾；按分片組過濾；按服務過濾；選擇是否隱藏非活動分片；和/或指定分組標準(例如，按區域、分片組
和/或data guard聚合使用)。data guard是oracle公司的產品。
79.4.2.分段(segmented)數據集
80.可以使用根據一個或多個分段標準進行分段的數據集來實踐一個或多個實施例，即使數據集不是分布式的和/或複製的。數據存儲系統可以被配置為基於分段標準將數據集存儲在跨多個存儲設備和/或一個存儲設備的不同區域分段的多個部分中。每個部分還可以分段成相應的子部分。
81.在一個示例中，數據集存儲在一個或多個存儲設備的兩個部分上。第一部分以對東成本數據(即，源自美國東海岸區域、傳輸至美國東海岸區域和/或以其它方式與美國東海岸區域相關聯的數據)的關聯性(affinity)來存儲。第二部分以對西海岸數據(即，源自美國西海岸區域、傳輸至美國西海岸區域和/或以其它方式與美國西海岸區域相關聯的數據)的關聯性來存儲。
82.繼續該示例，系統單獨確定第一部分和第二部分兩者的需求值。每個部分的需求值可以是該部分的子部分的需求值的聚合。系統可以使用本文描述的技術在用戶接口中呈現所得到的需求值。替代地或附加地，基於需求值，系統可以將一個或多個子部分從第一部分重新定位到第二部分，反之亦然。例如，系統可以分析與當前以對與東海岸數據的關聯性存儲的子部分相關聯的需求值，並確定該需求趨於源自美國的西海岸區域；基於該確定，系統可以將該子部分移動到以對西海岸數據的關聯性存儲的部分。替代地或附加地，當系統將子部分從一個部分移動到另一個部分時，系統還可以調整算法，該算法指導將數據路由到第一部分或第二部分的關聯性。諸如本示例中描述的技術可以幫助確保分段數據的子部分被存儲在數據集的最有效(例如，相對於時延和/或其它性能度量)的分段中，即使該數據最初存儲在效率較低的數據集中。
83.5.計算機網絡和雲網絡
84.在一個或多個實施例中，計算機網絡提供節點集合之間的連接性。節點可以是在彼此本地的和/或彼此遠離。節點通過鏈路的集合連接。鏈路的示例包括同軸線纜、非屏蔽雙絞線、銅纜、光纖和虛擬鏈路。
85.節點子集實現計算機網絡。這樣的節點的示例包括交換機、路由器、防火牆和網絡地址轉換器(nat)。另一個節點子集使用計算機網絡。這樣的節點(也稱為「主機」)可以執行客戶端進程和/或伺服器進程。客戶端進程做出對計算服務(諸如，特定應用的執行和/或特定量的數據的存儲)的請求。伺服器進程通過執行所請求的服務和/或返回對應的數據進行響應。
86.計算機網絡可以是物理網絡，包括通過物理鏈路連接的物理節點。物理節點是任何數字設備。物理節點可以是特定於功能的硬體設備，諸如硬體交換機、硬體路由器、硬體防火牆和硬體nat。附加地或替代地，物理節點可以是被配置為執行各種虛擬機和/或執行相應功能的應用的通用機器。物理鏈路是連接兩個或更多個物理節點的物理介質。鏈路的示例包括同軸線纜、非屏蔽絞合線纜、銅纜和光纖。
87.計算機網絡可以是覆蓋網絡。覆蓋網絡是在另一個網絡(諸如，物理網絡)之上實現的邏輯網絡。覆蓋網絡中的每個節點對應於底層網絡中的相應節點。因此，覆蓋網絡中的每個節點與覆蓋地址(尋址到覆蓋節點)和底層地址(尋址實現覆蓋節點的底層節點)兩者相關聯。覆蓋節點可以是數字設備和/或軟體進程(諸如虛擬機、應用實例或線程)。連接覆
蓋節點的鏈路被實現為通過底層網絡的隧道。隧道任一端處的覆蓋節點將它們之間的底層多跳路徑視為單個邏輯鏈路。隧道處理(tunneling)通過封裝和解封裝來執行。
88.在實施例中，客戶端可以位於計算機網絡的本地和/或遠離計算機網絡。客戶端可以通過其它計算機網絡(諸如專用網絡或網際網路)訪問計算機網絡。客戶端可以使用通信協議(諸如超文本傳輸協議(http))將請求傳送到計算機網絡。通過諸如客戶端接口(諸如web瀏覽器)、程序接口或應用編程接口(api)之類的接口來傳送請求。
89.在實施例中，計算機網絡提供客戶端和網絡資源之間的連接。網絡資源包括被配置為執行伺服器進程的硬體和/或軟體。網絡資源的示例包括處理器、數據存儲裝置、虛擬機、容器和/或軟體應用。網絡資源在多個客戶端之間共享。客戶端彼此獨立地從計算機網絡請求計算服務。網絡資源按需動態分配給請求和/或客戶端。分配給每個請求和/或客戶端的網絡資源可以基於例如(a)由特定客戶端請求的計算服務、(b)由特定租戶請求的聚合計算服務和/或(c)計算機網絡的所請求的聚合計算服務來擴大或縮小。這種計算機網絡可以被稱為「雲網絡」。
90.在實施例中，服務提供商向一個或多個最終用戶提供雲網絡。雲網絡可以實現各種服務模型，包括但不限於軟體即服務(saas)、平臺即服務(paas)和基礎設施即服務(iaas)。在saas中，服務提供商向最終用戶提供使用服務提供商的正在網絡資源上執行的應用的能力。在paas中，服務提供商向最終用戶提供將定製應用部署到網絡資源上的能力。可以使用由服務提供商支持的程式語言、庫、服務和工具來創建定製應用。在iaas中，服務提供商向最終用戶提供供應由網絡資源提供的處理、存儲、網絡和其它基本計算資源的能力。可以在網絡資源上部署任何任意應用，包括作業系統。
91.在實施例中，計算機網絡可以實現各種部署模型，包括但不限於私有雲、公共雲和混合雲。在私有雲中，網絡資源被供應給一個或多個實體的特定組獨佔使用(如本文所使用的術語「實體」是指企業、組織、個人或其它實體)。網絡資源可以在特定實體組的處所本地和/或遠離特定實體組的處所。在公共雲中，雲資源被供應給彼此獨立的多個實體(也稱為「租戶」或「客戶」)。計算機網絡及其網絡資源由與不同租戶對應的客戶端訪問。這樣的計算機網絡可以被稱為「多租戶計算機網絡」。若干租戶可以在不同時間和/或相同時間使用相同的特定網絡資源。網絡資源可以在租戶的處所本地和/或遠離租戶的處所。在混合雲中，計算機網絡包括私有雲和公共雲。私有雲和公共雲之間的接口允許數據和應用的可移植性。存儲在私有雲處的數據和存儲在公共雲處的數據可以通過接口交換。在私有雲處實現的應用和在公共雲處實現的應用可能具有彼此依賴性。可以通過接口執行從私有雲處的應用到公共雲處的應用的調用(反之亦然)。
92.在實施例中，多租戶計算機網絡的租戶彼此獨立。例如，一個租戶的業務或操作可以與另一個租戶的業務或操作分離。不同的租戶可能對計算機網絡提出不同的網絡要求。網絡要求的示例包括處理速度、數據存儲量、安全要求、性能要求、吞吐量要求、時延要求、彈性要求、服務質量(qos)要求、租戶隔離和/或一致性。相同計算機網絡可能需要實現由不同租戶所提出的不同網絡要求。
93.在一個或多個實施例中，在多租戶計算機網絡中，實現租戶隔離以確保不同租戶的應用和/或數據彼此不共享。可以使用各種租戶隔離方法。
94.在實施例中，每個租戶與租戶id相關聯。多租戶計算機網絡的每個網絡資源用租
戶id標記。僅當租戶和特定網絡資源與相同租戶id相關聯時，才允許該租戶訪問特定網絡資源。
95.在實施例中，每個租戶與租戶id相關聯。由計算機網絡實現的每個應用用租戶id標記。附加地或替代地，由計算機網絡存儲的每個數據結構和/或數據集用租戶id標記。僅當租戶和特定應用、數據結構和/或數據集與相同租戶id相關聯時，才允許租戶訪問特定應用、數據結構和/或數據集。
96.作為示例，由多租戶計算機網絡實現的每個資料庫可以用租戶id標記。只有與對應租戶id相關聯的租戶才可以訪問特定資料庫的數據。作為另一個示例，由多租戶計算機網絡實現的資料庫中的每個條目可以用租戶id標記。只有與對應租戶id相關聯的租戶才可以訪問特定條目的數據。但是，資料庫可以由多個租戶共享。
97.在實施例中，訂閱列表指示哪些租戶有權訪問哪些應用。對於每個應用，存儲被授權訪問該應用的租戶的租戶id列表。僅當租戶的租戶id被包含在與特定應用對應的訂閱列表中時，才允許該租戶訪問特定應用。
98.在實施例中，與不同租戶對應的網絡資源(諸如數字設備、虛擬機、應用實例和線程)被隔離到由多租戶計算機網絡維護的特定於租戶的覆蓋網絡。作為示例，來自租戶覆蓋網絡中的任何源設備的分組可以僅被發送到相同租戶覆蓋網絡內的其它設備。封裝隧道用於禁止從租戶覆蓋網絡上的源設備到其它租戶覆蓋網絡中的設備的任何傳輸。具體而言，從源設備接收的分組被封裝在外部數據分組內。外部分組從第一封裝隧道端點(與租戶覆蓋網絡中的源設備通信)發送到第二封裝隧道端點(與租戶覆蓋網絡中的目的地設備通信)。第二封裝隧道端點對外部分組進行解封裝，以獲得由源設備發送的原始分組。原始分組從第二封裝隧道端點發送到相同特定覆蓋網絡中的目的地設備。
99.6.其它；擴展
100.實施例針對具有一個或多個設備的系統，該一個或多個設備包括硬體處理器並且被配置為執行本文描述的和/或以下權利要求中任一項所述的任何操作。
101.在實施例中，非暫態計算機可讀存儲介質包括指令，該指令當由一個或多個硬體處理器執行時，使得執行本文描述的和/或權利要求中任一項所述的任何操作。
102.根據一個或多個實施例，可以使用本文描述的特徵和功能的任何組合。在前述說明書中，已經參考許多具體細節描述了實施例，這些具體細節可能因實施方案而不同。因此，應當在說明性而不是限制性的意義上看待說明書和附圖。本發明範圍的唯一且排他的指示以及申請人意在要作為本發明範圍的是以由本技術產生的一組權利要求的具體形式的所產生權利要求的字面和等同範圍，包括任何後續的校正。
103.7.硬體概述
104.根據一個實施例，本文描述的技術由一個或多個專用計算設備來實現。專用計算設備可以是硬連線的以執行本技術，或者可以包括被永久性地編程以執行本技術的數字電子設備，諸如一個或多個專用集成電路(asic)、現場可編程門陣列(fpga)或網絡處理單元(npu)，或者可以包括被編程為根據固件、存儲器、其它存儲裝置或組合中的程序指令執行本技術的一個或多個通用硬體處理器。這種專用計算設備還可以將定製的硬連線邏輯、asic、fpga或npu與定製的編程組合來實現本技術。專用計算設備可以是臺式計算機系統、可攜式計算機系統、手持式設備、聯網設備或結合硬連線和/或程序邏輯來實現本技術的任
何其它設備。
105.例如，圖5是圖示可以在其上實現本發明的實施例的計算機系統500的框圖。計算機系統500包括總線502或用於傳送信息的其它通信機制，以及與總線502耦合用於處理信息的硬體處理器504。硬體處理器504可以是例如通用微處理器。
106.計算機系統500還包括耦合到總線502用於存儲信息和要由處理器504執行的指令的主存儲器506，諸如隨機存取存儲器(ram)或其它動態存儲設備。主存儲器506也可以用於存儲在要由處理器504執行的指令的執行期間的臨時變量或其它中間信息。這種指令當被存儲在處理器504可訪問的非暫態存儲介質中時，使得計算機系統500成為被定製用於執行指令中指定的操作的專用機器。
107.計算機系統500還包括耦合到總線502用於存儲靜態信息和處理器504的指令的只讀存儲器(rom)508或其它靜態存儲設備。諸如磁碟或光碟之類的存儲設備510被提供並且被耦合到總線502，以用於存儲信息和指令。
108.計算機系統500可以經由總線502耦合到用於向計算機用戶顯示信息的顯示器512，諸如陰極射線管(crt)。包括字母數字鍵和其它鍵的輸入設備514耦合到總線502，用於將信息和命令選擇傳送到處理器504。另一種類型的用戶輸入設備是光標控制項516，諸如滑鼠、軌跡球或光標方向鍵，用於向處理器504傳送方向信息和命令選擇並且用於控制顯示器512上的光標移動。這種輸入設備典型地具有兩個軸(第一軸(例如，x)和第二軸(例如，y))上的兩個自由度，以允許設備在平面中指定位置。
109.計算機系統500可以使用定製的硬連線邏輯、一個或多個asic或fpga、固件和/或程序邏輯來實現本文描述的技術，該定製的硬連線邏輯、一個或多個asic或fpga、固件和/或程序邏輯與計算機系統結合使計算機系統500成為專用機器或將計算機系統500編程為專用機器。根據一個實施例，本文的技術由計算機系統500響應於處理器504執行主存儲器506中包含的一個或多個指令的一個或多個序列而執行。這些指令可以從另一個存儲介質(諸如存儲設備510)讀取到主存儲器506中。在主存儲器506中包含的指令序列的執行使得處理器504執行本文描述的處理步驟。在替代實施例中，可以使用硬連線電路系統代替軟體指令或與軟體指令組合使用。
110.如本文使用的術語「存儲介質」是指存儲有使機器以特定方式操作的數據和/或指令的任何非暫態介質。這種存儲介質可以包括非易失性介質和/或易失性介質。非易失性介質包括例如光碟或磁碟，諸如存儲設備510。易失性介質包括動態存儲器，諸如主存儲器506。存儲介質的常見形式包括例如軟盤、柔性盤、硬碟、固態驅動器、磁帶或任何其它磁性數據存儲介質、cd-rom、任何其它光學數據存儲介質、具有孔圖案的任何物理介質、ram、prom和eprom、flash-eprom、nvram、任何其它存儲器晶片或盒式磁帶、內容可尋址存儲器(cam)和三態內容可尋址存儲器(tcam)。
111.存儲介質與傳輸介質不同但可以與傳輸介質結合使用。傳輸介質參與在存儲介質之間傳遞信息。例如，傳輸介質包括同軸線纜、銅線和光纖，包括包含有總線502的引線。傳輸介質還可以採取聲波或光波的形式，諸如在無線電波和紅外線數據通信期間生成的那些波。
112.各種形式的介質可以涉及將一個或多個指令的一個或多個序列攜帶到處理器504以供執行。例如，指令最初可以在遠程計算機的磁碟或固態驅動器上攜帶。遠程計算機可以
將指令加載到其動態存儲器中，並使用數據機通過電話線發送指令。計算機系統500本地的數據機可以在電話線上接收數據並使用紅外線發射器將數據轉換為紅外線信號。紅外線檢測器可以接收紅外線信號中攜帶的數據，並且適當的電路系統可以將數據放置在總線502上。總線502將數據攜帶到主存儲器506，處理器504從主存儲器506中檢索並執行指令。由主存儲器506接收的指令可以可選地在由處理器504執行之前或之後存儲在存儲設備510上。
113.計算機系統500還包括耦合到總線502的通信接口518。通信接口518提供耦合到網絡鏈路520的雙向數據通信，其中網絡鏈路520連接到本地網絡522。例如，通信接口518可以是綜合業務數字網絡(isdn)卡、線纜數據機、衛星數據機、或向對應類型的電話線提供數據通信連接的數據機。作為另一個示例，通信接口518可以是提供到兼容的區域網(lan)的數據通信連接的lan卡。也可以實現無線鏈路。在任何這種實現中，通信接口518發送和接收攜帶表示各種類型信息的數字數據流的電信號、電磁信號或光信號。
114.網絡鏈路520通常通過一個或多個網絡向其它數據設備提供數據通信。例如，網絡鏈路520可以通過本地網絡522提供到主計算機524或到由網際網路服務提供商(isp)526操作的數據設備的連接。isp 526進而通過現在通常稱為「網際網路」528的全球分組數據通信網絡提供數據通信服務。本地網絡522和網際網路528都使用攜帶數字數據流的電信號、電磁信號或光信號。通過各種網絡的信號以及在網絡鏈路520上並且通過通信接口518的信號是傳輸介質的示例形式，這些信號將數字數據攜帶到計算機系統500或攜帶來自計算機系統500的數字數據。
115.計算機系統500可以通過(一個或多個)網絡、網絡鏈路520和通信接口518發送消息和接收數據，包括程序代碼。在網際網路示例中，伺服器530可以通過網際網路528、isp 526、本地網絡522和通信接口518傳輸對於應用程式的所請求代碼。
116.接收到的代碼可以在它被接收時由處理器504執行，和/或存儲在存儲設備510或其它非易失性存儲裝置中以供以後執行。
117.在一些示例中，數據集資源實例是上述各種組件的組合的實例化，這些組件被配置為對數據集執行操作。例如，一個或多個存儲伺服器可以存儲與資料庫相關聯的各種數據集。執行上述一些或所有操作的管理軟體可以在經由網絡鏈路與一個或多個存儲伺服器通信的單獨伺服器上執行，使得可以監視網絡服務需求。管理員可以經由在移動計算機或用戶工作站上操作的用戶接口來指示管理軟體，該移動計算機或用戶工作站經由網際網路傳輸指令。
118.在前述說明書中，已經參考許多具體細節描述了本發明的實施例，這些具體細節可能因實施方案而不同。因此，應當在說明性而不是限制性的意義上看待說明書和附圖。本發明範圍的唯一且排他的指示以及申請人意在要作為本發明範圍的是以由本技術產生的一組權利要求的具體形式的所產生權利要求的字面和等同範圍，包括任何後續的校正。