確定系統性能特徵的方法和系統的製作方法
2023-07-24 21:32:41 2
專利名稱：確定系統性能特徵的方法和系統的製作方法
技術領域：
本發明一般涉及在連接兩個設備的互連總線上交換數據包，尤其涉及測量和驗證這種交換的性能。
背景技術：
片上系統(SOC)通常在單個晶片上包括一個或多個集成處理器核心、某種類型的嵌入存儲器例如在處理器核心之間共享的高速緩存、以及外圍接口例如外部總線接口以形成完整的(或幾乎完整的)系統。外部總線接口經常用於通過外部總線在這些系統與諸如外部存儲控制器、輸入/輸出(I/O)控制器或圖形處理單元(GPU)等外部設備之間以包的形式傳遞數據。
這樣一種系統的性能可能取決於可能包括設備特性、互連總線特性、存儲器層次結構、作業系統和多種其他因素在內的幾個因素。考慮這些因素之後，仍可以對系統性能的範圍做出合理的預測。但是，人們通常希望在模擬(simulation)期間驗證性能落入這些範圍。例如，人們可能希望驗證發送和接收設備之間通過互連總線進行通信的吐量(或帶寬)以及等待時間(或響應時間)落入它們的預測範圍。
通常，模擬牽涉到運行預先規定的測試用例，這些預先規定的測試用例被建模為對正常系統運行進行仿真(emulate)。在模擬期間，監視總線通信流(traffic)，捕獲總線上令人感興趣的事件，並且基於所捕獲的事件測量性能。所捕獲的事件以及它們的性能度量被記錄在模擬日誌中。只有在模擬之後用戶才能查看模擬日誌中的所有總線事件並識別落在所預測的性能範圍之外的事件的類別。然而，由於模擬日誌中所包含的信息頗為隱晦，因此需要付出相當大的努力來對那些沒有落在其性能範圍內的事件的類別進行人工分析、識別和解析(parse)。傳統模擬的另一問題在於預先規定的測試用例可能不足以測試總線事件的給定類別。例如，測試用例可能不包含足夠數量的讀操作。結果，對讀操作的性能測量可能不具備統計意義上的顯著性。
傳統測試方法的又一問題是當性能的預測範圍過於寬泛時，如果不進行繁瑣的人工分析，不太可能檢測出性能的惡化。例如，如果與兩設備之間的特定事務相關聯的平均等待時間被預測為1秒，但測量出的平均等待事件僅為0.2秒，那麼，不太可能捕獲到平均等待時間從0.2秒到0.8秒的惡化，即使性能上存在顯著的、不合意的改變。
因此，需要用於測量和驗證通過互連總線連接的設備之間基於包的數據交換的性能的改進的方法和設備。
發明內容
本發明實施例一般提供了用於測量和驗證設備間通過互連總線的、基於包的通信事務的性能的方法、計算機可讀存儲介質以及系統。
一個實施例提供了用於確定系統性能特性的方法。該方法一般包括執行程序以使得數據在系統中至少兩個設備間經由總線被交換，通過至少一個接口監視器捕獲指示在該至少兩個設備間交換的數據的事件，基於在程序執行期間所捕獲的事件計算出一個或多個性能度量，將計算出的性能度量存儲在資料庫中，以及確定計算出的性能度量是否落在所確定的性能範圍之內。
另一個實施例提供了一種計算機可讀存儲介質，其包含一種用於確定系統性能特性的程序。當該程序由處理器執行時，其執行一般包括以下內容的操作生成將在系統中至少兩個設備間通過總線被交換的數據，通過至少一個接口監視器捕獲指示在該至少兩個設備間交換的數據的事件，基於在程序執行期間所捕獲的事件計算出一個或多個性能度量，將計算出的性能度量存儲在資料庫中，以及確定計算出的性能度量是否落在所確定的性能範圍之內。
又一個實施例提供了一種一般包括以下內容的系統第一處理設備，通過總線與第一處理設備相耦合的第二處理設備，用於捕獲指示經由總線在該至少兩個處理設備間交換的數據的事件的至少一個接口監視器，以及性能監視器，其中，該性能監視器被配置為基於所捕獲的事件計算出一個或多個性能度量，將計算出的一個或多個性能度量存儲在資料庫中，以及確定計算出的性能度量是否落在所確定的性能範圍之內。
為了可以更詳細地明了獲得本發明的上述特徵、優點以及目標的方式，可通過參照在附圖中示出的本發明的實施例，閱讀對上面簡短總結過的本發明的詳細描述。
然而，由於本發明允許其他等同的、有效的實施例，要注意到的是，附圖僅示出了本發明的典型實施例，因此不應被認為是對其範圍的限定。
圖1示出了根據本發明一個實施例的示例性測試環境；圖2為用於捕獲總線事件以及為那些事件計算性能度量的示例性操作的流程圖；圖3為用於驗證所捕獲的總線事件落在預先規定的性能範圍內的示例性操作的流程圖；圖4為用於驗證所捕獲的事件落在自學習的性能範圍內的、所執行的操作的流程圖。
具體實施例方式
本發明的實施例使得可以捕獲設備間通過互連總線的、基於包的通信事務以測量性能。當事件經過系統時，通過在不同節點上捕獲事件可確定性能度量。通過計算所捕獲的事件的性能度量並將這種性能度量與預先規定的性能範圍和/或自學習的性能範圍進行比較可以在運行時間驗證性能。另外，本發明的實施例提供總線通信流的動態適應調整(tailoring)以生成潛在的失敗情況。
下面參照本發明的實施例。但是應當明了，本發明並不限於所介紹的具體實施例。相反，可以考慮用下述特徵和要素的任意組合來實施和實現本發明，而無論它們是否牽涉到不同的實施例。另外，在不同的實施例中，本發明提供了優於現有技術的大量優點。然而，儘管本發明的實施例可獲得優於其他可能的解決方案和/或現有技術的優點，但某個特定的優點是否由給出的實施例獲得並不對本發明構成限制。因此，下面的方面、特徵、實施例和優點僅作說明之用，而不應被當作是所附權利要求的要素或限制，除非權力要求中明確提出。類似地，談到「本發明」不應被解釋為對這裡所公開的任何發明主題的概括，也不應被當作是所附權利要求的要素或限制，除非權力要求中明確提出。
示例性測試系統圖1示出了一種示例性測試系統，其中，性能監視器100監視互連總線180(例如，通常被稱為前端總線)上兩設備(或節點)120與130之間的性能。舉例而言，兩設備120與130可以為中央處理單元(CPU)和圖形處理單元(GPU)。對於某些實施例，總線180可以為雙向多位總線，例如具有用於從CPU到GPU的通信的八條或八條以上的線以及用於從GPU到CPU的通信的另外八條或八條以上的線。
設備120與130之間的通信可以被鏈路接口監視器(IM)140監視。鏈路IM140可以為被配置為連同時鐘信號對互連總線180的數據線進行採樣的軟體和/或硬體的任意組合。鏈路IM可被進一步配置為檢查所採樣的數據並識別預先規定的事件類別。如果捕獲到已知的事件，鏈路IM可通知性能監視器在互連總線180上出現該事件。舉例而言，通過在連接CPU和GPU的互連總線上發送讀取包，CPU可在GPU的特定位置上進行讀操作。當總線上出現讀取包時，用於互聯總線的鏈路IM可捕獲該讀取包並通知性能監視器在總線上發現了讀取包。
在本發明的某些實施例中，鏈路IM可被配置為向互連總線180上注入噪聲。可執行這種噪聲注入以模擬系統正常運行期間互連總線上的實際噪聲。在其他實施例中，鏈路IM還可被配置為在總線上所捕獲的事件被分派到目的設備之前將錯誤引入到該事件中。例如，鏈路IM可切換(toggle)包中的某些位。如同噪聲注入一樣，可執行這種錯誤引入以模擬系統正常運行期間在傳遞包的時候可能發生的實際錯誤。引入這些錯誤的目的可以是驗證目的設備是否正確地確定包中的錯誤(例如，通過採用循環冗餘校驗(CRC))，並執行可能包括校正錯誤位或請求重新發送該包的錯誤校正步驟。儘管上述實施例介紹了由鏈路IM執行噪聲和錯誤注入，本領域技術人員可以認識到，可以由分開的和獨立的設備例如刺激(irritator)設備來執行這種噪聲和錯誤注入。
每一設備120與130可分別由單元驅動器160與161驅動。每一單元驅動器可以為這樣的軟體，該軟體被配置為使所關聯的設備執行包括向其他設備發送包在內的一系列功能。舉例而言，單元驅動器160可以生成對設備120指令以通過互連總線180向設備130發送讀取包。由單元160與161到設備120與130的這種指令可分別由應用接口監視器(IM)150與151監視。每一應用IM可以為被配置為連同時鐘信號對連接應用IM與所關聯設備的數據線進行採樣的軟體和/或硬體的任意組合。另外，每一應用IM可被配置為檢驗所採樣的數據並識別出預先規定的指令類別。如同鏈路IM一樣，如果捕獲到已知的指令，應用IM可通知性能監視器出現到所關聯設備的事件。
鏈路IM140和應用IM150以及151所捕獲的事件可被性能監視器100接收並存儲在共享資料庫170中。在本發明的某些實施例中，性能監視器可在資料庫170中存儲與每一所捕獲的事件相關聯的時間戳。例如，性能監視器可在資料庫中存儲由接口監視器所捕獲的每一事件的模擬時間。
性能監視器100可被配置為基於所捕獲的事件為系統計算幾種性能度量。例如，為了計算讀操作穿過設備120的等待時間，性能監視器可以將由單元驅動器160發布並由應用IM150捕獲的讀指令以及由鏈路IM140捕獲的、相關聯的讀取包的事件戳相減。類似地，性能監視器還可通過將由鏈路IM140捕獲的讀取包以及相關聯的數據包的時間戳相減來計算通過互連總線180在設備1與設備2之間的讀響應的等待時間。可定義幾種其它類似的性能度量來測量系統的等待時間與吐量。
性能監視器還可被進一步配置為在共享資料庫170中存儲所計算的性能度量。例如，性能監視器可在資料庫170中存儲寫和讀操作的等待時間。可允許用戶查詢資料庫170以產生表示不同總線事件的性能結果的圖表。這樣的圖表可允許用戶容易地比較同一測試運行和/或不同測試運行中的總線事件之間的結果。
性能監視器100可被配置為基於預先規定的或自學習的性能範圍101將模擬測試評定為失敗。性能範圍101可規定上下範圍界限或上閾值或下閾值。預先規定的範圍可由用戶在系統上運行測試之前規定。預先規定的範圍可任意選擇或按照考慮諸如設備特性、系統體系結構、系統軟體等因素所計算出的理想性能度量來選擇。另一方面，自學習範圍可根據資料庫170中包含的、歷史的系統性能數據來計算。例如，自學習範圍可通過計算先前獲得的性能度量的平均值或通過選擇位於或接近表示歷史性能結果的鐘形曲線波峰的值來確定。用於計算性能範圍的任何其他合理的方法可被用於基於歷史性能來確定預期的性能。
圖2為根據本發明實施例所執行以捕獲和存儲總線事件的示例性操作的流程圖。這些操作可由例如圖1所示的部件在執行某個特定程序的同時執行，該程序被設計為仿真正常系統操作(並產生典型的總線通信流)。然而，本領域技術人員將會認識到，圖2的操作可由其他部件來執行，另外，圖1所示的部件可具有執行其他操作的能力。
通過捕獲總線上的事件，操作開始於步驟201。如前所述，鏈路IM或應用IM可檢測指示設備之間或單元驅動器與所關聯的設備之間的事務的事件，捕獲這樣一種事件並將其發送給性能監視器。在本發明某些實施例中，鏈路IM和應用IM可以為性能監視器的一部分，因此，事件可以由性能監視器直接捕獲。如同所示出的那樣，所捕獲的事件可被存儲在共享資料庫170中。
在步驟202中，性能監視器可解釋所捕獲的事件並為該事件計算性能度量。這可能要求性能監視器查詢資料庫以找到與所捕獲事件相關聯的其他事件。例如，當性能監視器捕獲到互連總線180上的讀取包時，為了計算讀操作穿過設備120的等待時間，其可以從資料庫170中查詢從單元驅動器160所發出的讀指令。此時，還可能計算幾種其他性能度量。
在步驟203中，性能監視器可在共享資料庫中存儲所計算的性能度量。被存儲在資料庫中的性能度量此後可被用於為系統性能計算自學習範圍。
圖3為為了在運行時間期間驗證系統性能是否落入預先規定的範圍而執行的典型操作的流程圖。通過獲取用戶規定的範圍，該操作開始於步驟301。在該步驟中，可提示用戶為一個或多個性能度量規定範圍。或者，也可允許用戶選擇在先前的模擬中使用過的、預先規定的範圍。還可將預先規定的範圍集組織成測試概要(test profile)。每一測試概要可包含性能範圍設置的唯一組合。可提示用戶在模擬一開始時選擇這些概要中的一個。在本發明的一個實施例中，可為多個模擬測試選擇預先規定的範圍，以便利用相同的、預先規定的參數進行批測試。
在步驟302中，通過單元驅動器為設備生成激勵、以便模擬系統正常運行並產生典型的總線通信流，模擬開始。隨著模擬的繼續，性能監視器執行圖2中所概述的步驟以捕獲事件並測量性能。在本發明的某些實施例中，性能監視器可只在模擬運行預先確定的一段時間之後才計算性能結果。當每一事件被捕獲且性能度量被計算時，執行步驟303中的測試以確定所計算的性能度量是否落入預先規定的範圍。如果對所捕獲事件的、所計算的性能度量落在其預先規定的範圍之外，可停止模擬並可生成系統失敗消息。在本發明的某些實施例中，只有當某個特定閾值數量的事件落在預先規定的範圍之外時才可停止模擬。在失敗情況發生的時停止模擬可節省珍貴的模擬時間並使性能驗證更有效率。
另一方面，如果性能度量被認為落入預先規定的範圍，性能監視器繼續捕獲事件並為事件計算性能度量，直到另一性能度量落在預先規定的範圍以外或在步驟304中檢測到測試結束(end-of-test)。如果檢測到測試結束且所有性能度量落入預先規定的範圍，則模擬運行被認為是成功的。
圖4為所執行的用於在運行時期間驗證系統的性能落入由系統確定的範圍(自學習的範圍)的示例性操作的流程圖。通過確定將被用於驗證性能度量的範圍，操作開始於步驟401。所述範圍可通過從資料庫170中查詢由先前運行的模擬所存儲的性能度量並基於這樣的歷史數據計算自學習的範圍來確定。如同上文討論的那樣，例如計算平均值和正態曲線波峰的任何方法可被用於基於歷史數據來確定所預期的性能範圍。
在步驟402中，一旦確定了自學習的性能範圍，模擬可開始。如同對圖3的介紹中那樣，當事件在運行時期間被捕獲時，性能監視器可監視事件以及為事件計算性能度量。可以為其後的對自學習範圍的計算存儲這些所計算出的性能度量。然而，在本發明的某些實施例中，性能監視器可將用於所捕獲事件的計算出的性能度量用於動態更新正被應用在當前模擬中的自學習範圍。
在步驟403中，如果用於所捕獲的事件的計算出的性能度量落在自學習範圍之外，可停止模擬並可生成系統失敗消息。在本發明某些實施例中，僅當某個特定閾值數量的事件落在自學習的範圍之外時才可停止模擬。另一方面，如果性能度量被認為落在預先規定的範圍內，性能監視器繼續捕獲事件並為事件計算性能度量，直到另一性能落在自學習範圍之外或在步驟404中檢測到測試結束。如果檢測到測試結束且所有性能度量落在預先規定的範圍內，則模擬運行被認為是成功的。
在本發明的某些實施例中，可允許用戶配置性能監視器以比較所捕獲事件的性能度量與預先規定的範圍、自學習的範圍或預先規定的範圍及自學習的範圍兩者。例如，當資料庫170不包含足夠的信息以計算出具有統計意義上的顯著性的自學習範圍時，用戶可以選擇根據用戶規定的範圍來運行模擬。另一方面，當懷疑預先規定的範圍過於寬泛時，用戶可根據自學習範圍運行模擬以便檢測在性能上的任何劇烈變化。或者，用戶可選擇根據預先規定的和自學習範圍兩者來運行模擬以獲得對性能進行驗證的兩種方法的好處。
動態命令加權在模擬期間採用預先規定的測試用例來生成通信流的一個普遍問題在於導致事件的問題可能不能由測試用例充分測試。例如，測試用例可能僅具有少許讀操作，其可能不足以引起失敗情況。因此，必須編寫具有足夠讀操作的另一測試用例。然而，在這種方法下，為考慮到失敗情況的所有不同的排列和組合，將不得不寫入不計其數的測試用例。
本發明提供了通過基於運行時結果給命令加權，來動態適應調整由單元驅動器生成的事件。例如，如果寫操作等待時間被認為接近失敗情況，可動態調節與該寫操作相關聯的權重參數，使得更為頻繁地產生該寫操作。一種確定性能度量是否接近失敗情況的方法可以為確定性能度量是否落在預先規定的範圍和/或自學習的範圍之內和閾值範圍之外。
再次參照圖1，性能檢測器100可包含基於運行時結果計算不同類別的事件的權重並向單元驅動器160和161提供反饋的必要邏輯。響應於該反饋，單元驅動器可分派指令以反映指令的動態調節後的權重。
結論通過在模擬期間實時監視關鍵性能度量，並接著使用該信息以及預先規定的和/或自學習的性能範圍以及基於實時結果的用來使模擬失敗的動態命令加權，本發明可通知用戶存在潛在的問題並識別出引起問題的事件。結果，可獲得對系統性能的更有效率且更為有效的驗證。
儘管前述內容針對本發明的實施例，在不脫離本發明基本範圍的情況下可設計出本發明其他的以及進一步的實施例，且本發明的範圍由所附權利要求書確定。
權利要求
1.一種用於確定系統性能特性的方法，包括執行程序以使得數據通過總線在所述系統的至少兩個設備之間被交換；由至少一個接口監視器捕獲指示在所述至少兩個設備之間被交換的數據的事件；在程序執行期間基於所述捕獲的事件計算一個或多個性能度量；將所述計算得出的性能度量存儲在資料庫中；以及確定所述計算得出的性能度量是否落入確定的性能範圍。
2.根據權利要求1的方法，其中，所述確定的性能範圍由用戶規定。
3.根據權利要求2的方法，進一步包括判斷所述計算得出的性能度量是否落入在所述程序執行期間計算得出的自學習性能範圍。
4.根據權利要求1的方法，其中，所述確定的性能範圍為通過以下步驟生成的自學習性能範圍查詢所述資料庫以接收先前存儲的性能度量的樣本；以及基於先前存儲的性能度量的所述樣本的值，計算所述自學習性能範圍。
5.根據權利要求4的方法，其中，先前存儲的性能度量的所述樣本包括在執行所述程序前存儲的至少一些性能度量。
6.根據權利要求5的方法，其中，先前存儲的性能度量的所述樣本進一步包括在執行所述程序期間存儲的至少一些性能度量。
7.根據權利要求1的方法，進一步包括響應於確定計算得出的性能度量落在所述預先確定的性能範圍之內和閾值範圍之外，在程序執行期間改變一個或多個事件發生的速率。
8.一種包含用於確定系統性能特性的程序的、計算機可讀存儲介質，該程序在其被執行時執行前述方法權利要求的任何一個方法。
9.一種系統，包括第一處理設備；通過總線與所述第一處理設備相耦合的第二處理設備；用於捕獲指示在至少兩個所述處理設備之間通過所述總線交換的數據的事件的至少一個接口監視器；性能監視器，其被配置為基於所述捕獲的事件計算一個或多個性能度量，將一個或多個所述計算出的性能度量存儲在資料庫中，以及確定所述計算出的性能度量是否落入確定的性能範圍。
10.根據權利要求9的系統，其中，所述確定的性能範圍由用戶規定。
11.根據權利要求10的系統，其中，所述性能監視器被進一步配置為確定所述計算出的性能度量是否落入在所述程序執行期間計算得出的自學習的性能範圍。
12.根據權利要求9的系統，其中，所述性能監視器被配置為通過以下步驟生成所述確定的性能範圍查詢所述資料庫以接收先前存儲的性能度量的樣本；以及基於先前存儲的性能度量的所述樣本的值，計算自學習性能範圍。
13.根據權利要求12的系統，其中，先前存儲的性能度量的所述樣本包括在執行所述程序之前存儲的至少一些性能度量。
14.根據權利要求13的系統，其中，先前存儲的性能度量的所述樣本進一步包括在執行所述程序期間存儲的至少一些性能度量。
15.根據權利要求9的系統，其中，所述性能監視器進一步被配置為響應於確定計算得出的性能度量落在所述預先確定的性能範圍之內和閾值範圍之外，在程序執行期間改變一個或多個事件發生的速率。
16.根據權利要求9的系統，其中，所述第一處理設備為中央處理單元(CPU)且所述第二處理設備為圖形處理單元(GPU)。
17.根據權利要求9的系統，其中，所述第一處理設備為輸入/輸出(I/O)橋晶片。
全文摘要
一種使得能夠捕獲設備之間通過互連總線進行的基於包的通信事務、以便測量性能的方法和裝置。當事件經過系統時，通過在不同位置捕獲事件可確定性能度量。通過為所捕獲的事件計算性能度量並將這樣的度量與預先規定的性能範圍和/或自學習的性能範圍進行比較，可在運行時間驗證性能。另外，本發明的實施例提供總線通信流的動態適應調整以生成潛在的失敗情況。對於某些實施例，可在模擬環境中執行這裡所介紹的性能驗證。
文檔編號G06F11/00GK1955935SQ20061011572
公開日2007年5月2日 申請日期2006年8月11日 優先權日2005年10月26日
發明者T·M·阿姆斯特德, L·R·邁耶, P·E·沙爾特, R·A·希勒 申請人:國際商業機器公司