通信網絡中關鍵性能指標的置信區間的製作方法

2023-10-28 21:01:47 1

專利名稱：通信網絡中關鍵性能指標的置信區間的製作方法
技術領域：
本說明書總體上針對網絡監控並且尤其針對在通信網絡中計算和呈現(多個)關鍵性能指標(KPIs)的(多個)置信區間的系統和方法。
背景技術：
網絡和客戶體驗監控解決方案是被廣泛接受的用於電信公司服務提供商網絡穿過兩個固定網絡(例如，Cable/MSO, IP寬帶例如DSL, FTTH等)和行動網路(例如，2.5G，3G，LTE等)的操作的標準。這些系統通過探測器設備監控網絡業務，然後通過各種階段得到可操作的信息(因為所述信息屬於訂戶體驗(服務質量、體驗質量)，訂戶行為(應用程式使用情況，服務使用情況等)，訂戶位置等)來處理所述業務。實際上，可操作的信息可以涉及靜態指標(典型地被稱為關鍵性能指標或KPIs)，所述靜態指標被從由探測器處理的源數據中計算得到，並隨後被電信公司的各種不同用戶構成部分獲得以達到驅動其商業過程的目的。KPIs的一些例子包括:切換成功(通過節點，位置等)，掉話率(通過節點，手機等)，應用程式使用情況(通過節點，訂戶等)，訂戶計數(通過位置，人口統計學等)，等等。如本發明人已經認識到的，存在呈現在今天的市場中的多宏觀層驅動，其以可以影響電信服務提供商(CSPs)的監控系統和KPIs的部署和使用的方式來影響他們。例如，因為訂戶增長、訂戶的每用戶平均收入(ARPU)下降的壓力，增長的網絡複雜性等，CSPs必須持續提高操作的效率。CSPs提高效率的一個主要方法是通過增加直接嵌入商業過程和自動控制的KPIs的可靠性。也就是說，CSPs日益依賴於精確的數據來做出關於網絡上的活動的實時操作決定。同樣，存在增長的推動使CSPs影響數據在他們的網絡上的呈現以便實現新的收入流。一些例子包括使用訂戶行為數據來更好地以額外的CSP服務提供為目標，打包關於訂戶對第三方廣告商的興趣和行為的聚合數據等。總之，這些驅動意味著如下:KPIs的可用性和精確性比以往更加重要，因為從監控系統獲得的KPIs日益用於觸發網絡、商業和潛在的收入影響決定。同樣地，本發明人已經確定了對一種系統和方法的需要，所述系統和方法提供了一種向用戶呈現給定KPI的置信區間的能力，以便用戶可以在進行網絡或商業影響行動之前更充分地認識到度量的重要性。但是，如本發明人已經認識到的，現有的KPI測量解決方案採用了監控所有數據，並且所有被監控的數據都被考慮到KPI計算中。當存在其他使用採樣方法的解決方案時，這些系統使用了固定的全局採樣率，這使得根據觀測數據對KPIs的推斷是相對徒勞的運用。

發明內容
用於計算和呈現(多個)關鍵性能指標(KPIs)的(多個)置信區間的系統和方法的實施例在這裡被描述。在一個說明性的、非限制性的實施例中，一種方法可以包括識別表示被網絡監控系統觀測的網絡事件的向量，每個向量包括:維度(dimension);以其來觀測相應的網絡事件的採樣率的指示；和與所述維度相關聯的值。所述方法還可以包括至少部分基於所述值來計算針對所述維度對應於被觀測的網絡事件的KPI，和至少部分基於採樣率來計算與KPI相關聯的置信。在一些實施例中，所述維度可以包括:國際行動裝置識別碼(MEI)，國際移動用戶識別碼(MSI)，移動臺綜合業務數字網(MSISDN)，用戶代理(UA)簡檔，用戶代理，手機製造商，手機型號，軟體版本，統一資源定位器(URL)，服務，應用，位置，移動國家碼(MCC)或行動網路碼(MNC)等。此外，所述值可以包括會話長度、上行鏈路字節計數、下行鏈路字節計數、嘗試的數目，失敗的數目、或等待時間。此外，所述維度可以以第一採樣率被觀測，另一個維度可以以第二採樣率被觀測，而第二採樣率可以不同於第一採樣率。附加地或可選地，採樣率可以包括由網絡監控系統響應於網絡或資源加載而控制的自適應採樣率。附加地或可選地，所述採樣率可以隨時間而改變。附加地或可選地，所述採樣率可以包括基於白名單或黑名單的區別採樣率。 在一些實施例中，計算置信可以包括估計在不存在採樣的情況下將會被網絡監控系統觀測的網絡事件的數目(ΚΝ)，確定所觀測的網絡事件的數目(κη)，和計算所述值的標準偏差(K O )。所述置信包括置信水平或置信區間，並且所述置信水平或置信區間可以至少部分基於KN、Kn和K O。例如，在某種情況下，計算置信可以包括識別期望的置信水平和至少部分基於所述期望的置信水平來計算置信區間。在其他情況下，計算置信可以包括識別期望的置信區間和至少部分基於所述期望的置信區間來計算置信水平。另外，該方法還可以包括至少部分基於用戶對置信水平或置信區間的調整來使得修改將來要以其來觀測網絡事件的採樣率。在另一個說明性的、非限制性的實施例中，網絡監控系統可以包括處理器和耦合到該處理器的存儲器，所述存儲器被配置為存儲程序指令，所述程序指令能夠由處理器執行來使網絡監控系統執行一個或多個操作。例如，該網絡監控系統可以識別多個表示所採樣的網絡事件的向量，每個向量包括:多個維度；所述多個維度中的每一個都與以其來採樣相應的維度的採樣率的指示相關聯；和與每個相應的維度相關聯的值，所述採樣率經歷根據網絡或資源加載而隨時間的修改。所述網絡監控系統還可以至少部分基於關於相應的值而執行的操作來計算與多個維度中的所選一個相關聯的關鍵性能指標(KPI)，所述操作包括下述各項中的至少一個:均值(mean),平均數(average),最小值,或最大值。網絡監控系統可以進一步估計在不存在採樣的情況下將會被觀測的網絡事件的數目(Kn)，確定所採樣的網絡事件的數目(Kn)，計算值的標準偏差(1(0)，至少部分基於1(,、1(11和1(0來計算與KPI相關聯的置信值。在一些實施例中，網絡監控系統還可以以圖表和/或文本形式向用戶顯示KPI和/或置信值。進一步地，為了計算置信值，網絡監控系統可以識別期望的置信水平並至少部分基於該期望的置信水平來計算置信區間。附加地或可選地，網絡監控系統可以識別期望的置信區間並至少部分基於該期望置信區間來計算置信水平。同樣，在一些情況下，該網絡監控系統可以至少部分基於對置信值的調整來自動修改在後續網絡事件中要以其來對所選維度進行採樣的採樣率。在另一個說明性的、非限制性的實施例中，一種有形的電子存儲介質可以具有存儲在其上的程序指令，當所述程序指令被計算機系統中的處理器執行時，使得該計算機系統執行一個或多個操作。例如，所述計算機系統可以至少部分基於與表示被檢測的網絡事件的多個向量中的維度相關聯的值來確定KPI，所述被檢測的網絡事件已經由網絡監控系統使用採樣率進行自適應採樣。計算機系統還可以至少部分基於採樣率來計算與KPI相關聯的置信值，並且其還可以至少部分基於用戶對置信值的調整來計算第二採樣率，利用所述第二採樣率來檢測後續的網絡事件。為了計算置信值，所述程序指令可以進一步使計算機系統估計在不存在可變採樣率的情況下將會被檢測的網絡事件的數目(Kn)，確定所監控的、所檢測的事件的數目(Kn)，以及計算值的標準偏差(K σ )。在一些實施例中，在這裡描述的技術中的一種或多種可以由一個或多個計算機系統執行。在其他實施例中，有形的計算機可讀存儲介質可以具有存儲在其上的程序指令，當所述程序指令由一個或多個計算機或網絡監控系統執行時，使該一個或多個計算機系統來執行在這裡描述的一個或多個操作。在其他實施例中，系統可以包括至少一個處理器和耦合到所述至少一個處理器的存儲器，所述存儲器被配置為存儲能夠由所述至少一個處理器執行來實行在這裡描述的一個或多個操作的程序指令。


現在將對附圖進行參考，其中:圖1是根據一些實施例的網絡監控系統的框圖。圖2是根據一些實施例的網絡監控軟體程序的框圖。圖3是根據一些實施例被配置為實現於此描述的各種系統和方法的計算機系統的框圖。圖4是根據一些實施例的計算關鍵性能指標(KPI)的置信值的方法的流程圖。圖5是根據一些實施例的調整採樣率來使KPI結果符合期望的置信值的方法的流程圖。
具體實施例方式雖然本說明書提供了幾個實施例和說明性的附圖，但本領域普通技術人員應該認識到本說明書並非只是限於所描述的實施例或附圖。應該理解的是，附圖和詳細說明並不意圖將說明限於所公開的特殊形式，而是正相反，目的是涵蓋所有落入權利要求的精神和範圍內的修改、等同和替換。同樣，任何於此使用的標題只是用於組織的目的而不是意圖限制描述的範圍。如這裡所使用的，詞「可以」表示傳達許可的含義(即，意思為「有可能」)，而不是強制性的含義(即，意思為「必須」)。類似地，詞「包括」，「包含」和「具有」意味著包括而不是限於。詳細描述。
圖1示意網絡監控系統的示例性框圖。如所示，行動裝置105和110可以能夠通過網絡115傳輸和接收去往和來自彼此的數據(例如，網頁，音頻，視頻，等等)。同樣，網絡伺服器120可以被配置為通過網絡115提供一個或多個網頁給客戶端設備125。在各種實施例中，網絡115可以包括任何適當的有線或無線/移動計算機或數據網絡，其包括例如第三代(3G)，第四代(4G)，或3GPP長期演進(LTE)無線網絡，IP語音(VoIP)網絡，IP多媒體子系統(MS)網絡，網際網路，等等。行動裝置105和110之間的通信以及網絡伺服器120和客戶端設備125之間的通信可以由網絡監控系統100監控，因為數據分組包括這些經過網絡115的通信。同樣地，網絡監控系統100可以包括耦合到網絡115的網絡監控器或分析器，分組嗅探器，探測器，或諸如此類。可以選擇在圖1中被用來使得能夠發生通信的協議，例如，根據要被傳遞的內容的類型，網絡115的類型，和/或設備105、110、和/或125的能力。可以被使用的協議的類型的例子包括，但不限於，超文本傳輸協議(HTTP)，實時消息傳送協議(RTMP)，和實時傳輸協議(RTP)。針對各種設備105、110和/或125的每個通信會話可以有不同的開始和結束時間，並且它們也可以經受不同的網絡業務限制。在每個會話期間，針對該會話可用的帶寬可以多次改變。同樣，數據流可以在給定的會話期間開始和結束。因此，網絡監控系統100可以被配置成針對通信會話對相關的數據分組進行採樣(例如，不明顯地)以便為每個會話和每個客戶端追蹤相同的用戶體驗信息集合而不用考慮用來支持所述會話的協議(例如，HTTP, RTMP, RTP，等等)。例如，通過計算和/或呈現(多個)關鍵性能指標(KPIs)以及針對所述KPIs的(多個)置信區間，監控系統100可以能夠識別關於每個用戶的體驗的特定信息，如在下文中更詳細地描述那樣。服務提供商可以使用這些信息，例如以便調整可用於客戶端設備105、110、和/或125的網絡服務(如分配給每個用戶的帶寬)和對通過網絡115的數據分組的路由。一般而言，客戶端設備105、110和125可以包括任何計算機系統或設備，諸如例如，個人計算機，膝上型計算機，平板計算機，行動裝置，智慧型電話，網絡使能的設備，網絡使能的電視，等等。客戶端設備105、110和125可以允許用戶執行語音通信，操縱網際網路或其他通過圖形用戶界面(GUI)使用網頁瀏覽器應用程式或類似物的數據網絡，等等。附加地或可選地，客戶端設備125可以通過獨立的或基於網絡的客戶端應用訪問由網絡伺服器120使得可用的內容目錄。網絡伺服器120可以包括任何能夠遞送內容給設備125的伺服器或計算機系統。雖然只有設備105、110、120和125在圖1上顯示出來，但應該理解的是，網絡115可以包括任意數目的節點和端點。例如，在一些實施方式中，網絡115可以包括可能為3G或4G無線網絡中的組件的節點或端點，例如服務GPRS支持節點(SGSN)，網關GPRS支持節點(GGSN)，或通用分組無線業務(GPRS)網絡中的邊界網關，CDMA2000網絡中的分組數據服務節點(PDSN)，長期演進/服務系統架構演進(LTE/SAE)網絡中的移動性管理實體(MME)或任何其他在端點之間傳遞數據分組或消息的核心網絡節點或路由器。而且，應該理解的是，這樣的節點和端點可以以任何合適的方式互相連接，包括被耦合到一個或多個其他這樣的節點和/或端點。如上所述，很多分組在端點之間穿過網絡115。這些分組可以表示很多不同的會話和協議。例如，如果行動裝置105用於語音或視頻呼叫，則它可以使用實時傳輸協議(RTP)與SIP/VOIP伺服器(沒有示出)交換網際網路協議電話(VoIP)或會話初始化協議(SIP)數據分組。如果行動裝置105用於發送或取回電子郵件，則它可以與電子郵件伺服器(沒有示出)交換網際網路消息訪問協議(IMAP)，郵局協議3協議(POP3)，或簡單郵件傳輸協議(SMTP)消息。如果客戶端設備105用於下載視頻或使視頻流出，則它可以使用實時流協議(RTSP)來同網絡伺服器120建立和控制媒體會話。可選地，行動裝置105和110或客戶端設備125處的用戶可以使用超文本傳輸協議(HTTP)訪問多個網站以便同網絡伺服器120交換數據。應該理解的是，在設備端點之間交換的分組可以遵守許多其他現在已知或之後開發的協議。在一個典型的情況下，大約百分之一的經過網絡115的分組承載控制數據，例如在端點之間建立、管理或拆除呼叫或會話的信息。其他百分之九十九的分組承載用戶數據，例如去往和來自所連接的設備的實際的語音、視頻、電子郵件或信息內容。在各種實施例中，網絡監控系統100可以用於監控網絡115的性能。為此，監控系統100可以被配置為捕獲經過網絡115傳輸的分組。在一些實施例中，分組捕獲設備可以非侵入式地耦合到網絡鏈路以便充分地捕獲所有經過鏈路傳輸的分組。應該理解的是，在實際網絡中，節點之間存在許多或上百個物理、邏輯或虛擬連接和鏈路。在一些情況下，網絡監控系統100可以耦合到所有或者高百分比的這些鏈路。在其他實施例中，監控系統100可以只耦合到網絡115的一部分，例如只耦合到與特定運營商或服務提供商相關聯的鏈路。分組捕獲設備可以是網絡監控系統100的一部分，例如線路接口卡，或可以是從不同位置遠程耦合到網絡監控系統100的獨立組件。監控系統100可以包括一個或多個運行一個或多個軟體應用的處理器，其從網絡
115收集、關聯和/或分析媒體和信令數據分組。監控系統100可以通過表徵通過網絡115上的鏈路、節點、應用和伺服器的IP業務的特徵，來結合協議分析器、會話分析器、和/或業務分析器功能，其提供OSI (開放系統互連)第二層到第七層的故障診斷。在一些實施例中，這些操作可以被提供，例如，通過可從Tektronix公司獲得的IPIS :工具集，雖然其他合適的工具可能存在或稍後被開發出`來。將網絡監控系統100耦合到網絡115的分組捕獲設備可以是高速、高密度探測器，其被優化為處理高帶寬IP業務，例如GEOPR〇BE G10，其同樣可以從Tektronix公司得到，雖然其他合適的工具可能存在或稍後被開發出來。月艮務提供商或網絡運營商可以通過帶有顯示器或圖形用戶界面的用戶接口站從監控系統100訪問數據，例如IRISVIEW可配置的軟體框架，其為幾個應用提供單一的、完整的平臺，包括對客戶體驗管理系統和操作支持系統(OSS)和商業支持系統(BSS)應用的反饋，這也可以從Tektronix公司得到，雖然其他合適的工具可能存在或稍後被開發出來。監控系統100可以進一步包括內部或外部存儲器用於存儲所捕獲的數據分組、用戶會話數據、和配置信息。監控系統100可以捕獲和關聯與特定數據會話相關聯的分組。在一些實施例中，相關的分組可以被關聯和結合到針對網絡115上的特定流、會話或呼叫的記錄。這些數據分組或消息可以被捕獲到捕獲文件中。呼叫跟蹤應用可以被用於將消息分類成呼叫並建立呼叫詳細記錄(CDRs)。這些呼叫可能屬於基於優先網絡或由優先網絡定義的方案。在一個說明性的、非限定性的例子中，相關的分組可以使用5元組關聯機制來關聯。這樣的5元組關聯處理可以使用IP相關密鑰，其包括5部分:伺服器IP位址、客戶端IP位址、源埠、目的埠和第四層協議(傳輸控制協議(TCP)、用戶數據報協議(UDP)或流控制傳輸協議(SCTP))。因此，網絡監控系統100可以被配置成針對通信會話來對相關數據分組進行採樣(例如，不明顯地)以便為每個會話和每個客戶端追蹤相同的用戶體驗信息集合而不用考慮用來支持所述會話的協議(例如，HTTP，RTMP，RTP，等等)。例如，監控系統100可以能夠識別關於每個用戶的體驗的特定信息，如在下文中更詳細地描述那樣。服務提供商可以使用這些信息，例如以便調整可用於端點105、110、和/或125的網絡服務(如分配給每個用戶的帶寬)和對通過網絡115的數據分組的路由。儘管網絡115的容量向10吉比特/秒(Gbps)增長並超過(例如，IOOGbps)，但是，它支持更多用戶的流量和會話。同樣的，對服務提供商或網絡運營商來說，分析所有經過網絡115的業務(例如，識別問題節點或鏈路)變得困難。一些系統可以在相對短的時間段內收集所有的數據，期望採樣具有代表性。其他系統可以在全部時間收集一部分的網絡業務並試圖通過對其進行簡單地縮放來為整個網絡推斷數據。為了解決這些和其他所關心的問題，某些於此描述的系統和方法可以實現電信網絡的自適應監控。現在轉向圖2，描述了網絡監控軟體程序的框圖。在一些實施例中，網絡監控軟體200可以是可由圖1的監控系統100執行的軟體應用程式。如之前提到的，多個通信會話或數據流可以在設備105、110、120和/或125之間穿過網絡115被傳送。這樣的通信可以通過HTTP、RTMP、RTP或任何其他合適的協議被流傳輸。監控探測器205可以被配置為從網絡115捕獲數據分組，包括例如來自一個或多個HTTP請求或會話的數據。同樣地，監控探測器205可以為所捕獲的數據分組確定識別信息並可以將相關數據結合到會話或請求記錄中。監控探測器205可以隨後將會話記錄和所捕獲的分組數據反饋到監控引擎210。在一些情況下，會話記錄可以包括多個段，當相關的會話處於活動時周期性地將所述段提供給監控引擎210。監控引擎210可以接著被配置成從每個會話記錄提取會話數據並為每個會話記錄識別協議。會話數據可以被作為監控反饋提供給會話監控模塊215和/或可以被存儲到資料庫220。資料庫220還可以存儲訂戶信息和客戶端設備數據。網絡監控軟體200可以允許服務提供商針對網絡115從各種HTTP請求或會話並行或同時地收集數據。用於多個請求或會話的數據被存儲在資料庫220中，其允許服務提供商追蹤每個會話或提取全系統參數。例如，監控探測器205和/或監控引擎210可以通過分析所述會話的一個或多個數據分組的報頭來識別用於每個會話的協議的類型。監控探測器205和/或監控引擎210還可以追蹤每個VoIP會話可用的帶寬，並且可以識別實時發生的帶寬改變。此外，監控探測器205和/或監控引擎210可以在用於任何請求或會話的數據分組的流中發生間隙或片段丟失時進行檢測。所述請求或會話參數、帶寬信息和間隙數據可以被收集給資料庫200和/或呈現給服務提供商。存儲在資料庫220中的數據可以由服務提供商查詢，例如，基於每會話、每用戶、每設備或每協議。會話監控模塊210可以使用收集到的信息來為每個會話和為整個網絡生成體驗質量(QoE)和關鍵質量指標(KQIs)。所述QoE和KQIs可以基於例如檢測到的多少時候一次重新緩衝、屏幕解析度改變、間隙、和/或丟失的片段。會話期間額外的緩衝(即重新緩衝)，許多的屏幕解析度改變和VoIP流中的間隙可能降低用戶的QoE。
返回參考圖1和2，網絡監控系統100可以被配置為通過網絡監控軟體200來監控它所接近的網絡業務的可編程片段(例如，10GbpS，100GpbS，等)。這樣的可編程部分可以被定義，例如，通過採樣率等等。在一些情況下，監控探測器205和/或引擎210可以基於一組試探法來智能地分析業務以便區別高值業務和低值業務(或任何其他所選形式的業務)。這樣的試探法的例子可能包括(但不限於)具有共同的源或目的地址、共同的訂戶識別符、共同的傳輸協議、共同的埠號、共同的內容類型等等的業務。根據不同類型的業務，可以應用不同的採樣規則(或規則集合)。每個規則可以依次指示會在後續的處理中被使用的業務的一部分，例如，KPIs的計算等等。KPIs的例子包括，但不限定於，服務性能指標、網絡擁塞指標、連接保持指標、服務質量指標、和/或網絡可用性指標。在軟體200的控制下，網絡監控系統100還可以被配置為聚合數據來實現回程，生成網絡流和基礎KPI計算，數據的時間戳，數據的埠戳，濾除不需要的數據，協議分類，和深度分組檢測(DPI)分析。另外，網絡監控系統100可以進一步被配置為執行數據的有狀態分析，對呼叫關聯的關鍵參數的提取和呼叫數據記錄(CDRs)的生成，應用特殊處理，等等。在操作中，監控引擎210可以被配置為接收負載信息(例如，CPU和/或存儲器使用)和存儲所述信息到資料庫220中。其也可以被配置為生成和/或修改存儲在資料庫220中的採樣規則。基於負載信息和/或網絡條件確定，監控引擎210可以自適應地修改存儲在資料庫220中的規則的一個或多個方面，以及使用修改後的濾波器器、優先碼和採樣率等更新監控探測器205。下面的表I提供了可以被存儲在資料庫220中的假定採樣規則的一個例子用於說明:表I
權利要求
1.一種方法，包括: 使用一個或多個計算機系統執行: 識別表示由網絡監控系統觀測的網絡事件的向量，每個向量包括:維度；以其來觀測相應的網絡事件的採樣率的指示；和與所述維度相關聯的值； 至少部分基於所述值來計算針對所述維度與被觀測的網絡事件相對應的關鍵性能指標(KPI)；以及 至少部分基於所述採樣率來計算與所述KPI相關聯的置信。
2.如權利要求1所述的方法，其中所述維度包括以下各項中的至少一個:國際行動裝置識別碼(ΠΙΕΙ)、國際移動用戶識別碼(IMSI)、移動臺綜合業務數字網(MSISDN)、用戶代理(UA)簡檔、用戶代理、手機製造商、手機型號、軟體版本、統一資源定位器(URL)、服務、應用、位置、移動國家碼(MCC)或行動網路碼(MNC)。
3.如權利要求1所述的方法，其中以第一採樣率來觀測所述維度，其中以第二採樣率來觀測另一個維度，並且其中所述第二採樣率不同於所述第一採樣率。
4.如權利要求1所述的方法，其中所述採樣率包括由所述網絡監控系統響應於網絡或資源加載而控制的自適應採樣率。
5.如權利要求1所述的方法，其中所述採樣率隨時間而改變。
6.如權利要求1所述的方法，其中所述採樣率包括基於白名單或黑名單的區別採樣率。
7.如權利要求1所述的方法，其中所述值包括以下各項中的至少一個:會話長度、上行鏈路字節計數、下行鏈路字節計數、嘗試的數目、失敗的數目、或等待時間。
8.如權利要求1所述的方法，其中計算置信進一步包括: 使用所述一個或多個計算機系統執行: 估計當不存在採樣時將會被所述網絡監控系統觀測的網絡事件的數目(Kn)； 確定被觀測的網絡事件的數目(Kn);以及 計算所述值的標準偏差(Ko )。
9.如權利要求8所述的方法，其中所述置信包括置信水平或置信區間中的至少一個，並且其中所述置信水平或置信區間至少部分基於KN、Kn和K O。
10.如權利要求9所述的方法，其中計算所述置信進一步包括: 使用所述一個或多個計算機系統執行: 識別期望的置信水平；以及 至少部分基於所述期望的置信水平來計算置信區間。
11.如權利要求9所述的方法，其中計算所述置信進一步包括: 使用所述一個或多個計算機系統執行: 識別期望的置信區間；以及 至少部分基於所述期望的置信區間來計算置信水平。
12.如權利要求9所述的方法，進一步包括: 使用所述一個或多個計算機系統執行: 至少部分基於用戶對置信水平或置信區間的調整來促使修改將來要以其來觀測網絡事件的採樣率。
13.一種網絡監控系統，包括: 處理器；以及 耦合到所述處理器的存儲器，所述存儲器被配置為存儲程序指令，所述程序指令能夠由處理器執行來使所述網絡監控系統: 識別多個表示被採樣的網絡事件的向量，每個向量包括:多個維度；與所述多個維度中的每一個相關聯的採樣率的指示，以所述採樣率來對相應的維度進行採樣；和與每個相應的維度相關聯的值，所述採樣率經歷根據網絡或資源加載而隨時間的修改； 至少部分基於關於相應的值而執行的操作，計算與所述多個維度中的所選一個相關聯的關鍵性能指標(KPI)，所述操作包括以下各項中的至少一個:均值、平均數、最小值、或最大值； 估計在不存在採樣的情況下將會被觀測的網絡事件的數目(Kn)； 確定被採樣的網絡事件的數目(Kn)； 計算所述值的標 準偏差(Ko);以及 至少部分基於KN、Kn和K σ來計算與KPI相關聯的置信值。
14.如權利要求13所述的網絡監控系統，其中所述程序指令能夠由處理器進一步執行使得所述網絡監控系統: 將KPI顯示給用戶；以及 以圖表或文本形式向用戶顯示置信值。
15.如權利要求13所述的網絡監控系統，其中為了計算置信值，所述程序指令能夠進一步由處理器執行使得所述網絡監控系統: 識別期望的置信水平；以及 至少部分基於所述期望的置信水平來計算置信區間。
16.如權利要求13所述的網絡監控系統，其中為了計算置信值，所述程序指令能夠進一步由處理器執行使得所述網絡監控系統: 識別期望的置信區間；以及 至少部分基於所述期望的置信區間來計算置信水平。
17.如權利要求13所述的網絡監控系統，所述程序指令能夠進一步由處理器執行使得所述網絡監控系統:至少部分基於對置信值的調整來自動修改在後續網絡事件中要以其來對所選維度進行採樣的採樣率。
18.一種有形的電子存儲介質，其具有存儲在其上的程序指令，所述程序指令在由計算機系統中的處理器執行時使得所述計算機系統: 至少部分基於與多個表示被檢測的網絡事件的向量中的維度相關聯的值來確定關鍵性能指標(KPI)，所述被檢測的網絡事件已經由網絡監控系統使用採樣率進行自適應採樣； 至少部分基於所述採樣率來計算與KPI相關聯的置信值；以及 至少部分基於用戶對置信值的調整來計算要以其來檢測後續網絡事件的第二採樣率。
19.如權利要求18所述的有形的電子存儲介質，其中為了計算置信值，所述程序指令進一步使得計算機系統: 估計在不存在可變採樣率的情況下將會被檢測的網絡事件的數目(Kn)；確定被觀測、被檢測的事件的數目(Kn);以及 計算所述值的標準偏差(Ko )。
20.如權利要求19所述的有形的電子存儲介質，其中所述置信值包括置信水平或置信區間中的至少一個。
全文摘要
本發明涉及通信網絡中關鍵性能指標的置信區間。公開用於計算和呈現(多個)關鍵性能指標(KPIs)的(多個)置信區間的系統和方法。例如，在一些實施例中，一種方法可以包括識別表示由網絡監控系統觀測的網絡事件的向量，每個向量包括維度；以其來觀測相應的事件的採樣率的指示；和與維度相關聯的值。該方法還可以包括至少部分基於所述值來計算針對所述維度與被觀測的事件對應的KPI。該方法還可以包括至少部分基於所述採樣率來計算與KPI關聯的置信。在一些情況下，可以以不同的採樣率來觀測事件。附加地或可選地，採樣率可以包括由網絡監控系統響應於網絡或資源加載(例如經歷隨時間而改變)、白名單區別採樣率等等而控制的自適應採樣率。
文檔編號H04L12/26GK103188119SQ201210599239
公開日2013年7月3日 申請日期2012年12月26日 優先權日2011年12月27日
發明者R·T·威爾金森 申請人:特克特朗尼克公司