日誌處理系統、日誌處理方法、節點伺服器和中心伺服器的製作方法

2023-05-07 23:00:21

專利名稱：日誌處理系統、日誌處理方法、節點伺服器和中心伺服器的製作方法
技術領域：
本發明涉及日誌處理技術，尤其涉及日誌處理系統、日誌處理方法、節點伺服器和 中心伺服器。
背景技術：
通常，內容分發網絡(CDN，Content Delivery Network)服務提供商在為客戶提供 加速服務的同時，還要為客戶提供多種實時帶寬圖以及各種非實時的統計分析報圖表等。 實時帶寬圖及流量數據是CDN服務提供商向客戶收費的重要依據；統計分析報圖表能夠客 觀地反映加速網站對外服務的情況以及終端用戶的行為，能夠為CDN服務提供商進行客戶 決策提供非常有價值的參考依據。無論是實時帶寬圖還是各種統計分析報圖表，其最原始的數據來源都是各類服 務器的用戶訪問日誌。在實際應用中，CDN服務提供商是通過大量的邊緣伺服器(Edge Server)的組合來為客戶提供加速服務的，這種情況下，這些邊緣伺服器產生的日誌數量是 巨大的，而且由於邊緣伺服器的種類不同，產生的日誌的類型和格式也就不同，常見的類型 禾口格式有 squid、nginx、apache、lighttp、fms、wms 等。在傳統的⑶N部署中，將每一種邊緣伺服器的日誌都配置為一種格式，例如，所有 的squid伺服器都配置為一種固定的格式，所有的nginx伺服器都配置為另一種格式，以此 類推。所有的邊緣伺服器都需要將日誌推送到中心伺服器，這樣，中心伺服器需要處理大量 的不同格式的日誌。由此可見，在現有技術中，中心伺服器處理日誌的複雜度較高。

發明內容
本發明提供日誌處理系統、日誌處理方法、節點伺服器和中心伺服器，用以降低中 心伺服器處理日誌的複雜度。本發明技術方案的實現過程如下一種日誌處理系統，包括邊緣伺服器，節點伺服器和中心伺服器，一個節點伺服器對應至少一個邊緣服務 器，一個中心伺服器對應至少一個節點伺服器；邊緣伺服器用於產生日誌，並將日誌上傳到對應的節點伺服器；節點伺服器用於將邊緣伺服器上傳的日誌轉換為預定義格式的日誌，並將預定義 格式的日誌上傳到對應的中心伺服器；中心伺服器用於對節點伺服器上傳的預定義格式的日誌進行處理。一種日誌處理方法，適用於上述日誌處理系統，所述方法包括節點伺服器獲得對應的邊緣伺服器上傳的日誌；節點伺服器將對應的邊緣伺服器上傳的日誌轉換為預定義格式的日誌；節點伺服器將預定義格式的日誌上傳到對應的中心伺服器。一種節點伺服器，適用於上述日誌處理系統，所述節點伺服器包括
5
獲得單元，用於獲得對應的邊緣伺服器上傳的日誌；轉換單元，用於將對應的邊緣伺服器上傳的日誌轉換為預定義格式的日誌；上傳單元，用於將預定義格式的日誌上傳到對應的中心伺服器。一種日誌處理方法，適用於上述日誌處理系統，所述方法包括中心伺服器獲得對應的節點伺服器上傳的預定義格式的日誌；中心伺服器對預定義格式的日誌進行處理。一種中心伺服器，適用於上述日誌處理系統，所述中心伺服器包括獲得單元，用於獲得對應的節點伺服器上傳的預定義格式的日誌；處理單元，用於對預定義格式的日誌進行處理。在本發明中，邊緣伺服器和中心伺服器之間設置有節點伺服器，節點伺服器可以 將邊緣伺服器上傳的日誌轉換為預定義格式的日誌，並將預定義格式的日誌上傳到中心服 務器，這樣，中心伺服器只需對預定義格式的日誌進行處理即可，而無需處理大量的不同格 式的日誌，從而降低了中心伺服器處理日誌的複雜度。


為了更清楚地說明本發明或現有技術中的技術方案，下面將對實施例或現有技術 描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明中 記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以 根據這些附圖獲得其他的附圖。圖1為本發明的日誌處理系統的邏輯結構示意圖；圖2為本發明的節點伺服器存儲日誌的一種形式的示意圖；圖3為本發明的中心伺服器存儲日誌的一種形式的示意圖；圖4為本發明的一種日誌處理方法的流程圖；圖5為本發明的一種節點伺服器的邏輯結構示意圖；圖6為本發明的一種日誌處理方法的流程圖；圖7為本發明的一種中心伺服器的邏輯結構示意圖。
具體實施例方式為了使本技術領域的人員更好地理解本發明實施例中的技術方案，並使本發明的 上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖對本發明中技術方案作進一步詳 細的說明。首先介紹本發明的日誌處理系統。如圖1所示，日誌處理系統包括邊緣伺服器、節點伺服器和中心伺服器。一個節點 伺服器對應至少一個邊緣伺服器，一個中心伺服器對應至少一個節點伺服器。邊緣伺服器產生日誌，並將日誌上傳到對應的節點伺服器。邊緣伺服器產生的日 志格式與邊緣伺服器的類型相對應，例如，squid伺服器產生對應squid的格式的日誌。邊緣伺服器產生日誌後，可以將日誌在本地存儲一段時間，例如存儲7天。邊緣服 務器可以每隔一段時間生成一個日誌，例如，每隔5分鐘生成一個日誌，日誌名稱的形式可 以為=ISP縮寫-城市名縮寫_節點序號_物理伺服器序號_服務角色縮寫_時間戳_隨機數，例如 CNC-BJ-l-N002-Cbk-201005010800-001. log。節點伺服器可以將邊緣伺服器上傳的日誌轉換為預定義格式的日誌，並將預定義 格式的日誌上傳到對應的中心伺服器。一個節點伺服器可能會收到多種格式的日誌。本發 明根據這些日誌的特點，將這些日誌統一歸為兩種格式的日誌一種是提供web訪問服務 的伺服器產生的日誌，統一定義為clog格式的日誌，也可以稱為預定義第一格式的日誌， 表1示出了 clog格式的一種形式；另一種是提供流媒體服務的邊緣伺服器產生的日誌，統 一定義為flog格式的日誌，也可以稱為預定義第二格式的日誌，表2示出了 flog格式的一 種形式。節點伺服器收到邊緣伺服器上傳的日誌後，確定日誌是由哪種邊緣伺服器產生的， 確定後，將日誌轉換為預定義格式的日誌，並將預定義格式的日誌提供給中心伺服器。具體 的，節點伺服器如果確定日誌是由提供web訪問服務的邊緣伺服器產生的，則將提供web訪 問服務的邊緣伺服器上傳的日誌轉換為預定義第一格式的日誌，並將預定義第一格式的日 志上傳到中心伺服器；如果確定日誌是由提供流媒體服務的邊緣伺服器產生的，則將提供 流媒體服務的邊緣伺服器上傳的日誌轉換為預定義第二格式的日誌，並將預定義第二格式 的日誌提供給中心伺服器。表 1
欄位說明date發出請求的日期。
權利要求
一種日誌處理系統，其特徵在於，包括邊緣伺服器，節點伺服器和中心伺服器，一個邊緣伺服器至少對應一個節點伺服器，一個節點伺服器至少對應一個臺中心伺服器；邊緣伺服器用於產生日誌，並將日誌上傳到對應的節點伺服器；節點伺服器用於將邊緣伺服器上傳的日誌轉換為預定義格式的日誌，並將預定義格式的日誌上傳到對應的中心伺服器；中心伺服器用於對節點伺服器上傳的預定義格式的日誌進行處理。
2.如權利要求1所述的系統，其特徵在於，預定義格式的日誌為預定義第一格式的日 志或預定義第二格式的日誌，預定義第一格式的日誌對應提供web訪問服務的邊緣伺服器 產生的日誌，預定義第二格式的日誌對應提供流媒體服務的邊緣伺服器產生的日誌；節點伺服器具體用於將提供web訪問服務的邊緣伺服器上傳的日誌轉換為預定義第 一格式的日誌，將提供流媒體服務的邊緣伺服器上傳的日誌轉換為預定義第二格式的日ο
3.如權利要求1或2所述的系統，其特徵在於，節點伺服器還根據邊緣伺服器上傳的日 志生成計費信息，並將計費信息上傳到對應的中心伺服器。
4.如權利要求1或2所述的系統，其特徵在於，中心伺服器按照運營商劃分；節點伺服器將預定義格式的日誌上傳到對應的中心伺服器具體為節點伺服器將預定 義格式的日誌上傳到所述節點伺服器對應的且是所述預定義格式的日誌所屬運營商的中 心伺服器。
5.如權利要求1或2所述的系統，其特徵在於，中心伺服器對節點伺服器上傳的預定義 格式的日誌進行處理具體為中心伺服器按照頻道存儲預定義格式的日誌。
6.如權利要求1或2所述的系統，其特徵在於，中心伺服器對節點伺服器上傳的預定義 格式的日誌進行處理具體為如果中心伺服器獲得客戶端下載指定格式的日誌的請求，則 中心伺服器將預定義格式的日誌轉換為指定格式的日誌，並將指定格式的日誌提供給客戶 端。
7.—種日誌處理方法，其特徵在於，適用於權利要求1所述的系統，所述方法包括節點伺服器獲得對應的邊緣伺服器上傳的日誌；節點伺服器將對應的邊緣伺服器上傳的日誌轉換為預定義格式的日誌；節點伺服器將預定義格式的日誌上傳到對應的中心伺服器。
8.如權利要求7所述的方法，其特徵在於，預定義格式的日誌為預定義第一格式的日 志或預定義第二格式的日誌，預定義第一格式的日誌對應提供web訪問服務的邊緣伺服器 產生的日誌，預定義第二格式的日誌對應提供流媒體服務的邊緣伺服器產生的日誌；節點伺服器將對應的邊緣伺服器上傳的日誌轉換為預定義格式的日誌具體為將提供 web訪問服務的邊緣伺服器上傳的日誌轉換為預定義第一格式的日誌，將提供流媒體服務 的邊緣伺服器上傳的日誌轉換為預定義第二格式的日誌。
9.如權利要求7所述的方法，其特徵在於，節點伺服器在獲得對應的邊緣伺服器上傳 的日誌後，還包括節點伺服器根據對應的邊緣伺服器上傳的日誌生成計費信息，並將計費 信息上傳到對應的中心伺服器。
10.一種節點伺服器，其特徵在於，適用於權利要求1所述的系統，所述節點伺服器包括獲得單元，用於獲得對應的邊緣伺服器上傳的日誌；轉換單元，用於將對應的邊緣伺服器上傳的日誌轉換為預定義格式的日誌；上傳單元，用於將預定義格式的日誌上傳到對應的中心伺服器。
11.如權利要求10所述的節點伺服器，其特徵在於，預定義格式的日誌為預定義第一 格式的日誌或預定義第二格式的日誌，預定義第一格式的日誌對應提供web訪問服務的邊 緣伺服器產生的日誌，預定義第二格式的日誌對應提供流媒體服務的邊緣伺服器產生的日 志；轉換單元具體用於將提供web訪問服務的邊緣伺服器上傳的日誌轉換為預定義第一 格式的日誌，將提供流媒體服務的邊緣伺服器上傳的日誌轉換為預定義第二格式的日誌。
12.如權利要求10所述的節點伺服器，其特徵在於，還包括生成單元，用於在獲得單 元獲得對應的邊緣伺服器上傳的日誌後，根據對應的邊緣伺服器上傳的日誌生成計費信 息；上傳單元還將計費信息上傳到對應的中心伺服器。
13.—種日誌處理方法，其特徵在於，適用於權利要求1所述的系統，所述方法包括中心伺服器獲得對應的節點伺服器上傳的預定義格式的日誌；中心伺服器對預定義格式的日誌進行處理。
14.如權利要求13所述的方法，其特徵在於，預定義格式的日誌為預定義第一格式的 日誌或預定義第二格式的日誌，預定義第一格式的日誌對應提供web訪問服務的邊緣服務 器產生的日誌，預定義第二格式的日誌對應提供流媒體服務的邊緣伺服器產生的日誌。
15.如權利要求13或14所述的方法，其特徵在於，中心伺服器對預定義格式的日誌進 行處理具體為中心伺服器按照頻道存儲預定義格式的日誌。
16.如權利要求13或14所述的方法，其特徵在於，中心伺服器對節點伺服器上傳的 預定義格式的日誌進行處理具體為如果中心伺服器獲得客戶端下載指定格式的日誌的請 求，則中心伺服器將預定義格式的日誌轉換為指定格式的日誌，並將指定格式的日誌提供 給客戶端。
17.—種中心伺服器，其特徵在於，適用於權利要求1所述的系統，所述中心伺服器包括獲得單元，用於獲得對應的節點伺服器上傳的預定義格式的日誌；處理單元，用於對預定義格式的日誌進行處理。
18.如權利要求17所述的中心伺服器，其特徵在於，預定義格式的日誌為預定義第一 格式的日誌或預定義第二格式的日誌，預定義第一格式的日誌對應提供web訪問服務的邊 緣伺服器產生的日誌，預定義第二格式的日誌對應提供流媒體服務的邊緣伺服器產生的日誌。
19.如權利要求17或18所述的中心伺服器，其特徵在於，處理單元具體用於按照頻道 存儲預定義格式的日誌。
20.如權利要求17或18所述的中心伺服器，其特徵在於，獲得單元還獲得客戶端下載 指定格式的日誌的請求；處理單元還將預定義格式的日誌轉換為指定格式的日誌，並將指定格式的日誌提供給客戶端。
全文摘要
本發明涉及一種日誌處理系統、日誌處理方法、節點伺服器和中心伺服器；所述日誌處理系統包括邊緣伺服器，節點伺服器和中心伺服器，一個邊緣伺服器至少對應一個節點伺服器，一個節點伺服器至少對應一個臺中心伺服器；邊緣伺服器用於產生日誌，並將日誌上傳到對應的節點伺服器；節點伺服器用於將邊緣伺服器上傳的日誌轉換為預定義格式的日誌，並將預定義格式的日誌上傳到對應的中心伺服器；中心伺服器用於對節點伺服器上傳的預定義格式的日誌進行處理。採用本發明的日誌處理系統、日誌處理方法、節點伺服器和中心伺服器，可以有效降低中心伺服器處理日誌的複雜度，提高了處理效率。
文檔編號H04L29/06GK101958837SQ20101050419
公開日2011年1月26日 申請日期2010年9月30日 優先權日2010年9月30日
發明者井衛軍, 姚永壯, 楊利軍, 蔣建平, 郜時紅 申請人:北京世紀互聯工程技術服務有限公司;北京雲快線軟體服務有限公司