日誌記錄方法以及伺服器的製造方法
2023-12-09 22:04:16
日誌記錄方法以及伺服器的製造方法
【專利摘要】本發明提供了一種日誌記錄方法和日誌記錄伺服器。該日誌記錄方法包括：使用跨平臺通信協議從多個不同平臺的服務接收針對登記日誌的請求消息；將接收到的消息發布到消息隊列中；從所述消息隊列中讀取消息；以及根據預定的配置策略對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。本發明實施例提供了跨平臺跨服務的日誌記錄服務，改進了操作性能和成本效率。
【專利說明】日誌記錄方法以及伺服器
【技術領域】
[0001]本發明一般地涉及計算機領域，具體地涉及日誌記錄方法和日誌記錄伺服器。
【背景技術】
[0002]目前隨著計算機技術的發展，一個大型系統通常包括多個服務，並且這些服務經常構建在不同的平臺上。典型地，目前這種多服務多平臺系統中的每個平臺或服務的日誌記錄是各自進行的，每個平臺或服務具有各自的資料庫，各自實時地登記自己的運行日誌。然而，逐個平臺/服務查看日誌文件非常不方便。而且，由於不同服務實時記錄日誌，經常存在並行處理的多個日誌記錄操作，給資料庫帶來了巨大負荷。系統容易因為過載而引起系統故障。此外，當增加新的服務時，系統需要增加新的日誌資料庫和對應的資料庫操作機制。因此，當前的系統性能較低並且系統的開發和維護成本較大。
【發明內容】
[0003]本發明的目的在於提供一種改進的日誌記錄機制，其能夠克服上述現有系統的至少部分缺陷。
[0004]為了實現上述目的，本發明提出可以將多個不同平臺服務的日誌都記錄在一個日誌記錄伺服器上。根據本發明實施例的日誌記錄伺服器經由跨平臺跨服務的統一接口接收登記日誌記錄請求，並且對這些請求統一進行調度處理。於是，在本發明實施例中，在一個伺服器上就可以操作和查看所有不同平臺服務的日誌文件，而且當系統增加新的服務時不需要增加新的日誌資料庫和對應的資料庫操作機制就能夠向新添加的服務提供日誌記錄服務。於是，根據本發明實施例的日誌記錄伺服器具有較高的操作效率和成本效率。
[0005]此外，根據本發明實施例的日誌記錄方案還可以通過設置優先級、啟用多線程/線程池等措施來實現錯峰處理和負載均衡，減少對資料庫的操作壓力，從而提高系統性能。
[0006]根據本發明的一個方面，提供了 一種日誌記錄方法。所述方法可以包括:使用跨平臺通信協議從多個不同平臺的服務接收針對登記日誌的請求消息；將接收到的消息發布到消息隊列中；從所述消息隊列中讀取消息；以及根據預定的配置策略對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。
[0007]在本發明的一些實施例中，所述跨平臺通信協議可以是Thrift協議。
[0008]在本發明的一些實施例中，所述配置策略可以包括下述中的至少一個:立即處理、延時處理、分時段錯峰處理、以及按優先級處理。
[0009]在本發明的一些實施例中，所述對讀取的消息進行處理可以進一步包括:從消息中解析出操作類型，並且根據解析出的操作類型，建立與對應的動態連結庫的連接；以及經由動態連結庫將消息中包含的日誌數據記錄到對應的資料庫中。
[0010]在本發明的一些實施例中，所述經由動態連結庫將消息中的日誌數據記錄到對應的資料庫中進一步包括:對消息進行解析，以獲得消息中的日誌數據；連接所述動態連結庫對應的資料庫；以及在所述資料庫中記錄所述消息中的日誌數據。[0011]根據本發明的第二方面，提供了一種日誌記錄伺服器。所述日誌記錄伺服器可以包括:接口單元、消息管理單元、消息處理單元、以及資料庫。所述接口單元可以配置為使用跨平臺通信協議從多個不同平臺的服務接收針對登記日誌的請求消息。所述消息管理單元可以包括:寫消息單元、消息存儲單元、讀消息單元。寫消息單元可以配置為將接收到的消息發布到消息隊列中。所述消息存儲單元可以配置為存儲和維護消息隊列。所述讀消息單元可以配置為從所述消息隊列中讀取消息。所述消息處理單元可以配置為:根據預定的配置策略對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。資料庫可以配置為存儲日誌數據。
[0012]在本發明的一些實施例中，所述跨平臺通信協議可以是Thrift協議，所述接口單元可以包括Thrift協議處理單元。
[0013]在本發明的一些實施例中，所述配置策略可以包括下述中的至少一個:立即處理、延時處理、分時段錯峰處理、以及按優先級處理。
[0014]在本發明的一些實施例中，其中所述消息處理單元可以包括:路由單元和應用單
J Li ο
[0015]路由單元可以配置為從消息中解析出操作類型，並且根據該操作類型建立與對應的動態連結庫的連接。應用單元可以配置為經由動態連結庫將從消息解析出的日誌數據記錄到對應的資料庫中。
[0016]在本發明的一些實施例中，所述應用單元可以包括動態連結庫，所述動態連結庫可以配置為:對消息進行解析以獲得消息中的日誌數據；連接所述動態連結庫對應的資料庫；以及在所述資料庫中記錄所述消息中的日誌數據。
【專利附圖】
【附圖說明】
[0017]通過下面結合【專利附圖】
【附圖說明】本發明的優選實施例，將使本發明的上述及其它目的、特徵和優點更加清楚，其中:
[0018]圖1示出了根據本發明的一個實施例的日誌記錄伺服器的示意框圖；
[0019]圖2示出了根據本發明的一個實施例的日記記錄方法的流程圖；
[0020]圖3示出了根據本發明的另一實施例的日誌記錄伺服器的示意框圖；以及
[0021]圖4示出了根據本發明的另一實施例的日記記錄方法的流程圖。
[0022]在附圖中，相似的標號表示相似的單元。
【具體實施方式】
[0023]現在將參考附圖來詳細描述本發明，附圖中示出了本發明的說明性實施例，以使得本領域技術人員能夠實現本發明。應該注意:以下附圖和示例不意味著將本發明的範圍限制為單一實施例，相反通過互換和組合不同實施例的一些或全部所述或所示元素形成其他實施例也是可能的。此外，在可以使用已知組件來部分或完全實現本發明的特定元素的情況下，將僅描述這些已知組件中為了理解本發明所必需的那部分組件，且將省略對這些已知組件中其他部分的詳細描述，以使得本發明更突出。除非本文中另行指出，否則本領域技術人員應該理解:儘管本發明的一些實施例描述為用軟體實形式現，但是本發明不受限於此，而是也可以用硬體、軟體和硬體的組合來實現，且反之亦然。除非本文中另行明確聲明，否則在本說明書中，不應將示出了單一組件的實施例視為是限制性的，而是本發明意在包含包括多個相同組件在內的其他實施例，且反之亦然。此外，本發明包含本文中作為示意所引用的已知組件的當前和將來開發的等價物。
[0024]如上所述，本發明提出可以將多個不同平臺服務的日誌都記錄在一個日誌記錄伺服器上。於是，在一個伺服器上就可以記錄和操作所有不同平臺的服務的日誌。
[0025]應該理解，日誌記錄服務是系統的一個重要功能，其用於記錄系統的活動記錄，如何時、何地、何人做了什麼或系統在什麼時候有什麼行為。日誌記錄可以用於解決系統故障、網絡服務問題等等。目前，系統中可能存在眾多需要進行日誌記錄的服務。在本文中，將系統中的需要日誌記錄服務的各個服務簡稱為服務，除非另有明示其通常不包括日誌記錄服務。在本文中，還將系統中的需要日誌記錄服務的各個服務稱為「服務端」，其與日誌記錄伺服器端構成通信的兩端。
[0026]圖1示出了根據本發明的一個實施例的日誌記錄伺服器100的示意框圖。如圖1所示，日誌記錄伺服器100可以包括:接口單元110、消息管理單元120、消息處理單元130、以及資料庫140。
[0027]接口單元110可以配置為使用跨平臺通信協議從多個不同平臺的服務接收針對登記日誌的請求消息。
[0028]為了便於理解，在圖1中還示出了與日誌伺服器100通信的各種服務。這些服務是需要日誌記錄的發起者。需要記錄日誌的不同服務可以是使用相同或不同平臺的服務。作為示例，在圖中示出了使用Java實現的服務200-1，使用C/C++實現的服務200-2，使用Python實現的服務200-3等等。但是應該理解，儘管圖1中示出了三個服務示例，但是在本發明實施例中日誌記錄伺服器100還可以從更多或更少的需要日誌記錄的服務接收針對登記日誌的請求消息。例如在另一實施例中，記錄伺服器100可以與使用C/C++平臺的若干服務以及使用Java實現的不止一個服務等等進行通信。
[0029]如圖1中所示，在本發明的方案中，可以在各個服務(如服務200-1、200-2、200-3)端建立跨平臺通訊協議(如Thrift)客戶端。於是，在服務端可以使用Json等協議封裝要登記的日誌數據，然後使用Thrift接口將數據發送給日誌記錄伺服器端。
[0030]對應的，日誌記錄伺服器100可以使用跨平臺協議(如Thrift)建立日誌記錄服務。例如，接口單元110可以使用跨平臺協議協議從不同平臺的多個服務(如200-1、200-2和200-3)接收針對登記日誌的請求消息。優選地，接口單元110可使用多線程或線程池的方式從不同平臺的多個服務接收數據。應該理解，本發明不限於Thrift協議，也可以使用現有的或未來開發的其他跨平臺通信協議。
[0031]如圖所示，消息管理單元120可以包括:寫消息單元122、消息存儲單元124、讀消息單元126。寫消息單元122可以配置為將接收到的消息發布到消息隊列中。消息存儲單元124可以配置為存儲和維護消息隊列。讀消息單元126可以配置為從消息隊列中讀取消
肩、O
[0032]在一個示例中，消息管理單元120可以使用消息隊列(如Redis)發布者/訂閱者設計模式。寫消息單元122可以創建寫消息隊列線程池。當日誌記錄伺服器100通過接口單元110接收到針對日誌記錄的請求消息時，可以調用寫消息隊列線程將此請求消息發布到消息隊列中，同時該消息隊列通知訂閱此消息隊列的訂閱者來獲取此消息數據。讀消息單元126可以創建訂閱消息隊列的讀消息隊列線程池。當收到發布消息通知時，啟動讀消息隊列線程來處理此消息。該讀消息隊列線程把消息發送到消息處理單元130對消息進行處理。
[0033]消息處理單元130可以配置為:根據預定的配置策略132對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。消息處理單元130可以通過加載配置策略文件來配置處理消息的配置策略。該配置策略可以包括立即處理、延時處理、分時段錯峰處理、以及按優先級處理等等，以便均衡資料庫的負載，防止過載。
[0034]在一些實施例中，消息處理單元130可以包括路由單元和應用單元。路由單元可以配置為從消息中解析出操作類型，並且根據所述操作類型將消息分發給對應的應用單元。應用單元可以配置為經由動態連結庫將從消息中解析出的日誌數據記錄到對應的資料庫中。
[0035]路由單元(也可稱為數據分發路由層)可以使用Plugin Framework (插件框架)的設計模式。在該模式下，可以把日誌記錄處理的業務流程(包括使用例如Json協議解析消息數據、執行資料庫連接、執行數據信息記錄等等操作)編譯成動態連結庫(.so文件)。路由單元加載動態連結庫，動態連接庫將自己的功能類型配置給路由單元。路由單元使用此功能類型與動態連接庫建立對應關係。這樣，路由單元可以實現動態數據轉發。
[0036]應用單元(也可稱為應用層)包括上述動態連結庫(即業務邏輯處理層)。該動態連結庫可以實現以下操作:對消息進行解析以獲得消息中的日誌數據；連接對應的資料庫；以及在資料庫中記錄從消息中解析出的日誌數據等等。本領域技術人員容易理解，解析消息使用的協議與服務端封裝數據的協議相一致。例如在服務端使用JSON協議封裝數據的情況下，動態連結庫應該使用JSON協議來解析數據。
[0037]在本發明的實施例中，可以存在單個應用單元，也可以存在多個應用單元。不同的應用單元與日誌記錄的不同操作類型相關聯。所述操作類型例如可以包括:插入、更新以及刪除等等。應該理解，儘管本發明實施例主要描述了日誌記錄功能，但是在伺服器100中還可以通過添加不同的應用層來執行更多的業務處理。
[0038]資料庫140配置為存儲日誌數據。資料庫140可以存儲在各種存儲設備上，包括但不限於磁存儲設備(例如硬碟、軟盤、磁帶等等)、光碟(例如，壓縮盤(CD)、數字多功能盤(DVD)等等)、智慧卡、以及快閃記憶體設備(例如，卡、帶等等)。儘管在圖中僅示出一個資料庫，但是本領域技術人員應該理解，本發明不限於此，可以存在不止一個資料庫，並且這些資料庫可以位於單個物理設備上，或者可以分布在多個物理設備上。
[0039]根據本發明實施例的日誌記錄伺服器100可以提供多平臺多服務統一接口的日誌記錄服務。日誌記錄伺服器100可以通過跨平臺跨服務的統一接口接收登記日誌請求，可以設置優先級、延時等操作配置，同步或異步的對數據進行處理，並且可以啟動多線程/線程池並發處理，降低對資料庫的操作壓力。
[0040]圖2示出了根據本發明的一個實施例的日記記錄方法200的流程圖。方法200可以由圖1的日誌記錄伺服器100來實現。
[0041]如圖所示，方法200開始於步驟S210。在步驟S210中，日誌記錄伺服器100使用跨平臺通信協議從多個不同平臺的服務(例如，服務200-1、200-2、200-3等)接收針對登記日誌的請求消息。如上所述，該跨平臺通信協議可以是Thrift協議，或者可以是現有的或未來開發的其他跨平臺通信協議。
[0042]在步驟S220中，可以將接收到的消息發布到消息隊列中。在步驟S230中可以從消息隊列中讀取消息。日誌記錄伺服器100可以使用消息隊列(如Redis)發布者/訂閱者設計模式來實現步驟S220和S230。通過這種消息隊列發布者/訂閱者設計模式，可以在消息隊列中緩存消息，降低對資料庫的瞬時操作壓力。
[0043]在步驟S240中，可以根據預定的配置策略對步驟S230中讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。該配置策略可以包括立即處理、延時處理、分時段錯峰處理、以及按優先級處理等等，以便均衡資料庫的負載，防止過載。在按優先級處理的情況下，可以從消息中解析出優先級欄位的值，然後根據該優先級值的順序來執行對消息的處理。對消息的處理可以包括:從消息中解析出操作類型，並且根據解析出的操作類型，建立與對應的動態連結庫的連接；然後，經由動態連結庫將消息中包含的日誌數據記錄到對應的資料庫中。該動態連結庫可以實現以下操作:對消息進行解析以獲得消息中的日誌數據；連接對應的資料庫；以及在資料庫中記錄從消息中解析出的日誌數據等等。
[0044]在本發明實施例中，方法200的各個步驟可以使用多線程或線程池方式來執行。
[0045]圖3示出了根據本發明的另一實施例的Thrift日誌記錄伺服器300的示意框圖。如圖3所示，Thrift日誌記錄伺服器300包括=Thrift協議處理單元310、消息管理單元320、消息處理單元330、以及資料庫340。
[0046]Thrift協議處理單元310可以視為圖1實施例中的接口單元110的具體實現示例。該Thrift協議處理單元310配置為使用Thrift協議從多個不同平臺的服務接收針對登記日誌的請求消息。如圖所示，Thrift協議處理單元310可以從使用Java實現的服務200』 -1，使用C/C++實現的服務200』 -2，使用Python實現的服務200』 -3等等接收針對登記日誌的請求消息。其中，在服務端200』 _1、200，_2、200，_3需要安裝Thrift客戶端，用於通過Thrift接口向Thrift日誌記錄伺服器端300發送針對日誌記錄的請求消息。
[0047]消息處理單元330可以視為圖1實施例中的消息處理單元130的具體實現示例。消息處理單元330可以配置為:根據預定的配置策略332對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。消息處理單元330包括配置策略332、路由單元334以及多個應用單元336-1、336-2、336-3。應用單元336_1、336_2和336-3與不同的操作類型相關聯，例如分別與插入、更新、刪除相關聯。路由單元334加載動態連結庫，動態連接庫將應用336-1、336-2、336-3的功能類型配置給路由單元334。應該理解，儘管圖中示出了三個應用單元，但是本發明不限於此，可以存在更多或者更少的應用單元。
[0048]路由單元334配置為從消息中解析出操作類型，並且根據操作類型將消息分發給對應的應用單元。例如，當解析結果是消息中包括的操作類型欄位的值為「insert (插入)」時，將該消息分發給應用單元336-1。應用單元336-1通過動態連結庫A執行數據解析、資料庫連接以及數據信息記錄等功能，以將日誌數據插入資料庫340。當解析結果是消息中包括的操作類型欄位的值為「update (更新)」時，將該消息分發給應用單元336-2。應用單元336-2通過動態連結庫B執行數據解析、資料庫連接以及數據信息記錄等功能，以更新資料庫340中的對應數據。例如，當解析結果是消息中包括的操作類型欄位的值為「delete (刪除)」時，將該消息分發給應用單元336-3。應用單元336-3通過動態連結庫C執行數據解析、資料庫連接以及數據信息記錄等功能，以刪除資料庫340中的對應數據。[0049]消息管理單元320和資料庫340的結構和功能與圖1中的消息管理單元120和資料庫140的結構和功能類似，在此不再贅述。
[0050]圖4示出了根據本發明的另一實施例的日記記錄方法400的流程圖。方法400可以由圖3的日誌記錄伺服器300來實現。
[0051]如圖所示，方法400開始於步驟S410。在步驟S410中，日誌記錄伺服器300使用Thrift協議從多個不同平臺的服務(例如，服務200』 _1、200』 _2、200』 -3等)接收針對登記日誌的請求消息。
[0052]在步驟S420中，使用消息隊列發布者/訂閱者設計模式將接收到的消息發布到消息隊列中。
[0053]在步驟S430中使用消息隊列發布者/訂閱者設計模式從消息隊列中讀取消息。
[0054]在步驟S440中，根據預定的配置策略，從讀取的消息中解析出操作類型，並且根據解析出的操作類型建立與對應的動態連結庫的連結。該配置策略可以包括立即處理、延時處理、分時段錯峰處理、以及按優先級處理等等，以便均衡資料庫的負載，防止過載。在按優先級處理的情況下，可以從消息中解析出優先級欄位的值，然後根據該優先級值的順序來執行對消息的處理。根據消息中包括的操作類型的值為「insert」、「Update」或「delete」，可以將該消息相應地連結到動態連結庫A、動態連結庫B或動態連結庫C。
[0055]在步驟S450中，經由動態連結庫(如動態連結庫A、B或C)將消息中包含的日誌數據記錄到對應的資料庫中。例如，通過所連接的動態連結庫A將消息中的日誌數據插入資料庫340，或者通過所連接的動態連結庫B更新資料庫340中的對應日誌數據，或者通過所連接的動態連結庫C刪除資料庫340中的對應數據。然後方法400結束。
[0056]上文已經結合優選實施例對本發明進行了描述。本領域技術人員可以理解，上面示出的方法和設備僅是示例性的。本發明的方法並不局限於上面示出的步驟和順序。本發明的移動終端和伺服器可以包括比示出的部件更多或更少的部件。本領域技術人員根據所示實施例的教導可以進行許多變化和修改。
[0057]本發明可以實現諸多優點。本發明可以將多個不同平臺服務的日誌都記錄在一個日誌記錄伺服器上，在一個伺服器上就可以便利地操作和查看所有不同平臺服務的日誌文件，而且當系統增加新的服務時不需要添加新的日誌資料庫和對應的資料庫操作模塊就可以向新服務提供日誌記錄服務。根據本發明實施例的日誌記錄服務因此具有較高的操作效率和成本效率。
[0058]本領域技術人員應該理解，儘管通過具體實施例描述了本發明，但是本發明的範圍不限於這些具體實施例。本發明的範圍由所附權利要求及其任何等同含義限定。
【權利要求】
1.一種日誌記錄方法,包括:使用跨平臺通信協議從多個不同平臺的服務接收針對登記日誌的請求消息；將接收到的消息發布到消息隊列中；從所述消息隊列中讀取消息；以及根據預定的配置策略對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中。
2.根據權利要求1所述的方法，其中:所述跨平臺通信協議包括Thrift協議。
3.根據權利要求1或2所述的方法，其中:所述配置策略包括下述中的至少一個:立即處理、延時處理、分時段錯峰處理、以及按優先級理。
4.根據權利要求1或2所述的方法，其中所述對讀取的消息進行處理進一步包括: 從消息中解析出操作類型，並且根據解析出的操作類型，建立與對應的動態連結庫的連接；以及經由動態連結庫將消息中包含的日誌數據記錄到對應的資料庫中。
5.根據權利要求4所述的方法，其中，所述經由動態連結庫將消息中的日誌數據記錄到對應的資料庫中進一步包括:對消息進行解析，以獲得消息中的日誌數據；連接所述動態連結庫對應的資料庫；以及在所述資料庫中記錄所述消息中的日誌數據。
6.一種日誌記錄伺服器，包括:接口單元，配置為使用跨平臺通信協議從多個不同平臺的服務接收針對登記日誌的請求消息；消息管理單元，包括:寫消息單元，配置為將接收到的消息發布到消息隊列中；消息存儲單元，配置為存儲和維護消息隊列；讀消息單元，配置為從所述消息隊列中讀取消息；消息處理單元，配置為:根據預定的配置策略對讀取的消息進行處理以將消息中的日誌數據記錄到資料庫中；以及資料庫，配置為存儲日誌數據。
7.根據權利要求6所述的伺服器，其中，所述跨平臺通信協議包括Thrift協議，所述接口單元包括Thrift協議處理單元。
8.根據權利要求6或7所述的伺服器，其中:所述配置策略包括下述中的至少一個:立即處理、延時處理、分時段錯峰處理、以及按優先級處理。
9.根據權利要求6或7所述的伺服器，其中所述消息處理單元包括:路由單元，配置為從消息中解析出操作類型，並且根據所述操作類型將消息分發給對應的應用單元；以及應用單元，配置為經由動態連結庫將從消息解析出的日誌數據記錄到對應的資料庫中。
10.根據權利要求9所述的伺服器，其中，所述應用單元包括動態連結庫，所述動態連結庫配置為:對消息進行解析以獲得消息中的日誌數據；連接所述動態連結庫對應的資料庫`；以及在所述資料庫中記錄所述消息中的日誌數據。
【文檔編號】G06F11/34GK103559120SQ201310571750
【公開日】2014年2月5日 申請日期:2013年11月13日 優先權日:2013年11月13日
【發明者】吳迪 申請人:北京網秦天下科技有限公司