插座式嵌入的日誌收集系統及收集方法
2023-10-19 02:10:27 2
專利名稱：插座式嵌入的日誌收集系統及收集方法
技術領域：
本發明涉及系統信息的管理領域，具體涉及插座式嵌入的日誌收集系統及收集方法。
背景技術：
日誌系統普遍作為信息監控的重要手段，近年來隨著大型系統承包商的細化，特別在電信運營、高速鐵路等跨地域、節點繁雜的超大型信息系統的監控中，通常已不能由單獨廠商包攬所有設備及系統軟體的研發，以運營單位制定協議的標準，各承包商根據該協議標準作相關的開發從而形成在信息監控應用中互相兼容。由於承包廠商需要根據協議花費額外的研發成本，並且相兼容的系統中出現故障率和維護成本也相對較高；在應用層面的信息監控中難以形成對超大型信息系統中所有節點的監控。
發明內容
本發明的目的是提出插座式嵌入的日誌收集系統，可以對任何規模的信息系統進行統一信息監控，降低系統故障率和成本。為達到上述目的，採用的技術方案插座式嵌入的日誌收集系統，包括第一客戶端，用於通過API接口嵌入作業系統業務模塊，將所述作業系統業務模塊產生的日誌數據上傳到伺服器端；或者，第二客戶端，用於通過API接口嵌入需收集數據設備，監聽所述需收集數據設備的系統信息，將所述系統信息轉換成日誌數據，將所述日誌數據上傳到伺服器端；所述伺服器端，接收所述第一客戶端或者所述第二客戶端上傳的日誌數據，將所述日誌數據按預定格式轉換後進行存儲；信息操作中心，用於匯總所有轉換格式後的日誌數據到資料庫。本發明基於客戶端/伺服器架構，通過系統API (Application Programminghterface，應用程式編程接口)，接收作業系統的業務模塊的日誌數據；或者，通過嵌入系統API接口監聽無作業系統的業務模塊的系統信息，將該系統信息轉換為日誌數據；然後將日誌數據上傳給伺服器端，伺服器端將日誌數據按預定的統一格式轉換後存儲，並由信息操作中心匯總到資料庫，方便統一監控和管理；這樣不需要各廠商根據制定出的協議標準作相關的開發從而形成在信息監控應用中互相兼容；只需要將本發明提出的日誌收集系統像插座一樣嵌入各業務模塊，就可以實現日誌數據的收集，可以對任何規模的信息系統進行統一信息監控，降低系統故障率和維護成本。本發明的目的是提出插座式嵌入的日誌收集方法，可以對任何規模的信息系統進行統一的信息監控，降低系統故障率和成本。為達到上述目的，採用的技術方案
插座式嵌入的日誌收集方法，包括步驟通過API接口嵌入作業系統業務模塊，獲取所述作業系統業務模塊產生的日誌數據；或者，通過API接口嵌入需收集數據設備，監聽所述需收集數據設備的系統信息，將所述系統信息轉換成日誌數據；將所述日誌數據按預定格式轉換後進行存儲；匯總所有轉換格式後的日誌數據到資料庫。本發明通過系統API接口，接收作業系統的業務模塊的日誌數據；或者，通過嵌入系統API接口監聽無作業系統的業務模塊的系統信息，將該系統信息轉換為日誌數據；然後就將日誌數據按預定的統一格式轉換後存儲，並由信息操作中心匯總到資料庫，方便統一監控和管理；這樣不需要各廠商根據制定出的協議標準作相關的開發從而形成在信息監控應用中互相兼容；只需要按本發明提出的日誌收集方法像插座一樣將日誌數據收集系統嵌入各業務模塊，就可以實現日誌數據的收集，可以對任何規模的信息系統進行統一的信息監控，降低系統故障率和維護成本。
圖IA是本發明提出的日誌收集系統的一種結構示意圖；圖IB是本發明提出的日誌收集系統的一種結構示意圖；圖2是本發明提出的日誌收集系統的另一種結構示意圖；圖3是本發明提出的日誌收集系統的另一種結構示意圖；圖4A是本發明中第二客戶端的一個結構示意圖；圖4B是本發明中第二客戶端的一個結構示意圖；圖5是本發明提出的日誌收集方法的一個流程圖；圖6是本發明提出的日誌收集方法的另一個流程圖；圖7是本發明具體實施例示意圖。
具體實施例方式為便於理解本發明，將結合附圖進行闡述。本發明提出的插座式嵌入的日誌收集系統，應用在有作業系統或者無作業系統中；首先介紹在有作業系統中的應用，請參考圖1A，包括第一客戶端Q1，用於通過API接口嵌入作業系統業務模塊，將作業系統業務模塊產生的日誌數據上傳到伺服器端T2 ；伺服器端T2，用於接收客戶端上傳的日誌數據，將日誌數據按預定格式轉換後進行存儲；信息操作中心T3，用於匯總所有轉換格式後的日誌數據到資料庫。請參考圖1B，在無作業系統中的應用，包括第二客戶端Q2，用於通過API接口嵌入需收集數據設備，監聽需收集數據設備的系統信息，將系統信息轉換成日誌數據，將日誌數據上傳到伺服器端T2 ；伺服器端T2，用於接收客戶端上傳的日誌數據，將日誌數據按預定格式轉換後進行存儲；
信息操作中心T3，用於匯總所有轉換格式後的日誌數據到資料庫。本發明基於客戶端/伺服器架構，通過系統API接口，接收作業系統的業務模塊的日誌數據；或者，通過嵌入系統API接口監聽無作業系統的業務模塊的系統信息，將該系統信息轉換為日誌數據；然後將日誌數據上傳給伺服器端，伺服器端將日誌數據按預定的統一格式轉換後存儲，並由信息操作中心匯總到資料庫，方便統一監控和管理；這樣不需要各廠商根據制定出的協議標準作相關的開發從而形成在信息監控應用中互相兼容；只需要將本發明提出的日誌收集系統像插座一樣嵌入各業務模塊，就可以實現日誌數據的收集，可以對任何規模的信息系統進行統一信息監控，降低系統故障率和維護成本。考慮到業務模塊的性能，可以採用異步方式上傳日誌數據，降低對業務模塊的性能影響，作為一種具體的實施例，請參考圖2，插座式嵌入的日誌收集系統，在有作業系統應用時，第一客戶端Ql具體包括第一接收模塊T11、第一緩存模塊T12及第一上傳模塊T13 以，其中，第一接收模塊T11，用於通過API接口嵌入作業系統業務模塊，接收作業系統業務模塊產生的日誌數據；緩存模塊T2，用於將第一接收模塊Tll中的日誌數據存入緩衝隊列，當緩衝隊列數達到預定的緩衝數或者業務模塊空閒時，命令上傳模塊T13把存儲的日誌數據上傳到伺服器端T2。上傳模塊T13，用於接收緩存模塊T12的命令，將緩存模塊T12緩存的日誌數據上傳到伺服器端T2 ；伺服器端T2具體包括第三接收模塊T21、信息處理模塊T22以及存儲模塊T23 ；其中，第三接收模塊T21，用於接收上傳模塊T14上傳的日誌數據；信息處理模塊T22，用於根據預定格式將接收的日誌數據進行格式轉換；存儲模塊T23，用於存儲格式轉換的日誌數據；信息操作中心T3包括匯總模塊T31，用於匯總所有轉換格式後的日誌數據到資料庫。另外，為了節省日誌收集系統的傳輸資源，可以設置傳輸條件，將不需要傳輸的數據過濾掉；還可以提供靈活的數據存儲方式，在本地伺服器端存儲，或者在遠程伺服器端存儲；若在遠程伺服器端存儲，在客戶端發送日誌數據前，為了保證日誌數據的安全性，先套用相應等級的安全機制，在遠程伺服器端接收後，再解除安全機制。請參考圖3，具體的改進如下在第一客戶端Ql中第一初始化模塊T14，用於設置第一上傳模塊T13上傳日誌數據的預定條件和預定規則；第一上傳模塊T13根據預定條件對日誌數據進行過濾，將不需要的日誌數據刪除；若預定規則為本地處理，則將濾除後的日誌數據上傳到本地伺服器端；若預定規則為遠程處理，則將濾除後的日誌數據套用安全機制後上傳到遠程伺服器端；本地伺服器端的第三接收模塊T21接收經過濾除的日誌數據；本地伺服器的存儲模塊23按接收日誌數據的時間順序存儲日誌數據；遠程伺服器端的第三接收模塊T21接收上傳的日誌數據；遠程伺服器端的信息處理模塊T22解除安全機制，將解除安全機制後的日誌數據按預定格式轉換後，給日誌數據添加伺服器端標識和業務模塊標識；遠程伺服器端的存儲模塊T23按接收日誌數據的時間順序存儲日誌數據。客戶端上傳日誌數據的預定條件和預定規則，除了可在上述在客戶端設置外，還可以在信息操作中心中設置，然後由信息操作中心的命令下發模塊統一下發至各客戶端。為了節省存儲空間，以及獲取全面的日誌數據，在信息操作中心T3中設置輪詢模塊T32，用於根據伺服器端標識、業務模塊標識以及接收日誌數據的時間，對日誌信息進行輪詢，刪除重複的日誌數據。另外，在信息操作中心還包括了操作界面T33，用於監控日誌數據、查詢日誌數據以及編輯日誌數據(生成數據圖表)。插座式嵌入的日誌收集系統，在無作業系統應用時與在有作業系統中應用時的區別在於客戶端；如圖4A所示，本發明日誌收集系統在無作業系統中應用時，系統包括第二客戶端Q2，第二客戶端Q2包括監聽模塊T41，用於通過API接口嵌入需收集數據設備，監聽需收集數據設備的系統信息，將系統信息轉換成日誌數據；第二接收模塊T42，接收監聽模塊轉換的日誌數據；第二緩存模塊T43，用於將第二接收模塊T42中的日誌數據存入緩衝隊列，當緩衝隊列數達到預定的緩衝數或者業務模塊空閒時，通知上傳模塊T44把存儲的日誌數據上傳到伺服器端；第二上傳模塊T44，用於將緩存模塊T43中的日誌數據上傳到伺服器端T2。如圖4B所示，第二客戶端Q2還包括第二初始化模塊T45，用於設置第二上傳模塊T44上傳日誌數據的預定條件和預定規則。接著介紹，本發明提出的插座式嵌入的日誌收集方法，可以應用在有作業系統的環境下，也可以應用在無作業系統的環境下；2種不同應用環境下進行日誌收集的區別在於在無作業系統的環境下，客戶端還具有系統信息監聽功能，監聽業務模塊產生的系統信息，然後將其轉換成日誌數據，上傳伺服器端。下面將進行分別介紹。在有作業系統環境下的插座式嵌入的日誌收集方法，請參考圖5，包括步驟401、嵌入有作業系統的業務模塊，獲取日誌數據；通過API接口嵌入作業系統業務模塊，獲取該業務模塊產生的日誌數據。402、轉換日誌數據格式後存儲；將日誌數據按預定格式轉換後進行存儲。403、匯總日誌數據。匯總所有轉換格式後的日誌數據到資料庫。本發明通過系統API接口，接收作業系統的業務模塊的日誌數據；然後將日誌數據按預定的統一格式轉換後存儲，並由信息操作中心匯總到資料庫，方便統一監控和管理； 這樣不需要各廠商根據制定出的協議標準作相關的開發從而形成在信息監控應用中互相兼容；只需要按本發明提出的日誌收集方法像插座一樣將日誌數據收集系統嵌入各業務模塊，就可以實現日誌數據的收集，可以對任何規模的信息系統進行統一信息監控，降低系統故障率和維護成本。
在無作業系統環境下的插座式嵌入的日誌收集方法，請參考圖6，包括步驟501、嵌入需收集數據設備，監聽系統信息，將系統信息轉換成日誌數據；通過API接口嵌入需收集數據設備，監聽需收集數據設備的系統信息，將系統信息轉換成日誌數據。502、轉換日誌數據格式後存儲；將日誌數據按預定格式轉換後進行存儲。503、匯總日誌數據。信息操作中心匯總所有轉換格式後的日誌數據到資料庫。本發明通過嵌入系統API接口監聽無作業系統的業務模塊的系統信息，將該系統信息轉換為日誌數據；然後將日誌數據按預定的統一格式轉換後存儲，並由信息操作中心匯總到資料庫，方便統一監控和管理；這樣不需要各廠商根據制定出的協議標準作相關的開發從而形成在信息監控應用中互相兼容；只需要按本發明提出的日誌收集方法像插座一樣將日誌數據收集系統嵌入各業務模塊，就可以實現日誌數據的收集，可以對任何規模的信息系統進行統一信息監控，降低系統故障率和維護成本。為了優化系統的性能，降低對業務模塊的影響，可對上述圖4、圖5實施例，做進一步改進將日誌數據存入緩衝隊列，當緩衝隊列數達到預定的緩衝數或者業務模塊空閒時，把日誌數據進行格式轉換後存儲。另外為了便於管理，按獲取日誌數據的時間順序存儲轉換格式後的日誌數據。另外，通過對匯總的數據進行監控、查詢以及編輯，達到對整個系統的日誌數據的監控目的。下面介紹本發明的一個具體實施例，請參考圖6，本實施包括三層架構若干客戶
端(Q41、Q42、Q43.......Q46)、伺服器端包括本地伺服器端(若干本地伺服器端Q31、
Q32、Q33)和遠程伺服器端(Q21、Q22)，以及相當於後臺維護的信息操作中心Ql ；各客戶端與業務模塊連接(客戶端Q41與業務模塊Q51連接、客戶端Q42與業務模塊Q52連接、客戶端Q43與業務模塊Q53連接、客戶端Q44與業務模塊QM連接、客戶端Q45與業務模塊Q55 連接以及客戶端Q46與業務模塊Q56連接)，接收在有作業系統環境下的業務模塊產生的日誌數據，或者監聽無作業系統環境下的業務模塊的系統信息，然後將系統信息轉換成日誌數據。客戶端根據預定條件對日誌數據進行過濾，根據預定的規則，將日誌數據上傳到本地伺服器端，或者遠程伺服器端。然後有信息操作中心Ql對伺服器端的數據進行匯總到資料庫，並在信息操作中心Ql中提供GUI界面的人機接口，通過資料庫記錄對整個系統的日誌數據進行操作，達到對整個系統的日誌信息的監控目的。將系統分為三個層次，這樣可使系統效率大大提高，更加靈活，可以隨時卸載或者增加系統規模。而且對功能模塊的應用功能透明。以上本發明實施方式，並不構成對本發明保護範圍的限定。任何在本發明的精神和原則之內所作的修改、等同替換和改進等，均應包含在本發明的權利要求保護範圍之內。
8
權利要求
1.插座式嵌入的日誌收集系統，其特徵是，包括第一客戶端，用於通過API接口嵌入作業系統業務模塊，將所述作業系統業務模塊產生的日誌數據上傳到伺服器端；或者，第二客戶端，用於通過API接口嵌入需收集數據設備，監聽所述需收集數據設備的系統信息，將所述系統信息轉換成日誌數據，將所述日誌數據上傳到伺服器端；所述伺服器端，接收所述第一客戶端或者所述第二客戶端上傳的日誌數據，將所述日誌數據按預定格式轉換後進行存儲；信息操作中心，用於匯總所有轉換格式後的日誌數據到資料庫。
2.根據權利要求1所述的插座式嵌入的日誌收集系統，其特徵是， 所述第一客戶端包括第一接收模塊，用於通過API接口嵌入作業系統業務模塊，接收所述作業系統業務模塊產生的日誌數據；第一緩存模塊，用於將所述第一接收模塊中的日誌數據存入緩衝隊列，當緩衝隊列數達到預定的緩衝數或者業務模塊空閒時，通知所述第一上傳模塊把存儲的日誌數據上傳到所述伺服器端；第一上傳模塊，用於將所述第一緩存模塊中的日誌數據上傳到所述伺服器端； 或者，所述第二客戶端包括監聽模塊，用於通過API接口嵌入需收集數據設備，監聽所述需收集數據設備的系統信息，將所述系統信息轉換成日誌數據；第二接收模塊，用於接收所述監聽模塊轉換的日誌數據；第二緩存模塊，用於將所述第二接收模塊中的日誌數據存入緩衝隊列，當緩衝隊列數達到預定的緩衝數或者業務模塊空閒時，通知所述第二上傳模塊把存儲的日誌數據上傳到所述伺服器端；第二上傳模塊，用於將所述第二緩存模塊中的日誌數據上傳到所述伺服器端； 所述伺服器端包括第三接收模塊，用於接收所述第一上傳模塊或所述第二上傳模塊上傳的日誌數據； 信息處理模塊，用於根據預定格式將接收的日誌數據進行格式轉換； 存儲模塊，用於存儲格式轉換的日誌數據； 所述信息操作中心包括匯總模塊，用於匯總所有轉換格式後的日誌數據到資料庫。
3.根據權利要求2所述的插座式嵌入的日誌收集系統，其特徵是，所述第一客戶端還包括第一初始化模塊，用於設置所述第一上傳模塊上傳日誌數據的預定條件和預定規則；或者，所述第二客戶端還包括第二初始化模塊，用於設置所述第二上傳模塊上傳日誌數據的預定條件和預定規則；所述第一上傳模塊或者所述第二上傳模塊根據所述預定條件對日誌數據進行過濾，若所述預定規則為本地處理，則將濾除後的日誌數據上傳到本地伺服器端；若所述預定規則為遠程處理，則將濾除後的日誌數據套用安全機制後上傳到遠程伺服器端； 所述本地伺服器端的第三接收模塊接收經過濾除的日誌數據；所述本地伺服器的存儲模塊按接收日誌數據的時間順序存儲日誌數據； 所述遠程伺服器端的第三接收模塊接收上傳的日誌數據；所述遠程伺服器端的信息處理模塊解除所述安全機制，將解除安全機制後的日誌數據按預定格式進行轉換，給格式轉換後的日誌數據添加伺服器端標識和業務模塊標識； 所述遠程伺服器端的存儲模塊按接收日誌數據的時間順序存儲日誌數據。
4.根據權利要求2所述的插座式嵌入的日誌收集系統，其特徵在於，所述信息操作中心還包括命令下發模塊，用於向所述第一客戶端和所述第二客戶端下發預定條件和預定規則；所述第一上傳模塊或者所述第二上傳模塊根據所述預定條件對日誌數據進行過濾，若所述預定規則為本地處理，則將濾除後的日誌數據上傳到本地伺服器端；若所述預定規則為遠程處理，則將濾除後的日誌數據套用安全機制後上傳到遠程伺服器端； 所述本地伺服器端的第三接收模塊接收經過濾除的日誌數據； 所述本地伺服器的存儲模塊按接收日誌數據的時間順序存儲日誌數據； 所述遠程伺服器端的第三接收模塊接收上傳的日誌數據；所述遠程伺服器端的信息處理模塊解除所述安全機制，將解除安全機制後的日誌數據按預定格式進行轉換，給格式轉換後的日誌數據添加伺服器端標識和業務模塊標識； 所述遠程伺服器端的存儲模塊按接收日誌數據的時間順序存儲日誌數據。
5.根據權利要求3或4所述的插座式嵌入的日誌收集系統，其特徵在於， 所述信息操作中心還包括輪詢模塊，用於根據所述伺服器端標識、所述業務模塊標識以及接收日誌數據的時間， 對日誌信息進行輪詢，刪除所述伺服器端標識、所述業務模塊標識以及接收日誌數據的時間相同的日誌數據。
6.根據權利要求5所述的插座式嵌入的日誌收集系統，其特徵在於， 所述信息操作中心還包括操作界面，用於監控日誌數據、查詢日誌數據以及編輯日誌數據。
7.插座式嵌入的日誌收集方法，其特徵是，包括步驟通過API接口嵌入作業系統業務模塊，獲取所述作業系統業務模塊產生的日誌數據； 或者，通過API接口嵌入需收集數據設備，監聽所述需收集數據設備的系統信息，將所述系統信息轉換成日誌數據；將所述日誌數據按預定格式轉換後進行存儲； 匯總所有轉換格式後的日誌數據到資料庫。
8.根據權利要求7所述的插座式嵌入的日誌收集方法，其特徵是，當所述緩衝隊列數達到預定的緩衝數或者所述業務模塊空閒時，才進行所述將所述日誌數據按預定格式轉換的步驟。
9.根據權利要求7所述的插座式嵌入的日誌收集方法，其特徵是，在所述將日誌數據按預定格式轉換後進行存儲的步驟中按獲取日誌數據的時間順序存儲格式轉化後的日誌數據。
10.根據權利要求7至9任一項所述的插座式嵌入的日誌收集方法，其特徵是，對匯總後的日誌數據進行監控、查詢以及編輯。
全文摘要
本發明提出插座式嵌入的日誌收集系統，包括第一客戶端，用於通過API接口嵌入作業系統業務模塊，將作業系統業務模塊產生的日誌數據上傳到伺服器端；或者，第二客戶端，用於通過API接口嵌入需收集數據設備，監聽無作業系統業務模塊的系統信息，將系統信息轉換成日誌數據，將日誌數據上傳到伺服器端；伺服器端，接收第一客戶端或者第二客戶端上傳的日誌數據，將日誌數據按預定格式轉換後進行存儲；信息操作中心，用於匯總所有轉換格式後的日誌數據到資料庫。本發明還提出了插座式嵌入的日誌收集方法，可以對任何規模的信息系統進行統一信息監控，降低系統故障率和維護成本。
文檔編號H04L12/24GK102394771SQ201110330478
公開日2012年3月28日 申請日期2011年10月26日 優先權日2011年10月26日
發明者易大中 申請人:廣州傑賽科技股份有限公司