一種分布式部署的審計數據去重系統的製作方法
2023-10-25 03:29:07 1
本發明屬於網絡安全審計設備領域，涉及一種分布式部署審計平臺的審計數據去重系統。
背景技術：
網絡安全審計系統是對網絡中的協議、數據和行為等進行記錄、分析，並做出一定的響應措施的信息安全專用產品，一般採取旁路接入的方式。分布式部署審計平臺是把多臺審計設備分散地部署在網絡中，由一臺審計中心管理主機(以下簡稱審計中心)負責對多臺分散部署的審計設備單元(以下簡稱審計單元或審計設備)進行管理，滿足用戶對網絡行為審計備案要求，提供完整的網絡行為記錄，便於信息追蹤、系統安全管理和風險防範。
如圖1所示，現有分布式網絡審計系統一般採用多個審計單元1分散布置採集數據，並由一臺審計中心2管理主機負責對多臺審計單元1進行集中管理方式。
專利號為2006100614047、專利權人為深圳市中科新業信息科技發展有限公司的中國專利文獻，公開了一種分布式審計系統，所述分布式審計系統包括多個審計單元，所述多個審計單元構建成一個向下的樹形結構的分布式網絡，並形成上下級關係，上級審計單元向下級審計單元傳遞命令和策略數據，下級審計單元向上級審計單元傳遞審計日誌數據。由於本發明分布式審計系統多個審計單元連接起來，建立了一個分級的分布式審計網絡，實現了審計系統的上下級控制和管理，還能夠通過同時控制多臺網絡審計單元進行工作處理高速網絡裡的數據，滿足高速網絡審計要求。
但是該專利存在以下問題：如果同一條網絡流量經過其中某些不同的審計單元，當這些審計單元向審計中心管理主機匯總審計數據時，上述網絡流量的審計數據就會有多條重複記錄，不但佔用過多的存儲空間，還增加處理的數據量，降低處理速度。
為了解決上述中國專利文獻公開的分布式審計系統存在的問題，申請號為201610232783x、申請人為北京威努特技術有限公司的中國專利文獻，公開了一種分布式部署審計平臺的審計數據去重方法。所述方法包括：審計中心存儲各審計單元上報的審計記錄的信息；審計中心啟動一個線程或進程，定時檢測和處理審計中心存儲的審計記錄的信息；根據審計中心存儲的審計記錄的信息，判斷新上傳的審計記錄是否為重複數據，捨棄重複上傳的審計記錄。本發明實現了分布式部署審計平臺的審計數據去重處理，有效消除了新上傳審計數據中的重複數據，節省了存儲空間，提高了審計處理的速度。
但是該申請文件所公開的分布式部署審計平臺的審計數據去重方法存在的問題是：審計中心存儲各審計單元上報的審計記錄的信息，審計數據的去重工作主要由審計中心來完成，這種完全集中式管理的處理方式還是有很多的審計記錄需要上報審計中心，會造成嚴重的網絡負荷，審計中心的工作量大，影響審計處理的速度。為此，提出一種分布式部署的審計平臺去重系統，主要的審計數據的去重工作由各分散部署的審計單元完成，集中管理和協調工作放在審計中心管理主機來完成。這樣，網絡負荷會有效降低，簡化了審計中心對審計記錄的去重處理，整體提高了審計記錄處理速度。
技術實現要素：
為了解決上述問題，本發明提出一種分布式部署的審計平臺去重系統，主要的審計數據的去重工作由各分散部署的審計單元完成，集中管理和協調工作放在審計中心管理主機來完成。從而有效降低網絡負荷會，簡化審計中心對審計記錄的去重處理，整體提高審計記錄處理速度。
為實現上述技術目的，本發明採用的技術方案如下：
一種分布式部署的審計數據去重系統，包括，
審計單元，用於採集審計記錄，並同時用於對所採集的審計記錄作出第一次判斷，若重複，則不用上報給審計中心，若不重複，則上報給審計中心；
審計中心，用於接收及存儲各審計單元上報的審計記錄的信息，並根據儲存的審計記錄的信息對接收到的審計記錄作出第二次判斷，若不包含，則儲存，若包含，則更新審計記錄。
採用上述技術方案的發明，審計單元先對所採集的審計記錄進行第一次判斷，只上報沒有重複的審計記錄給審計中心，審計中心對上報上來的審計記錄進行第二次判斷，沒有包含的則儲存，包含的則更新記錄即可。從而就可減少上報至審計中心的審計記錄的量，將主要去重的工作分配給各個設計單元來完成，減少審計中心的工作量，進而有效降低網絡負荷，簡化審計中心對審計記錄的去重處理，整體提高審計記錄處理速度。
進一步限定，所述審計記錄包括，審計記錄主索引、該條審計記錄的源審計單元信息、記錄內容、審計記錄時間，審計記錄主索引是能唯一區分審計記錄的標識。
當審計中心接收到新上傳的審計記錄時，逐條查詢審計中心存儲的審計記錄，根據審計記錄主索引判斷審計中心存儲的審計記錄的信息中是否包含新上傳的審計記錄。如果不包含，則在審計中心存儲該條新上傳的審計記錄的信息，如果包含，則更新該審計記錄的記錄時間，從而實現審計中心對審計記錄作出第二次判斷。審計中心只需要比對審計記錄主索引即可，無需對審計記錄進行逐級審查去重，減輕工作量，提高審計記錄處理速度。
進一步限定，審計中心首次收到某審計記錄時，審計中心會根據該審計記錄主索引與審計中心存儲的審計記錄的信息，判斷出審計中心不包含該審計記錄，審計中心將會儲存該審計記錄，並同時審計中心基於該審計記錄形成通知報文信息下發到各審計單元，上報首次審計記錄的源審計單元再次採集到該審計記錄時，需立即上報給審計中心，其它審計單元再次採集到該審計記錄時，則不需要上報給審計中心，從而實現審計單元對所採集的審計記錄作出第一次判斷。
當審計中心首次收到某審計記錄時，審計中心將會存儲該審計記錄，並發送通知報文信息給個審計單元，使得只有源審計單元再次採集到該審計記錄時，即為不重複的信息，才需要上報給審計中心，而其他審計單元，再次採集到該審計記錄，即為重複的信息，則可以直接丟棄該信息，從而將主要的去重工作分配在各個審計單元，減輕網絡負荷，減少審計中心的工作量。
進一步限定，所述審計中心周期性地維護一個管理周期時間，一個管理周期時間結束的同時，新的管理周期時間開始；在管理周期時間內，審計中心定義上報首次審計記錄的源審計單元為該審計記錄主上報人，其它審計單元為該審計記錄非主上報人；主上報人再次採集到該審計記錄時，需立即上報給審計中心，非主上報人再次採集到該審計記錄時，則不需要上報給審計中心；在管理周期時間外，主上報人與非主上報人，在未收到新的通知報文信息前，在採集到該審計記錄時，均需上報審計中心。
將本系統劃分為多個管理周期進行維護與管理，每一個管理周期裡面，重新定義主上報人和非主上報人，便於審計記錄信息的管理。
進一步限定，所述通知報文信息包括，審計記錄主索引、該條審計記錄的源審計單元信息、記錄內容、審計記錄時間、管理周期時間、同步時間信息。
進一步限定，審計中心會定期刪除儲存在審計中心裡長時間不更新的審計記錄。
進一步限定，該定期的時間為n*管理周期時間，n為除0以外的自然數。
定期刪除長期不更新的審計記錄，可節約審計中心的儲存空間；而將該定期的時間設置為管理周期時間的n倍，即將定期刪除不更新的審計記錄的時間與管理周期時間同步，可以避免因刪除周期和管理周期不一致而使得系統刪除數據錯誤的情況發生。
本發明相比現有技術，在實現去重處理的同時，可節省存儲空間，有效降低網絡負荷，簡化了審計中心對審計記錄的去重處理，整體提高了審計記錄處理速度。
附圖說明
本發明可以通過附圖給出的非限定性實施例進一步說明；
圖1為現有分布式網絡審計系統結構示意圖；
圖2為實施例1中審計中心首次收到審計記錄a的結構示意圖；
圖3為實施例1中審計單元再次採集到審計記錄a的結構示意圖；
具體實施方式
為了使本領域的技術人員可以更好地理解本發明，下面結合附圖和實施例對本發明技術方案進一步說明。
實施例1
一種網絡審計數據去重系統，包括審計中心的軟體處理和各審計單元上的軟體處理兩部分。
如圖2、圖3所示，審計單元，用於採集審計記錄，並同時用於對所採集的審計記錄作出第一次判斷，若重複，則不用上報給審計中心，若不重複，則上報給審計中心。
審計中心，用於接收及存儲各審計單元上報的審計記錄的信息，並根據儲存的審計記錄的信息對接收到的審計記錄作出第二次判斷，若不包含，則儲存，若包含，則更新審計記錄。
其中，審計記錄的信息包括：審計記錄主索引、該條審計記錄的源審計單元信息、記錄內容、審計記錄時間；審計記錄主索引是能唯一區分審計記錄的標識。
具體地，如圖2所示，審計單元有多個，包括審計單元a、審計單元b、審計單元c……審計單元z，當審計單元a首次採集到審計記錄a時，因審計中心並未發出通知報文信息，審計單元a判斷該審計記錄a為不重複的，並將該審計記錄a上傳至審計中心，審計中心根據審計記錄主索引與審計中心存儲的審計記錄的信息，判斷出審計中心不包含新上傳的審計記錄a，則將審計記錄a儲存在審計中心中，並同時會基於該審計記錄a以通知報文信息形式下發給各審計單元，通知報文信息包括：審計記錄主索引、該條審計記錄的源審計單元信息，記錄內容，審計記錄時間，管理周期時間，同步時間信息。
如圖3所示，若審計單元b、審計單元c……審計單元z再次採集到審計記錄a時，審計單元b、審計單元c……審計單元z將會判斷該審計記錄a為重複記錄，直接丟棄，不上報至審計中心，從而節約網絡負荷，減少審計中心工作量；若審計單元a再次採集到審計記錄a時，審計單元a將會判斷該審計記錄a為不重複記錄，更新審計記錄時間，並上傳至審計中心。
審計中心再次根據審計記錄主索引與審計中心存儲的審計記錄的信息判斷出包含該審計記錄，並更新審計記錄時間。
實施例2
一種網絡審計數據去重系統，包括審計中心的軟體處理和各審計單元上的軟體處理兩部分。
審計單元，用於採集審計記錄，並同時用於對所採集的審計記錄作出第一次判斷，若重複，則不用上報給審計中心，若不重複，則上報給審計中心。
審計中心，用於接收及存儲各審計單元上報的審計記錄的信息，並根據儲存的審計記錄的信息對接收到的審計記錄作出第二次判斷，若不包含，則儲存，若包含，則更新審計記錄。
其中，審計記錄的信息包括：審計記錄主索引、該條審計記錄的源審計單元信息、記錄內容、審計記錄時間；審計記錄主索引是能唯一區分審計記錄的標識。
審計中心周期性地維護一個管理周期時間，一個管理周期時間結束的同時，新的管理周期時間開始生效。在每個新的管理周期時間內，審計中心首次收到審計記錄b時，會基於該審計記錄b以通知報文形式下發給各審計單元，定義上報首次審計記錄b的源審計單元為該審計記錄主上報人，其它審計單元為該審計記錄非主上報人；主上報人在管理周期時間內，如再次採集到該審計記錄b時，需立即上報給審計中心，非主上報人則不需要上報給審計中心。在管理周期時間外，無論是主上報人還是非主上報人，在採集到該審計記錄b時，均需上報審計中心。
其中，通知報文信息包括：審計記錄主索引、該條審計記錄的源審計單元信息、記錄內容、審計記錄時間、終止窗口時間、同步時間信息。
各審計單元在收到審計中心的審計記錄通知報文信息時，依據是否是審計記錄的源上報審計單元，作不同的處理。
如果是審計記錄b的源上報審計單元，區分是在通知報文中規定的管理周期時間內、外兩種情況分別處理；在管理周期時間內，本審計單元為主上報人，具有該審計記錄上報責任，如果再次採集到該審計記錄b時，更新審計記錄時間信息，同時，必須把審計記錄b上報給審計中心；在管理周期時間外，本審計單元在未收到審計中心關於該審計記錄的新的通知報文前，如果再採集到該審計記錄b時，更新審計記錄時間信息，同時，把審計記錄b上報給審計中心。
如果不是審計記錄的源上報審計單元，區分是在通知報文中規定的管理周期時間內、外兩種情況分別處理；在管理周期時間內，本審計單元為該條審計記錄非主上報人，如果採集到該審計記錄b時，不上報給審計中心，直接丟棄掉；在管理周期時間外，本審計單元在未收到審計中心關於該審計記錄b的新的通知報文前，如果採集到該審計記錄b時，更新審計記錄時間信息，同時，把審計記錄b上報給審計中心。
以上對本發明提供的一種分布式部署的審計數據去重系統進行了詳細介紹。具體實施例的說明只是用於幫助理解本發明的系統及其核心思想。應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以對本發明進行若干改進和修飾，這些改進和修飾也落入本發明權利要求的保護範圍內。