大數據安全管理系統及方法與流程
2024-04-03 12:48:05
本發明涉及計算機安全領域，特別涉及一種大數據安全管理系統及方法。
背景技術：
隨著網際網路、物聯網、雲計算等技術的快速發展，以及智能終端、網絡社會、數字地球等信息體的普及和建設，全球數據量出現爆炸式增長，僅在2011年就達到1.8萬億GB。IDC(IntemetData Center，網際網路數據中心)預計，到2020年全球數據量將增加50倍。毋庸置疑，大數據時代已經到來。一方面，雲計算為這些海量的、多樣化的數據提供存儲和運算平臺，同時數據挖掘和人工智慧從大數據中發現知識、規律和趨勢，為決策提供信息參考。大數據的發展將進一步擴大信息的開放程度，隨之而來的隱私數據或敏感信息的洩露事件時有發生。
網絡化社會的形成，為大數據在各個行業領域實現資源共享和數據互通搭建平臺和通道。基於雲計算的網絡化社會為大數據提供了一個開放的環境，分布在不同地區的資源可以快速整合，動態配置，實現數據集合的共建共享。而且，網絡訪問便捷化和數據流的形成，為實現資源的快速彈性推送和個性化服務提供基礎。但是正因為平臺的暴露，使得蘊含著海量數據和潛在價值的大數據更容易吸引黑客的攻擊。也就是說，在開放的網絡化社會，大數據的數據量大且相互關聯，對於攻擊者而言，相對低的成本可以獲得「滾雪球」的收益。近年來在網際網路上發生的用戶帳號的信息失竊等連鎖反應可以看出，大數據更容易吸引黑客，而且一旦遭受攻擊，失竊的數據量也是巨大的。
在大數據時代，針對大數據的各種不安全因素將對大數據的使用產生巨大的威脅，迫切需要一種可以在大數據模式下，為整個系統提供安全保護的安全平臺。
技術實現要素：
為克服現有技術的缺陷，本發明提供一種大數據安全管理系統及方法。
本發明採用技術方案如下：
第一方面，本發明提供一種大數據安全管理系統，所述系統包括：
採集節點，用於採集數據，以及將採集的數據上報至對應的節點伺服器；
節點伺服器，用於接收採集節點上報的數據，對所述數據進行病毒查殺，將通過病毒查殺的數據發送至數據中心伺服器；
數據中心伺服器，用於接收並存儲節點伺服器發送的數據；
安全伺服器，用於根據病毒信息庫對節點伺服器進行病毒查殺。
優選地，所述節點伺服器包括：
接收單元，用於接收採集節點上報的數據；
第一查殺單元，用於根據本地的病毒庫對所述數據進行病毒查殺；
發送單元，用於將通過病毒查殺的數據發送至數據中心伺服器。
優選地，所述節點伺服器還包括：
第一更新單元，用於對所述病毒庫中的病毒特徵進行更新。
優選地，所述安全伺服器包括：
第二更新單元，用於對病毒信息庫中的病毒特徵進行更新；
第二查殺單元，用於根據病毒信息庫對節點伺服器進行病毒查殺。
優選地，所述發送單元包括：
加密模塊，用於對通過病毒查殺的數據進行加密處理；
發送模塊，用於將經過加密處理的數據發送至數據中心伺服器。
第二方面，本發明還提供一種大數據安全管理方法，所述方法包括：
採集節點將採集的數據上報至節點伺服器；
節點伺服器接收採集節點上報的數據；
安全伺服器根據病毒信息庫對節點伺服器進行病毒查殺；
節點伺服器對所述數據進行病毒查殺，將通過病毒查殺的數據發送至數據中心伺服器；
數據中心伺服器接收並存儲節點伺服器發送的數據。
優選地，所述節點伺服器對所述數據進行病毒查殺，將通過病毒查殺的數據發送至數據中心伺服器，包括：
節點伺服器根據本地的病毒庫對所述數據進行病毒查殺；
將通過病毒查殺的數據發送至數據中心伺服器。
優選地，所述節點伺服器根據本地的病毒庫對所述數據進行病毒查殺之前，還包括：
對節點伺服器的病毒庫中的病毒特徵進行更新。
優選地，所述將通過病毒查殺的數據發送至數據中心伺服器，包括：
對通過病毒查殺的數據進行加密處理；
將經過加密處理的數據發送至數據中心伺服器。
本發明的有益效果是：
本發明在數據傳輸伺服器過程中，對上報至數據中心伺服器的各數據進行病毒查殺，僅對通過病毒查殺的數據進行放行，保障了進入數據中心伺服器的數據的安全性；此外，還通過安全伺服器對節點伺服器進行病毒查殺，確保節點伺服器未受病毒感染，以及會對主機通信接口、埠、通信地址\協議進行安全狀態監測，來確保數據傳輸的安全性。
在大數據的傳輸服務過程中，通過採用數據加密來為數據流的上傳與下載提供有效的保護。
附圖說明
為了更清楚地說明本發明的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它附圖。
圖1是可以應用本發明的大數據安全管理系統及方法的示例性系統架構；
圖2是本發明實施例提供的大數據安全管理系統的結構示意圖；
圖3是本發明實施例中節點伺服器的結構示意圖；
圖4是本發明實施例中安全伺服器的結構示意圖；
圖5是本發明實施例提供的大數據安全管理方法的流程示意圖。
具體實施方式
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
需要說明的是，本發明的說明書和權利要求書及上述附圖中的術語「第一」、「第二」等是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語「包括」和「具有」以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
圖1是可以應用本發明的大數據安全管理系統及方法的示例性系統架構。該系統架構包括數據中心伺服器100、安全伺服器200、多個節點伺服器300和多個採集節點400，其中，採集節點400與節點伺服器300通過網絡連接，節點伺服器300與安全伺服器200通過網絡連接，節點伺服器300與數據中心伺服器100通過網絡連接。其中，所述網絡為用以在終端與伺服器之間或者伺服器與伺服器之間提供通信鏈路的介質，可以包括各種連接類型，例如有線、無線通信鏈路或者光纖電纜等等。
應該理解，圖1中的數據中心伺服器100、安全伺服器200、節點伺服器300和採集節點400的數目僅僅是示意性的。其數目可以根據實現需要設置。
在上述運行環境下，本發明提供如下的大數據安全管理系統及方法。
實施例一：
參見圖2，本實施例提供的一種大數據安全管理系統包括：
採集節點400，用於採集數據，以及將採集的數據上報至對應的節點伺服器；
節點伺服器300，用於接收採集節點上報的數據，對所述數據進行病毒查殺，將通過病毒查殺的數據發送至數據中心伺服器；
數據中心伺服器100，用於接收並存儲節點伺服器發送的數據；
安全伺服器200，用於根據病毒信息庫對節點伺服器進行病毒查殺。
優選地，所述節點伺服器300包括：
接收單元301，用於接收採集節點上報的數據；
第一查殺單元302，用於根據本地的病毒庫對所述數據進行病毒查殺；
發送單元303，用於將通過病毒查殺的數據發送至數據中心伺服器。
優選地，所述節點伺服器300還包括：
第一更新單元304，用於對所述病毒庫中的病毒特徵進行更新。
優選地，所述安全伺服器200包括：
第二更新單元201，用於對病毒信息庫中的病毒特徵進行更新；
第二查殺單元202，用於根據病毒信息庫對節點伺服器進行病毒查殺。
優選地，所述發送單元303包括：
加密模塊3031，用於對通過病毒查殺的數據進行加密處理；
發送模塊3032，用於將經過加密處理的數據發送至數據中心伺服器。
在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
實施例二：
圖5是本發明實施例提供的大數據安全管理方法的流程示意圖，參見圖5，本發明提供的一種大數據安全管理方法包括：
S501：採集節點將採集的數據上報至節點伺服器；
S502：節點伺服器接收採集節點上報的數據；
S503：安全伺服器根據病毒信息庫對節點伺服器進行病毒查殺；
S504：節點伺服器對所述數據進行病毒查殺，將通過病毒查殺的數據發送至數據中心伺服器；
S505：數據中心伺服器接收並存儲節點伺服器發送的數據。
優選地，所述節點伺服器對所述數據進行病毒查殺，將通過病毒查殺的數據發送至數據中心伺服器，包括：
節點伺服器根據本地的病毒庫對所述數據進行病毒查殺；
將通過病毒查殺的數據發送至數據中心伺服器。
優選地，所述節點伺服器根據本地的病毒庫對所述數據進行病毒查殺之前，還包括：
對節點伺服器的病毒庫中的病毒特徵進行更新。
優選地，所述將通過病毒查殺的數據發送至數據中心伺服器，包括：
對通過病毒查殺的數據進行加密處理；
將經過加密處理的數據發送至數據中心伺服器。
本發明的有益效果是：
本發明在數據傳輸伺服器過程中，對上報至數據中心伺服器的各數據進行病毒查殺，僅對通過病毒查殺的數據進行放行，保障了進入數據中心伺服器的數據的安全性；此外，還通過安全伺服器對節點伺服器進行病毒查殺，確保節點伺服器未受病毒感染，以及會對主機通信接口、埠、通信地址\協議進行安全狀態監測，來確保數據傳輸的安全性。
在大數據的傳輸服務過程中，通過採用數據加密來為數據流的上傳與下載提供有效的保護。
實施例三：
本發明提供的大數據安全管理系統是以分布式雲平臺為基礎的，雲平臺由大量節點伺服器和管理裝置整體的管理單元構成。各節點伺服器具備切換該節點的動作模式的模塊管理部，模塊管理部根據從所述管理單元傳遞的構成信息，切換各節點伺服器單獨動作或與其它節點協調動作。
平臺在每個節點伺服器上添加了安全監測模塊，各節點的運行情況可以通過安全檢測模塊上傳至負責節點伺服器安全的節點伺服器安全保護功能中，節點伺服器安全保護功能可針對雲平臺架構伺服器集群中的每個採集節點自動進行惡意代碼、病毒排查，數據漏洞更新監測，實現自我監測、自我檢查、自我防護、自我安全防護的目的。
大數據安全平臺依據制定的數據安全策略，通過節點安全監測服務接口定期對雲平臺下的節點伺服器及下屬其他伺服器進行掃描，監測的對象包括主機通信接口、埠、通信地址\協議等。系統會根據病毒信息庫的惡意病毒和代碼與監測掃描獲得的結果進行比對，對發現的惡意病毒和代碼進行查殺。
系統根據安全監測的掃描結果，可對漏洞嘗試自行修復。系統還可通過定期掃描伺服器狀態對其進行更新狀態檢測，對需要更新的伺服器，系統可進行自動自我更新，如修復失敗系統會提交狀態信息到日誌中心進行狀態跟蹤。
本發明的大數據安全管理系統提供了完善的系統安全巡查功能，對於雲平臺的各伺服器，根據巡查策略，基於JS腳本和python語言開發了批量巡查腳本，安全管理人員可以通過批量腳本實現對雲平臺下屬伺服器的安全巡查，並可以根據巡查策略的改變，對批量腳本進行修改以適應特定的需求。
系統安全巡查的對象包括主機通信接口、埠、通信地址\協議等。安全管理人員可根據獲取的最新安全漏洞和惡意代碼病毒的信息，以人工巡查的方式對雲平臺下屬伺服器進行巡查。這種安全巡查方式作為自動安全監測功能的補充，其靈活性更高，可適應不斷變化的雲平臺安全趨勢。
針對雲平臺在運行中發現的各種安全漏洞，系統提供了漏洞自動修復、自動更新、自動跟蹤功能，可結合大數據系統安全監測及系統安全巡查的結果，基於現有的安全漏洞、惡意病毒代碼情況，實現基礎的安全漏洞排查,並且自動修復和日誌跟蹤管理功能，能夠保證雲平臺的系統安全。
系統在不斷的運行中，對各種病毒的特點進行了匯總，可提取出病毒的特徵加以歸類，系統通過病毒特徵庫自動學習和複製，對檢測定位的惡意病毒和木馬進行跟蹤處置，並對未知風險進行隔離，實現安全全面檢測排查。
為了驗證雲平臺中數據的正確性，系統為平臺下重要的傳輸的文件設置了時間戳，時間戳通常是一個字符序列，唯一地標識某一刻的時間，是一個經加密後形成的數據校驗文檔，它包括三個部分：
(1)需加時間戳的文件的摘要(digest)；
(2)DTS收到文件的日期和時間；
(3)DTS的數字籤名。
用戶首先將需要加時間戳的文件用Hash編碼加密形成摘要，然後將該摘要發送到DTS，DTS在加入了收到文件摘要的日期和時間信息後再對該文件加密(數字籤名)然後送回用戶，這樣就完成了利用時間戳完成數據校驗的過程。
系統為重要的數據提供了MD5加密保護，旨在保證確保傳輸前後數據的完整性和一致性，發送方在每次發包前將對數據賦值MD5碼，只有在數據前後完整、一致的情況下，系統才會進行下一步操作。
對於需要特別保護的大數據，系統提供了SSL(Secure Sockets Layer，安全套接層協議層)加密機制，SSL協議位於TCP/IP協議與各種應用層協議之間，為數據通訊提供安全支持。SSL協議可分為兩層：SSL記錄協議(SSL Record Protocol)：它建立在可靠的傳輸協議(如TCP)之上，為高層協議提供數據封裝、壓縮、加密等基本功能的支持。SSL握手協議(SSL Handshake Protocol)：它建立在SSL記錄協議之上，用於在實際的數據傳輸開始前，通訊雙方進行身份認證、協商加密算法、交換加密密鑰等。
通過SSL加密機制，系統可以實現數據集的節點和應用程式之間移動保護大數據。
以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。