基於http協議分析的網站監管方法
2023-10-08 23:47:24 4
專利名稱：基於http協議分析的網站監管方法
技術領域：
本發明涉及一種基於HTTP協議分析的網站監管方法，實現監控網絡中被訪問網 站的自動發現、實時隔離、動態監測，屬於網際網路站監管領域。
背景技術：
隨著網際網路迅猛發展，網際網路的管理矛盾日益突出。相對於飛速發展的網際網路，接 入服務商責任尚未落實到位，接入未備案網站等違規行為依然存在；網際網路站監管手段仍 舊滯後，很多網際網路站都在相應管理部門的監管範圍之外運營，為網際網路管理工作帶來極 大安全隱患。
在打擊和消除違法網站方面，目前幾乎所有的接入商都別無選擇的採取了以下兩 種手段(1).封閉清查，甚至「一刀切」的斷網，許多地方的監管部門直接讓運營商切斷了 網站的接入。先關停，再審查，最後恢復。按照這樣的步驟，很多無辜的網站一併被累及。這 種清查方式無異於因噎廢食，不但簡單粗暴，而且無法取得長治久安的效果，甚至會影響整 個網際網路產業的發展。O).人工撥測、群眾舉報和媒體曝光。一經查實，依法封堵。與上一 種手段相比，這種方法不會干擾健康網站的運營，但是周期很長，發現非法網站效率低，不 但相關工作人員承擔極大的工作壓力，而且在配合其他監管部門方面存在「失位」現象，使 接入商在網際網路環境的整治及工作中極其被動。
本發明的目的在於提供一種基於HTTP協議分析的網站監管技術方法，覆蓋監控 網絡上運行的所有Web網站，變被動管理為主動管理，同時，對違規Web網站進行實時隔離， 達到事實上的「查封」效果，解決以往監管者只能靠人工操作、沒有有效應急技術措施的問 題。發明內容
一種基於HTTP協議分析的網站監管方法，該方法實現的系統採用模塊化設計，支 持多級部署，實現監控網絡中被訪問網站的自動發現、實時隔離、動態監測。
本發明具有以下特徵1.模塊化設計，可由監控終端和管理中心組成，每個模塊可細分、合併或適當擴展。
2.支持多級部署，按照知、管、控的管理方法，實現用戶訪問網站信息的逐級上報 與違規網站隔離信息的逐級下達。
3.自動發現，通過監控終端旁路捕獲用戶訪問網站數據，基於HTTP協議分析，實 時發現被監控網絡上運行的所有Web網站，並自動提取網站域名後上報管理中心。
4.實時隔離，依據管理中心下發的網站隔離名單，監控終端通過對違規網站發送 TCP幹擾包(RST+FIN)實時阻斷用戶對該域名網站的訪問。
5.動態監測，管理中心監測監控終端上報的網站域名備案狀態，並下發隔離名單 給監控終端。
圖1網際網路站監管平臺的結構框圖； 圖2網際網路站域名發現的過程示意圖；圖3系統自動隔離網際網路站的過程示意圖； 圖4由底級管理中心用戶發起的網際網路站隔離的過程示意圖； 圖5由中間級管理中心用戶發起的網際網路站隔離的過程示意圖； 圖6由頂級管理中心用戶發起的網際網路站隔離的過程示意圖； 圖7網際網路站監控終端內部的過程示意圖； 圖8網際網路站監管平臺部署前網絡結構示意圖； 圖9網際網路站監管平臺的典型部署網絡結構示意圖； 圖10網際網路站監管平臺的多級部署網絡結構示意圖。
如下圖1包括監控終端10包括管理維護11、Sensor服務12、隔離模塊13、發現模塊14 ； 管理中心20由Web管理21、網絡監控服務接口 22、網絡監控服務23、網絡監管資料庫M、 信息通道25組成。
圖8包括網絡用戶10包括網絡用戶11、網路用戶12、網絡用戶13等，網際網路20， 核心路由器30，核心交換機40，監管資源50包括網站伺服器51、網站伺服器52、網站服務 器53等，監管資源60包括網站伺服器61、網站伺服器62、網站伺服器63等。
圖9包括網絡用戶10包括網絡用戶11、網路用戶12、網絡用戶13等，網際網路20， 核心路由器30，核心交換機40，監管資源50包括網站伺服器51、網站伺服器52、網站服務 器53等，監管資源60包括網站伺服器61、網站伺服器62、網站伺服器63等，網際網路站監管 平臺70包括管理中心伺服器71和監控終端伺服器72。
圖10包括監管終端10包括監控終端11、監控終端12、監控終端13、監控終端14、 監控終端15、監控終端16等，底層管理中心20包括管理中心21、管理中心22、管理中心23、 管理中心M等，中間層管理中心30包括管理中心31、管理中心32等，頂級管理中心40。
具體實施方式
如圖1所示，本發明網際網路站監管平臺的結構框圖網際網路站監管平臺由監控終 端10和管理中心20組成。其中監控終端(MLSensor) 10，主要功能為基於HTTP網絡協議分析，從被監控網絡中實 時發現Web網站域名、對違規網站發送隔離指令阻斷用戶對該域名網站的訪問，並通過 Socket通信來及時響應管理中心的管理控制，以及上報域名相關的統計數據。監控終端10 主要由發現模塊14、隔離模塊13、knSOr服務12、管理維護11組成。
1 發現模塊14 實時旁路監測網站訪問，捕獲訪問請求包，並解析請求包發現用 戶訪問的網站域名(簡稱發現域名)；更新監控名單中的發現域名網站的訪問記錄(訪問 量)，查詢監控名單中的發現域名的隔離屬性並請求義皿㈤服務查詢在監控名單中不存在 的域名網站的隔離屬性；通知隔離模塊對網站的訪問請求進行隔離處理。
1隔離模塊13 根據發現模塊提交的隔離信息組建TCP幹擾包(RST+FIN)，並對 用戶端發送TCP幹擾包實現對被隔離域名網站的訪問阻斷隔離。
1 knsor服務12 實現監控終端與管理中心的安全通信。
1 管理維護11 實現對終端監控伺服器的系統配置管理、管理員口令重置和恢 復出廠默認配置。
管理中心(Manager)20，主要功能是完成發現的接入網站查詢、分析、動態監測，並 根據其備案情況、內容情況進行隔離與放行管理。其中管理中心20由Web管理21、網絡監 管資料庫對、信息通道25、網絡監控服務23、網絡監控服務接口 22組成。
1 Web管理(MLManager) 21 提供網際網路站監管的操作界面，主要包括用戶管 理、域名查詢、系統管理、未備案網站管理、欄目分析、隔離策略管理和日誌管理等WEB管理 功能。
1網絡監管資料庫(NM_DB)M 存儲網站域名、接入IP位址、域名備案狀態、網站 接入地、統計信息、基礎代碼等數據。
1 信息通道(NM_SC0MM)25 為本網絡監控系統部署後的各系統間協作通信的安 全通道，起到上傳下達的橋梁作用。其主要功能為定時將發現域名、未備案網站域名等信息 發送到上級接入單位的系統中，並將上級接入單位發來的網站隔離域名存入後臺資料庫， 並通知監控終端NM_knSOr更新其監控名單。
1 網絡監控服務(NMJerver) 23 通過Socket通信機制來與監控終端NMJensor 通信，接收NM_knsor的請求處理，同時轉發Web管理對NM_knsor命令處理。
1 網絡監控服務接口(NM_Interface)22 提供網絡監控服務(NM_Server)與信 息管道(NM_SC0MM)和監控終端(NlLSensor)之間通信的接口服務。
如圖2所示，本發明網際網路站監管平臺的網際網路站域名發現的流程如下1)監控終端(NM_SenS0r)旁路方式截獲網絡數據包，並解析HTTP請求自動提取網站 域名。
2) 監控終端(NlLSensor)將域名發送給管理中心處理。
3)管理中心的網絡監控服務(MLServer)接收到監控終端發送的域名後，調用接 口獲取該域名的備案狀態。
4)如果網站域名是未備案域名，則網絡監控服務(MLServer)將發送隔離名單更 新請求給監控終端(NMjensor )。
5)管理中心的網絡監控服務(MLServer)將發送網站域名信息給管理中心的信 息通道(NM_SC0MM)。
6)管理中心的信息通道(NM_SC0MM)將域名寫入資料庫。
7)管理中心的信息通道(NM_SC0MM)將網站域名上報給上級管理中心。
8)監控終端(NlLSensor)根據管理中心發送的黑名單更新指令，更新隔離名單。
9)上級管理中心收到下級管理中心發送的域名信息後將域名寫入本級資料庫。
如圖3所示，本發明網際網路站監管平臺的系統自動隔離網際網路站流程如下 1)監控終端(NlLSensor)截獲網絡數據包，並解析HTTP請求自動提取網站域名。
2)監控終端(NlLSensor)將提取的網站域名與隔離名單匹配；3) (1)如果網站域名在隔離名單內，則監控終端發送阻斷包；(2)否則如果不在黑名 單內，則監控終端將域名發送給管理中心處理。
4)管理中心的網絡監控服務(MLServer)接收到監控終端發送的域名後，調用接口獲取域名備案狀態。
5)如果該域名是未備案域名，則網絡監控服務(MLServer)將發送隔離名單更新 請求給監控終端(NMjensor )。
6)管理中心的網絡監控服務(NlLServer)將發送網站域名信息給管理中心的信 息管道(NM_SC0MM)。
7)管理中心的信息管道(NM_SC0MM)將域名寫入資料庫。
8)管理中心的信息管道(NM_SC0MM)將該網站域名上報給上級管理中心。
9)監控終端(NM_SenSOr)根據管理中心發送的隔離名單更新指令，更新隔離名
10)上級管理中心收到下級管理中心發送的域名信息後將域名寫入本級資料庫。
如圖4所示，本發明網際網路站監管平臺的由底級管理中心用戶發起的網際網路站隔 離的處理流程如下1)底級管理中心的操作人員通過Web管理(NlLManager)操作頁面對待隔離的網站域 名進行隔離操作。
2) Web管理(NM_Manager)將隔離網站信息發送給網絡監控服務(NM_Server)處理。
3)網絡監控服務(NlLServer)接收到MLManager發送的隔離網站信息後，將該 信息轉發給管理中心的信息管道(NM_SC0MM)。
4) 網絡監控服務(NlLServer)發送黑名單更新請求給監控終端(NMJensor)。
5)管理中心的信息管道(NM_SC0MM)將該隔離域名信息寫入資料庫。
6) 管理中心的信息管道(NM_SC0MM)將該隔離網站域名上報給上級管理中心。
7) 監控終端(NM_SenSOr)根據管理中心發送的隔離名單更新指令，更新隔離名
8) 監控終端(NlLSensor)對隔離名單中的域名的訪問發送阻斷包。
9)上級管理中心收到下級管理中心發送的域名隔離信息後將域名寫入本級數據 庫10)上級管理中心將域名隔離信息上報給更上級的管理中心。
如圖5所示，本發明網際網路站監管平臺的由中間級管理中心用戶發起的網際網路站 隔離的處理流程如下1)中間級管理中心的操作人員通過Web管理(NlLManager)操作頁面對待隔離的網站 域名進行隔離操作。
2) Web管理(NM_Manager)將隔離網站信息發送給網絡監控服務(NM_Server)處理。
3)網絡監控服務(NlLServer)接收到MLManager發送的隔離網站信息後，將該 信息轉發給管理中心的信息管道(NM_SC0MM)。
4)管理中心的信息管道(NM_SC0MM)將該隔離域名信息寫入資料庫。
5)管理中心的信息管道(NM_SC0MM)將該隔離網站域名下發給下級管理中心。
6)管理中心的信息管道(NM_SC0MM)將該隔離網站域名上報給上級管理中心。
7)上級管理中心收到中間級管理中心發送的隔離域名信息後將域名寫入本級資料庫。
8) 下級管理中心的信息管道收到中間級管理中心發送的隔離域名信息後，將隔 離域名寫入本級資料庫。
9)下級管理中心的信息管道將該隔離域名發送給本級的網絡監控服務。
10)下級管理中心的網絡監控服務發送隔離名單更新請求給監控終端(NM_ Sensor)。
11)監控終端(MLSensor)根據下級管理中心(底層)發送的隔離名單更新指令， 更新隔離名單。
12) 監控終端(NM_knSOr)對隔離名單中的域名的訪問發送阻斷包。
如圖6所示，本發明網際網路站監管平臺的由頂級管理中心用戶發起的網際網路站隔 離的處理流程如下1) 頂級管理中心的操作人員通過Web管理(NlLManager)操作頁面對待隔離的網站 域名進行隔離操作。
2)頂級管理中心的Web管理(MLManager)將隔離網站信息發送給本級的網絡監 控服務(NM_Server)處理。
3)頂級管理中心的網絡監控服務(NM_Server)接收到本級NM_Manager發送的隔 離網站信息後，將該信息轉發給本級的信息管道(NM_SC0MM)。
4)頂級管理中心的信息管道將該隔離域名信息寫入本級資料庫，5)頂級管理中心的信息管道將該隔離網站域名下發給中間級管理中心。
6)中間級管理中心收到頂級管理中心發送的域名隔離信息後將域名寫入本級數 據庫。
7)中間級管理中心將域名隔離信息下發給下級的管理中心。
8)下級管理中心的信息管道收到中間級管理中心發送的隔離域名信息後，將隔 離域名寫入本級資料庫。
9)下級管理中心的信息管道將該隔離域名發送給本級的網絡監控服務。
10)下級管理中心的網絡監控服務發送隔離名單更新請求給監控終端(NM_ Sensor)。
11)監控終端(MLSensor)根據下級管理中心(底層)發送的隔離名單更新指令， 更新隔離名單。
12)監控終端(NM_knSOr)對隔離名單中的域名的訪問發送阻斷包。
如圖7所示，本發明網際網路站監管平臺的網際網路站監控終端內部的處理流程如 下1) 監控終端(MLSensor)初始運行。
2) knsor服務發送隔離名單請求給管理中心。
3) knsor服務響應處理管理中心的指令，通過隔離域名更新接口獲取更新。
4) Sensor服務更新監控名單中指定域名的隔離屬性。
5)被監控主幹網絡的網絡流量經過監控終端；6) 發現模塊實時旁路監測被監控主幹網絡中的網站訪問，捕獲HTTP訪問請求包，並 解析請求包發現用戶訪問的網站域名(簡稱發現域名)。
7) 發現模塊更新監控名單中的統計信息，並查詢監控名單中的發現域名的隔離 屬性；8)根據發現域名的隔離屬性查詢結果，分情況處理(1).如果查詢到該發現域名的隔離屬性是隔離，則發現模塊通知隔離模塊對網站的 訪問請求進行隔離處理；(2).如果查詢不到該發現域名的隔離屬性是不隔離，即第一次發現域名，則發現模塊 請求knsor服務查詢在監控名單中不存在的網站域名的隔離屬性。
9)隔離模塊根據發現模塊提交的隔離信息組建TCP幹擾包(RST+FIN).10) 隔離模塊對用戶端發送TCP幹擾包實現對被隔離域名網站的訪問阻斷隔離。
11) Sensor服務通過發現域名上報接口轉發發現模塊請求到管理中心。
12)監控終端發生異常時，Sensor服務向管理中心發送異常日誌。
13) Sensor服務還通過(1)監控管理控制接口、(2)監控狀態查詢接口、(3)域名 節點查詢接口、(4)監控統計查詢接口、( 系統管理配置接口、(6)版本信息查詢接口，響 應Manager的查詢和控制。
14)如果knsor服務接收到管理中心的監控統計查詢請求，則knsor服務將從 監控名單中獲取統計信息，並清空統計項。
圖8是本發明網際網路站監管平臺部署前網絡結構示意圖監管資源(網站)50,60 通過網線/光纖或交換機連接至核心交換機40，核心交換機40通過核心路由器30連接至 網際網路20。網絡用戶10通過網際網路20訪問監管資源50、60提供的網站服務。
圖9是典型部署實施了本發明網際網路站監管平臺後的網絡結構示意圖，相對於圖 8表示的網際網路站監管平臺部署前網絡結構示意圖，主要區別在於網際網路站監管平臺70的 部署，網際網路站監管平臺70作為單獨伺服器獨立部署，包括管理中心伺服器71和監控終 端伺服器72。在典型部署中，監終端72通過2個網口接入到被監控網絡1個網口(別稱鏡 像網口)用於接收被監控的網絡線路的鏡像數據，另1個網口(別稱阻斷網口)用於響應管 理中心71的控制並發送阻斷包，實現對被監控網絡中接入的違規網站的實時隔離；管理中 心72通過1個網口接入到監控終端所在的網絡，並與監控終端進行相互的數據通信。互聯 網站監管平臺70依託PKI公鑰基礎設施提供的公鑰證書保障服務之間的通信安全，即監控 終端72、管理中心72上各服務在初始化運行時生成各自公私鑰對，進而申請並安裝對應的 公鑰證書(鏈)。
圖10是網際網路站監管平臺多級部署網絡結構示意圖，即部署多個監管終端10、多 個管理中心20、30、40，監管終端10將網站數據發送到底層管理中心20，底層管理中心20 將接收的網站數據及隔離信息上報上一級管理中心30(中間層管理中心)，頂級管理中心40 匯集所有下級管理中心20、30上報的網站信息並統一管理。
本發明的效果是能夠覆蓋監控網絡上運行的所有Web網站，變被動管理為主動管 理，實現網站經營業務的有效監管工作而不影響接入商的實際業務，同時，對違規Web網站 進行實時隔離，達到事實上的「查封」效果，有效落實「先備案後接入」、「誰經營，誰負責」的 原則，解決以往接入商及網際網路相關管理部門只能靠人工操作、沒有效應急技術措施的問 題。
權利要求
1.一種基於HTTP協議分析的網站監管方法，該方法實現的系統採用模塊化設計，支持 多級部署，實現監控網絡中被訪問網站的自動發現、實時隔離、動態監測。
2.根據權利要求1中所述的一種基於HTTP協議分析的網站監管方法，其特徵在於模 塊化設計，可由監控終端和管理中心組成，每個模塊可細分、合併或適當擴展。
3.根據權利要求1中所述的一種基於HTTP協議分析的網站監管方法，其特徵在於支 持多級部署，按照知、管、控的管理方法，實現用戶訪問網站信息的逐級上報與違規網站隔 離信息的逐級下達。
4.根據權利要求1中所述的一種基於HTTP協議分析的網站監管方法，其特徵在於自 動發現，通過監控終端旁路捕獲用戶訪問網站數據，基於HTTP協議分析，實時發現被監控 網絡上運行的所有Web網站，並自動提取網站域名後上報管理中心。
5.根據權利要求1中所述的一種基於HTTP協議分析的網站監管方法，其特徵在於 實時隔離，依據管理中心下發的網站隔離名單，監控終端通過對違規網站發送TCP幹擾包 (RST+FIN)實時阻斷用戶對該域名網站的訪問。
6.根據權利要求1中所述的一種基於HTTP協議分析的網站監管方法，其特徵在於動 態監測，管理中心監測監控終端上報的網站域名備案狀態，並下發隔離名單給監控終端。
全文摘要
本發明公開了一種基於HTTP協議分析的網站監管方法。本發明方法實現的系統採用模塊化設計，由監控終端和管理中心構成，支持多級部署，實現監控網絡被訪問網站的自動發現、實時隔離、動態監測。監控終端旁路捕獲用戶訪問網站數據，基於HTTP協議分析實時發現Web網站，上報管理中心，並響應管理中心指令，對網站發送TCP幹擾包實時阻斷用戶對該網站的訪問。管理中心監測上報網站域名的備案狀態，並下發隔離指令。本發明能夠覆蓋監控網絡上運行的所有Web網站，實現網站的有效監管，對違規網站實時網絡隔離，達到事實上的查封效果，解決以往只能靠人工操作、無有效應急技術措施的問題。本發明可廣泛應用於網際網路站監管領域。
文檔編號H04L12/26GK102035895SQ201010613668
公開日2011年4月27日 申請日期2010年12月30日 優先權日2010年12月30日
發明者於軍, 孫濤, 崔軍, 張峰曉, 張振濤, 李忠獻, 李新, 章愛文, 臧築華, 陸清 申請人:天津市國瑞數碼安全系統有限公司