一種用於監控網站訪客地理位置和訪問狀態的系統及方法

2023-05-16 16:58:31 3

專利名稱：一種用於監控網站訪客地理位置和訪問狀態的系統及方法
技術領域：
本發明涉及網絡通信技術，尤其涉及網絡的遠程監控技術。
背景技術：
在現有技術中，Google Earth三維地球瀏覽器將Google強大的搜索功能和 衛星圖片相結合，通過訪問Keyhole的航天和衛星圖片擴展資料庫，並利用 KML(Keyhole Markup Language:基於XML語法和文件格式的文件，用於描述 和保存地理信息，如點、線、圖片、折線並在Google Earth三維地球瀏覽器的 客戶端之中顯示)文件動態抓取本地或遠端的數據文件，並在地球模型上予以更 新。
但是，Google Earth可視化地球模型只支持KML格式且功能比較單一，它 並沒有開放接口供用戶使用其他的高級程序語言進行插件的自行開發。此外， Google Earth可視化地球模型中只能周期性地抓取來自本地或遠端地數據，而 無法接收推送而來的消息數據，因而對於實時更新可視化地球模型和監控訪客的 詳細資料變得無能為力。

發明內容
針對可視化地球模型在更新用戶數據時所存在的上述缺陷，本發明提供了 一 種用於實時監控網站訪客的地理位置和訪問狀態的系統。
按照本發明的一個方面，提供了 一種用於監控網站訪客地理位置和訪問狀態 的定位系統。該系統將GeolP強大的轉化功能和基於用戶自定製源碼進行插件 開發的NASA World Wind可視化地球模型平臺相結合，通過消息驅動地理定位 插件接收基於UDP(User Datagram Protocol:用戶數據報協議)的數據包並實時 更新NASA World Wind可視化地球模型。該監控系統主要包括網絡Web服 務器集群、搜索伺服器集群、數據處理伺服器、資料庫伺服器、監控數據處理伺服器和NASA World Wind展示伺服器。更具體地，
網站Web伺服器集群，是網絡訪客能訪問阿里巴巴國際網站所依託的伺服器 集群，也是本系統所需用戶操作日誌的數據來源，當網絡訪客通過瀏覽器欲訪問 阿里巴巴國際網站時，該訪問請求被送至網站Web伺服器集群，並經過其中的 程序運行處理和回傳數據，將阿里巴巴國際網站的頁面呈現給網絡訪客；
搜索伺服器集群，用於集中處理在大規模數據中的搜索關鍵詞，由於網站Web 伺服器集群僅僅處理普通的訪問請求，而對大規模數據中進行關鍵詞搜索的處理 比較困難，從而將搜索伺服器集群獨立成為系統架構中的一個組成部分，更具體 地，其搜索功能取決於搜索伺服器集群的存儲容量和處理速度；
數據處理伺服器，用於運行自動化腳本並讀取來自搜索伺服器集群的該網絡 訪客的操作日誌，並依據系統預定義的規則對操作日誌進行自動解析；
資料庫伺服器，用於運行資料庫管理系統，接收數據處理伺服器的解析結果 並以數據表的形式存儲；
監控數據處理伺服器，用於運行自動化腳本，實時獲取資料庫伺服器中的解 析結果，並向NASA World Wind中的消息驅動地理定位插件發送基於UDP協 議的數據包；以及
NASA World Wind展示伺服器，用於接收基於UDP協議的數據包，運行NASA World Wind可視化地球模型以定位該網絡訪客的地理位置和監控其訪問狀態。
按照本發明的又一個方面，提供了 一種用於監控網站訪客地理位置和訪問狀 態的定位方法。其中，該方法可以通過如下的流程予以實現
(1 )網絡訪客在網站上輸入搜索關鍵詞的請求步驟；
(2) 網站Web伺服器集群接受該搜索請求並生成相關日誌的產生步驟；
(3) 網站Web伺服器集群將日誌實時輸出至本地存儲介質的訪問日誌文件的輸 出步驟；
(4) 數據處理伺服器讀取來自搜索伺服器集群的操作日誌並解析出數據欄位的 解析步驟；
(5) 資料庫伺服器接收對於日誌的解析結果並存儲至資料庫的存儲步驟；
(6) 監控數據處理伺服器運行自動化腳本並從資料庫伺服器中實時讀取一條日 志記錄的讀取步驟；
(7) 將解析結果中的IP位址轉化為基於用戶數據報協議的數據包的轉化步驟；(8) 將基於UDP協議的數據包發送至NASA World Wind可視化地球模型平臺 中的消息驅動地理定位插件的發送步驟；以及
(9) 該消息驅動地理定位插件接收UDP數據包，並驅動可視化地球模型NASA World Wind實時更新至該網絡訪客的地理位置的定位步驟。
其中，在上述解析步驟中，數據欄位包括該網絡訪客的IP位址和搜索關鍵詞；
其中，在上述轉化步驟中，網絡訪客的IP位址通過GeolP映射轉化為地理數 據的開發庫和地理信息的資料庫；
其中，在上述發送步驟中，基於UDP協議的數據包格式為(經煒度，地理位 置名稱，搜索關鍵詞}，如，{"-33.9°, 151.05°" ， "Chullora， Australia" ， "red—apple"};
其中，在上述發送步驟中，消息驅動地理定位插件兼容基於UDP協議的數據 包的輸入接口 。
採用本發明的系統和方法，可實時監控並展示網站訪客的詳細數據信息，也 能夠有效地定位網站中的異常流量、惡意訪問源IP位址的地理位置與Internet
註冊信息。


讀者在參照附圖閱讀了本發明的具體實施方式
以後，將會更清楚地了解本發 明的各個方面。其中，
圖1示出了本發明監控網站訪客的地理位置和訪問狀態的系統架構圖； 圖2示出了本發明監控網站訪客的地理位置和訪問狀態的流程示意圖； 圖3示出了本發明中搜索伺服器集群響應搜索請求後生成的日誌代碼段； 圖4示出了本發明基於GeolP和WHOIS協議顯示訪客信息的界面示意圖； 而圖5示出了本發明基於NASA World Wind的可視化地球模型實時更新和定 位
訪客位置的示意圖。
具體實施例方式
下面參照附圖，對本發明的具體實施方式
作進一步的詳細描述。 圖1示出了本發明監控網站訪客的地理位置和訪問狀態的系統架構圖。參考 圖1,該監控系統包括網站Web伺服器集群100、搜索伺服器集群102、數據處理伺服器104、資料庫伺服器106、監控數據處理伺服器108和NASA World Wind展示伺服器110。其中，
網站Web伺服器集群100,用於產生系統所需日誌的數據，是客戶能訪問到 的阿里巴巴國際網站所依託的伺服器集群；
搜索伺服器集群102,用於專門處理大規模數據中的搜索關鍵詞，並返回搜 索結果的伺服器集群，其搜索功能取決於伺服器的存儲容量和處理性能；
數據處理伺服器104，用於運行自動化腳本並抓取日誌，依據預定義規則自 動解析日誌文本，以荻取所需的客戶訪問數據；
資料庫伺服器106,用於運行資料庫管理系統，以數據表的形式存儲日誌解 析所得的結果數據；
監控數據處理伺服器108,用於運行自動化腳本，抓取資料庫中最新的曰志 解析結果，向消息驅動地理定位插件發送UDP數據包，發起可視化地球模型定 位該更新請求；
NASA World Wind展示伺服器110，用於運行NASA World Wind可視化地 球模型軟體，其中裝載了消息驅動地理定位插件，接收基於UDP數據協議的消 息輸入，並通過顯卡連接到大屏幕上輸出圖像。
如圖1所示，在該監控系統中，當網站訪客瀏覽基於網站Web伺服器集群100 所依託的阿里巴巴國際網站並輸入搜索關鍵詞時，該網站Web伺服器集群100 接收搜索關鍵詞並將該搜索請求提交至搜索伺服器集群102,當搜索伺服器集群 102在大規模數據中對該搜索關鍵詞進行處理後將搜索結果返回至網站Web服 務器集群100,而網站Web伺服器集群100又將該搜索結果在阿里巴巴網站的 頁面上顯示出來並呈現給網站訪客；數據處理伺服器104運行自動化腳本從搜 索伺服器集群102中抓取最新日誌，並依據預定義規則自動解析日誌文本中的 數據欄位，利用資料庫伺服器106將日誌的解析結果存入資料庫；監控數據處 理伺服器108運行自動化腳本，從資料庫伺服器106中抓取最新日誌的解析結 果，並基於UDP數據協議向消息驅動地理定位插件發送數據包以請求定位更新； 隨後，NASA World Wind展示伺服器110接收UDP數據包並響應進行定位更 新的請求，驅動地理定位插件和運行NASA World Wind可視化地球模型。
圖2示出了本發明監控網站訪客的地理位置和訪問狀態的流程示意圖。如圖 2所示，該監控系統可採用如下的操作步驟來實時更新訪客的地理位置和訪問狀態
(1) 步驟200:訪客在阿里巴巴國際網站搜索關鍵詞；
(2) 步驟202:網站Web伺服器集群100接受該搜索請求，並產生相關日誌；
(3) 步驟204:網站Web伺服器集群100將該日誌即時輸出至本地存儲介質 上相應的訪問日誌文件；
(4) 步驟206:後臺進程讀取搜索查詢日誌，解析出數據欄位並插入數據表。 在該步驟中，數據處理伺服器104抓取該日誌文件，選擇產生的搜索關鍵詞中 最新的相關日誌條目，並解析出數據欄位中的訪客IP位址和搜索關鍵詞；
(5) 步驟208:存儲數據至資料庫，資料庫伺服器106將來自數據處理伺服器 104的日誌解析結果存入資料庫，操作完成後返回步驟206繼續讀取最新的查詢 曰志；
(6) 步驟210:後臺進程讀取數據表，監控數據處理伺服器108運行自動化腳 本並從資料庫伺服器106中抓取最新的一條搜索日誌記錄；
(7) 步驟212:基於GeolP將訪客IP位址轉化為可視化地球模型中的經綿度 和地理位置名稱；
(8) 步驟214:通過UDP協議將轉化後的數據發送至NASA World Wind插
件一一消息驅動地理定位插件，發送完成後返回步驟210實時讀取數據表；以 及
(9) 步驟216: NASA World Wind轉動可視化地球模型至指定經煒度，並顯示 訪客的相關信息。
圖3示出了本發明中搜索伺服器集群響應搜索請求後生成的日誌代碼段。需 要指出的是，網站Web伺服器集群僅僅用於處理普通的訪問請求，而在大規模 數據中搜索關鍵詞是一種相對較為特殊的應用，並且搜索功能對伺服器的存儲容 量和處理性能都有很高的要求。結合圖2，當一位訪客在阿里巴巴國際網站的搜 索框中輸入搜索關鍵詞recLapple時，網站Web伺服器集群100響應該搜索請 求，並生成如圖3所示的日誌文件。數據處理伺服器104解析出數據欄位訪 客IP位址為202.7.166.164,搜索關鍵詞為red—apple。基於GeolP將該訪客IP 地址和搜索關鍵詞轉化為可視化地球模型上的經綽度和地理位置名稱，即查詢地 理信息資料庫得到
Country(國家)AU AUS AustraliaRegion(地區)02 City(城市)Chullora Longitude(經度)151.05° Latitude(綿度)-33.9°
將轉化後的數據整合為格式{經煒度，地理位置名稱，搜索關鍵詞}，本實施例 中即為{"誦33.9。, 151,05°" , "Chullora, Australia" ， "red_apple" }，發送 到NASA World Wind展示伺服器110，再利用包含在其內的消息驅動地理定位 插件向該可視化地球模型發送轉動指令，地球模型將迅速從原有位置轉動到訪客 所在地的經度和煒度，並且在屏幕中間顯示該訪客輸入的搜索關鍵詞。
圖4示出了本發明基於GeolP和WHOIS協議顯示訪客信息的界面示意圖。 首先簡要介紹一下WHOIS協議和GeolP。 WHOIS是一種非常簡單的Internet 信息查詢協議，該協議首先與伺服器的TCP埠建立連接，發送查詢關鍵字並 加上回車換行，然後接收伺服器的查詢結果。基於地理信息的插件GeolP,是免 費的國家/IP映射表，將IP位址映射轉化為地理數據的開發庫及其地理信息數據 庫，該GeolP插件比通過DNS反相解析域名得到的統計更加準確，速度更快。 結合上述圖2和圖3所給出的實施例，訪客在阿里巴巴國際網站的搜索框中輸 入搜索關鍵詞red—apple時，從產生的日誌文件中可解析出訪客的IP位址和搜 索關鍵詞。通過GeolP輸入IP位址202.7.166.164時，關於該訪客信息的界面 顯示如圖4所示。
圖5示出了本發明基於NASA World Wind的可視化地球模型實時更新和定位 訪客位置的示意圖。在開放源碼並可由用戶自定製的NASA World Wind平臺中， 消息驅動地理定位插件接收UDP數據包，並向可視化地球模型發出實時更新的 請求，如圖5所示，在屏幕中間顯示訪客搜索關鍵詞的信息"Visitor from Chullora, Australia is searching for red_apple"，並在屏幕的右上角示出訪客所 在位置的經綿度和其它相關的數據信息。
上文中，參照附圖描述了本發明的具體實施方式
。但是，本領域中的普通技 術人員能夠理解，在不偏離本發明的精神和範圍的情況下，還可以對本發明的具 體實施方式作各種變更和替換。這些變更和替換都落在本發明權利要求書所限定 的範圍內。
權利要求
1.一種用於監控網絡訪客的定位系統，其特徵在於，它包含網站Web伺服器集群，用於產生所述網絡訪客的操作日誌；搜索伺服器集群，用於集中處理在大規模數據中的搜索關鍵詞；數據處理伺服器，用於運行自動化腳本並讀取來自所述搜索伺服器集群的所述操作日誌，並依據系統預定義的規則對所述操作日誌進行自動解析；資料庫伺服器，用於運行資料庫管理系統，接收所述數據處理伺服器的解析結果並存儲；監控數據處理伺服器，用於運行自動化腳本，實時獲取所述資料庫伺服器中的所述解析結果，並向NASA World Wind中的消息驅動地理定位插件發送基於用戶數據報協議的數據包；以及NASA World Wind展示伺服器，用於接收所述基於用戶數據報協議的數據包，運行NASA World Wind可視化地球模型以定位所述網絡訪客的地理位置。
2. 如權利要求1所述的系統，其特徵在於，所述搜索伺服器集群的搜索功能 取決於其存儲容量和處理速度。
3. 如權利要求1所述的系統，其特徵在於，所述資料庫伺服器以數據表的形 式存儲所述解析結果。
4. 如權利要求3所述的系統，其特徵在於，所述解析結果包括所述網絡訪客 的IP位址和搜索關鍵詞。
5. 如權利要求1所述的系統，其特徵在於，所述數據包包括與所述網絡訪客 相關的經度和煒度、地理位置名稱和搜索關鍵詞。
6. 如權利要求5所述的系統，其特徵在於，經度和緯度、地理位置名稱和搜 索關鍵詞是所述解析結果中的IP位址經過GeolP轉化而產生的。
7. 如權利要求1所述的系統，其特徵在於，所述消息驅動地理定位插件兼容 基於用戶數據報協議輸入的接口 。
8. 如權利要求1所述的系統，其特徵在於，所述消息驅動地理定位插件在NASA World Wind平臺上自定製源碼，接收所述數據包並實時更新可視化地球化模型。
9. 一種在系統中用於監控網絡訪客的定位方法，該系統包括網站Web伺服器 集群、數據處理伺服器、資料庫伺服器、監控數據處理伺服器和NASA World Wind 展示伺服器，其特徵在於，該方法可以通過以下的步驟實現(1 )所述網絡訪客在網站上輸入搜索關鍵詞的請求步驟；(2) 所述網站Web伺服器集群接受所述請求並生成相關日誌的產生步驟；(3) 所述網站Web伺服器集群將所述日誌實時輸出至本地存儲介質的訪問曰志 文件的輸出步驟；(4) 所述數據處理伺服器讀取所述日誌並解析出數據欄位的解析步驟；(5) 所述資料庫伺服器接收日誌的解析結果並存儲至資料庫的存儲步驟；取一條所述日誌的記錄的讀取步驟；(7) 將所述解析結果中的IP位址轉化為基於用戶數據報協議的數據包的轉化步驟；(8) 將所述數據包發送至消息驅動地理定位插件的發送步驟；以及(9) 所述消息驅動地理定位插件接收所述數據包，並驅動可視化地球模型NASA World Wind實時更新至所述網絡訪客的地理位置的定位步驟。
10. 如權利要求9所述的方法，其特徵在於，所述資料庫伺服器以數據表的形 式存儲所述解析結杲。
11. 如權利要求10所述的方法，其特徵在於，所述解析結果包括所述網絡訪 客的IP位址和搜索關鍵詞。
12. 如權利要求9所述的方法，其特徵在於，所述轉化步驟是基於GeolP實 現的，GeolP可以將IP位址映射轉化為地理數據的開發庫和地理信息的資料庫。
13. 如權利要求9所述的方法，其特徵在於，所述數據包包括與所述網絡訪客 相關的經度和綿度、地理位置名稱和搜索關鍵詞。
14. 如權利要求9所述的方法，其特徵在於，所述消息驅動地理定位插件兼容 基於用戶數據報協議輸入的接口 。
15. 如權利要求9所述的方法，其特徵在於，所迷消息驅動地理定位插件在 NASA World Wind平臺上自定製源碼，接收所述數據包並實時更新可視化地球化 模型。
全文摘要
本發明揭示了一種用於監控網站訪客的地理位置和訪問狀態的系統，它包括網站Web伺服器集群、數據處理伺服器、資料庫伺服器、監控數據處理伺服器和可視化地球模型展示伺服器。本發明還揭示了一種用於監控網站訪客的方法，它主要包括網站Web伺服器集群產生操作日誌；數據欄位經數據處理伺服器解析得出並存儲至資料庫；監控數據處理伺服器實時讀取一條最新的日誌記錄並轉化生成數據包；消息驅動地理定位插件接收數據包並驅動可視化地球模型實時定位更新。採用本發明的系統和方法，可實時監控並展示網站訪客的詳細數據信息，也能夠有效地定位網站中的異常流量、惡意訪問源IP位址的地理位置與Internet註冊信息。
文檔編號H04L12/26GK101291259SQ20071010133
公開日2008年10月22日 申請日期2007年4月18日 優先權日2007年4月18日
發明者亮 馮, 王建勳, 王志雷 申請人:阿里巴巴集團控股有限公司