網絡站點訪問效果數據的監測方法和裝置製造方法
2023-12-06 14:51:06 2
網絡站點訪問效果數據的監測方法和裝置製造方法
【專利摘要】本申請公開了一種網絡站點訪問效果數據的監測方法和裝置，包括：數據獲取模塊實時獲取網絡站點的源會話數據；數據構建模塊將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中；數據計算模塊針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據；數據清理模塊在所述歸類緩存的會話失效時計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從存儲設備中清除。利用本發明，可提高監測網絡站點訪問效果數據的處理效率，提高監測的實時性。
【專利說明】網絡站點訪問效果數據的監測方法和裝置
【技術領域】
[0001]本發明涉及網際網路的數據處理技術，尤其涉及一種網絡站點訪問效果數據的監測方法和裝置。
【背景技術】
[0002]網絡站點訪問效果數據監測技術是為了理解和優化網際網路的使用而對網際網路中的站點進行的數據監測、數據收集、數據分析和數據報告的技術。通過合理地對網站的訪問數據進行追蹤和分析，能夠幫助網站提升運行效率，增加流量，乃至實現開發者期望網站達到的功能。
[0003]目前，網絡站點訪問效果數據的監測技術主要是對網絡站點的頁面訪問次數(PV，Page Views)和站點唯一訪客數(UV)進行統計檢測。
[0004]所述PV即頁面瀏覽量，通常是衡量一個網站甚至一條網絡新聞的主要指標。PV是評價網站流量最常用的指標之一，監測網站PV的變化趨勢和分析其變化原因是很多站點管理者定期要做的工作。頁面訪問次數中的頁面一般是指普通的html網頁，也包含php、jsp等動態產生的html內容。來自瀏覽器的一次html內容請求會被看作一個PV，逐漸累計成為PV總數。
[0005]所述UV是指不同的、通過網際網路訪問、瀏覽某個站點網頁的自然人。比如，在一臺電腦上，用戶A打開了某站點的主頁，註冊了一個會員。過了一會兒，用戶B也用同一臺電腦註冊了另一個會員。由於用戶A和用戶B兩個使用的是相同的計算機，那麼他們的IP位址是一樣的，這個站點的官方計數器記錄到一個IP登陸的信息。但是，進一步的站點訪問效果的監測系統，可以根據其他條件判斷出實際使用的用戶數量，返回給網站建設者真實、可信和準確的信息。比如通過註冊的用戶，甚至可以區分出網吧、機房等共享一個IP位址的不同計算機。
[0006]但是，現有技術存在監測實時性較差的技術缺陷。
[0007]現有技術的方案通常是利用大數據平臺，以天為單位將發生在網絡站點的訪問數據並匯總在一起，每天對所有的數據進行一次統計計算，得到當天的訪問效果數據，具體包括各個站點各個頁面的PV和UV數據。由於採用大數據平臺的匯總數據進行統一計算，計算量大，處理效率低下，對計算機的運算性能要求很高，因此很難做到實時監測得到訪問效果數據，通常只能是一天計算並更新一次站點的訪問效果數據，實時性太差；同時，由於計算量大，計算效率低，訪問效果數據中的分析數據的維度也較少。所述的維度是指從不同的計算屬性來計算對應的訪問效果數據，例如從訪問流量的屬性來計算對應的PV和UV數據，從訪問來源的屬性來計算對應的PV和UV數據等。
【發明內容】
[0008]有鑑於此，本發明的主要目的在於提供一種網絡站點訪問效果數據的監測方法和裝置，以提高監測網絡站點訪問效果數據的處理效率，提高監測的實時性。
[0009]本發明的技術方案是這樣實現的:
[0010]一種網絡站點訪問效果數據的監測方法，包括:
[0011]實時獲取網絡站點的源會話數據；
[0012]將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中；
[0013]針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據；
[0014]如果所述歸類緩存的會話失效，則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從存儲設備中清除。
[0015]一種網絡站點訪問效果數據的監測裝置，包括:
[0016]數據獲取模塊，用於實時獲取網絡站點的源會話數據；
[0017]數據構建模塊，用於將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中；
[0018]數據計算模塊，用於針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據；
[0019]數據清理模塊，用於判斷所述歸類緩存的會話是否失效，如果失效則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從存儲設備中清除。
[0020]與現有技術相比，本發明實時獲取網絡站點的源會話(Sess1n)數據，並將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中，從而將網絡站點的源數據在存儲時就切割成了 sess1n級別的存儲維度；然後，針對所歸類的每一會話，只要歸類緩存了新的會話數據，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到總訪問效果數據，從而提高了監測的實時性；在計算的過程中，由於數據讀取都是存儲設備級讀取，因此速度很快，而且更新的會話數據的數據量通常很小(相比現有技術大數據平臺一天統計的數據來講，要小好幾個數量級)，因此計算量也小，從而使得整體處理效率大幅提高，進一步保證了其實時計算的可能性，對機器的運算能力的要求也不高，不會增加硬體成本；最後，本發明還判斷所述歸類緩存的會話是否失效，如果失效則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中，從而完善訪問效果數據，之後將所述失效會話的會話數據從存儲設備中清除，從而釋放有限的存儲設備資源，使得可以為後續會話數據的更新緩存提供存儲設備空間。
【專利附圖】
【附圖說明】
[0021]圖1為本發明所述網絡站點訪問效果數據的監測方法的一種流程圖；
[0022]圖2為所述網絡站點訪問效果數據的監測方法的一種具體實施例的第一子流程的不意圖；
[0023]圖3為所述網絡站點訪問效果數據的監測方法的一種具體實施例的第二子流程的不意圖；
[0024]圖4為所述網絡站點訪問效果數據的監測方法的一種具體實施例的第三子流程的不意圖；
[0025]圖5為本發明所述網絡站點訪問效果數據的監測裝置的一種組成示意圖。
【具體實施方式】
[0026]下面結合附圖及具體實施例對本發明再作進一步詳細的說明
[0027]圖1為本發明所述網絡站點訪問效果數據的監測方法的一種流程圖。參見圖1，本發明的方法包括:
[0028]步驟101、實時獲取網絡站點的源會話(Sess1n)數據。
[0029]所述源會話數據就是記錄用戶會話的原始數據，所述會話是一個客戶機與伺服器之間的不中斷的請求響應序列。對客戶機的每個請求，伺服器能夠識別出請求來自於同一個客戶機。當一個未知的客戶機向網絡站點的應用程式發送第一個請求時就開始了一個會話。當客戶機明確結束會話或伺服器在一個預定義的時限內不從客戶接受任何請求時，會話就結束了。
[0030]客戶機向網絡站點的伺服器發送的首次請求可能不是客戶機與伺服器的第一次交互。首次請求指的是需要創建會話的請求。通常稱之為首次請求是因為該請求是對多個請求計數的開始(邏輯上)，也是伺服器開始記住客戶機的請求。例如，當用戶登錄或向購物車中添加一件商品時，就必須開始一個會話。
[0031]所述源會話數據按照類型可以分為源訪問數據和源行為數據，分別從訪問數據源和行為數據源中獲得。源會話數據中至少包括站點信息和會話標識信息。其中，所述源訪問數據還可以包括諸如:用戶標識(ID)、IP位址、cookie信息、會話開始和結束時間、訪問頁面的統一資源定位符(URL,Uniform Resource Locator)序列、以及常用網際網路協議如超文本傳輸協議(HTTP, Hypertext transfer protocol)中攜帶的數據。
[0032]所述源行為數據也可以包括諸如:用戶ID、IP位址、cookie信息、會話開始和結束時間、訪問頁面的URL序列等信息，但還需要包括用於記錄用戶在頁面上所發生的動作行為的序列信息，例如:用戶登錄、註冊、投票，發送微博等動作信息。
[0033]所述源會話數據的數據源通常是被監測的網絡站點的伺服器，被監測的網絡站點隨著用戶的不斷範圍，其伺服器會不斷產生相應的會話數據，這些會話數據對於執行本發明方法的計算機設備來講就是源會話數據，由於源會話數據會不斷的產生和更新，因此本發明需要實時地獲取源會話數據，包括新產生的源會話數據以及源會話數據的更新數據。
[0034]步驟102、將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中。
[0035]在一種優選實施例中，為了達到較高的讀寫速度，進一步提高實時性，所述存儲設備是指執行本發明所述方法的計算機設備的本地內存，在下面各實施例中，所述存儲設備以內存為例進行說明。當然所述存儲設備也可以是其它的存儲器如外存等。
[0036]本步驟102是一個數據構建的過程，構建的數據採用結構化存儲，存儲的基本單位是一個會話，即每一條數據結構單位就是一個會話的數據。此處將所述源會話數據按照站點和會話標識進行歸類緩存，從而將網絡站點的源會話數據在存儲時就切割成了會話級別的存儲維度。例如如果監測了 η個站點，每個站點產生了 m個會話，則通過本步驟數據構建過程中的歸類緩存處理，可以構建nXm個基本的數據單元，每個數據單元都是對應存儲一個會話數據。通常被監測網絡站點的源數據是巨量的，通過本發明的這種數據構建處理，就實現了對巨量數據源統一切割成會話級別的切片，非常適合實時地更新和統計計算。
[0037]步驟103、針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據。
[0038]本發明中，每獲取到一個新的會話數據，就會按照該會話數據的站點和會話標識將還會話數據歸類緩存到該會話對應的數據單元中，並觸發一次訪問效果數據的更新計算，該更新計算就是利用所述新的會話數據計算對應的新的訪問效果數據。所述每一次更新計算實質上是一次增量計算，計算出的新的訪問效果數據是一種增量的訪問效果數據，當前最新計算出的新的訪問效果數據需要合併到之前的總訪問效果數據中，得到最新的總訪問效果數據。所述之前的總訪問效果數據可以指定時間段，例如最近I小時，可以合併該指定時間段內的訪問效果數據。
[0039]由於每一次更新的會話數據量較小，因此更新計算的計算量也相對較小，因此本發明所計算的所述訪問效果數據可以覆蓋多個維度。例如在一種優選的實施方式中，本發明所能計算的訪問效果數據具體包括以下四個維度的分析數據中的至少一個:
[0040]I)訪問流量分析數據；
[0041]2)訪問來源分析數據；
[0042]3)訪客分析數據；
[0043]4)訪客行為分析數據。
[0044]所述各維度的分析數據中至少包括:站點頁面訪問次數PV數據以及站點唯一訪客UV數據。例如:
[0045]所述訪問流量分析數據中包括:訪問某一具體站點和/或具體頁面的總PV數，以及其中的UV數。
[0046]所述訪問來源分析數據中包括:訪問某一具體站點和/或具體頁面的請求來源的類型，如作業系統的類型、瀏覽器的類型、臺式機還是移動終端等，每種來源類型對應的PV數以及其中的UV數等。
[0047]所述訪客分析數據中包括:訪問某一具體站點和/或具體頁面的請求客戶的類型，如客戶的性別、年齡段、所在地域、興趣點等，每種客戶類型對應的PV數及其中的UV數等，例如可以計算男性客戶訪問A站點的PV數以及其中的UV數，計算北京客戶訪問A站點的PV數以及其中的UV數等等。
[0048]所述訪客行為分析數據中包括:訪問某一具體站點和/或具體頁面的具體的行為類型，例如對於微博站點，用戶是否參與了評論、是否參與了投票、是否觀看了其中的視頻、是否點擊了其中的網絡廣告等行為，以及每種行為類型對應的PV數和UV數等。例如針對B站點的C頁面中的網絡廣告的點擊行為，計算點擊該網絡廣告的客戶的PV數以及其中的UV數。
[0049]至於所述PV數和UV數的具體計算方法，可以採用現有的成熟技術，本文不再贅述。
[0050]步驟104、如果所述歸類緩存的會話失效，則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從內存中清除。
[0051]本步驟中，具體可以是定時判斷所述歸類緩存的會話是否失效，所述判斷所述歸類緩存的會話是否失效的具體方法例如可以是:判斷當前更新到的時間是否超出該會話所記錄失效時間，如果超出則判定該會話失效，否則判定該會話沒有失效。
[0052]本步驟中，所述計算會話失效效果數據，具體包括:根據該會話失效時的會話數據，計算該會話的總時長，提取該會話所完成的頁面訪問軌跡信息，生成頁面訪問路徑信息和頁面關聯信息，以及計算該會話的跳出率等。所述跳出率是指用戶訪問網絡站點並在該網絡站點上僅瀏覽了指定個頁面(通常是只瀏覽了一個頁面)就離開的訪問次數與所有訪問次數的百分比。
[0053]在計算完失效效果數據後，本發明還要將所述失效會話的會話數據從內存中清除，從而在計算多維度實時計算的同時，及時釋放資源，保證系統資源被有效利用到數據構建和數據計算中，為實時計算提供資源保障，提高了實時性。
[0054]本發明中，當源數據被切割成會話維度後，由於會話的較短時間結束(相對於天來講，可以達到分鐘級別)，以及會話在數據上的完整性，可以完全通過會話來切分大數據實行較多維度的統計計算，減少資源的利用，對所有的頁面訪問形成一種切分的邏輯。
[0055]本發明可以大幅提高訪問效果數據更新的實時性，數據更新精度可以達到分鐘級另IJ。本發明不依賴大的數據平臺，且包涵了效果計算的多個維度的實時計算，例如可以具體包括流量分析，來源分析，訪客分析，行為分析四個緯度，雖然計算緯度增多了，但是由於本發明採用的是增量更新計算，每一次更新計算的計算量較小，且及時釋放資源，因此可以提高多緯度計算的實時性，同時具有較高的計算速度和效率，從而節省對機器資源的佔用，降低機器運算能力要求。本發明可以在保證實時性和機器運算能力支持的情況下，計算結果的緯度比較豐富，系統可以及時反映站點的各緯度數據。
[0056]在一種優選的實施例中，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，即在進行數據構建時，還可以進一步包括:按照所述源會話數據的會話時間，對所獲取的各源會話數據進行時間同步調整。由於同時監測的網絡站點數量眾多，各源會話數據的設備來源不同，獲取到的各源會話數據可能在時間上不同步:例如，本發明依次獲取到了源會話數據a、源會話數據b、以及源會話數據C，但是根據對所述源會話數據中所記錄的會話時間分析，源會話數據c中記錄的會話時間是最先發生的，然後是源會話數據b記錄的會話時間，源會話數據a中記錄的會話時間是最晚的，因此，需要所述源會話數據的會話時間，對所獲取的各源會話數據進行時間同步調整，調整後的順序是源會話數據C、源會話數據b、源會話數據a。在本實施例中，所述步驟102將所述源會話數據按照站點和會話標識歸類緩存至內存中，具體為:按照所述時間同步調整後時間順序，將所述源會話數據按照站點和會話標識歸類緩存至內存中。這樣就保證了後續更新計算時的數據基礎的準確性，保證了訪問效果數據的精確度。
[0057]在另一種優選實施例中，本發明在所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，即在進行數據構建時，還可以進一步包括:獲取源會話數據中的用戶標識(如用戶ID，若沒有用戶ID的情況下可以是用戶的IP位址)，通過異步方式從用戶畫像數據源獲取該用戶標識對應的用戶畫像數據，將所述用戶畫像數據加入到該用戶標識所屬的源會話數據中。
[0058]所述用戶畫像數據是指按照基礎屬性來描繪用戶的構成比例，從用戶畫像數據中可以分析出具體用戶的基礎屬性，例如某用戶的性別、所在區域、興趣傾向等屬性信息。所述用戶畫像數據源是指專門的用戶畫像資料庫，其中存儲了根據歷史數據統計分析得到用戶的畫像數據。通過本優選實施例的處理，所述源會話數據中就增加了相應的用戶畫像數據，在歸類緩存後，利用這些會話數據計算出的訪問效果數據會更加精確和全面。
[0059]在本發明的另一種優選實施例中，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，即在進行數據構建時，還可以進一步包括:將所述源會話數據中的URL按照指定的壓縮編碼格式進行編碼，並編碼後的編碼數據代替該源會話數據中的對應的URL。這樣處理的原因是:通常URL的字符數量較多，佔用的存儲資源也較多，利用壓縮編碼格式對URL進行編碼後的編碼數據的字符數較少，可以節省存儲資源，尤其是本發明需要將會話數據緩存在內存中，而內存的存儲資源有限，因此這種編碼處理可以大幅節約內存資源，提高處理效率。
[0060]在本發明的又一種優選實施例中，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，即在進行數據構建時，進一步包括:判斷所述源會話數據中是否有頁面訪問記錄，如果沒有則進一步確定指定行為動作的發生次數，如果指定行為動作的發生次數超過預定的閾值，則將該指定行為動作的數據從該源會話數據中刪除。這樣可以防止黑客的惡意行為動作被納入訪問效果的計算，避免影響訪問效果數據的精確度。
[0061]另外，在本發明的又一種優選實施例中，在所述步驟103計算所述會話對應的新的訪問效果數據時，對於更新速度高於指定速度的維度，例如訪問流量分析數據、訪客分析數據、訪客行為分析數據，其更新速度可以達到分鐘級別，因此在計算這些維度的UV數據時，可以具體包括:採用set結構將用戶標識分維度存儲在指定存儲模塊(該存儲模塊可以是本地內存，也可以指定的外部存儲設備)，利用set結構計算所述維度下用戶的UV數。所述set結構是指:保存一組數據並完成數據去重，可以外部獲取這組數據唯一個數的一種存儲結構。
[0062]對於更新速度低於指定速度的維度，例如訪問來源分析數據中的瀏覽器類型和作業系統類型，其更新速度通常為天、甚至周的級別，因此在計算這些維度的UV數據時，可以具體包括:通過判斷當日的Uvset結構中是否含有用戶標識來計算該維度下用戶的UV數據。所述uvset結構是指:存儲UV數據的set結構。
[0063]另外，本發明所監測出的訪問效果數據可以實時導出到內存型的資料庫，並可以進一步將內存資料庫中的訪問效果數據按照周期更新至外部存儲設備，供報表展示；同時可以將關聯和路徑數據更新至所構建的數據結構中，其頻率可根據外部存儲資料庫的性能來調節更新周期。
[0064]下面說明本發明所述網絡站點訪問效果數據的監測方法的一種具體實施例的流程。該實施例中主要包括三個子流程。圖2為所述網絡站點訪問效果數據的監測方法的一種具體實施例的第一子流程的示意圖；圖3為所述網絡站點訪問效果數據的監測方法的一種具體實施例的第二子流程的示意圖；圖4為所述網絡站點訪問效果數據的監測方法的一種具體實施例的第三子流程的示意圖。在具體實施時，該三個子流程可以並行執行。
[0065]參見圖2，該第一子流程為源會話數據的處理流程，其中包括:
[0066]步驟201、獲取源會話數據，掃描得到的數據。
[0067]步驟202、根據源會話數據中的會話時間判斷是否需要對獲取的源會話數據進行同步，如果需要則進行數據同步，即對所獲取的源會話數據進行時間同步調整。
[0068]步驟203、數據變化與存儲，即將源會話數據中的URL按照指定的壓縮編碼格式進行編碼，並編碼後的編碼數據代替該源會話數據中的對應的URL ;然後依照時間順序，將所述源會話數據按照站點和會話標識歸類緩存至內存中。
[0069]步驟204、判斷當前掃描到的會話數據是否為對應的會話的首個頁面，如果是則跳到步驟205 ;否則跳到步驟206。
[0070]步驟205、根據用戶標識獲取對應的用戶畫像數據，將所述用戶畫像數據加入到該用戶標識所屬的源會話數據中。
[0071]通常一個會話對應一個用戶畫像數據，因此本實施例中在會話的首個頁面時獲取用戶畫像數據，在該會話的後續頁面則不必再獲取用戶畫像數據。
[0072]步驟206、利用上述得到的源會話數據更新對應會話的會話數據。
[0073]步驟207、進行更新計算，即計算各維度的增量訪問效果數據(如訪問流量分析數據、訪問來源分析數據、訪客分析數據、訪客行為分析數據)。
[0074]步驟208、將當前最新計算出的增量訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據。返回步驟201，繼續處理下一條源會話數據。
[0075]參見圖3，所述第二子流程為數據清理計算的處理流程，其中包括:
[0076]步驟301、該數據清理計算的處理流程是定期執行的流程，因此在初始化時處於睡眠(sleep)狀態。
[0077]步驟302、在睡眠狀態時獲取當前時間。
[0078]步驟303、判斷當前時間是否到達預設的數據清理計算的時間，如果是則跳到步驟304，否則返回步驟301繼續睡眠。
[0079]步驟304、遍歷所監測的每個站點的每個會話。
[0080]步驟305、判斷當前會話是否失效，如果失效則跳到步驟306，否則遍歷下一個會話。
[0081]步驟306、計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中。
[0082]步驟307、將所述失效會話的會話數據從內存中清除，從而釋放內存資源，返回睡眠狀態。
[0083]參見圖4，所述第三子流程為結果入庫輸出的處理流程，其中包括:
[0084]步驟401、該結果入庫輸出的處理流程是定期執行的流程，因此在初始化時處於睡眠(sleep)狀態。
[0085]步驟402、在睡眠狀態時獲取當前時間。
[0086]步驟403、判斷當前時間是否到達預設的入庫輸出的時間，如果是則跳到步驟404，否則返回步驟401繼續睡眠。
[0087]步驟404、遍歷所監測的每個站點。
[0088]步驟405、將所述站點的最新的總訪問效果數據導出到指定的資料庫，返回步驟401繼續睡眠。
[0089]與本發明上述的方法對應，本發明還公開了一種網絡站點訪問效果數據的監測裝置，用於執行上述方法。圖5為本發明所述網絡站點訪問效果數據的監測裝置的一種組成示意圖。參見圖5，該監測裝置包括:
[0090]數據獲取模塊501，用於實時獲取網絡站點的源會話數據。
[0091]所述源會話數據按照類型可以分為源訪問數據和源行為數據，分別從訪問數據源和行為數據源中獲得。源會話數據中至少包括站點信息和會話標識信息。其中，所述源訪問數據還可以包括諸如:用戶標識(ID)、IP位址、cookie信息、會話開始和結束時間、訪問頁面的URL序列、以及常用網際網路協議如HTTP中攜帶的數據。
[0092]所述源行為數據也可以包括諸如:用戶ID、IP位址、cookie信息、會話開始和結束時間、訪問頁面的URL序列等信息，但還需要包括用於記錄用戶在頁面上所發生的動作行為的序列信息。
[0093]數據構建模塊502，用於將所述源會話數據按照站點和會話標識歸類緩存至內存中。
[0094]數據計算模塊503，用於針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據。
[0095]數據清理模塊504，用於定時判斷所述歸類緩存的會話是否失效，如果失效則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從內存中清除。
[0096]在一種優選實施例中，所述數據獲取模塊中進一步包括同步子模塊511，用於按照所獲取的源會話數據的會話時間，對所獲取的各源會話數據進行時間同步調整；且在該實施例中，所述數據構建模塊502具體用於:按照所述時間同步調整後時間順序，將所述源會話數據按照站點和會話標識歸類緩存至內存中。
[0097]在另一種優選實施例中，所述數據構建模塊502進一步用於:在將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，獲取源會話數據中的用戶標識，從用戶畫像數據源獲取該用戶標識對應的用戶畫像數據，將所述用戶畫像數據加入到該用戶標識所屬的源會話數據中。
[0098]在又一種優選實施例中，所述數據構建模塊502進一步用於:在將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，將所述源會話數據中的統一資源定位符URL按照指定的壓縮編碼格式進行編碼，並編碼後的編碼數據代替該源會話數據中的對應的 URL。
[0099]在又一種優選實施例中，所述數據構建模塊502進一步用於:在將所述源會話數據按照站點和會話標識歸類緩存至內存中之前，判斷所述源會話數據中是否有頁面訪問記錄，如果沒有則進一步確定指定行為動作的發生次數，如果指定行為動作的發生次數超過預定的閾值，則將該指定行為動作的數據從該源會話數據中刪除。
[0100]本發明中的一種優選實施例中，所述訪問效果數據具體包括以下四個維度的分析數據中的至少一個:
[0101]訪問流量分析數據、訪問來源分析數據、訪客分析數據、訪客行為分析數據。所述各維度的分析數據中至少包括:站點頁面訪問次數(PV)數據以及站點唯一訪客(UV)數據。
[0102]所述數據計算模塊503具體包括:對於更新速度高於指定速度的維度，採用set結構將用戶標識分維度存儲在指定存儲模塊，利用set結構計算所述維度下用戶的UV數據；對於更新速度低於指定速度的維度，通過判斷當日的uvset結構中是否含有用戶標識來計算所述維度下用戶的UV數據。
[0103]本發明還可以進一步包括輸出模塊505，用於將實時計算出的訪問效果數據導出到指定的存儲設備中，如導出到內存型資料庫中，後續可以訪問該資料庫生成響應的數據?艮表。
[0104]本發明還可以進一步包括系統狀態模塊506，該模塊通過分布在業務處理，錯誤處理等的各上報節點來收集系統運行參數，保存系統指定時間周期內的運行參數匯總，用於維護本監測裝置500的各個狀態指標並輸出，使系統內部對外可視化。這些狀態主要包括系統當前使用的sess1n個數,過去一定時間內申請的sess1n個數和釋放的sess1n個數，處理請求花費的系統時鐘，處理的請求數。
[0105]另外，在本發明各個實施例中的各功能模塊可以集成在一個處理單元中，也可以是各個模塊單獨物理存在，也可以兩個或兩個以上模塊集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。所述各實施例的功能模塊可以位於一個終端或網絡節點，或者也可以分布到多個終端或網絡節點上。
[0106]另外，本發明的每一個實施例可以通過由數據處理設備如計算機執行的數據處理程序來實現。顯然，數據處理程序構成了本發明。此外，通常存儲在一個存儲介質中的數據處理程序通過直接將程序讀取出存儲介質或者通過將程序安裝或複製到數據處理設備的存儲設備(如硬碟和或內存)中執行。因此，這樣的存儲介質也構成了本發明。存儲介質可以使用任何類型的記錄方式，例如紙張存儲介質(如紙帶等)、磁存儲介質(如軟盤、硬碟、快閃記憶體等)、光存儲介質(如CD-ROM等)、磁光存儲介質(如MO等)等。
[0107]因此本發明還公開了一種存儲介質，其中存儲有數據處理程序，該數據處理程序用於執行本發明上述方法的任何一種實施例。
[0108]以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
【權利要求】
1.一種網絡站點訪問效果數據的監測方法，其特徵在於，包括: 實時獲取網絡站點的源會話數據； 將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中； 針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據； 如果所述歸類緩存的會話失效，則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從存儲設備中清除。
2.根據權利要求1所述的方法，其特徵在於，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，進一步包括:按照所述源會話數據的會話時間，對所獲取的各源會話數據進行時間同步調整； 所述將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中，具體包括:按照所述時間同步調整後時間順序，將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中。
3.根據權利要求1所述的方法，其特徵在於，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，進一步包括: 獲取源會話數據中的用戶標識，從用戶畫像數據源獲取該用戶標識對應的用戶畫像數據，將所述用戶畫像數據加入到該用戶標識所屬的源會話數據中。
4.根據權利要求1所述的方法，其特徵在於，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，進一步包括: 將所述源會話數據中的統一資源定位符URL按照指定的壓縮編碼格式進行編碼，並編碼後的編碼數據代替該源會話數據中的對應的URL。
5.根據權利要求1所述的方法，其特徵在於，所述實時獲取網絡站點的源會話數據之後、將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，進一步包括: 判斷所述源會話數據中是否有頁面訪問記錄，如果沒有則進一步確定指定行為動作的發生次數，如果指定行為動作的發生次數超過預定的閾值，則將該指定行為動作的數據從該源會話數據中刪除。
6.根據權利要求1所述的方法，其特徵在於，所述訪問效果數據具體包括以下四個維度的分析數據中的至少一個: 訪問流量分析數據、訪問來源分析數據、訪客分析數據、訪客行為分析數據。
7.根據權利要求6所述的方法，其特徵在於，所述各維度的分析數據中至少包括:站點頁面訪問次數PV數據以及站點唯一訪客UV數據。
8.根據權利要求7所述的方法，其特徵在於， 對於更新速度高於指定速度的維度，所述計算UV數據時，具體包括:採用set結構將用戶標識分維度存儲在指定存儲模塊，利用set結構計算所述維度下用戶的UV數據； 對於更新速度低於指定速度的維度，所述計算UV數據時，具體包括:通過判斷當日的uvset結構中是否含有用戶標識來計算所述維度下用戶的UV數據。
9.根據權利要求1至8任一項所述的方法，其特徵在於，所述存儲設備為內存。
10.一種網絡站點訪問效果數據的監測裝置，其特徵在於，包括: 數據獲取模塊，用於實時獲取網絡站點的源會話數據； 數據構建模塊，用於將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中； 數據計算模塊，用於針對所歸類的每一會話，在歸類緩存了新的會話數據時，則利用該新的會話數據計算對應的新的訪問效果數據，將該新的訪問效果數據合併到之前的總訪問效果數據中，得到最新的總訪問效果數據； 數據清理模塊，用於判斷所述歸類緩存的會話是否失效，如果失效則計算會話失效效果數據，將所述會話失效效果數據合併至所述最新的總訪問效果數據中；將所述失效會話的會話數據從存儲設備中清除。
11.根據權利要求10所述的裝置，其特徵在於， 所述數據獲取模塊中進一步包括同步子模塊，用於按照所獲取的源會話數據的會話時間，對所獲取的各源會話數據進行時間同步調整； 所述數據構建模塊具體用於:按照所述時間同步調整後時間順序，將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中。
12.根據權利要求10所述的裝置，其特徵在於， 所述數據構建模塊進一步用於:在將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，獲取源會話數據中的用戶標識，從用戶畫像數據源獲取該用戶標識對應的用戶畫像數據，將所述用戶畫像數據加入到該用戶標識所屬的源會話數據中。
13.根據權利要求10所述的裝置，其特徵在於， 所述數據構建模塊進一步用於:在將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，將所述源會話數據中的統一資源定位符URL按照指定的壓縮編碼格式進行編碼，並編碼後的編碼數據代替該源會話數據中的對應的URL。
14.根據權利要求10所述的裝置，其特徵在於， 所述數據構建模塊進一步用於:在將所述源會話數據按照站點和會話標識歸類緩存至存儲設備中之前，判斷所述源會話數據中是否有頁面訪問記錄，如果沒有則進一步確定指定行為動作的發生次數，如果指定行為動作的發生次數超過預定的閾值，則將該指定行為動作的數據從該源會話數據中刪除。
15.根據權利要求10所述的裝置，其特徵在於， 所述訪問效果數據具體包括以下四個維度的分析數據中的至少一個: 訪問流量分析數據、訪問來源分析數據、訪客分析數據、訪客行為分析數據。
16.根據權利要求15所述的裝置，其特徵在於，所述各維度的分析數據中至少包括:站點頁面訪問次數PV數據以及站點唯一訪客UV數據。
17.根據權利要求16所述的裝置，其特徵在於，所述數據計算模塊具體包括: 對於更新速度高於指定速度的維度，採用set結構將用戶標識分維度存儲在指定存儲模塊，利用set結構計算所述維度下用戶的UV數據； 對於更新速度低於指定速度的維度，通過判斷當日的uvset結構中是否含有用戶標識來計算所述維度下用戶的UV數據。
18.根據權利要求10至17任一項所述的裝置，其特徵在於，所述存儲設備為內存。
【文檔編號】H04L12/24GK104426713SQ201310380434
【公開日】2015年3月18日 申請日期:2013年8月28日 優先權日:2013年8月28日
【發明者】曲豹創, 徐波 申請人:騰訊科技（北京）有限公司