一種日誌處理方法、裝置及伺服器的製造方法
2023-05-06 02:20:01
一種日誌處理方法、裝置及伺服器的製造方法
【專利摘要】本發明提供了一種日誌的處理方法、裝置及伺服器，其中方法包括：為待處理的日誌文件分配多個線程；根據所述多個線程的數量，對所述待處理的日誌文件的數據進行分塊；使用所述多個線程並行地對所述日誌文件的各個塊分別進行處理。本發明使用多個線程並行地對日誌文件的各個塊分別進行處理，與現有技術中採用串行方式處理日誌文件的方式相比，可以有效地提高日誌的執行速度，提升了日誌的整體處理效率，同時節約了處理器的資源。
【專利說明】—種日誌處理方法、裝置及伺服器
【技術領域】
[0001]本發明涉及數據處理【技術領域】，尤其涉及一種日誌的處理方法、裝置及伺服器。
【背景技術】
[0002]在數據處理【技術領域】，通常會採用一種載體將某種行為相關的數據進行記錄下來用於分析，例如，在計算機中，這種載體例如可以是用戶行為日誌等，一種純文本。根據提前制定的記錄規則，該載體記錄了用戶個體的全部行為，隨著客戶端用戶的增多、用戶行為的複雜，該載體的容量大小也會隨之變大。
[0003]舉個實際的例子來說，在客戶端發起點播視頻的操作並加載成功後，客戶端會將用戶的行為數據發送給伺服器，這些行為數據包括:播放操作、播放的內容、頻道、播放的碼率和網絡速率等數據。伺服器會將這些數據按照設定的格式例如W3C的格式存儲為日誌，並可以通過讀取這些日誌記錄的內容，對用戶的行為數據進行處理例如進行統計和分析，從而得到有價值的信息。
[0004]因此，越高效地對日誌進行處理，可以越早地得到有價值的信息，現有用戶行為日誌，通常以按日期(天或者小時)的方式進行存儲，裡面每一行數據均是一條完整的用戶行為數據，現有的日誌處理方式通常使用的是串行方式即:針對每一個日誌文件以從頭讀到尾的方式順序處理數據，處理完一個文件後，再處理下一個日誌文件。這種處理方式，會造成過多的時間等待，浪費大量的處理器資源，導致日誌處理的整體效率較低。
【發明內容】
[0005]鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種日誌處理方法、裝置及伺服器。
[0006]基於上述問題，本發明實施例提供的一種日誌的處理方法，包括:
[0007]為待處理的日誌文件分配多個線程；
[0008]根據所述多個線程的數量，對所述待處理的日誌文件的數據進行分塊；
[0009]使用所述多個線程並行地對所述日誌文件的各個塊分別進行處理。
[0010]本發明實施例提供的一種日誌的處理裝置，包括:
[0011]分配模塊，用於為待處理的日誌文件分配多個線程；
[0012]分塊模塊，用於根據所述多個線程的數量，對所述待處理的日誌文件的數據進行分塊；
[0013]並行處理模塊，用於使用多個線程並行地對日誌文件的各個塊分別進行處理。
[0014]本發明實施例提供的伺服器，包括本發明實施例提供的上述日誌的處理裝置。
[0015]本發明實施例的有益效果包括:
[0016]本發明實施例提供的日誌的處理方法、裝置及伺服器，首先為待處理的日誌文件分配多個線程，然後根據多個線程的數量，對待處理的日誌文件的數據進行分塊，使用多個線程並行地對日誌文件的各個塊分別進行處理，與現有技術中採用串行方式處理日誌文件的方式相比，可以有效地提高日誌的執行速度，提升了日誌的整體處理效率，同時節約了處理器的資源。
[0017]上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0018]通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0019]圖1為本發明實施例提供的日誌的處理方法的流程圖；
[0020]圖2為本發明實施例提供的初步分塊後各塊的示意圖；
[0021]圖3為本發明實施例提供的實例的流程圖；
[0022]圖4為本發明實施例提供的日誌的處理裝置的結構圖。
【具體實施方式】
[0023]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
[0024]下面結合說明書附圖，對本發明實施例提供的一種日誌的處理方法、裝置及伺服器的【具體實施方式】進行說明。
[0025]首先對本發明實施例提供的一種日誌的處理方法進行說明，如圖1所示，該方法具體包括以下步驟:
[0026]SI 1、為待處理的日誌文件分配多個線程；
[0027]S12、根據多個線程的數量，對待處理的日誌文件的數據進行分塊；
[0028]S13、使用多個線程並行地對日誌文件的各個塊分別進行處理。
[0029]下面分別對上述各步驟進行詳細說明。
[0030]上述Sll中，用於處理待處理日誌的多個線程的數量，在具體實施時，可以根據處理器的數量和每個處理器的內核數來確定。
[0031]在現有技術中，由於串行的日誌處理方式，會帶來日誌處理效率的低下，在本發明實施例中，將日誌由串行處理更改為並行處理，這就需要多個線程同時參與日誌的處理過程。
[0032]處理日誌的線程的數量，可以依照當前處理器的內核數來確定，按照目前的計算機技術的發展，採用多處理器已經成為主流，這樣，多個處理器存在的情況下，可以根據處理器的內核數量來確定線程的數量，例如，採用下述公式來計算多個線程的數量:
[0033]多個線程的數量=處理器的數量*每個處理器的內核數-1。
[0034]上述公式中，處理器的內核是指處理器的邏輯核心數。
[0035]上述公式的原理在於:所有處理器擁有的線程數即處理器擁有的邏輯核心數的總數，由於在多線程並行處理日誌時，除了並行處理的多個線程之外，還必須保留一個主線程，因此，參照上述公式，參與並行處理日誌的線程數量可以為處理器的數量*每個處理器的內核數-1。
[0036]當然，本發明實施例中，參與並行處理日誌的線程數量也不限於使用上述公式計算，與串行進行日誌的處理的方式相比，即使參與並行處理的線程數量較少，比如2、3個，也會帶來處理效率的極大的提高，但是，在能夠使用的線程數量的範圍內，並不是參與並行處理的線程的數量越多並行處理的效率越高，在並行處理的線程數量達到一定的數值時，隨著線程的數量的增加其處理效率會無變化甚至會稍有降低，在具體實施時，可以經過試驗，選取適當數量的線程參與並行處理日誌，達到提高處理效率的技術效果。
[0037]進一步地，上述S12中，根據多個線程的數量，對待處理的日誌文件的數據進行分塊，具體通過下述過程實現:
[0038]將日誌文件的大小除以多個線程的數量，得到每個線程需處理的字節數；
[0039]根據每個線程需處理的字節數，對日誌文件進行分塊。
[0040]由於日誌文件中每行日誌均以分割符與其他行相區分，如果將日誌文件的大小除以多個線程的數量，得到每個線程需處理的字節數，嚴格按照每個線程需處理的字節數作為塊大小進行分塊的話，會使得分塊的首或者尾出現斷行，即不完整的數據，對於每個線程來說，斷行的數據是不能正常處理的，因此，在本發明實施例中，需要把這些不完整的數據的大小計算出來，把日誌文件中相鄰的兩塊的斷行補全。
[0041]具體來說，就是在進行分塊時，將前面計算出來的線程需處理的字節數作為每個塊的大小，對日誌文件進行初步分塊，然後判斷每個分塊的最後一行日誌是否為斷行，若是，將該最後一行日誌進行補齊或者劃分到下一個塊，調整初步分塊得到的各個塊的大小。
[0042]本發明實施例中，日誌文件可以是IIS (Internet Informat1n Services) W3C格式的日誌，但不局限於IIS W3C格式的日誌，日誌的載體可以是後綴名為.log的文件，但並不限於上述後綴名的文件，還可以是具有其他後綴名的純文本文件。
[0043]本發明實施例中，線程對日誌文件的處理包括對日誌進行解析等操作。
[0044]為了更好地說明上述分塊的過程，下面一個具體的實例進行詳細說明。
[0045]假設處理器數量是1，內核數是4，日誌文件的字節數是102400。
[0046]根據上述公式:多個線程的數量=處理器的數量*每個處理器的內核數-1 ;計算出參與日誌並行處理線程數是3，為了描述的方便，下面稱為線程1、線程2和線程3，同時把日誌等分為3塊，這樣，平均每個線程處理的字節數是34133，餘數是I。
[0047]如圖2所示，初步分塊的結果如下:
[0048]線程I處理的字節數是34133，即圖2所示的A塊文件；
[0049]線程2處理的字節數是34133，即圖2所示的B塊文件；
[0050]線程3處理的字節數是34134，即圖2所示的C塊文件；
[0051]對初步劃分的各塊進行斷行補齊過程，即調整各塊大小的過程。補齊時，可以將某一塊的末尾斷行從下一塊中補齊，也可以將該塊的末尾斷行劃分到下一塊中去補齊下一塊的首行。
[0052]下面採用將末尾斷行劃分下一塊去補齊的方式進行繼續說明。
[0053]在這個實例中，使用指針來標識一個塊的結尾數據。
[0054]首先，從初步劃分後得到的A塊文件的最後一個字符向前一個一個字符串順序讀取，直到讀取的字符串是行分隔符(例如回車換行符)，記錄讀取的總字節數(如果不是斷行，則記錄的字節數是O)。
[0055]用同樣的方式處理B塊文件，記錄B文件最後一行的字節數。
[0056]C塊文件是最後一個日誌塊，最後一行是完整的，所以不處理跳過。
[0057]然後修正初步分塊(等分)之後各塊的指針偏移值:
[0058]A文件處理的指針起點=0，長度=34133 -A塊文件最後一行的字節數；
[0059]B塊文件處理的指針起點=34133 - A塊文件最後一行的字節數，長度=34133+A塊文件最後一行的字節數- B塊文件最後一行的字節數
[0060]C塊文件處理的指針起點=68266 - B塊文件最後一行的字節數，長度=34134+B塊文件最後一行的字節數。
[0061]經過上述調整過程後，線程1、線程2和線程3就可以分別從修正後的指針的起點開始處理相應大小的塊。
[0062]進一步地，在上述Sll?S13之後，本發明實施例提供的上述日誌的處理方法，還包括下述步驟:
[0063]判斷所有線程是否都對完成對塊的處理；
[0064]若是，對所有線程的處理結果執行去重、合併和輸入資料庫的操作。
[0065]如圖3所示的是上述實例的實現流程，該流程中，首先初始化該流程涉及到的數據集合以及執行期間需要使用的內部變量，然後，打開待處理的日誌文件，讀取日誌讀取出日誌文件的大小(字節數)，讀取處理器的數量以及內核數，並據此分配參與並行處理的線程，並計算每個線程處理的日誌的塊的大小，同時計算等分日誌的偏移值。
[0066]隨後，所分配的η個線程並行處理各個塊，即每個線程按照計算好的指針起點開始讀取日誌，對日誌在內存集合中進行解析，然後判斷是否所有線程都處理完畢，當所有線程都處理完畢之後，對內存集合中處理的結果進行去重和合併，例如針對同一個用戶的行為數據出現在多個內存集合的情況，按照業務需求對相同的數據進行去重或者保留該用戶最新的行為數據。
[0067]最後將經過去重和合併處理後的數據插入資料庫。
[0068]另外，本發明實施例提供的上述日誌的處理方法，在實際應用時，較佳地適用於比較大的日誌文件,如果日誌文件太小,例如不足100兆，則多線程並行處理的方式的處理效率甚至會低於傳統的串行的處理效率，在實施本發明實施例提供的上述方法之前，還可以先判斷一下待處理的日誌文件的大小，如果小於設定的閾值(例如100Μ)，那麼可以採用現有技術的處理方法，如果大於該閾值，則採用本發明實施例提供的上述方法。
[0069]基於同一發明構思，本發明實施例還提供了一種日誌的處理裝置及伺服器，由於這些裝置和伺服器所解決問題的原理與前述日誌的處理方法相似，因此該裝置和伺服器的實施可以參見前述方法的實施，重複之處不再贅述。
[0070]本發明實施例提供的日誌的處理裝置，如圖4所示，包括:
[0071]分配模塊401，用於為待處理的日誌文件分配多個線程；
[0072]分塊模塊402，用於根據多個線程的數量，對待處理的日誌文件的數據進行分塊；
[0073]並行處理模塊403，用於使用多個線程並行地對日誌文件的各個塊分別進行處理。
[0074]進一步地，本發明實施例提供的日誌的處理裝置，如圖4所示，還包括:確定模塊404 ；
[0075]上述確定模塊404，用於根據處理器的數量和每個處理器的內核數確定所述多個線程的數量。
[0076]上述確定模塊404，進一步用於通過下述公式計算多個線程的數量:多個線程的數量=處理器的數量*每個處理器的內核數-1。
[0077]進一步地，上述分塊模塊402，具體用於將日誌文件的大小除以所述多個線程的數量，得到每個線程需處理的字節數；根據所述每個線程需處理的字節數，對所述日誌文件進行分塊。
[0078]進一步地，上述分塊模塊402，具體用於將線程需處理的字節數作為每個塊的大小，對日誌文件進行初步分塊；判斷每個分塊的最後一行日誌是否為斷行，若是，將該最後一行日誌進行補齊或者劃分到下一個塊，調整初步分塊得到的各個塊的大小。
[0079]進一步地，本發明實施例提供的日誌的處理裝置，如圖4所示，還包括:後處理模塊405，用於在使用所述多個線程並行地對日誌文件的各個塊分別進行處理之後，判斷所有線程是否都對完成對塊的處理；若是，對所有線程的處理結果執行去重、合併和輸入資料庫的操作。
[0080]本發明實施例還提供了一種伺服器，該伺服器包括本發明實施例提供的上述日誌的處理裝置。
[0081]本發明實施例提供的日誌的處理方法、裝置及伺服器，首先為待處理的日誌文件分配多個線程，然後根據多個線程的數量，對待處理的日誌文件的數據進行分塊，使用多個線程並行地對日誌文件的各個塊分別進行處理，與現有技術中採用串行方式處理日誌文件的方式相比，可以有效地提高日誌的執行速度，提升了日誌的整體處理效率，同時節約了處理器的資源。
[0082]在此提供的算法和顯示不與任何特定計算機、虛擬系統或者其它設備固有相關。各種通用系統也可以與基於在此的示教一起使用。根據上面的描述，構造這類系統所要求的結構是顯而易見的。此外，本發明也不針對任何特定程式語言。應當明白，可以利用各種程式語言實現在此描述的本發明的內容，並且上面對特定語言所做的描述是為了披露本發明的最佳實施方式。
[0083]在此處所提供的說明書中，說明了大量具體細節。然而，能夠理解，本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中，並未詳細示出公知的方法、結構和技術，以便不模糊對本說明書的理解。
[0084]類似地，應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個權利要求中所明確記載的特徵更多的特徵。更確切地說，如下面的權利要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循【具體實施方式】的權利要求書由此明確地併入該【具體實施方式】，其中每個權利要求本身都作為本發明的單獨實施例。
[0085]本領域那些技術人員可以理解，可以對實施例中的設備中的模塊進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外，可以採用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
[0086]此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如，在下面的權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0087]本發明的各個部件實施例可以以硬體實現，或者以在一個或者多個處理器上運行的軟體模塊實現，或者以它們的組合實現。本領域的技術人員應當理解，可以在實踐中使用微處理器或者數位訊號處理器(DSP)來實現根據本發明實施例的日誌的處理裝置、伺服器中的一些或者全部部件的一些或者全部功能。本發明還可以實現為用於執行這裡所描述的方法的一部分或者全部的設備或者裝置程序(例如，電腦程式和電腦程式產品)。這樣的實現本發明的程序可以存儲在計算機可讀介質上，或者可以具有一個或者多個信號的形式。這樣的信號可以從網際網路網站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0088]應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制，並且本領域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中，不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞「包含」不排除存在未列在權利要求中的元件或步驟。位於元件之前的單詞「一」或「一個」不排除存在多個這樣的元件。本發明可以藉助於包括有若干不同元件的硬體以及藉助於適當編程的計算機來實現。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬體項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0089]顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
【權利要求】
1.一種日誌的處理方法，其特徵在於，包括: 為待處理的日誌文件分配多個線程； 根據所述多個線程的數量，對所述待處理的日誌文件的數據進行分塊； 使用所述多個線程並行地對所述日誌文件的各個塊分別進行處理。
2.如權利要求1所述的方法，其特徵在於，所述多個線程的數量通過下述方式確定: 根據處理器的數量和每個處理器的內核數確定所述多個線程的數量。
3.如權利要求2所述的方法，其特徵在於，所述根據處理器的數量和每個處理器的內核數確定所述多個線程的數量，具體包括: 使用下述公式計算多個線程的數量: 多個線程的數量=處理器的數量*每個處理器的內核數-1。
4.如權利要求1-3任一項所述的方法，其特徵在於，根據所述多個線程的數量，對所述待處理的日誌文件的數據進行分塊，具體包括: 將日誌文件的大小除以所述多個線程的數量，得到每個線程需處理的字節數； 根據所述每個線程需處理的字節數，對所述日誌文件進行分塊。
5.如權利要求4所述的方法，其特徵在於，根據所述每個線程需處理的字節數，對所述日誌文件進行分塊，包括: 將所述線程需處理的字節數作為每個塊的大小，對日誌文件進行初步分塊； 判斷每個分塊的最後一行日誌是否為斷行，若是，將該最後一行日誌進行補齊或者劃分到下一個塊，調整初步分塊得到的各個塊的大小。
6.如權利要求1-3任一項所述的方法，其特徵在於，使用所述多個線程並行地對日誌文件的各個塊分別進行處理之後，還包括: 判斷所有線程是否都對完成對塊的處理； 若是，對所有線程的處理結果執行去重、合併和輸入資料庫的操作。
7.一種日誌的處理裝置，其特徵在於，包括: 分配模塊，用於為待處理的日誌文件分配多個線程； 分塊模塊，用於根據所述多個線程的數量，對所述待處理的日誌文件的數據進行分塊； 並行處理模塊，用於使用多個線程並行地對日誌文件的各個塊分別進行處理。
8.如權利要求7所述的裝置，其特徵在於，還包括:確定模塊，用於根據處理器的數量和每個處理器的內核數確定所述多個線程的數量。
9.如權利要求8所述的裝置，其特徵在於，所述確定模塊，進一步用於通過下述公式計算多個線程的數量:多個線程的數量=處理器的數量*每個處理器的內核數-1。
10.如權利要求7-9任一項所述的裝置，其特徵在於，所述分塊模塊，具體用於將日誌文件的大小除以所述多個線程的數量，得到每個線程需處理的字節數；根據所述每個線程需處理的字節數，對所述日誌文件進行分塊。
11.如權利要求10所述的裝置，其特徵在於，所述分塊模塊，具體用於將所述線程需處理的字節數作為每個塊的大小，對日誌文件進行初步分塊；判斷每個分塊的最後一行日誌是否為斷行，若是，將該最後一行日誌進行補齊或者劃分到下一個塊，調整初步分塊得到的各個塊的大小。
12.如權利要求7-9任一項所述的裝置，其特徵在於，還包括:後處理模塊，用於在使用所述多個線程並行地對日誌文件的各個塊分別進行處理之後，判斷所有線程是否都對完成對塊的處理；若是，對所有線程的處理結果執行去重、合併和輸入資料庫的操作。
13.一種伺服器，其特徵在於，所述伺服器包括如權利要求7-12任一項所述的日誌的處理裝置。
【文檔編號】G06F11/34GK104239133SQ201410505864
【公開日】2014年12月24日 申請日期:2014年9月26日 優先權日:2014年9月26日
【發明者】郭濤 申請人:北京國雙科技有限公司