用於提高網絡爬蟲穩定性、可用性的數據處理方法及裝置與流程

2023-04-29 18:27:46

本發明涉及數據處理
技術領域：
：，具體涉及一種用於提高網絡爬蟲穩定性、可用性的數據處理方法及裝置。
背景技術：
：：隨著網際網路的普及和發展，電子商務網站，門戶網站，博客，微博等各種類型的信息都發布在網際網路上，人們可以通過網際網路搜集海量資訊並進行分析、統計，以獲取需要的信息。現有的方法是採用網絡爬蟲技術獲取信息，除去圖片、視頻等二進位內容，網絡爬蟲一般獲取的是網頁文本內容，傳統爬蟲使用正則表達式、xpath或者位置進行信息的解析。但存在的問題是，網頁是動態變化的，比如：業務欄位名/欄位值的位置、html的標籤id、xpath路徑可能隨時會發生變化。網頁的動態特性決定了網絡爬蟲頻繁維護的特性，因此，現有的網絡爬蟲普適性差、維護成本很高。技術實現要素：針對現有技術中的缺陷，本發明提供的用於提高網絡爬蟲穩定性、可用性的數據處理方法及裝置，可以自動識別網頁頁面的非結構性變化，並採用自適應的數據抽取邏輯，無須頻繁維護。第一方面，本發明提供的一種用於提高網絡爬蟲穩定性、可用性的數據處理方法，包括：步驟S1，根據事先指定的特徵，判斷當前頁面是否發生了局部結構性變動；步驟S2，若未發生結構性變動，則獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析所述當前頁面中的內容；步驟S3，根據預先配置的映射規則，對通過解析獲取的業務欄位名做自適應映射，並存儲到存儲區。本發明提供的用於提高網絡爬蟲穩定性、可用性的數據處理方法，可以自動識別網頁頁面的非結構性變化，並採用自適應的數據抽取邏輯，無須頻繁維護，節約了成本，同時提高了網頁數據爬取的穩定性，具備更好的普適性。優選地，所述步驟S1包括：逐一比對事先指定的特徵和當前頁面的對應標籤，若不一致，則認為所述當前頁面發生了局部結構性變動。優選地，所述步驟S2包括：獲取所述當前頁面的HTML文件；從所述HTML文件抽取出Table標籤中的內容和div標籤中的內容；根據所述Table標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容；根據所述div標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容。優選地，所述根據所述Table標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：檢測所述Table標籤中的標題部分；抽取所述Table標籤中除標題部分的多維度信息；根據抽取的所述多維度信息判斷結構布局；根據所述結構布局獲取業務數據。優選地，所述根據所述div標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：從所述div標籤中獲取與已知業務欄位名匹配的label，並根據匹配到的label在div標籤中的位置判斷結構布局，根據結構布局獲取業務數據。第二方面，本發明提供的一種用於提高網絡爬蟲穩定性、可用性的數據處理裝置，包括：結構性變動檢測模塊，用於根據事先指定的特徵，判斷當前頁面是否發生了局部結構性變動；解析模塊，用於若未發生結構性變動，則獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析所述當前頁面中的內容；欄位自適應調整模塊，根據預先配置的映射規則，對通過解析獲取的業務欄位名做自適應映射，並存儲到存儲區。本發明提供的用於提高網絡爬蟲穩定性、可用性的數據處理裝置，可以自動識別網頁頁面的非結構性變化，並採用自適應的數據抽取邏輯，無須頻繁維護，節約了成本，同時提高了網頁數據爬取的穩定性，具備更好的普適性。優選地，所述結構性變動檢測模塊具體用於：逐一比對事先指定的特徵和當前頁面的對應標籤，若不一致，則認為所述當前頁面發生了局部結構性變動。優選地，所述解析模塊具體用於：獲取所述當前頁面的HTML文件；從所述HTML文件抽取出Table標籤中的內容和div標籤中的內容；根據所述Table標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容；根據所述div標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容。優選地，所述解析模塊中，根據所述Table標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：檢測所述Table標籤中的標題部分；抽取所述Table標籤中除標題部分的多維度信息；根據抽取的所述多維度信息判斷結構布局；根據所述結構布局獲取業務數據。優選地，所述解析模塊中，根據所述div標籤中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：從所述div標籤中獲取與已知業務欄位名匹配的label，並根據匹配到的label在div標籤中的位置判斷結構布局，根據結構布局獲取業務數據。附圖說明圖1為本發明實施例所提供的用於提高網絡爬蟲穩定性、可用性的數據處理方法的流程圖；圖2為一個示例性表格中的標題部分、備註部分以及業務數據部分的布局；圖3為縱向多TL布局的示例；圖4為橫向多TL布局的示例；圖5為對多TL布局的表格進行切割合併的一個示例；圖6為對多TL布局的表格進行切割合併的一個示例；圖7為對單TL(多級)布局的表格進行處理的一個示例；圖8為本發明實施例所提供的用於提高網絡爬蟲穩定性、可用性的數據處理裝置的結構框圖。具體實施方式下面將結合附圖對本發明技術方案的實施例進行詳細的描述。以下實施例僅用於更加清楚地說明本發明的技術方案，因此只是作為示例，而不能以此來限制本發明的保護範圍。需要注意的是，除非另有說明，本申請使用的技術術語或者科學術語應當為本發明所屬領域技術人員所理解的通常意義。網頁中的表格由HTML中的標籤來定義。表格的行由標籤定義，必須在一個裡面，不能單獨使用。每行被分割為若干單元格，每個單元格由標籤定義，需要嵌套在中間。和一樣也是需要嵌套在當中的，...用來定義表頭單元格，包含的是表頭信息。具體用法如下：上述代碼在網頁中顯示的表格如下所示：姓名年齡張三40HTML中的div標籤用來定義文檔中的分區或節(division/section)。標籤可以把文檔分割為獨立的、不同的部分。它可以用作嚴格的組織工具，並且不使用任何格式與其關聯。本實施例提供了一種用於提高網絡爬蟲穩定性、可用性的數據處理方法，如圖1所示，包括：步驟S1，根據事先指定的特徵，判斷當前頁面是否發生了局部結構性變動。其中，事先指定的特徵是指網頁的結構布局，在HTML中表現為標籤的類型、位置、屬性等。結構性變動是指頁面的結構布局發生了變化，比如：某個標籤不見了，某個標籤的屬性發生了變化，或者Table行數、列數變了等。步驟S2，若未發生結構性變動，則獲取當前頁面的結構布局，根據當前頁面的結構布局解析當前頁面中的內容。步驟S3，根據預先配置的映射規則，對通過解析獲取的業務欄位名做自適應映射，並存儲到存儲區。其中，業務欄位名是指每項業務數據的標題名，如圖2中的「執行法院」、「執行案號」等。自適應映射是指將解析獲取的業務欄位名替換為預定的標準欄位，以統一抽取數據的業務欄位名，方便後續數據的管理和統計。例如將「企業名稱」、「機構名稱」自動映射為存儲層的「公司名稱」。本實施例提供的用於提高網絡爬蟲穩定性、可用性的數據處理方法，可以自動識別網頁頁面的非結構性變化，並採用自適應的數據抽取邏輯，無須頻繁維護，節約了成本，同時提高了網頁數據爬取的穩定性，具備更好的普適性。其中，步驟S1具體包括：逐一比對事先指定的特徵和當前頁面的對應標籤，若不一致，則認為當前頁面發生了局部結構性變動。HTML中可能包含有多種類型的標籤，如Table標籤、div標籤。不同標籤的提取方法不同，為了能夠適應混合型的HTML，步驟S2具體包括：步驟S21，獲取當前頁面的HTML文件。步驟S22，從HTML文件抽取出Table標籤中的內容和div標籤中的內容。步驟S23，根據Table標籤中的內容獲取當前頁面的結構布局，根據當前頁面的結構布局解析內容。步驟S24，根據div標籤中的內容獲取當前頁面的結構布局，根據當前頁面的結構布局解析內容。網頁上的表格採用HTMLTable標籤的方式進行編輯，這些信息大多是半結構化數據雖然在頁面上的顯示效果較為規整，但是底層標籤及數據並不規整，甚至非常混亂，導致標題部分和與業務數據混雜在一起，無法快速準確地抽取業務數據。為了自動、快速、準確地提取網頁表格中的數據，步驟S23具體包括：步驟S231，檢測Table標籤中的標題部分。如圖2所示，表格標題部分通常都是一個大的合併單元格，可能是一行或多行，表格還可以包含備註部分，備註部分的結構與標題部分類似，除去表格的標題部分和備註部分，其餘部分就是需要提取的業務數據。當表格中存在備註部分時，步驟S1中還需要檢測備註部分，檢測方式與標題部分的檢測方式相同。步驟S232，抽取Table標籤中除標題部分的多維度信息。其中，多維度信息包括：直接內容、th/td分布、class屬性分布、background-color屬性分布等。直接內容為網頁中表格中直接顯示的內容，即標籤中的文本內容，如「姓名」、「年齡」、「張三」、「40」。th/td分布指th和td標籤在這個table中的分布位置。class屬性規定單元格中元素的類名，class屬性分布是指class屬性在這個table中的分布位置。background-color屬性規定了單元格的背景顏色，background-color屬性分布是指background-color屬性在這個table中的分布位置。步驟S233，根據抽取的多維度信息判斷結構布局。其中，常見的表格布局分為橫向單TL、橫向多TL、縱向單TL、縱向多TL、多表組合。TL(TitleLine)為列頭(或數據標題部分)(可能物理上是多行，但邏輯上是一個區域)，表示各項業務數據的標題，如圖2中的業務數據部分的第一行及為TL。TL可以是橫向的，也可以是縱向的，如圖3所示為縱向多TL布局，圖4為橫向多TL布局。步驟S234，根據結構布局獲取業務數據。步驟S23提供了自適應抽取HTMLTable標籤中結構化信息的方法，首先檢測Table標籤中的標題部分，排除了不屬於業務數據部分的內容，防止無用數據的混入；然後抽取Table標籤中除標題部分的多維度信息，根據多維度信息綜合判斷表格的結構布局，由於Table標籤中的信息能夠反映表格布局，因此，無論網頁中的表格發生了怎樣的改變，通過對Table標籤中的信息進行分析，均可以得到新的表格布局。因此，步驟S23提供的方法，無需提前獲知表格的布局，針對不同結構的HTMLTable無需在重新編寫程序，解決了現有的Table抽取算法缺乏普適性的問題，同時提高了抽取數據的可靠性，尤其對大規模半結構化數據識別和抽取時更為有效。標題部分和備註部分一般都在表格的第一行或第二行，且是一個合併單元格，因此，步驟S231的具體實現方式包括：在Table標籤中檢測每一行是否為一個合併單元格，若是，則被檢測的行屬於標題部分，並進行下一行的檢測；若不是，表示該行開始是業務數據，則停止標題部分的檢測。例如，標題部分和備註部分的代碼一般為以下形式：2016年人口信息統計表上述代碼只包含一個標籤，而且colspan＝』5』表明這是一個合併單元格，通過檢測和colspan就能與業識別標題部分和備註部分。現有技術，在濾除無用數據(如標題部分、備註部分)時，需要預先知道無用數據的位置，然後在程序中指定好位置以便跳過前幾行無用數據。而本實施例的方法更具有通用性，無論表格有多少行標題部分和備註部分，都可以準確高效地對其進行檢測，以保證能夠準確地抽取到業務數據。在抽取數據過程中，除直接獲取常規單元格對應信息外，還需要對合併單元格做特別處理，使抽取的數據滿足存儲格式，方便後續處理，因此，步驟S232的優選方式包括：抽取Table標籤中除標題部分(有備註部分的話，還包括備註部分)的多維度信息，對被抽取信息中的合併單元格進行拆分後，再將每個維度的信息分別以二維數組形式存儲，並對拆分的單元格做特殊標記。其中，合併單元格又分為橫向合併(colspan)、縱向合併(rowspan)、混合合併(colspan+rowspan)。例如：對ABC抽取直接內容後：ABC{←}{←}{←}{←}其中，特殊標記「{←}」是提取直接內容特有的，表示該單元格中的內容與其左邊單元格中的內容相同，目的是為了給TL的處理和最終內容輸出提供靈活性，而其它數據的抽取不需要做特殊標記。抽取『background-color屬性分布』為：#F7FBFE#F7FBFE#F7FBFE#F7FBFE#F7FBFE對於單行存在多個橫向合併(colspan)的情況，還需要注意坐標平移的問題。例如ABCDEFABC{←}DEF{←}{←}對於縱向合併(rowspan)、混合合併(colspan+rowspan)也採用類似的方法進行數據抽取。只有獲知表格布局，才能準確地提取到業務數據，並根據表格布局將表格轉化為結構化數據。步驟S233中的判斷表格布局包括以下幾種操作：(1)根據抽取的直接內容，排除不是TL的行和列。根據TL中直接內容的數據類型、長度、關鍵詞進行排除性判斷。其判斷依據包括：TL每個單元格中的欄位名長度不可能超過閾值(比如說50)，TL的欄位名個數不可能超過閾值(比如1000個)，欄位名不可能是純數字字符串，常見的欄位名包括「名稱」、「Name」、「地址」、「Address」、「地址」、「類型」、「備註」等關鍵詞，根據常見的表格統計得到關鍵詞庫，檢測行或列中是否包含關鍵詞庫中的關鍵詞。因此，基於直接內容進行表格布局判斷的具體實現步驟為：逐行、逐列檢測抽取的直接內容；若直接內容的數據類型是數字型字符串，則直接內容所在行或列就不是TL；若直接內容的欄位長度超過第一閾值，則直接內容所在行或列就不是TL；若一行或一列的多項直接內容中包含給定的關鍵詞，則行或列是TL。其中，在使用基於關鍵詞的判斷方法時，為了保證判斷可靠性，至少需要出現兩個關鍵詞才可以認定該行或列為TL。(2)根據抽取的background-color屬性分布，判斷表格布局。表格顯示時，為了給用戶提供閱讀的便利性，表格TL的背景色和數據的背景色會不同，或者數據的奇偶行會採用交錯的背景色，因此，background-color屬性分布可以用來判斷哪些行或列可能是TL，進而判斷表格布局是橫向還是縱向的。(3)根據抽取的class屬性分布，判斷表格布局。有相同class屬性的單元格一般是同類的單元格。若所有行單元格的class屬性均相同，則表格布局為橫向布局；若所有行單元格的class屬性均相同，則表格布局為縱向布局，因此，通過class屬性分布可以判斷是橫向還是縱向的。(4)根據同一行或同一列中的直接內容的數據類型是否相同，判斷表格布局。表格的業務數據中除去TL部分，TL的各個欄位名下的單元格的數據只要不是空值的，它們的類型應該都是相同的(該方法只能區分開『純數字型字符串』、『日期時間型字符串』、『無明顯特徵字符串』)。例如圖2中的表格為橫向布局，其中業務數據部分，除了第一行TL，其餘每一列單元格的數據類型都是相同的，如欄位名「序號」這一列都是純數字型字符串，欄位名「執行法院」這一列都是『無明顯特徵字符串』，欄位名「執行案號」這一列都是『無明顯特徵字符串』，總之，除TL行外，各列的數據類型都是相同的。根據上述特性，檢測同一行的數據類型是否都相同，若該表格所有行的數據類型都相同(即同一行中所有單元格的數據類型要麼都為『純數字型字符串』，要麼都為『日期時間型字符串』或『無明顯特徵字符串』)，則該表格為縱向布局；檢測同一列的數據類型是否都相同，表格所有列的數據類型都相同(即同一列中所有單元格的數據類型要麼都為『純數字型字符串』，要麼都為『日期時間型字符串』或『無明顯特徵字符串』)，則該表格為橫向布局。有些單元格會存在空值的情況，為避免這些單元格影響檢測結果，在對行和列做檢測時，內容為空的單元格不納入檢測範圍。表格業務數據部分的數據量一般較多，對所有行和列都進行檢測會降低判斷效率，因此，可以採用短路判斷，即如果新的一行的判斷結果能否定某種布局，則可以跳出判斷。(5)根據th/td分布，判斷表格布局。TL的單元格數量小於或等於其它行的單元格數量，非TL的單元格數量應當比較統一。根據th/td分布統計所有行和列的單元格數量，單元格數量明顯少的行或列就可能是TL，並根據TL是橫向還是縱向，TL的數量就可以得到表格布局了。th一般用來定義標題，對應的就是『姓名』、『年齡』這樣的欄位名。th的布局也可能有橫向、縱向的區別，如橫向布局為成績表，縱向布局為成績表。td可以用來定義普通的單元格，也可以用來定義標題。同時有th標籤和td標籤時，根據th分布判斷表格布局。但是很多table不會指定th，此時根據td分布判斷表格布局。上述幾種判斷表格布局的方法可以根據實際需求進行各種組合後，對表格布局進行判斷，提高判斷準確率；另外，本實施例的方法能夠識別表格中的多TL的情況，提高抽取數據的可靠性。對於表格布局為縱向布局的情況，還需要將直接內容形成的表格轉置為橫向布局。TL又分為單級TL、多級TL兩種，但在未做特別說明的情況下，都統稱為TL。如圖2所示，只有一個TL且為單級TL。如圖7所示，只有一個TL且為多級TL(由多行組成，有上下級的隸屬關係)，需對這多行中的欄位名進行合併，形成單行欄位名輸出。如圖7所示，原表格中TL分為兩部分，左邊部分為多行(多級)，右邊部分為單行，多級部分的第一級是合併單元格，欄位名為『基本信息』，多級部分的第二級是『姓名』、『年齡』、『性別』欄位，最終輸出單級TL，它的結構為「基本信息_姓名」、「基本信息_年齡」、「基本信息_性別」、「其他欄位A」、「其他欄位B」。對於表格布局為多TL的情況，還需要對直接內容形成的表格做切割合併操作，將其轉換為單TL的布局，以滿足結構化數據的格式要求。切割合併操作包括：比較多個TL的直接內容；內容相同的TL只保留一行TL，如圖5所示；將內容不同的TL拼接成一行TL，如圖6所示。最後，對於合併單元格，可根據業務需要，修正特殊標記。例如ABC{←}{←}{←}{←}可調整為以下格式：ABCABCABCABCABC上述自適應抽取HTMLTable標籤中結構化信息的方法是針對單個表格的提取方法，當網頁中存在多個Table標籤(多個表格)時，只需重複使用上述自適應抽取HTMLTable標籤中結構化信息的方法，抽取每個Table標籤對應的表格，然後按預定的規則將抽取結果進行合併即可。針對div布局的數據抽取，步驟S24具體包括：從div標籤中獲取與已知業務欄位名匹配的label，並根據label在div標籤中的位置判斷結構布局，根據結構布局獲取業務數據。其中，已知業務欄位名可以是預先給定，或根據解析的歷史數據統計得到。Label為div標籤中的欄位名，如示例一中的「姓名」、「年齡」和「性別」。示例一和示例二為div布局的表格。比如，根據已知業務欄位名從div標籤中抽取出「姓名」、「年齡」和「性別」這三個欄位名，在示例一中，抽取的label均在右側的標籤內，則可以確定該表格的結構布局是左右的鍵值布局(縱向布局)；而在示例二中，抽取的label均在一行標籤內，則可以確定該表格的結構布局是上下布局(橫向布局)。示例一姓名張三年齡18性別男示例二姓名年齡性別張三18男基於與上述用於提高網絡爬蟲穩定性、可用性的數據處理方法相同的發明構思，本實施例還提供了一種用於提高網絡爬蟲穩定性、可用性的數據處理裝置，如圖8所示，包括：結構性變動檢測模塊，用於根據事先指定的特徵，判斷當前頁面是否發生了局部結構性變動；解析模塊，用於若未發生結構性變動，則獲取當前頁面的結構布局，根據當前頁面的結構布局解析當前頁面中的內容；欄位自適應調整模塊，根據預先配置的映射規則，對通過解析獲取的業務欄位名做自適應映射，並存儲到存儲區。本實施例提供的用於提高網絡爬蟲穩定性、可用性的數據處理方法，可以自動識別網頁頁面的非結構性變化，並採用自適應的數據抽取邏輯，無須頻繁維護，節約了成本，同時提高了網頁數據爬取的穩定性，具備更好的普適性。進一步地，結構性變動檢測模塊具體用於：逐一比對事先指定的特徵和當前頁面的對應標籤，若不一致，則認為當前頁面發生了局部結構性變動。進一步地，解析模塊具體用於：獲取當前頁面的HTML文件；從HTML文件抽取出Table標籤中的內容和div標籤中的內容；根據Table標籤中的內容獲取當前頁面的結構布局，根據當前頁面的結構布局解析內容；根據div標籤中的內容獲取當前頁面的結構布局，根據當前頁面的結構布局解析內容。進一步地，解析模塊中，根據Table標籤中的內容獲取當前頁面的結構布局，根據當前頁面的結構布局解析內容，包括：檢測Table標籤中的標題部分；抽取Table標籤中除標題部分的多維度信息；根據抽取的多維度信息判斷結構布局；根據結構布局獲取業務數據。進一步地，解析模塊中，根據div標籤中的內容獲取當前頁面的結構布局，根據當前頁面的結構布局解析內容，包括：從div標籤中獲取與已知業務欄位名匹配的label，並根據匹配到的label在div標籤中的位置判斷結構布局，根據結構布局獲取業務數據。最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍，其均應涵蓋在本發明的權利要求和說明書的範圍當中。當前第1頁1&nbsp2&nbsp3&nbsp當前第1頁1&nbsp2&nbsp3&nbsp