自動獲取網頁結構化信息的分析方法
2023-09-22 23:10:50 1
專利名稱：自動獲取網頁結構化信息的分析方法
技術領域：
本發明涉及一種網際網路網頁分析方法，特別涉及一種自動獲取網頁結構化信息的分析方法。
背景技術：
隨著網際網路技術的不斷發展，Web2. 0概念正在興起，信息的傳遞方向變得更加多元。在傳統的從少數點(大型新聞媒體，信息提供者)向全網(普通用戶，信息消費者)輻射的自頂向下的信息傳遞模式之後，由普通用戶產生而在網絡上不斷傳播的自底向上的信息流動模式正變得越來越普遍。海量的內容由普通用戶通過社交網絡、博客、微博、論壇等新興Web2. 0媒介產生出來，並最終被其它用戶消費。 這些用戶產生的海量內容蘊含了大量有價值的信息和知識，潛在的應用包括輿情分析、垂直搜索、知識問答等。為了能夠分析和利用它們，我們首要的任務就是要準確地獲取它們。而擁有眾多用戶的傳統媒介論壇就成了其中主要的一部分。圖I繪示了一個典型的論壇列表頁。虛線的方框分別標明了文章標題、作者、發帖時間和最後回復時間。文章標題、作者、發帖時間、最後回復時間這些是文章最重要的結構化信息。實線的方框指示了數據記錄，每一條數據記錄對應一篇論壇文章。所有實線框聯合起來的範圍，稱為列表區域。因此，一個列表區域包含了多條數據記錄。通常情況下，論壇中的數據存儲於後臺資料庫中，當用戶訪問某一頁面時，網站自動將所需內容填充到特定模板當中，展示給用戶。網絡數據自動採集器(也叫爬蟲、蜘蛛或者Spider)不能直接訪問後臺資料庫，只能通過網頁訪問論壇，然後對網頁數據進行採集。但由於網站的多樣性，不同的網站會根據需求採用不同的論壇系統，即便是同一個論壇系統，也存在不同的版本以及個性化更改，這就造成了模板的多樣性，相互不一致。這就為數據的自動結構化採集帶來了很大的困難。對於上述網頁結構化信息自動分析問題，已有的技術方案可以分為以下三類I.採集整個網頁，保存下來，而對網頁中的結構化的欄位不作一一分析。在一般的通用搜尋引擎中，例如Baidu和Google中，基本上採用這種迴避式的策略。這種採集方式獲得的結果，無法展現出網頁各個細節的結構化欄位，大多只能展現整個網頁。2、直接考察網頁的DOM結構的方法。DOM (Document Object Model，文檔對象模型)，可以用來表示HTML、XML等文檔，使得這些文檔便於被處理。在DOM模型中，HTML或XML文檔被表達為樹狀結構，每一個節點對應於文檔中的一對標籤，分別表示節點的開始和結束。為了在大規模應用中能夠自動分析網頁的結構化內容，人們提出了一些基於對網頁DOM結構的直接考察的列表區域檢測方法。考慮包括標籤類型以及樹相似度等因素。這些方法帶有很強的經驗性，而網頁本身又具有很大的靈活性。同時這些方法往往著眼於甚至只考慮了 html語言的結構特點，而忽視了網頁本身的可視化特性(差別極大的代碼可能生成在表現視覺上完全一樣的網頁)，所以會給檢測帶來較大的不穩定性。3、人工標註。當需要精確獲取網頁數據的很多應用中，前兩個方法就不再能滿足需求。在這種情況下，人工標註往往成了最可行、甚至是唯一的方法。但通過人工標註，不僅耗費大量人力，而且時效性差，在網站格式發生變動時，響應時間往往會比較長。綜上所述，現有的網頁結構化信息自動分析方法存在精確度低、穩定性低、時效性差的問題。
發明內容
本發明的目的是提供一種自動獲取網頁結構化信息的分析方法，以解決現有的網頁結構化信息自動分析方法存在精確度低、穩定性低、時效性差的問題。本發明提出一種自動獲取網頁結構化信息的分析方法，包括以下步驟(I)將原始列表頁面中每一個可顯示元素均渲染為矩形，並為每個矩形均賦予坐標參數； (2)根據矩形參數檢測T-Point，並將有效T-Point覆蓋的範圍作為列表區域，所述T-Point為相鄰矩形上方公共的頂點；(3)從所述列表區域中檢測出所有數據記錄，所述數據記錄是指網頁列表頁面中記錄數據的單位；(4)將不同數據記錄中具有相同類型或相同語義的數據項對應起來，形成數據項列；(5)對數據項列的語義進行確認。進一步的，步驟(I)中，採用開源引擎WebKi t對原始列表頁面進行渲染。進一步的，步驟(I)之後還包括步驟(11)將原始列表頁面的HTML文本中顯示效果的功能性節點去除，形成只含有真正內容的DOM樹；(12)將DOM樹中結構用途的非顯示節點的幾何參數設置成包圍所有子節點的最小矩形；( 13)將所有的文本都封裝入〈text〉元素節點。進一步的，步驟(2)中，所述T-Point包括相鄰矩形上方完全重合的頂點，以及相鄰矩形上方沒有完全重合，且橫向距離不超過5的兩個頂點。進一步的，步驟(2)中，將有效T-Point覆蓋的範圍作為列表區域之前包括從檢測到的T-Point中，找出並過濾掉無效的T-Point。進一步的，找出並過濾掉無效的T-Point包括以下步驟(21)為每一個檢測到的T-Point賦予一個權重值，所述T-Point的權重值等於與其相鄰的T-Point的數量,所述相鄰的T-Point指橫坐標或縱坐標相同；(22)計算所有T-Point的平均權重值；(23)將權重偏離平均權重值的T-Point作為無效T-Point過濾掉。進一步的，步驟(3)中，從所述列表區域中檢測出所有數據記錄包括(31)形成所述列表區域的DOM子樹；(32)排除所述列表區域DOM子樹中，有效T-Point橫向形成的行的數目多於2的節點；(33)排除所述列表區域DOM子樹中，有效T-Point只出現在矩形兩個豎邊界上的節點；(34)排除所述列表區域DOM子樹中，有效T-Point只有一個的節點；(35)將所述列表區域DOM子樹中剩餘的每個節點作為數據記錄。進一步的，步驟(4)中，利用聚類方式將不同數據記錄中具有相同類型或相同語義的數據項對應起來，並形成數據項列。進一步的，所述聚類方式所採用的距離函數為dist(m, n-i) = \JaT(domjdif /(no, i)) 4 bT{visualjiif /(n ,Ri))其中，dom_diff (n0, Ii1)表示節點nQ和Ii1的DOM樹結構差異的特徵向量，visual_diff (n0, Ii1)表示nQ和Ii1之間顯示差異的特徵向量，a, b為混合權重向量。 進一步的，步驟(5)中，對數據項列的語義進行確認包括(51)利用監督學習方法獲得語義分析器；(52)利用語義分析器對數據項列的語義進行確認。相對於現有技術，本發明的有益效果是I、本發明突破性地提出並應用了網頁可視化特徵點(T-Point)，並利用網頁可視化特徵點(T-Point)準確地提取檢測列表區域，從而大大提高了網頁結構化信息自動分析的精確度、穩定性和時效性。2、本發明將聚類方法應用於數據項的對齊，可以使得準確率大大提高，同時運行時間大大縮短。3、本發明提出計算節點距離的算法框架，這使得我們的方法在實際應用時擁有很高的靈活性，可以適用於不同場合。4、本發明使用分類器方法識別數據記錄的列表項語義，使數據項的語義分類更加準確。
圖I為典型的一個論壇列表頁示意圖；圖2為本發明自動獲取網頁結構化信息的分析方法的一種實施例流程圖；圖3為本發明預處理的一種詳細流程圖；圖4為圖I的頁面經渲染後的示意圖；圖5為處於同一高度的兩個相鄰矩形形成一個T形結構的示意圖；圖6為處於同一高度的兩個相鄰矩形形成另一個T形結構的示意圖；圖7為本發明列表區域檢測的一種詳細流程圖；圖8為以圖4的頁面為基礎找出T-Point的頁面示意圖；圖9為本發明數據記錄檢測的一種詳細流程圖；圖10為節點兩個節點之間的幾何距離示意圖。
具體實施例方式請參見圖2，其為本發明自動獲取網頁結構化信息的分析方法的一種實施例流程圖，其包括預處理S210、列表區域檢測S220、數據記錄檢測S230、數據項對齊S240及數據列語義確認S250五個步驟。預處理S210主要目的是將原始列表頁面中每一個可顯示元素均渲染為矩形，並為每個矩形均賦予坐標參數；列表區域檢測S220主要目的是根據矩形參數檢測T-Point，並將有效T-Point覆蓋的範圍作為列表區域，所述T-Point為相鄰矩形上方公共的頂點；數據記錄檢測S230主要目的是從所述列表區域中檢測出所有數據記錄，所述數據記錄是指網頁列表頁面中記錄數據的單位；數據項對齊S240主要目的是將不同數據記錄中具有相同類型或相同語義的數據項對應起來，形成數據項列；數據列語義確認S250主要目的是對數據項列的語義進行確認。以下對本發明進行分步詳細說明。S210，預處理。網際網路上廣泛地使用超文本標記語言(Hypertext Markup Language, HTML)來描述網頁的顯示內容。瀏覽器根據HTML文檔中的定義，將文字、圖片、視頻、超連結等內容可視化地以網頁形式呈現在用戶面前。需要注意的是，HTML關注於最終的顯示效果，而不是實現方法，於是，即使HTML文件有很大的差異，顯示效果也有可能是一樣的。所以，在得到 網頁原始的HTML代碼之後，我們首先獲取其可視化後的相關信息。在預處理過程中，在完成頁面渲染(步驟S211)的前提下，優選的還可以清理多餘節點(步驟S212)，梳理可視化信息(步驟S213)，將文本節點封裝入〈text〉標籤中(步驟S214)，以便於後續的計算。具體來說，請參見圖3，預處理又可以包括以下步驟S211，將原始列表頁面中每一個可顯示元素均渲染為矩形，並為每個矩形均賦予坐標參數。本發明優選採用開源引擎WebKit對原始頁面進行渲染，取得頁面真實的顯示效果。大部分網頁中的元素將會顯示在最終的網頁中，但也有少部分元素承擔著HTML語言本身相關的功能，在最終網頁中並沒有可顯示對象與其對應。同時，在網頁最終的渲染結果中，HTML的每一個可顯示元素將被顯示成一個矩形，以描述其大小及位置，以圖I的頁面為例，經過渲染後便形成如圖4所示的可顯示頁面。對於可顯示元素，開源引擎WebKit將返回其顯示矩形的參數(包括位置及大小)，而對於其它具有某些特定功能的非顯示元素，開源引擎WebKit返回O。S212，將原始列表頁面的HTML文本中顯示效果的功能性節點去除，形成只含有真正內容的DOM樹。在HTML中除了包含有真正的網頁內容外，還包含大量描述顯示效果的參數等功能性節點。在渲染結束後，可以將這些節點去除，從而得到只含有真正內容的DOM樹，使後續的計算更加簡潔。具體來說，可以去除所有〈style〉，〈script〉，〈comments〉，〈link〉，等元素的節點，去除了所有嵌入對象,如flash等,和各種處理指令。S213，從所述列表區域中檢測出所有數據記錄，所述數據記錄是指網頁列表頁面中記錄數據的單位。在清理多餘節點之後，仍然存在一些結構用途的非顯示節點，它們的顯示信息為空。為了讓之後的處理保持一致性，將它們的幾何參數設置成包圍所有子節點的最小矩形。S214，將所有的文本都封裝入〈text〉元素節點。最後，為了簡化後面的處理過程，將所有的文本都封裝入〈text〉元素節點。這樣就得到了以XML表現的原網頁包含有可視化信息的DOM樹結構。S220，列表區域檢測。
以前的列表區域檢測方法通常基於對網頁DOM結構的直接考察，考慮包括標籤類型以及樹相似度等因素。這些方法帶有很強的經驗性，而網頁本身又具有很大的靈活性，同時這些方法往往只考慮了 html語言的結構特點，忽視了 html是用於描述可視化界面這一本質特徵(差別極大的代碼可能都在表現視覺上完全一樣的網頁)，所以會給檢測帶來較大的不穩定性。本發明提出了使用網頁最終的渲染結果作為主要信息來源。基於經過渲染的頁面可以發現，T形特徵點對列表有良好的區分能力，並對來自不同模板的頁面有優秀的自適應性能。具體來說，請參見圖5，當兩個相鄰的矩形的一條豎直的邊重合，而上方的邊處於同一高度時，會形成一個T形結構。當考慮一個經渲染的頁面時，由於頁面中存在的大量相鄰的單元格，所以會相應產生大量這樣的微觀結構。
其中，三條邊的交點是T形結構最具代表性的特徵，在本發明中定義為當兩個元素的包圍矩形相鄰，且有公共上方頂點時，共用頂點被稱為T-Point。所以本發明以T-Point作為列表區域檢測的一個微觀特徵。為了提高穩定性，請參見圖6，可以將上方頂點沒有完全重合，但橫向距離不超過6的兩個頂點也同時認為是一個T-Point。在系統實現中，優選取S的值為I。列表區域檢測共分為兩步第一步就是根據頁面的可視化信息和T-Point的定義，檢測出所有的T-Point ;第二步則是要估計出屬於列表區域的T-Point集合，進而找到列表區域及相應的DOM節點,請參見圖7,具體過程如下S221，根據矩形參數檢測T-Point。由於在預處理過程中，已經將頁面中顯示矩形的參數(包括位置及大小)輸出，所以利用這些矩形參數，很容易就能找出頁面中所有的T-Point。請參見圖8，其是以圖4的頁面為基礎找出T-Point的頁面示意圖。其中實心和空心的方塊都是頁面的T-Point。S222，將有效T-Point覆蓋的範圍作為列表區域。本發明所述的列表區域是指頁面上數據記錄所組成的區域，在圖I中實線框構成的區域即列表區域。但是從圖4中T-Point的分布位置來看，根據步驟S221找出的T-Point，有一些是在列表區域之外的，因而這裡應當從檢測到的T-Point中，找出並過濾掉無效的T-Point，以提高檢測的準確性。具體確定列表區域的過程如下I)首先為每一個檢測到的T-Point賦予一個權重值，所述T-Point的權重值等於與其相鄰的T-Point的數量,所述相鄰的T-Point指橫坐標或縱坐標相同。2)計算所有T-Point的平均權重值，並將權重偏離平均權重值的T-Point作為無效T-Point過濾掉。以對圖8所示頁面檢測為例，以所有T-Point為頂點(實心和空心的方塊)，並按照T-Point間的相鄰關係將T-Point進行連接,可以構造出一個無向圖。然後找出無向圖中的最大連通分量(即虛線標出的部分)，然後將權重偏離平均值較大的點作為噪聲過濾掉(即將實心方塊過濾掉)，剩下的點(即空心方塊)作為有效T-point集合。對比圖I發現，此時實心方塊T-Point覆蓋範圍正是原網頁中的列表區域。3)最後在網頁DOM樹上尋找到能夠包含所有構成有效T-Point的元素的最小子樹，並認為其包含列表區域，從而可以確定頁面中所有的列表區域。
S230，數據記錄檢測。本發明的數據記錄是指網頁列表頁面中記錄數據的單位，即在圖I中，數據記錄顯示為單個實線框。在獲得列表區域以及有效T-Point集合的基礎上，通過檢測每一個節點來確認所有可能的數據記錄項。對列表區域DOM子樹上的每一個節點，請參見圖9，本發明可以採用如下步驟來檢測數據記錄S231，排除所述列表區域DOM子樹中，有效T-Point橫向形成的行的數目多於2的節點。
經渲染後的頁面上，一條數據記錄所最外圍形成的邊界，必然也是由T-Point構成的一個矩形，即由4個T-Point構成兩行，而各數據項是包含在數據記錄中的一個個小矩形，因此若一個節點的有效T-Point構成的行不止2個，說明該節點中包含多個並排關係的矩形，可能是由多個數據記錄組成的，也可能是一個列表區域，所以排除此類節點。S232，排除所述列表區域DOM子樹中，有效T-Point只出現在矩形兩個豎邊界上的節點。對於一個數據記錄，其中必然包括多個數據項，例如圖I所示單個實線框所示的數據記錄，其中涵蓋有「文章標題」、「作者」、「回復時間」等多個數據項所顯示的矩形，即一個數據記錄中應該包括多個矩形，所以如果一個節點中的有效T-Point只出現在矩形兩個豎邊界上，則說明這個節點顯示的只是單一一個矩形，很有可能只是一個數據項，或者甚至沒有形成矩形，所以要過濾掉此類節點。S233，排除所述列表區域DOM子樹中，有效T-Point只有一個的節點。一條數據記錄必然會顯示為一個矩形，所以只有單一 T-Point的節點無法構成矩形，必然不是數據記錄，需要排除。S234，將所述列表區域DOM子樹中剩餘的每個節點作為數據記錄。S240，數據項對齊。本發明的目的是充分分析網頁的結構化信息，其中網頁中的每一組數據記錄都共同包含很多擁有某些意義的數據項，比如「文章標題」、「作者」、「回復時間」等，而這些數據項的排列規則具有一定規律，具體的，他們在顯示時會形成列。但同時，在不同的數據記錄中，可能存在著自身特有的數據，以及諸如分隔符等輔助元素，使得不同數據記錄的格式並不整齊。這種不整齊當只在考慮它們的DOM樹結構時，表現的尤為明顯。此步驟的任務就是將不同數據記錄中具有相同類型或相同語義的數據項提取出來並對齊，形成數據項列。對於屬於同一意義下的數據項，都具有一定的相似性，如結構上所對應的HTML節點標籤相同、相應的DOM子樹結構相似，顯示上位置都處於同一列、有相近的大小等。本發明同時基於DOM樹的結構特徵以及相應可視化特徵，優選地提出了以聚類方式解決這一問題。該任務被分為兩個子任務I)計算任意兩個節點的距離首先給出節點間的距離定義。本發明在距離度量的定義中融合了節點的樹結構特徵以及可視化特徵，使得其性能更加可靠。具體來說，對於不屬於同一個數據項的兩個節點n0,ni我們的距離函數定義包含了分別描述DOM樹結構之間差異與顯示效果差異的兩部分，如下
權利要求
1.一種自動獲取網頁結構化信息的分析方法，其特徵在於，包括以下步驟 (1)將原始列表頁面中每一個可顯示元素均渲染為矩形，並為每個矩形均賦予坐標參數； (2)根據矩形參數檢測T-Point，並將有效T-Point覆蓋的範圍作為列表區域，所述T-Point為相鄰矩形上方公共的頂點； (3)從所述列表區域中檢測出所有數據記錄，所述數據記錄是指網頁列表頁面中記錄數據的單位； (4)將不同數據記錄中具有相同類型或相同語義的數據項對應起來，形成數據項列； (5)對數據項列的語義進行確認。
2.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(I)中，採用開源引擎WebKit對原始列表頁面進行渲染。
3.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(I)之後還包括步驟 (11)將原始列表頁面的HTML文本中顯示效果的功能性節點去除，形成只含有真正內容的DOM樹； (12)將DOM樹中結構用途的非顯示節點的幾何參數設置成包圍所有子節點的最小矩形； (13)將所有的文本都封裝入〈text〉元素節點。
4.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(2)中，所述T-Point包括相鄰矩形上方完全重合的頂點，以及相鄰矩形上方沒有完全重合，且橫向距離不超過S的兩個頂點。
5.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(2)中，將有效T-Point覆蓋的範圍作為列表區域之前包括從檢測到的T-Point中，找出並過濾掉無效的T-Point。
6.如權利要求5所述的自動獲取網頁結構化信息的分析方法，其特徵在於，找出並過濾掉無效的T-Point包括以下步驟 (21)為每一個檢測到的T-Point賦予一個權重值，所述T-Point的權重值等於與其相鄰的T-Point的數量,所述相鄰的T-Point指橫坐標或縱坐標相同； (22)計算所有T-Point的平均權重值； (23)將權重偏離平均權重值的T-Point作為無效T-Point過濾掉。
7.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(3)中，從所述列表區域中檢測出所有數據記錄包括 (31)形成所述列表區域的DOM子樹； (32)排除所述列表區域DOM子樹中，有效T-Point橫向形成的行的數目多於2的節點； (33)排除所述列表區域DOM子樹中，有效T-Point只出現在矩形兩個豎邊界上的節佔. (34)排除所述列表區域DOM子樹中，有效T-Point只有一個的節點； (35)將所述列表區域DOM子樹中剩餘的每個節點作為數據記錄。
8.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(4)中，利用聚類方式將不同數據記錄中具有相同類型或相同語義的數據項對應起來，並形成數據項列。
9.如權利要求8所述的自動獲取網頁結構化信息的分析方法，其特徵在於，所述聚類方式所採用的距離函數為-- dist(no,ni) = y aT(domjiiff(no, i)) + bT{visualjdif f{nQ,n\)) 其中，dom_diff (n0, Ii1)表示節點nQ和Ii1的DOM樹結構差異的特徵向量，visual_diff (n0, Ii1)表示nQ和Ii1之間顯示差異的特徵向量，a, b為混合權重向量。
10.如權利要求I所述的自動獲取網頁結構化信息的分析方法，其特徵在於，步驟(5) 中，對數據項列的語義進行確認包括 (51)利用監督學習方法獲得語義分析器； (52)利用語義分析器對數據項列的語義進行確認。
全文摘要
本發明提出一種自動獲取網頁結構化信息的分析方法，包括以下步驟(1)將原始列表頁面中每一個可顯示元素均渲染為矩形，並為每個矩形均賦予坐標參數；(2)根據矩形參數檢測T-Point，並將有效T-Point覆蓋的範圍作為列表區域，所述T-Point為相鄰矩形上方公共的頂點；(3)從所述列表區域中檢測出所有數據記錄，所述數據記錄是指網頁列表頁面中記錄數據的單位；(4)將不同數據記錄中具有相同類型或相同語義的數據項對應起來，形成數據項列；(5)對數據項列的語義進行確認。本發明可以大大提高網頁結構化信息自動分析的精確度、穩定性和時效性。
文檔編號G06F17/30GK102750372SQ201210202309
公開日2012年10月24日 申請日期2012年6月15日 優先權日2012年6月15日
發明者張志強, 張長水, 翁時鋒 申請人:翁時鋒