基於預定義槽間向量模型的網頁信息抽取方法
2023-05-06 22:43:06
專利名稱：：基於預定義槽間向量模型的網頁信息抽取方法
技術領域：
：本發明涉及一種基於預定義槽間向量模型的網頁信息抽取方法。
背景技術：
：Web信息的爆炸性增長，給我們帶來了獲取更多信息的機會，同時，也增加了在紛繁複雜的Web信息庫中準確地獲取信息的困難。目前人們主要通過利用搜尋引擎來獲得信息。例如，一個潛在的旅遊客戶可能會利用一個旅遊搜尋引擎去獲得各種旅遊景點的一些精確信息如景點名，景點所在地，門票價格，旅遊路線等等。目前的主流通用搜尋引擎可以提供的搜索結果是整篇關於旅遊景點的網頁。但返回網頁中還存在太多無關景點的信息，用戶還需努力從返回網頁中去提取更為精確的信息。垂直搜索可以代替用戶來解決這類問題。所謂垂直搜索，是針對某一特定領域、某一特定人群或某一特定需求而提供的有價值的信息和相關服務。其特點就是專、精、深，且具有鮮明的行業色彩。它是與通用搜尋引擎截然不同的引擎類型。垂直搜尋引擎專注具體、深入的縱向服務，致力於某一特定領域內信息的全面和內容的深入。這個領域外的閒雜信息不被收錄。總而言之，它需要對採集的信息進行抽取，也就是我們通常所說的信息抽取(IE)。網頁與一般的文本或結構化文本不同，它是一種半結構化的文本文檔，其中混合了顯示文本，標記符，弱文法文本。從半結構文本中提取數據，一個通用的技術就是建立一個包(Wapper)，它通常由一系列提取規則來標識出網頁中的文本片段。目前主要的信息抽取方法是先通過人工構造一些標記好的訓練集網頁，然後包根據訓練集自動或人工產生的提取規則對相同網站進行數據提取。目前這種方法擁有不錯的性能，而且對這種方法也有很多不同的技術提出來。但他們都存在一個共同的缺陷需要人工參與，成本高，耗時長，單調而且容易出錯。更加重要的是對於新的網站，需要人工參與再開發新的包(Wapper)來，擴展性太差。針對這種情況，提出了一種自動信息抽取方法，它能夠根據用戶選取的本行業的不同網站的幾個標記好的網頁對一個新的同領域網站自動產生一個能精確提取該網站數據的信息抽取包而且完全不用人工參與。"槽"就是用戶感興趣的內容項類別，將未知文本判別出它的類別稱之為裝槽。本文描述的自動信息抽取方法側重對預定義槽之間的相互關係進行分析，針對網站設計的風格排除大量的無用文本。並通過獲取網頁的視覺和結構信息對待判斷文本內容進行進一步地壓縮。在該方法中建立了一套準確的權值賦予公式，通過對文本內容各種分析對文本內容做低成本而高效的確定。參考文獻CALIFF,M.E.ANDMOONEY，R.J.2003.基於自底向上的方法學習模式匹配規貝U.(Bottom-uprelationallearningofpatternmatchingrulesforinformationextraction.)J.Mach.Learn,Res.4，177—210.DOWNEY,D.，ETZIONI，O.，ANDSODERLAND，S.2005.信息抽取中冗餘度的概率模型.(Aprobabilisticmodelofredundancyininformationextraction.)InProceedingsoftheEleventhInternationalJointConferenceonArtificialIntelligence(IJCAI)，103H041.MUSLEA，I"MINTON，S.，ANDKNOBLOCK，C.2001.在半結構化的信息源中使用層次化的封裝歸納法.(Hierarchicalwrapperinductionforsemistructuredinformationsources.)J.AutonomousAgentsandMulti-AgentSystems4(1-2),93—114.WolfgangGatterbauer,PaulBohunsky,MarcusHerzog,BernhardKruplandBernhardPollak.2007.與域無關的表格信息抽取.(TowardsDomain-IndependentInformationExtractionfromWebTables.)Inthesessionofidentifyingstructureinwebpages.KUSHMERICK，N.ANDTHOMAS,B.2002.自適應的信息抽取方法信,昆寸戈理的關鍵技術.(Adaptiveinformationextraction:Coretechnologiesforinformationagents.)InIntelligentsInformationAgentsR&DInEurope:AnAgentLinkPerspective，79~103.BLEI，D.，BAGNELL，J.,ANDMCCALLUM，A.2002.領域學習算法，及其在信息抽取與分類中的應用.(Learningwithscope,withapplicationtoinformationextractionandclassification.)InProceedingsoftheEighteenthConferenceonUncertaintyinArtificialIntelligence(UAI)，53~60.COHEN，W.W.，HURST，M.，ANDJENSEN,L.2002.HTML文檔中針對封裝表格和列表的靈活的學習系統.(AflexiblelearningsystemforwrappingtablesandlistsinHTMLdocuments.)InProceedingsoftheEleventhInternationalWorldWideWebHOGUE，A.ANDKARGER5D.2005.語意提取器自動提取全球資訊網中的語意信息.(Thresher:AutomatingtheunwrappingofsemanticcontentfromtheWorldWideweb.)InProceedingsoftheFourteenthInternationalWorldWideWebConference(WWW),86~95.Conference(WWW),232-241.
發明內容本發明的目的是克服現有技術的不足，提供一種基於預定義槽間向量模型的網頁信息抽取方法。包括以下步驟1)對搜尋引擎搜索端抓取的每個網站的網頁集抽取8個網頁，並分別對網頁集的超文本標記語言代碼建立文檔對象模型樹，選取第l個網頁為主頁，通過對主頁和其它網頁之間的文檔對象模型樹進行比較，如果文檔對象模型樹之間相同路徑下文本存在不同，在主頁中把不同文本標記為有用文本；2)對用戶標記的網頁內容進行學習，將學習到的關於文本內容和文本形式特點的規則對有用文本內容進行最初級的判別，計算出每個有用文本相對於預定義槽的相關權重，反覆對每個預定義槽選取權重大於某一閥值的文本，建立多個符合預定義槽記錄的文本候選集合；3)通過掃描超文本標記語言代碼及其層疊樣式表單獲取文本候選集合中的多個文本片段的背景顏色和字體屬性，同時通過訪問開源瀏覽器mozilla中的盒子模型獲取文本侯選集中每個文本的位置信息，確定文本的分布；4)從第一個記錄的文本候選集合開始，分別計算任意兩文本之間的連貫係數，表達兩文本之間的相互結構特徵，顯示特徵，距離特徵以及兩文本之間的上下文環境特徵，並記錄下兩文本分別對應的槽的位置；5)將每一個記錄對應的連貫係數組成一個向量，多個記錄形成一個向量集合，向量集中每個向量與標準向量進行相似度計算，記錄相似度最高的向量，並將相似度最高的向量所對應的文本侯選集記錄裝入槽中。所述的對用戶標記內容的學習的步驟根據用戶標記好內容的網頁的網址，收集所有跟用戶標記好的網頁相鄰的網頁，將每個網頁中對應標記位置的文本進行裝槽，對每個槽中文本的長度、包含內容以及文本內容形式進行統計，得到每個槽的文本長度，經常包含的文本內容以及文本格式特點，組成對有用文本進行初步判斷的規則。所述的計算出每個有用文本相對於預定義槽的相關權重步驟按照每個槽中的學習到的規則對輸入的文本片段進行判斷，滿足規則就加上該規則對應的權值，權值不大於h然後再對剩下的規則進行嘗試，滿足上一條規則就將前面規則權重與l差值的絕對值作為因子乘以新規則的權值，再迭加到前面的權重中。所述的標準向量為對用戶提交的標記好文本進行任意匹對，分別計算兩兩之間的連貫係數，作為向量的一維，並記錄下對應的槽間位置。所述的向量集中每個向量與標準向量進行相似度計算步驟當把一個網頁中的有用文本片段標記出來後，按照初始不變的提取規則進行片段的向量維數確定，組成一個侯選向量集(D1，D2，D3，…，Dn}，預先學習得到的槽向量為T=UU2,A...，^}，其中義為槽間的連貫係數，相似值計算公式如下其中Di為文本候選集對應的向量，T為標準向量，m為向量的維數，；U'為向量Di的第k維，/U為向量T的第k維。所述的計算任意兩文本之間的連貫係數步驟通過對標記文本按照標準向量的對應原則分別選擇文本片段，同時從超文本標記語言代碼中和開源瀏覽器中獲取前面提到的它們之間的各項特徵分別計算兩兩之間的連貫係數；對於坐標Xl，yl和x2，y2和坐標為xr，yl，和x2，,y2，兩個模塊而言，其中的兩個坐標分別表示結點矩形模塊的左上坐標和右下坐標，它們用來表示模塊在瀏覽器中顯示的位置。其中連貫係數A由下面的公式得來-其中T為受兩模塊之間標籤影響的函數返回值，F為比較兩模塊中的文本字體屬性的函數的返回值，C為比較兩模塊中的文字背景顏色的函數的返回值，坐標x，，y，和x，y分別為文本視覺塊矩形的左上點和右下點的坐標，義為兩文本之間的連貫係數。a，S2,S3連貫系分別為調節係數，分別代表標籤、字體和背景顏色在計算連貫係數時的重要程度，在實驗時分別為0.8，0.7和0.9。本發明與現有技術相比具有的有益效果1)通過對文檔對象結構進行重複標籤標記，確定唯一路徑，大大減少進行有用文本片段提取的時間，提高了效率；2)基於槽間相對關係的信息提取可以說是把握了本領域的網站共同特徵，對於不同網站均可自動產生新的信息提取包，可擴展性好；3)充分利用了網頁的視覺結構特徵，極大地提高了信息數據提取的準確度。4)完全採用自動的學習方法，解決了人工參與監督提取的重複和單調的工作，降低了成本。圖1為本基於預定義槽間向量模型的網頁信息抽取平臺的框架組件圖；圖2為本發明的工作流程圖。具體實施例方式基於預定義槽間向量模型的網頁信息抽取方法包括以下步驟1)對搜尋引擎搜索端抓取的每個網站的網頁集抽取8個網頁，並分別對網頁集的超文本標記語言代碼建立文檔對象模型樹，選取第l個網頁為主頁，通過對主頁和其它網頁之間的文檔對象模型樹進行比較，如果文檔對象模型樹之間相同路徑下文本存在不同，在主頁中把不同文本標記為有用文本；2)對用戶標記的網頁內容進行學習，將學習到的關於文本內容和文本形式特點的規則對有用文本內容進行最初級的判別，計算出每個有用文本相對於預定義槽的相關權重，反覆對每個預定義槽選取權重大於某一閥值的文本，建立多個符合預定義槽記錄的文本候選集合；3)通過掃描超文本標記語言代碼及其層疊樣式表單獲取文本候選集合中的多個文本片段的背景顏色和字體屬性，同時通過訪問開源瀏覽器mozilla中的盒子模型獲取文本侯選集中每個文本的位置信息，確定文本的分布；4)從第一個記錄的文本候選集合開始，分別計算任意兩文本之間的連貫係數，表達兩文本之間的相互結構特徵，顯示特徵，距離特徵以及兩文本之間的上下文環境特徵，並記錄下兩文本分別對應的槽的位置；5)將每一個記錄對應的連貫係數組成一個向量，多個記錄形成一個向量集合，向量集中每個向量與標準向量進行相似度計算，記錄相似度最高的向量，並將相似度最高的向量所對應的文本侯選集記錄裝入槽中。所述的對用戶標記內容的學習的步驟根據用戶標記好內容的網頁的網址，收集所有跟用戶標記好的網頁相鄰的網頁，將每個網頁中對應標記位置的文本進行裝槽，對每個槽中文本的長度、包含內容以及文本內容形式進行統計，得到每個槽的文本長度，經常包含的文本內容以及文本格式特點，組成對有用文本進行初步判斷的規則。所述的計算出每個有用文本相對於預定義槽的相關權重步驟按照每個槽中的學習到的規則對輸入的文本片段進行判斷，滿足規則就加上該規則對應的權值，權值不大於l;然後再對剩下的規則進行嘗試，滿足上一條規則就將前面規則權重與l差值的絕對值作為因子乘以新規則的權值，再迭加到前面的權重中。所述的標準向量為對用戶提交的標記好文本進行任意匹對，分別計算兩兩之間的連貫係數，作為向量的一維，並記錄下對應的槽間位置。所述的向量集中每個向量與標準向量進行相似度計算步驟當把一個網頁中的有用文本片段標記出來後，按照初始不變的提取規則進行片段的向量維數確定，組成一個侯選向量集(D1，D2，D3，，Dn}，預先學習得到的槽向量為T=UU2,A3,...，h}，其中義為槽間的連貫係數，相似值計算公式如下其中Di為文本候選集對應的向量，T為標準向量，m為向量的維數，；U'為向量Di的第k維，A為向量T的第k維。所述的計算任意兩文本之間的連貫係數步驟通過對標記文本按照標準向量的對應原則分別選擇文本片段，同時從超文本標記語言代碼中和開源瀏覽器中獲取前面提到的它們之間的各項特徵分別計算兩兩之間的連貫係數；對於坐標Xl，yl和x2，y2和坐標為xl，,yr和x2',y2，兩個模塊而言，其中的兩個坐標分別表示結點矩形模塊的左上坐標和右下坐標，它們用來表示模塊在瀏覽器中顯示的位置。其中連貫係數A由下面的公式得來formulaseeoriginaldocumentpage9其中T為受兩模塊之間標籤影響的函數返回值，F為比較兩模塊中的文本字體屬性的函數的返回值，C為比較兩模塊中的文字背景顏色的函數的返回值，坐標x，，y，和x，y分別為文本視覺塊矩形的左上點和右下點的坐標，A為兩文本之間的連貫係數。a，&，"連貫系分別為調節係數，分別代表標籤、字體和背景顏色在計算連貫係數時的重要程度，在實驗時分別為0.8,0.7和0.9。比如當用戶想要建立旅遊領域的垂直搜尋引擎時，只需要提供該領域中幾個不同網站的一個目標網頁，該方法首先在搜索端對提供的每個網站目標網頁的相鄰網頁進行收集，並對用戶在網頁中指定的數據內容即槽包括景點名、地點、介紹、住宿和餐飲進行統計分析和學習，在本方法中學習的內容分為兩個部分目標內容的描述規則以及內容之間的結構、視覺關係。l.內容描述規則的學習對每個屬性(槽)建立長度規則、內容包含規則以及內容形式規則。長度規則主要對訓練集中同一類內容的長度進行計算，計算出該類內容的最長長度和最短長度以及出現次數最多的長度和它在文獻中佔據的比重；內容包含規則利用文檔頻率(DF)來對內容經常包含的關鍵詞進行收集，每個關鍵字的權重為它的DF除以總的文獻數。對於內容長度大於50的文本，取權重大於某個閥值e的關鍵字組成代表該內容的向量。內容形式規則主要對內容的形式進行學習，在本文中僅僅只一個檢査字符串是否具由數字或非字母的特殊字符串方法(僅對文本長度低於20的文本進行學習)。2相互關係的學習所謂內容之間的相互關係其實是指它們的結構和視覺上的相互關係，在本文中用一個值來表示它，這個值在文中被稱為連貫係數;i。A是一個代表兩文本之間的距離、上下文環境、顯示背景以及自身字體的差距的一個數值。它的公式如下formulaseeoriginaldocumentpage10T代表html代碼中標籤對文本相互關係的相互影響，初始值為1。在T的計算中，先預先設定能有限分離文本表達連貫性的標籤的權重(都為經驗值)，它們的權重都設定為不大於l;當發現兩文本之間存在設定的標籤時，T不斷乘上它們設定的影響權重。F在兩文本的字體屬性相同時設置為1，不同時設置為0。C在兩文本背景顏色相同時設置為1，不相同時直接設置為O。a、^、￡3分別為標籤、字體以及背景顏色對連貫係數的影響因子，初步設為0.8、0.7和0.9。d為兩文本的相對距離。將不同網站的一個網頁標記的內容兩兩配對分別進行連貫係數地計算，得到一個大的向量。n個網站將產生n個向量，將向量的每一維分別取其平均值將得到一個新的向量，這個向量就是代表槽間相互關係的標準每當對新的旅遊行業網站的網頁進行信息抽取時，在本方法中稱為主頁，該方法首先獲取IO個與主頁相鄰的網頁，由於目前比較正規的網站的設計都遵循好的可擴展性原則，相鄰網頁之間存在相似的網頁結構，所以這些網頁與主頁存在結構上的相似，它們在本方法中稱為參照頁。對主頁和參照頁集分別建立文檔對象模型樹，對主頁文檔對象模型和參照頁對象模型進行遍歷和對比，將相同路徑下不同文本標記出來，同時將在主頁中將數據內容用標記出來，通過掃描標記好的超文本標記語言代碼，獲取完所有的有用文本之後，利用學習得到的內容規則，對文本進行初步分類。利用用戶標記好的網頁建立好槽，即用戶想要得到的具體數據內容屬性項，分類的結果得到各文本相對各個槽的權重。從第一個槽即景點名開始，選擇超過規定閥值的文本將它初步地裝入槽中，裝入後開始進行第二個槽的裝入工作，已經裝入的將不再做選擇，如果文本相對槽的權重等於或接近於l，也不會對它進行其它槽的裝入工作。當所有的槽裝入文本後，按照順序記錄下這些裝入的文本，同時開始第二次裝槽工作，並保證每次裝槽過程不能重複。如此不斷循環，直到所有大於權重閥值的文本進入對應的槽中。這樣得到一個文本相對景點名、地點、介紹、住宿和餐飲等槽的一個總的侯選集。在標記好的主頁上，通過掃描超文本標記語言代碼及其層疊樣式表單獲取每一條文本候選集記錄的多個文本片段的背景顏色和字體屬性，同時通過訪問開源瀏覽器mozilla中的盒子模型獲取文本侯選集中每個文本的位置信息，確定文本的分布；利用前面提到的連貫係數的公式，通過對侯選集中景點名、地點、介紹、住宿和餐飲兩兩之間分別進行連貫係數的計算，得到侯選集向量，將每個侯選集向量和標準向量分別進行相似性比較，將相似性最高的向量對應的文本進行裝槽。這樣屬於景點名、地點、介紹、住宿和餐飲的文本都被判別出來。記錄下判斷好的文本的上下文環境即可以完成對與主頁相似的所有網頁的信息抽取。權利要求1、一種基於預定義槽間向量模型的網頁信息抽取方法，其過程是包括以下步驟1)對搜尋引擎搜索端抓取的每個網站的網頁集抽取8個網頁，並分別對網頁集的超文本標記語言代碼建立文檔對象模型樹，選取第1個網頁為主頁，通過對主頁和其它網頁之間的文檔對象模型樹進行比較，如果文檔對象模型樹之間相同路徑下文本存在不同，在主頁中把不同文本標記為有用文本；2)對用戶標記的網頁內容進行學習，將學習到的關於文本內容和文本形式特點的規則對有用文本內容進行最初級的判別，計算出每個有用文本相對於預定義槽的相關權重，反覆對每個預定義槽選取權重大於某一閥值的文本，建立多個符合預定義槽記錄的文本候選集合；3)通過掃描超文本標記語言代碼及其層疊樣式表單獲取文本候選集合中的多個文本片段的背景顏色和字體屬性，同時通過訪問開源瀏覽器mozilla中的盒子模型獲取文本侯選集中每個文本的位置信息，確定文本的分布；4)從第一個記錄的文本候選集合開始，分別計算任意兩文本之間的連貫係數，表達兩文本之間的相互結構特徵，顯示特徵，距離特徵以及兩文本之間的上下文環境特徵，並記錄下兩文本分別對應的槽的位置；5)將每一個記錄對應的連貫係數組成一個向量，多個記錄形成一個向量集合，向量集中每個向量與標準向量進行相似度計算，記錄相似度最高的向量，並將相似度最高的向量所對應的文本侯選集記錄裝入槽中。2、根據權利要求l所述的一種基於預定義槽間向量模型的網頁信息抽取方法，其特徵在於所述的對用戶標記內容的學習的步驟根據用戶標記好內容的網頁的網址，收集所有跟用戶標記好的網頁相鄰的網頁，將每個網頁中對應標記位置的文本進行裝槽，對每個槽中文本的長度、包含內容以及文本內容形式進行統計，得到每個槽的文本長度，經常包含的文本內容以及文本格式特點，組成對有用文本進行初步判斷的規則。3、根據權利要求l所述的一種基於預定義槽間向量模型的網頁信息抽取方法，其特徵在於所述的計算出每個有用文本相對於預定義槽的相關權重步驟按照每個槽中的學習到的規則對輸入的文本片段進行判斷，滿足規則就加上該規則對應的權值，權值不大於l;然後再對剩下的規則進行嘗試，滿足上一條規則就將前面規則權重與l差值的絕對值作為因子乘以新規則的權值，再迭加到前面的權重中。4、根據權利要求l所述的一種基於預定義槽間向量模型的網頁信息抽取方法，其特徵在於所述的標準向量為對用戶提交的標記好文本進行任意匹對，分別計算兩兩之間的連貫係數，作為向量的一維，並記錄下對應的槽間位置。5、根據權利要求1所述的一種基於預定義槽間向量模型的網頁信息抽取方法，其特徵在於所述的向量集中每個向量與標準向量進行相似度計算步驟當把一個網頁中的有用文本片段標記出來後，按照初始不變的提取規則進行片段的向量維數確定，組成一個侯選向量集(D1，D2，D3，…，Dn}，預先學習得到的槽向量為T=Ul，A2,;i3,...，h}，其中義為槽間的連貫係數，相似值計算公式如下其中Di為文本候選集對應的向量，T為標準向量，m為向量的維數，A'為向量Di的第k維，^為向量T的第k維。6、根據權利要求l所述的一種基於預定義槽間向量模型的網頁信息抽取方法，其特徵在於所述的計算任意兩文本之間的連貫係數步驟通過對標記文本按照標準向量的對應原則分別選擇文本片段，同時從超文本標記語言代碼中和開源瀏覽器中獲取前面提到的它們之間的各項特徵分別計算兩兩之間的連貫係數；對於坐標xl,yl和x2,y2和坐標為xr，yl，和x2，，y2，兩個模塊而言，其中的兩個坐標分別表示結點矩形模塊的左上坐標和右下坐標，它們用來表示模塊在瀏覽器中顯示的位置。其中連貫係數;i由下面的公式得來formulaseeoriginaldocumentpage3其中T為受兩模塊之間標籤影響的函數返回值，F為比較兩模塊中的文本字體屬性的函數的返回值，C為比較兩模塊中的文字背景顏色的函數的返回值，坐標x，，y，和x，y分別為文本視覺塊矩形的左上點和右下點的坐標，義為兩文本之間的連貫係數。a,&，"連貫系分別為調節係數，分別代表標籤、字體和背景顏色在計算連貫係數時的重要程度，在實驗時分別為0.8，0.7和0.9。全文摘要本發明公開了一種基於預定義槽間向量模型的網頁信息抽取方法。本方法針對目前自動網頁信息抽取方法中，抽取精度偏低，信息抽取包裝器擴展性和適應性差等缺點，利用正規網站的相鄰網頁集的相似特點以及特定行業的網頁組織特色，通過迭代求權的方法對行業數據進行過濾，分類和辨別。同時通過建立向量模型來代表槽間相互關係，極大地提高了數據內容的辨別粒度，簡化了數據識別過程，而且成本低廉。同以往的人工、半人工以及自動信息提取系統不同，該方法屏蔽了大量無用的文本信息，摒棄了從眾多紛雜信息中利用規則來標識信息的盲目性。通過利用槽空間局部特點更加縮小待處理有用數據的範圍，為精確判斷文本內容提供了環境基礎。文檔編號G06F17/30GK101350019SQ200810063618公開日2009年1月21日申請日期2008年6月20日優先權日2008年6月20日發明者馮明遠,林懷忠,意陳申請人:浙江大學