特定類型信息文件的識別方法和裝置的製作方法
2023-10-09 12:53:19 1
專利名稱：特定類型信息文件的識別方法和裝置的製作方法
技術領域：
本發明涉及一種特定類型信息文件的識別方法和裝置。
背景技術：
信息的存儲通常是以文件的形式存在，並以文件形式進行歸檔，同樣地，廣泛存在於網際網路上的信息也是以WEB文件形式進行發布和傳輸。隨著網際網路的快速發展，WEB文件的信息量已經越來越龐大，並佔據著重要的分量，這使得網際網路上的信息處理技術如WEB文件歸類、檢索等的重要性顯得更為突出。伴隨著網絡的高速發展，用戶對網上信息的需求也日益趨於多樣化。通常，以字符串匹配的搜索方法可以很好地滿足用戶對精細信息的查詢要求。然而對某些以信息類型為特徵的文件群分類或識別，效果卻不盡人意。
在網絡高速發展的今天，WEB頁面所承載的信息已高度的集成化，其內容表現的越來越複雜和多樣化。如超連結信息、超媒體信息等許多信息內容已經成為WEB頁面不可或缺的一部分。這在一定程度上很好地增加了傳遞的信息量並改善了用戶接口，但另一方面也導致了WEB頁面結構的複雜化。使得WEB信息出現了多種不同主題，增加了主信息內容的噪聲。目前，許多從事於WEB信息處理的研究人員也提出了多種WEB信息分塊的方法來企圖準確理解並提取出主要信息，如Ziv Bar-Yossef and Sridhar Rajagopalan 2002.TemplateDetection via Data Mining and its Applications.In Proceedings ofthe WWW2002，May 7-11，2002，Honolulu，Hawaii，USA.
Shian-Hua Lin，Jan-Ming Ho 2002.Discovering InformativeContent Blocks from Web Documents.SIGKDD』02，July 23-26，2002，Edmonton，Alberta，Canada.
我們知道，WEB信息是利用HTML描述語言對WEB上所承載的信息進行組織表示，並利用WEB瀏覽器對其進行解釋顯示給終端用戶。從表面上看，這種信息流是一種線性的文本信息流，而實際上，該WEB信息流具有一定的組織結構。對WEB信息進行處理首先就要對WEB文件的組成結構進行分析，這也是WEB頁面信息處理的一個關鍵技術。WEB頁面利用HTML描述語言對網頁內容進行組織，其信息結構可以映射為一棵以HTMLTag和WEB文本信息為節點的文檔DOM(Document Object Model)樹。現有的瀏覽器也是通過分析出WEB的DOM樹結構，並在這個基礎上對WEB進行顯示。WEB頁面上的文本信息通過HTML定義的Tag與要傳遞的信息有機地組織在一起。我們也可以通過分析Tag的功能屬性對WEB信息結構樹進行處理。(Ziv Bar-Yossef 2002)提出的是一種利用相對簡單的啟發式網頁分塊方法，該方法利用DOM樹及HTML Tag標記的不同屬性把網頁的內容按照信息的語義連貫性對WEB頁面進行區域劃分，以達到不同主題信息分割的目的。(Shian-Hua Lin 2002)提出了用HTML中的Tag標記如Table等制表符號對WEB頁面的信息塊進行偵測分割。可見以上的兩種方法都是利用HTML Tag標記的不同屬性對WEB頁面進行分割，以期提取出用戶感興趣的信息內容。
發明內容
為了解決上述的以信息類型為特徵的文件群分類與識別的問題，本發明提供了一種特定類型信息文件的識別方法和裝置，其能對從網際網路中收集的WEB頁面或存儲在其它相關存儲器中的文件群進行基於文件類型的識別。考慮到同類型文件本身擁有排它屬性，可以有效地用在文件的類型識別中，本發明對輸入的文件群進行分組，這同時達到一個文件樣本預分類的目的，從而為提高系統的識別精度打下基礎。
根據本發明的一個方面，提供了一種文件識別裝置，其包括文件分組部，其把識別對象的文件群按照URL、作者名稱等不同觀點進行文件類型分類，根據不同的文件屬性進行分組，使得後續的識別模塊可以很好地根據各個分組的文件特性進行識別，該分組部同時起到了樣本預分類的目的，提高了系統最終的識別精度；文件類型識別部，其根據WEB頁面的內在DOM結構及HTML Tag屬性對文件進行主信息塊提取，並可以進行歌詞、日記、BBS等特定信息類型判別，該部根據上述類型等特定信息本身所具有排它特徵，如利用關鍵字特徵、標點符號特徵、文檔結構特徵、文檔內容的重複出現等相關特定對文件類型進行識別；文件類型識別修正部，其從全組文件識別精度的大局出發，結合每個離散的文件識別結果，側重考慮本組所有文件的整體識別準確率，對本組的所有文件識別結果進行修正，從而到達提高所有文件的整體識別精度的目的。
優選地，在本發明的文件識別裝置中，文件類型識別部包括一個主信息塊抽取部，其去除文件中與文件本身無關的噪音部分，只抽取出主要部分。
優選地，在本發明的文件識別裝置中，文件類型識別修正部統計當前文件子分組的每個文件識別結果，把當前文件子分組視為一個整體，計算該文件子分組中被識別為正例的文件個數與當前文件子分組的文件個數的比值，並根據先驗閾值判定當前文件子分組。
根據本發明的另一個方面，提供了一種文件識別方法，用於對從網際網路中收集的web頁面或存儲在其它存儲裝置中的文件群進行特定信息類型的識別，該方法包括以下步驟按照特定的觀點對待識別的文件群進行文件類型分類；根據所述特定信息類型所特有的特徵識別文件的類型；從全組文件識別精度的大局出發，對各個文件識別結果進行修正。
優選地，在本發明的文件識別方法中，識別文件類型的步驟還包括一個主信息塊抽取步驟，其中去除文件中與文件本身無關的噪音部分，只抽取出主要部分。
優選地，在本發明的文件識別方法中，在所述的修正步驟中，統計當前文件子分組的每個文件識別結果，把當前文件子分組視為一個整體，計算該文件子分組中被識別為正例的文件個數與當前文件子分組的文件個數的比值，並根據先驗閾值判定當前文件子分組。
圖1表示特定類型信息文件的識別裝置結構圖；圖2表示文件類型識別部的結構圖；圖3表示文件類型識別部中的文件子分組模板信息提取部的實現結構圖；圖4表示文件類型識別部的文件子分組模板信息提取部中的網頁分析過程圖；圖5表示一個網頁文件的DOM樹圖例；圖6表示子分組模板信息提取單元的實現流程圖；圖7表示文件類型識別部中的文件主信息塊提取部的實現結構圖；圖8表示子分組文件主信息塊提取的實現流程圖；圖9表示文件類型識別部中的文件主信息塊識別部的實現結構圖；具體實施方式
下面參照附圖，以歌詞網頁的識別為例，對本發明的特定類型信息文件識別裝置和該裝置中採用的識別方法的實施例進行說明。圖1是本發明的文件識別裝置的簡要結構示意圖。本發明的文件識別裝置由輸入數據和輸出數據以及以下3個主要部分組成包括(1)文件分組部；(2)文件類型識別部；(3)文件類型識別修正部。下面，分別對其進行詳細說明。
本發明的識別裝置的輸入數據是從網際網路中收集的WEB頁面或存儲在其它相關存儲器中的文件群。輸出數據為通過本識別裝置處理後的兩種文件分類集合，即正例識別結果集合和反例識別結果集合。正例識別結果為通過本系統進行識別的某一特定信息類型，如本實施例中被識別為歌詞網頁這一特定信息類型的文件；反例識別結果為被系統識別為非該特定信息類型的識別結果，如本實施例中被識別為非歌詞網頁這一特定信息類型的文件。
(1)文件分組部。
該部首先對從網際網路中收集的WEB頁面或存儲在其它相關存儲器中的文件群，按照URL、作者名稱等不同觀點對輸入文件群進行文件類型分類。
在以往的大多系統實現中，每個需要識別的文件，對識別系統來說都是地位平等的不同個體，系統只是根據相同的方法和資源對每個個體進行同一流程的識別判定，這從系統建模的角度上來講是完全合理的，對每個需要識別的文件來講也是平等的。然而，在實際應用中的文件之間有一定的聯繫，並能夠通過某一特定的文件屬性表現出，然而上述的系統卻不能很好的利用這一特性。本文件分組部就是基於這一考慮，通過文件的某一特性如URL、作者名稱等不同觀點對文件群進行分類，並以每一分類重新作為系統的輸入數據。這就使得各個孤立的文件個體能夠很好地建立聯繫，同時也使得系統能夠根據每個分組的共同屬性加於識別。
本文件分組部從整個系統識別功能的角度講，可以看成是對系統輸入樣本的一次樣本預分類。這對系統最後的整體識別精度的提高有很大的幫助。
(2)文件類型識別部。
在本發明的文件類型識別部中，充分利用了DOM樹的結構信息和HTML Tag標記的屬性，對複雜的WEB頁面進行主信息塊提取，在此，本發明使用一種基於網頁模板信息的網頁主信息塊提取方法，達到儘量排除WEB主信息識別的噪聲幹擾，提高了系統識別精度。
該部根據WEB頁面的內在DOM結構及HTML Tag屬性提取出文件的主信息塊，並利用該主信息內容對文件進行歌詞信息這一特定信息類型進行判別。然後利用歌詞信息這一特定類型信息本身所具有的排它特徵，如利用關鍵字特徵、標點符號特徵、文檔結構特徵、文檔內容的重複出現等相關特徵，對文件類型進行識別。
圖2中描述的是文件類型識別部的具體功能實現，其輸入為文件分組部根據URL等不同觀點對文件群分類後的文件分組，具體可以分為三個主要子部件，分別為文件子分組模板信息提取部、文件主信息塊提取部和文件主信息塊類型識別部。文件子分組模板信息提取部的功能是通過文件子分組的模板學習集，通過對其HTML結構文檔的分析，提取出網頁的模板信息。文件主信息塊提取部的主要功能是利用文件子分組模板信息提取部提取出的文件子分組模板信息對文件子分組中的每個文件進行主信息提取，該部能夠去除網頁中的大量噪聲信息，對下面的文件類型識別提供了可靠的保證。同時該部在實現中可以利用多線程技術進行並發處理來提高系統運行的速度。文件主信息塊類型識別部的功能是根據歌詞網頁這一特定信息類型的排它屬性，如利用關鍵字特徵、標點符號特徵、文檔結構特徵、文檔內容的重複出現等相關特徵，對文件類型進行識別，其輸入為從每個文件中提取出的主信息內容。
圖3描述的是文件子分組模板信息提取部的內部功能實現。其輸入數據為經過文件分組部分類後的文件子分組中的模板信息提取訓練集。該部主要實現了文件子分組的模板信息提取，其主要部件包括文件DOM樹表示單元、DOM樹葉節點信息塊合併單元、DOM樹信息塊數據結構(信息塊Table)表示單元、信息塊字符串相似度計算單元以及模板信息塊提取單元等5部分。
1.文件DOM樹表示單元的實現是網頁信息處理技術中的一個關鍵技術，它實現了網頁文件原始碼的線性流到網頁文件的DOM樹結構的對應，同時為以下的文件結構分析創造了條件。我們知道，網頁文件是利用HTML描述語言對網頁文件所要傳遞的信息內容進行格式化顯示，其包括了HTML Tag信息、注釋信息和網頁所要傳遞的主信息三個部分，其中注釋信息對我們的結構分析沒有作用，而Tag信息卻蘊藏著豐富的文件結構信息，網頁所要傳遞的信息在DOM樹上通常是以樹葉的形式出現且其節點屬性為文本屬性。圖4描述了一個網頁的分析過程，文件流流入文件信息Token流部，根據不同的屬性將被劃分為以上所述三種類型信息，且每一種信息都稱為一個Token流。這樣一個網頁文件將被視為是由一系列的Token流串聯而成。這些Token信息流將流入HTML分析部。該部利用W3C組織發布的HTML版本標準，根據各Tag的屬性對Token信息流進行分析，最後得到一棵與該網頁相對應的DOM樹。圖5所示的是一個網頁文件的DOM樹圖例，其中TEXT節點表示的是網頁所要傳遞的主信息文本節點，其它節點為HTML的Tag標記，線段表示兩個節點之間的父子關係。
2.DOM樹葉節點信息塊合併單元實現了網頁內不同信息的信息塊劃界定位。網頁文件的HTML源文件是在經過瀏覽器的解釋後顯示給用戶的。從顯示的效果上看，信息的組織具有一定的結構性，不同的文本信息在網頁的不同位置存在著一定聚合性，即以不同的信息塊的形式出現。然而在網頁文件的DOM樹上這些相應的節點也是有一定的關聯，該信息塊合併單元通過如下的方法很好地實現了信息塊的合併。
為了通過HTML DOM樹找出信息塊之間的相互關係，我們首先必須對DOM樹進行預處理，同時捨去跟我們研究不相干的信息節點，如script節點，同時對感興趣的節點進行標註。以下為信息塊合併的方法a)定義算法中用到的相關符號信息符號N表示DOM樹中的一個節點；符號DN表示該節點不是一個文本信息節點，但是在DOM樹中卻是以樹葉節點的形式出現；符號LN表示該節點是一個DOM樹中的葉子節點，同時該節點又是一個文本節點b)以深度優先的後根順序遍歷整個網頁DOM樹，並以如下方法檢查每個節點第一步(a).如果當前節點N不是DOM樹中的一個葉子節點，則什麼也不做，檢查下一個節點；(b).如果當前節點是DOM樹中的一個LN節點，則刪除該節點，並檢查下一個節點；到這裡，所有的DN節點將被全部去掉。
第二步(a).如果當前節點N是一個葉子節點，則什麼也不做，檢查下一個節點；
(b).如果節點當前節點N的父節點只有一個兒子節點而且當前節點N只有一個葉子節點，那麼1).刪除當前節點N；2).令當前節點N的兒子節點為當前節點的父節點的兒子節點，並順序地排列在其它兄弟節點的後面；3).繼續遍歷整棵樹的其它節點；在刪除了樹中的不合理節點後，我們就可以得到一棵相對比較簡潔的網頁DOM樹。這時，如果將不同子樹的所有葉子節點的內容串聯起來的話，我們將看到每一個字符串即代表一個信息串，也就是所述的網頁信息塊。
3.DOM樹信息塊數據結構表示為網頁信息節點合併後的網頁信息塊數據結構表示。經過DOM樹葉節點信息塊合併單元的處理後，網頁信息被劃分為不同的信息塊。為了之後的模板信息塊的提取，把處理後的DOM樹信息內容拷貝到DOM樹信息塊數據結構中。該結構為一個鍊表結構，鍊表中的每個節點存儲著網頁的一個信息塊內容，其內容為將處理後的DOM樹中的對應信息塊子樹中的所有葉子節點按照從左到右的順序串聯拷貝到鍊表節點中。
4.信息塊字符串相似度計算單元完成兩個字符串的相似度計算。字符串的相似度定義為，兩個被計算的字符串的相似程度，並利用一個值範圍為
區間的double型變量表示其相似程度，0表示這兩個字符串為不相關，1表示這兩個字符串完全相同。在該計算單元中，我們通過計算兩個字符串的編輯距離來完成相似度計算。我們分別定義三個字符的編輯操作插入、刪除、對換。並令這三種操作的操作函數代價都為1。再利用動態規劃的方法計算其相似度值。
5.模板信息塊的提取單元實現對網頁訓練集(兩個具有代表性的網頁文件)的模板信息提取。在經過上述幾個單元的處理後，將得到訓練集網頁對應的DOM樹信息塊數據結構(如圖6中的兩個輸入鍊表Table_1和Table_2)。其詳細的算法如圖6所示。經過該算法的處理後，將得到一個當前文件群分組部的網頁模板信息。
圖7描述的是文件主信息塊提取部的內部功能實現。其輸入數據為從該子文件分組中提取出的模板信息和當前即將被識別的網頁信息。該部主要實現了當前網頁的主信息提取，其主要部件包括當前網頁文件DOM樹表示單元、當前網頁文件DOM樹葉節點信息塊合併單元、當前網頁文件信息塊表示單元、信息塊字符串相似度計算單元、以及網頁主信息塊提取單元等5部分。
1.當前網頁文件DOM樹表示單元。具體算法同「文件子分組模板信息提取部」的「文件DOM樹表示單元」。
2.當前網頁文件DOM樹葉節點信息塊合併單元。具體算法同「文件子分組模板信息提取部」的「DOM樹葉節點信息塊合併單元」。
3.當前網頁文件信息塊表示單元。其具體算法同「文件子分組模板信息提取部」的「DOM樹信息塊數據結構表示單元」。
4.信息塊字符串相似度計算單元。具體算法同「文件子分組模板信息提取部」的「信息塊字符串相似度計算單元」。
5.網頁主信息塊提取單元。實現對網頁信息的主信息塊提取。在經過上述幾個單元的處理後，將得到當前網頁對應的DOM樹信息塊數據結構(如圖8中的輸入鍊表Web_Table)，並利用當前文件子分組的模板信息(如圖8中的輸入鍊表Template_Table)。其詳細的算法如圖8所示。經過該算法的處理後，將得到當前網頁文件的主信息塊信息。
圖9描述的是文件主信息塊識別部的內部功能實現。其輸入數據為網頁的主信息塊。該部主要實現了利用多種方法對網頁主信息塊的識別，其主要包括利用關鍵字/反關鍵字屏蔽匹配的特徵信息識別部、信息塊連結特徵提取部、信息塊行分段特徵信息提取部、信息塊文本重複特徵信息提取部、信息塊文本標點特徵信息提取部、信息塊文本長度特徵信息提取部和綜合判定部等7個子部分。其中前面的6個子部分分別從信息塊中提取不同的特徵信息，並把提取出的信息放到特徵信息變量中。綜合判定部將利用該特徵信息變量值對信息塊進行判定，並給出對本網頁的最終判定結果。
利用關鍵字/反關鍵字屏蔽匹配的特徵信息識別部。利用關鍵字特徵對主信息塊進行搜索匹配，並計算出該網頁的關鍵字得分值，存放在特徵信息變量中。通過構造三個向量Tc、Tf和Tw，其中，Tc為關鍵詞向量，Tf為關鍵詞在當前主信息塊中的出現頻率向量，Tw為關鍵詞權值向量。在對每個主信息塊的搜索匹配後，我們將得到當前的Tf值，並計算出這三個向量的內積Tc·Tf·Tw，即當前網頁主信息塊的特徵詞得分值。並把該值存放到特徵信息變量中，等待進一步判定。
上述關鍵詞搜索匹配，利用的是字符串的完全匹配技術。這就容易忽視了當所匹配的信息恰好是非關鍵詞信息的「字符串子集」，且非特徵詞信息又是表達另一個語義情況下的錯誤累計。「反關鍵字屏蔽算法」的提出就是為了解決該問題，即通過預先匹配可能出現的該類非關鍵詞信息，然後再利用「關鍵詞匹配算法」進行匹配處理。
信息塊連結特徵提取部，該部實現對主信息塊的鍊表的統計分析。在該部中，通過統計連結文本的長度，和當前主信息塊的文本長度。並計算該比值，並把統計的結果存儲到特徵信息變量中，等待進一步判定。
信息塊行分段特徵信息提取部，該部實現對主信息塊的行分段信息進行統計。通過統計每行中的子分段個數，並求出當前主信息塊的行平均分段數，並把該信息存儲到特徵信息變量中，等待進一步判定。其中，行子分段定義為文本信息被空格或多個空格隔開的字符段。
信息塊文本重複特徵信息提取部，該部實現對主信息塊的文本重複進行統計。首先，以行為單位對當前主信息塊中的所有行按文本內容進行排序。其次，從第一行開始，依次計算每相鄰兩個行文本內容的相似度，並把計算的結果存儲到對應的臨時變量中。最後，統計所有大於閾值的行信息相似度值個數，並把這個信息存儲到特徵信息變量中，等待進一步判定。
信息塊文本標點特徵信息提取部，該部完成對主信息塊的標點特徵信息進行統計。統計當前主信息塊內容中的預定義的標點符號。並把該信息存儲到特徵信息變量中，等待進一步判定。
信息塊文本長度特徵信息提取部，該部完成對主信息塊文本長度的統計，並把該特徵信息變量中，等待進一步判定。
綜合判定部，該部完成對存儲在特徵信息變量中的參數值進行綜合判定。該部分別對關鍵詞特徵信息、信息塊連結特徵、信息塊行分段特徵信息、信息塊文本重複特徵信息、信息塊文本標點特徵信息和信息塊文本長度特徵信息定義三個代表三種性能等級的參數，如下所示
我們可以根據先驗閾值信息分別對上述6個信息量進行選擇，並利用啟發式規則對主信息塊的類型進行判定。在我們的系統實現中，使用了如下的啟發式規則
凡是當前主信息塊識別的「特徵信息變量」符合上述規則的文件將被視為正例識別結果，否則為反例識別結果。
(3)文件類型識別修正部該部從同一組中各個文件識別結果的全體出發，結合每個離散的文件識別結果，側重考慮本組所有文件的整體識別準確率，對本組的所有文件識別結果進行修正。其特徵在於統計當前文件子分組每個文件識別結果，把當前文件子分組視為一個整體，計算該文件子分組的「正例識別率」，即被識別為正例的文件個數與當前文件子分組的文件個數的比值，並根據先驗閾值判定當前文件子分組。
以上結合歌詞網頁的識別對本發明的識別裝置和識別方法的一個實施例進行了說明，但很顯然本發明並不限於歌詞網頁的識別，而是可以應用於各種類型的信息文件。另外，以上描述的各種細節只是示例性的，用於幫助更好地理解本發明，在本發明的範圍之內可以對本發明的識別裝置和識別方法進行各種改進和變化。
權利要求
1.一種文件識別裝置，用於對從網際網路中收集的web頁面或存儲在其它存儲裝置中的文件群進行特定信息類型的識別，該裝置包括文件分組部，其按照特定的觀點對待識別的文件群進行文件類型分類；文件類型識別部，其根據所述特定信息類型所特有的特徵識別文件的類型；以及文件類型識別修正部，其從全組文件識別精度的大局出發，對各個文件識別結果進行修正。
2.根據權利要求1所述的文件識別裝置，其中所述文件類型識別部包括一個主信息塊抽取部，其去除文件中與文件本身無關的噪音部分，只抽取出主要部分。
3.根據權利要求1所述的文件識別裝置，其中所述的文件類型識別修正部統計當前文件子分組的每個文件識別結果，把當前文件子分組視為一個整體，計算該文件子分組中被識別為正例的文件個數與當前文件子分組的文件個數的比值，並根據先驗閾值判定當前文件子分組。
4.一種文件識別方法，用於對從網際網路中收集的web頁面或存儲在其它存儲裝置中的文件群進行特定信息類型的識別，該方法包括以下步驟按照特定的觀點對待識別的文件群進行文件類型分類；根據所述特定信息類型所特有的特徵識別文件的類型；從全組文件識別精度的大局出發，對各個文件識別結果進行修正。
5.根據權利要求4所述的文件識別方法，其中所述識別文件類型的步驟還包括一個主信息塊抽取步驟，其中去除文件中與文件本身無關的噪音部分，只抽取出主要部分。
6.根據權利要求4所述的文件識別方法，其中在所述的修正步驟中，統計當前文件子分組的每個文件識別結果，把當前文件子分組視為一個整體，計算該文件子分組中被識別為正例的文件個數與當前文件子分組的文件個數的比值，並根據先驗閾值判定當前文件子分組。
全文摘要
提供了一種文件識別裝置和方法，用於對從網際網路中收集的web頁面或存儲在其它存儲裝置中的文件群進行特定信息類型的識別，本發明的裝置包括文件分組部，其按照特定的觀點對待識別的文件群進行文件類型分類；文件類型識別部，其根據所述特定信息類型所特有的特徵識別文件的類型；以及文件類型識別修正部，其從全組文件識別精度的大局出發，對各個文件識別結果進行修正。本發明的裝置和方法可以對各種類型的信息進行識別，並可以實現非常好的識別精度。
文檔編號G06F17/30GK1702651SQ20041003835
公開日2005年11月30日 申請日期2004年5月24日 優先權日2004年5月24日
發明者王主龍, 於浩, 西野文人 申請人:富士通株式會社