用於自動提取副標題信息的系統和方法
2023-05-05 10:48:41
專利名稱：用於自動提取副標題信息的系統和方法
技術領域：
本發明總體上涉及對電子文檔的文本分析。更具體地說，本發明涉及對電子文檔中的副標題(by-line)進行識別和指定，從而能夠根據副標題信息來定位文章。
背景技術：
作為例如在線新聞文章的信息的大型資料庫，全球資訊網正在不斷發展。在線新聞文章是世界範圍內的信息和事件的有用資源。在提供在線新聞文章的網站的數量方面以及在每個網站提供的文章的數量方面，可從web上獲得的在線新聞文章的數量正在迅速增加。估計在線新聞資源如web上的雜誌和報紙超過10000。在世界範圍內，在線新聞資源包括本地新聞資源、地區新聞資源以及國家新聞資源。這些新聞資源迎合不同的話題，如國際新聞、國家新聞、本地新聞、經濟新聞、科技新聞、及體育新聞等。
新聞資源包括也在線出現的印刷媒體。這些新聞資源每日、每月發表新聞文章，有時使較早的文章可用於存檔訪問。新聞資源也包括只通過web提供新聞文章的非印刷媒體站點。
在每天出現這樣大量新聞文章的情況下，擁有能夠從這些新聞文章中提取有意義的信息並且使提取的信息可以為用戶所用的自動化的技術和系統正變得日益有用。這種被提取的信息可以簡化導航和搜索任務。這些自動系統(例如搜尋引擎)通常在web上定期爬行(crawl)、抽取網頁、並且對網頁的內容進行分析。
對於任何這樣的系統而言，一種有用的任務是能夠對每篇新聞文章提取副標題。副標題是出現在文章或報導的開始之處的行，通常包括作者、日期、來源、位置等。副標題信息對於在新聞文章中進行基本搜索和導航都是有用的。在對文章的內容進行趨向分析方面，副標題也是有用的。
以下形式的查詢顯示由作者X寫的新聞文章，顯示由作者X寫的關於關鍵字Y的新聞文章，顯示由作者X在日期D寫的新聞文章，或者顯示在日期D的關於關鍵字Y的新聞文章包括對大型新聞文章資料庫進行搜索和導航的基本方法。對副標題信息的查詢需要知道在被爬行的網頁上的文章的日期和作者。另外，對一個話題的任何類型的時間趨向分析都需要知道關於該話題的每篇新聞文章的創作日期。
在常規的印刷的報紙中，或者當被人閱覽時，在文章標題之下或之上出現的小行字中很容易看到副標題信息。這些小行字將文章的作者與日期並可能將來源或地點一起列出。但是，從網頁的html源中自動發現副標題信息是困難的，這是由於不知道副標題的位置。副標題不被明確地提及或標出。另外，被爬行的網頁具有圍繞核心文章的其它項目和模板。在副標題之前和之後，可能有其它日期和人名。基於位置選擇任何日期或名字通常不能為所考慮的文章提供期望的副標題信息。另外，不同網站使用不同的呈現副標題信息的模式，並且，這些模式會隨時間變化。
一種傳統的方法使用由某些網站在http標題中提供的、表示該頁被最後修改的日期的「最後修改日期」。但是，網頁經常包括動態內容，如廣告或其它模板。因此，最後修改日期對應於廣告或其它模板，而不是核心文章的原始日期。因此，對多數站點，「最後修改日期」不可靠。
另一種傳統方法使用饋送(feed)，例如豐富站點摘要(rich sitesummary，RSS)饋送或者資源描述框架(resource descriptionframework，RDF)饋送。饋送通常包括希望的副標題信息。但是，不是所有新聞站點都提供饋送；在饋送中提供的信息取決於內容提供者的意願，並且，某些提供者不提供副標題信息。即使提供時，饋送也不是免費的，或者不能被網頁分析系統進行商業上的使用。另外，饋送可能只能用於當前的文章而不能用於較早的、已經存檔的文章。因此，在分析中，希望對網頁的爬行包括較早的文章。
另一種傳統方法尋找關鍵字模式，如「By*」或者「Composedby*」，以識別作者。關鍵字模式，如「Published On*」或者「SubmittedOn*」被用於識別日期。這種方法對某些站點很好用，但是該方法是受到限制的，因為每個站點的關鍵詞模式是不同的。對許多站點來說，在作者/日期之前沒有關鍵字。例如，副標題可能僅包括「Jhon Crameron Apr 4，2005」。
因此，需要一種用於自動提取副標題信息的系統、電腦程式產品以及相關方法。對這樣的方案的需求至今還未被滿足。
發明內容
本發明滿足了這種需求，並且提出了用於自動提取副標題的系統、電腦程式產品和相關方法(以下集中起來稱為「系統」或「本系統」)。本系統從被爬行的文檔的題目元標籤中檢測潛在標題的集合，從潛在標題的集合中選擇候選標題，並且通過利用選擇的候選標題的位置，從文檔中提取副標題信息。
本系統通過根據題目元標籤(title meta-tag)構成潛在標題的集合，檢測候選標題的集合。構成潛在標題的集合的操作包括在題目元標籤中，按照標點符號將題目元標籤分開，由此產生題目元標籤的子字符串的集合。本系統可選地將子字符串的二元語法模型(bi-gram)和子字符串的n元語法模型(n-gram)加到潛在標題的集合。
本系統通過按照潛在標題的長度的順序對潛在標題的集合進行評估，從潛在標題的集合中選擇候選標題。評估包括在被爬行的文檔的去標籤(de-tagged)版本中，識別正在被評估的所選擇的候選標題的位置。評估還包括檢驗所選擇的候選標題在去標籤內容中的被識別位置包括完整的行。評估還包括檢驗所選擇的候選標題的長度超過去標題內容中的最小長度。評估還包括確保所選擇的候選標題包括文檔的去標籤版本中的規則文本。
本系統通過利用被選擇的候選標題的位置，提取位於距潛在標題的位置的最短距離內的、代表日期的字符串，從文檔中提取副標題信息。本系統還通過提取位於距潛在標題的位置的最短距離內的、代表名字的字符串，從文檔中提取副標題信息。本系統還通過提取位於距潛在標題的位置的最短距離內的、代表文檔來源的字符串，從文檔中提取副標題信息。
以下將參照詳細說明、權利要求和附圖，對本發明的各種特性以及實現它們的方法進行詳細描述，其中，在適當的地方，重複使用附圖標記，以表示被引用的項目之間的對應性，其中圖1為可以使用本發明的副標題提取系統的典型操作環境的示意圖；圖2為圖1的副標題提取系統的高層結構的框圖；圖3為說明圖1和2的副標題提取系統的操作方法的處理流程圖；圖4代表說明圖1和2的副標題提取系統的標題檢測模塊的操作方法的處理流程圖；並且圖5包括圖5A和5B，並且代表說明圖1和2的副標題提取系統的標題評估模塊的操作方法的處理流程圖。
具體實施例方式
以下的定義和解釋提供了有關本發明的技術領域的背景信息，並且，其意圖在於幫助理解本發明而不對其範圍進行限制HTML(Hypertext Markup Language，超文本標示語言)一種標準語言，用於將表示和連結屬性附加到文檔中的信息性內容。在文檔創作階段，HTML「標籤」被嵌入文檔的信息性內容中。當web伺服器向web瀏覽器發送web文檔(或「HTML文檔」)時，由瀏覽器對標籤進行解釋，並且，標籤被用於分析和顯示文檔。除了規定web瀏覽器如何顯示文檔以外，HTML標籤還可以用於建立與其它web文檔的超級連結。
Internet通過一套標準協議、藉助路由器連結在一起的互連的公共和私用計算機網絡的集合，以便形成全球的、分布式網絡。
World Wide Web(WWW，也稱Web)一種網際網路客戶機-伺服器超文本分布式信息檢索系統。
圖1描繪了可以使用按照本發明的、用於自動提取副標題信息的系統、電腦程式產品以及相關方法(「副標題提取系統10」或「系統10」)的示例性總體環境。文本分析系統15包括系統10和搜尋引擎20。例如，文本分析引擎15對從信源如WWW獲得的文檔進行分析，用於數據分析、趨勢發現等。文本分析引擎包括由搜尋引擎20提供的搜索功能。文本分析系統15被安裝在計算機、如主機伺服器25上。
系統10包括一般被嵌入或者被安裝在主伺服器25上的軟體編程代碼或電腦程式產品。或者，系統10被保存在合適的存儲介質如軟盤、CD、硬碟等裝置上。資料庫30(dB 30)包括來自信源例如WWW的文檔。儘管以下將結合WWW對系統10進行描述，但是，系統10可以與從WWW或其它信源得到的內容的獨立的dB 30一起使用。
用戶，例如遠程網際網路用戶，由各種計算機例如計算機35、40、45代表，並且可以通過網絡50訪問主機伺服器25。計算機35、40、45中的每一個包括允許使用戶與主機伺服器25安全地進行接口的軟體。主機伺服器25通過通信鏈路55如電話、電纜或衛星鏈路連接到網絡50。計算機35、40、45可以分別通過通信鏈路60、65、70連接到網絡50。儘管按照網絡50對系統10進行描述，但是，計算機35、40、45也可以在本地而不是遠程訪問系統10。計算機35、40、45可以人工或利用應用軟體自動訪問系統10。用戶通過網絡50和搜尋引擎20在dB 30上查詢數據。
圖2示出了系統10的高層結構。系統10包括標題檢測模塊205、標題評估模塊210和副標題提取模塊215。每個包括新聞文章的網頁一般包括一個標題。系統10通過對文檔中的標題進行識別並且定位靠近被識別的標題的副標題，對副標題信息進行定位和提取。
輸入220包括從信源例如WWW獲得的被爬行的文檔。輸入220還包括已經去除了html標籤的、被爬行的文檔(稱為去標籤文檔)。利用標準的去標籤方法將HTML標籤去除。輸出225包括被識別的副標題信息。
圖3示出了系統10的操作方法300。對於一個選擇的文檔，標題檢測模塊205從該選擇的文檔的題目元標籤(title meta-tag)中，選擇潛在標題的集合。每個選擇的文檔包括一個題目元標籤(圖4的步驟400，方法400)。示例性的題目元標籤包括titleGuardian Unlimited|Special reports|No more nearmisses，says new air traffic chief/title
titleCNN.com-jury’s still out on e-voting-Nov 5，2004/title
titleNov.2 the biggest test yet for touch-screen voting|csmonitor.com/title
標題評估模塊210通過在選擇的文檔的去標籤版本中對選擇的候選標題進行定位並且對候選標題進行評估，從潛在標題的集合H中選擇候選標題(步驟500，圖5的方法500)。
副標題提取模塊210提取代表副標題信息的字符串(步驟305)。提取的字符串位於候選標題的預定最短距離以內。提取的字符串可以是名字、來源、日期、位置或者副標題信息的任何其它項目。預定最短距離包括約50個字符到約100個字符。預定最短距離是可配置的；預定距離的典型值為約100個字符。
圖4示出了在對潛在標題的集合H進行檢測過程中，標題檢測模塊205的方法400。標題檢測模塊205從輸入220中選擇文檔(步驟405)。選擇的文檔包括被爬行的版本和去標籤版本。標題檢測模塊205通過在被爬行的版本的title../title元標籤中選擇字符串，從選擇的文檔的被爬行版本中獲得題目字符串T(步驟410)。標題檢測模塊205將題目字符串T加到潛在標題的集合H(步驟415)。
標題檢測模塊205在某些或所有標點符號處，將題目字符串T分開，生成子字符串(步驟420)。標題檢測模塊205將生成的子字符串加到潛在標題的集合H(步驟425)。標題檢測模塊205可選地將生成的子字符串的二元語法模型加到潛在標題的集合H(步驟430)。標題檢測模塊205可選地將生成的子字符串的n元語法模型加到潛在標題的集合H(步驟435)。
圖5(圖5A，5B)示出了在通過在選擇的文檔的去標籤版本中對選擇的候選標題進行定位並且對候選標題進行評估，從潛在標題的集合H中，為選擇的文檔選擇候選標題的過程中，標題評估模塊210採用的方法500。標題評估模塊210在選擇的文檔中，選擇潛在標題的集合H中的最長的潛在標題(步驟505)。按照標點符號將題目字符串分開之後的最長子字符串是標題的高概率候選者。其它組合可能概率較低。通常，最長的潛在標題是題目字符串T被按照標點符號分開時建立的題目字符串T中的最長子字符串。否則，最長的潛在候選者可能是整個題目字符串T。
標題評估模塊210在選擇的文檔的去標籤版本中定位選擇的潛在標題(步驟510)。如果潛在標題不位於該文檔中(判斷步驟515)，則被定位的標題不是可用標題選項。標題評估模塊210在潛在標題的集合H中選擇下一個最長的潛在標題(步驟520)，並且進行到步驟555。
在判定步驟555，系統10詢問是否已經考慮了所有潛在標題。如果還沒有，則系統10進行到步驟510。但是，如果已經考慮了所有潛在標題，沒有在選擇的文檔上發現可接受的標題，則系統10退出對選擇的文檔的處理(步驟540)。
如果潛在標題位於該文檔中(判定步驟515)，則標題評估模塊210判斷被定位的標題是否包括獨立的行，被定位的標題包括獨立行的全部內容(判定步驟525)。如果不是，則被定位的標題不是可用標題選項。如前面所述，標題評估模塊210在潛在標題的集合H中選擇下一個最長的潛在標題(步驟520)，並且進行到判定框555。
否則，標題評估模塊210對被定位的標題是否出現在html連結進行判斷(判定步驟530)，以確保被定位的標題只包括文本。如果是，則被定位的標題不是可用標題選項。如前面所述，標題評估模塊210在潛在標題的集合H中選擇下一個最長的潛在標題(步驟520)，並且進行到判定框555。
否則，標題評估模塊210對被定位的標題是否小於預定最小長度進行判斷(判定步驟535)。如果是，則在選擇的文檔上沒有發現可接受的標題，並且系統10退出對選擇的文檔的處理(步驟540)。
否則，標題評估模塊210判斷在被定位的標題附近是否發現可接受的日期(判定步驟545)。可接受的日期出現在被定位的標題附近，在日期與被定位的標題之間沒有html連結或超文本引用。如果沒有發現可接受的日期，則被定位的標題不是可用標題選項。標題評估模塊210在潛在標題的集合H中選擇下一個最長的潛在標題(步驟520)，並且返回到步驟510。
如果發現了可接受的日期，則標題評估模塊210將定位的標題輸出為選擇的標題(步驟550)。
系統10為文檔識別潛在標題，在該文檔的去標籤版本中對潛在標題進行定位，並且根據圍繞該位置的文本確認候選標題。即使題目字符串T不是準確的標題，但是，html信源中的題目字符串T通常含有關於文章標題的有價值線索。
系統10包括用於從被爬行的網頁或者包括新聞文章的文檔中發現副標題信息的一般自動化技術。系統10不要求每個站點定製並且具有很高的準確性，並且，當副標題信息可用時，可以進行再調用。
應該理解，已經描述的本發明的特定實施例只是對本發明的原理的某些應用進行了說明。在不脫離本發明的精神和範圍的情況下，可以對這裡描述的用於自動提取副標題信息的系統和方法進行許多修改。
權利要求
1.一種在被爬行的文檔中自動提取副標題信息的、由處理器實現的方法，包括如下步驟從文檔的題目元標籤中檢測文檔的潛在標題的集合；從所述潛在標題的集合中選擇候選標題；利用選擇的候選標題的位置，從文檔中提取副標題信息。
2.如權利要求1所述的方法，其中，檢測步驟包括根據所述題目元標籤構成所述潛在標題的集合。
3.如權利要求2所述的方法，其中，構成步驟包括按照所述題目元標籤中的所有標點符號將所述題目元標籤分開，產生所述題目元標籤的子字符串的集合。
4.如權利要求3所述的方法，還包括將所述子字符串的多個二元語法模型和所述子字符串的多個n元語法模型中的任何一個加到所述潛在標題的集合。
5.如權利要求1所述的方法，其中，選擇步驟包括按照所述潛在標題的長度的順序對潛在標題進行評估，其中，評估步驟包括如下步驟在文檔的去標籤版本中，識別正在被評估的選擇的候選標題的位置；檢驗選擇的候選標題在去標籤內容中的被識別的位置包括完整的行；檢驗選擇的候選標題的長度超過去標籤內容中的最小長度；並且確保選擇的候選標題包括文檔中的規則文本。
6.如權利要求1所述的方法，其中，提取步驟包括提取位於距所述潛在標題的位置的最短距離以內的、代表日期的字符串。
7.如權利要求1所述的方法，其中，提取步驟包括提取位於距所述潛在標題的位置的最短距離以內的、代表名字的字符串。
8.如權利要求1所述的方法，其中，提取步驟包括提取位於距所述潛在標題的位置的最短距離以內的、代表文檔來源的字符串。
9.一種在被爬行的文檔中自動提取副標題信息的、由處理器實現的系統，包括標題檢測模塊，用於從文檔的題目元標籤中檢測文檔的潛在標題的集合；標題評估模塊，用於從所述潛在標題的集合中選擇候選標題；以及副標題提取模塊，用於利用選擇的候選標題的位置，從文檔中提取副標題信息。
10.如權利要求9所述的系統，其中，所述標題檢測模塊根據題目元標籤構成所述潛在標題的集合。
11.如權利要求10所述的系統，其中，所述標題檢測模塊通過按照所述題目元標籤中的所有標點符號將所述題目元標籤分開，產生所述題目元標籤的子字符串集合，來構成所述潛在標題的集合。
12.如權利要求11所述的系統，其中，所述標題檢測模塊還將所述子字符串的多個二元語法模型和所述子字符串的多個n元語法模型中的任何一個加到所述潛在標題的集合。
13.如權利要求9所述的系統，其中，所述標題評估模塊通過如下步驟、按照所述潛在標題的長度的順序對所述潛在標題進行評估在文檔的去標籤版本中，識別正在被評估的選擇的候選標題的位置；檢驗選擇的候選標題在去標籤內容中的被識別的位置包括完整的行；檢驗選擇的候選標題的長度超過去標籤內容中的最小長度；並且確保選擇的候選標題包括文檔中的規則文本。
14.如權利要求9所述的系統，其中，所述副標題提取模塊提取位於距所述潛在標題的位置的最短距離以內的、代表日期的字符串。
15.如權利要求9所述的系統，其中，所述副標題提取模塊提取位於距所述潛在標題的位置的最短距離以內的、代表名字的字符串。
16.如權利要求9所述的系統，其中，所述副標題提取模塊提取位於距所述潛在標題的位置的最短距離以內的、代表文檔來源的字符串。
17.一種電腦程式產品，具有存儲在計算機可用介質上的程序代碼，用於在被爬行的文檔中自動提取副標題信息，該電腦程式產品包括用於執行權利要求1-8中的任何一項的方法中的步驟的程序代碼。
18.一種在被爬行的文檔中自動提取副標題信息的、由處理器實現的服務，包括如下步驟接收文檔；調用自主硬體配置實用程序，其中，通過以下步驟使文檔可用於自主硬體配置實用程序以便在文檔中自動提取副標題信息從文檔的題目元標籤中檢測文檔的潛在標題的集合；從所述潛在標題的集合中選擇候選標題；以及利用選擇的候選標題的位置，從文檔中提取副標題信息。
19.如權利要求18所述的服務，其中，檢測步驟包括根據所述題目元標籤構成所述潛在標題的集合。
20.如權利要求19所述的服務，其中，構成步驟包括按照所述題目元標籤中的所有標點符號將所述題目元標籤分開，產生所述題目元標籤的子字符串的集合。
21.如權利要求20所述的服務，還包括將所述子字符串的多個二元語法模型和所述子字符串的多個n元語法模型中的任何一個加到所述潛在標題的集合。
22.如權利要求18所述的服務，其中，選擇步驟包括按照所述潛在標題的長度的順序對潛在標題進行評估，其中，評估步驟包括如下步驟在文檔的去標籤版本中識別正在被評估的選擇的候選標題的位置；檢驗選擇的候選標題在去標籤內容中的被識別的位置包括完整的行；檢驗選擇的候選標題的長度超過去標籤內容中的最小長度；並且確保選擇的候選標題包括文檔中的規則文本。
23.如權利要求18所述的服務，其中，提取步驟包括提取位於距所述潛在標題的位置的最短距離以內的、代表日期的字符串。
全文摘要
副標題提取系統從文檔的題目元標籤中檢測潛在標題的集合，從潛在標題的集合中選擇候選標題，利用選擇的候選標題的位置，從文檔中提取副標題信息。系統根據題目元標籤構成潛在標題的集合。系統按照潛在標題的長度的順序對潛在標題的集合進行評估。系統通過利用選擇的候選標題的位置，提取位於距潛在標題的位置的最短距離以內的、代表日期、名字或來源的字符串，從文檔中提取副標題信息。
文檔編號G06F17/30GK1955952SQ200610135700
公開日2007年5月2日 申請日期2006年10月24日 優先權日2005年10月25日
發明者馬德胡卡爾·R·考魯波魯, 史蒂芬·迪爾, 安德魯·S.·託姆金斯 申請人:國際商業機器公司