利用分詞過程中識別的新詞改善分詞性能的方法
2023-07-31 15:26:51
專利名稱：利用分詞過程中識別的新詞改善分詞性能的方法
技術領域：
本發明涉及一種中文分詞的方法。
背景技術：
中文分詞(Chinese Word Segmentation)指的是將一個漢字序列切分成一個一個單獨的詞。分詞就是將連續的字序列按照一定的規範重新組合成詞序列的過程。我們知道， 在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能通過明顯的分界符來簡單劃界，唯獨詞沒有一個形式上的分界符，雖然英文也同樣存在短語的劃分問題，不過在詞這一層上，中文比之英文要複雜的多、困難的多。新詞，也就是那些在分詞詞典中沒有收錄，但又確實能稱為詞的那些詞。對於搜尋引擎來說，分詞系統中的新詞識別十分重要。目前新詞識別準確率已經成為評價一個分詞系統好壞的重要標誌之一。目前分詞系統中利用用戶提供的新詞詞表來改善分詞的性能，這些新詞詞表需要用戶事先提供給分詞系統。分詞系統為了提高文本中新詞的切分性能，往往需要將新詞作為一種知識源提供給分詞系統在分詞時使用，現有系統在利用新詞作為分詞知識源時來提高分詞性能時，需要用戶事先編輯好新詞詞表，才能交給分詞系統使用，這種新詞詞表的獲取非常困難。
發明內容
本發明所要解決的技術問題是提供一種利用分詞過程中識別的新詞改善分詞性能的方法，它可以使用戶無需事先給予新詞詞表，並改善分詞的性能。為了解決以上技術問題，本發明提供了一種利用分詞過程中識別的新詞改善分詞性能的方法；包括分詞資料庫的訓練過程和利用分詞資料庫進行分詞的過程，所述分詞資料庫的訓練過程包括以下步驟步驟1 從待切分文本中獲取基本特徵；步驟2 利用新詞詞表，獲取新詞特徵；步驟3 利用訓練得到的分詞資料庫進行分詞，如果分詞結果中有新詞，將該新詞加入到新詞詞表中。所述利用分詞資料庫進行分詞的步驟包括以下步驟步驟1 抽取分詞的文本的基本特徵，包括抽取一個或多個窗口的字特徵；步驟2 抽取分詞的文本的新詞特徵；步驟3 對抽取的特徵進行訓練，得到分詞用的資料庫。本發明的有益效果在於無需用戶事先給予新詞詞表，採用在分詞過程中動態產生的新詞作為新詞詞表，作為新詞知識源來提高分詞性能。本方法不需要用戶事先提供用戶詞表，而是利用分詞過程中動態產生的新詞來改善分詞的性能。
下面結合附圖和具體實施方式
對本發明作進一步詳細說明。圖1是本發明實施例所述分詞資料庫的訓練過程示意圖；圖2是本發明實施例所述利用分詞資料庫進行分詞的過程示意圖。
具體實施例方式如圖1所示的分詞資料庫的訓練過程，其中包括以下步驟步驟1 從待切分文本中獲取基本特徵；步驟2 利用新詞詞表，獲取新詞特徵；步驟3 利用圖1中步驟訓練得到的分詞資料庫進行分詞，如果分詞結果中有新詞，將該新詞加入到新詞詞表中。如圖2所示的是利用分詞資料庫進行分詞的過程。本圖展示了利用分詞資料庫對待切分的原始文本進行分詞的過程步驟1 對人工分詞的文本抽取基本特徵，主要是抽取一個或多個窗口的字特徵， 目前已有的分詞訓練模塊也具備這一步驟；步驟2 對人工分詞的文本抽取新詞特徵；步驟3 對抽取的特徵進行訓練，得到分詞用的資料庫。本發明所述的新詞和新詞特徵的獲取包括以下內容1.訓練過程中的新詞獲取。訓練過程中，新詞從訓練語料中直接獲取。2.分詞過程中的新詞獲取。分詞系統具備新詞獲取能力，在分詞過程中，建立動態新詞詞表，一旦分詞系統識別出新詞，就將該新詞加入的新詞詞表中。3.訓練過程中新詞特徵獲取。新詞詞表作為分詞知識源是通過新詞特徵來實現的，新詞特徵通過新詞詞表與待分詞的原始文本進行匹配(正向最大匹配或者逆向最大匹配)，分詞算法中最經常使用的正向(由左到右的方向)最大匹配和反向(由右到左的方向)最大匹配。這種兩種方法都是機械分詞方法，它是按照一定的策略將待分析的漢字串與一個機器詞典中的詞條進行配，若在詞典中找到某個字符串，則匹配成功(識別出一個詞)。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長度優先匹配的情況，可以分為最大 (最長)匹配和最小(最短)匹配。如果某些文字被成功匹配，這些文字就被賦以如下特徵該字是成功匹配的新詞的首字=B-NewWord ；或該字是成功匹配的新詞的中間字=I-NewWord ；或該字是成功匹配的新詞的尾字=E-NewWord ；或其他沒有被匹配成功的文字被賦以0ther。4.分詞過程中新詞特徵獲取分詞過程中新詞特徵獲取同訓練過程中新詞特徵獲取方法，只是新詞詞表獲取方式不同而已。
本發明並不限於上文討論的實施方式。以上對具體實施方式
的描述旨在於為了描述和說明本發明涉及的技術方案。基於本發明啟示的顯而易見的變換或替代也應當被認為落入本發明的保護範圍。以上的具體實施方式
用來揭示本發明的最佳實施方法，以使得本領域的普通技術人員能夠應用本發明的多種實施方式以及多種替代方式來達到本發明的目的。
權利要求
1.一種利用分詞過程中識別的新詞改善分詞性能的方法；其特徵在於，包括分詞資料庫的訓練步驟和利用分詞資料庫進行分詞的步驟，所述分詞資料庫的訓練步驟包括以下步驟 步驟1 從待切分文本中獲取基本特徵； 步驟2 利用新詞詞表，獲取新詞特徵；步驟3 利用訓練得到的分詞資料庫進行分詞，如果分詞結果中有新詞，將該新詞加入到新詞詞表中；所述利用分詞資料庫進行分詞的步驟包括以下步驟步驟1 抽取分詞的文本的基本特徵，包括抽取一個或多個窗口的字特徵；步驟2 抽取分詞的文本的新詞特徵；步驟3 對抽取的特徵進行訓練，得到分詞用的資料庫。
2.如權利要求1所述的利用分詞過程中識別的新詞改善分詞性能的方法，其特徵在於，新詞特徵通過新詞詞表與待分詞的原始文本進行匹配，如果某些文字被成功匹配，這些文字就被賦以如下特徵該字是成功匹配的新詞的首字；或， 該字是成功匹配的新詞的中間字；或， 該字是成功匹配的新詞的尾字；或， 其他沒有被匹配成功的文字。
3.如權利要求2所述的利用分詞過程中識別的新詞改善分詞性能的方法，其特徵在於，新詞詞表與待分詞的原始文本通過正向最大匹配或者逆向最大匹配進行匹配。
全文摘要
本發明公開了一種利用分詞過程中識別的新詞改善分詞性能的方法；包括分詞資料庫的訓練過程和利用分詞資料庫進行分詞的過程。本發明無需用戶事先給予新詞詞表，採用在分詞過程中動態產生的新詞作為新詞詞表，作為新詞知識源來提高分詞性能。本發明不需要用戶事先提供用戶詞表，而是利用分詞過程中動態產生的新詞來改善分詞的性能。
文檔編號G06F17/27GK102541865SQ20101058884
公開日2012年7月4日 申請日期2010年12月15日 優先權日2010年12月15日
發明者毛新年 申請人:盛樂信息技術(上海)有限公司