一種基於問答庫的中文自然語言問答方法
2023-07-17 15:20:26 1
專利名稱：一種基於問答庫的中文自然語言問答方法
技術領域：
本發明涉及信息檢索、自然語言問答系統，中文自然語言處理領域，特別是涉及一種基於問答庫的中文自然語言問答方法。
背景技術：
隨著網際網路信息的不斷增長，網絡上充斥了越來越多的冗餘信息；對於在網絡上搜尋自己所需要信息的網際網路用戶來說，整個行為無疑類似於「大海撈針」。雖然以Google為代表的第二代搜尋引擎的出現在很大程度上降低了用戶查找信息的難度，但是這類搜尋引擎存在一定的缺陷首先，由於其搜索模式都是基於關鍵詞精確匹配來查找相關信息的方式，因此用戶輸入的任何一個關鍵詞都有可能成為某網頁命中的依據(除去一些顯而易見的停用詞)；同時，對於用戶提供的這些關鍵詞，搜尋引擎認為這些詞之間是沒有聯繫，相互獨立的。這樣的一種工作模式缺乏對用戶查詢條件的分析，需要用戶提供與搜索意圖更為接近、同時更為精練的獨立的關鍵詞作為查詢條件，而不是用戶意圖的原始文字體現。
其次，這類搜尋引擎在搜索結果的表現上，無一例外地採用了列表的方式，影響搜尋引擎性能的一個重要指標就是對這些條目的排序算法。但是，這種結果呈現方式存在著不足用戶雖然通過搜索工具得到了過濾之後的結果，但用戶如果要得到自己真正所需要的信息，還需要進一步手工去點擊連結，重新定位。換句話說，這類搜尋引擎返回的結果，並不是用戶可以拿來立即解答疑問的直接答案。
自然語言問答系統，從上個世紀60年代開始出現，經過幾個階段的發展之後，與信息檢索技術相結合已成為現在一個重要的趨勢，典型系統流程如圖1所示。在結合網際網路檢索系統的自然語言問答系統中，以自然語言問句作為系統的輸入，擯棄了現有搜尋引擎中，需要用戶提供精簡的關鍵詞的限制性做法；系統應用自然語言處理技術對輸入的問句(查詢條件)進行分析處理，形成儘可能全面體現用戶查詢意圖的查詢關鍵詞；系統中的答案抽取和選擇模塊可從含有答案的原始網頁文本中得到可用於直接回答用戶查詢的文本答案，而不需要用戶再去進行人工的篩選、定位。然而，現在的這類問答系統還存在著可解然而，現在的這類問答系統還存在著可解決的問題類型受限等不足，不能實現普遍意義上的應用。因此，需要開發一種更為靈活、易擴展並較原來的問答系統具有高準確率的問答系統。
發明內容
本發明的目的在於提供一種基於問答庫的中文自然語言問答方法。
1、一種基於問答庫的中文自然語言問答方法，主要包括以下步驟1)問答庫建立以網際網路專業網站上的FAQ以及現有的網絡問答社區為問答對的來源，通過網絡蜘蛛以及網頁結構分析，提取並保存頁面上的問題與對應的答案；2)問句分析通過中文分詞、語法分析得到問句的查詢主體詞，主要包括語法成分上的主幹詞以及句子中其餘的名詞、動詞、形容詞和副詞；3)倒排索引建立針對獲得的問句文本，建立詞到問句文本的索引；4)問句檢索以用戶的提問為輸入，由問句分析得到的查詢主體詞，通過倒排索引，從現有的問答庫中找出關鍵詞匹配的問句；5)問句相似度計算計算用戶提問問句與步驟4)得到的問句之間的相似度，按照相似度值從大到小進行排序，選擇排在首位的問句；6)用戶交互選擇由步驟5)得到的相似問句對應的答案，提供給用戶。
2、步驟(1)中利用Google，百度，雅虎等搜尋引擎，採用各搜尋引擎自己定義的查詢格式，在網際網路上尋找含有FAQ的網頁。
3、步驟(2)中採用依存語法體系，以分析得到的依存語法樹中的根節點、主語以及賓語為句子的主幹詞。
4、步驟(3)中，倒排索引建立時以問句分析得到的問句對應查詢主體詞為索引項，而非問句中所有的關鍵詞。
5、步驟(5)中採用語法和語義結合的方法來衡量句子之間的相似度。
本發明與背景技術相比，具有有益的效果是與現有的搜尋引擎不同，可接受自然語言方式的用戶查詢，並且直接返回答案文本，用戶無需再在結果中手動篩選；同時本發明利用已有的答案來回答用戶的問題，這些答案通常是手工生成，格式規整，且具有一定的權威性；同時所能解決的問題也不受問題類型的限制，易於廣泛應用，可在一定程度上克服原有問答系統存在的弊端。
圖1為典型自然語言問答系統的系統結構圖；圖2為本發明的流程圖，顯示了各個步驟之間的交互情況，其中實線表示用戶問句處理流程，虛線表示問答庫與倒排索引建立流程；圖3為本發明的問答庫保存時的數據結構示意圖。
具體實施例方式
本發明的處理流程如圖2所示。首先通過Google，百度，雅虎等現有搜尋引擎，利用網際網路上的資源，由問答庫建立步驟建立問答庫。問答庫中的問題文本通過基於依存體系的問句分析得到主幹詞，以這些主幹詞為索引項，建立詞到問句的倒排索引。對於用戶輸入的查詢條件，首先通過問句分析，得到查詢條件的主幹詞；利用常見的基於關鍵詞匹配的方法，通過問句檢索，從索引中得到主幹詞命中的結果，然後計算結果中的句子與用戶查詢句子的相似度，按照相似度值從大到小進行排序，選擇排在首位的句子。最後，從問答庫中找到該句子對應的答案文本，通過瀏覽器，返回給用戶。
本發明實施的關鍵主要包括問答庫的建立以及問句相似度計算方法，其中問答庫是本發明實施的基礎，問句相似度的計算則連接了用戶問題與問答庫中的問句。
1.問答庫的建立問答庫中的問題與答案主要來自兩方面網頁上的FAQ以及問答社區中的問答信息。
含有FAQ的網頁通過Google，百度等搜尋引擎查找，方法為在這些搜尋引擎中以「inurl:faq」或者「insite:faq」為查詢條件，搜尋引擎返回的結果即為含有FAQ的網頁；分析結果網頁中的網頁結構，根據各個網頁中的規則，提取出其中的問題與答案。
現有的網際網路問答社區包括了百度知道、新浪愛問、雅虎知識堂等，這些社區是開放式的，允許普通用戶瀏覽他人的問題與對應的解答，問題與答案在頁面上的組織方式固定，並且對正確的答案做有明確的標記。因此，通過啟發式的模式匹配方法，機器容易識別。
以百度知道為例，在一張普通的含有問題的網頁頁面中，含有「div class＝″t3 bcg bgg″已解決/div」HTML代碼的頁面，表示該頁面中的問題已經解決，在頁面中含有正確的解答。問題文本的提取，可通過識別頁面中「div class＝″f14 B wr″」HTML代碼後的非HTML代碼即可。答案文本的提取，首先通過識別頁面中的「div class＝″t3 bcr bgr″img src＝″http://img.baidu.com/img/iknow/icn_best.gif″width＝″24″height＝″22″align＝″absmiddle″最佳答案/div」HTML代碼，定位到含有答案文本的區域，再通過識別「div class＝″f14 wr″」和「/div」代碼，在這兩段代碼之間的文本去掉其中的HTML標籤之後就是答案文本。在其他的開放式問答社區中，都可找到類似的啟發式規則。
問答庫存儲時，問題文本通過普通的關係型資料庫存儲，數據存儲結構如圖3所示；答案文本保存在普通的文本文件中。問題文本存儲時，為每個問題都分配了一個ID號，同時記錄下了對應答案所保存文本的文件名，偏移大小及答案文本的長度，方便讀取問題對應的答案。
2.問句相似度計算本發明中的問句相似度採用了依存語法與語義相結合的計算方法，基本思路如下詞作為句子的基本單位，對于衡量句子間的相似度起著關鍵作用；首先通過現有的語義詞典或者同義詞詞林，計算詞與詞之間的語義相似度；再考慮在同一個句子中，不同的詞由於在句子中的語法成分不同，在句子相似度計算時的貢獻有所不同，即所佔的權重不同。因此，在計算句子間的相似度時，需要同時考慮詞與詞之間的相似度以及詞本身在句子中的語法成分。
對於給定的兩個句子S1＝{w11，w12，w13，...，w1m}和S2＝{w21，w22，w23，...，w2n}，S1含有m個詞，S2含有n個詞，S1與S2的相似度synsem(S1，S2)計算方法為synsem(S1,S2)=(i=1msim(w1i,S2)*weight(w1i))/m+(i=1msim(w2i,S1)*weight(w2i))/n2---(1.1)]]>其中，weight(w1i)，weight(w2i)為根據詞在句子中的語法成分得到的權重，計算公式如下 公式(1.1)中的sim(w1i，S2)，sim(w2i，S1)為詞與句子之間的相似度，計算公式分別為sim(w1i，S2)＝max(sim(w1i，w21)，sim(w1i，w22)，...，sim(w1i，w2n))(1.3)sim(w2i，S1)＝max(sim(w2i，w11)，sim(w2i，w12)，...，sim(w2i，w1m))(1.4)sim(w1，w2)是通過語義詞典或者同義詞詞林得到的詞之間的語義相似度，其計算方法已非本發明的內容，故不再詳細敘述。
權利要求
1.一種基於問答庫的中文自然語言問答方法，其特徵在於1)問答庫建立以網際網路專業網站上的FAQ以及現有的網絡問答社區為問答對的來源，通過網絡蜘蛛以及網頁結構分析，提取並保存頁面上的問題與對應的答案；2)問句分析通過中文分詞、語法分析得到問句的查詢主體詞，主要包括語法成分上的主幹詞以及句子中其餘的名詞、動詞、形容詞和副詞；3)倒排索引建立針對獲得的問句文本，建立詞到問句文本的索引；4)問句檢索以用戶的提問為輸入，由問句分析得到的查詢主體詞，通過倒排索引，從現有的問答庫中找出關鍵詞匹配的問句；5)問句相似度計算計算用戶提問問句與步驟4)得到的問句之間的相似度，按照相似度值從大到小進行排序，選擇排在首位的問句；6)用戶交互選擇由步驟5)得到的相似問句對應的答案，提供給用戶。
2.根據權利要求1所述的基於問答庫的中文自然語言問答方法，其特徵在於，步驟1)中利用Google，百度，雅虎等搜尋引擎，採用各搜尋引擎自己定義的查詢格式，在網際網路上尋找含有FAQ的網頁。
3.根據權利要求1所述的基於問答庫的中文自然語言問答方法，其特徵在於，步驟2)中採用依存語法體系，以分析得到的依存語法樹中的根節點、主語以及賓語為句子的主幹詞。
4.根據權利要求1所述的基於問答庫的中文自然語言問答方法，其特徵在於，步驟3)中，倒排索引建立時以問句分析得到的問句對應查詢主體詞為索引項，而非問句中所有的關鍵詞。
5.根據權利要求1所述的基於問答庫的中文自然語言問答方法，其特徵在於，步驟5)中採用語法和語義結合的方法來衡量句子之間的相似度。
全文摘要
本發明公開了一種基於問答庫的中文自然語言問答方法。通過分析網頁結構，利用啟發式規則，抽取網際網路上的FAQ以及開放式問答社區中的問答對，搭建問答庫，從而在此問答庫的基礎上實現面向中文的自然語言問答系統，彌補現有搜尋引擎以及問答系統中的不足和缺陷。與現有的搜尋引擎不同，可接受自然語言方式的用戶查詢，並且直接返回答案文本，用戶無需再在結果中手動篩選；同時本發明利用已有的答案來回答用戶的問題，這些答案通常是手工生成，格式規整，且具有一定的權威性；同時所能解決的問題也不受問題類型的限制，易於廣泛應用，可在一定程度上克服原有問答系統存在的弊端。
文檔編號G06F17/30GK1928864SQ200610053530
公開日2007年3月14日 申請日期2006年9月22日 優先權日2006年9月22日
發明者陳純, 卜佳俊, 仇光, 黃鵬, 蔡柯柯 申請人:浙江大學