一種搜尋引擎系統的搜索方法
2023-06-15 23:34:41 2
專利名稱:一種搜尋引擎系統的搜索方法
技術領域：
本發明涉及一種搜尋引擎技術，特別涉及一種解決用戶提交基於自然語言搜索請求的搜索方法。
背景技術：
網際網路的出現給人們帶來了前所未有的信息量，它提供了即時豐富的信息，成為人與人各種溝通的平臺，已經極為深層地影響著現代人的生活。但隨著網站數量和內容的急增，網際網路就像是沒有目錄的巨大百科全書，讓人們無法找尋自己想要的信息。而搜索是網際網路最顯著的特點之一，是僅次於郵件的第二大網際網路應用。搜尋引擎的出現，為網際網路這本百科全書加上了目錄和索引。不論我們想了解任何知識，我們都可以嘗試通過搜尋引擎從網際網路中尋找答案。
「第一代搜尋引擎」依靠人工分揀的分類目錄搜索，以雅虎為標誌；「第二代搜尋引擎」依靠機器抓取，建立在超鏈分析基礎上的網頁搜索，以Google和百度為代表，其信息量大、更新及時、但返回信息過多，可能有很多無關信息。根據搜尋引擎營銷公司iProspect的研究顯示，超過81％的使用者會在看完前三頁之前就停止閱讀搜索結果。可見人們對搜索的「海量」需求已逐步向「精準」轉移。此外，多數用戶很難通過一兩個詞精確描述所查內容，即使對同一個詞，用戶也會有不同的需求，比如「綠茶」，人們要的可能是茶文化、電影、化妝品或其他。同時，當人們提交自然語言的搜索請求時，大多數搜尋引擎返回的結果是沒有找到相匹配的記錄。
由於以上原因，各大公司和研究機構紛紛推出「第三代搜尋引擎技術」甚至是「第四代搜尋引擎技術」。這些概念很多都是關鍵詞搜索加上了一些分類搜索定義，引擎根據用戶的查詢內容，智能展開多組相關的主題，幫助用戶找到相關搜索結果，比如中國搜索和搜狗等。而有些採用中文自動分類、自動聚類等技術，區域智能識別技術，或者是根據用戶的歷史搜索記錄來分析用戶的領域，從而加強搜尋引擎的查詢能力，比如Google等。
而未來真正意義上的智能搜尋引擎，是能識別任何形式的自然語言檢索請求，以最快的速度返回最精確的答案集合。未來的門戶，是基於智能搜尋引擎以及在線應用程式的個性化的個人門戶。
技術上，目前的搜尋引擎對用戶提交的關鍵詞，由網絡伺服器將查詢發送到索引伺服器。索引伺服器所包含的內容與書本末尾的索引目錄相似，即說明哪些網頁包含與查詢匹配的文字。查詢傳輸到文檔伺服器，由後者實際檢索所存儲的文檔。然後，生成描述每個搜索結果的摘錄。通常這些查詢以及結果摘錄存放於高速緩存中，搜尋引擎瞬間即可返回用戶需要的搜索結果。
Google使用PageRankTM技術檢查整個網絡連結結構，並確定哪些網頁重要性最高。然後進行超文本匹配分析，以確定哪些網頁與正在執行的特定搜索相關。在綜合考慮整體重要性以及與特定查詢的相關性之後，Google可以將最相關最可靠的搜索結果放在首位。
百度以及新浪的愛問搜索都相繼推出了「百度知道」以及「新浪知識人」，採用了問答聚合的方式，簡單的說就是各種專業論壇的集合。他們的目的就是解決用戶在普通搜尋引擎上提交自然語言的搜索請求而得不到答案的問題。
但是，上述的現有的搜尋引擎仍然存在以下問題
一 用戶局限在網際網路上提交自己的搜尋引擎。這給其他同樣需要獲得問題答案的非網際網路用戶，或者是非在線的網際網路用戶帶來不便。目前出現的一些非網際網路搜索技術只能解決局限領域的部分問題，而且，需要用戶提供固定的搜索請求格式。
二 普通搜尋引擎無法正確理解用戶最習慣的自然語言的搜索請求。返回的結果絕大多數是無記錄或者根本不是用戶想要的搜索結果。
三 對用戶提交的搜索請求，分詞處理後，返回大量的信息。這些信息已經被搜尋引擎優化過，但是仍然有大量的搜索結果是重複的，搜索結果在本次搜索處理上沒有任何關聯。用戶也不能得到一個最佳的答案和排序方式。
四 對於自然語言問題的解答，現有技術通常在各種論壇上提交問題，等待用戶解答。或者象上述新浪知識人，百度知道一樣，採用問答聚合的方式。這類方式偏重於知識的收集，不能滿足用戶即時獲得答案的需要。由於用戶回答問題是自由的，這種方式對問題的答案有很大的隨意性。最重要的是，問題的提出到問題的回答的時間是不固定的。也就是說，仍然存在大量問題沒有人及時回答或者是從來就沒有人回答。
發明內容本發明的目的之一就是讓用戶從不同方式提交，採用自然語言形式，任何領域的搜索請求成為可能。
本發明的另一目的是提高搜索結果的準確性以及搜索結果的排序合理性。
本發明的再一目的是提高對自然語言搜索請求的處理速度，在預定的時間內回答用戶的問題。
為了實現以上目的，本發明的搜尋引擎系統的搜索方法包括以下步驟(一) 接收用戶從不同方式提交，採用自然語言形式，任何領域的搜索請求；(二) 對用戶搜索請求進行預搜索處理，形成預搜索結果記錄集合；(三) 對預搜索結果的各條記錄進行投票處理，計算每條記錄的各自投票得分，形成確認搜索結果記錄集合；(四) 按照規則將確認後搜索結果排序返回給用戶；(五) 儲存並發布本次搜索請求的用戶請求與確認後搜索結果，形成搜索歷史資料庫。
其中，上述步驟(一)中接收的請求可以是來自用戶發送簡訊形式的搜索請求。
其中，上述步驟(一)中的接收的請求可以是來自用戶通過語音方式提交的搜索請求。
其中，上述步驟(一)中的接收的請求可以是用戶通過網際網路網頁提交的搜索請求。
其中，上述步驟(二)中的預搜索處理包括以下步驟設定一個問題相關度閥值，計算用戶提交的搜索請求問題與歷史搜索資料庫中的問題的相關度，將相關度大於設定閥值的搜索結果從歷史搜索資料庫取出，形成預搜索結果記錄集合。
其中，上述步驟(二)中的預搜索處理包括對用戶搜索請求進行分類處理的步驟。這個分類可以是由專門的分類人員進行分類，也可以是由程序進行自動的分類處理。專門的分類人員可以是預先註冊的在線分類用戶。分類過程採用投票制度，在規定的時間內，達到預先定義的票數，則分類確定。同時，更新正確分類人員的分類積分。
其中，上述步驟(二)中的的預搜索處理可以是向網際網路搜尋引擎提交搜索並返回預搜索結果。可以向多個不同的搜尋引擎提交搜索請求，將搜索結果形成一個新的搜索結果集合。
其中，上述步驟(二)中的預搜索處理也可以是向預先註冊的專家團提交查詢，由專家團解答，並返回專家團各自的推薦結果。這些專家團可以是通過即時溝通軟體在線的註冊用戶，也可以是真正的各個行業類別的專家。這些專家團人員不受地理位置和時間的限制，只要他們能和伺服器保持即時的聯繫。專家團成員在預定的時間內返回各自搜索結果。
其中，上述步驟(三)的投票處理可以是預搜索結果記錄條目之間的自動投票處理。預搜索結果記錄的每個條目包括答案概要，答案頁面超級連結，該頁面的標題。投票程序對答案概要，答案頁面超級連結，該頁面的標題進行分析，比如對每個答案概要，對答案頁面標題進行分詞處理，然後對這些分詞結果進行投票。由投票結果，結合給出答案的時間，產生該答案的綜合投票得分。並且，根據綜合得分，計算出專家團成員的本次搜索積分。
其中，上述步驟(三)的投票處理可以是預先註冊的投票人員人工進行投票處理。這些投票人員預先在系統註冊，並有自己的領域分類。在限定的時間內，結合來自用戶的搜索請求問題，預搜索結果進行投票，由投票結果，結合給出答案的時間，產生該答案的綜合投票得分。並且，根據綜合得分，計算出專家團成員的本次搜索積分以及本次投票人員的投票積分。
其中，上述步驟(四)的排列規則可以是按照投票結果得分由高至低排列。
其中，上述步驟(四)的排列規則也可以是對投票結果進行分類，按照類別進行排列。答案中有很多相同或者基本相同的答案，用戶不希望看到一樣的答案全部出現在一個頁面上，所以可以按照一定的規則將結果進行分類。比如將結果分按照排序得分分為10個類，用戶點擊每個得分類後展開當前得分類下所有答案。
其中，上述步驟(四)的排列規則是僅僅返回給用戶得分最高的最佳答案。如果用戶的搜索請求來自簡訊或者是電話，我們只需要返回給用戶得分最高的最佳答案。
其中，上述步驟(五)還包括以下步驟用戶可以對發布在網際網路頁面上的搜索答案進行重新分類或者投票，或者其他方式，如簡訊，電話確認給搜索答案投票，也可以改變搜索答案的分類信息。搜尋引擎系統記錄用戶的動作，更新歷史搜索資料庫的分類以及投票信息。
通過以上技術方案，首先，我們讓用戶從不同方式提交，採用自然語言形式，任何領域的搜索請求成為可能。用戶不必局限於搜索某個固定的領域，也不需要提交固定的搜索請求格式。
其次，用戶得到的搜索結果是準確的，不再是海量的搜索結果，搜索結果已經被處理過，重複的搜索結果將不再顯示給用戶。用戶能得到一個最佳的排序方式，甚至得到一個最簡短的最佳答案。
最後，搜尋引擎不局限於知識的搜集和問題的聚合，系統提高了對自然語言搜索請求的處理速度，對於每一個搜索請求，我們都在限定的時間內回答。隨著歷史搜索資料庫的增加，這個速度將越來越快。
圖1為本發明的總體流程圖。
具體實施方式實施例一用戶通過簡訊提交搜索請求，搜索歷史庫，人工進行問題分類，由專家團回答，程序自動對搜索答案投票，返回用戶最佳答案。具體步驟如下接收用戶來自簡訊的搜索請求問題A；將A提交到歷史搜索資料庫。設定一個問題相關度閥值，比如90％，計算用戶提交的搜索請求問題A與歷史搜索資料庫中的問題記錄的相關度，若存在與A的相關度大於設定閥值90％的記錄，則從歷史搜索資料庫取出搜索答案，直接形成預搜索結果記錄集合B，直接轉入到答案處理中心。
若不存在與A的相關度大於設定閥值90％的記錄，則進行人工的問題分類。
問題分類表預先定義。問題分類由專門的分類人員進行分類。這些專門的分類人員是預先註冊的在線問題分類用戶。我們設定很多的問題分類投票室，將進入每個問題分類投票室的人員限定在20人，分類過程採用投票制度，在規定的時間，比如1分鐘內，如果某個分類類別達預先設定的2票，則關閉投票，該問題分類確定，將問題A以及分類類別C交給下一步處理。同時，將上述投票正確的註冊的分類人員的分類積分進行更新。
根據問題分類類別C，將問題A發送到預先註冊的C類別的專家團成員，由這些專家團成員解答。這些專家團已經在搜尋引擎系統的專家團資料庫註冊，他們可以回答C類別的問題。這些成員可以是通過即時溝通軟體在線的註冊用戶，也可以是真正的各個行業類別的專家。這些人員不受地理位置和時間的限制，他們能和伺服器保持即時的聯繫。
對於簡訊搜索請求，用戶希望返回的結果越簡短越好。我們限定專家團成員回答問題的答案的格式為70漢字以內的答案概要，答案詳情頁面的超級連結，該頁面的標題。其中後兩項為非必選項。第一項如果答案確實超過70字，可以適當放寬限制。
問題分類表中我們預先定義每個類別的搜索返回時間。對簡訊問題A，根據它的分類，我們預定C類問題的搜索返回時間是2分鐘。在2分鐘內，將專家團成員的答案D1，D2，D3，直到Dn的答案集合D收集到答案處理中心。
答案處理中心的任務就是確定最佳答案，它由程序自動投票計算確定。若從歷史搜索資料庫中直接形成預搜索結果記錄集合B，則將B等同於D。首先對答案集合D的每一條答案記錄Dn的70字內的答案概要進行分詞處理，形成n條記錄的分詞表，然後n個分詞表相互之間進行投票，由投票結果，結合給出答案的時間，產生該答案記錄的綜合投票得分。並且，根據綜合得分，計算出專家團成員的本次搜索積分，將專家團成員的搜索積分進行更新。
答案返回程序提取得分最高的最佳答案E，將E通過簡訊返回給用戶。
將本次搜索的搜索請求問題A，問題分類類別C，最佳答案E，答案為E的專家信息，回答問題時間，投票分數存入歷史搜索資料庫。並且，將這些信息發布在網際網路站上，提供給瀏覽用戶進一步確定分類和投票的功能。搜尋引擎系統記錄用戶的動作，並更新歷史搜索資料庫信息。
若簡訊用戶對搜索答案E進行確認，將歷史搜索資料庫中答案的投票得分以及分類信息更新。
實施例二接收用戶打電話的搜索請求，搜索歷史庫，人工進行問題分類，由專家團回答，形成預搜索結果，人工投票，返回精確結果。
接收用戶來自電話的搜索請求問題AY；將用戶的語音搜索請求轉換為文字A2，將A2提交到歷史搜索資料庫。設定一個問題相關度閥值，比如90％，計算用戶提交的搜索請求問題A2與歷史搜索資料庫中的問題記錄的相關度，若存在與A2的相關度大於設定閥值90％的記錄，則從歷史搜索資料庫取出搜索答案，形成預搜索結果記錄集合B2。
若不存在與A2的相關度大於設定閥值90％的記錄，則進行人工的分類。
問題分類表預先定義。問題分類由專門的分類人員進行分類。這些專門的分類人員是預先註冊的在線分類用戶。我們設定很多的問題分類投票室，將進入每個問題分類投票室的人員限定在20人，問題分類過程採用投票制度，在規定的時間，比如20秒內，如果某個分類類別達預先設定的2票，則關閉投票，該問題分類確定，將問題A2以及分類類別C2交給下一步處理。同時，將上述投票正確的註冊的分類人員的分類積分進行更新。
根據問題分類類別C2，將問題A2發送到預先註冊的C2類別的專家團成員，由這些專家團成員解答。這些專家團已經在搜尋引擎系統的專家團資料庫註冊，他們可以回答C2類別的問題。這些成員可以是通過即時溝通軟體在線的註冊用戶，也可以是真正的各個行業類別的專家。這些人員不受地理位置和時間的限制，他們能和伺服器保持即時的聯繫。
對於電話搜索請求，用戶希望返回的時間越快越好，結果越簡短越好。我們限定專家團成員回答問題的答案的格式為100漢字以內的答案概要，答案詳情頁面的超級連結，該頁面的標題。其中後兩項為非必選項。第一項如果答案確實超過100字，可以適當放寬限制。
問題分類表中我們預先定義每個類別的搜索返回時間。對來自電話的問題A2，根據它的分類，我們預定C2類問題的搜索返回時間是1分鐘。在1分鐘內，將專家團成員的答案DD1，DD2，DD3，直到DDn的答案集合DD收集到答案處理中心。
答案處理中心的任務就是確定最佳答案，它由人工投票確定。若從歷史搜索資料庫中直接形成預搜索結果記錄集合B2，則將B等同於DD。這些專門的答案投票人員是預先註冊的在線答案投票用戶。我們設定各個類別的答案確定投票室。與問題分類投票室不一樣，我們設定進入每個答案確定投票室的人數的下限為10人，若某個投票室的人數不足10人，則將由專人進入該投票室進行問題的投票審核。在規定的時間內，比如1分鐘內，關閉投票，計算出答案集合DD的每條記錄的投票得分。由投票得分結果，結合給出答案的時間，產生該答案記錄的綜合投票得分。並且，根據綜合得分，計算出專家團成員的本次搜索積分，將專家團成員的搜索積分進行更新。同時，將註冊的答案確定投票人員的積分進行更新。
答案返回程序提取得分最高的最佳答案E2，將E2通過語音返回給搜索用戶。
將本次搜索的搜索請求問題A2，問題分類類別C2，最佳答案E2，答案為E2的專家信息，回答問題時間，投票分數存入歷史搜索資料庫。並且，將這些信息發布在網際網路站上，提供給瀏覽用戶進一步確定分類和投票的功能。搜尋引擎系統記錄用戶的動作，並更新歷史搜索資料庫信息。
若打電話提交搜索的用戶對搜索答案E2進行確認，將歷史搜索資料庫中答案的投票得分以及分類信息更新。
實施例三具體步驟如下用戶在網際網路站的搜索頁面輸入搜索請求問題A3；將A3提交到歷史搜索資料庫。設定問題相關度閥值，比如80％，計算用戶提交的搜索請求問題A3與歷史搜索資料庫中的問題記錄的相關度，若存在與A3的相關度大於設定閥值80％的記錄，則從歷史搜索資料庫取出搜索答案，形成預搜索結果記錄集合B3。
若不存在與A3的相關度大於設定閥值80％的記錄，則進行自動的問題分類。根據用戶提交的關鍵詞，搜索問題分類資料庫，首先將問題分為搜索網頁，圖片，MP3，新聞，交通，地圖，軟體，職位，購物，生活，天氣，綜合等搜索大類，如果不確定，分為綜合大類。
根據問題分類類別C3，將問題A3發送到預先定義的C3類別的網際網路搜尋引擎，由這些專業搜尋引擎形成預搜索結果集合DE。我們也可以從不同的搜尋引擎處分別取出一定數量的搜索結果形成搜索集合DE。
Google以及其他的搜尋引擎計算的每個網頁單獨與關鍵詞之間的相關性，並不計算預搜索結果集合DE中各個記錄之間的相關性。這樣，在形成預搜索結果集合DE後，存在大量重複的文章內容，只是這些文章的超級連結不一樣，頁面包含的其他次要信息不一樣。而現有的搜尋引擎出於速度至上的原因，對此對此並沒有處理。
我們將預搜索結果DE不直接返回給請求用戶。我們將預搜索結果集合DE發送到答案確認處理中心。答案確認程序的任務就是重新對這些搜索結果記錄進行投票處理，計算這些記錄的投票分數。
它由程序自動投票計算確定。通常情況下，搜尋引擎第100條以後的信息失去了它的參考意義。我們設定預搜索答案集合DE的記錄數為100條。這些記錄由頁面標題，包含關鍵詞的頁面摘要，頁面超級連結組成。我們對答案集合DE的全部100條答案記錄的頁面摘要，頁面標題進行再次分詞處理，形成100條記錄的分詞表，然後對100個分詞表相互之間進行程序投票，由投票結果，產生100條答案記錄相互的投票得分。結合本來的排序位置的固有得分，計算出100條答案記錄的綜合得分。
由於答案中存在很多同樣的頁面內容，我們由必要計算出每個頁面的排序得分，頁面的排序得分公式為頁面排序得分＝當前頁面投票得分％最高頁面投票得分那麼，投票得分最高的頁面的排序得分是100分，其他的頁面的排序分數參考最高頁面依次計算出來。根據排序得分，我們將排序結果分為10類，最高排序得分到第10排序得分為第1類，第11排序得分到第20排序得分為第2類，依次類推，最後的10條記錄排在第10類。我們將每類的的一條記錄，也就是第1，第11，21，31，41，51，61，71，81，91條記錄返回給用戶。用戶點擊「該分類所有答案」後再展開該分類下的其他答案。
上述頁面排序得分形成最後的答案集合E3。
將本次搜索的搜索請求問題A3，問題分類類別C3，答案集合E3，E3的排序分數存入歷史搜索資料庫。並且，將這些信息發布在網際網路站上，提供給瀏覽用戶進一步確定分類和投票確定排序分數的功能。搜尋引擎系統記錄用戶的動作，並更新歷史搜索資料庫信息。
本發明並不僅限於上述的實施例。比如，對歷史搜索資料庫的處理，採用人工問題分類或者是自動分類，人工投票或者自動投票，都可以根據需要進行組合。本領域技術人員可以根據以上說明了的內容，在不脫離本發明的技術思想的範圍內進行變更和修正，本發明的技術範圍不限於說明書記載的內容。
權利要求
1一種搜尋引擎系統的搜索方法，其特徵在於，該方法包括以下步驟(一)接收用戶的搜索請求；(二)對用戶搜索請求進行預搜索處理，形成預搜索結果記錄集合；(三)對預搜索結果的各條記錄進行投票處理，計算每條記錄的各自投票得分，形成確認後搜索結果記錄集合；(四)按照規則將確認後搜索結果排序返回給用戶；(五)儲存並發布本次搜索請求的用戶請求與確認後搜索結果，形成搜索歷史資料庫。
2根據權利要求
1所述的方法，其特徵在於，所述步驟(一)中接收的請求是用戶發送簡訊形式的搜索請求。
3根據權利要求
1所述的方法，其特徵在於，所述步驟(一)中接收的請求是用戶通過語音方式提交的搜索請求。
4根據權利要求
1所述的方法，其特徵在於，所述步驟(二)中的預搜索處理包括以下步驟設定一個問題相關度閥值，計算用戶提交的搜索請求問題與歷史搜索資料庫中的問題的相關度，將相關度大於設定閥值的搜索結果從歷史搜索資料庫取出，形成預搜索結果記錄集合。
5根據權利要求
1所述的方法，其特徵在於，所述步驟(二)中的預搜索處理包括對用戶搜索請求進行分類處理的步驟分類過程由預先註冊的用戶投票確定；投票確定後更新正確投票人員的投票積分。
6根據權利要求
1所述的方法，其特徵在於，所述步驟(二)中的預搜索處理可以是向預先註冊的專家團提交查詢，由專家團解答，並返回專家團各自的推薦結果。
7根據權利要求
1所述的方法，其特徵在於，所述步驟(三)的投票處理可以是預搜索結果記錄條目之間的自動投票處理。
8根據權利要求
1所述的方法，其特徵在於，所述步驟(三)的投票處理可以是預先註冊的投票人員人工進行投票處理。
9根據權利要求
1所述的方法，其特徵在於，所述步驟(四)的排列規則是對投票結果進行分類，按照類別進行排列。
10根據權利要求
1所述的方法，其特徵在於，所述步驟(五)還包括以下步驟用戶對發布的答案進行分類確認和投票後，將歷史搜索資料庫中答案的得分以及分類信息更新。
專利摘要
本發明涉及一種搜尋引擎技術，特別涉及一種解決用戶提交基於自然語言搜索請求的搜索方法。搜索系統接收用戶從不同方式提交，採用自然語言形式，任何領域的搜索請求；搜尋引擎對用戶搜索請求進行查詢歷史搜索資料庫，問題分類，向網際網路搜尋引擎或者註冊的專家團進行查詢等預搜索處理，並形成預搜索結果記錄集合；然後，對預搜索結果的各條記錄進行程序自動投票或者是註冊的投票人員的投票處理，計算每條記錄的各自投票得分數，形成確認後的搜索結果記錄集合；按規則將確認後的搜索結果排序返回給用戶；儲存並發布本次搜索請求的用戶請求問題以及確認後的搜索結果信息，形成搜索歷史資料庫。用戶可對發布的搜索結果進行分類確認和重新投票。
文檔編號G06F17/30GK1991829SQ200510135196
公開日2007年7月4日 申請日期2005年12月29日
發明者陳亞斌 申請人:陳亞斌導出引文BiBTeX, EndNote, RefMan