批量主動排序學習算法的製作方法
2023-08-09 23:10:21
專利名稱：批量主動排序學習算法的製作方法
技術領域：
本發明涉及信息檢索領域，特別是涉及信息檢索領域的批量主動排序學習算法.
背景技術：
隨著Internet技術的突飛猛進，Web信息量爆炸性增長，人們越來越習慣使用搜 索引擎查找所關心的信息。但浩瀚的信息資源卻給搜尋引擎的發展提出了新的挑戰。如何 有效、快捷、準確地將查詢結果返回給用戶，提高Web信息檢索效果，已變成一項迫切而有 意義的研究課題。在現階段信息檢索領域的研究中，基於監督學習的排序學習逐漸成為排序研究的 熱點。基於監督學習的排序學習需要大量的人工標註的樣本，為了減少人工標註樣本的標 注量，產生了一些基於「選擇最值得標註的樣本進行標註」思想的所謂主動排序學習算法。 通過主動排序學習算法，用戶不需要一開始標註所有的樣本，而是開始只標註一部分樣本， 先學習得到一個排序模型；然後每次從剩下的未標註樣本中選擇一個最值得標註的樣本進 行標註，把這個新標註的樣本放入訓練集中，重新訓練得到新的排序模型；然後在剩下的未 標註樣本中再重新選擇一個樣本進行標註，加入訓練集，如此類推直到得到最終的排序模 型。主動學習減少了排序學習的樣本標註量，但此方法有一個問題是每次只選擇一個樣本 標註，之後又要重新訓練，訓練需要很多時間，同時標註人員標註下一個樣本需要等待很長 時間。如果每次可以選擇多個樣本，則可以減少整個主動排序學習的時間，降低標註人員的 工作量，即標註代價，同時，如果有多個標註人員的話，還可以實現並行標註，提高主動排序 的效率。
發明內容
本發明提供了批量主動排序學習算法，降低排序學習所需的大量人工標註樣本代 價。本發明提出的批量主動排序學習算法包括六個步驟對用戶輸入的查詢進行預處 理，包括進行中文分詞和過濾停用詞；使用排序支持向量機算法訓練用戶已標註樣本集，得 到一個初始的排序模型；計算未標註樣本集中每個樣本與排序決策面的距離，以得到批量 選擇的距離度量；計算未標註樣本集中每個樣本與已選擇的樣本之間的夾角差異，以得到 批量選擇的夾角度量；整合批量選擇的夾角度量和距離度量，以得到批量選擇度量；根據 整合的批量選擇度量選擇多個值得標註的樣本給用戶標註。本發明提出的批量主動排序學習算法包括預處理單元，訓練標註樣本，用排序支 持向量機算法；計算距離度量，選擇與排序決策面距離近的樣本；計算夾角差異度量，選擇 與已選擇樣本集差異最大的樣本；整合距離度量和夾角差異度量，以得到批量選擇的總體 的度量；根據整合的度量，批量選擇最值得標註的樣本給用戶標註。
具體實施例方式
本發明中對用戶輸入的查詢進行預處理，使用排序支持向量機算法訓練用戶已標 注樣本集，計算未標註樣本集中每個樣本與排序決策面的距離，計算未標註樣本集中每個 樣本與已選擇的樣本之間的夾角差異，整合批量選擇的夾角度量和距離度量，根據整合的 批量選擇度量選擇多個值得標註的樣本給用戶標註。由於批量主動排序學習算法選擇最值 得標註的樣本給用戶標註，而不是標註所有的樣本，降低了排序學習的標註代價。
權利要求
一種基於語言模型的排序算法，其特徵在於包括下列步驟預處理單元，對用戶輸入的查詢詞和候選文檔進行分詞和過濾停用詞處理；使用排序支持向量機算法訓練用戶已標註樣本集，得到一個初始的排序模型；計算未標註樣本集中每個樣本與排序決策面的距離，以得到批量選擇的距離度量；計算未標註樣本集中每個樣本與已選擇的樣本之間的夾角差異，以得到批量選擇的夾角度量；整合批量選擇的夾角度量和距離度量，以得到批量選擇度量；根據整合的批量選擇度量選擇多個值得標註的樣本給用戶標註。
2.如權利要求1所述的方法，其特徵在於在建立倒排索引之前還包括對候選文檔進行 預處理部分。首先要過濾停用詞，使得類似「的」、「了」、「呢」、「之」之類無效詞過濾掉，這樣 可以減少檢索代價；其次要進行中文分詞，常用的方法有正向最大匹配算法，反正最大匹配 算法，雙向最大匹配算法等，我們採用了正向最大匹配算法。
3.如權利要求1所述的方法，其特徵在於，用排序支持向量機算法訓練用戶已標註樣 本集，排序支持向量機算法通過對排序樣本形成序對，把排序問題轉化成分類問題，然後用 支持向量機算法來解決。計算方法未
4.如權利要求1所述的方法，其特徵在於，計算未標註樣本集中每個樣本與排序決策 面的距離，計算公式為 其中5表示排序支持向量機算法學習得到的排序模型的權值矢量。
5.如權利要求1所描述的方法，其特徵在於，計算未標註樣本集中每個樣本與已選擇 的樣本之間的夾角差異，計算公式為I兩I
6.如權利1要求所描述的方法，其特徵在於，對距離度量和夾角差異度量，以得到批量 主動選擇的整個的度量，計算公式為/(χ；) = distance[i] + /l*maxCos[i];
7.如權利1要求所描述的方法，其特徵在於，根據整合的批量選擇度量選擇多個值得 標註的樣本給用戶標註。批量主動排序學習算法選擇最值得標註的樣本給用戶標註，而不 是標註所有的樣本，降低了排序學習的標註代價。擇多個樣本，則可以減少整個主動排序學 習的時間，降低標註人員的工作量，即標註代價，同時，如果有多個標註人員的話，還可以實 現並行標註，提高主動排序的效率。
全文摘要
本發明提出的批量主動排序學習算法包括六個步驟對用戶輸入的查詢進行預處理，包括進行中文分詞和過濾停用詞；使用排序支持向量機算法訓練用戶已標註樣本集，得到一個初始的排序模型；計算未標註樣本集中每個樣本與排序決策面的距離，以得到批量選擇的距離度量；計算未標註樣本集中每個樣本與已選擇的樣本之間的夾角差異，以得到批量選擇的夾角度量；整合批量選擇的夾角度量和距離度量，以得到批量選擇度量；根據整合的批量選擇度量選擇多個值得標註的樣本給用戶標註。
文檔編號G06F17/30GK101887419SQ200910068880
公開日2010年11月17日 申請日期2009年5月15日 優先權日2009年5月15日
發明者蒯宇豪 申請人:蒯宇豪