一種基於貝葉斯算法的內容過濾方法
2023-09-19 02:44:05
專利名稱：一種基於貝葉斯算法的內容過濾方法
技術領域：
本發明方法是一種基於最小風險的雙重閾值貝葉斯決策方法，它針對移動通信網 分組域文本信息，對其中的內容進行檢測和分類，實現高效實時的文本內容監管。屬於信息 安全領域。
背景技術：
中國網際網路協會發布的一項調查顯示中國手機用戶平均每周收到8. 29條垃圾 信息，作為世界上最大的移動通信市場，中國的手機用戶數已經超過4. 43億，按照每條信 息收費0. 15元計算，垃圾信息每天為運營企業帶來的收入約為7800多萬元。隨著3G時代 的到來，用戶通過手機能夠瀏覽和查閱的信息越來越多，但他們也面臨著五花八門的垃圾 信息的騷擾。倘若我們能在信息傳輸的過程中截取並過濾掉垃圾信息，就能夠打破垃圾信 息傳播的「生態鏈」，讓非法分子無機可乘。故研究一種能夠有效識別垃圾文本信息的過濾 方法具有重要的經濟價值和社會價值。垃圾信息的分類過濾是在協議解析以後對解析出的具體內容進行檢測，屬於內容 過濾技術的範疇。文本的分類可以看成模式識別的一個具體應用。本發明利用基於最小風 險的雙重閾值貝葉斯決策的方法，在TD-SCDMA移動網際網路內容監管系統中對真實的文本 通信內容進行分類。實驗證明，它擁有較高的準確率，正常文本信息極少會被判定為垃圾信 息，且處理速度較快，完全能夠滿足實時處理的需求。
發明內容
技術問題本發明的目的是提供一種高速的文本內容過濾方法，可以實現對核心 網分組域中的文本內容進行檢測，防止垃圾或者違法信息對通信網用戶造成幹擾，在保證 通信質量的前提下減少了用戶有用信息的損失，對垃圾信息也得到了很好的抑制，實現第 三代移動通信移動網內容監管數據的高速實時處理。技術方案本發明採用基於最小風險的雙重閾值貝葉斯算法對文本信息進行實時 的分析、檢測，從而實現對第三代移動通信網絡中數據內容的監管。本發明的基於貝葉斯算法的內容過濾方法針對3G (第三代移動通信)核心網中文 本信息進行內容過濾，其使用基於雙重閾值的貝葉斯算法來進行文本分類，設C1S正常信 息，C2為垃圾信息，分類器將測算代表數據樣本的特徵向量X屬於每個類別Ci的概率，進行 測算的貝葉斯公式為P(CiIx) = P(XlCi)P(Ci)ZP(X) 1 ^ i ^ 2,其中後驗概率P(CiIx)的最大值被稱為最大後驗概率，對每個類錯誤！未找到引 用源。，只需計算錯誤！未找到引用源。，未知樣本特徵向量X將被指派到其錯誤！未找到 引用源。的風險值最低的Ci類，基於貝葉斯算法的內容過濾方法具體流程如下1)每個數據樣本用一個η維特徵向量X= (χι; X2, . . . χη)錯誤！未找到引用源。表示，其中Xl，x2，... Xn表示某個數據樣本中η個特徵詞條A1, A2, ... An錯誤！未找到引用 源。的度量； 2)計算概率P (xk ι Ci)，其由訓練樣本估計，採用經過平滑處理後的詞頻計算式，計 算的公式為P(XtICi) = (1+&)/(11+&)，其中&為特徵詞&在(；類文本中出現的次數，& 為Ci類所有文本的特徵詞總數，η為向量維數；3)對P(XkICi)進行風險計算，先驗概率的風險係數設定如下條件1 某個詞語出現在垃圾信息中的概率大於出現在正常信息中的頻率，a)將其判定為正常詞語時所帶來的損失設定為1 ；b)將其判定為垃圾詞語所帶來的損失設為b，其中b 1，b)將其判定為正常詞語帶來的損失值小於1，在此仍設為b，其中b < 1，將詞語分量Xk判定為垃圾詞條要滿足的條件為ρ (xt I C1) /p (xt I C2) < Φ，其中 Φ = (l-b)/(d_b)，由b 1，得到Φ < 1，當針對某個詞條的先驗概率之比滿足上式的時候， 才將該詞條歸為垃圾詞條，即完成了對P(xkICi)的風險計算；4)計算類的先驗概率P (Ci),計算的公式為P (Ci) =Si/S，其中Si是類Ci錯誤！未 找到引用源。中的訓練樣本數，而s是訓練樣本總數；5)計算P (X| Ci),為了降低運算錯誤！未找到引用源。的開銷，假定特徵詞之間相
η
互條件獨立，即屬性間不存在依賴關係，計算的公式為IC1) - Y\p(xk |Q)；
k=\6)進行了如上假設和處理後，對每個類錯誤！未找到引用源。，計算P(XlCi) P (Ci)，並對其進行風險計算，後驗概率的風險係數設定如下條件1 信息被正確判定時，不會給用戶帶來任何損失，相應的損失設定為0 ；條件2 垃圾信息被誤判為正常信息時所帶來的損失設定為1 ；條件3 正常信息被誤判為垃圾信息時所帶來的損失設定為k，可知k要大於1，將未知樣本特徵向量X判定為垃圾信息要滿足的條件為P(C2|X) > Θ，其中 θ = k/(l+k),由k > 1，得到θ Θ，判定該信 息為垃圾信息；反之，判定其為正常信息。具體流程步驟1)中每個數據樣本用一個η維特徵向量X= (X1, X2,... Xn)錯誤！ 未找到引用源。表示，其中Xl，X2, · · · Xn表示某個數據樣本中η個特徵詞條A1, A2, ... An錯 誤！未找到引用源。的度量，特徵詞A1, A2,分詞算法使用最大匹配方法FMM，具體 分詞步驟如下11)選取分詞詞典中最長詞長度的字串，將該字串與詞典中的詞條相匹配，12)如果在字典中查找到了相同的詞條，那麼分詞成功，然後執行步驟14)，13)如果不能匹配，若詞條長度大於兩個中字，就去掉最後一個漢字，執行步驟 12)；若等於兩個中字，確定為單字，執行步驟14)，
14)移動指針讀入新的內容繼續按照上面的方法進行查找。具體流程具體步驟1)中每個數據樣本用一個η維特徵向量X= (X1, X2,... xn)錯 誤！未找到引用源。表示，其中Xl，x2，... Xn表示某個數據樣本中η個特徵詞條A1,A2,. ..An 錯誤！未找到引用源。的度量，篩選特徵詞A1, A2,... An錯誤！未找到引用源。的方法採用 文檔頻率DF方法，具體執行步驟如下21)首先計算每個詞條的DF值，一個詞條的DF值即為訓練語料中包含該詞條的文 檔數；22)將DF值低於某一特定閾值的詞條從原始特徵空間中移除。在步驟21)中計算每個詞條的DF值，一個詞條的DF值即為訓練語料中包含該詞 條的文檔數，消耗的時間較長，故將篩選特徵詞的整體置於後臺，統計篩選完成之後的特徵 詞輸出形成文件供分類器使用，整體的分類功能邏輯上分為兩個部分來實現後臺特徵庫 模塊以及前臺文本分類模塊。後臺特徵庫形成模塊包括對訓練文本的分詞以及特徵篩選等功能；前臺實時分類 模塊包括改進的貝葉斯分類算法對文本進行分類。兩個模塊通過特徵文件關聯起來。特徵 文件由後臺特徵庫模塊生成，其記錄特徵詞條的同時也記錄下特徵詞條在兩類信息，即垃 圾信息以及正常信息中的權重。形成的特徵文件將作為實時分類檢測模塊的重要依據來對 輸入的文本內容進行計算和判別。有益效果本發明提供了一種基於最小風險的雙重閾值貝葉斯文本分類方法。通 信網中的包含了大量的用戶通信信息，其具體內容是否合法不可能投入大量人力來進行篩 選和檢測。基於最小風險的雙重閾值貝葉斯決策的內容過濾系統達到了我們預期的效果， 維持文本內容過濾的準確率，同時也降低了因正常信息的誤判而帶來的風險。保證了用戶 通信隱私的同時，也有效抑制了垃圾文本信息的傳輸。該方法分類耗時短，對系統資源佔用 少，適用於移動通信網。該方法有效地控制垃圾文本數量，同時能保證整個監管系統穩定、 有效地運行。
圖1是文本分類算法流程圖；圖2是字典鍊表結構；圖3是切分後的詞語插入的鍊表結構；圖4是分詞流程圖。
具體實施例方式本發明中的文本分類方法應用在協議解析以後對解析出的文本內容進行檢測，屬 於內容過濾技術的範疇。對於結果有問題的內容，輸出警告標誌提供給用戶；而檢測安全的 信息則輸出安全標誌。文本信息的分類可以看成是模式識別的一個具體的運用，是一個文 本分類技術的應用。設計的文本分類算法的流程如圖1所示。垃圾文本信息過濾系統分為兩個子模塊來實現特徵庫模塊(後臺)和文本分類 模塊(前臺)。兩個模塊通過特徵文件關聯起來。特徵文件由後臺特徵庫形成模塊生成，其 記錄特徵詞條的同時也記錄下詞條在兩類信息，即垃圾信息以及正常信息中的權重。形成的特徵文件將作為文本分類模塊的重要依據來對輸入的文本內容進行計算和判別。在分類檢測之前，必須對大量的語料進行分析和學習，語料的來源須來自真實的 應用環境，從而才能真實有效地反應出通信網分組域文本信息詞條和詞頻的分布情況，為 實時文本分類模塊進行正確的文本分類打下堅實的基礎。下面具體介紹兩個模塊的工作步
驟ο1.特徵庫模塊。步驟1 分詞。分詞的基礎是一本「詞典」，就是包含了漢語中所有詞彙的文件以便 後面的分詞和詞頻的統計。將字典文件讀入內存，為了方便查找匹配，我們是用如圖2所示 的結構進行存儲。我們使用正向最大匹配方法FMM來進行分詞。具體分詞步驟如下(1)選取分詞詞典中最長詞長度的字串，將該字串與詞典中的詞條相匹配；(2)如果在字典中查找到了相同的詞條，那麼分詞成功，然後執行步驟(4)；(3)如果不能匹配，若詞條長度大於兩個中字，就去掉最後一個漢字，執行步驟 (2)；若等於兩個中字，確定為單字，執行步驟(4)。(4)移動指針讀入新的內容繼續按照上面的方法進行查找。FMM法分詞速度快，效率高，實現簡單，針對移動通信網的特點，通信中所傳播的垃 圾文本內容具有相似性，大批量性，FMM方法可以比較好的滿足特徵提取的要求，並且可以 提高運算速度，減少佔用的資源。切分出的詞語及其相關記錄按照圖3的方式進行存儲，以 便後面進行特徵詞的篩選。步驟2 特徵篩選。預處理之後的文本會被轉化為很多詞語，其構成的空間維數是 相當巨大的，其存儲結構如圖3所示。為了減少不必要的冗餘計算，提高存儲空間的利用 率，所以我們採取分詞即記錄詞頻的方式來簡化運算，得到的分詞結果也包含了對應詞頻 的統計結果，故設計的分詞流程如圖4所示。我們採用特徵選擇的方法進行降維，即不改變原始特徵空間的性質，只是從原始 特徵空間中選擇了一部分重要的特徵，組成一個新的低維空間。DF是一種經驗方法。篩選 特徵詞的條件直接影響到建模時空間向量模型維數的大小。DF特徵選擇的步驟如下(1)首先計算每個詞條的DF值，一個詞條的DF值即為訓練語料中包含該詞條的文 檔數；(2)將DF值低於某一特定閾值的詞條從原始特徵空間中移除，從而達到降維和特 徵選擇的目的。步驟3 特徵文件的形成。經過篩選特徵詞之後，以特徵詞條目數作為向量的維數 來表示文本，降低了原向量空間的大小。在移動通信網中，為了縮短建模時間而達到實時效 果，我們採取將統計完成的詞條頻度統一寫入文件的方法來提高分類運算速度。進行篩選 後的詞語，其中包含其合法詞頻和非法詞頻，以特定ASCII碼作為分隔符，作為特徵詞條寫 入特徵文件，形成特徵庫存儲在進行文本內容過濾的計算機中，為後面的文本信息的檢測 分類提供依據。特徵數據文件的準確性直接影響到文本分類的正確率，所以管理員應定期更換訓 練集語料以適應垃圾信息變化快、周期短的特點。貝葉斯內容過濾反饋學習的問題上，我們 採取重新學習的方法，來獲得新的精確的特徵數據文件，從而保證文本內容過濾結果的高 正確率。
2.文本分類模塊貝葉斯分類器具有堅實的數學理論基礎以及綜合先驗信息和數據樣本信息的能 力，使其正在成為當前機器學習的研究熱點之一。其思想是利用個體和類別的聯合概率來 估計給定的事物屬於各個類別的概率，倘若屬於某一類別的概率滿足最終的分類指標，則 將接受判斷的事物歸結於其中的某一類。結合到本發明，它實質是利用詞和類別的聯合概 率來比較給定的文本信息分別屬於兩個類別概率的大小。前臺文本分類模塊使用基於最小風險的雙重閾值貝葉斯算法進行分類。具體流程 圖如圖1所示，執行步驟如下1)每個數據樣本(即未知的且經過特徵分詞後的文本)用一個η維特徵向量X = (Xl，χ2，...χη)錯誤！未找到引用源。表示，其中Xl，x2，... Xn表示某個數據樣本中η個特 徵詞條A1, A2,... An錯誤！未找到引用源。的度量。2)計算概率ρ (xk I Ci)，其由訓練樣本估計，採用經過平滑處理後的詞頻計算式，故 計算的公式為P (Xt I Ci) = (l+ft)/(n+fi)。其中ft為特徵詞Xt在Ci類文本中出現的次數， fi為Ci類所有文本的特徵詞總數，η為向量維數。3)對P(XkICi)進行風險計算。基於先驗概率的風險係數定義如下表1所示表1基於先驗概率的風險係數
權利要求
一種基於貝葉斯算法的內容過濾方法，其特徵在於該過濾方法針對第三代移動通信核心網中文本信息進行內容過濾，其使用基於雙重閾值的貝葉斯算法來進行文本分類，設C1為正常信息，C2為垃圾信息，分類器將測算代表數據樣本的特徵向量X屬於每個類別Ci的概率，進行測算的貝葉斯公式為P(Ci|X)＝P(X|Ci)P(Ci)/P(X) 1≤i≤2，其中後驗概率P(Ci|X)的最大值被稱為最大後驗概率，對每個類錯誤！未找到引用源。，只需計算錯誤！未找到引用源。，未知樣本特徵向量X將被指派到其錯誤！未找到引用源。的風險值最低的Ci類，基於貝葉斯算法的內容過濾方法具體流程如下1)每個數據樣本用一個n維特徵向量X＝(x1，x2，...xn)錯誤！未找到引用源。表示，其中x1，x2，...xn表示某個數據樣本中n個特徵詞條A1，A2，...An錯誤！未找到引用源。的度量；2)計算概率p(xk|Ci)，其由訓練樣本估計，採用經過平滑處理後的詞頻計算式，計算的公式為p(xt|Ci)＝(1+ft)/(n+fi)，其中ft為特徵詞xt在Ci類文本中出現的次數，fi為Ci類所有文本的特徵詞總數，n為向量維數；3)對p(xk|Ci)進行風險計算，先驗概率的風險係數設定如下條件1某個詞語出現在垃圾信息中的概率大於出現在正常信息中的頻率，a)將其判定為正常詞語時所帶來的損失設定為1；b)將其判定為垃圾詞語所帶來的損失設為b，其中b＜1；條件2若詞條出現在正常信息中的概率大於出現在垃圾信息中的概率，a)將其判定為垃圾詞語所帶來損失設定為d，可知d＞1，b)將其判定為正常詞語帶來的損失值小於1，在此仍設為b，其中b＜1，將詞語分量xk判定為垃圾詞條要滿足的條件為p(xt|C1)/p(xt|C2)＜φ，其中φ＝(1 b)/(d b)，由b＜1、d＞1，得到φ＜1，當針對某個詞條的先驗概率之比滿足上式的時候，才將該詞條歸為垃圾詞條，即完成了對p(xk|Ci)的風險計算；4)計算類的先驗概率P(Ci)，計算的公式為P(Ci)＝si/s，其中si是類Ci錯誤！未找到引用源。中的訓練樣本數，而s是訓練樣本總數；5)計算P(X|Ci)，為了降低運算錯誤！未找到引用源。的開銷，假定特徵詞之間相互條件獨立，即屬性間不存在依賴關係，計算的公式為 6)進行了如上假設和處理後，對每個類錯誤！未找到引用源。，計算P(X|Ci)P(Ci)，並對其進行風險計算，後驗概率的風險係數設定如下條件1信息被正確判定時，不會給用戶帶來任何損失，相應的損失設定為0； 條件2垃圾信息被誤判為正常信息時所帶來的損失設定為1；條件3正常信息被誤判為垃圾信息時所帶來的損失設定為k，可知k要大於1，將未知樣本特徵向量X判定為垃圾信息要滿足的條件為P(C2|X)＞θ，其中θ＝k/(1+k)，由k＞1，得到θ＜1，當針對某個未知樣本的後驗概率滿足上式的時候，才將該樣本歸為垃圾信息，即完成了對P(Ci|X)的風險計算，若最終得到P(C2|X)＞θ，判定該信息為垃圾信息；反之，判定其為正常信息。FDA0000029171530000011.tif
2.根據權利要求1所述的基於貝葉斯算法的內容過濾方法，其特徵在於具體流程步驟 1)中每個數據樣本用一個η維特徵向量X= (χι; χ2, . . . χη)錯誤！未找到引用源。表示， 其中xi，x2，...Xn表示某個數據樣本中η個特徵詞條A1, A2,...An錯誤！未找到引用源。的 度量，特徵詞A1, A2, . . . An的分詞算法使用最大匹配方法FMM，具體分詞步驟如下11)選取分詞詞典中最長詞長度的字串，將該字串與詞典中的詞條相匹配，12)如果在字典中查找到了相同的詞條，那麼分詞成功，然後執行步驟14)，13)如果不能匹配，若詞條長度大於兩個中字，就去掉最後一個漢字，執行步驟12)；若 等於兩個中字，確定為單字，執行步驟14)，14)移動指針讀入新的內容繼續按照上面的方法進行查找。
3.根據權利要求1所述的基於貝葉斯算法的內容過濾方法，其特徵在於具體流程具體 步驟1)中每個數據樣本用一個η維特徵向量X= (χι，χ2，...χη)錯誤！未找到引用源。表 示，其中xi，x2，... Xn表示某個數據樣本中η個特徵詞條A1, A2,... An錯誤！未找到引用源。 的度量，篩選特徵詞A1, A2,... An錯誤！未找到引用源。的方法採用文檔頻率DF方法，具體 執行步驟如下21)首先計算每個詞條的DF值，一個詞條的DF值即為訓練語料中包含該詞條的文檔數；22)將DF值低於某一特定閾值的詞條從原始特徵空間中移除。
4.根據權利要求3所述的基於貝葉斯算法的內容過濾方法，其特徵在於在步驟21)中 計算每個詞條的DF值，一個詞條的DF值即為訓練語料中包含該詞條的文檔數，消耗的時間 較長，故將篩選特徵詞的整體置於後臺，統計篩選完成之後的特徵詞輸出形成文件供分類 器使用，整體的分類功能邏輯上分為兩個部分來實現後臺特徵庫模塊以及前臺文本分類 模塊。
全文摘要
基於貝葉斯算法的內容過濾方法，針對第三代移動通信核心網中文本信息進行內容過濾，其使用基於雙重閾值的貝葉斯算法來進行文本分類，設C1為正常信息，C2為垃圾信息，分類器將測算代表數據樣本的特徵向量X屬於每個類別Ci的概率，進行測算的貝葉斯公式為P(Ci|X)＝P(X|Ci)P(Ci)/P(X) 1≤i≤2，其中後驗概率P(Ci|X)的最大值被稱為最大後驗概率，對每個類錯誤！未找到引用源，只需計算錯誤！未找到引用源，未知樣本特徵向量X將被指派到其錯誤！未找到引用源的風險值最低的Ci類。採用文檔頻率(DF)進行特徵選擇，使用基於最小風險的雙重閾值貝葉斯決策進行分類。在TD-SCDMA移動網際網路內容監管系統中，此算法具有更強的可控性，能夠實現大量文本信息的實時高效率分類。
文檔編號G06F17/27GK101996241SQ20101051605
公開日2011年3月30日 申請日期2010年10月22日 優先權日2010年10月22日
發明者王平, 蒲文靜, 霍貴超, 黃杰 申請人:東南大學