一種網頁去重的方法及系統的製作方法

2023-05-04 14:41:36

專利名稱：一種網頁去重的方法及系統的製作方法
技術領域：
本發明涉及網頁處理領域，特別是涉及一種網頁去重的方法及系統。
背景技術：
隨著網際網路技術的迅猛發展，網際網路上的網頁越來越多，據統計，中文網
頁已逾百億，其中大約有70%屬於重複網頁，重複網頁所佔的比重非常大。因 此，如何在數量巨大的網頁中有效去掉重複網頁，是搜尋引擎所面臨的一個難 題。目前是通過在網頁中選取特徵碼，對比該特徵碼的方式來判斷、去除重複 網頁。
參閱圖l,為現有網頁去重的方法流程圖，具體步驟如下所述。 步驟SIOI、在基準網頁中選取某個句號作為定位點。 因在網頁正文中有多個句號出現，可通過定位方式在網頁正文中選擇某個
句號作為定位點。
步驟S102、在所述定位點兩邊選取一定數量的漢字作為特徵碼。 如，在定位點兩邊各選取5個漢字組成特徵碼。 步驟S103、在備選網頁中採用相同的方式獲取特徵碼。 採用相同的方式在備選網頁中進行定位，並在該定位點兩邊各選取5個漢
字組成特徵碼。
步驟S104、如備選網頁和基準網頁中的特徵碼相同，判定該備選網頁為 重複網頁。
如備選網頁和基準網頁中的特徵碼相同，則判斷該備選網頁為重複網頁， 轉到步驟S105;如特徵碼不相同，則判斷該備選網頁不是重複網頁。 步驟S105、刪除重複的備選網頁。
上述方法在兩個網頁的內容完全一致的情況下，可有效去除重複網頁。但 重複網頁不僅僅包括內容完全一致的網頁，還包括相對增加無實質意義信息的 網頁，相對差別無實質意義詞語的網頁。如果備選網頁相對基準網頁恰好在定 位點附件的幾個漢字中增加無實質意思的詞語，兩個網頁的特徵碼就不同，上
述方法就會將備選網頁作為非重複網頁，導致網頁去重的準確率不高；如果備選網頁相對基準網頁恰好在定位點附件的幾個漢字相同，而其他內容具有本質 區別，但兩個網頁的特徵碼相同，上述方法就會將該備選網頁作為重複網頁刪 除，導致網頁去重的誤判率過高。 發明內容本發明所要解決的技術問題是提供一種網頁去重方法，該方法可有效提高 網頁去重的準確率，減少網頁去重的誤判率。本發明的另 一個目的是提供一種網頁去重系統，該系統能夠有效提高網頁 去重的準確率，減少網頁去重的誤判率。本發明一種網頁去重的方法，包括在備選網頁中選取預設數量的詞語； 在網頁集合中選耳又含有上述詞語數量最多的網頁作為基準網頁；如所述基準網 頁中包含上述詞語的數量大於設定閾值，則將所述備選網頁作為重複網頁進行 處理。優選的，還包括如所述基準網頁中包含上述詞語的數量小於設定閾值， 則將所述備選網頁加入所述網頁集合。優選的，在備選網頁中選取預設數量的詞語之前，還包括對所述備選網 頁中詞語的屬性進行標註，過濾屬性為停用詞和虛詞的詞語。優選的，按照權值從大到小的順序在所述備選網頁中選取預設數量的詞語。優選的，在所述備選網頁中選取預設數量的詞語之前，還包括將各詞語 的訓練文本數除以總訓練文本數的商取對數，獲得的數值再乘以所述備選網頁 文本中出現該詞語的次數，得到所述備選網頁中各詞語的權值。優選的，按下述步驟，在網頁集合中選取含有上述詞語數量最多的網頁作 為基準網頁；將上述預設數量的詞語作為查詢串，在所述網頁集合中檢索；按 照包含上述詞語的數量從大到小將檢索到的網頁排序；將排序第一的網頁作為 基準網頁。優選的，將所述備選網頁作為重複網頁進行處理之前，還包括選取排序 第二的網頁作為基準網頁；將該基準網頁中所包含的上述詞語的數量與設定閾 值進行比較；如該基準網頁中所包含的上述詞語的數量大於設定閾值，確定所
述備選網頁為重複網頁。
優選的，確定所述備選網頁為重複網頁之前，還包括依次選取排序在後 的網頁作為基準網頁；將該基準網頁中所包含的上述詞語的數量與設定閾值進 行比較；如該基準網頁中所包含的上述詞語的數量大於設定閾值，確定備選網 頁為重複網頁處理。
本發明一種網頁去重的系統，包括詞語選取單元、基準網頁選取單元、比 較單元、及處理單元所述詞語選取單元，用於在備選網頁中選取預設數量的 詞語；所述基準網頁選取單元，用於在網頁集合中選取含有上述詞語數量最多 的網頁作為基準網頁；所述比較單元，用於在所述基準網頁中包含上述詞語的 數量大於設定閾值時，啟動所述處理單元；所述處理單元，用於將所述備選網 頁作為重複網頁進行處理。
優選的，還包括權值計算單元，用於計算上述各詞語的權值，並將計算結 果傳送到所述詞語選取單元；所述詞語選取單元按照權值從大到小的順序在備 選網頁中選取預設數量的詞語。
與現有技術相比，本發明具有以下優點
本發明在備選網頁中選取預設數量的詞語，在網頁集合中選取含有上述詞 語數量最多的網頁作為基準網頁，如基準網頁中包含上述詞語的數量大於設定 閾值，則將備選網頁作為重複網頁進行處理。本發明可通過適當提高設定數值， 加大參與對比的詞語量，降低對比的偶然性，在去除內容並非完全一致的重複
網頁時，可有效提高網頁去重的準確性，並降低誤判率。同時，本發明還可通 過提高/降低設定閾值有效調節網頁去重的準確率和誤判率，如，提高設定閾 值，可提高準確率；降低設定閾值，可提高誤判率。因此，相對現有技術通過 簡單對比特徵碼進行網頁去重，本發明可通過適當調節設定閾值和設定數值， 來有效提高網頁去重的準確率，降低誤判率。
本發明按照權值從大到小的順序在備選網頁中選取預設數量的詞語。權值 大表明該詞語與網頁主題相關程度高，更具有代表性。在去除內容並非完全一 致的重複網頁時，選取權值高的詞語進行對比、判斷，可進一步提高網頁去重 的準確率，降低誤判率。


圖1為現有網頁去重的方法流程圖； 圖2為本發明第一實施例提供的網頁去重方法流程圖； 圖3為本發明第二實施例提供的網頁去重方法流程圖； 圖4為本發明第三實施例提供的網頁去重方法流程圖； 圖5為本發明第四實施例提供的網頁去重系統示意圖； 圖6為本發明第五實施例提供的網頁去重系統示意圖。
具體實施方式
為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。本發明在備選網頁中選取預設數量的詞語，在網頁集合中選取含有上述詞 語數量最多的網頁作為基準網頁，如基準網頁中包含上述詞語的數量大於設定 閾值，則將備選網頁作為重複網頁進行處理。參閱圖2，為本發明第一實施例提供的網頁去重的方法流程圖，具體步驟 如下所述。步驟S201、在備選網頁中選取預設數量的詞語。在網頁去重過程中，先將已有的網頁作為網頁集合，再以該網頁集合為基 礎，對後獲取到的網頁進行是否重複的判斷。後獲取的網頁作為備選網頁。依 據網頁去重所需的準確度，在備選網頁正文中選取預設數量的詞語。其中預設數量的範圍可為1到100。如，已有的網頁集合為(網頁A、網頁B、網頁C),備選網頁為網頁D。 在網頁D中選取a、 b、 c三個詞語。步驟S202、在網頁集合中選取含有上述詞語數量最多的網頁作為基準網頁。通過對比、查找等方式在網頁集合中選取含有上述詞語數量最多的網頁， 作為基準網頁。如，網頁A正文中不包含詞語a、 b、 c中任何一個；網頁B正文中包含a、 b兩個詞語；網頁C正文中包含a、 b、 c三個詞語。因網頁C所包含詞語的數 量大於網頁B和網頁A,將網頁C作為基準網頁。步驟S 2 0 3 、將基準網頁中所包含的上述詞語的數量與設定閾值進行比較。
提取基準網頁所包含上述詞語的數量，並與設定閾值相比較。設定閾值可 根據網頁去重所需的準確度進行設置，設定閾值的範圍可為預設數量/2至預 設數量。
如，網頁C中包含上述詞語的數量為3,設定閾值為2。
當然，步驟S203也可為計算基準網頁中所包含的上述詞語的數量與預設
數量的比例數，將該比例數與設定閾值進行比較。此時，設定閾值的範圍可為
50%至100%。
步驟S204、如基準網頁中所包含的上述詞語的數量大於設定閾值，則將 備選網頁作為重複網頁處理。
如基準網頁中所包含的上述詞語的數量大於設定閾值，則將備選網頁作為 重複網頁處理；如基準網頁中所包含的上述詞語小於設定閾值，則將所述備選 網頁加入網頁集合。
如，網頁C中所包含的上述詞語數量為3,大於設定閾值2，則將備選網 頁D作為重複網頁，進^f亍刪除。
本發明可通過適當提高設定數值，加大參與對比的詞語量，降低對比的偶 然性，在去除內容並非完全一致的重複網頁時，可有效提高網頁去重的準確性， 並降低誤判率。同時，本發明還可通過提高/降低設定閾值有效調節網頁去重 的準確率和誤判率，如，提高設定閾值，可提高準確率；降低設定闊值，可提 高誤判率。因此，本發明可通過適當調節設定閾值和設定數值，來有效提高網 頁去重的準確率，降低誤判率。
為進一步提高網頁去重的準確性，降低網頁去重的誤判率，本發明可在備 選網頁中選取與網頁主題相關度較高的詞語。
參閱圖3，為本發明第二實施例提供的網頁去重方法流程圖，包括以下步驟。
步驟S301、對備選網頁中詞語的屬性進行標註，過濾屬性為停用詞和虛 詞的詞^吾。
對備選網頁中詞語的屬性進行標註。本發明詞語的屬性可分為關鍵詞、停 用詞和虛詞。其中，關鍵詞為具有一定實質意義的詞語，如電腦、購買、職務 等詞語；停用詞和虛詞為不具有實時意義的詞語，如了、嗎、的、啊等詞語。 本發明內置存儲停用詞和虛詞的資料庫，將備選網頁正文中的詞語與資料庫中 存儲的詞語進行對比，如備選網頁正文中的詞語與資料庫中存儲的詞語相同， 則過濾掉該詞語。步驟S302、計算備選網頁中各詞語的權值。詞語的權值表示該詞語與主題的相關度，權值高的詞語可認為與網頁主題相關度高。本發明通過權值-TFx IDF算式計算詞語的權值，即w(乂,力=7F(y;, * /z)F(/;) = iv(/rf) * iog(iv(y;) / tv)其中，w(乂，c/)表示詞語/;在備選網頁文本d中的權值；w(y;)表示詞語/;在 備選網頁文本d中出現的次數；7v(,)表示詞語/,的訓練文本數，N表示總訓練 文本數。/Z)F(,)是詞語/,對應的固定值，是通過在N個訓練文本中，查找計算 含有詞語乂的文本數w(/),再通過算式iog(w(/,)/AO，計算獲得。7F(y;,力通過 查找詞語乂在備選網頁文本^中出現的次數獲得。步驟S303、按照權值從大到小的順序在備選網頁中選取預設數量的詞語。 將網頁正文的詞語按權值大小排序，再按照從大到小的順序在網頁中選取 預設數量的詞語。如，預設數量為5，則在備選網頁中選取權值較大的a、 b、 c、 d、 e五個 詞語。步驟S304、在網頁集合中選取含有上述詞語數量最多的網頁作為基準網頁。如，網頁集合中網頁A正文中不包含詞語a、 b、 c、 d、 e中任何一個；網 頁B正文中包含a、 b、 c三個詞語，網頁C正文中包含a、 b、 c 、 d四個詞語。 因網頁C所包含詞語的數量大於網頁B和網頁A，將網頁C作為基準網頁。步驟S305、將基準網頁中所包含的上述詞語的數量與設定閾值進行比較。步驟S306、如基準網頁中所包含的上述詞語的數量大於設定閾值，則將 備選網頁作為重複網頁處理；如基準網頁中所包含的上述詞語小於設定閾值， 則將所述備選網頁加入網頁集合。本發明按照權值從大到小的順序在備選網頁中選取預設數量的詞語。權值 大表明該詞語與網頁主題相關程度高，更具有代表性。在去除內容並非完全一 致的重複網頁時，選取權值高的詞語進行對比、判斷， 的準確率，降低誤判率。
本發明在判斷備選網頁為重複網頁之後，還可利用網頁集合中其他網頁進 行進一步確認，以提高網頁去重的準確性，降低網頁去重的誤判率。
參閱圖4，為本發明第三實施例提供的網頁去重方法流程圖，具體步驟如 下所述。
步驟S401、在備選網頁中選耳又預設數量的詞語。 如，在備選網頁中選取a、 b、 c、 d、 e、 f、 g、 h、 i、 j等十個詞語。 步驟S402、將上述預設數量的詞語作為查詢串，在網頁集合中進行;險索。 如，將a、 b、 c、 d、 e、 f、 g、 h、 i、 j等十個詞語作為查詢串，在網頁 集合中進行檢索。
步驟S403、按照包含上述詞語的數量從大到小將檢索到的網頁排序。
如，網頁集合中網頁A正文中不包含上述詞語中任何一個，網頁B正文中 包含a、 b、 c、 d、 e、 f、 g、 h八個詞語，網頁C正文中包含a、 b、 c、 d、 e、 f、 g、 h、 i九個詞語。檢索到的網頁為網頁B和網頁C,因網頁C所包含詞語 的數量大於網頁B,排序為網頁C、網頁B。
步驟S404、選取排序第一的網頁作為基準網頁。
如，選取網頁C作為基準網頁。
步驟S405、將基準網頁中所包含的上述詞語的數量與設定閾值進行比較。
如，設定闕值為7,基準網頁中的包含上述詞語的數量為9。
步驟S406、如基準網頁中所包含的上述詞語的數量大於設定閾值，則判
斷備選網頁為重複網頁，轉到步驟S407;如基準網頁中所包含的上述詞語小
於設定閾值，則將所述備選網頁加入網頁集合。 如，9〉7,則判斷備選網頁為重複網頁。 步驟S407、再選取排序第二的網頁作為基準網頁。 如，選擇網頁B作為基準網頁。
步驟S408、將基準網頁中所包含的上述詞語的數量與設定闞值進行比較。 如，設定閾值為7，基準網頁中的包含上述詞語的數量為8。 步驟S409、如基準網頁中所包含的上述詞語的數量大於設定閾值，則確 定備選網頁為重複網頁；如基準網頁中所包含的上述詞語小於設定閾值，將備
選網頁加入網頁集合。如，8>7,則確定備選網頁為重複網頁。在上述步驟中，本發明通過網頁集合中包含上述詞語最多的網頁來判斷備 選網頁是否為重複網頁，再通過網頁集合中包含上述詞語數量第二的網頁進一 步確定該備選網頁為重複網頁，確保網頁去重的高準確率和低失誤率。當然，本發明還可利用網頁集合中包含上述詞語數量第三、第四、第五、、、 的網頁依次作為基準網頁，來進一步確定該備選網頁為重複網頁，來保i正網頁 去重的高準確率和低失誤率。基於上述網頁去重方法，本發明還提供一種網頁去重系統，該系統能夠有 效提高網頁去重的準確率，減少網頁去重的誤判率。參閱圖5，為本發明第四實施例提供的網頁去重系統示意圖，包括詞語選取單元51、基準網頁選取單元52、比較單元53、及處理單元54。詞語選取單元51在備選網頁中選取預設數量的詞語，並將上述詞語傳送 給基準網頁選取單元52。其中預設數量的範圍可為1到100。詞語選取單元 51可內置存儲停用詞和虛詞的資料庫，將備選網頁正文中的詞語與資料庫中 存儲的詞語進行對比，如備選網頁正文中的詞語與資料庫中存儲的詞語相同， 則過濾掉該詞語。基準網頁選取單元52在網頁集合中選取含有上述詞語數量最多的網頁作 為基準網頁，並將該基準網頁發送給比較單元53。比較單元53提取基準網頁所包含上述詞語的數量，並與設定閾值相比較， 在基準網頁中所包含的上述詞語的數量大於設定閾值時，啟動處理單元54。 設定閾值的範圍可為預設數量/2至預設數量。當然，比較單元53也可為計算基準網頁中所包含的上述詞語的數量與預 設數量的比例數，將該比例數與設定閾值進行比較，在基準網頁中所包含的上 述詞語的數量大於設定閾值時，啟動處理單元54。此時，設定閾值的範圍可 為50%至100%。處理單元54將所述備選網頁作為重複網頁進行處理。該系統可通過適當提高設定數值，加大參與對比的詞語量，降低對比的偶 然性，在去除內容並非完全一致的重複網頁時，可有效提高網頁去重的準確性，
並降低誤判率。
參閱圖6，為本發明第五實施例提供的網頁去重系統示意圖，包括詞語選
取單元51、基準網頁選取單元52、比較單元53、處理單元54、及權值計算單 元55n
權值計算單元55計算備選網頁正文中各詞語的權值，並將計算結果傳送 到詞語選取單元51。 計算權值的算式為
, cf) = 7F(乂,力* /DF(/;) = at(乂, ) * iog( at(/' ) / w) 其中，w(y;^)表示詞語y;在備選網頁文本d中的權值；iv(/;)表示詞語/;在 備選網頁文本^中出現的次數；iv(/)表示詞語/;的訓練文本數，N表示總訓練 文本數。
詞語選取單元51按照權值從大到小的順序在備選網頁中選取預設數量的 詞語。
基準網頁選取單元52、比較單元53、處理單元54在該實施例中的功能和 作用與圖四所示實施例相同，不再贅述。
以上對本發明所提供的一種網頁去重方法及系統，進行了詳細介紹，本文 中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明 只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術 人員，依據本發明的思想，在具體實施方式
及應用範圍上均會有改變之處，綜 上所述，本說明書內容不應理解為對本發明的限制。
權利要求
1、一種網頁去重的方法，其特徵在於，包括在備選網頁中選取預設數量的詞語；在網頁集合中選取含有上述詞語數量最多的網頁作為基準網頁；如所述基準網頁中包含上述詞語的數量大於設定閾值，則將所述備選網頁作為重複網頁進行處理。
2、 如權利要求l所述的方法，其特徵在於，還包括如所述基準網頁中包含上述詞語的數量小於設定閾值，則將所述備選網頁 加入所述網頁集合。
3、 如權利要求1所述的方法，其特徵在於，在備選網頁中選取預設數量 的詞語之前，還包括對所述備選網頁中詞語的屬性進行標註，過濾屬性為停用詞和虛詞的詞語。
4、 如權利要求l、 2或3所述的方法，其特徵在於，按照權值從大到小的 順序在所述備選網頁中選取預設數量的詞語。
5、 如權利要求4所述的方法，其特徵在於，在所述備選網頁中選取預設 數量的詞語之前，還包括將各詞語的訓練文本數除以總訓練文本數的商取對數，獲得的數值再乘以 所述備選網頁文本中出現該詞語的次數，得到所述備選網頁中各詞語的權值。
6、 如權利要求l所述的方法，其特徵在於，按下述步驟，在網頁集合中 選取含有上述詞語數量最多的網頁作為基準網頁；將上述預設數量的詞語作為查詢串，在所述網頁集合中檢索； 按照包含上述詞語的數量從大到小將檢索到的網頁排序； 將排序第一的網頁作為基準網頁。
7、 如權利要求6所述的方法，其特徵在於，將所述備選網頁作為重複網 頁進行處理之前，還包括選取排序第二的網頁作為基準網頁；將該基準網頁中所包含的上述詞語的數量與設定閾值進行比較； 如該基準網頁中所包含的上述詞語的數量大於設定閾值，確定所述備選網 頁為重複網頁。
8、 如權利要求6或7所述的方法，其特徵在於，確定所述備選網頁為重 復網頁之前，還包括依次選取排序在後的網頁作為基準網頁；將該基準網頁中所包含的上述詞語的數量與設定閾值進行比較； 如該基準網頁中所包含的上述詞語的數量大於設定閾值，確定備選網頁為 重複網頁處理。
9、 一種網頁去重的系統，其特徵在於，包括詞語選取單元、基準網頁選 取單元、比較單元、及處理單元所述詞語選取單元，用於在備選網頁中選取預設數量的詞語；所述基準網頁選取單元，用於在網頁集合中選取含有上述詞語數量最多的 網頁作為基準網頁；所述比較單元，用於在所述基準網頁中包含上述詞語的數量大於設定閾值 時，啟動所述處理單元；所述處理單元，用於將所述備選網頁作為重複網頁進^"處理。
10、 如權利要去9所述的系統，其特徵在於，還包括權值計算單元，用於 計算上述各詞語的權值，並將計算結果傳送到所述詞語選取單元；所述詞語選取單元按照權值從大到小的順序在備選網頁中選取預設數量 的詞語。
全文摘要
本發明涉及一種網頁去重的方法，包括在備選網頁中選取預設數量的詞語；在網頁集合中選取含有上述詞語數量最多的網頁作為基準網頁；如所述基準網頁中包含上述詞語的數量大於設定閾值，則將所述備選網頁作為重複網頁進行處理。同時，本發明還提供一種網頁去重系統。本發明可有效提高網頁去重的準確率，減少網頁去重的誤判率。
文檔編號G06F17/21GK101102316SQ20071012305
公開日2008年1月9日 申請日期2007年6月22日 優先權日2007年6月22日
發明者勖 文 申請人:騰訊科技(深圳)有限公司