相似數據排重方法
2023-05-30 06:12:01
專利名稱：相似數據排重方法
技術領域：
本發明涉及數據信息處理技術領域，特別涉及的是一種能夠對大規模相似數據信息進行排重處理的方法。
背景技術：
隨著信息技術的不斷發展，各類信息大量湧現，實際應用中，對大量數據進行排重的要求越來越多。例如在搜尋引擎系統中，需要判斷哪些數據信息已經收集在系統中。由於網際網路的數據信息眾多，須要有專門的方法對新發現的數據信息進行判斷，檢查其是否已經收錄於信息庫中，如果該數據信息已經存在，只需要進行更新信息來源屬性；如果該數據信息不存在，則需要進行數據信息的收集以及標識信息來源屬性的新建操作。又如在電信業務方面，運營商在向用戶提供數據類業務服務的過程中需要對該用戶所使用業務的信息進行準確記錄，以作為計費依據，如果不對該用戶所使用的大量的各種電信業務的記錄數據進行排重工作，很容易造成重複收費的情況；再如文獻資料庫的管理及維護工作中，也需要判斷哪些相同或相似的文獻已經收集在文獻資料庫中，如果該文獻數據已經存在，只需要進行更新該文獻的來源屬性；如果該文獻數據不存在，則需要進行文獻數據的收集以及標識信息來源屬性的新建操作。然而，目前大多數排重方法可以實現完全相同數據的快速排重處理，對於如何解決數據不相同、反映信息相同的排重即相似數據排重仍沒有有效的實施方法，所以，對相似數據的排重成為了一個新的方向。為克服上述缺陷，本發明的創作者經過長時間的研究和實踐獲得了本創作。
發明內容
本發明的主要目的在於克服現有技術的不足，提供了一種相似數據排重方法，實現了對相似數據的快速、準確的排重處理。為達到上述目的，本發明採用的技術方案在於，提供一種相似數據排重方法，其包括以下步驟將所獲取的相似數據輸入至伺服器；提取所述的相似數據的特徵向量，對所述的特徵向量的每個信息進行預處理，得到每個所述的信息的字符型索引數據；對每個所述的索引數據進行編碼轉換，生成每個所述的信息的數值型哈希數據； 以及根據所述的信息的權重，逐一判斷所述的特徵向量的哈希數據與資料庫伺服器中存儲的標準數據信息是否為相同的數據，並將結果返回給用戶。實施時，若所獲取的相似數據是多個相似數據，則還包括步驟將多個所述的特徵向量的哈希數據按值聚類，每個類包含多個所述的特徵向量的同一值的信息。
3
實施時，對所述的信息的預處理包括以下步驟獲取伺服器中與所述的相似數據結構一致的信息字典；過濾所述的信息中幹擾排重結果的噪聲詞；將完成噪聲詞過濾的每一所述的信息進行拆分，得到多個拆分數據；對照所述的信息字典分別對所述的拆分數據進行檢驗及修正處理；以及將上述處理後的拆分數據按照預定的字符結構重新格式化，得到與資料庫伺服器中的標準數據信息的結構一致的待檢驗數據。其中，對所述的相似數據的拆分方式包括按字符進行拆分、按間隔符及字符個數進行拆分或者以所述的信息字典的字符為標準進行拆分。實施時，對所述的索引數據進行編碼轉換採用MD5哈希函數或SHA-I哈希函數實現。其中，所述的相似數據是指需要參與排重處理，由若干屬性組成，能反映完整信息的數據實例。特徵向量是指相似數據的固有屬性。假設數據源為資料庫中的表，則屬性對應表中欄位。本發明的有益效果通過本發明的方法可以快速的對相似數據進行排重處理，經過相似數據的預處理，使得相似數據的存儲形式得到統一規範，提高了排重的正確性；同時通過對相似數據的編碼變換，將相似數據轉換為數值型哈希數據，壓縮了數據空間，提高了系統響應的速度。
圖I為本發明的相似數據排重方法的第一實施例；圖2為本發明的相似數據排重方法的第二實施例；圖3為本發明的相似數據排重方法的數據預處理過程的流程圖。
具體實施例方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。本發明的相似數據的排重是指對那些數據不同，但反應的信息相同的數據進行排重；本發明的相似數據可以是單個相似數據，也可以是多個相似數據。請參閱圖1，為本發明的第一實施例，即所獲取的相似數據為單個相似數據的情況，本發明提供的一種相似數據排重方法，包括以下步驟步驟I :將所獲取的相似數據輸入至伺服器；步驟2 :提取所述的相似數據的特徵向量，對所述的特徵向量的每個信息進行預處理，得到每個所述的信息的字符型索引數據；步驟3 :對每個所述的索引數據進行編碼轉換，使用預定字符替代所述的索引數據中的相似字符，並將編碼轉換後的索引數據生成每個所述的信息的數值型哈希數據；以及步驟4:根據所述的信息的權重，逐一判斷所述的特徵向量的哈希數據與資料庫伺服器中存儲的標準數據信息是否為相同的數據，並將結果返回給用戶。其中，所述的相似數據是指需要參與排重處理，由若干屬性信息組成，並能反映完整信息的數據實例。其中，所述的特徵向量是指相似數據的固有屬性，即可以用於進行相似數據排重處理的欄位；例如，若數據源為資料庫中的表，則固有屬性對應表中欄位；對於相似數據是圖書或文獻來說，其固有屬性包括名稱、責任者、出版發行機構、出版發行年份等以上欄位的任意組合，但不以此為限，用來唯一標識該相似數據。所述的特徵向量根據數據源的不同，其屬性的種類和數量會有所不同。請參閱圖2，為本發明的第二實施例，即所獲取的相似數據為多個相似數據的情況，本發明提供的一種相似數據排重方法，包括以下步驟步驟a :將所獲取的相似數據輸入至伺服器；步驟b :提取所述的相似數據的特徵向量，對所述的特徵向量的每個信息進行預處理，得到每個所述的信息的字符型索引數據；步驟c :對每個所述的索引數據進行編碼轉換，使用預定字符替代所述的索引數據中的相似字符，並將編碼轉換後的索引數據生成每個所述的信息的數值型哈希數據；以及步驟d:將多個所述的特徵向量的哈希數據按屬性值聚類，每個類包含多個所述的特徵向量的同一屬性值的信息以提高排重的速度；以及步驟e :根據每個所述的類的權重判斷多個所述的特徵向量的信息與資料庫伺服器中存儲的標準數據信息是否為相同的數據，並將結果分別存儲於所述的伺服器的相同集合和非相同集合兩個存儲區域，並將所述的相同集合和非相同集合的存儲結果返回給用戶。其中，所述的相似數據是指需要參與排重處理，由若干屬性信息組成，並能反映完整信息的數據實例。其中，所述的特徵向量是指相似數據的固有屬性，即可以用於進行相似數據排重處理的欄位；例如，若數據源為資料庫中的表，則固有屬性對應表中欄位；對於相似數據是圖書或文獻來說，其固有屬性包括名稱、責任者、出版發行機構、出版發行年份等以上欄位的任意組合，但不以此為限，用來唯一標識該相似數據。所述的特徵向量根據數據源的不同，其屬性的種類和數量會有所不同。本發明的第一實施例或第二實施例在實施時，步驟4及步驟e中的判斷過程是根據所述的相似數據的特徵向量的每個信息的權重進行判斷，首先對權重最大的信息的哈希數據進行判斷，若資料庫伺服器中不存在該哈希數據，則該哈希數據所對應的相似數據為不同的數據，並將該相似數據置於非相同集合；若資料庫伺服器中存在該哈希數據，則繼續判斷權重次之的信息的哈希數據，直至該相似數據的所有的信息的哈希數據與所述的資料庫伺服器中已存在的數據的所有的對應的信息相同，則該相似數據為已存在的數據，並將該相似數據置於相同集合。例如，若相似數據來源於資料庫中的某一個表，根據該相似數據的特徵向量，生成檢驗執行標準在判斷時，首先對該相似數據的一個屬性欄位進行判斷，如果不同，則判斷為非相同，並將該相似數據置於非相同集合；如果相同，則繼續擴展其他屬性進行判斷，直至該相似數據的每個屬性欄位都相同，則判斷為相同，並將該相似數據置於相同集合。本發明的第一實施例或第二實施例在實施時，對所述的索引數據進行編碼轉換可採用MD5哈希函數或SHA-I哈希函數等方法實現；並且可以是二進位、八進位等多種形式存儲。本發明的第一實施例或第二實施例在實施時，可將所述的相同集合和非相同集合為所述的伺服器中的兩個存儲區域。本發明的第一實施例或第二實施例在實施時，可以將數據排重的結果(即相同的相似數據及非相同的相似數據)分別以兩個集合的模式返回給用戶，以供用戶後期處理。請參閱圖3，本發明的第一實施例或第二實施例在實施時，對相似數據的預處理包括以下步驟SlOl :獲取伺服器中與所述的相似數據結構一致的信息字典，以提高預處理的速度及準確度；S102:利用信息字典結構一致性的特點，過濾所述的信息中幹擾排重結果的噪聲詞；S103 :將完成噪聲詞過濾的每一所述的信息進行拆分，得到多個拆分數據；S104 :對照所述的信息字典分別對所述的拆分數據進行檢驗及修正處理；以及S105:將上述處理後的拆分數據按照預定的字符結構重新格式化，得到與資料庫伺服器中的標準數據信息的結構一致的待檢驗數據。其中，對所述的相似數據的拆分方式包括對字符進行拆分、按間隔符及字符個數進行拆分或者以所述的信息字典的字符為標準進行拆分，但拆分方式不限於此。其中，所述的信息字典是指字符的集合。其中，所述的噪聲詞是指與數據整體結構不一致、幹擾排重結果的字符。其中，錯誤詞是指明顯不符合規範的字符。較佳地，為了提高排重的速度，可根據信息的特徵，生成對應的檢驗執行標準；在排重過程中，可以將每種信息對應的檢驗執行標準配置保存到伺服器中，從而提高了其通用性。經過數據預處理，使得相似數據的存儲形式得到統一規範，提高了排重的正確性； 同時通過數據編碼模塊，將相似數據轉換為數值型，壓縮了數據空間，提高了系統響應的速度。最後應說明的是以上實施例僅用以說明本發明的技術方案，而非對其進行限制； 本領域的普通技術人員可以對發明的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明實施例技術方案的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也包含這些改動和變型在內。
權利要求
1.一種相似數據排重方法，其特徵在於，其包括以下步驟將所獲取的相似數據輸入至伺服器；提取所述的相似數據的特徵向量，對所述的特徵向量的每個信息進行預處理，得到每個所述的信息的字符型索引數據；對每個所述的索引數據進行編碼轉換，生成每個所述的信息的數值型哈希數據；以及根據所述的信息的權重，逐一判斷所述的特徵向量的哈希數據與資料庫伺服器中存儲的標準數據信息是否為相同的數據，並將結果返回給用戶。
2.根據權利要求I所述的相似數據排重方法，其特徵在於，若所獲取的相似數據是多個相似數據，則還包括步驟將多個所述的特徵向量的哈希數據按值聚類，每個類包含多個所述的特徵向量的同一值的信息。
3.根據權利要求I或2所述的相似數據排重方法，其特徵在於，步驟2中對所述的信息的預處理包括以下步驟獲取伺服器中與所述的相似數據結構一致的信息字典；過濾所述的信息中幹擾排重結果的噪聲詞；將完成噪聲詞過濾的每一所述的信息進行拆分，得到多個拆分數據；對照所述的信息字典分別對所述的拆分數據進行檢驗及修正處理；以及將上述處理後的拆分數據按照預定的字符結構重新格式化，得到與資料庫伺服器中的標準數據信息的結構一致的待檢驗數據。
4.根據權利要求3所述的相似數據排重方法，其特徵在於，對所述的相似數據的拆分方式至少包括按字符進行拆分、按間隔符及字符個數進行拆分或者以所述的信息字典的字符為標準進行拆分。
5.根據權利要求I或2所述的相似數據排重方法，其特徵在於，對所述的索引數據進行編碼轉換採用MD5哈希函數或SHA-I哈希函數實現。
全文摘要
本發明提供了一種相似數據排重方法，包括以下步驟將所獲取的相似數據輸入至伺服器；提取相似數據的特徵向量，對特徵向量的每個信息進行預處理，得到每個信息的字符型索引數據；對每個索引數據進行編碼轉換，生成每個信息的數值型哈希數據；以及根據信息的權重，逐一判斷特徵向量的哈希數據與資料庫伺服器中存儲的標準數據信息是否為相同的數據，並將結果返回給用戶。通過本發明的方法可以快速的對數據不同但反應信息相同的相似數據進行排重處理，且其正確率高，穩定性好。
文檔編號G06F17/30GK102609419SQ201110023939
公開日2012年7月25日 申請日期2011年1月21日 優先權日2011年1月21日
發明者楊健 申請人:北京世紀讀秀技術有限公司