一種基於大數據處理的電子商務中有效評論的特徵提取方法與流程
2023-06-07 16:05:51
本發明涉及一種基於大數據處理的電子商務中有效評論的特徵提取方法，主要是針對電子商務網站提供給用戶對於所購買的商品發表自己的評論，根據量化評價的思想，剔除掉無關的無效的評論信息，對有效的評論信息分詞分句聚類得到特徵集合，特徵集合能夠很好地從產品的評論中看到當前產品所處的情況，優點或缺點，進而不僅可以為用戶購買商品提供參考意見，還可以通過結果反饋給商家使產品的某些性能得到優化。
背景技術：
電子商務的快速發展，使用戶在購買和使用商品後發表的產品評論數量急劇增加。因缺乏對用戶評價的有效激勵機制，導致用戶對評價內容的表述較簡單，亦存在較多相同或相似的評論，甚至是廣告或和主題無關的內容。雖多數電子商務網站對用戶的評價內容設置了是否「有幫助」或「有用」的投票機制，但實際有投票記錄的卻很少。因消費者在網上購物時信息不對稱情況相對嚴重及羊群效應的存在，故網民的網購行為受用戶評價因素的影響最大。網絡評論形成速度快、語言隨意和多變，一些熱門產品可能會出現成千上萬條質量參差不齊的評論。如何從大量的產品評論中提取有價值的信息，成為意見挖掘領域近年來廣受關注的一個研究熱點。
為減少用戶對評價內容的參考成本，幫助用戶快速進行購物決策，多數電子商務平臺提供評論信息的不同排序方式如天貓的「按信用」和「按推薦」。而該排序方式中，仍存在較多和評論主題無關的廣告等垃圾評論信息。要區分垃圾評論與正常評論，特徵選擇的好壞直接影響著分類器的分類精度和泛化性能。由於產品評論具有句子較短、斷句隨意、用詞口語化和語法標點符號使用不規範等特點，因此從內容和形式自由度髙、垃圾數據噪聲大的評論信息中，提取正常評論的特徵比較困難。垃圾郵件、博客中存在大量無意義的富含關鍵字的複製博客或連結，及含廣告的圖片或文本，目的是欺騙搜尋引擎或欺騙用戶點擊廣告來牟利。主垃圾郵件、博客和簡訊可通過發送行為的特徵檢測如黑白名單過濾、基於社會網絡特徵和位置特徵等，而產品評論主要通過分析文本內容進行識別。用於郵件的文本分類算法，雖可用於產品評論，但分詞後特徵向量偏小，影響分類結果，而關鍵字過濾方法則不利於泛化。
技術實現要素：
基於上述問題，本發明目的在於提供一種基於大數據處理的電子商務中有效評論的特徵提取方法，主要是針對電子商務網站提供給用戶對於所購買的商品發表自己的評論，根據量化評價的思想，剔除掉無關的無效的評論信息，對有效的評論信息分詞分句聚類得到特徵集合，特徵集合能夠很好地從產品的評論中看到當前產品所處的情況，優點或缺點，進而不僅可以為用戶購買商品提供參考意見，還可以通過結果反饋給商家使產品的某些性能得到優化。
針對以上問題，提供了如下技術方案：一種基於大數據處理的電子商務中有效評論的特徵提取方法，其特徵在於該檢測提取方法包括以下步驟：
步驟1)輸入產品評論信息；
步驟2)預處理產品評論信息；
步驟2.1)判斷該條評論信息是否與本產品有關，如果有關，轉步驟2.4)，否則，轉步驟2.3)；
步驟2.2)判斷該條評論信息是否含廣告信息，如果不含，轉步驟2.4)，否則，轉步驟2.3)；
步驟2.3)刪除該條評論信息，轉步驟2.7)；
步驟2.4)切分產品評論信息，獲取評論信息子句；
步驟2.5)利用分詞工具對評論信息子句進行分詞處理；
步驟2.6)識別並刪除分詞中的同義詞和近義詞，得到特徵詞集合；
步驟2.7)輸入產品評論信息庫中的下一條評論信息，轉步驟2.1)；
步驟3)識別特徵詞集合中每個特徵詞的詞性並進行詞性標註，將每一類詞性打上不同的標籤；
步驟4)通過矩陣算法來計算特徵詞字符串之間的距離；
步驟4.1)計算特徵詞字符串之間的相似度，得到初始聚類集合；
步驟4.2)利用k-means算法對初始聚類集合進行多次迭代聚類,得到最優的聚類結果；
步驟5)得到特徵集合併反饋結果。
本發明進一步設置為：步驟2.5)中採用的分詞工具為ictclas漢語分詞系統。
本發明進一步設置為：所述步驟4.1)中特徵詞字符串之間的相似度計算採用矩陣算法，具體計算方法包括以下步驟：
1）計算重疊率l：重疊特徵詞字符串的個數與特徵詞字符串的長度的比率即為重疊率l=r/n；
2）計算匹配率m：2個長度相等的特徵詞字符串在特徵詞字符串移動匹配的過程中,對應位置字符相同的個數與特徵詞字符串長度的比率即為匹配率m=m/n；
3）計算相似度q：匹配率的平方與重疊率的乘積即為相似度q=m2l=(m2/n2)・（r/n）。
本發明進一步設置為：步驟4.2)中k-means算法包括兩大基本步驟：（1）取得多個聚簇中心並將文檔聚類；（2）重新計算聚簇中心，通過多次迭代,重複(1)、（2）的方法,得到最優的聚簇。
本發明的有益效果：本發明提供的特徵提取方法是對產品的評論信息進行合理處理後得到一個大的信息框以了解當前產品的信息點。首先對評論信息進行預處理，去除掉一些廣告的、無關的噪聲信息，然後對每一條評論信息進行切分、分詞，剔除掉同義詞或近義詞後標註詞性，最後進行特徵詞聚類處理得到最終的特徵集合及反饋結果。通過本方法對產品評論信息進行特徵分析，得到用戶對產品的語義傾向，進而為用戶提供購買決策，同時，及時了解用戶對產品的評論傾向，可使商家對產品進行適當調整，保留優點改善缺點等，或根據當前反饋結果適當調整產品的預期規劃等。
附圖說明
圖1：垃圾評論檢測提取系統流程圖。
具體實施方式
下面詳細的實施步驟，對本發明的具體實施方式作進一步詳細描述。以下實施例用於說明本發明，但不用來限制本發明的範圍。
本發明是一種基於大數據處理的電子商務中有效評論的特徵提取方法，從開始輸入產品評論信息到最終輸出評論檢測結果的實現步驟為：
步驟1)我們可從某一的電子商務平臺上選擇一款商品對其進行有效評論的特徵提取，以分析用戶對該電子商務客戶端上在線交易產品所持有的態度，從而為消費者的購買決策和商家產品規劃提供積極有效的作用；
步驟2)對獲得的產品評論信息進行預處理，目的是去除掉噪聲，有利於有效評論的特徵提取，如圖1所示；
步驟2.1)判斷該條評論信息是否與本產品有關，如果有關，進行下一步，否則，刪除這條評論信息；
步驟2.2)接著，判斷該條評論信息是否含廣告信息，如果包含廣告信息，刪除該條評論信息，否則，這條評論信息是乾淨的。經過這樣的循環判斷得到乾淨的評論信息集合；
步驟2.3)一條評論中，可能包含很多的子句，如果把分析窗口大小設為整條評論，有點浪費，而且不好分析，因此我們切分評論信息，將一條評論切分成若干子句。
步驟2.4)利用分詞工具對評論信息子句進行分詞處理。我們的分詞工具可採用中科院的ictclas漢語分詞系統，對每一條評論子句進行分詞；
步驟2.5)分詞中可能會存在很多語義相近或相同的詞語，相同或相近的詞所傳達的語義是相同的，為了避免後續流程中計算的繁瑣，此時可識別並刪除分詞中的同義詞和近義詞，以得到完整、簡明的特徵詞集合；
步驟3)識別特徵詞集合中每個特徵詞的詞性並進行詞性標註，詞性標註採用中科院漢語詞性標記集(共計99個)包含名詞，動詞，形容詞，區別詞，狀態詞，副詞等；然後將每一類詞性打上不同的標籤，比如名詞標註為a，形容詞標註為b等；
步驟4)通過矩陣算法來計算特徵詞字符串之間的距離；
步驟4.1)計算特徵詞字符串之間的相似度，得到初始聚類集合；
上述特徵詞字符串之間的相似度計算採用矩陣算法，具體計算方法包括以下步驟：
①計算重疊率l：重疊特徵詞字符串的個數與特徵詞字符串的長度的比率即為重疊率l=r/n；
②計算匹配率m：2個長度相等的特徵詞字符串在特徵詞字符串移動匹配的過程中,對應位置字符相同的個數與特徵詞字符串長度的比率即為匹配率m=m/n；
③計算相似度q：匹配率的平方與重疊率的乘積即為相似度q=m2l=(m2/n2)・（r/n）。
步驟4.2)利用k-means算法對初始聚類集合進行多次迭代聚類,得到最優的聚類結果；
k-means算法包括兩大基本步驟：（1）取得多個聚簇中心並將文檔聚類；（2）重新計算聚簇中心，通過多次迭代,重複(1)、（2）的方法,得到最優的聚簇。
步驟5)得到特徵集合併反饋結果。
通過採用上述方法對產品的評論信息進行合理處理後得到一個大的信息框以了解當前產品的信息點。通過本方法對產品評論信息進行特徵分析，得到用戶對產品的語義傾向，進而為用戶提供購買決策，同時，及時了解用戶對產品的評論傾向，可使商家對產品進行適當調整，保留優點改善缺點等，或根據當前反饋結果適當調整產品的預期規劃等。
以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明技術原理的前提下，還可以做出若干改進和變型，上述假設的這些改進和變型也應視為本發明的保護範圍。