一種基於svm的大數據分類預測方法
2023-10-08 18:04:54
一種基於svm的大數據分類預測方法
【專利摘要】本發明提供了一種基於SVM的大數據分類預測方法，可以進行大數據樣本的有效信息擇決操作，獲取一種新型決定因素，從而找到一個能夠體現原始大數據信息的新型樣本C，對於樣本C進行SVM分類預測操作，結果表明分類正確率大大的提高，大大的縮短運行時間，是大數據信息處理的一種有效方式。
【專利說明】—種基於SVM的大數據分類預測方法
【技術領域】
[0001]本發明涉及一種分類預測方法，特別是對於大數據的分類預測方法。
【背景技術】
[0002]目前，針對大數據，有效地提取信息是很困難的，因為，數據樣本龐大無法研究數據的有效信息，也無法剔除一些無關的數據。
[0003]主成分分析(PrincipalComponentAnalysis, PCA)或者主元分析是一種掌握事物主要矛盾的統計分析方法，它可以從多元事物中解析出主要影響因素，揭示事物的本質，簡化複雜的問題。計算主成分的目的是將高維數據投影到較低維空間。給定η個變量的m個觀察值，形成一個nXm的數據矩陣，η通常比較大。對於一個由多個變量描述的複雜事物，人們難以認識，那麼可以抓住事物主要方面進行重點分析。如果事物的主要方面剛好體現在幾個主要變量上，我們只需要將這幾個變量分離出來，進行詳細分析。但是，在一般情況下，並不能直接找出這樣的關鍵變量。這時我們可以用原有變量的線性組合來表示事物的主要方面，PCA就是這樣一種分析方法。
[0004]支持向量機SVM(SupportVectorMachine)作為一種可訓練的機器學習方法。SVM方法是通過一個非線性映射P,把樣本空間映射到一個高維乃至無窮維的特徵空間中(Hilbert空間)，使得在原來的樣本空間中非線性可分的問題轉化為在特徵空間中的線性可分的問題。簡單地說，就是升維和線性化。升維，就是把樣本向高維空間做映射，一般情況下這會增加計算的複雜性，甚至會引起「維數災難」，因而人們很少問津。但是作為分類、回歸等問題來說，很可能在低維樣本空間無法線性處理的樣本集，在高維特徵空間中卻可以通過一個線性超平面實現線性劃分(或回歸)。一般的升維都會帶來計算的複雜化，SVM方法巧妙地解決了這個難題:應用核函數的展開定理，就不需要知道非線性映射的顯式表達式；由於是在高維特徵空間中建立線性學習機，所以與線性模型相比，不但幾乎不增加計算的複雜性，而且在某種程度上避免了 「維數災難」。這一切要歸功於核函數的展開和計算理論。
【發明內容】
[0005]本發明的目的是提供一種可以有效地進行有用樣本的篩選，便於進行數據分析和數據分類操作等處理的方法。
[0006]為了解決上述技術問題，本發明的技術方案是提供了一種基於SVM的大數據分類預測方法，針對一組具有η個決定因素，記為N1, N2, , Nn，樣本容量為M的大數據，該大數據共分為P類，第I類樣本記為樣本Mn，M12, M13,...，第2類樣本記為樣本M21, M22,M23,...，......，第口類樣本記為樣本]^，]^，]^，...，其特徵在於，步驟為:
[0007]步驟1、對M個樣本進行主成分分析操作，得到貢獻率達到某個固定值的個數X ;
[0008]步驟2、用層次分析法得到每個決定因素的權值T1, T2, , Tn，按照從大到小的順序取前X個權值；[0009]步驟3、計算得到每類樣本中各個樣本數據所對應的新型決定因素，將屬於同一類樣本的所有新型決定因素由小到大排序，取得排列在中間的A %的數據，形成新的樣本集C，A的值根據樣本容量自行設定，樣本容量越大，A越小，取得的有效數據越具有統計價值，其中，第i類樣本中第j個樣本數據Mu對應的新型決定因素Wu的計算過程為:
[0010]設樣本數據Mij 與 N1, N2,...，Nn 相對應的內容為 Aijl, Aij2，…，Aijn，在 TpT2,...，
Tn 及 Aijl, Aij2, , Aijn 中取前 X 個值，wij=Σk=1XAijkXTk
[0011]步驟4、在樣本集C中選取一定量的數據作為訓練樣本，一定量的數據進行預測分析，對樣本集C進行基於SVM的樣本分類預測。
[0012]本發明針對數據樣本龐大的大數據的分類方法提出了一種新的解決思路，可以有效的進行有用樣本的篩選，便於進行數據分析和數據分類操作等處理。其具有如下優點:具有分類正確率很高的效果，大大的降低樣本容量，又不會影響樣本的有效信息，減少運行時間，提高大數據的有效處理方式。
【專利附圖】
【附圖說明】
[0013]圖1為本發明提供的主要處理流程圖；
[0014]圖2為本發明提供的PCA算法流程圖；
[0015]圖3為SVM原理圖；
[0016]圖4為SVM參數尋優原理圖。
【具體實施方式】
[0017]為使本發明更明顯易懂，茲以優選實施例，並配合附圖作詳細說明如下。
[0018]結合圖1，本發明提供了一種基於SVM的大數據分類預測方法，針對一組具有η個決定因素，記為N1, N2,...，Nn，樣本容量為M的大數據，該大數據共分為P類，第I類樣本記
為樣本Mn，M127M13,...，第2類樣本記為樣本M21, M22, M23,…，......，第ρ類樣本記為樣本
Μρ1，Μρ2，Μρ3，…，其步驟為:
[0019]步驟1、對M個樣本進行主成分分析操作，得到貢獻率達到某個固定值的個數X，在本實施例中，固定值一般取85%，主成分分析操作簡稱為PCA操作，有多種方法可以實現PCA操作，比較常見的為圖2所示的方法，其步驟一般為:1、生成協方差矩陣；2、計算協方差矩陣的特徵值和特徵向量；3、計算協方差矩陣的特徵值大於閾值(設為I)的個數；4、降序排列特徵值；5、選擇相應的特徵值和特徵向量；6、計算白化矩陣；7、統計各個分量的貢獻率。
[0020]步驟2、用層次分析法得到每個決定因素的權值T1, T2, , Tn，按照從大到小的順序取前X個權值；
[0021]步驟3、計算得到每類樣本中各個樣本數據所對應的新型決定因素，將屬於同一類樣本的所有新型決定因素由小到大排序，取得排列在中間的A %的數據，形成新的樣本集C，A的值根據樣本容量自行設定，樣本容量越大，A越小，取得的有效數據越具有統計價值，其中，第i類樣本中第j個樣本數據Mu對應的新型決定因素Wu的計算過程為:
[0022]設樣本數據Mi^N1, N2，…，Nn相對應的內容為Aijl, Aij2，…，Aijn，在T1, T2，…，Tn 及 Aijl, Aij2,...，Aijn 中取前 X 個值，則
【權利要求】
1.一種基於SVM的大數據分類預測方法，針對一組具有η個決定因素，記為N1, N2,...，Nn，樣本容量為M的大數據，該大數據共分為P類，第I類樣本記為樣本Mn，M12, M13,...，第2類樣本記為樣本M21, M22, M23,...，......，第P類樣本記為樣本Mpl，Mp2, Mp3,...，其特徵在於，步驟為: 步驟1、對M個樣本進行主成分分析操作，得到貢獻率達到某個固定值的個數X ; 步驟2、用層次分析法得到每個決定因素的權值T1, T2,...，Tn,按照從大到小的順序取前X個權值； 步驟3、計算得到每類樣本中各個樣本數據所對應的新型決定因素，將屬於同一類樣本的所有新型決定因素由小到大排序，取得排列在中間的A%的數據，形成新的樣本集C，A的值根據樣本容量自行設定，樣本容量越大，A越小，取得的有效數據越具有統計價值，其中，第i類樣本中第j個樣本數據Mu對應的新型決定因素Wu的計算過程為: 設樣本數據Mij與N1, N2,...，Nn相對應的內容為Aijl, Aij2,, Aijn,在T1, T2，…，Tn及
AiJ1，Aij2, , Aijn 中取前 X 個值，則
【文檔編號】G06F17/30GK103902706SQ201410127325
【公開日】2014年7月2日 申請日期:2014年3月31日 優先權日:2014年3月31日
【發明者】安俊峰, 龔濤, 盧萌萌, 郭吉政 申請人:東華大學