基於神經網絡改進算法的電信客戶流失預測方法
2023-05-01 22:00:01 1
專利名稱：基於神經網絡改進算法的電信客戶流失預測方法
技術領域：
本發明屬於電信運營商數據挖掘領域，涉及一種基於神經網絡改進算法的電信客戶(流失)預測方法。
背景技術：
隨著電信市場競爭的發展，客戶選擇電信產品及電信企業的餘地越來越大，電信企業之間對客戶的爭奪也越來越激烈。面對日益激烈的市場競爭環境，電信企業的傳統的、被動式服務體系已無法滿足客戶需要，應對對手挑戰。同時，傳統的網絡、技術等優勢難以在電信企業之間拉開差距，無法形成差異化的競爭優勢。因此，為了在新的市場形勢下能夠培育和創造出新的差異化競爭優勢，電信企業應以客戶為中心，深入的了解客戶，引導客戶，留住客戶。
通過客戶離網前的行為特徵構建流失預測模型，預測即將流失的客戶，對即將流失的客戶做挽留；也可以通過對現有CRM系統中，業務人員的客戶拜訪行為對籤單成功率的影響構建預測模型，改善業務人員客戶拜訪水平；通過以往銷售人員的客戶拜訪費用構建預測模型，預測下階段費用預算；通過銷售漏鬥所處的階段與是否籤單的關係，預測市場部門的市場活動所需投入等。
CN02822042.0病人數據挖掘本發明為挖掘高質量結構化的臨床信息提供了一種數據挖掘框架。該數據挖掘框架包括數據挖掘器(350)，它根據知識庫(330)中包含的領域專用的知識從計算機化的病人記錄(CPR)(310)挖掘醫療信息。數據挖掘器(350)包括用於從CPR提取信息的部件，隨時間以有原則的方式組合所有可用證據的部件(354)，以及從這個組合過程做出推理的部件(356)。所挖掘的醫療信息被存儲在結構化的CPR(380)中，該CPR可以是一個數據倉庫。上述根據知識庫數據挖掘器不宜用於客戶離網前的行為特徵構建立的流失預測模型。
神經網絡BP網絡模型，是常用的預測模型，如圖BP網絡的工作原理是將訓練模式輸入至輸入層，並傳至後面的隱含層，通過連接權向後傳遞，直至得到網絡的輸出。網絡中每個神經元通過求輸入權值和與經非線性興奮函數傳遞結果來工作。
得到輸出層的輸出後，將其與相應訓練模式的目標值進行比較，按預先定義的網絡誤差函數求出誤差值。如誤差小於容許值，則訓練完成，否則將誤差按梯度下降法調整網絡連接權。
現有的直接使用BP算法直觀簡單，容易實現，但是在實際應用中存在以下問題1.收斂速度慢的問題，限制了該方法的進一步運用。
2.局部極小點的問題，導致訓練誤差無法下降，無法用於預測電信客戶(流失)。
發明內容
本發明的目的是針對上面的兩個缺點，提出一種收斂速度快且經訓練後誤差小的方法，用於預測電信客戶(流失)。
本發明的技術解決方案是利用改進後的方法建立模型，誤差傳播因子採用(期望輸出-實際輸出)×f(上次訓練批量誤差)，其中f(u)=11+exp(-u)]]>權值調整算法採用w(t)=S(t)S(t-1)-S(t)w(t-1),]]>式中，S(t)和S(t-1)是當前時刻和前一時刻 的值。對數據進行歸一化處理，歸一化的公式為x=0.8(x-xminxmax-xmin)+0.1,]]>上述模型訓練模型，訓練後誤差小，再使用模型，進行預測。
一種基於神經網絡改進算法的電信客戶預測方法，利用改進後的方法建立模型，即，結合神經網絡速率常數模型的對模型的建模，首先採用BP神經網絡方法建立客戶流失模型，接著採用誤差傳播因子(期望輸出-實際輸出)×f(上次訓練批量誤差)，其中f(u)=11+e-u]]>(λ為常量)；權值調整算法採用w(t)=S(t)S(t-1)-S(t)w(t-1),]]>式中，S(t)和S(t-1)是當前時刻和前一時刻誤差對權值的偏導，即 的值。對數據進行歸一化處理，歸一化的公式為x=0.8(x-xminxmax-xmin)+0.1]]>(x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以後的輸入參數)，用上述模型訓練模型；然後對上述模型添加修正係數，通過工業反應器的實際運行和分析數據，採用優化算法求得修正係數值，最終獲得模型。
本發明採用神經網絡建立模型，並選取神經元之間的連接權值作為模型的自變量。
採用歸一化後的客戶屬性值作為模型的輸入，歸一化公式為x=0.8(x-xminxmax-xmin)+0.1]]>(x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以後的輸入參數)。本發明採用二階的方法調整權值w(t)=S(t)S(t-1)-S(t)w(t-1)]]>添加修正係數。在權值調整中涉及到的誤差傳播因子採用(期望輸出-實際輸出)×f(上次訓練批量誤差)
本發明的效果是
說明實驗1為傳統BP算法實驗2為採用新的誤差傳播因子的實驗實驗3為採用新的誤差傳播因子，和新的權值調整算法的實驗論證按照BP算法梯度下降法的特點，BP算法中權值的修正量與誤差對權值的偏微分成正比，即w3[i][j]Ew3[i][j]]]>權值修正量越大，收斂速度越快，所以考察Ew3[i][j]=Ey[j]y[j]yo[j]yo[j]w3[i][j]]]>Ew3[i][j]=-f(yo[j])v[i]=y[j](1-y[j])v[i]]]>可見，權值修正量Δw3[i][j]和ε·y[j]·(1-y[j])·v[i]成正比。ε·y[j]·(1-y[j])還會以誤差傳遞因子的形式逐層反向傳播到輸入層。顯然，當ε·y[j]·(1-y[j])越大，則權值修正越大，則收斂速度越快。採用BP神經網絡模型中，輸入層的節點數皆為21，為客戶流失的相關屬性，如客戶類型，在網年限，停機次數，平均話費，...等。隱含層節點數為l(l＝2～20)，輸出層節點數皆為1。
分析1.一般來說，希望學習速率與系統的輸出誤差相關，在誤差較大的早期學習過程中，學習算法應採用比較大的學習速率以加快訓練的收斂，而在誤差較小的後期學習過程中，算法最好採用比較小的學習速率以避免網絡的不穩定。但是y[j]·(1-y[j])卻不隨誤差的變化而改變，故不能很好的滿足這一要求。
2.考察y[j]·(1-y[j]函數，y的取值是(0，1)，當y為0.5的時候，函數取得最大值0.25，也就是說當訓練樣本集中的輸出值接近0.5的時候，權值調整步長最大，收斂的速度相對比較快。但是實際上大部分樣本數據的結果都是靠近兩頭，即0和1，導致收斂速度較慢。
3.在ε·y[j]·(1-y[j])中，只是參考了當前誤差，沒有參考上次訓練的樣本批量誤差。可以考慮將上次批量樣本誤差也作為參數結論綜合上面的三點因素，於是選擇上次批量樣本誤差E作為自變量，用f(E)形式的函數來代替f′(yo[j]作為誤差傳遞因子，另外考察f(E)這個函數，可以知道E＞0且f(E)的值域為(0.5，1)，單調遞增，即當上次訓練誤差越大，則f(E)越大，間接地權值調整量越大。另外，這個函數沒有上面的第2點的問題，誤差傳播因子跟樣本結果是否趨0.5無關。
圖1是一般神經網絡結構示意2本發明所採用的神經網絡結構示意圖具體實施方式
圖2為輸入x數量N0，輸入層節點數N1，隱層節點數N2，輸出層節點數N3輸入為x[N0]，輸入層輸出為μ[N1]，隱層輸出為v[N2]，輸出層輸出為y[N3]，期望輸出為d[N3]。
各個節點的輸入為x0[N0]，uo[N1]，vo[N2]，yo[N3]層之間的權值為w1[N0][N1]，w2[N1][N2]，w3[N2][N3]具體實施方式
第一步利用改進後的方法建立模型，第二步數據準備，由於神經網絡模型的需要，對數據進行歸一化處理，歸一化的公式為x=0.8(x-xminxmax-xmin)+0.1]]>第三步訓練模型通過231次訓練，模型的訓練誤差為0.000934405已經能滿足誤差精度要求。
第四步使用模型，進行預測。第五步結果分析(見下表)
預測成功率＝(未流失預測成功數+流失預測成功數)/客戶總數＝(2109+179)/2823
＝81％流失客戶預測覆蓋率＝流失客戶數/總客戶數＝698/2823＝24.7％表
權利要求
1.基於神經網絡改進算法的電信客戶預測方法，其特徵是首先採用BP神經網絡方法建立客戶流失模型，接著採用誤差傳播因子(期望輸出-實際輸出)×f(上次訓練批量誤差)，其中f(u)=11+e-u]]>λ為常量，權值調整算法採用w(t)=S(t)S(t-1)-S(t)w(t-1)']]>式中，S(t)和S(t-1)是當前時刻和前一時刻誤差對權值的偏導，即 的值；對數據進行歸一化處理，歸一化的公式為x=0.8(x-xminxmax-xmin)+0.1]]>x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以後的輸入參數，用上述模型訓練模型；然後對上述模型添加修正係數，通過工業反應器的實際運行和分析數據，採用優化算法求得修正係數值，最終獲得模型。
2.由權利要求1所述的基於神經網絡改進算法的電信客戶預測方法，其特徵是採用神經網絡建立模型，並選取神經元之間的連接權值作為模型的自變量。
3.由權利要求1所述的基於神經網絡改進算法的電信客戶預測方法，其特徵是採用歸一化後的客戶屬性值作為模型的輸入，歸一化公式為x=0.8(x-xminxmax-xmin)+0.1]]>x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以後的輸入參數。
4.由權利要求1所述的基於神經網絡改進算法的電信客戶預測方法，其特徵是採用二階的方法調整權值w(t)=S(t)S(t-1)-S(t)w(t-1)]]>添加修正係數。
5.由權利要求1所述的基於神經網絡改進算法的電信客戶預測方法，其特徵是在權值調整中涉及到的誤差傳播因子採用(期望輸出-實際輸出)×f(上次訓練批量誤差)。
6.由權利要求1所述的方法，其特徵是採用BP神經網絡模型中，輸入層的節點數皆為21，為客戶流失的相關屬性，包括客戶類型，在網年限，停機次數，平均話費；隱含層節點數為l(l＝2～20)，輸出層節點數皆為1。
全文摘要
基於神經網絡改進算法的電信客戶預測方法，首先採用BP神經網絡方法建立客戶流失模型，接著採用誤差傳播因子對數據進行歸一化處理，歸一化的公式為
文檔編號H04L12/56GK1897573SQ200610085768
公開日2007年1月17日 申請日期2006年6月30日 優先權日2006年6月30日
發明者黃曉穎, 薛慶童, 餘志剛, 莊學陽, 李巖 申請人:南京聯創科技股份有限公司