水環境監測質控數據分析方法
2023-04-23 21:10:36
專利名稱：水環境監測質控數據分析方法
技術領域：
本發明屬於數據分析領域，具體涉及一種水環境監測質控分析方法。
背景技術：
在流域水環境有機汙染物監測過程中，數據的獲得包括布點、採樣、現場測試、樣品運輸、樣品交接、樣品製備、實驗室分析測試、數據處理、數據審核、綜合分析和評價等多個技術環節。由於受分析方法的局限性、監測分析人員的技術水平及各種幹擾因素的影響，監測數據失真、異常的現象時有發生。為了使監測數據能夠準確地反映流域水環境質量的現狀，必須對整個環境監測過程實行質量控制，同時對質控監測數據進行全面、嚴格、規範的審核，以便及時發現環境監測過程中存在的問題和不足，並及時予以糾正和解決，確保監測質控數據的完整性、代表性、可比性、精密性和準確性。從而為各地環保管理部門進行排汙申報核定、排汙許可證發放、總量控制、環境統計、排汙費徵收和現場環境執法等環境監督管理的依據，為環境管理提供優質、高效的服務。因此，監測過程質量控制及監測質控數據審核是質量管理工作的主要內容，是獲得正確分析數據的一個極為重要環節，是當前流域水環境監測工作需要解決的技術關鍵和科學管理實驗室的有效方法，也是水質監測走向法制化和科學化的必然要求。二十多年來，國家環境監測系統先後出臺了環境水質監測質量保證手冊、水質監測採樣監測分析方法、環境監測技術規範、水質監測實驗室質量控制指標等，各級監測站通過計量認證或實驗室認可，初步建立了質量管理體系，通過質量體系的運作來實現質量管理。隨著有機汙染物監測的大量開展，監測技術的質量控制及其相關的監測質控數據審核已跟不上發展需要，流域水環境有機汙染監測質量保證與質量控制系統性不強、質量控制手段單一等問題日益凸顯，使得每年大量監測質控數據無可比性，無法說清環境質量、變化規律、變化趨勢及變化原因。監測質控數據的處理與審核是環境監測過程全面質量管理的關鍵技術之一，然而隨著人們環境保護意識的增強，現代環境監測從無機汙染物向有機汙染物監測發展、從化學分析向儀器分析發展、從手動採樣一實驗室分析向自動在線監測系統發展、以及從單一的監測分析技術向多種監測分析技術聯用發展，都使得監測質控數據的積累急劇地膨脹，由此產生了巨量的、複雜的監測質控數據；此外，這些監測質控數據與水質之間呈現的也並非是簡單的線性關係，而是非線性多變量的。對這些技術進步所帶來的巨量的、複雜的監測質控數據若仍採用傳統的人工處理與審核方法已難以滿足科學管理的要求。因此需要針對上述的方法進行改進，設計一種能滿足科學管理需求的水環境監測質控數據分析方法。
發明內容
為了解決上述的技術問題，本發明提供了一種能夠更加準確的反映水環境監測質控數據的分析方法。
本發明的水環境監測質控分析方法是通過下述的技術方案來解決以上的技術問題的一種水環境監測質控數據分析方法，其特徵在於，該方法包括下述的步驟a.獲取待審核水環境質控數據，採用常規的方法對數據進行處理，常規方法是指數據邏輯判斷法、Dixon檢驗法，去除明顯不合理的異常數據，應用非監督學習算法辨識隱含的離群數據；b.採用監督學習算法建立水環境質控數據分析模型，並鑑別監測數據的可靠性；c.將質控數據輸出與分析方法、儀器類型相同歷史數據中的質控數據進行比較，得到偏差；d.確定數據的審核通過與否，具體確定的步驟為偏差不大，則數據合理，通過審 核，並將其加入歷史數據集，反之偏差過大，將該數據列為可疑數據，應用支持向量機回歸方法從水質監測質控數據時間序列中分離異常數據。上述的非監督學習算法為聚類算法。上述的監督學習算法為k均值聚類的算法、粒子群優化法、人工神經網絡算法、支持向量機中的至少一種。k均值聚類的算法(a)隨機地選擇k個對象，每個對象初始地代表了一個類的平均值或中心(b)對剩餘的每個對象，根據其與各個類中心的距離，將它賦給最近的類。對於重新聚成的k的類，判斷準則函數是否收斂若收斂，則算法終止；否則，轉(C);(C)重新計算每個類的中心，轉(b)。粒子群優化算法為對於第j個粒子，其位置表示為Xj = [Xj1, Xj2,. . .，Xjd],飛行速度表示為Vj = [Vj1,Vj2,..., Vjd]，所經歷的最好位置為Pbestj,群體所有粒子經歷的最好位置為gbest，粒子通過不斷學習更新，最終飛至解空間中最優解所在的位置，整個搜索過程即結束，最後輸出的gbest就是全局最優解，粒子在迭代過程中用來更新自己的速度和位置的進化公式為vf+l =wKvf +d「x) + c2rH-xf、(I)x^+1 +vf+l(2)式中K為當前迭代次數，C1和C2為學習因子，它們分別代表個體經驗和群體經驗對粒子進化的指導力度和為0-1之間按正態分布的隨機數，用來增加粒子的多樣性，w為慣性權重，是一個0-1之間的常數，它使粒子具有保持原來運動狀態的慣性，這樣粒子就具有擴展搜索空間的趨勢，採用慣性權重線性遞減策略，在標準粒子群優化的基礎上，慣性權重隨迭代過程按下式線性遞減Wx = Wmax — (Wmax — Wmm) ――(3)
max式中Kmax為最大迭代次數，Wmax為最大慣性權重，Wmin為最小慣性權重。與固定權重相比，線性遞減策略前期較大的慣性會讓粒子擁有較強的全局搜索能力，可有效地避免算法過早陷入局部最優，而當算法進行到後期，較小的慣性權重又能保證粒子的局部搜索能力，提升算法的精度。
粒子群優化在每次迭代過程中，計算各粒子的適應度，即目標函數，以計算結果評估當前的Pbesu和gbest，粒子群優化的整個尋優過程為a)隨機初始化每個粒子的位置和速度；b)計算粒子的適應度，如果得到更優的Pbesw和gbest，則更新並保存當前的最優值；c)依照式(I)、(2)更新每個粒子的速度和位置，並按照式(3)更新當前的慣性權重，同時進行過速檢測與修正等約束性操作；d)如果未能達到預先設定的最大迭代次數，則返回b);否則停止運算，並輸出結果;人工神經網絡算法 BP前向神經網絡的拓撲結構該方法的三層前饋網包括了輸入層、隱含層和輸出層，三層網絡中，輸入向量為X = (Xl，x2，...，Xi，…，xn)T，X0 = -1是為隱含層神經元引入閾值而設置的；隱含層輸出向星Y = (yi, y2, , Yj , ym)T，y。= _1是為輸出層神經兀引入閾值而設直的；輸出層輸出向星為 0 = (O1, O2,. . . , ok,. . . , O1)T ;期望輸出向星為 d = ((I1, d2,. . . , dk,. . . , (I1)T。輸入層到隱含層之間的權值矩陣用V表示，V=其中列向量Vj為隱含層第j個神經元對應的權向量；隱含層到輸出層之間的權值矩陣用W表示，W =(W1, W2,. . . , Wk,. . . , W1),其中列向量Wk為輸出層第k個神經元對應的權向量。下面分析各層信號之間的數學關係。對於輸出層，有ok = f (netk)k = I, 2,, I (4)
mnet, = Yj Vi k = 1,2, -,1 (5)
.1=o對於隱含層，有Yj = f (netj) j = 1，2，...，m (6)
n "("/ = [ 1V j = l，2，.「，m (7)
——/-0 —式(6)，(7)中，轉移函數f(x)均為單極性Sigmoid函數(雙曲線正切函數)/(x) = —(8)
I +eBP學習算法實現此算法的具體過程如下a)初始化輸出層、隱含層權矩陣，閾值；b)從樣本集中取一個樣本(Xp, Dp) (p為樣本編號)，將Xp輸入網絡；c)根據式(4)、(5)計算相應的實際輸出Op ；d)計算實際輸出Op與相應的理想輸出Dp的誤差；對於每個樣本對，網絡的輸出誤差為Ep=^d(Opk-Clpk)2,9
L 二 I網絡的平均誤差為
E =(opk - ypk f( 10)
^P\ p=l k=l式中P1—總樣本對個數，I一輸出層樣本的個數。e)按極小化誤差的方式調整權矩陣根據Delta規則Wij (t+1) = Wij (t) + A Wij (t) (11)AWiJ(t) = n 6 j0i (t)(12)式中為n—網絡學習速率，S廠局部梯度對輸出層有 S pk = (dpk-opk) Opk(1-Opk) (13)對隱含層有SpJ = yPj(l-ym)Hw,k5pk(14)
^ k=-1計算了每個樣本對的A pWiJ後，權值的變化=-ZapkI/'(15)
P P重複步驟b)_e)，直到E滿足精度要求為止，此時各層權矩陣就是訓練後的網絡權矩陣；支持向量機算法為①兩類模式分類問題設模式樣本中的輸入向量X e Rn可分為兩類，如果X屬於第一類，則標記為1，屬於第二類，則標記為-1，即由ye {1，-1}構成輸出向量ye R1，取數量為I的樣本作為訓練集(Xi^i), i = 1，…1，解兩類模式分類問題就是要構造一個判別函數，將兩類模式儘可能正確地區分開來。當兩類模式線性可分時，超平面wTx+b = 0可將兩類區分開，而當兩類模式線性不可分時，上述超平面無法將兩類分隔開，但可用某一非線性函數0 (X)，通過非線性變換O :X — (X)，將模式樣本變換到高維特徵空間，並在高維特徵空間中構造分類超平面，該超平面在原空間中可表不為wT 4) (X) +b = 0,考慮到y G {I, -1}，因此應滿足約束條件Yi (Wi 小(Xi) +b)彡 1，i = 1，...，I (16)滿足約束條件的超平面有多個，需在結構風險最小化準則下，構造一最優超平面，使模式樣本的兩類之間的分類間隔(從超平面到最近數據點的距離)最大，這些最近的數據點稱為支持向量，一組支持向量可以唯一地確定一個超平面；由於支持向量與超平面之間的距離為I/ Il w Il，則分類間隔等於2/ Il w|| ,因此構造最優超平面的問題就轉化為一個二次規劃問題min|^ wrw|(17)s. t. Yi (Wi 小(Xi) +b)彡 1，i = 1，…，I (18)考慮到可能存在一些樣本不能被超平面正確分類，增加一個鬆弛項I i >0，i =1，…，1，則約束條件變為(xD+b)彡 1+€ i, i = 1，…，I (19)二次規劃問題轉換為
權利要求
1.一種水環境監測質控數據分析方法，其特徵在於，該方法包括下述的步驟 a.獲取待審核水環境質控數據，採用常規的方法對數據進行處理，所述的常規方法是數據邏輯判斷法、Dixon檢驗法，去除明顯不合理的異常數據，應用非監督學習算法辨識隱含的離群數據； b.採用監督學習算法建立水環境質控數據分析模型，並鑑別監測數據的可靠性； c.將質控數據輸出與分析方法、儀器類型相同歷史數據中的質控數據進行比較，得到偏差; d.確定數據的審核通過與否，具體確定的步驟為偏差不大，則數據合理，通過審核，並將其加入歷史數據集，反之偏差過大，將該數據列為可疑數據，應用支持向量機回歸方法從水質監測質控數據時間序列中分離異常數據。
2.如權利要求1所述的一種水環境監測質控數據分析方法，其特徵在於，所述的非監督學習算法為聚類算法。
3.如權利要求1所述的一種水環境監測質控數據分析方法，其特徵在於，所述的監督學習算法為k均值聚類的算法、粒子群優化法、人工神經網絡算法、支持向量機中的至少一種。
4.如權利要求3所述的一種水環境監測質控數據分析方法，其特徵在於，所述的k均值聚類的算法的具體步驟是 Ca)隨機地選擇k個實驗數據，每個實驗數據初始地代表一個類的平均值或中 心； (b)對剩餘的每個實驗數據，根據其與各個類中心的距離，將它賦給最近的 類，對於重新聚成的k的類，判斷準則函數是否收斂若收斂，則算法終 止；否則，轉(c); (C)重新計算每個類的中心,轉(b)。
5.如權利要求3所述的一種水環境監測質控數據分析方法，其特徵在於，所 述的粒子群優化算法的具體步驟為 對於第j個粒子，其位置表示為Xj = [Xj1, Xj2, . . .，Xjd],飛行速度表示為Vj =[Vjl, Vj,, ... V，jd，所經歷的最好位置為Pbestj，群體所有粒子經歷的最好位置為gbest，粒子通過不斷學習更新，最終飛至解空間中最優解所在的位置，整個搜索過程即結束，最後輸出的gbest就是全局最優解，粒子在迭代過程中用來更新自己的速度和位置的進化公式為 式中K為當前迭代次數，C1和C2為學習因子，它們分別代表個體經驗和群體經驗對粒子進化的指導力度；1^和1^_為0-1之間按正態分布的隨機數，用來增加粒子的多樣性，w為慣性權重，是一個0-1之間的常數，慣性權重隨迭代過程按下式線性遞減
6.如權利要求3所述的一種水環境監測質控數據分析方法，其特徵在於，所述的人工神經網絡算法的具體步驟為BP前向神經網絡的拓撲結構該方法的三層前饋網包括了輸入層、隱含層和輸出層，三層網絡中，輸入向量為X = (X1, X2,, Xi,…，χη)τ,χ0 = -1是為隱含層神經元引入閾值而設置的；隱含層輸出向量Y = (υι, Υ2) · · ·) Yj · · ·, ym)T，y。= _1是為輸出層神經兀引入閾值而設直的；輸出層輸出向星為 0= (O1, O2, · · ·，ok，· · ·，O1)τ ;期望輸出向星為 d = ((I1, d2, · · ·，dk, · · ·，(I1)τ。輸入層到隱含層之間的權值矩陣用V表示，V = (V1, N2,...,Np..., Vm)，其中列向量Vj為隱含層第j個神經元對應的權向量；隱含層到輸出層之間的權值矩陣用W表示，W= (W1, W2,. . . , Wk,. . . , W1),其中列向量Wk為輸出層第k個神經元對應的權向量。下面分析各層信號之間的數學關係。對於輸出層，有
7.如權利要求3所述的一種水環境監測質控數據分析方法，其特徵在於，所述的支持向量機算法為 ①兩類模式分類問題 設模式樣本中的輸入向量X G Rn可分為兩類,如果X屬於第一類,則標記為I,屬於第二類，則標記為-1，即由ye {1，-1}構成輸出向量ye R1，取數量為I的樣本作為訓練集(Xi, Yi), i = I, ...1 ； 當兩類模式線性可分時，超平面《Tx+b = 0可將兩類區分開，而當兩類模式線性不可分時，上述超平面無法將兩類分隔開，但可用某一非線性函數0 (X)，通過非線性變換O :X — (X)，將模式樣本變換到高維特徵空間，並在高維特徵空間中構造分類超平面，該超平面在原空間中可表示為wT (X)+b = 0, y G {1，_1}，因此應滿足約束條件Yi (Wi (Xi)+b)≥ 1，i = 1，…，I (16) 由於支持向量與超平面之間的距離為1/1 |w| I |，則分類間隔等於2/Il w Il min|^-wrw|(17) s. t. Yi (Wi 4) (Xi)+b)≥1，i = 1，…，I (18)增加一個鬆弛項 € i≥ 0, i = 1，…，I,則約束條件變為
全文摘要
本發明屬於數據分析領域，具體涉及一種水環境監測質控分析方法。一種水環境監測質控數據分析方法，其特徵在於，該方法包括下述的步驟a.獲取待審核水環境質控數據；b.建立支持向量機水環境質控數據預測模型；c.將質控數據輸出與分析方法、儀器類型相同歷史數據中的質控數據進行比較，得到偏差；d.確定數據的審核通過與否，具體確定的步驟為偏差不大，則數據合理，通過審核，並將其加入歷史數據集，反之偏差過大，將該數據列為可疑數據。採用了本發明的分析研究方法對水環境監測質控數據進行分析，解決了急劇膨脹的各種呈非線性多變量的監測質控數據的處理與審核及分析問題，滿足了科學管理的要求。
文檔編號G06K9/62GK103020642SQ201210500108
公開日2013年4月3日 申請日期2012年11月29日 優先權日2012年10月8日
發明者趙永剛, 汪曉東, 穆肅, 胡冠九, 張蓓蓓, 章勇 申請人:江蘇省環境監測中心