無軸承永磁同步電機強化學習控制器及其構造方法與流程
2023-09-22 09:31:10
本發明涉及無軸承永磁同步電機，具體是一種無軸承永磁同步電機的控制器及構造方法，應用於工具機電主軸、渦輪分子泵、離心機、壓縮機、機電貯能、航空航天等特殊電氣傳動領域，屬於電力傳動控制設備的領域。
背景技術：
無軸承永磁同步電機的控制器設計往往需要精確的電機參數值來輔助設計,如無速度傳感器控制、矢量控制等。但是隨著溫度、負載和磁飽和程度的變化,電機的定子電感、繞組電阻和轉子永磁磁鏈幅值等參數值大小都會隨之而變化。當電機實際參數值相對於常溫下的設計參數值發生比較大變化時,會對所設計的控制器性能造成很大影響,甚至會讓其無法工作。
自適應控制器具有修正自己的特性以適應對象擾動的能力。在電機控制系統運行中，自適應控制器依靠不斷採集控制過程信息，確定被控對象的當前實際工作狀態，以優化性能為準則，產生自適應控制規律，從而實時地調整控制器結構或參數，使系統始終自動地工作在最優或次最優狀態下。然而要實施自適應控制，通常需要準確獲得被控對象的數學模型，而無軸承永磁同步電機徑向位置系統是一個多變量、非線性、強耦合的複雜系統，很難獲取其精確的數學模型。
中國專利公開號為CN102790577A的文獻中公開了一種無軸承永磁同步電機懸浮子系統控制器的構造方法，對無軸承永磁同步電機的懸浮子系統在不同徑向位置下徑向力進行非線性解耦控制設計了模糊神經網絡逆解耦控制器，模糊神經網絡需要事先讀取訓練數據，進行大量離線訓練，權值一旦固定無法在線調節，導致控制器無法克服無軸承永磁同步電機系統參數變化、負載突變等不確定因素對系統的影響，魯棒性差。中國專利公開號為CN103647481A的文獻中公開了一種無軸承永磁同步電機徑向位置神經網絡自適應逆控制器構造方法，對無軸承永磁同步電機轉子位於不同徑向位置設計了神經網絡自適應控制器，該神經網絡自適應控制器將水平位移和垂直位移分開控制，系統複雜，同時沒有對電機速度進行控制，但是其研究對象為無軸承永磁同步電機。
執行器–評價器算法(Actor-Critic，AC),也稱為自適應啟發式評價算法,是一種重要的強化學習算法，具有無模型在線學習能力。它包含兩個部件：執行器(Actor)和評價器(Critic)。執行器即策略結構，用於選擇動作；評價器即值函數，用於評估執行器選擇的動作。執行器–評價器算法中，動作的選擇與值函數的更新釆用了相同的策略。評價器必須了解和評價執行器當前採用的策略，評價採用瞬時差分誤差的方式，這個標量信號是評價器的唯一輸出並推動了執行器–評價器的所有學習。一般情況下,評價器是一個狀態值函數，評價器的實現機制，即值函數的更新可以採用時間差分學習(Temporal-Difference learning，TD)。評價器的作用在於：在每個動作選擇之後，評價器評估新狀態來決定事情是否比期望的好或者更糟，這個評估就是瞬時差分誤差。如果瞬時差分誤差是正值，表明未來選擇當前動作的傾向要被加強，但是如果瞬時差分誤差是負值，表明傾向要被減弱。
技術實現要素：
本發明的目的是為克服上述現有技術的不足，提供一種可使無軸承永磁同步電機具有優良的動、靜態控制性能的自適應強化學習控制器以及該控制器的構造方法，將人工智慧領域強化學習中的執行器-評價器算法與傳統矢量控制相結合，能夠在沒有電機精確模型的情況下在線更新控制器參數，維持無軸承永磁同步電機的穩定運行，抗電機參數變化及抗負載擾動能力強。
本發明無軸承永磁同步電機強化學習控制器採用的技術方案是：包括懸浮繞組電流控制模塊和轉矩繞組電流控制模塊，電機的實時徑向位移值x、y與轉子位移指令值x*、y*分別對應地比較得到位移誤差ex和ey，實際轉速n與轉速指令值n*比較得到轉速誤差en，其特徵是：懸浮繞組電流控制模塊和轉矩繞組電流控制模塊的輸入端分別連接執行器-評價器模塊，執行器-評價器模塊由執行器神經網絡、評價器神經網絡、強化信號模塊和瞬時差分模塊組成，評價器神經網絡和強化信號模塊的輸出端連接瞬時差分模塊的輸入端，瞬時差分模塊的輸出端分別連接執行器神經網絡和評價器神經網絡的輸入端；位移誤差ex、ey和轉速誤差en是評價器神經網絡、強化信號模塊和執行器神經網絡的共同輸入，執行器神經網絡的輸出是d-q坐標系下的懸浮繞組給定電流iBd*、iBq*與轉矩繞組給定電流iMd*、iMq*，懸浮繞組給定電流iBd*、iBq*是懸浮繞組電流控制模塊的輸入，轉矩繞組給定電流iMd*、iMq*是轉矩繞組電流控制模塊的輸入。
進一步地，評價器神經網絡根據輸入值生成評價器神經網絡輸出值函數V(t)，強化信號模塊根據輸入值生成強化信號r(t)，瞬時差分模塊根據強化信號r(t)和評價器神經網絡輸出值函數V(t)計算得到並輸出瞬時差分信號δTD(t)。
本發明無軸承永磁同步電機強化學習控制器的構造方法採用的技術方案是：包括以下步驟：
A.構造執行器神經網絡與評價器神經網絡，採用一個有三層的執行器-評價器複合RBF神經網絡，第一層為輸入層節點數為3個，每個輸入節點代表狀態向量x(t)＝[ex eyen]T的一個分量；第二層為隱含層節點數為8個，節點基函數採用高斯核函數；第三層為輸出層節點數為4個，由執行器神經網絡輸出值函數Im(t)和評價器神經網絡輸出值函數V(t)兩個部分組成；
B.構造強化信號模塊，強化信號模塊的輸出為強化信號r(t)＝αxrx(t)+αyry(t)+αnrn(t)，rx(t)、ry(t)和rn(t)分別為x軸向位移誤差強化信號、y軸向位移誤差強化信號和轉子轉速誤差強化信號，αx、αy和αn分別為x軸向位移誤差強化信號係數、y軸向位移誤差強化信號係數和轉子轉速誤差強化信號係數；
C.構造瞬時差分模塊，瞬時差分模塊的兩個輸入分別為強化信號r(t)、評價器神經網絡輸出值函數V(t)，兩個輸出都為瞬時差分信號δTD(t)＝r(t)+γV(t+1)-V(t)，TD表示瞬時差分，0≤γ≤1為折扣因子，V(t+1)和V(t)分別為更新前後的值函數；
D.由執行器-評價器模塊與懸浮繞組電流控制模塊、轉矩繞組電流控制模塊共同組成無軸承永磁同步電機強化學習控制器。
本發明的優點在於：
1、本發明中的評價器神經網絡輸出值與強化信號模塊輸出值經瞬時差分模塊處理產生瞬時差分信號，瞬時差分信號同時指導評價器神經網絡和執行器神經網絡的權值更新，執行器神經網絡最終作為控制器控制複合被控對象，解決了單一神經網絡控制器需要事先讀取訓練數據，進行大量離線訓練，權值一旦固定無法在線調節的不足，解決傳統自適應控制需要精確數學模型的難題，同時克服了系統參數變化、負載突變等不確定因素對系統性能的影響，具有更好的魯棒性，能夠維持無軸承永磁同步電機的高性能穩定運行。
2.本發明採用了執行器–評價器學習算法,也稱為自適應啟發式評價算法，是一種重要的強化學習算法。由評價器評價無軸承永磁同步電機系統的轉速與位移反饋信息，並指導執行器控制無軸承永磁同步電機的懸浮繞組與轉矩繞組電流，實現了對無軸承永磁同步電機系統的穩定跟蹤控制，能夠在沒有電機精確模型的情況下在線更新控制器參數，可以解決傳統自適應控制需要精確數學模型的難題，解決了單一神經網絡控制器需要事先讀取訓練數據，進行大量離線訓練，權值一旦固定無法在線調節的不足，同時克服了系統參數變化、負載突變等不確定因素對系統性能的影響，具有更好的魯棒性。
3.本發明採用了徑向基函數神經網絡(RBF network)。RBF神經網絡能夠逼近任意的非線性函數，可以處理系統內的難以解析的規律性，具有良好的泛化能力。同時RBF神經網絡作為一種局部逼近網絡相比BP神經網絡等全局逼近網絡具有更快的學習收斂速度。已成功應用於非線性函數逼近、時間序列分析、數據分類、模式識別、信息處理、圖像處理、系統建模、控制和故障診斷等。
附圖說明
圖1是本發明無軸承永磁同步電機強化學習控制器的結構框圖；
圖2是圖1中執行器–評價器控制原理示意圖；
圖3是圖2執行器–評價器複合RBF神經網絡結構圖；
圖4是圖2中強化信號模塊的構造原理圖；
圖5是圖2中瞬時差分模塊的構造原理圖；
圖6是圖2中執行器-評價器算法流程圖。
圖中：1.無軸承永磁同步電機強化學習控制器；2.執行器-評價器模塊；3.懸浮繞組電流控制模塊；4.轉矩繞組電流控制模塊；5.執行器神經網絡；6.強化信號模塊；7.瞬時差分模塊；8.評價器神經網絡；9.第一PI調節器；10.第二PI調節器；11.第一PARK變換器；12.第一IPARK變換器；13.第一CLARK變換器；14.第一SVPWM；15.第一電流傳感器；16.第一電壓源逆變器；17.第三PI調節器；18.第四PI調節器；19.第二PARK變換器；20.第二IPARK變換器；21.第二CLARK變換器；22.第二SVPWM；23.第二電流傳感器；24.第二電壓源逆變器；25.位移傳感器；26.光電編碼器；27.速度計算模塊；28.複合被控對象。
具體實施方式
參見圖1和圖2，本發明無軸承永磁同步電機強化學習控制器1由執行器-評價器模塊2、懸浮繞組電流控制模塊3和轉矩繞組電流控制模塊4組成。懸浮繞組電流控制模塊3和轉矩繞組電流控制模塊4的輸入端分別連接執行器-評價器模塊2。執行器-評價器模塊2由執行器神經網絡5、評價器神經網絡8、強化信號模塊6和瞬時差分模塊7組成。評價器神經網絡8和強化信號模塊6的輸出端連接瞬時差分模塊7的輸入端，瞬時差分模塊7的輸出端分別連接執行器神經網絡5和評價器神經網絡8的輸入端，執行器神經網絡5的輸出端分別連接懸浮繞組電流控制模塊3和轉矩繞組電流控制模塊4的輸入端。
懸浮繞組電流控制模塊3由第一PI調節器9、第二PI調節器10、第一PARK變換器11、第一IPARK變換器12、第一CLARK變換器13、第一SVPWM(空間矢量脈寬調製模塊)14、第一電流傳感器15和第一電壓源逆變器16組成。
轉矩繞組電流控制模塊4由第三PI調節器17、第四PI調節器18、第二PARK變換器19、第二IPARK變換器20、第二CLARK變換器21、第二SVPWM22、第二電流傳感器23和第二電壓源逆變器24組成。
無軸承永磁同步電機採用兩個電渦流位移傳感器25分別檢測轉子的x軸與y軸的實時徑向位移值x、y。採用光電編碼器26檢測無軸承永磁同步電機轉子的實際角位置θ，光電編碼器26的輸出端連接速度計算模塊27的輸入端，實際角位置θ經速度計算模塊27得到實際轉速n。
將無軸承永磁同步電機和懸浮繞組電流控制模塊3、轉矩繞組電流控制模塊4、位移傳感器25、光電編碼器26、速度計算模塊27一起構成複合被控對象28。複合被控對象28的輸入是執行器神經網絡5的輸出，為d-q坐標系下的懸浮繞組給定電流iBd*、iBq*與d-q坐標系下的轉矩繞組給定電流iMd*、iMq*，懸浮繞組給定電流iBd*、iBq*是懸浮繞組電流控制模塊3的輸入，轉矩繞組給定電流iMd*、iMq*是轉矩繞組電流控制模塊4的輸入。輸出為無軸承永磁同步電機的實時徑向位移值x、y與實際轉速n。
將實時徑向位移值x、y分別與轉子位移指令值x*、y*分別對應地進行比較得到對應的位移誤差ex和ey，將實際轉速n與轉速指令值n*進行比較，得到轉速誤差en。位移誤差ex、ey和轉速誤差en作為評價器神經網絡8、強化信號模塊6和執行器神經網絡5的共同輸入，評價器神經網絡8根據輸入值生成評價器神經網絡輸出值函數V(t)。強化信號模塊6根據輸入值生成強化信號r(t)，強化信號r(t)的計算由以下公式得到：
r(t)＝αxrx(t)+αyry(t)+αnrn(t)
其中t為當前時刻，rx(t)為x軸向位移誤差強化信號，ry(t)為y軸向位移誤差強化信號，rn(t)為轉子轉速誤差強化信號。αx、αy和αn分別為x軸向位移誤差強化信號係數、y軸向位移誤差強化信號係數和轉子轉速誤差強化信號係數，本發明αx、αy和αn這三個係數值都取0.3，係數的大小會影響控制器對位移反饋信號和轉速反饋信號的敏感度。x軸向位移誤差強化信號rx(t)，y軸向位移誤差強化信號ry(t)和轉子轉速誤差強化信號rn(t)的計算由以下公式得到：
其中εx為x軸向位移誤差信號的容許誤差帶，εy為y軸向位移誤差信號的容許誤差帶，εn為轉子轉速誤差信號的容許誤差帶。容許誤差帶的選取與反饋量本身的大小有關，這裡三個誤差帶εx、εy、εn統一設為反饋量大小的1％。
強化信號模塊6生成的強化信號r(t)輸入瞬時差分模塊7，評價器神經網絡8生成的評價器神經網絡輸出值函數V(t)也輸入瞬時差分模塊7。瞬時差分模塊7根據強化信號r(t)和評價器神經網絡輸出值函數V(t)，由公式：
δTD(t)＝r(t)+γV(t+1)-V(t)
計算得到並輸出瞬時差分信號δTD(t)，TD表示瞬時差分，γ表示折扣因子，0<γ<1。評價器神經網絡8根據公式：
vj(t+1)＝vj(t)+αCδTD(t)Φj(t)
更新神經網絡權值並輸出新的評價器神經網絡輸出值函數V(t)，其中αC為評價器神經網絡的學習率，vj(t)為第j個隱含層節點到評價器輸出節點的權值，vj(t+1)為更新後的第j個隱含層節點到評價器輸出節點的權值，Φj(t)為第j個隱含層節點的輸出。
瞬時差分模塊7輸出的瞬時差分信號δTD(t)輸入執行器神經網絡5中，執行器神經網絡5根據公式：
wjk(t+1)＝wjk(t)+αAδTD(t)Φj(t)
更新神經網絡權值，並最終輸出d-q坐標系下的懸浮繞組給定電流iBd*、iBq*與d-q坐標系下的轉矩繞組給定電流iMd*、iMq*。其中αA為執行器神經網絡的學習率，wjk(t)為第j個隱含層節點到執行器的第k個輸出節點的權值，wjk(t+1)為更新後的第j個隱含層節點到執行器的第k個輸出節點的權值。
無軸承永磁同步電機強化學習控制器1的具體構造方法分以下7步：
1.構造懸浮繞組電流控制模塊3
採用第一電流傳感器15檢測無軸承永磁同步電機的懸浮繞組電流iBa、iBb、iBc，電流傳感器15的輸出端連接第一CLARK變換器13的輸入端，懸浮繞組電流iBa、iBb、iBc經第一CLARK變換器13處理後生成α-β坐標系下的懸浮繞組電流iBα、iBβ。第一CLARK變換器13的輸出端連接第一PARK變換器11的輸入端，第一PARK變換器11再依據光電編碼器26輸出的電機轉子角度θ處理α-β坐標系下的懸浮繞組電流iBα、iBβ，生成d-q坐標系下的懸浮繞組電流iBd、iBq。
將懸浮繞組電流iBd、iBq作為反饋電流，與d-q坐標系下的懸浮繞組給定電流iBd*、iBq*比較，比較誤差分別輸出到一一對應的第一PI調節器9和第二PI調節器10，比較誤差經第一PI調節器9和第二PI調節器10處理後生成d-q坐標系下的懸浮繞組電壓VBd*和VBq*。PI調節器9和PI調節器10輸出端與IPARK變換器12輸入端連接，第一IPARK變換器12再依據光電編碼器26輸出的電機轉子角度θ處理d-q坐標系下的懸浮繞組電壓VBd*和VBq*，生成α-β坐標系下的懸浮繞組電壓VBα*和VBβ*。第一IPARK變換器12的輸出端與第一SVPWM14的輸入端相連，α-β坐標系下的懸浮繞組電壓VBα*和VBβ*經第一SVPWM14處理後生成第一電壓源逆變器16的開關信號SB(B＝1,2,3,4,5,6)。第一SVPWM14的輸出端與第一電壓源逆變器16的輸入端相連，電壓源逆變器母線電壓VDC輸入電壓第一電壓源逆變器16，第一電壓源逆變器16根據開關信號控制無軸承永磁同步電機的懸浮繞組。
2.構造轉矩繞組電流控制模塊4
採用第二電流傳感器23檢測無軸承永磁同步電機的轉矩繞組電流iMa、iMb、iMc，第二電流傳感器23的輸出端連接第二CLARK變換器21的輸入端，轉矩繞組電流iMa、iMb、iMc經第二CLARK變換器21處理後生成α-β坐標系下的轉矩繞組電流iMα、iMβ。第二CLARK變換器21的輸出端連接第二PARK變換器19的輸入端，第二PARK變換器19再依據光電編碼器26輸出的電機轉子角度θ處理α-β坐標系下的轉矩繞組電流iMα、iMβ生成d-q坐標系下的轉矩繞組電流iMd、iMq。轉矩繞組電流iMd、iMq作為反饋電流與d-q坐標系下的轉矩繞組給定電流iMd*、iMq*比較，比較誤差分別輸出到一一對應的第三PI調節器17和第四PI調節器18，比較誤差經第三PI調節器17和第四PI調節器18處理後生成d-q坐標系下的轉矩繞組電壓VMd*和VMq*。第三PI調節器17和第四PI調節器18輸出端與第二IPARK變換器20輸入端連接，第二IPARK變換器20依據光電編碼器26輸出的電機轉子角度θ處理d-q坐標系下的轉矩繞組電壓VMd*和VMq*生成α-β坐標系下的轉矩繞組電壓VMα*和VMβ*。第二IPARK變換器20的輸出端與第二SVPWM22的輸入端相連，α-β坐標系下的轉矩繞組電壓VMα*和VMβ*經第二SVPWM22處理後生成電壓源逆變器的開關信號ST(T＝1,2,3,4,5,6)。第二SVPWM22的輸出端與第二電壓源逆變器24的輸入端相連，電壓源逆變器母線電壓VDC輸入第二電壓源逆變器24，第二電壓源逆變器24根據開關信號控制無軸承永磁同步電機的轉矩繞組。
3.構造執行器神經網絡5與評價器神經網絡8
本發明採用一個執行器-評價器複合RBF神經網絡同時實現執行器和評價器的學習，如圖3所示，執行器與評價器共享執行器-評價器複合RBF神經網絡的輸入層和隱含層資源。執行器-評價器複合RBF神經網絡共有三層，第一層為輸入層節點數為3個，第二層為隱含層節點數為8個，第三層為輸出層節點數為4個。第一層為輸入層，每個輸入節點代表狀態向量x(t)＝[ex ey en]T的一個分量，其中T表示矩陣的轉置。第二層為隱含層，隱含層的節點基函數採用高斯核函數。第j個隱含層節點的輸出為：
其中：μj＝[μ1j μ2j μ3j]T為第j個節點的基函數中心向量，μ1j，μ2j，μ3j分別對應狀態變量ex，ey，en的基函數中心向量，T表示矩陣的轉置，σj為第j個節點的方差。第三層為輸出層由執行器輸出和評價器輸出兩個部分組成。執行器神經網絡輸出值函數Im(t)和評價器神經網絡輸出值函數V(t)由下面式子計算：
其中wjk(t)為第j個隱含層節點到執行器的第k個輸出節點的權值。I1(t)、I2(t)、I3(t)、I4(t)分別對應iBd*、iBq*、iMd*、iMq*。
其中vj(t)為第j個隱含層節點到評價器輸出節點的權值。
4.構造強化信號模塊6
如圖4所示強化信號模塊有三個輸入端，一個輸出端。三個輸入為位移誤差ex、ey和轉速誤差en，輸出為強化信號r(t)。強化信號的計算由以下公式得到：
r(t)＝αxrx(t)+αyry(t)+αnrn(t)，
其中rx(t)、ry(t)和rn(t)分別為x軸向位移誤差強化信號，y軸向位移誤差強化信號和轉子轉速誤差強化信號。αx、αy和αn分別為x軸向位移誤差強化信號係數，y軸向位移誤差強化信號係數和轉子轉速誤差強化信號係數。在這裡三個係數值都取0.3，係數的大小會影響控制器對位移反饋信號和轉速反饋信號的敏感度。
x軸向位移誤差強化信號rx(t)，y軸向位移誤差強化信號ry(t)和轉子轉速誤差強化信號rn(t)的計算由以下公式得到：
其中εx、εy和εz分別為x軸向位移誤差信號的容許誤差帶，y軸向位移誤差信號的容許誤差帶和轉子轉速誤差信號的容許誤差帶。容許誤差帶的選取與反饋量本身的大小有關，這裡三個容許誤差帶統一設為反饋量大小的1％。
5.構造瞬時差分模塊7
如圖5所示，瞬時差分模塊7有兩個輸入端兩個輸出端。兩個輸入分別為強化信號r(t)，評價器神經網絡輸出值函數V(t)，兩個輸出相同都為瞬時差分信號δTD(t)，TD表示瞬時差分。一個輸出到執行器神經網絡5，一個輸出到評價器神經網絡8。瞬時差分信號δTD(t)的計算由以下公式得到：
δTD(t)＝r(t)+γV(t+1)-V(t)，
其中0≤γ≤1為折扣因子，其大小表明了未來的回報相對於當前回報的重要程度。特別的，γ＝0時，相當於只考慮立即不考慮長期回報，γ＝1時，將長期回報和立即回報看得同等重要。V(t+1)和V(t)分別為更新前後的值函數。
6.確定執行器-評價器複合RBF神經網絡參數更新方式
在執行器-評價器複合RBF神經網絡中需要更新的參數有wjk，vj，μj和σj。其計算方法由如下公式得到：
wjk(t+1)＝wjk(t)+αAδTD(t)Φj(t)
vj(t+1)＝vj(t)+αCδTD(t)Φj(t)
其中αA和αC分別為執行器和評價器的學習率，αμ和ασ分別為中心和方差的學習率，取值範圍均為0到1。
7.確定執行器-評價器算法流程
本發明中的強化學習執行器評價器算法流程如圖6所示。具體步驟如下：
步驟1：初始化執行器評價器模塊2中各個參數，包括wjk、vj、μj、σj、αx、αy、αn、εx、εy、εz、γ、αA、αC、αμ、ασ。
步驟2：由系統輸出得到反饋值x、y、n。
步驟3：將反饋值x、y、n與給定值x*、y*、n*比較得到誤差ex、ey、en。並構造狀態向量x(t)＝[e x ey en]T。
步驟4：計算執行器-評價器複合RBF神經網絡的輸出Im(t)、V(t)。
步驟5：計算強化信號r(t)。
步驟6：計算下一採樣時間的系統輸出。
步驟7：計算t+1時刻執行器-評價器複合RBF神經網絡輸出Im(t+1)、V(t+1)。
步驟8：計算強化信號r(t+1)。
步驟9：計算瞬時差分信號δTD(t)。
步驟10：更新執行器-評價器複合RBF神經網絡的參數包括wjk、vj、μj、σj。
步驟11：判斷系統是否穩定即誤差信號是否處於容許誤差帶。若系統穩定則結束流程，否則跳轉到步驟6。
最終由上述執行器-評價器模塊2與懸浮繞組電流控制模塊3、轉矩繞組電流控制模塊4共同組成完整的無軸承永磁同步電機強化學習控制器1，如圖1所示。