一種基於近端策略優化的RIS控制方法、系統、設備及介質與流程
2024-04-14 12:59:05 2
一種基於近端策略優化的ris控制方法、系統、設備及介質
技術領域
1.本發明屬於通信技術領域，具體涉及一種基於近端策略優化的ris控制方法、系統、設備及介質。
背景技術：
2.ris(reconfigurable intelligent surface，可重構智能超表面)作為一種無源天線設備，已成為6g技術中最為重要的一種基礎設備，在應用過程中，可以通過在平面上集成大量低成本的無源反射元件，智能地重新配置無線傳播環境，從而顯著提高無線通信網絡的性能。具體而言，可通過控制並調整ris入射信號的幅度和相位，控制ris出射信號，以實現定向信號增強的作用，並形成精細的三維無源波束，使ris可應用於成像、探測、信號覆蓋等多種任務上。
3.由於ris具有陣列單元數多、每個單元控制變化數少的特徵，按照反射電磁波相位狀態數量，ris的狀態數量可以分為1bit和多比特，以狀態數量為1bit的陣列單元矩陣為50*50的ris板為例，其需要50*50大小的矩陣來儲存其控制碼本(碼本也可稱之為陣元狀態信息)，其中碼本的每位數字取0或1，碼本大小影響ris目標區域的信號強度。因此如何設置碼本大小，獲取最優碼本，並基於該最優碼本對ris進行部署，以使目標區域信號最強，是ris應用過程中最為關鍵的流程。
4.為獲取ris最優碼本，需要對ris碼本進行優化處理。現有技術中，通常採用相位補償算法、遍歷算法等對ris碼本進行優化求解。但是，在使用現有技術過程中，發明人發現現有技術中至少存在如下問題：
5.以遍歷算法為例，該算法要求必須獲得目標空間的信號強度，通過遍歷和迭代的方法求得最優碼本，由於遍歷需要對每一列和每一行陣列單元的碼本進行迭代優化，因此當ris的陣列單元數少的時候，算法非常有效且能夠保證結果的有效性，但隨著ris陣列單元數增加、碼本空間維度高時，該算法所需時間成倍增加，同時，由於算法本身的貪心性質，容易陷入局部最優，造成不優化，甚至負優化的問題。
6.而相位補償算法，雖然一定程度上可以得到近似最優的策略，但是由於需要獲得ris目標角度信息，而ris目標角度信息在實踐中很難測量並獲取，導致實踐中無法使用相位補償算法對ris碼本進行優化處理，同時該方法也存在求解時間過長的問題。
7.此外，由於信號本身受環境因素影響嚴重，ris部署的環境特徵不同，也會導致存在求解的泛化性差等問題。
技術實現要素：
8.本發明旨在至少在一定程度上解決上述技術問題，本發明提供了一種基於近端策略優化的ris控制方法、系統、設備及介質。
9.為了實現上述目的，本發明採用以下技術方案：
10.第一方面，提供了一種基於近端策略優化的ris控制方法，包括：
11.構建用於生成ris碼本的決策模型和用於對ris所在環境進行測試的評估模型，並對所述決策模型和所述評估模型進行訓練，得到訓練後決策模型和訓練後評估模型；
12.獲取指定ris在指定環境下與基站和目標區域內用戶終端之間的實地交互信息；
13.根據當前實地交互信息，基於近端策略優化算法對所述訓練後決策模型和所述訓練後評估模型進行更新，得到更新後決策模型和更新後評估模型；
14.將所述實地交互信息輸入所述更新後決策模型，得到所述ris在指定環境下的更新後碼本；
15.基於所述更新後碼本控制所述ris進行部署，再根據所述更新後評估模型對當前指定環境進行測試，並在測試通過後完成ris碼本的部署。
16.本發明可以適用於大規模、多陣列單元的ris碼本優化問題，求解時間短，同時泛化性強。具體地，本發明在實施過程中，決策模型和評估模型均為神經網絡模型，通過構建決策模型和評估模型，更多的時間會消耗在訓練階段，而在具體實踐的環境中，只需要等待推理時間就可以得到最優策略，即最優碼本，因此推理時間和ris本身的陣列單元數無關，只與決策模型和評估模型的大小有關，極大地降低了決策的響應時間。同時，本發明可以利用神經網絡模型具有可再訓練的特性，利用預訓練模型進行知識遷移，很容易地適應新的環境和不同規模的ris，以提升算法本身的泛化性。此外，本發明基於近端策略優化算法對模型進行更新，在此過程中，近端策略優化算法可以和環境進行交互採集大量數據，提升模型本身的準確程度，因此在部署了對應模型的實際環境中，也可以自適應的調節策略，而非固定的採取某個單一性策略，降低了後期迭代更新的代價，一定程度上緩解了使用環境的變化問題，彌補了過去優化算法中因素單一、無法對複雜環境做出最優決策的缺陷。
17.在一個可能的設計中，所述決策模型和評估模型均基於多層卷積神經網絡建模得到。
18.在一個可能的設計中，對所述決策模型和所述評估模型進行訓練，包括：
19.構建布置有ris的場景模型；
20.基於所述決策模型獲取所述場景模型中ris與預設基站和目標區域內預設用戶終端之間的測試交互信息；
21.根據所述測試交互信息，利用近端策略優化算法對所述決策模型和評估模型進行訓練，得到訓練後決策模型和訓練後評估模型。
22.在一個可能的設計中，獲取指定ris在指定環境下與基站和目標區域內用戶終端之間的實地交互信息，包括：
23.獲取所述指定環境的初始環境狀態信息s；
24.將所述初始環境狀態信息s輸入所述訓練後決策模型，得到所述指定環境中ris的碼本a；
25.基於所述碼本a控制所述ris進行部署，得到所述ris在執行所述碼本a後所述指定環境的碼本執行後環境狀態信息s'以及所述指定環境中目標區域的信號增益r；
26.將所述初始環境狀態信息s、所述碼本a、所述碼本執行後環境狀態信息s'和所述信號增益r保存為四元組《s,a,s',r》；
27.重新獲取所述指定環境的初始環境狀態信息，直到得到多個四元組，再將多個四元組記為實地交互信息《s,a,s',r》。
28.在一個可能的設計中，根據當前實地交互信息，基於近端策略優化算法對所述訓練後決策模型和所述訓練後評估模型進行更新，包括：
29.獲取所述實地交互信息《s,a,s',r》中的多組連續交互信息{s0,a0,ro,s1,a1,r1,
…
,s
t
,a
t
,r
t
}；
30.根據所述多組連續交互信息，得到用於評價碼本相對環境狀態信息的價值分數的優勢值；
31.利用預設的損失函數分別對所述訓練後決策模型和所述訓練後評估模型進行更新，以便得到更新後決策模型和更新後評估模型。
32.在一個可能的設計中，所述優勢值為：
[0033][0034]
式中，表示所述實地交互信息中所有碼本的價值分數；其中，t為連續交互信息的總組數；γ為第一超參數，用以計算當前所選碼本的效果；v
φ
(s
t
)表示所述訓練後評估模型對所述實地交互信息中初始環境狀態信息s
t
進行評估的價值分數。
[0035]
在一個可能的設計中，對所述訓練後決策模型進行更新的損失函數為：
[0036][0037]
式中，t為所述實地交互信息中的數據總量；π
θ
表示參數更新前的訓練後決策模型，π
old
表示參數更新後的決策模型；a
t
為所述實地交互信息中的碼本；s
t
為所述實地交互信息中的初始環境狀態信息；λ為第二超參數；kl[
·
]為散度；
[0038]
對所述訓練後評估模型進行更新的損失函數為：
[0039][0040]
第二方面，提供了一種基於近端策略優化的ris控制系統，用於實現如上述任一項所述的基於近端策略優化的ris控制方法；所述基於近端策略優化的ris控制系統包括：
[0041]
模型構建模塊，用於構建決策模型和評估模型，其中，所述決策模型用於生成ris碼本，所述評估模型用於對ris所在環境進行測試；
[0042]
模型訓練模塊，與所述模型構建模塊通信連接，用於對所述決策模型和所述評估模型進行訓練，得到訓練後決策模型和訓練後評估模型；
[0043]
交互信息獲取模塊，用於獲取指定ris在指定環境下與基站和目標區域內用戶終端之間的實地交互信息；
[0044]
模型更新模塊，分別與所述模型訓練模塊和交互信息獲取模塊通信連接，用於根據當前實地交互信息，基於近端策略優化算法對所述訓練後決策模型和所述訓練後評估模型進行更新，得到更新後決策模型和更新後評估模型；
[0045]
測試模塊，與所述模型更新模塊通信連接，用於將所述實地交互信息輸入所述更新後決策模型，得到所述ris在指定環境下的更新後碼本；還用於基於所述更新後碼本控制所述ris進行部署，再根據所述更新後評估模型對當前指定環境進行測試，並在測試通過後完成ris碼本的部署。
[0046]
第三方面，提供了一種電子設備，包括：
[0047]
存儲器，用於存儲電腦程式指令；以及，
[0048]
處理器，用於執行所述電腦程式指令從而完成如上述任一項所述的基於近端策略優化的ris控制方法的操作。
[0049]
第四方面，提供了一種計算機可讀存儲介質，用於存儲計算機可讀取的電腦程式指令，所述電腦程式指令被配置為運行時執行如上述任一項所述的基於近端策略優化的ris控制方法的操作。
附圖說明
[0050]
圖1是實施例中一種基於近端策略優化的ris控制方法的流程圖；
[0051]
圖2是實施例中一種基於近端策略優化的ris控制系統的模塊框圖。
具體實施方式
[0052]
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將結合附圖和實施例或現有技術的描述對本發明作簡單地介紹，顯而易見地，下面關於附圖結構的描述僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。在此需要說明的是，對於這些實施例方式的說明用於幫助理解本發明，但並不構成對本發明的限定。
[0053]
實施例1：
[0054]
本實施例公開了一種基於近端策略優化的ris控制方法，可以但不限於由具有一定計算資源的計算機設備或虛擬機執行，例如由個人計算機、智慧型手機、個人數字助理或可穿戴設備等電子設備執行，或者由虛擬機執行。
[0055]
如圖1所示，一種基於近端策略優化的ris控制方法，可以但不限於包括有如下步驟：
[0056]
s1.構建用於生成ris碼本的決策模型和用於對ris所在環境進行測試的評估模型，並對所述決策模型和所述評估模型進行訓練，得到訓練後決策模型和訓練後評估模型；
[0057]
具體地，本實施例中，所述決策模型和評估模型均基於多層卷積神經網絡建模得到。需要說明的是，決策模型和評估模型中卷積神經網絡的層數根據ris所在場景模型對應環境的複雜程度而不同，在環境簡單的場景下，決策模型和評估模型可設置為三層卷積神經網絡，隨著ris所在環境複雜程度的增加，可相應增加模型的層數和結構。本實施例中，將決策模型記為π，決策模型的參數記為θ，評估模型記為v
π
，評估模型的參數記為φ，決策模型或評估模型的參數為對應模型的權重參數，包括卷積核的大小、卷積單元的個數、卷積的步長等，此為現有技術，在此不再予以贅述。
[0058]
本實施例可以解決大規模、多陣列單元的ris碼本優化問題，本實施例由於採用深度神經網絡作為決策模型和評估模型，因而更多的時間會消耗在訓練階段，而在具體實踐
的環境中，只需要等待推理時間就可以得到最優策略，即最優碼本，因此推理時間和ris本身的陣列單元數無關，只與決策模型和評估模型的大小有關，在大規模ris中，可以通過控制模型的規模，並利用其他模型壓縮方法，得到時間短、性能好的決策模型。
[0059]
s2.獲取指定ris在指定環境下與基站和目標區域內用戶終端之間的實地交互信息；
[0060]
步驟s2中，獲取指定ris在指定環境下與基站和目標區域內用戶終端之間的實地交互信息，包括：
[0061]
s201.獲取所述指定環境的初始環境狀態信息s；具體地，本實施例中，所述初始環境狀態信息s包括所述指定環境中電磁信號的強度和所述指定環境中目標區域照片等，具體地，電磁信號的強度可通過用戶在指定環境的目標區域使用手機或通用無線電外設等信號接收設備獲取，目標區域照片可通過指定環境中的攝像頭採集得到，在實施過程中，本實施例可靈活設置環境狀態信息，以彌補現有優化算法中因素單一、無法對複雜環境作出最優決策的缺陷。
[0062]
s202.將所述初始環境狀態信息s輸入所述訓練後決策模型，得到所述指定環境中ris的碼本a；需要說明的是，由於決策模型記為π，決策模型的參數記為θ，碼本a＝π(s|θ)，碼本a為n*n的矩陣，ris可通過碼本來改變自身反射信號的模式。
[0063]
s203.基於所述碼本a控制所述ris進行部署，得到所述ris在執行所述碼本a後所述指定環境的碼本執行後環境狀態信息s'以及所述指定環境中目標區域的信號增益r；具體地，信號增益r＝p
』‑
p，其中p』為ris在執行所述碼本a後目標區域的信號強度，p為指定環境內ris未運行時的信號強度，p為預先採集得到。
[0064]
s204.將所述初始環境狀態信息s、所述碼本a、所述碼本執行後環境狀態信息s'和所述信號增益r保存為四元組《s,a,s',r》；
[0065]
s205.重新獲取所述指定環境的初始環境狀態信息，直到得到多個四元組，再將多個四元組記為實地交互信息《s,a,s',r》。具體地，當實地交互信息中包括t個四元組時，實地交互信息被記為{s0,a0,s'0,ro,s1,a1,s'1,r1,
…
,s
t
,a
t
,s'
t
,r
t
}，應當理解的是，實地交互信息中，s
1＝
s'0，s
2＝
s'1，
……
因而在根據實地交互信息對訓練後決策模型和訓練後評估模型進行更新時，未利用碼本執行後環境狀態信息s'。
[0066]
s3.根據當前實地交互信息，基於近端策略優化算法對所述訓練後決策模型和所述訓練後評估模型進行更新，得到更新後決策模型和更新後評估模型；
[0067]
步驟s3中，根據當前實地交互信息，基於近端策略優化算法對所述訓練後決策模型和所述訓練後評估模型進行更新，包括：
[0068]
s301.獲取所述實地交互信息《s,a,s',r》中的多組連續交互信息{s0,a0,ro,s1,a1,r1,
…
,s
t
,a
t
,r
t
}；
[0069]
s302.根據所述多組連續交互信息，得到用於評價碼本相對ris所在指定環境的環境狀態信息的價值分數的優勢值；
[0070]
具體地，所述優勢值為：
[0071]
[0072]
式中，表示所述實地交互信息中所有碼本的價值分數；其中，t為連續交互信息的總組數，t'為0-t中的任一值；γ為第一超參數，指折扣因子，用以計算當前所選碼本的效果；v
φ
(s
t
)表示所述訓練後評估模型對所述實地交互信息中初始環境狀態信息s
t
進行評估的價值分數，其中φ為所述評估模型中的參數，如卷積核的大小、卷積單元的個數、卷積的步長等等。
[0073]
s303.利用預設的損失函數分別對所述訓練後決策模型和所述訓練後評估模型進行更新，以便得到更新後決策模型和更新後評估模型。具體地，本實施例中，基於隨機梯度下降法對所述訓練後決策模型和所述訓練後評估模型中的權重參數進行更新，進而實現對所述訓練後決策模型和訓練後所述評估模型的更新。更新完成時，更新後決策模型和更新後評估模型中的參數固定，更新後決策模型和更新後評估模型相對同一交互信息，二者的輸出保持不變。
[0074]
具體地，本實施例中，對所述訓練後決策模型進行更新的損失函數為：
[0075][0076]
式中，t為所述實地交互信息中的數據總量；π
θ
表示參數更新前的訓練後決策模型，π
old
表示參數更新後的決策模型，對應的，θ為初始訓練後評估模型中的參數，old為參數更新後的決策模型中的參數；a
t
為所述實地交互信息中的碼本；s
t
為所述實地交互信息中的初始環境狀態信息；λ為第二超參數，用於控制初始訓練後評估模型和參數更新後的決策模型的權重；kl[
·
]為散度；
[0077]
對所述訓練後評估模型進行更新的損失函數為：
[0078][0079]
s4.將所述實地交互信息輸入所述更新後決策模型，得到所述ris在指定環境下的更新後碼本；具體地，作為舉例，ris碼本也可以採用方向圖綜合算法生成，以使各個碼本下的ris具有不同方向的反射波束，其中所述方向圖綜合算法可以採用基於遺傳算法的方向圖綜合等方法。
[0080]
s5.基於所述更新後碼本控制所述ris進行部署，再根據所述更新後評估模型對當前指定環境進行測試，並在測試通過後完成ris碼本的部署，由此完成ris碼本的優化部署。需要說明的是，如測試不通過，則重新設置環境，並對所述訓練後決策模型和所述訓練後評估模型進行更新，即返回步驟s1，直到測試通過。
[0081]
此外，本實施例中，對所述決策模型和所述評估模型進行訓練，包括：
[0082]
s101.構建布置有ris的場景模型；具體地，當ris布置的目標使用環境是臥室等居家環境時，搭建與ris所在的家居環境相匹配的場景模型；當ris布置的目標環境是商場時，搭建與ris所在的商業環境匹配的場景模型。構建場景模型，有助於後續進行ris在對應使用環境下的通信交互實驗與應用。
[0083]
s102.基於所述決策模型獲取所述場景模型中ris與預設基站和目標區域內預設用戶終端之間的測試交互信息；
[0084]
具體地，基於所述決策模型獲取所述場景模型中ris與預設基站和目標區域內預設用戶終端之間的測試交互信息，包括：
[0085]
a1.獲取所述場景模型的初始環境狀態信息s；具體地，本實施例中，所述初始環境狀態信息s包括所述場景模型中電磁信號的強度和所述場景模型中目標區域照片。
[0086]
a2.將所述初始環境狀態信息s輸入所述決策模型，得到所述場景模型中ris的碼本a；
[0087]
a3.基於所述碼本a控制ris進行部署，得到所述ris在執行所述碼本a後所述場景模型的碼本執行後環境狀態信息s'以及所述場景模型中目標區域的信號增益r；
[0088]
a4.將所述初始環境狀態信息s、所述碼本a、所述碼本執行後環境狀態信息s'和所述信號增益r保存為四元組《s,a,s',r》；
[0089]
a5重新獲取所述場景模型的初始環境狀態信息，直到得到多個四元組，再將多個四元組記為測試交互信息《s,a,s',r》。
[0090]
s103.根據所述測試交互信息，利用近端策略優化算法對所述決策模型和評估模型進行訓練，得到訓練後決策模型和訓練後評估模型。
[0091]
具體地，根據所述測試交互信息，利用近端策略優化算法對所述決策模型和評估模型進行訓練，得到訓練後決策模型和訓練後評估模型，包括：
[0092]
b1.獲取所述測試交互信息《s,a,s',r》中的多組連續交互信息{s0,a0,ro,s1,a1,r1,
…
,s
t
,a
t
,r
t
}；
[0093]
b2.根據所述多組連續交互信息，得到用於評價碼本相對ris所在場景模型的環境狀態信息的價值分數的優勢值；
[0094]
b3.利用預設的損失函數分別對所述決策模型和所述評估模型進行更新，得到訓練後決策模型和訓練後評估模型。具體地，本實施例中，基於隨機梯度下降法對所述決策模型和所述評估模型中的權重參數進行更新，進而實現對所述決策模型和所述評估模型進行更新。
[0095]
本實施例可利用採集的歷史數據，即測試交互信息，得到決策模型，模型訓練好之後，可以直接部署在用於基於模型生成的碼本對ris進行部署的控制設備中，模型推理時間短，同時由於歷史數據的多樣性，模型的泛化性較好。由此使得本實施例可以有效解決目前ris系統中實際部署和應用的問題，有很強的實際和指導意義。
[0096]
本實施例可以適用於大規模、多陣列單元的ris碼本優化問題，求解時間短，同時泛化性強。具體地，本實施例在實施過程中，決策模型和評估模型均為神經網絡模型，通過構建決策模型和評估模型，更多的時間會消耗在訓練階段，而在具體實踐的環境中，只需要等待推理時間就可以得到最優策略，即最優碼本，因此推理時間和ris本身的陣列單元數無關，只與決策模型和評估模型的大小有關，極大地降低了決策的響應時間。同時，本實施例可以利用神經網絡模型具有可再訓練的特性，利用預訓練模型進行知識遷移，很容易地適應新的環境和不同規模的ris，以提升算法本身的泛化性。此外，本實施例基於近端策略優化算法對模型進行更新，在此過程中，近端策略優化算法可以和環境進行交互採集大量數據，提升模型本身的準確程度，因此在部署了對應模型的實際環境中，也可以自適應的調節
策略，而非固定的採取某個單一性策略，降低了後期迭代更新的代價，一定程度上緩解了使用環境的變化問題，彌補了過去優化算法中因素單一、無法對複雜環境做出最優決策的缺陷。
[0097]
實施例2：
[0098]
本實施例公開了一種基於近端策略優化的ris控制系統，用於實現實施例1中基於近端策略優化的ris控制方法；如圖2所示，所述基於近端策略優化的ris控制系統包括：
[0099]
模型構建模塊，用於構建決策模型和評估模型，其中，所述決策模型用於生成ris碼本，所述評估模型用於對ris所在環境進行測試；
[0100]
模型訓練模塊，與所述模型構建模塊通信連接，用於對所述決策模型和所述評估模型進行訓練，得到訓練後決策模型和訓練後評估模型；
[0101]
交互信息獲取模塊，用於獲取指定ris在指定環境下與基站和目標區域內用戶終端之間的實地交互信息；
[0102]
模型更新模塊，分別與所述模型訓練模塊和交互信息獲取模塊通信連接，用於根據當前實地交互信息，基於近端策略優化算法對所述訓練後決策模型和所述訓練後評估模型進行更新，得到更新後決策模型和更新後評估模型；
[0103]
測試模塊，與所述模型更新模塊通信連接，用於將所述實地交互信息輸入所述更新後決策模型，得到所述ris在指定環境下的更新後碼本；還用於基於所述更新後碼本控制所述ris進行部署，再根據所述更新後評估模型對當前指定環境進行測試，並在測試通過後完成ris碼本的部署。
[0104]
實施例3：
[0105]
在實施例1或2的基礎上，本實施例公開了一種電子設備，該設備可以是智慧型手機、平板電腦、筆記本電腦或者桌上型電腦等。電子設備可能被稱為用於終端、可攜式終端、臺式終端等，電子設備包括：
[0106]
存儲器，用於存儲電腦程式指令；以及，
[0107]
處理器，用於執行所述電腦程式指令從而完成如實施例1中任一所述的基於近端策略優化的ris控制方法的操作。
[0108]
實施例4：
[0109]
在實施例1至3任一項實施例的基礎上，本實施例公開了一種計算機可讀存儲介質，用於存儲計算機可讀取的電腦程式指令，所述電腦程式指令被配置為運行時執行如實施例1所述的基於近端策略優化的ris控制方法的操作。
[0110]
顯然，本領域的技術人員應該明白，上述的本發明的各模塊或各步驟可以用通用的計算裝置來實現，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網絡上，可選地，它們可以用計算裝置可執行的程序代碼來實現，從而，可以將它們存儲在存儲裝置中由計算裝置來執行，或者將它們分別製作成各個集成電路模塊，或者將它們中的多個模塊或步驟製作成單個集成電路模塊來實現。這樣，本發明不限制於任何特定的硬體和軟體結合。
[0111]
最後應說明的是，以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換。
而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。
[0112]
最後應說明的是：以上所述僅為本發明的優選實施例而已，並不用於限制本發明的保護範圍。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。