家庭基站系統中基於頻譜分配及功率控制的幹擾管理方法
2023-07-05 20:08:16
專利名稱：家庭基站系統中基於頻譜分配及功率控制的幹擾管理方法
技術領域：
本發明涉及一種特別用於基於OFDMA的家庭基站系統中的動態幹擾管理方法，屬於通信技術領域。
背景技術：
家庭基站是為了服務小面積覆蓋(如家庭或者辦公室)而設計的，有報告顯示在未來的幾年內，室外手機呼叫的比例逐漸下降而室內的數據業務明顯增加。由於家庭基站覆蓋範圍小，低花費和低功耗，所以家庭基站可以分布得比宏 基站更加密集，頻譜可以得到更有效的復用，為室內用戶提供更寬的頻譜和更好的服務質量。家庭基站的出現勢必會増加對宏基站用戶的幹擾，所以如何進行合理的資源分配來降低家庭基站對宏用戶的幹擾已經成為運營商考慮的主要問題之一。合理分配家庭基站的資源不僅可以降低對宏用戶的幹擾而且家庭用戶間的幹擾也會降低從而獲得更好的服務質量。正交頻分多址接入(OFDMA)已經被選為LTE和4G網絡的下行接入技術，OFDMA的特點是不同的子載波間使正交的，所以小區內部幹擾可以忽略。在LTE中定義能分配ー個用戶的最小時頻單位為一個資源塊(Resource Block, RB),當一個RB被分配為多個小區時就會引起小區間幹擾降低信幹噪比從而降低用戶的服務質量。很多研究都已經涉及到了多種小區間幹擾消除或減輕的算法。由於家庭基站分布的多而且不規律所以對家庭基站進行集中控制難度較大，所以研究都是基於分布式控制的。有的研究是通過動態的頻譜復用來減小家庭基站網絡中的幹擾的，例如通過ー種適用於家庭基站分布密集的場景的自組織網絡的方法，或者ー種基於強化學習的算法在保證對宏基站的幹擾門限的同時也保證家庭基站的服務質量；有的研究是基於功率控制的幹擾管理方法，例如通過提出一種基於模糊Q學習(Fuzzy learning)的算法來控制家庭基站對宏基站的幹擾,或者一種改進的注水功率控制算法來保證網絡的公平性；此外還有的文獻是採用的是頻譜分配和功率控制相結合的方法來避免幹擾的，例如在分布式網絡中採用基於博弈論的幹擾避免模型降低互相之間的幹擾。強化學習(Reinforcement Learning, RL)是一種機器學習方法，它通過從環境狀態到動作映射的學習，感知環境狀態，使得動作從環境中獲得最大的累積回報函數。Q學習是強化中的ー種常用的學習方法，它通過馬爾科夫過程進行建摸，採用迭代的方法逼近最優解，並以狀態-動作回報值作為衡量標準。Q學習在學習過程總無需狀態轉移概率和回報函數的先驗知識模型，而是從環境中直接學習，所以Q學習計算複雜度很低。博弈論(gametheory)又稱對策論，早期被廣泛應用於微觀經濟學中，它在解決資源調度的問題中有獨特的優勢。這種理論隱含的基本假設是決策主體追求確定的外部目標並且考慮他們自身的知識或者其他決策主體行為的期望。博弈論是直到最近才作為分析工具應用於分布式無線資源管理當中。本發明提供了ー種Q學習與博弈論相結合(QL&game)的分布式的幹擾管理方法，在保證宏用戶的信幹噪比門限的條件下提高家庭基站性能。在該方法中家庭基站間不需要進行信息交換，每個家庭基站作為ー個Q學習的智能體(Agent)和博弈論中的博弈者(Player)。用Q學習動態地分配頻譜，在Q學習過程中再通過博弈來進行功率分配，每個家庭基站都以優化自己的性能為目標。
發明內容
技術問題本發明的目的是在基於OFDMA的家庭基站系統的場景下提供一種動態幹擾管理方法。在該方法中每個家庭基站作為ー個Q學習的智能體和博弈論中的博弈者，基於Q學習動態地分配頻譜，在Q學習過程中再通過博弈來進行功率分配，每個家庭基站都以優化自己的性能為目標。家庭基站系統在不斷地與環境交互的過程中可以最終收斂到一個最優的動作，使得系統在滿足了宏基站信幹噪比門限要求的基礎上提高了家庭基站和整個系統的系能，這樣就避免了複雜的最優化問題。技術方案本發明提供一種基於OFDMA的家庭基站系統的動態資源分配方法每 個家庭基站作為ー個Q學習的智能體和博弈論中的博弈者，在基於Q學習動態地分配頻譜中通過博弈進行功率分配，每個家庭基站都以優化自己的性能為Q學習的目標和博弈的效用。發明中採用Q學習與博弈論相結合(QL&game)的分布式控制機制進行幹擾管理。本發明考慮的無線網絡環境包括M個半徑為R的宏小區，每個宏小區的中心都放有ー個宏基站。假設每個宏小區中擁有ー個居民區由F個房間組成，每個房間中間都放有一個可以隨意開關的家庭基站，每個房間都是邊長為r的正方形。家庭基站的用戶隨機均勻分布在每個房間內，而宏基站的用戶隨機分布在房間的周圍。假設宏基站和家庭基站都是工作在相同的頻帶，宏用戶和家庭用戶之間會存在幹擾。系統場景模型如圖I所示。假設系統總帶寬為B，由N個資源塊組成，每個資源塊的大小為Brb，即B=NXBrt。每個宏基站和每個家庭基站的用戶數分別為Um和Uf，基站通過比例公平調度(proportionalfair scheduler)算法把N個資源塊分配給Um和Uf個用戶，宏基站的總功率為PM，平均分
配到每個資源塊上的功率向量P
權利要求
1.一種家庭基站系統中基於頻譜分配及功率控制的幹擾管理方法，其特徵在於該方法將每個家庭基站作為一個Q學習的智能體和博弈論中的博弈者，在基於Q學習動態地分配頻譜中通過博弈進行功率分配，目的是在保證滿足宏基站信幹噪比門限要求的基礎上提高家庭基站和整個系統的系能；每個家庭基站作為一個Q學習的智能體和博弈論中的博弈者，在Q學習動態地分配頻譜的過程中再通過博弈來進行功率分配，每個家庭基站都以優化自己的性能為目標。
2.如權利要求I所述的家庭基站系統中基於頻譜分配及功率控制的幹擾管理方法，其特徵在於Q學習與博弈論相結合的動態資源分配方法中關於功率控制的博弈G= {f，W，!Uf(.)}}的特徵包括以下內容 a.博弈者f:每個家庭基站f都是一個博弈者； b.動作空間Pf,其中N是總資源塊數，每個家庭基站f都會在與環境交互的過程中為每個資源塊n分配最優的功率; c.效用函數Uf:家庭基站在滿足以下兩個條件下根據公式(8)所定義的效用函數給自己分配一個使得自身能性能最優的功率，兩個條件為(I)功率分配必須滿足/min -Pj - / niax，Pmin和Pmax是指每個資源塊上的最小功率值和最大功率值，(2)每個資源塊上的功率分配都要考慮宏用戶信幹噪比SINR是否滿足門限值Yth。
3.如權利要求I所述的家庭基站系統中基於頻譜分配及功率控制的幹擾管理方法，其特徵在於Q學習與博弈論相結合的動態資源分配方法中Q學習的特徵包括以下內容 a.智能體f:每個家庭基站f都是一個智能體； b.動作空間麼丨4，其中丨，0表示家庭基站f未使用資源塊n，I則表不使用； c.狀態空間Sf:與動作空間相似^> =，其中j； = 是與宏用戶和家庭用戶所受幹擾有關的，宏用戶根據其資源塊n的信幹噪比ri是否滿足門限值Yth要求分成兩種情況，家庭用戶根據其資源塊n的信幹噪比<的大小分成T種情況，這樣狀態4的狀態數可分為2*T種； d.回報函數Rf:宏基站的信幹噪比必須大於Yth，選擇能在滿足宏基站信幹噪比要求的前提下家庭基站吞吐量最大的那個策略作為最優策略，當宏基站的信幹噪比小於Yth時回報函數為-B，當宏基站所有資源塊的信幹噪比大於Y th時回報函數為權利要求2中博弈論的效用函數Uf，其中B為正的常數，-B表示當宏基站的信幹噪比小於Yth時智能體給當前的策略一個-B的懲罰，反之，智能體則給當前的策略一個值為Uf的獎賞。
全文摘要
本發明的目的是在基於OFDMA的家庭基站系統中基於頻譜分配及功率控制的幹擾管理方法。該方法中每個家庭基站作為一個Q學習的智能體和博弈論中的博弈者，基於Q學習動態地分配頻譜，在Q學習過程中再通過博弈來進行功率分配，每個家庭基站都以優化自己的性能為目標。家庭基站系統在不斷地與環境交互的過程中可以最終收斂到一個最優的動作，使得系統在滿足宏基站信幹噪比門限要求的基礎上提高家庭基站和整個系統的系能，避免了複雜的最優化問題。
文檔編號H04W16/22GK102811443SQ20121026514
公開日2012年12月5日 申請日期2012年7月27日 優先權日2012年7月27日
發明者朱琦, 季祥芬, 朱洪波, 楊龍祥 申請人:南京郵電大學