一種帶寬分配方法、裝置及伺服器的製造方法
2023-07-29 06:40:11
一種帶寬分配方法、裝置及伺服器的製造方法
【專利摘要】本發明公開了一種帶寬分配方法、裝置及伺服器，包括：針對終端當前發起的終端業務，獲取該終端對應的當前網絡狀態；基於該當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定在該當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率；各Q值分別對應表徵了在該當前網絡狀態下該終端採用各預設帶寬處理該終端業務所產生的累積動作回報的期望，該Q值越大，與該Q值對應的隨機概率越大；按照分別與各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇；為該終端業務分配所選擇出的預設帶寬。採用本發明提供的方法、裝置及伺服器，解決了現有技術中無法為終端合理分配帶寬的問題。
【專利說明】一種帶寬分配方法、裝置及伺服器
【技術領域】
[0001]本發明涉及無線通信領域，尤其涉及一種帶寬分配方法、裝置及伺服器。
【背景技術】
[0002]在目前的很多通信網絡中，例如TD-SCDMA (Time Division-Synchronous CodeDivision Multiple Access,時分同步碼分多址)網絡，當一個終端接入該網絡時,該網絡伺服器先為該終端分配預設接入帶寬；當該終端接入該網絡後，該網絡伺服器獲取該終端傳輸信道數據流量，分別和預設的上調帶寬門限值、下調帶寬門限值進行比較，當該終端傳輸信道數據流量大於該上調帶寬門限值時，上調為該終端分配的帶寬，當該終端傳輸信道數據流量小於該下調帶寬門限值時，下調為該終端分配的帶寬。
[0003]然而，由於不同業務對帶寬需求不同，該上調帶寬門限值和該下調帶寬門限值很難設置合適。例如，即時通訊業務對帶寬需求較低，而網頁瀏覽業務對帶寬需求較高，如果該上調帶寬門限值設置過低，則可能會造成對帶寬需求較低的終端的帶寬進行上調，導致網絡資源的利用率較低；而如果該上調帶寬門限值設置過高，則可能會造成對帶寬需求較高的終端的帶寬沒有進行上調，進而導致終端業務處理效率較低。同樣，該下調帶寬門限值也存在類似問題。可見，目前現有的帶寬分配機制不能對帶寬進行合理分配。
【發明內容】
[0004]本發明實施例提供一種帶寬分配方法、裝置及伺服器，用以解決現有技術中存在的不能對帶寬進行合理分配的問題。
[0005]本發明實施例提供一種帶寬分配方法，包括:
[0006]針對終端當前發起的終端業務，獲取所述終端對應的當前網絡狀態；
[0007]基於所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率；各Q值分別對應表徵了在所述當前網絡狀態下所述終端採用各預設帶寬處理所述終端業務所產生的累積動作回報的期望，所述Q值越大，與所述Q值對應的隨機概率越大；
[0008]按照分別與各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇；
[0009]為所述終端業務分配所選擇出的預設帶寬。
[0010]本發明實施例提供一種帶寬分配裝置，包括:
[0011]獲取單元，用於針對終端當前發起的終端業務，獲取所述終端對應的當前網絡狀態；
[0012]第一確定單元，用於基於所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率；各Q值分別對應表徵了在所述當前網絡狀態下所述終端採用各預設帶寬處理所述終端業務所產生的累積動作回報的期望，所述Q值越大，與所述Q值對應的隨機概率越大；[0013]選擇單元，用於按照分別與各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇；
[0014]分配單元，用於為所述終端業務分配所選擇出的預設帶寬。
[0015]本發明實施例提供一種伺服器，包括上述帶寬分配裝置。
[0016]本發明有益效果包括:
[0017]本發明實施例提供的方法，基於當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定各預設帶寬對應的隨機概率，其中，Q值越大，對應的隨機概率越大，基於各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇，將選擇出的預設帶寬分配給終端業務，可見較大的Q值的對應的預設帶寬被選擇出的概率也較大，由於Q值表徵了在該當前網絡狀態下為終端業務分配預設帶寬所產生的累積回報的期望，即Q值越大表明分配的預設帶寬越合理，因此採用本發明實施例提供的方法能夠實現對網絡帶寬進行更合理的分配。
【專利附圖】
【附圖說明】
[0018]附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，與本發明實施例一起用於解釋本發明，並不構成對本發明的限制。在附圖中:
[0019]圖1為本發明實施例提供的帶寬分配方法的流程圖；
[0020]圖2為本發明實施例1提供的帶寬分配方法的詳細流程圖；
[0021]圖3為本發明實施例2提供的帶寬分配裝置的結構圖。
【具體實施方式】
[0022]為了給出合理分配帶寬的實現方案，本發明實施例提供了一種帶寬分配方法、裝置及伺服器，以下結合說明書附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用於說明和解釋本發明，並不用於限定本發明。並且在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互組合。
[0023]強化學習是一種從環境到行為映射的學習。在強化學習過程中，環境不告訴強化學習系統如何去產生正確的動作，而是對已產生的動作的好壞做出評價(即回報)。強化學習系統根據外部環境所提供的信息及自身的經歷進行學習，在不斷的「動作-評價(回報)」的過程中獲得知識，改進自己的動作方案來適應環境，以使累計動作回報達到最大化。
[0024]基於上述強化學習原理，本發明實施例提供一種帶寬分配方法，如圖1所示，包括:
[0025]步驟101、針對終端當前發起的終端業務，獲取該終端對應的當前網絡狀態；
[0026]步驟102、基於該當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定在該當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率；各Q值分別對應表徵了在該當前網絡狀態下該終端採用各預設帶寬處理該終端業務所產生的累積動作回報的期望，該Q值越大，與該Q值對應的隨機概率越大；
[0027]步驟103、按照分別與各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇；
[0028]步驟104 、為該終端業務分配所選擇出的預設帶寬。
[0029]其中，當前網絡狀態具體可以由當前網絡可用帶寬、終端業務類型以及終端接入場強表徵。
[0030]在步驟102中，具體可採用玻爾茲曼分布算法，基於該當前網絡狀態和各預設帶寬的各組合分別對應的Q值、該當前網絡狀態出現的次數和當前可分配的最大預設帶寬，確定在該當前網絡狀態下從不超過該最大預設帶寬的各預設帶寬中進行隨機選擇時所基於的分別與不超過該最大預設帶寬的各預設帶寬對應的隨機概率，該次數越大，不同Q值各自對應的隨機概率的差異越大。
[0031]也可以採用其它算法確定在該當前網絡狀態下從不超過該最大預設帶寬的各預設帶寬中進行隨機選擇時所基於的分別與不超過該最大預設帶寬的各預設帶寬對應的隨機概率，例如貪婪算法等。
[0032]進一步的，在步驟104，為該終端業務分配所選擇出的預設帶寬之後，還包括:
[0033]基於所選擇出的預設帶寬、當前可分配的最大預設帶寬、當前可分配的不為O的最小預設帶寬、在該當前網絡狀態下為該終端業務分配所選擇出的預設帶寬後的業務處理時間、在該當前網絡狀態下為該終端業務分配比選擇出的預設帶寬小預設數量的預設帶寬後的業務處理時間和為該終端業務分配兩個相差預設數量的預設帶寬後的兩個業務處理時間的差值閾值，確定在該當前網絡狀態下該終端採用所選擇出的預設帶寬處理該終端業務所產生的動作回報。
[0034]而當該終端業務不是該終端首次發起的終端業務時，在步驟102，確定在該當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率之前，還包括:
[0035]基於該終端發 起的該終端業務的上一終端業務對應的上一網絡狀態和該上一終端業務對應的上一選擇出的預設帶寬的組合對應的Q值、在該上一網絡狀態下選擇該上一選擇出的預設帶寬的次數、在該上一網絡狀態下該終端採用該上一選擇出的預設帶寬處理該上一終端業務所產生的動作回報、常數時間折現因子以及該當前網絡狀態和各預設帶寬的各組合分別對應的Q值，更新該上一網絡狀態和該上一選擇出的預設帶寬的組合對應的Q值。
[0036]下面結合附圖，以在TD-SCDMA網絡中分配上行帶寬為例，用具體實施例對本發明提供的帶寬分配方法、裝置及伺服器進行詳細描述。
[0037]實施例1:
[0038]當終端首次發起一個終端業務時，可以為該終端業務隨機分配一個預設帶寬，各
預設帶寬的集合為A= {O, B1, a2, a3,......，an}，an為當前網絡具有的最大帶寬，且A中每兩
個相鄰預設帶寬相差預設數量。在本實施例中，A={0，16，32，……，256}，256為當前網絡具有的最大帶寬，A中每兩個相鄰預設帶寬相差16。當為終端業務分配預設帶寬O時，即表示拒絕該終端業務接入。
[0039]圖2為本發明實施I提供的帶寬分配方法的詳細流程圖，當終端不是首次發起一個終端業務時，觸發該流程，具體包括:
[0040]步驟201、獲取該終端的當前網絡狀態。
[0041]該當前網絡狀態St可以具體由當前網絡可用帶寬1、終端業務類型V以及終端接入場強h表徵，即St= (h, V, I)。
[0042]在本實施例中，TD-SCDMA網絡中終端接入場強h具體為PCCPCH (Primary CommonControl Physical Channel,主公共控制物理信道)RSCP (Received Signal Code Power,接收信號功率)，he [-30, -103] dBm ；v e {1,2,……，V}，由1，2，……，V表徵終端業務的具體業務類型，具體可採用DPI (Deep Packet Inspection,深度包檢測)技術獲取終端業務的具體業務類型；當前網絡可用帶寬I具體為當前網絡上行可用帶寬，I e [0，256]。
[0043]步驟202、更新該終端發起的當前終端業務的上一終端業務對應的上一網絡狀態和為該上一終端業務分配的上一選擇出的預設帶寬的組合對應的Q值，具體可採用如下公式更新:
[0044]
【權利要求】
1.一種帶寬分配方法，其特徵在於，包括: 針對終端當前發起的終端業務，獲取所述終端對應的當前網絡狀態； 基於所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率；各Q值分別對應表徵了在所述當前網絡狀態下所述終端採用各預設帶寬處理所述終端業務所產生的累積動作回報的期望，所述Q值越大，與所述Q值對應的隨機概率越大； 按照分別與各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇； 為所述終端業務分配所選擇出的預設帶寬。
2.如權利要求1所述的方法，其特徵在於，所述當前網絡狀態由當前網絡可用帶寬、終端業務類型以及終端接入場強表徵。
3.如權利要求1所述的方法，其特徵在於，確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率，具體包括: 基於所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值、所述當前網絡狀態出現的次數和當前可分配的最大預設帶寬，確定在所述當前網絡狀態下從不超過所述最大預設帶寬的各預設帶寬中進行隨機選擇時所基於的分別與不超過所述最大預設帶寬的各預設帶寬對應的隨機概率，所述次數越大，不同Q值各自對應的隨機概率的差異越大。
4.如權利要求3所述的方法，其特徵在於，具體採用如下公式確定在所述當前網絡狀態下從不超過所述最大預設帶寬的各預設帶寬中進行隨機選擇時所基於的分別與不超過所述最大預設帶寬的各預設帶寬對應的隨機概率:
5.如權利要求1所述的方法，其特徵在於，在為所述終端業務分配所選擇出的預設帶寬之後，還包括: 基於所選擇出的預設帶寬、當前可分配的最大預設帶寬、當前可分配的不為O的最小預設帶寬、在所述當前網絡狀態下為所述終端業務分配所選擇出的預設帶寬後的業務處理時間、在所述當前網絡狀態下為所述終端業務分配比選擇出的預設帶寬小預設數量的預設帶寬後的業務處理時間和為所述終端業務分配兩個相差預設數量的預設帶寬後的兩個業務處理時間的差值閾值，確定在所述當前網絡狀態下所述終端採用所選擇出的預設帶寬處理所述終端業務所產生的動作回報。
6.如權利要求5所述的方法，其特徵在於，具體採用如下公式確定在所述當前網絡狀態下所述終端採用所選擇出的預設帶寬處理所述終端業務所產生的動作回報:
7.如權利要求1所述的方法，其特徵在於，當所述終端業務為所述終端第N次發起的終端業務時，所述N大於1，在確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率之前，還包括: 基於所述終端發起的所述終端業務的上一終端業務對應的上一網絡狀態和所述上一終端業務對應的上一選擇出的預設帶寬的組合對應的Q值、在所述上一網絡狀態下選擇所述上一選擇出的預設帶寬的次數、在所述上一網絡狀態下所述終端採用所述上一選擇出的預設帶寬處理所述上一終端業務所產生的動作回報、常數時間折現因子以及所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值，更新所述上一網絡狀態和所述上一選擇出的預設帶寬的組合對應的Q值。
8.如權利要求7所述的方法，其特徵在於，具體採用如下公式更新所述上一網絡狀態和所述上一選擇出的預設帶寬的組合對應的Q值:
9.一種帶寬分配裝置，其特徵在於，包括: 獲取單元，用於針對終端當前發起的終端業務，獲取所述終端對應的當前網絡狀態； 第一確定單元，用於基於所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值，確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率；各Q值分別對應表徵了在所述當前網絡狀態下所述終端採用各預設帶寬處理所述終端業務所產生的累積動作回報的期望，所述Q值越大，與所述Q值對應的隨機概率越大； 選擇單元，用於按照分別與各預設帶寬對應的隨機概率，從各預設帶寬中進行隨機選擇； 分配單元，用於為所述終端業務分配所選擇出的預設帶寬。
10.如權利要求9所述的裝置，其特徵在於，所述當前網絡狀態由當前網絡可用帶寬、終端業務類型以及終端接入場強表徵。
11.如權利要求9所述的裝置，其特徵在於，所述第一確定單元具體用於基於所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值、所述當前網絡狀態出現的次數和當前可分配的最大預設帶寬，確定在所述當前網絡狀態下從不超過所述最大預設帶寬的各預設帶寬中進行隨機選擇時所基於的分別與不超過所述最大預設帶寬的各預設帶寬對應的隨機概率，所述次數越大，不同Q值各自對應的隨機概率的差異越大。
12.如權利要求11所述的裝置，其特徵在於，所述第一確定單元具體用於採用如下公式確定在所述當前網絡狀態下從不超過所述最大預設帶寬的各預設帶寬中進行隨機選擇時所基於的分別與不超過所述最大預設帶寬的各預設帶寬對應的隨機概率:
13.如權利要求9所述的裝置，其特徵在於，還包括: 第二確定單元，用於在為所述終端業務分配所選擇出的預設帶寬之後，基於所選擇出的預設帶寬、當前可分配的最大預設帶寬、當前可分配的不為O的最小預設帶寬、在所述當前網絡狀態下為所述終端業務分配所選擇出的預設帶寬後的業務處理時間、在所述當前網絡狀態下為所述終端業務分配比選擇出的預設帶寬小預設數量的預設帶寬後的業務處理時間和為所述終端業務分配兩個相差預設數量的預設帶寬後的兩個業務處理時間的差值閾值，確定在所述當前網絡狀態下所述終端採用所選擇出的預設帶寬處理所述終端業務所產生的動作回報。
14.如權利要求13所述的裝置，其特徵在於，所述第二確定單元具體用於採用如下公式確定在所述當前網絡狀態下所述終端採用所選擇出的預設帶寬處理所述終端業務所產生的動作回報:
15.如權利要求9所述的裝置，其特徵在於，還包括更新單元，用於當所述終端業務為所述終端第N次發起的終端業務時，所述N大於I，在確定在所述當前網絡狀態下從各預設帶寬中進行隨機選擇時所基於的分別與各預設帶寬對應的隨機概率之前，基於所述終端發起的所述終端業務的上一終端業務對應的上一網絡狀態和所述上一終端業務對應的上一選擇出的預設帶寬的組合對應的Q值、在所述上一網絡狀態下選擇所述上一選擇出的預設帶寬的次數、在所述上一網絡狀態下所述終端採用所述上一選擇出的預設帶寬處理所述上一終端業務所產生的動作回報、常數時間折現因子以及所述當前網絡狀態和各預設帶寬的各組合分別對應的Q值，更新所述上一網絡狀態和所述上一選擇出的預設帶寬的組合對應的Q值。
16.如權利要求15所述的裝置，其特徵在於，所述更新單元具體用於採用如下公式更新所述上一網絡狀態和所述上一選擇出的預設帶寬的組合對應的Q值:
17.一種伺服器，其特徵在於，包括權利要求9-16任一所述的帶寬分配裝置。
【文檔編號】H04W72/04GK103906238SQ201210568765
【公開日】2014年7月2日 申請日期:2012年12月24日 優先權日:2012年12月24日
【發明者】梁立濤, 肖建華, 石勇, 王志明 申請人:中國移動通信集團北京有限公司