一種基於增強學習算法的無線體域網數據傳輸方法與流程
2023-05-20 22:36:06
本發明涉及一種利用增強學習算法解決無線體域網數據傳輸問題的方法，用於利用無線體域網進行監控的醫療保健領域，為保障監控中心所收到數據的準確性提供一種方法。
背景技術：
國家統計局第六次人口普查結果顯示，我國60歲及以上人口佔13.26％，比第五次人口普查上升2.93％。在60歲及以上的老人中，健康的老人所佔比例為44％，基本健康的老人佔39％，不健康但能自理的老人佔14％，不能自理的老人佔3％。由此可見，56％的老人需要時刻被關注著身體的狀況。即使對於目前健康的44％的老人，他們的身體也可能發生病變。另外，根據國家統計局2004年至2014年的人口抽樣調查結果(尚未公布2015年的調查結果)，60歲、80歲以及90歲以上人口的比例在不斷上升。由此可見，社會的老齡化加速。對於老年人來說，他們的健康狀況更值得關注。隨著年齡的增長，老年人身體的很多機能開始衰弱，抵抗力也越來越差。很多老人患有高血壓、高血糖、冠心病等疾病。老年人的健康對子女來說是件重中之重的事情。但是，身為子女的我們需要工作和生活，不可能一直陪伴在老人的身邊。父母的健康往往成為子女最為牽掛的事情。尤其對於獨居老人，他們的健康狀況更是令人擔憂，有的地方甚至出現老年人在家中死亡多日才被發現的悲劇。因此，需要一種技術來遠程監測老年人的健康狀況。另外，對於醫院的病人，也需要這樣一種技術來使醫護人員隨時監測他們的身體狀況、了解他們的需求。
針對上述問題，一種新興的網絡技術已經出現——無線體域網。無線體域網可對人體的健康狀況進行持續監測。將傳感設備放置在人體的體表或體內，對血壓、血糖和脈搏等體徵數據進行採集並傳輸至匯聚節點。匯聚節點最終將數據發送至醫院監控中心、親人的手機或者社區服務中心。在無線體域網中，由於傳感器節點附著於人體，人的移動或者姿勢的變化都會引起網絡拓撲發生變化。另外，對於無線體域網中的傳感器節點，尤其是體內節點，不易補充能量。節點能量耗盡則會造成鏈路失效，亦會引起網絡拓撲的變化。不穩定的網絡拓撲容易造成數據包的丟失。而在無線體域網中，傳感器節點的部署不具備冗餘性，這就要求每個數據包都要可靠傳輸。丟包會引起採集數據的不準確，進而影響對人體的監測效果，更有甚者，會危及人的生命。因此，對於無線體域網，如何在有效利用能量的同時將數據可靠地傳輸至匯聚節點成為關鍵。
無線體域網中已有的數據傳輸方法存在如下問題：(1)關於無線體域網的數據傳輸方法，已有的方案主要分為單跳傳輸和多跳傳輸兩類。然而，這兩種方案均存在弊端。對於第一種方案，傳感器節點將採集到的數據直接發送給匯聚節點。如果傳感器節點距離匯聚節點較遠，單跳傳輸方式則會消耗較多的能量。另外，隨著人體的移動或者姿勢的變化，節點與匯聚節點之間的信道狀態經常發生變化。如果傳感器節點與匯聚節點之間的信道狀態較差，直接將數據發給匯聚節點則會造成數據包的丟失。對於第二種方案，每個傳感器節點採集到數據時，均通過多個節點的轉發將數據發送至匯聚節點。畢竟無線體域網的規模不大，如果單純採用多跳傳輸方式，勢必會帶來不必要的數據轉發，這將會帶來延遲和更多的能量消耗。(2)已有的數據傳輸方案中沒有考慮節點的異構性。無線體域網絡中節點存在異構性，主要體現在：各節點能量水平不同，所處位置不同，補充能量的難易程度不同，對體內節點補充能量相當困難；各節點採集的數據業務不同，具有不同的重要性；各節點的工作量不同，有些需要持續監測數據，而有些只需要在很短的時間內採集數據。
技術實現要素：
本發明的目的是針對已有的無線體域網數據傳輸方法中存在的問題，提供一種高效的數據傳輸方法，以實現在有效利用能量的前提下將數據從源節點可靠地傳輸至匯聚節點。
為了達到上述目的，本發明的技術方案是提供了一種基於增強學習算法的無線體域網數據傳輸方法，其特徵在於，包括以下步驟：
步驟1、針對無線體域網中傳感節點的能量水平、數據業務和工作量不同這一異構性特點，將節點劃分為不同的等級。根據傳感節點的部署位置劃分等級A，體表節點的等級較高，儘量使用體表節點轉發數據；根據節點的重要性劃分等級B，重要節點的等級較低，使重要節點少承擔轉發任務；根據節點的工作量劃分等級C，很短時間即可完成採集任務的節點的等級較高，使這類節點多承擔轉發任務。
步驟2、當前傳感器節點採集到數據後，判斷與匯聚節點之間的信道狀態，若信道狀態良好，則當前傳感器節點直接將數據發送給匯聚節點，本次數據傳輸結束；否則，進入步驟3；
步驟3、將當前傳感器節點作為源節點；
步驟4、利用增強學習算法為源節點選擇通向匯聚節點的中繼節點；
步驟5、數據到達步驟4所選擇的中繼節點後，判斷當前中繼節點與匯聚節點之間的信道狀態，若信道狀態良好，則當前中繼節點直接將數據發送給匯聚節點，本次數據傳輸結束；否則，將當前中繼節點作為源節點，返回步驟4。
優選地，在所述步驟2或所述步驟5中，利用馬爾可夫信道模型判斷當前傳感器節點或當前中繼節點與匯聚節點之間的信道狀態。
優選地，所述當前傳感器節點或所述當前中繼節點發送數據時均以數據報文的形式進行發送，將發送數據的所述當前傳感器節點或所述當前中繼節點定義為發送節點，則數據報文的欄位包括發送節點的位置、發送節點的剩餘能量、發送節點至匯聚節點的最優路徑的質量、下一跳節點的標識以及負載數據。
優選地，在所述步驟5中，當前中繼節點偵聽到發送過來的數據報文時，首先提取數據報文中的信息，將有關發送節點的信息插入或更新到本地鄰居表中，然後，當前中繼節點判斷自身是否是數據報文中所指示的下一跳節點，如果不是，則直接丟棄數據報文；否則，判斷當前中繼節點與匯聚節點之間的信道狀態，若信道狀態良好，則當前中繼節點直接將數據發送給匯聚節點，否則，將當前中繼節點作為源節點，返回步驟4。
優選地，所述步驟4中利用增強學習算法為源節點選擇通向匯聚節點的中繼節點包括以下步驟：
步驟4.1、源節點計算通過每個鄰居節點到達匯聚節點的路徑的質量，選擇路徑質量最大的鄰居節點作為下一跳節點，其中，源節點i通過相鄰節點j到達匯聚節點的當前路徑質量為Qnew(i，j)，則有：
Qnew(i，j)＝(1-α)Qold(i，j)+α(L(i，j)+Rj)，式中，α為學習率，Qold(i，j)為源節點i通過相鄰節點j到達匯聚節點的路徑質量歷史值，L(i，j)為從源節點i到相鄰節點j的直接鏈路質量，Rj為本地所存儲的相鄰節點j到匯聚節點的最優路徑的質量；
步驟4.2、若源節點i選擇相鄰節點j作為下一跳轉發節點，則更新Ri，Ri表示源節點i至匯聚節點的最優路徑的質量：
Ri＝Qnew(i，j)；
步驟4.3、源節點i在將數據報文發送出去之前，更新數據報文，將自身的位置信息、剩餘能量、當前所找到的至匯聚節點的最優路徑的質量Ri和所選擇的下一跳節點，即相鄰節點j替換到數據報文的頭部，然後，源節點i將更新後的數據報文發送出去。
優選地，所述L(i，j)通過以下公式計算得到：
式中，Ej代表節點j的剩餘能量，Aj、Bj和Cj分別代表按照節點部署位置、節點重要性和節點工作量所劃分的相鄰節點j的等級，Dij則代表源節點i到相鄰節點j的距離。
本發明將無線體域網與人工智慧領域相結合，為無線體域網提供了一種基於增強學習的混合式的數據傳輸方法，可以實現在有效利用能量的同時將數據從源節點可靠地傳輸至匯聚節點，進而保障監控中心所收信息的準確性，為數據分析奠定基礎，從而可以有效地預防疾病並及時搶救突發狀況。本發明中的方案可以用來構建健康平臺、實時監測人體的健康狀況，還可應用於軍事演習、體育訓練、娛樂共享等其它多個領域。
附圖說明
圖1為傳感器節點採集到數據時的數據傳輸流程圖；
圖2為傳感器節點偵聽到數據時的數據傳輸流程圖；
圖3為利用增強學習算法選擇中繼節點的流程圖。
具體實施方式
下面結合具體實施例，進一步闡述本發明。應理解，這些實施例僅用於說明本發明而不用於限制本發明的範圍。此外應理解，在閱讀了本發明講授的內容之後，本領域技術人員可以對本發明作各種改動或修改，這些等價形式同樣落於本申請所附權利要求書所限定的範圍。
本發明涉及兩種類型的節點，一種是傳感器節點，一種是匯聚節點。將傳感器節點部署在人體的腳踝、腿部、手腕和手臂等處，對血壓、血糖和脈搏等體徵數據進行採集並傳輸至匯聚節點。本發明中以手機作為匯聚節點，匯聚節點最終通過外網將數據發送至監控中心。針對無線體域網內部的數據傳輸問題，本發明提出一種基於增強學習算法的數據傳輸方法，具體包括如下步驟：
(1)將節點劃分為不同的等級。在無線體域網中，傳感器節點存在異構性：各節點能量水平不同，所處位置不同致使補充能量的難易程度不同，對體內節點補充能量相當困難；各節點採集的數據業務不同，包含心電圖、血壓和血氧等，具有不同的重要性；各節點的工作量不同，有些需要持續監測數據，例如：心電圖節點需要一天或幾天連續監測心電圖的動態狀況，而有些只需要在很短的時間內採集數據，例如：血氧節點在很短的時間即可完成常規的血氧檢查。針對節點異構性這一特點，本發明建立等級劃分機制。根據傳感節點的部署位置劃分等級A，體表節點的等級較高，儘量使用體表節點轉發數據；根據節點的重要性劃分等級B，重要節點的等級較低，使重要節點少承擔轉發任務；根據節點的工作量劃分等級C，很短時間即可完成採集任務的節點的等級較高，使這類節點多承擔轉發任務。
(2)根據馬爾可夫信道模型判斷當前節點與匯聚節點之間的信道狀態。無線體域網中常用的信道模型為路徑損耗模型和功率延遲分布模型，前者用來描述信號傳輸過程中的功率損耗，後者用來刻畫多徑信道的特性。但是，這兩種模型缺乏對信道動態變化特性的實時描述。針對這一問題，本發明採用IEEE 802.15.6工作組在無線體域網信道建模文檔提出的方案，使用馬爾可夫信道模型。該模型基於有限狀態的馬爾可夫過程，可以根據歷史信道狀態變動的規律，推測未來信道狀態變動的趨勢。因此，該模型可以表徵信道的動態變化。具體建模過程如下：
(2.1)將無線體域網的信道分為好狀態和壞狀態兩種狀態，在好狀態下，可以成功傳輸數據。
(2.2)使用業內普遍認可的兩狀態馬爾可夫信道模型，其狀態轉移矩陣P如下：
式(1)中，狀態集合S＝{0，1}，0表示壞狀態，1表示好狀態；Pij表示信道由i狀態轉為j狀態的概率，滿足式(2)條件：
設S0為節點與匯聚節點之間的信道的初始狀態變量，則經歷n時刻後，該信道為好狀態的概率p(n)為：
(2.3)測試人體在行走、靜止和起蹲等不同姿勢下的數據傳輸情況；
(2.4)根據這些實測數據對以上馬爾可夫模型進行擬合，進而可以根據公式(1)-公式(3)預測任何時刻下節點與匯聚節點之間的信道狀態。
(3)在步驟(1)和步驟(2)的基礎上，本發明所涉及的數據傳輸流程如圖1-圖3所示。
(3.1)如圖1所示，當節點採集到數據時，首先根據步驟(2)中的信道模型判斷當前節點與匯聚節點之間的信道狀態。如果兩者之間的信道狀態良好，則將數據直接發送給匯聚節點；否則，利用增強學習算法選擇中繼節點進行數據轉發，具體過程見步驟(3.3)。另外，需要說明的是，在發送數據時均以報文的形式進行發送，數據報文的欄位包括發送節點的位置、發送節點的剩餘能量、發送節點至Sink節點的最優路徑的質量、下一跳節點的標識以及負載數據。其中下一跳節點用於指明由哪個節點進行轉發。
(3.2)如圖2所示，當節點偵聽到其它節點發送過來的數據報文時，首先提取報文中的信息，將有關發送節點的信息插入或更新到本地鄰居表中。通過這一舉措，節點可以在傳輸數據的過程中不斷地獲得鄰居節點的最新信息。然後，當前節點判斷自身是否是報文中所指示的下一跳節點，如果不是，則直接丟棄數據報文；否則，根據步驟(2)的信道模型判斷自身與匯聚節點之間的信道狀態，如果狀態良好，則將數據直接發送給匯聚節點；否則，利用增強學習算法選擇中繼節點進行數據轉發，具體過程見步驟(3.3)。
(3.3)如圖3所示，當需要中繼節點進行數據轉發時，利用增強學習算法選擇路由路徑。將當前節點到匯聚節點的路徑選擇過程作為一個增強學習任務，並將該任務描述為一個馬爾可夫決策過程MDP(S；A；P；R)，其中S是所有可能的狀態集合，A是可能的動作集合，P代表的是狀態轉移的概率，R是從環境中獲得的反饋值。代理在狀態si採取動作ai，則會收到環境的一個立即反饋值ri。一個馬爾可夫決策過程則是由這一系列動作si、狀態ai和立即反饋值ri所組成的集合。
(3.3.1)當前節點按照公式(4)計算每個鄰居節點相對應的Q值，選擇Q值最大的節點作為下一跳節點。
Qnew(i，j)＝(1-α)Qold(i，j)+α(L(i，j)+Rj) (4)
式(4)中，Qnew(i，j)代表當前節點i通過候選節點j到達匯聚節點的路徑質量的當前值，Qold(i，j)則為歷史值；α是一常量，代表學習率，這一因子決定了歷史信息和當前信息兩部分的權重。如果人體姿勢變化較為頻繁，則當前信息佔較高的權重。反之，如果監測的是臥床病人，則歷史信息佔較高的權重。本發明綜合考慮兩方面的因素，α取值為0.5；Rj代表本地所存儲的節點j到匯聚節點的最優路徑的質量；L(i，j)代表從節點i到節點j的直接鏈路質量，可通過公式(5)計算。
式(5)中，Ej代表節點j的剩餘能量，Aj、Bj和Cj分別代表按照節點部署位置、節點重要性和節點工作量所劃分的節點j的等級(詳見步驟1所述)，Dij則代表節點i到節點j的距離。
(3.3.2)若當前節點i選擇節點j作為下一跳轉發節點，則按照公式(6)更新自身的Ri值。
Ri＝Qnew(i，j) (6)
式(6)中，Ri表示當前所找到的節點i至匯聚節點的最優路徑的質量。公式(6)表明，此刻，當前節點i至匯聚節點的最優路徑則是通過節點.j到達匯聚節點。
(3.3.3)當前節點i在將報文發送出去之前，更新數據報文，將自身的位置信息、剩餘能量、當前所找到的至匯聚節點的最優路徑的質量Ri和所選擇的下一跳節點j替換到數據報文的頭部。然後，節點i將更新後的數據報文發送出去。通過這種方式，節點在發送數據報文的過程中捎帶了反饋值R，這就節省了發送控制報文的能量開銷。
(3.3.4)當下一跳節點j偵聽到數據報文時，按照步驟(3.2)進行。直到數據報文抵達匯聚節點，一次數據傳輸過程結束。本發明通過這樣一個學習過程來不斷地優化路徑選擇，並且在傳輸數據報文時攜帶了反饋值R，通過這種方式節省了發送控制報文的能量開銷。