一種基於視覺定位的醫用物流機器人系統及其控制方法與流程

2023-09-15 07:52:45 2

本發明涉及智慧機器人技術領域，尤其涉及一種基於視覺定位的醫用物流機器人系統及其控制方法。

背景技術：

現階段我國大部分醫院物流發展的現狀大都是「專職遞送隊伍+手推車+多部電梯」，如今人工成本大大提高，而且工作量大，重複性高，職工配送壓力大，容易產生厭煩的情緒，經常會出現誤配或延遲的情況，這樣的物流傳輸方式有著明顯的弊端。

隨著經濟的發展，市場迅速擴大，運輸過程的複雜度不斷提高，尤其在醫院，人們對於運輸效率及安全性的要求越來越強烈。選擇適合我國國情和醫院實際的醫用物流機器人，不僅可以提高工作效率，而且能夠減低綜合成本，提高醫院競爭力，進而提高醫院整體運營效益，其應用價值是十分明顯的。

技術實現要素：

有鑑於現有技術的上述缺陷，本發明所要解決的技術問題是提供一種基於視覺定位的醫用物流機器人系統及其控制方法，以解決現有技術的不足。

為實現上述目的，本發明提供了

本發明的一種基於視覺定位的醫用物流機器人系統，包括中央處理器、通訊模塊、雷射導引模塊、定位模塊、報警模塊、人機互動模塊、遠程伺服器和避障模塊；所述中央處理器與通訊模塊、雷射導引模塊、定位模塊、報警模塊、避障模塊電連接，所述通訊模塊與人機互動模塊連接，所述定位模塊與遠程伺服器連接；通訊模塊，用於接收人機互動模塊或者遠程控制終端的控制信號，並將控制信號發送至中央處理器；雷射導引模塊，包括安裝在機器人上的雷射掃描器、安裝在醫院建築物牆體中的雷射反射板及其存儲器；避障模塊包括安裝在機器人前面、左面和右面的多個紅外傳感器，用來檢測左前方、前方和右前方的障礙物；報警模塊包括蜂鳴器，用於當有人惡意騷擾時提醒並且發出警報；定位模塊包括攝像頭，用以掃描周圍圖像並對門牌號進行識別；中央處理器，接收所述通訊模塊的運送指令，初次規劃機器人的行進路線；並將初次規劃路線發送給所述雷射導引模塊，引導機器人按設定路逕行進；根據接收到避障模塊的障礙物信息，二次規劃機器人的行進路線，及時避開障礙物；中央處理器接收到報警模塊的惡意騷擾信息後，通過所述定位模塊將機器人的周圍圖像信息和位置信息發送給遠程伺服器，以提醒工作人員；機器人到達設定目的地後，中央處理器通過所述定位模塊開啟門牌識別功能，將識別到的門牌號發送給遠程伺服器，由工作人員確認是否準確送達。

上述雷射掃描器具體採用的是sick公司生產的nav200雷射掃描器。

本發明的基於視覺定位的醫用物流機器人系統的控制方法，包括以下步驟：

(1)在機器人行走路線的醫院建築物牆體中預先安裝好雷射反射板，並測量每塊所述雷射反射板所在的坐標位置，將所述雷射反射板的具體位置信息存儲在雷射反射板的存儲器中；

(2)由人機互動模塊或者遠程控制終端發送指令，命令機器人運送設定物品到達設定地點；

(3)通訊模塊將人機互動模塊發出的運送指令傳輸到中央處理器，所述中央處理器根據接收到的運送指令，在起始點和目的地之間規劃出初始行進路線，喚醒機器人，開始工作；

(4)醫用物流機器人利用所述雷射掃描器向空間發射雷射脈衝信號，安裝在地面上的所述雷射反射板反射該雷射信號，所述雷射掃描器同時接收由雷射反射板返回的雷射信號，通過測量發射光脈衝從發出到反射回來的時間間隔測量出機器人到雷射反射板的距離，通過測量反射光線與機器人前進方向所成的角度θ，測量出機器人的方位，多次測量取其均值；所述雷射掃描器對多次採集到的數據進行位置和運動方向的幾何計算，並輸出當前坐標從而進行位置識別，確定機器人當前位置和航向，通過和內置的數字地圖進行對比來校正方位並進行導引計算，不斷對機器人的前進方向角進行修正，從而引導機器人沿設定路逕行走；

(5)醫用物流機器人利用紅外傳感器中的發射管發射設定頻率的紅外信號，當紅外傳感器的檢測方向遇到障礙物時，紅外信號反射回來被接收管接收，從而判斷機器人行進方向是否有障礙物，如果沒有障礙物，則按照規劃好的路徑走；如果有，所述中央處理器檢測紅外傳感器的工作狀態，根據接收管採集到的信號，利用基於能量函數的避障算法(即步驟5a-5c)，在機器人當前位置和目標節點之間重新規劃出一條最短的移動路徑，實現主動繞開障礙物；

(6)醫用物流機器人根據報警模塊是否持續接收到紅外信號來判斷是否有人進行惡意騷擾，如果有，則蜂鳴器發出聲響，警告騷擾人並且開啟定位模塊中的攝像頭，將機器人的周圍圖像信息和具體位置信息通過所述通訊模塊發送到中央處理器，提醒工作人員；

(7)醫用物流機器人到達目的地後，所述中央處理器控制攝像頭對目的地的門牌號及周圍信息進行識別，將圖像信息發送至所述遠程控制終端，進行目的地確認，如果符合要求，則停止行進，將貨物送達，轉向步驟(8)；如若不符合要求，則表示物品配送發生了錯誤，則待在原處等待新指令；

(8)醫用物流機器人達到設定目的地後，語音提示醫護人員及時取走貨物，並且接受醫護人員輸入新的指令或等待所述遠程控制終端發送的新指令。

步驟(2)中，由所述人機互動模塊或者由遠程控制終端發送指令，命令機器人運送設定物品到達設定地點，是指醫護人員可以在人機操作界面通過觸屏器直接對機器人發出配送要求指令，也可以在遠程控制終端，通過無線網絡給機器人發出配送要求，包括但不限於物品名稱、物品數量、出發地和目的地。

步驟(4)中，具體實現方法如下：(4a)機器人進入導引區域後首先確定其準確方位，初始位置計算時小車機器人停止不動，保證雷射掃描器測得的光束大於四條，並且知道各雷射反射板的準確位置；(4b)所述雷射掃描器按照固定轉速旋轉360度，所述雷射掃描器將雷射發射到發射板上後，經發射板反射後被所述雷射掃描器探測到機器人的當前運行速度、轉向角和間隔時間；(4c)運行中的機器人不斷接受三個已知位置反射回來的雷射脈衝，所述雷射掃描器將步驟(4b)中探測到的信息傳輸給中央處理器，所述中央處理器對信息進行幾何運算，準確計算出機器人的位置和運動方向；計算出機器人的位置和方位後，和控制指令中預設路徑進行對比校正，不斷對機器人的前進方向角進行修正，這個過程隨著機器人前進不斷進行，最終達到引導機器人朝目的地運行的目的。

步驟(4c)中，機器人的位置和運動方向計算方法如下：已知三個反射回來雷射脈衝的參考點r1，r2，r3在坐標系xoy中的坐標分別為(x1,y1)(x2,y2)和(x3,y3)，當測得機器人前進方向和三個參考點的夾角θ1，θ2和θ3時,則機器人坐標和前進方向按下面的方法求得：

令α＝θ1-θ2，β＝θ1-θ3，圓o12表示經過機器人，r1，r2的圓，圓o13表示經過機器人r1和r3的圓，則圓心坐標o12(x12,y12)和o13(x13,y13)為

(x12,y12)＝(x1+p1,y1+q1)(1)

(x13,y13)＝(x1+p2,y1+q2)(2)

式(1)和(2)中，

其中，l12表示r1和r2之間的距離，l13表示r1和r3之間的距離，δ1表示l12與x軸之間的夾角，δ2表示l12與l13之間的夾角；

由方程(1)和(2),圓o12和o13可表示為：

o12:(xv-x1-p1)2+(yv-y1-q1)2＝p12+q12(3)

o13:(xv-x1-p2)2+(yv-y1-q2)2＝p22+q22(4)

通過解方程(3)和(4)，可得到小車的位置為：

(xv,yv)＝[x1+k(q2-q1),y1-k(p2-p1)](5)

其中，

求得小車位置(xv,yv)後，小車方向可由式(6)求得：

步驟(5)具體方法如下：(5a)如果發現前進道路上有障礙物，則計算整條路徑碰撞罰函數的能量ec，設k為障礙物個數，n為機器人行走路徑的所有轉彎節點個數，表示第i個路徑點對第k個障礙物的碰撞罰函數，通過它對障礙物的神經網絡表示得到，神經網絡模型包括輸入層、中間層和輸出層，輸入層的兩個結點分別表示給定路徑點的坐標，中間層的每個結點相應於障礙物的一條邊的不等式限制條件，運算關係如下:

其中各符號含義：

ik:頂層結點輸入；

θt:頂層結點閾值；

ohm：中間層第m個結點的輸出；

ihm：中間層第m個結點的輸入；

θhm：中間層第m個結點的閾值；

wxm,wym：第m個不等式限制條件的係數；

f(x):中間層和輸出層的激發函數；

t:隨時間變化的人為設置的溫度；

則整條路徑相應於碰撞函數部分的能量為：

(5b)計算整條路徑長度部分的能量el，即對所有路徑節點p(xi,yi)，i＝1，2，…

n,計算所有線段的長度平方之和：

其中，(xi,yi)是機器人行走路徑的所有轉彎節點的坐標；

(5c)計算整條路徑的總能量函數e。，由碰撞罰函數ec和路徑長度el兩部分的加權和建立代價函數e＝wlel+wcec，其中，wl和wc是對應的調節係數，當e取得最小值時得到的一系列路徑節點即為新規劃的機器人行走路徑節點，即可完成路徑重新規劃，機器人按照此路徑節點進行運動到達目的地。

步驟(7)具體方法如下：

(6a)圖像預處理，載入掃描到的門牌圖像，轉為數字圖像f(m,n),將彩色圖像轉換為灰度圖像，對圖像進行去噪、平滑處理；

(6b)門牌定位，利用sobel算子法進行邊緣點判定，其水平梯度模板為垂直梯度模板為根據梯度公式gh(m,n)＝f(m,n)*wh，gv(m,n)＝f(m,n)*wv進行圖像處理，其中(m,n)為圖像元素，f(m,n)表示原圖像的灰度值分布函數，g(m,n)表示圖像邊緣的梯度值，*表示模板與原圖像進行卷積運算；根據梯度幅度公式進行梯度合成；選取閾值t＝0.5,對梯度圖像進行二值化，即邊緣二值化圖像從而檢測出邊緣點；根據獲取的圖像邊緣，通過數學形態學變換得到閉合的連通的門牌候選區域，經過判別是否有效，顯示定位結果；

(6c)門牌字符分割，首先採用hough變換方法來獲取(6b)定位出來的二值門牌圖像的傾斜角，並進行旋轉校正處理，再去除門牌的邊框和鉚釘，統一門牌底色和字符顏色，然後採用腐蝕運算和膨脹運算對二值門牌圖像進行處理，由門牌的先驗知識確定門牌圖像在垂直方向的投影必然在字符間或字符內的間隙處取得局部最小值；結合垂直投影法和門牌的先驗知識來獲取門牌字符的左右分割位置；引入特徵值其中，width表示門牌的寬度，proj(i)表示圖像第i列上所有像素灰度值之和，λ表示常數參量，取λ＝0.5，round(x)函數表示對數值x取整；從任何一個分割點開始，經過一個超越特徵值z的波峰後找到的第一個波谷值即為下一個分割點的位置；

(6d)門牌字符識別，採用模板匹配法，選擇雙線性插值法對分割後的門牌字符進行歸一化處理為模板的大小，f(xi,yi)為原字符圖像的灰度值，g(xk,yk)為歸一化後的字符圖像的灰度值，g(xk,yk)中的任意一點(xk,yk)對應於f(xi,yi)中的任意一點(xi,yi)，設原圖像的任意像素點(xi,yi)的周圍四個網格點分別為(i,j),(i,j+1),(i+1,j),(i+1,j+1)，i是xi取整後的值，j是yi取整後的值；將這四個點的像素灰度值進行加權作為插值結果得到歸一化後的字符圖像，則雙線性插值可以通過以下三個公式來實現：u＝(1-λ)f(i,j)+λf(i,j+1)，v＝(1-λ)f(i+1,j)+λf(i+1,j+1)，g(xk,yk)＝(1-μ)u+μv，其中λ＝|xi-i|,μ＝|yi-j|；計算與模板集合匹配的相似度，選擇最佳匹配結果。

本發明的有益效果是：

(1)本發明採用了能量函數的避障算法以及報警器，避免障礙物的碰撞，並且可以對人為的惡意騷擾進行警報，避免了貨物的二次損耗。

(2)採用門牌識別以及雷射導航，能夠定位精確，確保配送無誤；地面無需其他定位設施；行駛路徑可靈活多變，能夠適合多種現場環境。

(3)本發明提高了物流運送效率，降低人工成本，具有高效性，安全性和可靠性。

以下將結合附圖對本發明的構思、具體結構及產生的技術效果作進一步說明，以充分地了解本發明的目的、特徵和效果。

附圖說明

圖1為本發明的系統組成方框圖；

圖2為本發明的系統工作流程圖；

圖3為本發明中在目標定位中門牌識別算法流程圖。

具體實施方式

如圖1所示，一種基於視覺定位的醫用物流機器人系統，包括中央處理器1、通訊模塊2、雷射導引模塊3、定位模塊4、報警模塊5、人機互動模塊6、遠程伺服器7和避障模塊8，所述中央處理器1與通訊模塊2、雷射導引模塊3、定位模塊4、報警模塊5、避障模塊8電連接，所述通訊模塊2與人機互動模塊6連接，所述定位模塊4與遠程伺服器7連接，其中：所述人機互動模塊6包括觸屏器、語音輸入系統，提供人機操作及顯示界面；通訊模塊2，用於接收人機互動模塊6或者遠程控制終端的控制信號，並將控制信號發送至中央處理器1；雷射導引模塊3，包括安裝在機器人上的雷射掃描器，安裝在醫院建築物牆體中的雷射反射板及其存儲器，用於識別機器人位置與航向，引導機器人沿規劃路逕行走；避障模塊8包括光電紅外傳感器，用來檢測障礙物和路徑二次規劃，使機器人及時繞開障礙物，成功到達目的地；所述報警模塊5包括蜂鳴器，當有人惡意騷擾時可以提醒並且發出警報；定位模塊4包括攝像頭，用來識別目的地的門牌號等信息，並由遠程伺服器判斷是否配送準確，從而進行精確定位。

如圖2所示，一種基於視覺定位的醫用物流機器人控制方法，包括以下步驟：

(1)在機器人行走路線的醫院建築物牆體中預先安裝好雷射反射板，並精確測量每塊雷射反射板所在的坐標位置，將相關信息存儲在雷射反射板的存儲器中；

(2)由人機互動模塊或者由遠程控制終端發送指令，命令機器人運送指定物品到達指定地點或執行其他任務；

(3)醫用物流機器人通訊模塊將接收到的指令傳輸到中央處理器進行處理，根據接收到的控制指令，喚醒機器人，開始工作；

(4)醫用物流機器人利用雷射掃描器發射雷射，安裝在地面上的雷射反射板反射雷射，雷射掃描器採集到反射雷射，進行識別，確定機器人當前位置和航向，並進行導引計算，從而引導機器人沿規定路逕行走；

(5)醫用物流機器人利用光電紅外傳感器判斷機器人行進方向是否有障礙物，如果沒有障礙物，則按照規劃好的路徑走；如果有，機器人根據自身的位置和朝向信息判斷障礙物的位置，同時更新環境信息，在機器人當前位置和目標節點之間重新規劃出一條最短的移動路徑，實現主動繞開障礙物；

(6)醫用物流機器人根據報警模塊是否持續接收到紅外信號來判斷是否有人進行的惡意騷擾，如果有，則蜂鳴器發出聲響，警告騷擾人並且將相關信息通過通訊模塊發送到中央處理器，提醒工作人員；

(7)醫用物流機器人到達目的地後，控制攝像頭對目的地的門牌號及周圍信息進行識別，將圖像信息發送至遠程控制終端，進行目的地確認，如果符合要求，則停止行進，將貨物準確送達；如若不符合要求，則表示物品配送發生了錯誤，則呆在原處等待新指令；

(8)醫用物流機器人達到指定目的地後，語音提示醫護人員及時取走貨物，並且接受醫護人員輸入新的指令或等待遠程控制終端發送的新指令。

本實施例中，所述步驟(2)中由人機互動模塊或者由遠程控制終端發送指令，命令機器人運送指定物品到達指定地點或執行其他任務，是指醫護人員可以在人機操作界面通過觸屏器直接對機器人發出配送要求指令，也可以在遠程控制終端，通過無線網絡給機器人發出配送要求，包括但不限於物品名稱、物品數量、出發地和目的地。

本實施例中，所述步驟(4)中醫用物流機器人利用雷射掃描器發射雷射，安裝在地面上的雷射反射板反射雷射，雷射掃描器採集到反射雷射，進行識別，確定機器人當前位置和航向，並進行導引計算，從而引導機器人沿規定路逕行走，具體實現步驟為：

(4a)機器人進入導引區域後首先應該確定其準確方位，初始位置計算時小車機器人停止不動，保證雷射掃描器測得的光束大於四條，並且知道各雷射反射板的準確位置；

(4b)雷射掃描器按照固定轉速旋轉360度，雷射掃描器將雷射發射到發射板上後，經發射板反射後被雷射掃描器探測到機器人的當前運行速度、轉向角和間隔時間等；

(4c)雷射掃面器將這些信息傳輸給中央處理器，中央處理器對信息進行分析處理，準確計算出機器人的位置和運動方向，然後和控制指令中預設路徑進行對比校正，不斷對機器人的前進方向角進行修正，這個過程隨著機器人前進不斷進行，最終達到引導機器人朝目的地運行的目的。

本實施例中，所述步驟(5)中醫用物流機器人利用光電紅外傳感器判斷機器人行進方向是否有障礙物，如果沒有障礙物，則按照規劃好的路徑走；如果有，機器人根據自身的位置和朝向信息判斷障礙物的位置，同時更新環境信息，在機器人當前位置和目標節點之間重新規劃出一條最短的移動路徑，實現主動繞開障礙物，具體步驟為：

(5a)如果發現前進道路上有障礙物，則計算整條路徑碰撞罰函數的能量ec，設k為障礙物個數，n為機器人行走路徑的所有轉彎節點個數，表示第i個路徑點對第k個障礙物的碰撞罰函數，則整條路徑相應於碰撞函數部分的能量為：

(5b)計算整條路徑長度部分的能量el，即對所有路徑節點p(xi,yi)，i＝1，2，…n,計算所有線段的長度平方之和：

其中，(xi,yi)是機器人行走路徑的所有轉彎節點的坐標；

(5c)計算整條路徑的總能量函數e。，由碰撞罰函數ec和路徑長度el兩部分的加權和建立代價函數e＝wlel+wcec，其中，wl和wc是對應的調節係數，當e取得最小值時得到的一系列路徑節點即為新規劃的機器人行走路徑節點，即可完成路徑重新規劃，機器人按照此路徑節點進行運動到達目的地。

本實施例中，所述步驟(7)中醫用物流機器人到達目的地後，控制攝像頭對目的地的門牌號及周圍信息進行識別，將圖像信息發送至遠程控制終端，進行目的地確認，如果符合要求，則停止行進，將貨物準確送達；如若不符合要求，則表示物品配送發生了錯誤，則呆在原處等待新指令，其中門牌號識別具體步驟如下：

(6a)圖像預處理，載入掃描到的門牌圖像，轉為數字圖像f(m,n),將彩色圖像轉換為灰度圖像，對圖像進行去噪、平滑處理，以便進一步的圖像分析；

(6b)門牌定位，利用sobel算子法進行邊緣點判定，其水平梯度模板為垂直梯度模板為根據梯度公式gh(m,n)＝f(m,n)*wh，gv(m,n)＝f(m,n)*wv進行圖像處理，其中(m,n)為圖像元素，f(m,n)表示原圖像的灰度值分布函數，g(m,n)表示圖像邊緣的梯度值，*表示模板與原圖像進行卷積運算；根據梯度幅度公式進行梯度合成；選取閾值t＝0.5,對梯度圖像進行二值化，即邊緣二值化圖像從而檢測出邊緣點；根據獲取的圖像邊緣，通過數學形態學變換得到閉合的連通的門牌候選區域，經過判別是否有效，顯示定位結果；

(6c)門牌字符分割，首先採用hough變換方法來獲取(6b)定位出來的二值門牌圖像的傾斜角，並進行旋轉校正處理，在此基礎上，再去除門牌的邊框和鉚釘，統一門牌底色和字符顏色，然後採用腐蝕運算和膨脹運算對二值門牌圖像進行處理，由門牌的先驗知識可以確定門牌圖像在垂直方向的投影必然在字符間或字符內的間隙處取得局部最小值，因此字符的正確位置分割在上述局部最小值的附近，結合垂直投影法和門牌的先驗知識來獲取門牌字符的左右分割位置；

(6d)門牌字符識別，採用模板匹配法，選擇雙線性插值法對分割後的門牌字符進行歸一化處理為模板的大小，設原圖像的任意像素點(xi,yi)的周圍四個網格點分別為(i,j),(i,j+1),(i+1,j),(i+1,j+1)，則雙線性插值可以通過以下三個公式來實現：u＝(1-λ)f(i,j)+λf(i,j+1)，v＝(1-λ)f(i+1,j)+λf(i+1,j+1)，g(x'k,y'k)＝(1-μ)u+μv，其中λ＝|xk-i|,μ＝|yk-j|。計算與模板集合匹配的相似度，選擇最佳匹配結果。

綜上，本發明具有以下優點：

(1)本發明採用了能量函數的避障算法以及報警器，避免障礙物的碰撞，並且可以對人為的惡意騷擾進行警報，避免了貨物的二次損耗。

(2)採用門牌識別以及雷射導航，能夠定位精確，確保配送無誤；地面無需其他定位設施；行駛路徑可靈活多變，能夠適合多種現場環境。

(3)本發明提高了物流運送效率，降低人工成本，具有高效性，安全性和可靠性。

以上詳細描述了本發明的較佳具體實施例。應當理解，本領域的普通技術人員無需創造性勞動就可以根據本發明的構思做出諸多修改和變化。因此，凡本技術領域中技術人員依本發明的構思在現有技術的基礎上通過邏輯分析、推理或者有限的實驗可以得到的技術方案，皆應在由權利要求書所確定的保護範圍內。