一種工業環境實景增強式交互終端及系統的製作方法

2023-05-12 03:19:06 3

本發明涉及工業控制領域，具體地，涉及工業環境實景增強式交互系統。這種交互系統涉及了ar(增強現實)技術、plc(可編程邏輯控制器)數據監控採集技術、藍牙無線組網和短距定位技術、以及hmi(人機接口)組態技術。

背景技術：

美國智能製造領導力聯盟於2011年提出了智能製造的概念。德國於2013年在漢諾瓦工博會上提出了工業4.0，並將其納入由德國政府發布的《德國2020高技術戰略》的十大未來項目中，希望在新一輪的工業革命中佔領先機。中國在2015年由國家工信部牽頭制定了《中國製造2025》等戰略級計劃。由此可見，工業控制系統受到越來越多國家的重視。

工業控制系統是強國之基礎，大到核電廠、航空航天、軌道交通，小到民營生產等等，據統計，超過80％的涉及國計民生的領域都需要工業控制系統來實現自動化作業，其先進性和現代化程度緊密關係著國家的戰略布局。plc作為工業現場新型、通用的控制器，有著組裝靈活、安全性高、抗幹擾能力強等顯著優點，已經被廣泛而大量地運用在了各大工業現場。控制器的不斷升級和革新為工業控制的生產、維護以及管理等諸多方面帶來了質的突破，然而，配套輔助設施的突破性及創新性不夠明顯。大量的工業現場都存在以下這些現象：傳統的只使用物理按鍵的機械式hmi操作方式沿用至今，控制方式固定死板；為設備配置獨立的物理顯示器，成本高昂，數據相對孤立；工業現場採用全有線數據傳輸，布線極其繁瑣複雜等等。工業4.0時代如何改善傳統工業製造模式並使其向智能製造轉型很大程度上和現有實現技術是息息相關的。

雖然市場中的plc品牌的種類繁多，但是主流的控制器廠商卻屈指可數，被廣泛使用且具有影響力的工業現場通信協議數量並不多，這使得針對市場主流plc進行協議對接和設備數據採集成為可能。另外，物聯網以及無線通信技術的迅速發展為工業級數據傳輸方式帶來了新的擴展途徑，國家3g/4g傳輸速率大幅提升且覆蓋範圍日益完善，藍牙自4.0+開始逐步實現了低功耗、自組網以及安全加密等優越的新特性，更加貼合工業使用環境。除此之外，視覺上，ar相關的技術熱潮正衝擊著傳統物理屏幕的靜態的固定顯示方式；肢體上，景深攝像頭的使用逐漸開闢了一個人機自然交互的新市場。與此同時，大數據的不斷發展和人們對安全性的空前重視使得在工業環境中使用在線專家診斷系統的技術成為熱門，上述每一點所涉及的新技術都可能在工業界帶來開創性的技術融合與革新。

本發明針對傳統工業現場目前實際存在的上述問題，以及觀測設備固定、數量眾多且不能被復用、成本較高、佔用較大的空間，組態調用、顯示及觀測方式不夠靈活、人機互動方式不夠靈活、設備診斷效果需要進一步改善等問題，提出了一種工業環境實景增強式交互終端和系統。

技術實現要素：

為了至少部分解決傳統工業現場目前實際存在的上述技術問題，本發明提出了工業環境實景增強式交互終端和系統。

本發明提出了一種工業環境實景增強式交互終端，包括：ar設備；智能定位模塊，用於實時定位追蹤ar設備的位置信息，同時給出工業設備的物理服務範圍；實時數據採集模塊，用於採集工業設備的實時數據和對工業設備進行實時數據的反饋；以及，無線通信模塊，用於在ar設備進入工業設備的物理服務範圍內時，對實時數據採集模塊所採集的工業設備的實時數據、與ar設備產生的交互數據進行雙向傳輸，實時連續地更新；其中的ar設備包括ar後臺組態模塊和ar實景自適配模塊，ar後臺組態模塊用於獲取工業設備的各項參數指標及附加實時數據，同時用於接收和解釋ar設備的指令，以實現組態環境的生成和/或更新；其中的ar實景自適配模塊用於捕捉ar設備視野中的實際觀測對象，自動調整所採集的工業設備的實時數據的呈現位置及方式，顯示虛擬化的觀測操作界面，調用並界面化顯示由ar後臺組態模塊所生成和/或更新的組態環境。

根據本發明的這種實景增強式交互終端已經提供了一種全新的組態調用、顯示及觀測的方式，通過隨身佩戴工業環境實景增強式交互終端(例如，其可以被實現為無線接入的ar設備的形式，還可以是可以移動的其他顯示和交互裝置)的移動式復用，可在一定程度上減少工業環境傳統顯示設備的數量，降低採購成本，更加節約能耗和設備佔用空間。

而且，根據本發明的這種實景增強式交互終端由於採用了物理與體感相結合的人機互動方式，所以不僅能夠以高精度的操作來使用對物理設備的控制，從而保證其具有傳統工業中的穩定性、安全性和可靠性；而且能夠以低精度和提示性的操作來使用手勢、語音等更為自然的方式進行人機互動，從而使數據交互更加直觀、便捷、人性化。

根據本發明的實景增強式交互終端，其中的實時數據採集模塊包括：數據獲取裝置，用於採集工業設備的實時數據；以及，數據反饋裝置，用於對所採集的工業設備進行實時數據的反饋。

根據本發明的實景增強式交互終端，其中的實時數據採集模塊採用有線接入方式或無線接入方式，且在網絡接入時綁定所述工業設備的ip地址。

根據本發明的實景增強式交互終端，其中的實時數據採集模塊分別採用以下有線接入方式或無線接入方式中的至少一種：串口、網線、wifi、2g/3g/4g。

根據本發明的實景增強式交互終端，其中的實時數據採集模塊基於網絡的方案採用c/s架構的客戶端或b/s架構的web服務的數據訪問方式。

根據本發明的實景增強式交互終端，其中的智能定位模塊是採用帶組網物聯的無線定位技術的定位模塊。

根據本發明的實景增強式交互終端，其中的智能定位模塊採用以下帶組網物聯的無線定位技術：藍牙無線定位技術，用於給出工業設備的服務範圍；藍牙組網技術，用於多設備互聯且匯總數據從而提供模擬工業現場的虛擬節點設備。

根據本發明的實景增強式交互終端，其中的無線通信模塊採用藍牙作為基礎通信方案，並且擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案，用於在所述ar設備進入智能定位模塊的控制節點設備的服務範圍內時，將ar設備的指令按照相關協議發送到控制節點設備，從而啟用控制節點設備的設備控制屬性，其中所述ar設備採用藍牙作為基礎通信方案，或者擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案。

根據本發明的實景增強式交互終端，ar實景自適配模塊自動調整和選擇組態界面或通用界面的配置，用於在ar設備上顯示所採集的工業設備的實時數據。

根據本發明的第二個方面，提出了一種工業環境實景增強式交互系統，包括以下設備：需要進行實時數據採集和對其進行反饋的工業設備；以及，如上文所述的實景增強式交互終端，其中的工業設備可以採用有線連接和/或無線連接適配的方式來接入實時數據採集模塊，而且，實時數據採集模塊不與工業設備(即節點設備)串口直連，而是通過網絡方式與其進行連接時，實時數據採集模塊本身可作為虛擬節點。

如本領域的技術人員能夠理解的，根據本發明的實景增強式交互終端和系統能夠獲得如下有益效果：

本發明的實景增強式交互終端和系統提供了一種全新的組態調用、顯示及觀測的方式，通過隨身佩戴ar設備的移動式復用，可在一定程度上減少工業環境傳統顯示設備的數量，降低採購成本，更加節約能耗和設備佔用空間，同時緩解現場複雜布線問題。

本發明的實景增強式交互終端和系統由於採用了物理與體感相結合的人機互動方式，所以不僅能夠以高精度的操作來使用對物理設備的控制，從而保證其具有傳統工業中的穩定性、安全性和可靠性；而且能夠以低精度和提示性的操作來使用手勢、語音等更為自然的方式進行人機互動，從而使數據交互更加直觀、便捷、人性化。

本發明的實景增強式交互終端和系統結合在線診斷技術，擴展配合在線專家診斷系統，不僅可以提供豐富的例如參數指標預警提示等輔助服務，還可達到減少培訓成本、降低失誤操作概率、提升設備管理效率等目的。

附圖說明

通過閱讀下文具體實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出具體實施方式的目的，而並不認為是對本發明的限制。而且在附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1示出了根據本發明的實施方式的工業環境實景增強式交互系統的總體示意圖；

圖2示出了根據本發明的實施方式的工業環境實景增強式交互系統中的工業環境實景增強式交互終端的結構框圖；

圖3示出了根據本發明的實施方式的工業環境實景增強式交互終端中的實時數據採集模塊的示例性的結構框圖；

圖4示出了與根據本發明的實施方式的工業環境實景增強式交互終端進行交互的示例性的工業設備的結構框圖；

圖5示出了根據本發明的實施方式的實景增強式交互系統所實現的方法流程圖；

圖6示出了根據本發明的實施方式的實景增強式交互終端與工業設備進行交互的方法流程圖；以及

圖7示出了根據本發明具體實施方式的工業環境實景增強式交互系統的系統框架圖。

具體實施方式

下面將參照附圖更詳細地描述本發明的示例性實施方式。雖然附圖中顯示了本發明的示例性實施方式，然而應當理解，能夠以各種形式實現本發明而不應被這裡闡述的實施方式所限制。相反，提供這些實施方式是為了能夠更透徹地理解本發明，並且能夠將本發明的範圍完整的傳達給本領域的技術人員。

圖1示出了根據本發明的實施方式的工業環境實景增強式交互系統的總體示意圖。如圖1所示，整個系統示意性地包括實景增強式交互終端和工業現場設備，所述實景增強式交互終端包括實時數據採集模塊、智能定位模塊、無線通信模塊、ar設備。

其中，實時數據採集模塊是整個所述系統的基礎模塊，其通過適配市面主流plc(例如西門子、三菱、歐姆龍等)，支持多種工業現場總線通訊協議(例如profinet、ethercat、modbus等)，用於採集工業設備(即，工業現場節點設備)的實時數據，同時需要對工業現場設備進行數據反饋，二者之間的基礎連接方式為有線連接方式(例如，在圖1中示出了工業用網線和採用uart的串口方式，但是並不僅限於這兩種)。實時數據採集模塊可以採用有線接入方式或無線接入方式，可以分別採用以下有線接入方式或無線接入方式中的至少一種：串口、網線、wifi、2g/3g/4g。實時數據採集模塊基於網絡採集的方案可以採用c/s架構的客戶端或b/s架構的web服務來訪問數據，並且數據監測及管理的api可開放給第三方進行多方擴展。

其中，無線通信模塊(例如，在圖1中示出了包含藍牙、wifi的無線通信模塊，但是並不僅限於這兩種)，用於在ar設備和工業現場設備之間進行通信。由此，無線通信模塊可以採用藍牙作為基礎通信方案，並且擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案，用於在帶有通過上述通信方案實現的無線功能的ar設備進入智能定位模塊的控制節點設備的服務範圍內時，將ar設備的指令按照相關協議發送到控制節點設備，從而啟用控制節點設備的設備控制屬性。具體地，一旦所述ar設備進入所述系統服務範圍內，無線通信模塊將所述實時數據採集模塊獲取的數據與所述系統的ar設備產生的交互數據進行雙向傳輸，實時連續地更新。

其中，智能定位模塊，採用主流的無線定位技術及方案(例如，藍牙定位、lora定位、室內gps定位等)，一方面給出系統中每個節點設備的物理服務的範圍，另一方面實時檢測並追蹤所述系統的使用者進入服務範圍後的位置信息。智能定位模塊可以是採用帶組網物聯的無線定位技術的定位模塊，可以採用以下帶組網物聯的無線定位技術：藍牙無線定位技術，用於給出工業設備的服務範圍；若存在服務範圍部分重疊的多臺設備則可相互組成網絡，實現多設備互聯，模擬虛擬化的i/o數據節點。

其中，ar設備包含ar實景自適配模塊和ar後臺組態模塊。當所述系統的ar設備獲取所述無線通信模塊傳來的所述實時數據採集模塊採集到的數據，ar實景自適配模塊和ar後臺組態模塊協同運行，所述ar實景自適配模塊根據捕獲到的所述ar設備視野中的實際觀測對象，自動調整數據呈現位置及方式並且顯示虛擬化的觀測操及作界面，即，可以自動調整和選擇組態界面或通用界面的配置，為所接收數據提供更加合適的方式顯示於所述系統ar設備中；所述ar後臺組態模塊通過獲取設備各項參數指標、待接收和解釋的ar設備操作指令等實時數據，及時完成組態環境的生成和更新功能，ar後臺組態模塊還可以包括在線專家診斷系統，用於進行指標提取分析，並且用於進行綜合評判以給出優選決策提示，以供使用者針對多種方案做出決策。

如圖2，其以功能模塊的形式示出了根據本發明的實施方式的工業環境實景增強式交互系統中的工業環境實景增強式交互終端的結構框圖，該工業環境實景增強式交互終端包括實時數據採集模塊、智能定位模塊、無線通信模塊、ar設備，上述各模塊的功能與圖1中相應模塊的功能相對應。

其中，智能定位模塊，用於實時定位追蹤ar設備的位置信息，同時給出工業設備的物理服務範圍；實時數據採集模塊，用於採集工業設備的實時數據和對工業設備進行實時數據的反饋；以及，無線通信模塊，用於在ar設備進入工業設備的物理服務範圍內時，對實時數據採集模塊所採集的工業設備的實時數據、以及對ar設備的指令進行轉發，實時連續地更新；其中的ar設備包括ar後臺組態模塊和ar實景自適配模塊，ar後臺組態模塊用於獲取工業設備的各項參數指標及附加實時數據，同時用於接收和解釋ar設備的指令，以實現組態環境的生成和/或更新；其中的ar實景自適配模塊用於捕捉ar設備視野中的實際觀測對象，自動調整所採集的工業設備的實時數據的呈現位置及方式，顯示虛擬化的觀測操作界面，調用並界面化顯示由ar後臺組態模塊所生成和/或更新的組態環境。

如圖2所示，在其中示意性地用雙向箭頭和單向箭頭分別表示了各個模塊之間的雙向和單向數據通信關係。但是本領域的技術人員應該了解的是，圖2中所示出的各模塊之間的數據通信關係僅僅是示意性的，可以設想各模塊之間的其他數據通信關係。

如本領域的技術人員所能了解的，首先，根據本發明的實景增強式交互終端、以及該終端與工業現場設備相結合的系統，提供了一種全新的組態調用、顯示及觀測的方式，通過隨身佩戴ar設備的移動式復用，可在一定程度上減少工業環境傳統顯示設備的數量，降低採購成本，更加節約能耗和設備佔用空間。其次，由於採用了物理與體感相結合的人機互動方式，所以不僅能夠以高精度的操作來使用對物理設備的控制，從而保證其具有傳統工業中的穩定性、安全性和可靠性；而且能夠以低精度和提示性的操作來使用手勢、語音等更為自然的方式進行人機互動，從而使數據交互更加直觀、便捷、人性化。而且，根據本發明的這種實景增強式交互終端可以緩解現場複雜布線問題。

再次，結合了在線診斷技術的這種實景增強式交互終端，因為擴展配合了在線專家診斷系統，所以不僅可以提供豐富的例如參數指標預警提示等輔助服務，還可達到減少培訓成本、降低失誤操作概率、提升設備管理效率等目的。

圖3示出了根據本發明的實施方式的工業環境實景增強式交互終端中的實時數據採集模塊的示例性的結構框圖。如圖3所示，實時數據採集模塊包括數據獲取裝置和數據反饋裝置，其中的數據獲取裝置用於採集工業設備的實時數據；而其中的數據反饋裝置對所採集的工業設備進行實時數據的反饋。

圖4示出了與根據本發明的實施方式的工業環境實景增強式交互終端進行交互的工業設備的結構框圖。如圖4中所示，可選地，工業設備通過串口、網線、wifi、2g/3g/4g中的一種或多種方式與實景增強式交互終端中的實時數據採集模塊連接適配，從而實現工業設備的實時數據採集及反饋功能。

圖5示出了根據本發明的實施方式的實景增強式交互方法的步驟的框圖，其中包括了以實線框的形式表示的實景增強式交互終端可以操作的基本步驟s501至s505。

在步驟s501中，智能定位模塊實時定位追蹤帶無線功能的ar設備的位置信息，同時給出工業設備的物理服務範圍。

在步驟s502中，實時數據採集模塊採集工業設備的實時數據。

在步驟s503中，當ar設備進入工業設備的物理服務範圍內時，無線通信模塊對實時數據採集模塊所採集的工業設備的實時數據、ar設備產生的指令進行數據交互，實時連續地更新。

在步驟s504中，ar後臺組態模塊獲取工業設備的各項參數指標及附加實時數據，同時接收和解釋ar設備的指令，以實現組態環境的生成和/或更新。

在步驟s505中，ar實景自適配模塊捕捉ar設備視野中的實際觀測對象，自動調整所採集的工業設備的實時數據的呈現位置及方式，顯示虛擬化的觀測操作界面，調用並界面化顯示由ar後臺組態模塊所生成和/或更新的組態環境。

根據步驟s504和步驟s505的操作，以及圖2中示出的ar實景自適配模塊與ar後臺組態模塊之間的連接關係，可以看出ar實景自適配模塊和ar後臺組態模塊是協同運行的，但是本領域的技術人員也可以考慮實現相同功能的其他實現方式。

可選擇地，當根據本發明的實景增強式交互終端的無線通信模塊採用藍牙作為基礎通信方案，並且擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案時，實景增強式交互終端還執行步驟s506。在圖5中以虛線框的形式表示的步驟s506中，在帶有通過上述通信方案實現的無線功能的ar設備(相應地，ar設備採用藍牙作為基礎通信方案，或者擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案)進入智能定位模塊的控制節點設備的服務範圍內時，將ar設備的指令按照相關協議發送到控制節點設備，從而啟用控制節點設備的設備控制屬性。

可選擇地，根據本發明的實景增強式交互終端執行步驟s507。在圖5中以虛線框的形式表示的步驟s507中，ar實景自適配模塊自動調整和選擇組態界面或通用界面的配置，用於在ar設備上顯示所採集的工業設備的實時數據。

可選擇地，當ar後臺組態模塊包括在線專家診斷系統時，根據本發明的實景增強式交互終端執行步驟s508。在圖5中以虛線框的形式表示的步驟s508中，在線專家診斷系統進行指標提取分析，並且進行綜合評判以給出優選決策提示，以供使用者針對多種方案做出決策。

圖6示出了根據本發明的實施方式的實景增強式交互終端與工業設備進行交互的方法流程圖。

如圖6所示，其中包括了以實線框的形式表示的工業設備可以操作的基本步驟s601。在步驟s601中，實景增強式交互終端中的實時數據採集模塊通過適配連入工業設備，該適配連入的方式採用有線直連(例如串口、網線)或wifi、2g/3g/4g中的一種或多種方式。

可選擇地，與根據本發明的實景增強式交互終端進行交互的工業設備執行步驟s602。在圖6中以虛線框的形式表示的步驟s602中，服務範圍部分重疊的多個工業設備組成網絡，實現設備互聯，用於模擬虛擬化的i/o數據節點。

可選擇地，在使用其的實景增強式交互系統還包括控制節點設備時，與根據本發明的實景增強式交互終端進行交互的工業設備執行步驟s603。在圖6中以虛線框的形式表示的步驟s603中，當實景增強式交互終端的無線通信模塊採用藍牙作為基礎通信方案，並且擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案時，且在帶有通過上述通信方案實現的無線功能的ar設備(相應地，ar設備採用藍牙作為基礎通信方案，或者擴展到2g/3g/4g、wifi、以及lora通信方案中的至少一種方案)進入智能定位模塊的控制節點設備的服務範圍內時，將ar設備的指令按照相關協議發送到控制節點設備，從而啟用控制節點設備的設備控制屬性。

儘管在圖5、圖6中分別以圖示的示例順序示出了可以由實景增強式交互終端和工業設備執行的可選擇的示例性的步驟。但是，如本領域的技術人員所能夠理解的，這些步驟能夠以其他的順序執行，可以包括可以設想的其他步驟，而且可以包括子步驟。

已經根據上述實施方式實現了根據本發明的工業環境實景增強式交互終端、系統及方法。僅僅出於說明的目的，在此列出了部分實現的細節，以幫助本領域的技術人員理解。

如圖7所示，根據本發明的一個實施方式的數據採集模塊使用了anylinktm產品，anylinktm盒子集成了大量工業級通訊協議(例如profinet、ethercat、modbus等)並適配了市場上的主流plc(例如西門子、三菱、歐姆龍等)，並且提供了任務驅動、設備驅動以及雲端開發的api，在其基礎上進行二次開發方便、快捷；其中的智能定位模塊選用藍牙定位模塊，藍牙晶片採用東芝公司的tc35676晶片或tc35678晶片，它們支持藍牙4.1、具有低耗能和自組網等卓越特點，能夠給出每個工業設備的物理服務範圍，並且若存在服務範圍部分重疊的多臺工業設備則可相互組成網絡，實現多設備互聯，模擬虛擬化的i/o數據節點；其中的無線通信模塊使用上述藍牙晶片，並且在嵌入式設備板(如cortex-m3/m4開發板)的作業系統中進行數據的透傳和任務調度，當ar設備進入智能定位模塊的控制節點設備服務範圍內時，通過無線通信模塊將所採集的工業設備的數據轉發到實景增強式交互終端；實景增強式交互終端可以採用microsoft公司的hololens產品，其重量適中、時延低且帶有景深攝像頭，可以為自然人機互動提供硬體基礎，在此基礎上，ar實景自適配模塊根據ar設備視野中的觀測對象自動調整數據呈現位置及方式，並且顯示虛擬化的觀測操作界面，而ar後臺組態模塊則通過獲取工業設備的各項參數指標、待接收和解釋的ar設備的指令等實時數據，及時完成組態環境的生成和更新功能。

如本領域技術人員所能理解的，根據本發明的上述實施方式的實景增強式交互系統至少包括了與根據本發明的上述實施方式的實景增強式交互終端相同或相應的技術特徵，因此也解決了上文所述的根據本發明的上述實施方式的實景增強式交互終端所解決的技術問題，並且能夠獲得其所獲得的有益效果。

以上所述，僅為本發明的示例性的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以權利要求的保護範圍為準。