一種基於物聯網的數據實時處理方法與流程
2023-08-05 00:24:11
本發明通常涉及計算機數據信號處理領域，更具體而言，涉及一種基於物聯網的數據實時處理方法。
背景技術：
物聯網是新一代信息技術的重要組成部分，也是「信息化」時代的重要發展階段。物聯網為當下幾乎所有技術與計算機、網際網路技術的結合，實現物體與物體之間：環境以及狀態信息實時的共享以及智能化的收集、傳遞、處理、執行。物聯網的核心和基礎是網際網路，是在網際網路基礎上的延伸和擴展的網絡；其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信，即物物相息。物聯網通過智能感知、識別技術與普適計算等通信感知技術，廣泛應用於網絡的融合中，也因此被稱為繼計算機、網際網路之後世界信息產業發展的第三次浪潮。物聯網是網際網路的應用拓展，是業務和應用。以用戶體驗為核心的創新2.0是物聯網發展的靈魂。物聯網在安防、交通、電力和物流領域建立了廣闊的市場，並且取得了長足的發展。
物聯網具有對數據進行處理的功能，在對信息處理的過程中，要求保證信息的完整性、一致性和及時性。物聯網平臺必須提供能對數據進行整理的功能。在數據處理過程中，往往需要對大量數據進行處理，對數據感測、傳輸、實時處理等。在實際的物聯網應用中，往往將焦點集中在數據的實時處理上，諸如通過對數據進行加載和組織、索引和同步、池化和控制等，而缺少對數據傳輸的改進和優化，使得信息採集和傳輸中可能出現數據缺失，受諸如移動、震蕩、損毀、幹擾之類的外界影響等不良效果，同時由於海量數據的傳輸，導致信道的使用效率不高。隨著物聯網涉及信息的急劇增加，這些問題變得越來越突出，亟待解決。
技術實現要素：
本發明的目的之一是提供一種基於物聯網的數據實時處理方法，既可以保證實時處理數據，還可提高數據處理系統的資源使用率，獲取最佳的抗擾能力並保持數據的可靠性，保證物聯網不受到外界物理因素的變化的影響，提高了數據文件存取速度，保證物聯網的容災能力。
本發明為解決上述技術問題而採取的技術方案為：一種基於物聯網的數據實時處理方法包括：在步驟s1中，連接物聯網傳感器和物聯網數據處理系統之間的線路；在步驟s2中，在感知層和應用層實時採集傳感器端的數據，並經由上述線路傳輸；在步驟s3中，傳輸過程中對信道進行配置，提高信道的使用率；在步驟s4中，物聯網的數據處理系統對傳輸的數據進行處理；在步驟s5中，處理數據之後，將響應通過線路發送回傳感器的控制組件；以及在步驟s6中，將數據處理系統處理的數據進行存儲
根據本發明的另一個方面，在步驟s1中，連接物聯網傳感器和物聯網數據處理系統之間的線路包括：連接物聯網傳感器和物聯網數據處理系統之間的線路；其中該線路結構包括傳感器端光纖頭、光纖主體、數據處理系統端光纖頭，其中傳感器端光纖頭的一側包括符合與傳感器進行信息交互的通信標準的接口，另一側包括硫化的元件，二者之間包括多模纖維，多模纖維外圍包括具有不同熱擴展係數和交聯方向的雙層的聚氨基甲酸脂，該雙層的聚氨基甲酸脂之間存在厚度125-175微米的鋁層，以經實驗驗證的最合適的厚度來獲取最佳的抗擾能力並保持數據的可靠性；該聚氨基甲酸脂的分子量範圍是1000-3000，使得數據性能穩定，不受到外界物理因素的變化的影響；硫化的元件的與多模纖維相對的另一端連接光纖主體，該光纖主體包括：位於最中心的玻璃光纖，以及圍繞在玻璃光纖外圍的具有不同熱擴展係數和交聯方向的雙層的聚氨基甲酸脂，其中所述的雙層的聚氨基甲酸脂之間從內向外依次存在厚度125-175微米的鋁層以及厚度在75-100微米的鋁氧化物層，以經實驗驗證的最合適的厚度來獲取最佳的抗擾能力並保持數據的可靠性；所述該聚氨基甲酸脂的分子量範圍是1000-3000，其中外層的聚氨基甲酸脂層在製造過程中通過染色工藝而形成為白色，進而提升數據信號傳輸性能和抗幹擾能力以及整個光纖主體的使用壽命；數據處理系統端光纖頭的結構中，數據處理系統端光纖頭的一側包括符合與數據處理系統進行信息交互的通信標準的接口，另一側包括硫化的元件，二者之間包括多模纖維，多模纖維外圍包括具有不同熱擴展係數和交聯方向的雙層的聚氨基甲酸脂，該雙層的聚氨基甲酸脂之間存在厚度125-175微米的鋁層，以經實驗驗證的最合適的厚度來獲取最佳的抗擾能力並保持數據的可靠性；該聚氨基甲酸脂的分子量範圍是1000-3000，以進一步提升聯密度，使得數據性能穩定，不受到外界物理因素的變化的影響；硫化的元件的與多模纖維相對的另一端連接光纖主體。
根據本發明的另一個方面，在步驟s3中，傳輸過程中對信道進行配置，提高信道的使用率包括：確定傳輸的數據流，估算最大的數據通信量：其中mu表示數據塊中傳輸的單個數據位的值，α表示抽樣的一個數據塊佔用的線程，i表示抽樣的數據塊序號，j表示抽樣的數據塊與參考數據塊的合集；cu,v表示抽樣的一個數據塊佔用的信道量，nu,v表示總帶寬，mv表示參考數據塊中傳輸的單個數據位的值；u和v表示正整數；max表示取最大值函數，其中只有一個集合的綜合表示時，取該集合中各元素的最大值，而其中有兩個元素的表示時，取該集合中元素的最大值；並將帶寬設置成上述最大的數據通信量進行傳輸。
根據本發明的另一個方面，在步驟s4中，物聯網的數據處理系統對傳輸的數據進行處理包括：首先將物聯網的數據處理系統中的所需文件加載到主存儲器的暫時配置文件中，並且在操作之後自動刪除，騰空內部存儲器，以提高數據處理系統的資源使用率並提高了數據文件存取速度。
根據本發明的另一個方面，在步驟s5中，處理數據之後，將響應通過線路發送回傳感器的控制組件包括：將處理後的數據實時傳送回傳感器的控制組件，以進一步調整傳感器的配置組合或傳感項目。
根據本發明的另一個方面，在步驟s6中，將數據處理系統處理的數據進行存儲包括：之後對數據進行校驗、加密、壓縮和轉換，並通過雲存儲加強對數據採集的備份存儲和後期管理工作，並在對應表格中設置物聯網的數據處理系統數據故障發生時，該雲存儲的訪問路徑和驗證密鑰。
根據本發明的另一個方面，上述加載到主存儲器的暫時配置文件中包括：獲得地址和暫時配置文件的對應關係，通過創建虛擬的地址空間與暫時配置文件的連結，加載到主存儲器的暫時配置文件中；以及在步驟s4中還包括：物聯網的數據處理系統對接收的數據進行交換管理，並糾正出現的錯誤，對故障進行檢修維護。
根據本發明的另一個方面，在步驟s4中，物聯網的數據處理系統首先判定數據塊的優先級和權重值，根據從大到小的排序，在處理中將排序靠前的數據優先載入高速緩存中；該處理包括數據的轉換、解析、屬性識別、數據流判定、協議使用、故障分析、簡檔查詢，並在此基礎上形成控制信令和部署策略。
根據本發明的另一個方面，多模纖維外圍的雙層的聚氨基甲酸脂以及光纖主體外圍的雙層的聚氨基甲酸脂厚度為455微米。
根據本發明的另一個方面，上述鋁層可被替換為鋁和銅的混合物；上述鋁氧化物層可被替換為鋁氧化物和銅氧化物的混合物。
附圖說明
在附圖中通過實例的方式而不是通過限制的方式來示出本發明的實施例，其中相同的附圖標記表示相同的元件，其中：
根據本發明的示範性實施例，圖1圖示一種基於物聯網的數據實時處理方法的流程圖。
具體實施方式
在下面的描述中，參考附圖並以圖示的方式示出幾個具體的實施例。將理解的是：可設想並且可做出其他實施例而不脫離本公開的範圍或精神。因此，以下詳細描述不應被認為具有限制意義。
根據本發明的示範性實施例，圖1圖示一種基於物聯網的數據實時處理方法的流程圖。
在步驟s1中，連接物聯網傳感器和物聯網數據處理系統之間的線路；
在步驟s2中，在感知層和應用層實時採集傳感器端的數據，並經由上述線路傳輸；
在步驟s3中，傳輸過程中對信道進行配置，提高信道的使用率；
在步驟s4中，物聯網的數據處理系統對傳輸的數據進行處理；
在步驟s5中，處理數據之後，將響應通過線路發送回傳感器的控制組件；以及
在步驟s6中，將數據處理系統處理的數據進行存儲。
具體地，在步驟s1中，連接物聯網傳感器和物聯網數據處理系統之間的線路包括：連接物聯網傳感器和物聯網數據處理系統之間的線路。
特別地，該線路為本發明的重點之一。現有技術中，一般採用普通的網絡線，或者優選地採用光纖來傳輸，然而現有技術中，有時存在由於接口的原因，會導致待傳輸數據存在丟失、數據位反轉或其他異常。所以本發明採用特定的線路結構來進行數據傳輸，既防止了由於接口的物理原因導致的數據異常，也提高了數據的準確性和抗擾能力。根據本發明的優選實施例，優選地，該線路結構包括傳感器端光纖頭、光纖主體、數據處理系統端光纖頭，其中傳感器端光纖頭的一側包括符合與傳感器進行信息交互的通信標準的接口，另一側包括硫化的元件，二者之間包括多模纖維，多模纖維外圍包括具有不同熱擴展係數和交聯方向的雙層的聚氨基甲酸脂，該雙層的聚氨基甲酸脂之間存在厚度125-175微米的鋁層，以經實驗驗證的最合適的厚度來獲取最佳的抗擾能力並保持數據的可靠性；該聚氨基甲酸脂的分子量範圍是1000-3000，以進一步提升聯密度，使得數據性能穩定，不受到外界物理因素的變化的影響；硫化的元件的與多模纖維相對的另一端連接光纖主體，該光纖主體包括：位於最中心的玻璃光纖，以及圍繞在玻璃光纖外圍的具有不同熱擴展係數和交聯方向的雙層的聚氨基甲酸脂，其中所述的雙層的聚氨基甲酸脂之間從內向外依次存在厚度125-175微米的鋁層以及厚度在75-100微米的鋁氧化物層，以經實驗驗證的最合適的厚度來獲取最佳的抗擾能力並保持數據的可靠性；所述該聚氨基甲酸脂的分子量範圍是1000-3000，其中外層的聚氨基甲酸脂層在製造過程中通過染色工藝而形成為白色，進而提升數據信號傳輸性能和抗幹擾能力以及整個光纖主體的使用壽命。數據處理系統端光纖頭的結構中，數據處理系統端光纖頭的一側包括符合與數據處理系統進行信息交互的通信標準的接口，另一側包括硫化的元件，二者之間包括多模纖維，多模纖維外圍包括具有不同熱擴展係數和交聯方向的雙層的聚氨基甲酸脂，該雙層的聚氨基甲酸脂之間存在厚度125-175微米的鋁層，以經實驗驗證的最合適的厚度來獲取最佳的抗擾能力並保持數據的可靠性；該聚氨基甲酸脂的分子量範圍是1000-3000，以進一步提升聯密度，使得數據性能穩定，不受到外界物理因素的變化的影響；硫化的元件的與多模纖維相對的另一端連接光纖主體。
優選地，多模纖維外圍的雙層的聚氨基甲酸脂以及光纖主體外圍的雙層的聚氨基甲酸脂厚度為455微米，以實現經試驗證明的最佳的性能。
優選地，上述鋁層可被替換為鋁和銅的混合物；上述鋁氧化物層可被替換為鋁氧化物和銅氧化物的混合物。
上述的各個技術術語是本領域中的具有通常含義的常規技術術語，為了不模糊本發明的重點，在此不對其進行進一步的解釋。
具體地，在步驟s2中，在感知層和應用層實時採集傳感器端的數據，並經由上述線路傳輸包括：設置在物聯網末端的一定數量的傳感器在指定的時間段內，感知周邊環境的變化並獲取其數據。將這些數據匯集起來，轉換後傳輸。該數據包括音頻數據、視頻數據和氣味數據；氣味數據也被成為嗅頻，其是根據化學成分與氣味的對應關係來進行感測和判斷。諸如在釀造行業中，一些反應緩慢發生，但是不伴隨聲音和圖像的變化，然而卻存在氣味的變化，此時通過傳感器感測並進行傳輸，進而數據處理系統可以進行實時監控。
具體地，在步驟s3中，傳輸過程中對信道進行配置，提高信道的使用率包括：確定傳輸的數據流，估算最大的數據通信量：
其中mu表示數據塊中傳輸的單個數據位的值，α表示抽樣的一個數據塊佔用的線程，i表示抽樣的數據塊序號，j表示抽樣的數據塊與參考數據塊的合集；cu,v表示抽樣的一個數據塊佔用的信道量，nu,v表示總帶寬，mv表示參考數據塊中傳輸的單個數據位的值；u和v表示正整數；max表示取最大值函數，其中只有一個集合的綜合表示時，取該集合中各元素的最大值，而其中有兩個元素的表示時，取該集合中元素的最大值；並將帶寬設置成上述最大的數據通信量進行傳輸。
具體地，在步驟s4中，物聯網的數據處理系統對傳輸的數據進行處理包括：首先將物聯網的數據處理系統中的所需文件加載到主存儲器的暫時配置文件中，並且在操作之後自動刪除，騰空內部存儲器，以提高數據處理系統的資源使用率並提高了數據文件存取速度。
優選地，上述加載到主存儲器的暫時配置文件中包括：獲得地址和暫時配置文件的對應關係，通過創建虛擬的地址空間與暫時配置文件的連結，加載到主存儲器的暫時配置文件中。
優選地，在步驟s4中，物聯網的數據處理系統首先判定數據塊的優先級和權重值，根據從大到小的排序，在處理中將排序靠前的數據優先載入高速緩存中；該處理包括數據的轉換、解析、屬性識別、數據流判定、協議使用、故障分析、簡檔查詢，並在此基礎上形成控制信令和部署策略。
優選地，在步驟s4中還包括：物聯網的數據處理系統對接收的數據進行交換管理，並糾正出現的錯誤，對故障進行檢修維護。
具體地，在步驟s5中，處理數據之後，將響應通過線路發送回傳感器的控制組件包括：將處理後的數據實時傳送回傳感器的控制組件，以進一步調整傳感器的配置組合或傳感項目。
具體地，在步驟s6中，將數據處理系統處理的數據進行存儲包括：之後對數據進行校驗、加密、壓縮和轉換，並通過雲存儲加強對數據採集的備份存儲和後期管理工作，並在對應表格中設置物聯網的數據處理系統數據故障發生時，該雲存儲的訪問路徑和驗證密鑰。
綜上，在本發明的技術方案中，通過採用了一種基於物聯網的數據實時處理方法，可以保證實時處理數據，還可提高數據處理系統的資源使用率，獲取最佳的抗擾能力並保持數據的可靠性，保證物聯網不受到外界物理因素的變化的影響，提高了數據文件存取速度，保證物聯網的容災能力。
將理解的是：可以硬體、軟體或硬體和軟體的組合的形式實現本發明的示例和實施例。如上所述，可存儲任何執行這種方法的主體，以揮發性或非揮發性存儲的形式，例如存儲設備，像rom，無論可抹除或可重寫與否，或者以存儲器的形式，諸如例如ram、存儲器晶片、設備或集成電路或在光或磁可讀的介質上，諸如例如cd、dvd、磁碟或磁帶。將理解的是：存儲設備和存儲介質是適合於存儲一個或多個程序的機器可讀存儲的示例，當被執行時，所述一個或多個程序實現本發明的示例。經由任何介質，諸如通過有線或無線耦合載有的通信信號，可以電子地傳遞本發明的示例，並且示例適當地包含相同內容。
應當注意的是：因為本發明解決了保證實時處理數據的技術問題，採用了計算機技術領域中技術人員在閱讀本說明書之後根據其教導所能理解的技術手段，並獲得了提高數據處理系統的資源使用率，獲取最佳的抗擾能力並保持數據的可靠性，保證物聯網不受到外界物理因素的變化的影響，提高了數據文件存取速度，保證物聯網的容災能力的有益技術效果，所以在所附權利要求中要求保護的方案屬於專利法意義上的技術方案。另外，因為所附權利要求要求保護的技術方案可以在工業中製造或使用，因此該方案具備實用性。
以上所述，僅為本發明的較佳的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應包涵在本發明的保護範圍之內。除非以其他方式明確陳述，否則公開的每個特徵僅是一般系列的等效或類似特徵的一個示例。因此，本發明的保護範圍應該以權利要求書的保護範圍為準。