非結構數據處理系統及其處理方法與流程
2023-04-29 23:00:18 3
本發明涉及一種數據處理系統，具體為一種非結構數據處理系統及其處理方法。
背景技術：
相對於結構數據(即行數據，存儲在資料庫裡，可以用二維表結構來邏輯表達實現的數據)而言，不方便用資料庫二維邏輯表來表現的數據即稱為非結構數據，包括所有格式的辦公文檔、文本、圖片、標準通用標記語言下的子集XML、HTML、各類報表、圖像和音頻/視頻信息等等。
非結構資料庫是指其欄位長度可變，並且每個欄位的記錄又可以由可重複或不可重複的子欄位構成的資料庫，用它不僅可以處理結構數據(如數字、符號等信息)而且更適合處理非結構數據(全文文本、圖象、聲音、影視、超媒體等信息)。
非結構WEB資料庫主要是針對非結構數據而產生的，與以往流行的關係資料庫相比，其最大區別在於它突破了關係資料庫結構定義不易改變和數據定長的限制，支持重複欄位、子欄位以及變長欄位並實現了對變長數據和重複欄位進行處理和數據項的變長存儲管理，在處理連續信息(包括全文信息)和非結構信息(包括各種多媒體信息)中有著傳統關係型資料庫所無法比擬的優勢。
結構數據即行數據,存儲在資料庫裡,可以用二維表結構來邏輯表達實現的數據。
所謂非結構數據,包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。
所謂半結構數據，就是介於完全結構數據(如關係型資料庫、面向對象資料庫中的數據)和完全無結構的數據(如聲音、圖像文件等)之間的數據，HTML文檔就屬於半結構數據。它一般是自描述的，數據的結構和內容混在一起，沒有明顯的區分。
目前傳統的數據往往多為結構數據和半結構數據，是原始數據的抽象化，類型較為單一。傳統的資料庫管理系統不能滿足雲資料庫管理系統的需求，集中式的架構大部分是40年前設計的，不能有效的分布式的存儲在數據中心之中。
隨著網絡技術的發展，特別是Internet和Intranet技術的飛快發展，使得非結構數據的數量日趨增大。因而，數據發展進入基於網絡應用的非結構數據時代。如今，這種迅猛增長的從不使用的數據消耗著複雜而昂貴的一級存儲的存儲容量，非結構數據儲存更為複雜，涉及的領域較多，規模又很大，處理起來也更為不易，還會產生很多無用信息，就需要非結構數據處理系統更有效快速的篩選和處理具有潛在價值的不同類型的文件。
技術實現要素：
針對現有技術中的上述不足，本發明提供一種可對傳感器採集的數據量分析，也能對圖像、圖形、視頻模型等非結構智能模型分析處理並能夠使非結構數據被快速提取篩選出用的信息，並對信息進行有效的處理並上傳雲端存儲的非結構數據處理系統及其處理方法。
為實現以上技術目的,本發明的技術方案是:一種非結構數據處理系統，傳感器信號採集模塊、非結構數據採集模塊、非結構數據採集卡和數據傳輸埠，所述傳感器信號採集模塊、非結構數據採集模塊、非結構數據採集卡和數據傳輸埠依次連接，所述非結構數據採集模塊與非結構數據採集卡信號連接，所述非結構數據採集卡包括電源模塊、處理器模塊、存儲模塊和I/O接口模塊，所述電源模塊分別與處理器模塊、存儲模塊和I/O接口模塊電連接，所述處理器模塊、存儲模塊和IO接口模塊依次信號連接，所述非結構數據採集模塊與非結構數據採集卡信號連接是指非結構數據採集模塊與存儲模塊連接。
作為優選，非結構數據採集模塊為普通相機或智能相機。
作為優選，所述非結構化數據包括辦公文檔、文本、圖像、XML或HTML各類報表和視頻數據。
作為優選，所述數據傳輸埠為網絡傳輸埠。
作為優選，所述處理器模塊為FPGA或DSP圖像數據處理器。
一種以非結構數據處理系統進行非結構數據處理方法，包括如下步驟：步驟一：通過傳感器信號採集模塊採集當前場所中的可感應信號；
步驟二：當非結構數據採集模塊收到傳感器信號採集模塊的信號時會對對象進行圖片或視頻信息採集並進行篩選進而得到有效圖像信息；
步驟三：將有效圖像信息數據通過通訊協議轉換成結構化數據；
步驟四：對經過轉換的結構化數據通過I/O接口進行雲端上傳。
作為改進，所述步驟三中通過通訊協議轉換成結構化數據後還會經過總線接口通信傳輸，組態下載數據，組態執行數據，數據經過加解密的數據安全保護操作；
作為改進，所述步驟四中對經過轉換的結構化數據還可通過AD/DA接口進行雲端上傳。
從以上描述可以看出，本發明具備以下優點：非結構數據處理系統可以應用於工業流水線，人臉識別、智能製造和智慧機器人等諸多場景。還可以實時分析多類型複雜數據，可以從給定的靜態或動態圖像中提取人臉信息等手段，與資料庫中已知身份人臉進行匹配，並能整合與挖掘數據資源；可以實時對模型進行數據處理分析，通過整合與挖掘數據資源，進行工業模型識別。
同時本發明專利的非結構化數據處理卡能根據對傳輸信號(溫度、溼度和信號等)的不同處理視屏輸入；其中非結構化數據處理卡提取篩選非結構化數據中的用的信息(顏色、目標外型、目標位置、目標數量和測量信息等)；非結構化數據處理卡能對非結構化數據進行結構化處理；非結構化數據處理卡在數據傳輸過程中擁有數據加解密功能，防止數據被非法獲取洩露和外部黑客惡意的竊取和破壞。
附圖說明
圖1為本發明的非結構數據處理系統的框圖；
圖2為本發明的非結構數據處理方法的步驟示意圖。
具體實施方式
如圖1所示，一種非結構數據處理系統，傳感器信號採集模塊、非結構數據採集模塊、非結構數據採集卡和數據傳輸埠，所述傳感器信號採集模塊、非結構數據採集模塊、非結構數據採集卡和數據傳輸埠依次連接，所述非結構數據採集模塊與非結構數據採集卡信號連接，所述非結構數據採集卡包括電源模塊、處理器模塊、存儲模塊和I/O接口模塊，所述電源模塊分別與處理器模塊、存儲模塊和I/O接口模塊電連接，所述處理器模塊、存儲模塊和IO接口模塊依次信號連接，所述非結構數據採集模塊與非結構數據採集卡信號連接是指非結構數據採集模塊與存儲模塊連接；非結構數據採集模塊為普通相機或智能相機；所述非結構化數據包括辦公文檔、文本、圖像、XML或HTML各類報表和視頻數據；所述數據傳輸埠為網絡傳輸埠；所述處理器模塊為FPGA或DSP圖像數據處理器。
如附圖2所示，一種非結構數據處理方法，包括如下步驟：
步驟一：通過傳感器信號採集模塊採集當前場所中的可感應信號；
步驟二：當非結構數據採集模塊收到傳感器信號採集模塊的信號時會對對象進行圖片或視頻信息採集並進行篩選進而得到有效圖像信息；
步驟三：將有效圖像信息數據通過通訊協議轉換成結構化數據；
步驟四：對經過轉換的結構化數據通過I/O接口進行雲端上傳。
所述步驟三中通過通訊協議轉換成結構化數據後還會經過總線接口通信傳輸，組態下載數據，組態執行數據，數據經過加解密的數據安全保護操作。
所述步驟四中對經過轉換的結構化數據還可通過AD/DA接口進行雲端上傳。
非結構化數據處理卡處理器的軟體處理流程大致為：非結構化數據處理卡先對相機採集到的目標進行識別判斷，進而篩選得到有效的圖像信息，將有效的圖像信息數據經過結構化處理，通過通訊協議的轉換，得到圖像中的有用信息(例如：目標顏色、目標外型、目標位置、目標數量、測量信息等等)，經過總線接口通信傳輸，組態下載數據，組態執行數據，數據經過加解密的數據安全保護通過I/O(輸入輸出)和AD/DA(即模擬信號轉數位訊號，數位訊號轉模擬信號)上傳雲端存儲，雲中心伺服器實時永久性存儲非結構化數據，從而實現遠程存儲，監控。同時為以後行業大數據分析做鋪墊，可大量節約非結構化數據處理卡內存容量。
以上對本發明及其實施方式進行了描述，該描述沒有限制性，附圖中所示的也只是本發明的實施方式之一，實際的結構並不局限於此。總而言之如果本領域的普通技術人員受其啟示，在不脫離本發明創造宗旨的情況下，不經創造性的設計出與該技術方案相似的結構方式及實施例，均應屬於本發明的保護範圍。