高幀頻海量數據的實時通訊控制與存儲方法
2023-10-08 23:49:04
專利名稱：高幀頻海量數據的實時通訊控制與存儲方法
技術領域：
本發明屬於仿真系統的數據處理技術領域，涉及一種高幀頻海量數據的實時通訊 控制與存儲方法。
背景技術：
隨著光電對抗技術的不斷發展，告警手段和幹擾源的不斷增加，開發高層次的光 電對抗仿真系統已勢在必行。由於全數字仿真需要以大量、可靠的技術與戰術參數為基礎， 鑑於目前國內光電對抗的發展，在缺乏先進的實物受試對象的情況下，半實物仿真成為首 選，半實物仿真系統具有較強的靈活性，同時可為全數字光電對抗仿真系統發展提供數據。半實物仿真系統的主要功能及目的是用於對設備的鑑定，那麼就需要對仿真過程 中邦員的狀態數據和邦員間各種交互行為數據進行及時完整的採集，以便於在仿真中或仿 真完成後為仿真參與者提供深入的關於仿真過程的各種信息，並根據這些數據結果對設備 進行分析、測試和評估等。為了保證在半實物仿真過程中對數據進行及時完整的採集，重點及難點就是要保 證仿真過程中實時數據通訊的正確性及可靠性，以及要保證實時數據能夠被及時的保存下 來。由於仿真過程中實時數據的通訊頻率極高，且數據量極大，想要突破這兩個難點非常困 難。因此，提供一種對高幀頻海量數據進行實時控制和實時存儲的方法勢在必行。
發明內容
本發明的目的是提出一種高幀頻海量數據的實時通訊控制與存儲方法，該方法使 用外時鐘和對幀加時間戳的方式，外時鐘統一下發時鐘信號，為仿真系統提供同步時鐘，對 幀加時間戳為幀數據編號排序；此外提出了使用多資料庫伺服器與分布式緩衝區技術來實 現對實時數據的採集與存儲，多資料庫伺服器共同處理數據用以防止單伺服器出錯，影響 系統數據存儲的完整性，分布式緩衝區技術用於提高系統數據的存儲速率，解決資料庫寫 入速率的瓶頸問題。本發明的技術方案如下高幀頻海量數據的實時通訊控制與存儲方法，包括如下步驟步驟一、將HLA/RTI半實物仿真系統中的實體設備作為原型系統通過控制計算機 以聯邦成員的方式加入到仿真系統中，將仿真計算機、資料庫伺服器等以普通聯邦成員的 方式加入到仿真系統中，普通聯邦成員之間通過RTI總線通訊，同時，將所有聯邦成員都接 入外時統，啟動聯邦成員；步驟二、聯邦成員在接收到外時統發出的外部統一時鐘觸發信號後，對數據幀加 入時間戳欄位，並通過RTI總線發送數據幀；步驟三、HLA判斷數據幀傳送過程是否超時，若沒有超時，則執行步驟四；若數據 幀傳送過程超時，則進行出錯處理，對數據幀進行拋物插值補償後執行步驟七；步驟四、HLA接收訂購的全部聯邦成員的數據幀；
步驟五、HLA判斷時間推進過程中，所接收到的聯邦成員數據幀的時間戳是否正 確；若每組數據幀的時間戳都正確，則執行步驟六；若出現時間戳不正確的情況，則進行出 錯處理，對數據幀進行拋物插值補償後執行步驟七；步驟六、仿真系統通過設置定時器，進行判斷定時時間內是否收到訂購的全部聯 邦成員的數據幀；若已全部收到每個聯邦成員完整且正確的數據幀，則執行步驟七；若收 到聯邦成員的數據幀的組數錯誤，則返回執行步驟三；步驟七、HLA對數據幀進行仿真模型解算；步驟八、為資料庫伺服器系統建立多個分布式緩衝區，其個數大於所使用的服務 器個數，並且分布式緩衝區的容量大於單個伺服器寫磁碟緩衝區的容量，確立分布式存儲 使用的伺服器數量；步驟九、構建SWITCH中間件，利用SWITCH中間件隨機切換資料庫伺服器，通過遍 歷當前活躍的伺服器，從中選取處在空閒狀態的伺服器，並將已經寫滿的分布式緩衝區中 的數據存儲到該空閒伺服器中；步驟十、由HLA判斷高幀頻海量數據的實時通訊控制與存儲方法是否結束；若未 結束，則返回執行步驟一；若結束，則執行聯邦成員退出聯邦的操作。本發明的有益效果是使用外時鐘和對幀加時間戳的方式，保證了實時數據通訊 的高頻率，同時也保證了數據通訊的高可靠性；使用多資料庫伺服器與分布式緩衝區技術 實現對實時數據的採集與存儲，解決了資料庫管理系統對於數據存儲速率的瓶頸問題，保 證了數據的完整性，同時也為事後對數據進行分析、對設備進行測試和評估提供了一個良 好的操作和維護平臺。
圖1是本發明方法所應用的半實物仿真系統結構示意圖。圖2是本發明高幀頻海量數據的實時通訊控制與存儲方法的流程圖。圖3是本發明的多資料庫伺服器與分布式緩衝區存儲結構示意圖。圖4是本發明的SWITCH中間件的工作流程圖。
具體實施例方式下面結合附圖對本發明做進一步詳細說明。本發明高幀頻海量數據的實時通訊控制與存儲方法的實施環境為WindowsXP系 統，程序實現採用VC 6.0，資料庫使用Oracle。如圖1 所示，HLA/RTI (High Level Architecture/ 運行支撐環境 RTI 是 HLA 接口 規範的具體實現)的半實物仿真系統中實體設備是作為原型系統通過控制計算機以聯邦 成員的方式加入到仿真系統中，仿真計算機、資料庫伺服器等以普通聯邦成員的方式加入， 聯邦成員之間通訊都通過RTI軟總線完成，同時，設備和聯邦成員都接入統一的外部時鐘 信號，這樣就保證了仿真周期的統一，即保證了數據通訊周期的正確性。本發明高幀頻海量數據的實時通訊控制與存儲方法由以下步驟實現1)所有聯邦成員接收外部統一時鐘信號，在收到觸發信號後，發送數據幀，同時接 收其他聯邦成員的數據幀；
2)在數據幀中加入時間戳欄位，通過判斷接收到數據幀時間戳，保證時間推進過 程中接收到正確的數據幀；3)系統推進過程中，設置定時器，如果在定時時間內沒有全部收到訂購的其他聯 邦成員的數據幀，則進行出錯處理，採用拋物插值補償方法來進行仿真模型解算；4)為資料庫伺服器系統建立多個分布式緩衝區，要求緩衝區的個數要大於所使用 的伺服器個數，並且分布式緩衝區的容量要大於單個伺服器寫磁碟緩衝區的容量；確立分 布式存儲使用的伺服器數量；5)構建SWITCH中間件，其主要功能是隨機切換資料庫伺服器，通過遍歷當前活躍 的伺服器，從中選取處在空閒狀態的伺服器，並將已經寫滿的分布式緩衝區中的數據存儲 到該伺服器中。如圖2所示，本發明高幀頻海量數據的實時通訊控制與存儲方法的具體實施過程 如下步驟一、將HLA/RTI半實物仿真系統中的實體設備作為原型系統通過控制計算機 以聯邦成員的方式加入到仿真系統中，將仿真計算機、資料庫伺服器等以普通聯邦成員的 方式加入到仿真系統中，普通聯邦成員之間通過RTI總線通訊，同時，將所有聯邦成員都接 入外時統，啟動聯邦成員；步驟二、聯邦成員在接收到外時統發出的外部統一時鐘觸發信號後，對數據幀加 入時間戳欄位，並通過RTI總線發送數據幀；步驟三、HLA判斷數據幀傳送過程是否超時，若沒有超時，則執行步驟四；若數據 幀傳送過程超時，則進行出錯處理，對數據幀進行拋物插值補償後執行步驟七，所述的拋 物插值補償法是，取前三幀數據作拋物插值，構造插值函數，求出當前幀的數據結果的近似 值；步驟四、HLA接收訂購的全部聯邦成員的數據幀；步驟五、HLA判斷時間推進過程中，所接收到的聯邦成員數據幀的時間戳是否正 確；若每組數據幀的時間戳都正確，則執行步驟六；若出現時間戳不正確的情況，則進行出 錯處理，對數據幀進行拋物插值補償後執行步驟七；步驟六、仿真系統通過設置定時器，定時的時間要小於一個仿真周期的時間，進行 判斷定時時間內是否收到訂購的全部聯邦成員的數據幀；若已全部收到每個聯邦成員完整且正確的數據幀，則執行步驟七；若收到聯邦成員的數據幀的組數錯誤，則返回執行步驟 ---，步驟七、HLA對數據幀進行仿真模型解算；步驟八、為資料庫伺服器系統建立多個分布式緩衝區，其個數大於所使用的服務 器個數，並且分布式緩衝區的容量大於單個伺服器寫磁碟緩衝區的容量，確立分布式存儲 使用的伺服器數量，一般小型半實物仿真系統使用兩臺即可，大型的半實物仿真系統則需 要三臺以上的伺服器；步驟九、構建SWITCH中間件，利用SWITCH中間件隨機切換資料庫伺服器，通過遍 歷當前活躍的伺服器，從中選取處在空閒狀態的伺服器，並將已經寫滿的分布式緩衝區中 的數據存儲到該空閒伺服器中；步驟十、由HLA判斷高幀頻海量數據的實時通訊控制與存儲方法是否結束；若未結束，則返回執行步驟一；若結束，則執行聯邦成員退出聯邦的操作。多資料庫伺服器與分布式緩衝區方法實際上是多臺資料庫伺服器同時完成一個 存儲功能，提高數據存儲速率，並且任何一臺或者幾臺伺服器出現故障，都不會影響整個存 儲過程的繼續，保證了數據存儲的完整性和可靠性。該多資料庫伺服器與分布式緩衝區方 法由SWITCH中間件實現，具體步驟如下步驟A、SWITCH中間件為每個伺服器設置一個時間戳，初始時設置為0，構成一個 時間戳列表；步驟B、SWITCH中間件判斷是否出現某個緩衝區已滿，若不出現，則重複執行本步 驟，直到出現某個緩衝區已滿；若出現某個緩衝區已滿，則執行步驟C ；步驟C、SWITCH中間件遍歷步驟A所述的時間戳列表，從中尋找一個最小值，並將 當前系統時間賦值給該時間戳；步驟D、SWITCH中間件與步驟C所述時間戳相對應的伺服器建立連接；步驟E、SWITCH中間件判斷步驟D所述的與伺服器建立連接是否成功，若不成功， 則從時間戳列表中刪除步驟D所述的時間戳以及與該時間戳相對應的伺服器，返回步驟C ； 若成功，則執行步驟F;步驟F、將緩衝區中的數據存儲到步驟E所述連接成功的伺服器中，並將緩衝區清 零；步驟G、SWITCH中間件判斷存儲過程是否結束，若不結束，則返回執行步驟B;若結 束，則存儲過程終止。本發明採用外時鐘和對數據幀加時間戳的方式，保證了實時數據通訊的高頻率， 同時也保證了數據通訊的高可靠性；使用多資料庫伺服器與分布式緩衝區技術實現對實時 數據的採集與存儲，解決了資料庫管理系統對於數據存儲速率的瓶頸問題，保證了數據的 完整性，同時也為事後對數據進行分析、對設備進行測試和評估提供了一個良好的操作和 維護平臺。
權利要求
1.高幀頻海量數據的實時通訊控制與存儲方法，其特徵在於，該方法包括如下步驟 步驟一、將HLA/RTI半實物仿真系統中的實體設備作為原型系統通過控制計算機以聯邦成員的方式加入到仿真系統中，將仿真計算機、資料庫伺服器等以普通聯邦成員的方式 加入到仿真系統中，普通聯邦成員之間通過RTI總線通訊，同時，將所有聯邦成員都接入外 時統，啟動聯邦成員；步驟二、聯邦成員在接收到外時統發出的外部統一時鐘觸發信號後，對數據幀加入時 間戳欄位，並通過RTI總線發送數據幀；步驟三、HLA判斷數據幀傳送過程是否超時，若沒有超時，則執行步驟四；若數據幀傳 送過程超時，則進行出錯處理，對數據幀進行拋物插值補償後執行步驟七； 步驟四、HLA接收訂購的全部聯邦成員的數據幀；步驟五、HLA判斷時間推進過程中，所接收到的聯邦成員數據幀的時間戳是否正確；若 每組數據幀的時間戳都正確，則執行步驟六；若出現時間戳不正確的情況，則進行出錯處 理，對數據幀進行拋物插值補償後執行步驟七；步驟六、仿真系統通過設置定時器，進行判斷定時時間內是否收到訂購的全部聯邦成 員的數據幀；若已全部收到每個聯邦成員完整且正確的數據幀，則執行步驟七；若收到聯 邦成員的數據幀的組數錯誤，則返回執行步驟三； 步驟七、HLA對數據幀進行仿真模型解算；步驟八、為資料庫伺服器系統建立多個分布式緩衝區，其個數大於所使用的伺服器個 數，並且分布式緩衝區的容量大於單個伺服器寫磁碟緩衝區的容量，確立分布式存儲使用 的伺服器數量；步驟九、構建SWITCH中間件，利用SWITCH中間件隨機切換資料庫伺服器，通過遍歷當 前活躍的伺服器，從中選取處在空閒狀態的伺服器，並將已經寫滿的分布式緩衝區中的數 據存儲到該空閒伺服器中；步驟十、由HLA判斷高幀頻海量數據的實時通訊控制與存儲方法是否結束；若未結束， 則返回執行步驟一；若結束，則執行聯邦成員退出聯邦的操作。
2.如權利要求1所述的高幀頻海量數據的實時通訊控制與存儲方法，其特徵在於，步 驟六所述的定時時間小於仿真系統的一個仿真周期的時間。
3.如權利要求1所述的高幀頻海量數據的實時通訊控制與存儲方法，其特徵在於，所 述步驟九由以下步驟實現步驟A、SWITCH中間件為每個伺服器設置一個時間戳，初始時設置為0，構成一個時間 戳列表；步驟B、SWITCH中間件判斷是否出現某個緩衝區已滿，若不出現，則重複執行本步驟， 直到出現某個緩衝區已滿；若出現某個緩衝區已滿，則執行步驟C ；步驟C、SWITCH中間件遍歷步驟A所述的時間戳列表，從中尋找一個最小值，並將當前 系統時間賦值給該時間戳；步驟D、SWITCH中間件與步驟C所述時間戳相對應的伺服器建立連接； 步驟E、SWITCH中間件判斷步驟D所述的與伺服器建立連接是否成功，若不成功，則從 時間戳列表中刪除步驟D所述的時間戳以及與該時間戳相對應的伺服器，返回步驟C ；若成 功，則執行步驟F;步驟F、將緩衝區中的數據存儲到步驟E所述連接成功的伺服器中，並將緩衝區清零； 步驟G、SWITCH中間件判斷存儲過程是否結束，若不結束，則返回執行步驟B ；若結束， 則存儲過程終止。
全文摘要
高幀頻海量數據的實時通訊控制與存儲方法屬於半實物仿真系統數據處理技術領域，該方法使所有聯邦成員接收外部統一時鐘信號，並在數據幀中加入時間戳保證時間推進過程中接收到正確的數據幀；同時為資料庫伺服器系統建立多個分布式緩衝區，構建SWITCH中間件，實現隨機切換資料庫伺服器，保證高幀頻海量數據的實時存儲。本發明的方法既保證了實時數據通訊的高頻率和高可靠性，又實現了對實時數據的採集與存儲，保證了數據的完整性；同時也為事後對數據進行分析、對設備進行測試和評估提供了一個良好的操作和維護平臺。
文檔編號H04L29/06GK102065090SQ201010613609
公開日2011年5月18日 申請日期2010年12月30日 優先權日2010年12月30日
發明者於國權, 于洋, 崔爽, 李姜, 李巖, 楊詞銀, 王建軍, 王思雯, 路明 申請人:中國科學院長春光學精密機械與物理研究所