一種多格式天氣雷達基數據文件轉NetCDF文件方法
2023-05-29 17:52:36
一種多格式天氣雷達基數據文件轉NetCDF文件方法
【專利摘要】本發明涉及一種多格式天氣雷達基數據文件轉NetCDF文件方法，包括如下步驟：1)通過文件後綴名匹配以及文件長度匹配的聯合判據識別方法識別當前需要轉換的雷達基數據文件類型；2）針對當前需要轉換的雷達基數據的文件格式進行解析，提取出主要參數信息和觀測數據；3）定義一個標準的NetCDF格式文件；4）根據步驟3）中定義的NetCDF標準格式將步驟2）中解析出的主要參數信息和觀測數據轉換成所述NetCDF標準格式。有益效果為：能夠作為統一接口讀取不同格式的雷達文件；NetCDF文件自身具有可描述性，還可將數據按照自變量、函數及其數據值的順序進行存儲，很適合氣象數據的處理；NetCDF文件支持不同平臺之間的數據傳輸，這使得雷達數據適合在網絡平臺之間實現共享。
【專利說明】一種多格式天氣雷達基數據文件轉NetCDF文件方法
【技術領域】
[0001]本發明涉及氣象雷達領域，尤其涉及一種多格式天氣雷達基數據文件轉Net⑶F文件方法。
【背景技術】
[0002]現今多種大氣探測方式中，都卜勒天氣雷達以其較高的時空解析度和大範圍探測能力，成為短時臨近天氣預報的有效工具。目前我國已經建成了由158部天氣雷達組成的觀測網，並投入到業務運行中。除此以外，雙線偏振雷達、相控陣天氣雷達等新型雷達也計劃投入業務化運行中，這使得天氣雷達的種類更加繁多。
[0003]天氣雷達由於其性能參數、觀測方式及生產廠家的不同，導致雷達基數據格式各不相同。這種不兼容性給科研及數值天氣預報帶來極大的不便。天氣雷達基數據一般採用二進位形式存儲以節省空間，易於計算機識別處理。現在常見的雷達基數據格式有北京敏視達公司生產的SA/SB都卜勒天氣雷達，基數據使用固定長度幀數據(2432個字節)，無文件頭，按主機字節序儲存；成都國營784廠生產的SC/CD都卜勒天氣雷達，基數據格式包含文件頭(1024個字節)和數據區(4000個字節)，按主機字節序儲存。新型雷達如南京十四所研製的機載相控陣雷達，工作波段為X波段，基數據文件格式無文件頭，每個結構單元中雷達性能參數信息佔128個字節，觀測數據佔19200個字節。
[0004]「NetCDF」 格式全稱為 「Network Common Data Format」,即「網絡通用數據格式」。它本質上和上述雷達基數據文件一樣，採用二進位的存儲方式，是一種文件格式的標準。NetCDF文件在開始之 初的設計目的就是針對氣象領域中的數據。在氣象領域中經常將時空看做一個四維坐標，其中包含有經度、緯度、高度和時間等自變量。另一方面，大氣中的風、溫、壓、溼等物理量又構成了相應的函數值變量。Net⑶F文件通常按照如下標準格式進行數據的存儲。
[0005]I)、維(Dimensions)
定義方法:維的名字=維的大小。
[0006]維在氣象領域中一般是指自變量及其範圍大小。
[0007]2)、變量(Variable)
定義方法:數據類型變量名(維度1，維度2，維度3，…)。
[0008]變量在氣象領域中通常用來儲存各種物理量的值。在使用變量前必須定義，定義內容包括變量的數型、維數、屬性等。
3)、坐標變量(CoordinateVariables)
定義方法:維的名字=值1，值2，值3，…。
[0009]坐標變量用來指定維具體取什麼值，並可以通過一些方法，用這個值作為索引來得到變量數據。
4)、屬性(Attributes)
定義方法:變量名:屬性類型=「屬性說明」。[0010]一個變量可以擁有很多的屬性，變量的屬性一般是用來說明變量本身的，例如對單位、取值範圍的說明等。
[0011]5)、數據(Data)
定義方法:變量名=一組數據值
數據就是每個變量的實際存儲值。存儲數據的大小和類型由對應變量的維度及類型所決定。
[0012]
【發明內容】
[0013]本發明目的在於克服以上現有技術之不足，提供一種高效、可靠的多格式天氣雷達基數據文件轉NetCDF文件方法，具體有以下技術方案實現:
多格式天氣雷達基數據文件轉NetCDF文件方法，包括如下步驟:
1)通過文件後綴名匹配以及文件長度匹配的聯合判據識別方法識別當前需要轉換的雷達基數據文件類型；
2)根據所述當前需要轉換的雷達基數據的文件類型，並進行解析，提取出參數信息和觀測數據；
3)定義一個標準的NeWDF格式文件；
4)根據步驟3)中定義的NetCDF標準格式將步驟2)中解析出的參數信息和觀測數據轉換成所述NetCDF標準格式。
[0014]所述多格式天氣雷達基數據文件轉NetCDF文件方法的進一步設計在於,所述步驟I)中包括:通過文件後綴名匹配判據識別方法對當前雷達基數據文件進行匹配檢索，若檢測到當前雷達基數據文件的後綴名以「A」字母或「B」字母結尾，則判定當前雷達基數據文件為SA基數據文件類型或SB基數據文件類型；若檢測到當前雷達基數據文件的後綴名以「V」字母或「P」字母結尾，則判定當前雷達基數據文件為SC基數據文件類型；若檢測結果均不符合上述條件，則通過文件長度匹配判據識別方法，鑑別當前雷達基數據文件是否為相控陣雷達基數據文件類型。
[0015]所述多格式天氣雷達基數據文件轉NetCDF文件方法的進一步設計在於,所述步驟I)中相控陣雷達基數據文件類型的判定依據為文件的總字節數為19328位元組。
[0016]所述多格式天氣雷達基數據文件轉NetCDF文件方法的進一步設計在於,所述步驟2)中包括
2-1)定義三個三維數組，用於分別存儲當前雷達基數據的文件中解析獲取的反射率因子、平均徑向速度以及譜寬數據，所述三維數組數據實際存儲空間大小根據基數據文件中的狀態標誌、仰角、方位角以及距離庫長設定；
2-2)若判定雷達基數據為SA基數據文件類型或SB基數據文件類型:首先，讀取雷達基數據，分別讀取當前徑向數據的參數信息以及觀測數據，再根據所述參數信息將所述觀測數據存入對應的三維數組；
若判定雷達基數據為SC基數據文件類型:首先，讀取文件的頭信息，獲取仰角循環次數與方位循環次數的上限值；設置仰角循環次數與方位循環次數的初始值均為0，再讀取當前徑向數據的數據信息，方位循環次數自加1，若方位循環次數達到上限值，則仰角循環次數自加1，方位循環次數初始化為O，並讀取基數據文件的數據區信息，根據當前仰角和方位將數據存入對應的數組，直至仰角循環次數與方位循環次數均達到上限值；
若判定雷達基數據為相控陣雷達基數據文件:設基數據文件大小為，每個徑向數據結構大小為，則該文件所含雷達徑向數為:，將每個徑向數據中包含的仰角信息與三維數組形成映射關係，以存儲所述反射率因子、徑向速度和譜寬值。
[0017]所述多格式天氣雷達基數據文件轉NetCDF文件方法的進一步設計在於,所述步驟2-1)中，所述三維數組中的第一層用於存放雷達單個徑向上的反射率因子、平均徑向速度或譜寬數據，第一層存儲空間的大小根據該類型雷達基數據文件中最大測量距離長度和最小分辨距離庫參數設定；三維數組中的第二層用於存放不同方位上的雷達徑向數據，第二層存儲空間的大小通常為360，即0° -360° ;三維數組中的第三層用於存放不同仰角層下的雷達徑向數據，第三層存儲空間的大小根據該類型雷達基數據文件中的狀態標誌設定，當狀態標誌表示非文件尾時，文件位置指向下一仰角，同時第三層的層數增加一層，當狀態標誌表示已到文件尾時，循環結束，三維數組的第三層存儲空間大小即為當前循環累加的總層數。
[0018]所述多格式天氣雷達基數據文件轉NetCDF文件方法的進一步設計在於,所述步驟3)包括:
維度的定義:建立基於距離、方位、俯仰以及時間的四維自變量的極坐標系；
變量的定義:所述變量包括雷達站點信息、雷達性能參數、觀測參數信息以及天氣雷達觀測到的矩陣型變量，所述天氣雷達觀測到的矩陣型變量包括反射率因子、平均徑向速度和譜寬；
屬性的定義:用於定義物理量的單位；
數據的定義:通過數據值數組存儲雷達的實際觀測數據。
[0019]所述多格式天氣雷達基數據文件轉NetCDF文件方法的進一步設計在於,所述步驟4)中對當前基數據文件超出標準格式範圍的數據予以去除，不足標準格式範圍的數據用「-999」無效值進行補充。
[0020]本發明的優點如下:
本發明提供的多格式天氣雷達基數據文件轉NetCDF文件方法
一、能夠作為統一接口讀取不同格式的雷達文件；
二、NetCDF文件自身具有可描述性，還可將數據按照自變量、函數及其數據值的順序進行存儲，很適合氣象數據的處理；
三、NetCDF文件支持不同平臺之間的數據傳輸，這使得雷達數據適合在網絡平臺之間實現共孚；
四、NetCDF文件具有較高的數據存儲效率；
五、NetOF文件還可供第三方軟體(如一些科研軟體Grads、MatLab、IDL等)直接調用，提高科研工作的效率。
【專利附圖】
【附圖說明】
[0021]圖1為SA、SB基數據文件類型的解析過程。
[0022]圖2為SC基數據文件類型的解析過程。[0023]圖3為多格式天氣雷達基數據文件轉NetCDF文件方法的流程示意圖。
【具體實施方式】
[0024]下面結合附圖對本發明方案進行詳細說明。
[0025]本實施例提供的多格式天氣雷達基數據文件轉Net⑶F文件方法，包括如下步驟: I)通過文件後綴名匹配以及文件長度匹配的聯合判據識別方法識別當前需要轉換的
雷達基數據文件類型。
[0026]2)根據所述當前需要轉換的雷達基數據的文件類型，並進行解析，提取出參數信息和觀測數據。
[0027]3)定義一個標準的NeWDF格式文件。
[0028]4)根據步驟3)中定義的Net⑶F標準格式將步驟2)中解析出的參數信息和觀測數據轉換成所述NetCDF標準格式。
[0029]在進行格式轉換之前，首先需要識別當前需要轉換的雷達基數據文件類型。本方案採用文件後綴名匹配及文件長度匹配的聯合判據識別方法，即步驟I)採用的方法。
[0030]目前國內常見的雷達型號有北京敏視達公司的SA/SB雷達，成都國營784廠的SC/⑶雷達，南京十四所的CB雷達。另外，還有即將或計劃投入業務使用的雙線偏振雷達、相控陣氣象雷達等。不同廠家對基數據格式有不同的定義，同一廠家生產的不同型號雷達由於雷達參數性能的不同，基數據格式也是不同的。
[0031]其中，步驟I)中的具體內容包括:通過文件後綴名匹配判據識別方法對當前雷達基數據文件進行匹配檢索，若檢測到當前雷達基數據文件的後綴名以「A」字母或「B」字母結尾，則判定當前雷達基數據文件為SA基數據文件類型或SB基數據文件類型；若檢測到當前雷達基數據文件的後綴名以「V」字母或「P」字母結尾，則判定當前雷達基數據文件為SC基數據文件類型；若檢測結果均不符合上述條件，則通過文件長度匹配判據識別方法，鑑別當前雷達基數據文件是否為相控陣雷達基數據文件類型。
[0032]進一步的，步驟I)中相控陣雷達基數據文件類型的判定依據為文件的總字節數為19328位元組。
[0033]步驟2)的具體步驟如下:
2-1)定義三個三維數組，用於分別存儲當前雷達基數據的文件中解析獲取的反射率因子、平均徑向速度以及譜寬數據，三維數組數據實際存儲空間大小根據基數據文件中的狀態標誌、仰角、方位角以及距離庫長設定；
進一步的，三維數組中的第一層用於存放雷達單個徑向上的反射率因子、平均徑向速度或譜寬數據，第一層存儲空間的大小根據該類型雷達基數據文件中最大測量距離長度和最小分辨距離庫參數設定；三維數組中的第二層用於存放不同方位上的雷達徑向數據，第二層存儲空間的大小通常為360，即0° -360° ;三維數組中的第三層用於存放不同仰角層下的雷達徑向數據，第三層存儲空間的大小根據該類型雷達基數據文件中的狀態標誌設定，當狀態標誌表示非文件尾時，文件位置指向下一仰角，同時第三層的層數增加一層，當狀態標誌表示已到文件尾時，循環結束，三維數組的第三層存儲空間大小即為當前循環累加的總層數。
[0034]2-2)若判定雷達基數據為SA基數據文件類型或SB基數據文件類型:首先，讀取雷達基數據，分別讀取當前徑向數據的參數信息以及觀測數據，再根據所述參數信息將所述觀測數據存入對應的三維數組，參見圖1。對應的三維數組設置如下:float ref_data_784[20] [360] [1000] ; // 反射率因子float vel_data_784[20] [360] [1000] ; // 徑向速度float spw_data_784 [20] [360] [1000] ; // 譜寬
若判定雷達基數據為SC基數據文件類型:首先，讀取文件的頭信息，獲取仰角循環次數與方位循環次數的上限值；設置仰角循環次數與方位循環次數的初始值均為0，再讀取當前徑向數據的數據信息，方位循環次數自加1，若方位循環次數達到上限值，則仰角循環次數自加1，方位循環次數初始化為0，並讀取基數據文件的數據區信息，根據當前仰角和方位將數據存入對應的數組，直至仰角循環次數與方位循環次數均達到上限值，參見圖2。對應的三維數組設置如下:
float ref_data_784[20] [360] [1000] ; // 反射率因子
float vel_data_784[20] [360] [1000] ; // 徑向速度
float spw_data_784 [20] [360] [1000] ; // 譜寬
若判定雷達基數據為相控陣雷達基數據文件:設基數據文件大小為，每個徑向數據結構大小為，則該文件所含雷達徑向數為:，將每個徑向數據中包含的仰角信息與三維數組形成映射關係，以存儲所述反射率因子、徑向速度和譜寬值，對應的三維數組設置如下:float ref_data_phase [Μ] [N] [3200] ; // 反射率因子float vel_data_phase [Μ] [N] [3200] ; // 徑向速度float spw_data_phase [Μ] [N] [3200] ; // 譜寬
文件中觀測數據的獲取流程與SA基數據文件類型或SB基數據文件類型的流程類似。
[0035]步驟3)的內容具體包括維度的定義、變量的定義、屬性的定義以及數據的定義。其中，
維度的定義:天氣雷達探測方式是建立在極坐標系上的。因此，可以建立包括距離、方 位、俯仰和時間的四維自變量。考慮到不同型號雷的性能參數不同，觀測的距離、方位及俯 仰範圍也不同。因此，將距離、方位和俯仰的範圍進行標準化，具體定義如下: radialR = 1000 //徑向距離庫範圍(反射率因子) radialV = 1000 //徑向距離庫範圍(徑向速度) radialff = 1000 //徑向距離庫範圍(譜寬) azimuth = 360 //方位角範圍 elevation = 20 //俯仰角範圍 time = I //當前觀測時間。
[0036]變量的定義:普通的變量為非矩陣型變量，主要包括雷達站點信息、雷達性能參數和觀測參數信息。在NetCDF文件中定義如下:
Char* country // 國家名 Char* station // 站點名
Float beamH //水平波寬 Int wavelength // 波長Char* sminute //開始觀測時間(分)
Char* eminute //結束觀測時間(秒)
天氣雷達觀測到的矩陣型變量主要包括反射率因子、平均徑向速度和譜寬。這些變量大小與維度有關。因此，NetCDF中矩陣型變量的標準格式定義如下:
float reflectivity (radialR, azimuth, elevation) // 反身寸率因子
float velocity (radialR, azimuth, elevation) // 平均徑向速度
float spw (radialR, azimuth, elevation) // 譜寬
float az (azimuth，elevation)//波束實際方位角。
[0037]屬性的定義:屬性是對變量的說明和解釋，在NetCDF中屬性主要用來定義物理量的單位。標準格式的定義如下:
reflectivity:unit = dBZ // 反射率因子單位 velocity:unit = m/s //平均徑向速度單位 spw:unit = nm // 譜寬單位。
[0038]數據的定義:雷達實際觀測的數據值都存放在此處，每個變量對應一組數據值數組,數組範圍的大小由 該變量的總維度大小決定。本文NetCDF中數據的標準格式定義如下:
reflectivity = fRData[20*360*1000] // 反射率因子值 velocity = fVData[20*360*1000] //平均徑向速度值 spw = fffData[20*360*1000] //譜寬值。
[0039]步驟4)中對當前基數據文件超出標準格式範圍的數據予以去除，不足標準格式範圍的數據用「_999」無效值進行補充。
[0040]參照圖3所示的流程，【具體實施方式】如下:
O建立資料庫，實現系統權限認證及安全認證功能。
[0041]2)實現雷達基數據文件的識別，能夠區分SA/SB格式、SC/⑶格式及新型相控陣雷達多種格式。識別方法可參照步驟I)的內容。
[0042]3)解析獲取不同雷達基數據文件中的主要性能參數和觀測數據，提取方法參照步驟2)的內容。
[0043]4)定義標準NetCDF文件格式，能夠兼容不同雷達基數據格式，完成雷達數據格式的統一。具體轉換方法參照步驟3)以及步驟4)的內容。
[0044]5)加載netcdf.dll動態庫、netcdf.1ib靜態庫及相關頭文件和源文件,快速完成Net⑶F文件的讀寫操作。
【權利要求】
1.一種多格式天氣雷達基數據文件轉Net⑶F文件方法，其特徵在於，包括如下步驟: 1)通過文件後綴名匹配以及文件長度匹配的聯合判據識別方法識別當前需要轉換的雷達基數據文件類型； 2)針對當前需要轉換的雷達基數據的文件格式並進行解析，提取出主要參數信息和觀測數據； 3)定義一個標準的NeWDF格式文件； 4)根據步驟3)中定義的NetCDF標準格式將步驟2)中解析出的主要參數信息和觀測數據轉換成所述NetCDF標準格式。
2.根據權利要求1所述的多格式天氣雷達基數據文件轉NetCDF文件方法，其特徵在於所述步驟I)中包括:通過文件後綴名匹配判據識別方法對當前雷達基數據文件進行匹配檢索，若檢測到當前雷達基數據文件的後綴名以「A」字母或「B」字母結尾，則判定當前雷達基數據文件為SA基數據文件類型或SB基數據文件類型；若檢測到當前雷達基數據文件的後綴名以「V」字母或「P」字母結尾，則判定當前雷達基數據文件為SC基數據文件類型；若檢測結果均不符合上述條件，則通過文件長度匹配判據識別方法，鑑別當前雷達基數據文件是否為相控陣雷達基數據文件類型。
3.根據權利要求2所述的多格式天氣雷達基數據文件轉NetCDF文件方法，其特徵在於所述步驟I)中相控陣雷達基數據文件類型的判定依據為文件的總字節數為19328位元組。
4.根據權利要求 1所述的多格式天氣雷達基數據文件轉NetCDF文件方法，其特徵在於所述步驟2)中包括 2-1)定義三個三維數組，用於分別存儲當前雷達基數據的文件中解析獲取的反射率因子、平均徑向速度以及譜寬數據，所述三維數組數據實際存儲空間大小根據基數據文件中的狀態標誌、仰角、方位角以及距離庫長設定； 2-2)若判定雷達基數據為SA基數據文件類型或SB基數據文件類型:首先，讀取雷達基數據，分別讀取當前徑向數據的參數信息以及觀測數據，再根據所述參數信息將所述觀測數據存入對應的三維數組； 若判定雷達基數據為SC基數據文件類型:首先，讀取文件的頭信息，獲取仰角循環次數與方位循環次數的上限值；設置仰角循環次數與方位循環次數的初始值均為O，再讀取當前徑向數據的數據信息，方位循環次數自加1，若方位循環次數達到上限值，則仰角循環次數自加1，方位循環次數初始化為O，並讀取基數據文件的數據區信息，根據當前仰角和方位將數據存入對應的數組，直至仰角循環次數與方位循環次數均達到上限值； 若判定雷達基數據為相控陣雷達基數據文件:設基數據文件大小為，每個徑向數據結構大小為，則該文件所含雷達徑向數為:，將每個徑向數據中包含的仰角信息與三維數組形成映射關係，以存儲所述反射率因子、徑向速度和譜寬值。
5.根據權利要求4所述的多格式天氣雷達基數據文件轉NetCDF文件方法，其特徵在於所述步驟2-1)中，所述三維數組中的第一層用於存放雷達單個徑向上的反射率因子、平均徑向速度或譜寬數據，第一層存儲空間的大小根據該類型雷達基數據文件中最大測量距離長度和最小分辨距離庫參數設定；三維數組中的第二層用於存放不同方位上的雷達徑向數據，第二層存儲空間的大小通常為360，即O。-360° ;三維數組中的第三層用於存放不同仰角下的雷達徑向數據，第三層存儲空間的大小根據該類型雷達基數據文件中的狀態標誌設定，當狀態標誌表示非文件尾時，文件位置指向下一仰角，同時第三層的層數增加一層，當狀態標誌表示已到文件尾時，循環結束，三維數組的第三層存儲空間大小即為當前循環累加的總層數。
6.根據權利要求4所述的多格式天氣雷達基數據文件轉NetCDF文件方法，其特徵在於所述步驟3)包括: 維度的定義:建立基於距離、方位、俯仰以及時間的四維自變量的極坐標系； 變量的定義:所述變量包括雷達站點信息、雷達性能參數、觀測參數信息以及天氣雷達觀測到的矩陣型變量，所述天氣雷達觀測到的矩陣型變量包括反射率因子、平均徑向速度和譜寬； 屬性的定義:用於定義物理量的單位。
7.根據權利要求1所述的多格式天氣雷達基數據文件轉NetCDF文件方法，其特徵在於所述步驟4)中對當前基數據文件超出標準格式範圍的數據予以去除，不足標準格式範圍的數據用「_999」無效值 進行補充。
【文檔編號】G06F17/30GK103984773SQ201410245387
【公開日】2014年8月13日 申請日期:2014年6月5日 優先權日:2014年6月5日
【發明者】魏鳴, 王磊, 楊濤 申請人:南京信息工程大學