訂單驅動的海量遙感數據集群化預處理系統及其方法

2023-08-10 10:24:56

專利名稱：訂單驅動的海量遙感數據集群化預處理系統及其方法
技術領域：
本發明涉及遙感航空、航天影像數據下傳及預處理領域，特別的是指一種訂單驅動的海量遙感數據集群化預處理系統及其方法。
背景技術：
目前，遙感航空、航天技術發展迅猛，各種航空、太空飛行器上搭載的傳感器都能拍攝大量的遙感影像圖片，這些圖片可以廣泛應用於城市規劃、地圖製作、地形測量和國防建設等很多領域。遙感數據的來源主要包括衛星和飛機，而數據的處理則在地面。通過數傳通路每天將這些圖片傳送到地面系統，一個傳感器每天可以下傳多達幾百GB甚至上TB的數據。地面系統的任務是接收這些數據並對這些數據進行處理，其中預處理是一個重要的環節。訂單驅動的海量遙感數據集群化預處理系統的工作是進行數據歸檔、歸檔數據的編目和產品生產。
遙感數據預處理的方法主要採用兩類方式一種是利用工作站上的影像處理軟體，由操作員手工對數據進行生產，生產後進行歸檔；另一種採用高性能的小型機伺服器，在伺服器上進行自動化的批量數據處理。利用工作站上進行手工生產的缺陷是系統與操作員的交互非常頻繁，處理效率比較低，無法進行大數據量的處理；而利用小型機進行生產雖然處理能力較強，但是軟硬體採購以及系統維護的費用非常昂貴。
此外，遙感數據預處理還存在著如何解決大量數據存檔問題。如果全部採用磁碟存儲，由於數據量巨大，而且數據每天都在增長，實施起來成本太高。用磁帶保存數據可以降低成本，但是磁帶的訪問速度比磁碟要慢很多，因而需要同時採用磁碟和磁帶來保存數據。
目前，市面上有很多商用的數據備份軟體可以管理數據將數據保存到磁碟陣列和磁帶庫中，數據的遷移可以自動管理，用戶只需要少量的開發就可以對數據進行歸檔和提取。但是這種方式只能對整個數據進行保存和提取，無法從磁帶中提取一個數據的某個部分，而這恰恰是遙感圖像產品生產時所發生的絕大部分情形，因此商用軟體在遙感數據預處理領域的效率不高。另外，目前的商用歸檔遷移軟體只是考慮了數據的歸檔，沒有考慮數據價值的問題，而遙感數據包含了地域信息，不同的地域其價值也不一樣，高價值的數據會被經常訪問，這樣數據回遷和使用上就有很多局限。

發明內容
本發明的目的在於克服現有技術不足而提供一個支持海量遙感數據歸檔、編目和影像產品生產的訂單驅動的集群化預處理系統。
本發明的另一目的在於提供一種支持海量遙感數據歸檔、編目和影像產品生產的訂單驅動的集群化預處理系統的方法，它能夠高效率的解決訂單驅動的海量遙感數據集群化預處理系統中的數據保存、遷移和使用問題，在實現系統功能的同時降低系統的建設成本。
本發明的技術方案是一種訂單驅動的海量遙感數據集群化預處理系統，它包括訂單驅動的工作流引擎子系統、集群化並行編目和生產子系統、多級存儲歸檔子系統、帶庫管理子系統、自動化監控子系統和可插拔算法伺服器，其特徵在於所述的訂單驅動的工作流引擎子系統，它負責根據預定義的工作流程，驅動各子系統完成生產任務。在工作流引擎的控制支持下，整個預處理系統如自動機一樣運轉，高效地完成圖像處理任務。它包括針對遙感預處理業務的工作流技術，根據任務優先級的調度，高度持久對象緩存和對並發流程的支持。其中A)針對遙感預處理業務的工作流技術1)通過計算機技術的支持去定義、執行和管理一個系統的各種工作流程，協調工作流執行過程中工作之間以及群體成員之間的信息交互。
2)工作流管理系統將業務流程中工作如何組織協調在一起的規則抽象出來，生成工作流程的定義文件。
3)工作流程的定義採用XML文件的形式，每個工作流程對應一個XML文件。管理員根據預定的工作流程，編寫成XML文件，提交給系統處理，相應的工作流程就可以開始工作。如果要修改某一個工作流程，則由管理員編輯相應的XML文件，提交之後，對相應工作流程的修改就可以生效。
4)工作流程的定義可以由用戶按需配置、修改，保障本系統在自動運轉的前提下，具有最大的靈活性和適應性。
B)根據任務優先級調度工作流中的每一個任務都對應成一個訂單，訂單分配一個優先級，由於系統的資源有效，當很多訂單需要運行時，優先級高的訂單會比優先級低的訂單更快地調度執行。
C)高速持久對象緩存1)訂單信息的持久化保存。每個工作流中的所有訂單一經創建，系統就將訂單信息保存到資料庫中。這樣做便於統計系統的工作情況和訂單的執行情況。
2)訂單信息的裝載。對於未執行完畢的訂單，系統在重新啟動的時候可以從資料庫中讀取出來，根據優先級繼續調度執行，保證任務的完整性。
3)訂單信息的更新。每個訂單在執行的時候狀態會發生變化，這些變化將被實時地記錄到資料庫中。
D)對並發流程的控制日常情況下，同一時間內會有多個工作流需要同時執行，每個工作流又拆分出多個訂單。由於受到伺服器資源的限制，為了提高效率，這些訂單不能全部同時運行，所有的訂單都需要先排隊，等到系統有足夠資源的時候才會被執行。可以並發執行的訂單的數量可以由操作員通過配置文件來設定。
所述的集群化並行編目和生產子系統，是指利用集群化並行技術對航空、航天飛行器拍攝的長條帶影像進行編目，生成降解析度的瀏覽圖、拇指圖和編目元數據信息，根據訂單要求生產不同級別的影像產品。它包括集群並行編目，數據搜索定位和集群生產。其中A)集群並行編目1)由於一次拍攝形成的遙感數據文件非常大，可達十幾個GB甚至幾十個GB的數據量，而且影像是一個縱向的很長的條帶狀，一般的計算機屏幕無法瀏覽整個的圖像，對這些影像進行查詢檢索就非常不方便。因此需要對遙感數據文件(FRED格式)進行編目，將長條帶圖像分解成接近正方形的小圖像(稱為景)，按一定比例採樣形成瀏覽圖，並提取每個景的編目元數據信息。瀏覽圖還是很大，因此在這個圖像的基礎上再生成更小比例的拇指圖以便於WEB方式的批量瀏覽。
2)編目的時候JAVA程序通過RMI遠程調用JNI，JNI再調用底層的C++組件實現對數據的編目運算，並將生成的元數據保存到XML或者SELF文件中，瀏覽圖與拇指圖文件存放在指定的文件目錄下。
3)系統在編目的時候多個集群計算節點可以同時處理該任務，每個計算節點又使用多個線程來進行並發編目，確保一個條帶可以以最快的速度編目完畢。
B)數據搜索定位1)在集群化並行編目的情況下，多臺機器同時訪問同一個遙感數據文件，但是每個並行節點訪問的數據位置不同，所需的數據片斷通過一種數據時間與文件中數據偏移量的換算，每個集群節點可以精確地找到所需的數據。
2)每個計算節點中的編目線程根據自己負責的景的序號(path/row)在影像條帶中搜索定位，找到相應的起始位置然後讀取該景的數據。線程之間互不幹擾，完全獨立。
C)集群生產1)採用多個集群計算節點進行產品生產，每個節點又有多個工作線程。
2)生產過程是將原始的FRED格式的景轉變成通用格式的圖像文件的過程，包括輻射校正和幾何校正。生產的同時還對圖像產品進行編目，提取出產品的元數據。
3)生產訂單的控制採用JAVA程序控制，生產的算法則用C++來實現，JAVA通過JNI的方式調用C++的程序，二者共同完成產品的生產。
4)系統可以通過配置增減產品生產集群伺服器的數量，以適應業務的需要。
所述的多級存儲歸檔子系統，是指在不同的共享存儲架構的基礎上，根據數據的價值和使用要求在磁碟陣列和磁帶庫之間進行數據的歸檔和遷移。它包括基於價值評估的遷移，數據歸檔管理，存儲設備管理。其中A)基於價值評估的遷移1)指根據數據的類型與屬性(大小、重要度、訪問頻度等)、存儲設備的屬性(訪問速度、容量等)，將相應的數據保存在最合適的存儲設備上。
2)文件數據的重要度根據操作員設定的規則(如地域規則，產品級別等)系統自動計算；訪問頻度則根據系統對該數據的訪問情況自動記錄到資料庫中；設備的訪問速度和容量則由操作員配置指定。
3)數據的大小、重要度、訪問頻度等都對應價值計算的權重，操作員可以通過配置文件設定權重。系統則根據配置文件自動計算每個數據當前的價值。在操作員沒有設定的情況下，系統自動給出一個預設的權重。
4)操作員可以通過配置文件定義不同價值數據的遷移規則，規定何時遷移，遷移到哪個存儲設備。
B)數據歸檔管理
1)對系統內所有需要保存的數據進行歸檔，根據需要進行備份，並提供歸檔數據的查詢功能。
2)數據歸檔分為多個級別，比如在線、近線和離線。操作員可以通過配置文件設定任意多個歸檔級別以適應不同的需要。
3)存儲系統支持SAN、NAS和NFS等多種共享存儲架構。對於SAN架構，每臺數據訪問的伺服器都需要安裝存儲共享軟體。
C)存儲設備管理1)存儲設備包括磁碟陣列和磁帶庫。
2)操作員可以增加和減少可用的磁碟陣列分區以及可用的磁帶庫和磁帶機，便於系統的存儲容量擴展以及不停機進行存儲設備維護。
3)系統提供方便的監控界面，使操作員能對存儲設備的工作狀態一目了然。
所述的帶庫管理子系統，是一種支持多磁帶庫、多磁帶機、多介質類型和多記錄格式的軟體。該子系統是專門針對磁帶庫數據存儲的管理平臺，為用戶提供獨立於業務的磁帶庫存儲服務。磁帶庫可以被看作一個容量巨大的存儲池，隨時可以向池中保存數據，當需要的時候再從池中把數據提取出來。帶庫管理子系統將記錄所有保存在磁帶中的數據信息，不管磁帶在自動磁帶庫中還是在離線帶架上。帶庫管理子系統包括邏輯分區技術、優化調度技術、分布式遷移器架構、擴展數據格式插件、基於元數據自動磁帶檢查、自動帶機維護、多種標準訪問接口。其中A)邏輯分區技術
1)系統將各磁帶庫各類型的近線和離線磁帶的存儲空間視為一個完整的、容量近乎無限的磁帶庫存儲空間。按介質類型、讀寫格式等綜合因素，將存儲空間劃分為若干個邏輯分區。一個邏輯分區限定了它所允許使用的若干帶庫、若干介質類型(比如LT02、DLT等)，限定了它必須使用的數據類型(比如FRED、tar等)，以及限定它所允許的最大並發讀寫數量等。
2)每一盤新磁帶被使用前需要註冊，將其納入整個存儲空間。註冊磁帶時無需指定其所屬分區，當一盤空白磁帶被某個分區使用後，該磁帶即被劃分到該分區中，此後就不能再被其它分區識別和使用了。
3)分區屬於系統內部概念，對外界是透明的。當歸檔數據時，系統按照用戶提供的數據類型、業務類型及是否已軟體壓縮等信息，從預先配置好的業務映射表中查詢出應該使用的內部分區，於是此次歸檔的數據將會被寫入屬於該分區的磁帶中。
B)優化調度技術，用於訂單管理、任務調度、資源調配、線程管理、遷移器管理等核心工作，通過內置的優化方案，提高任務調度的效率1)訂單被分為磁帶數據讀寫訂單和磁帶遷移訂單兩大類。
2)任何一個訂單在某一時刻都處於某個狀態，在該狀態下可以進行某些操作。
3)所有的訂單在執行之前都需要排隊，驅動器調度線程會彼此同步地從讀寫訂單排隊隊列中取訂單來執行。
4)每個磁帶庫實體內都存在一個IO槽掃描線程，完成磁帶自動遷入和遷出工作。
C)分布式遷移器架構。數據遷移器專門負責磁帶讀寫操作。磁帶庫內的每個驅動器設備將對應若干個數據遷移器，這些數據遷移器都以獨立的進程分別運行在不同的Linux主機上，並通過RMI遠程接口綁定到磁帶庫存儲系統的調度內核上。在調度內核中每個驅動器都對應一個調度線程，該線程通過調度策略獲取訂單，然後將具體的磁帶讀寫操作交給一個最合適的數據遷移器來完成，原則上是找一個運行在系統負載最小的Linux主機上的數據遷移器。
D)擴展數據格式插件1)數據遷移器在進行磁帶讀寫時，是按照一定的數據格式來進行的。具體採用哪種數據格式完全由用戶業務來決定，系統並未限定哪種數據格式，而是通過一個可配置的框架，由用戶將針對自己的數據格式的讀寫方式嵌入到系統中。
2)每種具體的數據格式都對應一個數據類型驅動器(DataTypeDriver)，該驅動器實現了一個寫磁帶接口和一個讀磁帶接口，具體的實現方式由數據格式而定。比如tar格式，可以採用直接調用系統tar命令的實現方式；而FRED格式則可以通過jni調用c程序的方式，直接用二進位流進行讀寫。
E)基於元數據自動磁帶檢查1)磁帶數據檢測工具負責對已有磁帶中所歸檔的數據進行驗證，檢查這些數據在磁帶中的存儲結構是否與在資料庫中存儲的元數據保持一致，以判斷數據是否損壞。
2)磁帶數據檢測工具獨立於帶庫系統之外單獨運行，支持同時掛接多個不同類型的外置帶機(包括LT02、DLT等)，同時檢測多盤磁帶。整個檢測進度可被監控，也可被終止。
3)在每個帶機上的檢測工作都由一個獨立進程來完成，而檢測工具的主進程則負責監控這些工作進程，這樣當某個檢測過程出現異常時，不會對其它檢測過程造成影響。
F)自動帶機維護1)自動帶機清洗磁帶機的清洗由系統自動完成，各種介質類型的清洗帶被註冊到系統後，由帶庫管理系統統一管理。當系統判斷某個帶機需要清洗時，將自動加載合適的清洗帶進行清洗，完成後，自動把清洗帶從帶機中取出。操作員可以配置帶機需要清洗的條件，設置清洗工作的最佳執行時間，以保證不影響正常業務運作。
2)自動狀態監控系統實時記錄每個帶機當前的狀態，比如是否空閒、正在讀數據、正在裝載或卸載磁帶，磁帶機當前是否可用等。這些狀態信息通過界面展示給操作員，操作員可以據此判斷系統是否工作正常。
3)自動錯誤報警磁帶保存一段時間之後，上面的數據就可能讀不出來，磁帶機就會發生讀錯誤。在這種情況下，系統能夠通過界面向操作員報警，提示某個磁帶機在讀取某一盤磁帶時發生錯誤，由操作員決定是重試還是失敗。
G)多種標準訪問接口服務的對外發布採用多種通訊方式，比如WebService、RMI、JMS等，以適應各種用戶業務和管理需求。
所述的自動化監控子系統，是指基於SNMP協議，對待監控設備或者系統的MIB(管理信息庫)文件進行解析，自動生成相應的Java源文件，這些文件經過編譯後可以集成到系統中，對設備的工作狀態進行實時監控。另外還監控其他幾個子系統伺服器端的運行情況。當設備或子系統發生故障的時候以多種方式通知系統管理員。該子系統包括客戶端配置模塊、服務端客戶端接口模塊、服務端配置模塊、子系統監聽模塊、數據訪問模塊、任務調度模塊、SNMP通信模塊、服務端管理模塊。其中A)客戶端配置模塊，負責讀取客戶端的配置文件，將其轉化為Java內部可以識別的、類型安全的類的實例，同時還需要驗證客戶端配置文件的有效性。
B)服務端客戶端接口模塊，定義了監控子系統客戶端與伺服器端的通信接口。具體的接口形式為Java RMI。
C)服務端配置模塊，負責對伺服器端的配置文件進行讀取，將其轉化為Java內部可以識別的、帶有類型信息的類的實例，並對配置信息進行驗證。
D)子系統監聽模塊，負責從各個子系統接收遠程調用。監控子系統使用JavaRMI作為被監控子系統與監控子系統之間的通訊方式。被監控子系統向監控子系統發送心跳信號、子系統退出信號與子系統出現故障的信號，由監控子系統再通知系統操作員進行處理。
E)數據訪問模塊，負責伺服器端對Oracle關係型資料庫的訪問。
F)任務調度模塊，負責調度所有的SNMP輪詢任務。在配置文件更新的時候所有的後臺線程都會被取消掉，然後再重新啟動。平時則按照對應被監控設備或者系統指定的延時定時啟動SNMP輪詢任務。
G)SNMP通信模塊，負責根據每個設備或者系統的SNMP監控配置信息對其進行SNMP連接、通訊與查詢1)它需要的配置信息包括待監控的設備或者系統的地址、埠號、底層傳輸協議、SNMP版本、認證信息、輪詢延時與設備類型以及待監控的設備或者系統的待監控MIB。
2)它在運行時根據配置信息動態載入相應的MIB解析類，並創建實例，調用其方法進行MIB信息的解析直到其需要的所有的MIB信息都已獲得，然後再將這些信息通過資料庫訪問模塊保存在資料庫中。
H)服務端管理模塊是整個監控子系統伺服器端的核心模塊1)它負責啟動與關閉整個子系統。
2)通過服務端配置模塊讀取配置信息並分配到各個模塊。
3)對比MIB信息的差異。
4)檢查MIB信息的具體項值是否超過了配置文件中設置的閾值，並在發生這些情況的時候通知客戶端。
所述的可插拔算法伺服器，是指一種圖像處理算法與調用軟體之間的架構。圖像校正算法多種多樣，不同的研製單位有各自的特長，其校正算法各有優缺點。為了最大程度上利用各研製單位的優勢，降低用戶風險，採用可插拔算法伺服器架構，明確定義業務流程管理模塊與算法服務模塊的接口，使得多家軟體開發商可以遵照接口定義開發出不同的算法，然後根據不同算法在效率、精度、易用性等方面的比較，選擇其中之一嵌入圖像處理體系架構之中。包括業務流程管理模塊、算法服務模塊以及它們之間的接口。其中
A)業務流程管理模塊，負責處理業務邏輯，調用算法服務模塊中的算法完成產品生產任務。
B)算法服務模塊，負責實現輻射校正和幾何校正的功能1)它是一個動態連結庫，其輸入的參數包括產品生產所需要的眾多參數，輸出的參數為訂單執行結果，包括成功/失敗標識，以及可能出現的錯誤原因。
2)動態連結庫必須提供自描述功能，即提供標準的函數，列舉其支持的各類算法。例如，一個函數列舉其支持的所有地球模型；另一個函數列舉其支持的各類輻射校正算法等。
3)動態連結庫的作者應保證算法的效率、精度、正確性、以及對系統資源的合理利用。
C)業務流程管理模塊與算法服務模塊的接口，是一種模塊間的調用約定，包括服務的名稱、參數和返回的結果等。
一種訂單驅動的海量遙感數據集群化預處理系統方法，它包括A)登錄系統輸入操作員的帳號和密碼，進入主界面。
B)打開各子系統主窗口點擊主界面上的導航按鈕，系統會打開子系統的主窗口，同時連接後臺服務程序。
C)進入用戶管理子系統1)創建用戶在用戶信息對話框中填入用戶名稱、密碼、真實姓名、單位、郵箱等信息，提交後保存到資料庫中。
2)查詢用戶信息從用戶列表中選擇需要查看的用戶，系統彈出對話框顯示該用戶的註冊信息。另外可以查詢該用戶當前是否在線。
3)修改用戶信息從用戶列表中選擇需要查看的用戶，點擊″修改″按鈕，系統彈出對話框顯示該用戶的註冊信息。修改後點擊″確定″按鈕，新的用戶信息就被保存到資料庫中。
4)刪除用戶操作員可以從用戶列表中選擇用戶進行刪除。
D)進入工作流引擎子系統1)查看系統當前的工作流和訂單用戶可以設置過濾條件，使窗口只顯示符合條件的工作流和訂單。
2)新建請求用戶可以從系統的菜單中創建各種請求，包括數據歸檔請求、數據編目請求、數據提取請求和產品生產請求。
3)查看工作流和訂單信息通過右鍵點擊某個工作流或訂單，操作員可以看到它的各個參數和當前的運行狀態。
4)刪除工作流操作員可以刪除已經完成或失敗的工作流。
E)進入產品生產子系統1)查看訂單列表所有的產品生產訂單分成排隊訂單、活動訂單、非活動訂單和結束訂單這幾類。
2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息。
3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作。
4)創建生產訂單從菜單中打開產品生產訂單的對話框，輸入所需參數，然後提交給系統執行。
F)進入編目子系統1)查看訂單列表所有的數據編目訂單分成排隊訂單、活動訂單、非活動訂單和結束訂單這幾類。
2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息。
3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作。
4)創建數據編目訂單從菜單中打開數據編目訂單的對話框，輸入所需參數，然後提交給系統執行。
G)進入歸檔子系統1)查看訂單列表所有的數據歸檔和提取訂單分成排隊訂單、活動訂單、非活動訂單和結束訂單這幾類。
2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息。
3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作。
4)創建數據歸檔或提取訂單從菜單中打開數據編目訂單的對話框，輸入所需參數，然後提交給系統執行。
5)查詢歸檔數據輸入查詢條件，系統查詢資料庫，將結果以列表方式顯示給用戶。
6)查看存儲空間信息系統通過一個對話框顯示每一類數據所佔用的存儲空間的大小以及總容量，並用不向的顏色顯示當前空間佔用的百分比，如果超過某個閾值，顯示紅色報警。
H)進入帶庫管理子系統1)查看訂單列表和操作隊列所有的數據歸檔和提取訂單都進行排隊，經過優化組合形成操作隊列。
2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息。當操作員將磁帶遷入或遷出帶庫之後，需要在系統消息中進行確認。另外在發生磁帶讀寫故障時也需要操作員對消息進行響應，通過右鍵菜單決定是重試還是忽略或者標記為壞帶。
3)查看機械手的狀態顯示磁帶庫的機械手當前是正在遷移磁帶、掃描帶庫、掃描I/O槽還是空閒。如果是遷移磁帶，系統給出磁帶源槽位和目標槽位的槽位號。
4)查看磁帶機的狀態系統在列表中顯示帶庫中的每個帶機當前的狀態，包括正在裝載、正在讀數據、正在卸載和空閒，另外還列出了每個帶機當前所裝載的磁帶的條碼。
5)查看磁帶庫的信息系統以對話框顯示所管理的磁帶庫中所有槽位中的磁帶條碼以及空閒槽位的數量。
6)查詢磁帶數據信息輸入磁帶的條碼號，系統查詢資料庫，將查詢結果顯示給用戶。查詢結果包括磁帶的容量、剩餘容量、保存的數據類型、歸檔級別、首次和末次使用時間以及保存的數據列表。
7)遷移磁帶用戶可以通過系統菜單下達磁帶遷移訂單，將磁帶從磁帶庫遷移到離線或從離線遷移到帶庫。一次可以對多盤磁帶進行遷移。
I)進入監控子系統1)查看各子系統的運行狀況系統通過類表方式顯示各子系統的啟動時間、啟動用戶帳號、伺服器IP位址和當前的狀態(運行中、已關閉)。
2)查看設備的狀態操作員可以瀏覽被管理設備和系統的MIB信息。
3)添加監控設備操作員可以指定想要監控的設備，輸入其IP位址即可。
4)關閉子系統用戶可以選擇一個子系統，點擊″關閉子系統″按鈕向該子系統發送一個關閉命令。
本發明的優點在於1、訂單驅動的自動化處理流程。系統將一個大的流程拆分成多個訂單，提交給相應的子系統去執行，由一個子系統來協調這些訂單的處理結果和任務分派，當所有的訂單都處理完畢後，該子系統再向用戶或外部接口系統返回整個流程的處理結果。在數據處理過程中，所有的步驟都是自動進行，基本不須人工幹預(包括對某些異常情況的自動處理)，因此能極大提高整個系統的工作效率。
2、集群化的並行生產方式。數據的歸檔、編目、生產和提取都可以通過多臺伺服器進行，伺服器節點的數量可以根據業務需要進行擴展和收縮，擴展性非常好。由於某種類型的任務可以在多臺機器上運行，當某臺伺服器失效時，整個系統還能保持這項功能，只是性能下降而已，整個集群的機構可靠性非常高。多臺伺服器可以同時處理多個任務，整體性能得以提高。集群化可以使用戶採用性價比更高的PC伺服器來構建系統，而不需要投入巨資購買小型機這樣的設備來達到相同的性能。
3、可插拔的算法伺服器。遙感數據處理的步驟主要包括輻射校正和幾何校正。即對原始數據應用圖像處理算法，在其他輔助數據的參與下，最後生產出某種格式的圖像(比如GEOTIFF格式)。算法的種類很多，國內外也有多個公司實現了某些算法，另外傳感器類型多樣，為了支持多傳感器和多個廠家的多種算法，本系統提供了一種可插拔的算法伺服器架構。系統定義了一個標準的接口，任何符合該接口的算法都可以被該系統所使用。這種巧妙結合即方便了用戶採購最好的算法，又解決了算法的改進優化問題，而且當新的傳感器數據需要處理時，用戶可以用最小的代價來實現。
4、海量數據的高效管理。傳感器遙感數據的數據量非常巨大，每天可以達到幾百GB甚至更多。本系統能夠多如此海量的數據進行高效的管理。常用的數據放在磁碟陣列上，不常用的數據放在磁帶庫中，基本不用的數據就保存在磁帶架上。系統可以根據需要設置多個存儲級別，按數據的類型或用途分區存放，可以配置設定每個類型的數據在各個存儲分區和存儲級別上的遷移規則，對數據進行整個生命周期的管理。
5、智能化的帶庫管理。在一個大型的訂單驅動的海量遙感數據集群化預處理系統中，由於數據量巨大或者由於歷史原因最後導致數據保存的不同類型的磁帶中。要讀寫這些磁帶可能需要採用不同的磁帶機和磁帶庫。本系統成功地實現了異種帶庫的控制，能夠通過SCSI命令調度機械手抓取磁帶，對帶機進行自動清洗。另外，本系統的帶庫管理子系統實施一種高效策略，周期性地掃描磁帶庫的I/O槽，自動實施磁帶的遷入和遷出。系統能夠自動識別帶庫中最舊的磁帶，在系統空閒的時候自動進行倒帶操作，提高了磁帶的使用壽命。
6、磁帶數據的高效訪問。本系統能夠在不同類型的磁帶機上讀寫不同的磁帶數據，解決了歷史遺留數據磁帶和新數據磁帶的訪問問題。本系統根據遙感數據的特點和遙感產品生產的特點，實現了從磁帶中直接提取某個條帶數據中的部分數據的功能，解決了商用存儲軟體由於以文件為單位管理數據而帶來的性能低下的問題，此軟體在國內遙感數據預處理領域處於技術領先的地位。另外本系統支持多種磁帶數據格式，包括FRED格式和TAR格式等。
7、可配置的工作流程。運行過程中，會面臨種種複雜的情況，許多情況是在研發狀況下所不能預測的。本系統具有自調節功能，能夠在運程過程中根據具體情況，調整處理流程。


圖1是本發明的系統方框圖。
圖2是本發明的系統處理流程圖。
圖3是本發明的工作流引擎架構圖。
圖4是本發明的並行編目原理圖。
圖5是本發明的多級存儲系統遷移流程圖。
圖6是帶庫管理的原理圖。
圖7是自動化的監控系統原理圖。
圖8是可插拔算法伺服器的原理圖。
具體實施例方式
下面將結合附圖及實施例對本發明做進一步說明。
本發明系統組成方框圖，如圖1所示一種訂單驅動的海量遙感數據集群化預處理系統1，它包括外部系統9通過交換機10與訂單驅動的海量遙感數據集群化預處理系統相連接，其特徵在於所述的訂單驅動的海量遙感數據集群化預處理系統，它包括訂單驅動的工作流引擎子系統2、集群化並行編目和生產子系統3、多級存儲歸檔子系統4、帶庫管理子系統5、自動化監控子系統6和可插拔算法伺服器7。
本發明的系統處理流程圖，如圖2所示外部系統9向預處理系統1發送一個空間保留請求11，表示有新的遙感數據需要進入到預處理系統1中工作流引擎子系統2收到該請求11後轉發給多級存儲歸檔子系統4，後者準備數據歸檔空間12；空間準備完畢後，外部系統9通過FTP方式將遙感數據上傳13到存儲空間；多級存儲歸檔子系統4對這些數據進行歸檔14，將數據保存在正式的歸檔目錄下，然後再複製數據到磁帶中；數據歸檔完畢後，集群化並行編目和生產子系統3開始對其進行編目15，產生瀏覽圖和編目元數據，並將編目結果發送給編目瀏覽子系統；操作員通過百年馬瀏覽子系統瀏覽編目結果16，根據需要下達產品生產訂單；集群化並行編目和生產子系統3收到產品生產訂單後按要求生產出圖像產品17；生產出來的圖像產品最後通過多級存儲歸檔子系統4進行歸檔18。
本發明的工作流引擎架構圖，如圖3所示外部系統9向預處理系統提交生產任務，放到任務隊列19中；格式轉換器20根據工作流引擎21的要求將任務轉換成所需格式，並提交給工作流引擎21；工作流引擎21讀取工作流定義文件22，找到該任務所匹配的工作流配置；工作流引擎21根據配置產生驅動其他子系統的訂單消息，發送到集群化並行編目和生產子系統的消息隊列23和多級存儲歸檔子系統的消息隊列24；集群化並行編目和生產子系統3和多級存儲歸檔子系統4收到消息之後轉化成訂單進行處理，並將處理結果返回給工作流引擎21，並由後者控制下一步的流程。
本發明的並行編目原理圖，如圖4所示一個遙感數據28包括多個景27；兩臺編目伺服器25分別啟動了三個和四個編目線程26；每個線程分別處理一個景，這些線程同時工作。編目伺服器25和編目線程26的數量可以根據配置文件和伺服器的性能情況靈活配置，這樣每個遙感數據28可以在最短的時間內編目完畢。
本發明的多級存儲系統遷移流程方框圖，如圖5所示原始遙感數據從數據源30(如地面站等)傳輸到預處理系統的數據接收站點，保存到在線存儲35中的FC盤陣32中；等待一段設定的時間之後數據被複製到近線存儲38中的帶庫36；原始遙感數據以整條帶的形式存在。原始遙感數據在線保存一定時間以後，外部應用系統31將部分高價值的數據以FRED單景的方式從整條帶中切割出來保存到SATA盤陣33上；產品數據生產出來之後保存在在線存儲35的SATA盤陣33上，之後立即複製一份保存在近線存儲38的帶庫36中；其中的3～4級產品被複製到在線存儲35的NAS盤陣34；在線保存一定時間之後，低價值的產品則被刪除。數據從SATA盤陣33遷出的時候，其中的高價值數據都會進行異地備份，先傳輸到異地的盤陣37上，再由異地備份系統拷貝到帶庫40。前面提到的數據的保存時間可配置。
本發明的帶庫管理的原理圖，如圖6所示整個帶庫管理系統分為四大部分系統調度55、數據遷移56、系統工具57以及系統監控54。
所述的系統調度部分55是整個磁帶庫存儲系統的核心，它包括啟動模塊41是服務端程序的入口；服務模塊43創建對外服務實例，並將服務實例以所配置的通訊方式發布出去，供管理員42和用戶44訪問；安全模塊45用來驗證用戶身份，管理用戶權限；分區模塊46負責存儲空間的邏輯分區和管理，維護存儲元數據；調度模塊47負責訂單管理、任務調度、資源調配、線程管理、遷移器管理等核心工作，通過內置的優化方案，提高了任務調度的效率；狀態信息模塊48負責搜集帶庫中需要監控的信息，並主動調用監控端遠程接口來更新監控界面；資料庫模塊49負責訪問資料庫；磁帶庫模塊50負責磁帶庫設備的管理和維護，包括磁帶遷移、磁帶裝載和卸載等機械手的具體操作；磁帶機的在線、離線操作；磁帶機的自動清洗等。
所述的數據遷移部分56完成磁帶機設備訪問，它包括數據遷移器模塊51專門負責磁帶讀寫操作；數據類型驅動器模塊52用來管理不同的磁帶數據記錄格式。
所述的系統工具部分57提供一些外部獨立的工具，它包括工具模塊53提供空白磁帶檢測工具和磁帶數據檢測工具。
系統監控部分54提供客戶端界面42，用於實時監控系統調度。
本發明的自動化的監控系統原理圖，如圖7所示包括監控子系統客戶端60和監控子系統伺服器端61。監控子系統伺服器端61採用主動監控的輪詢方式，使用SNMP的GET/GETNEXT/GETBULK方式查詢設備信息62；獲得設備相應的MIB信息之後與上一次查詢結果進行比較63，看看是否有變化；如果監控信息沒有變化則不作處理，如果發現有變化，就立即發送通知給監控子系統客戶端60；監控子系統客戶端60得到信息變化通知64之後在界面上顯示通知內容65。
本發明的可插拔算法伺服器的原理圖，如圖8所示系統中共有5個算法，包括算法A 72，算法B 73，算法C 74，算法D 75和算法E 76；業務流程管理模塊70正在調用算法C 74；業務流程管理模塊70和所有的算法都遵循調用接口71。
權利要求
1.一種訂單驅動的海量遙感數據集群化預處理系統，它包括用戶通過伺服器、控制網絡、存儲網絡、磁碟陣列、磁帶庫、PC機以及訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的訂單驅動的海量遙感數據集群化預處理系統，它包括訂單驅動的工作流引擎子系統、集群化並行編目和生產子系統、多級存儲歸檔子系統、帶庫管理子系統、自動化監控子系統和可插拔算法伺服器。
2.根據權利要求1所述的訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的工作流引擎子系統，它根據預定義的工作流程，驅動各子系統完成生產任務；在工作流引擎的控制支持下完成圖像處理任務；它包括A)遙感預處理工作流管理系統1)通過計算機定義、執行和管理一個系統工作流程，協調工作流執行過程中工作之間以及群體成員之間的信息交互；2)將流程中涉及組織協調的規則抽象出來，生成工作流程的定義文件；3)工作流程的定義採用XML文件的形式，每個工作流程對應一個XML文件。管理員根據預定的工作流程，編寫成XML文件，提交給系統處理，相應的工作流程就可以開始工作。如果要修改某一個工作流程，則由管理員編輯相應的XML文件，提交之後，對相應工作流程的修改就可以生效；4)工作流程的定義可以由用戶按需配置、修改，以保障本系統在自動運轉的前提下，具有最大的靈活性和適應性。B)根據任務優先級調度工作流中的每一個任務都對應成一個訂單，訂單分配一個優先級，由於系統的資源有效，當很多訂單需要運行時，優先級高的訂單會比優先級低的訂單更快地調度執行；C)高速持久對象緩存1)訂單信息的持久化保存每個工作流中的所有訂單一經創建，系統就將訂單信息保存到資料庫中，以便於統計系統的工作情況和訂單的執行情況；2)訂單信息的裝載對於未執行完畢的訂單，系統在重新啟動的時候可以從資料庫中讀取出來，根據優先級繼續調度執行，保證任務的完整性；3)訂單信息的更新每個訂單在執行的時候狀態會發生變化，這些變化將被實時地記錄到資料庫中；D)對並發流程的控制日常情況下，同一時間內會有多個工作流需要同時執行，每個工作流又拆分出多個訂單；由於受到伺服器資源的限制，為了提高效率，這些訂單不能全部同時運行，所有的訂單都需要先排隊，等到系統有足夠資源的時候才會被執行；可以並發執行的訂單的數量可以由操作員通過配置文件來設定。
3.根據權利要求1所述的訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的集群化並行編目和生產子系統，是指利用集群化並行技術對航空、航天飛行器拍攝的長條帶影像進行編目，生成降解析度的瀏覽圖、拇指圖和編目元數據信息，根據訂單要求生產不同級別的影像產品；它包括A)集群並行編目1)遙感數據文件FRED格式進行編目，將長條帶圖像分解成接近正方形的小圖像或稱為景，按一定比例採樣形成瀏覽圖，並提取每個景的編目元數據信息；2)如果瀏覽圖很大，可在原圖像的基礎上再生成更小比例的拇指圖，以便於WEB方式的批量瀏覽；3)在編目時，JAVA程序通過RMI遠程調用JNI；JNI再調用底層的C++組件實現對數據的編目運算，並將生成的元數據保存到XML或者SELF文件中；瀏覽圖與拇指圖文件存放在指定的文件目錄下；4)系統在編目時，多個集群計算節點可以同時處理該任務，每個計算節點又使用多個線程來進行並發編目，確保一個條帶可以以最快的速度編目完畢；B)數據搜索定位1)在集群化並行編目的情況下，多臺機器同時訪問同一個遙感數據文件，但是每個並行節點訪問的數據位置不同，所需的數據片斷通過一種數據時間與文件中數據偏移量的換算，每個集群節點可以精確地找到所需的數據；2)每個計算節點中的編目線程根據其負責的景的序號在影像條帶中搜索定位，找到相應的起始位置然後讀取該景的數據；線程之間互不幹擾，完全獨立；C)集群生產1)採用多個集群計算節點進行產品生產，每個節點又有多個工作線程；2)生產過程是將原始的FRED格式的景轉變成通用格式的圖像文件的過程，包括輻射校正和幾何校正；生產的同時還對圖像產品進行編目，提取出產品的元數據；3)生產訂單的控制採用JAVA程序控制，生產的算法則用C++來實現；JAVA通過JNI的方式調用C++的程序，二者共同完成產品的生產；4)系統可以通過配置增減產品生產集群伺服器的數量，以滿足需求數量。
4.根據權利要求1所述的訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的多級存儲歸檔子系統，是指在不同的共享存儲架構的基礎上，根據數據的價值和使用要求在磁碟陣列和磁帶庫之間進行數據的歸檔和遷移；它包括A)基於價值評估的遷移1)指根據數據的類型與屬性，它包括大小、重要度、訪問頻度；存儲設備的屬性，它包括訪問速度、容量，將相應的數據保存在最合適的存儲設備上；2)文件數據的重要度根據操作員設定的規則，它包括地域規則、產品級別，系統自動計算；訪問頻度則根據系統對該數據的訪問情況自動記錄到資料庫中；設備的訪問速度和容量則由操作員配置指定；3)數據的大小、重要度、訪問頻度等都對應價值計算的權重，操作員可以通過配置文件設定權重；系統則根據配置文件自動計算每個數據當前的價值；在操作員沒有設定的情況下，系統自動給出一個預設的權重；4)操作員可以通過配置文件定義不同價值數據的遷移規則，規定何時遷移，遷移到那個存儲設備；B)數據歸檔管理1)對系統內所有需要保存的數據進行歸檔，根據需要進行備份，並提供歸檔數據的查詢功能；2)數據歸檔分為多個級別，比如在線、近線和離線。操作員可以通過配置文件設定任意多個歸檔級別以適應不同的需要；3)存儲系統支持SAN、NAS和NFS等多種共享存儲架構；對於SAN架構，每臺數據訪問的伺服器都需要安裝存儲共享軟體；C)存儲設備管理1)存儲設備包括磁碟陣列和磁帶庫；2)操作員可以增加和減少可用的磁碟陣列分區以及可用的磁帶庫和磁帶機，便於系統的存儲容量擴展以及不停機進行存儲設備維護；3)系統提供監控界面，以方便操作員對存儲設備的工作狀態一目了然。
5.根據權利要求1所述的訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的帶庫管理子系統，是一種支持多磁帶庫、多磁帶機、多介質類型和多記錄格式的軟體；該子系統是專門針對磁帶庫數據存儲的管理平臺，為用戶提供獨立於業務的磁帶庫存儲服務；磁帶庫可以被看作一個容量巨大的存儲池，隨時可以向池中保存數據，當需要的時候再從池中把數據提取出來；帶庫管理子系統將記錄所有保存在磁帶中的數據信息，不管磁帶在自動磁帶庫中還是在離線帶架上；它包括A)邏輯分區1)系統將各磁帶庫各類型的近線和離線磁帶的存儲空間視為一個完整的、容量近乎無限的磁帶庫存儲空間；按介質類型、讀寫格式等綜合因素，將存儲空間劃分為若干個邏輯分區；一個邏輯分區限定了它所允許使用的若干帶庫、若干介質類型，它包括LTO2、DLT；，限定了它必須使用的數據類型，它包括FRED、tar，以及限定它所允許的最大並發讀寫數量；2)每一盤新磁帶被使用前需要註冊，將其納入整個存儲空間；註冊磁帶時無需指定其所屬分區，當一盤空白磁帶被某個分區使用後，該磁帶即被劃分到該分區中，此後就不能再被其它分區識別和使用了；3)分區屬於系統內部概念，對外界是透明的；當歸檔數據時，系統按照用戶提供的數據類型、業務類型及是否已軟體壓縮等信息，從預先配置好的業務映射表中查詢出應該使用的內部分區，於是此次歸檔的數據將會被寫入屬於該分區的磁帶中；B)優化調度技術，用於訂單管理、任務調度、資源調配、線程管理、遷移器管理等核心工作，通過內置的優化方案，提高任務調度的效率；1)訂單包括磁帶數據讀寫訂單和磁帶遷移訂單；2)任何一個訂單在某一時刻都處於某個狀態，在該狀態下可以進行某些操作；3)所有的訂單在執行之前都需要排隊，驅動器調度線程會彼此同步地從讀寫訂單排隊隊列中取訂單來執行；4)每個磁帶庫實體內都存在一個IO槽掃描線程，完成磁帶自動遷入和遷出工作；C)分布式遷移器架構數據遷移器專門負責磁帶讀寫操作；磁帶庫內的每個驅動器設備將對應若干個數據遷移器，這些數據遷移器都以獨立的進程分別運行在不同的Linux主機上，並通過RMI遠程接口綁定到磁帶庫存儲系統的調度內核上。在調度內核中每個驅動器都對應一個調度線程，該線程通過調度策略獲取訂單，然後將具體的磁帶讀寫操作交給一個最合適的數據遷移器來完成，原則上是找一個運行在系統負載最小的Linux主機上的數據遷移器；D)擴展數據格式插件1)數據遷移器在進行磁帶讀寫時，是按照一定的數據格式來進行的；通過一個可配置的框架，由用戶將其需要的數據格式的讀寫方式嵌入到系統中；2)每種具體的數據格式都對應一個數據類型驅動器，該驅動器實現了一個寫磁帶接口和一個讀磁帶接口，具體的實現方式由數據格式而定；它包括tar格式，可以採用直接調用系統tar命令的實現方式；FRED格式，可以通過jni調用c程序的方式，直接用二進位流進行讀寫；E)基於元數據自動磁帶檢查1)磁帶數據檢測工具負責對已有磁帶中所歸檔的數據進行驗證，檢查這些數據在磁帶中的存儲結構是否與在資料庫中存儲的元數據保持一致，以判斷數據是否損壞；2)磁帶數據檢測工具獨立於帶庫系統之外單獨運行，支持同時掛接多個不同類型的外置帶機，它包括LTO2、DLT；同時檢測多盤磁帶；整個檢測進度可被監控，也可被終止；3)在每個帶機上的檢測工作都由一個獨立進程來完成，而檢測工具的主進程則負責監控這些工作進程，這樣當某個檢測過程出現異常時，不會對其它檢測過程造成影響；F)自動帶機維護1)自動帶機清洗磁帶機的清洗由系統自動完成，各種介質類型的清洗帶被註冊到系統後，由帶庫管理系統統一管理；當系統判斷某個帶機需要清洗時，將自動加載合適的清洗帶進行清洗，完成後，自動把清洗帶從帶機中取出；操作員可以配置帶機需要清洗的條件，設置清洗工作的最佳執行時間，以保證不影響正常業務運作；2)自動狀態監控系統實時記錄每個帶機當前的狀態，它包括是否空閒、正在讀數據、正在裝載或卸載磁帶，磁帶機當前是否可用；這些狀態信息通過界面展示給操作員，操作員可以據此判斷系統是否工作正常；3)自動錯誤報警磁帶保存一段時間之後，上面的數據就可能讀不出來，磁帶機就會發生讀錯誤；在這種情況下，系統能夠通過界面向操作員報警，提示某個磁帶機在讀取某一盤磁帶時發生錯誤，由操作員決定是重試還是失敗；G)多種標準訪問接口服務的對外發布採用多種通訊方式，它包括WebService、RMI、JMS，以適應各種用戶業務和管理需求。
6.根據權利要求1所述的訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的自動化監控子系統，是指基於SNMP協議，對待監控設備或者系統的MIB管理信息庫文件進行解析，自動生成相應的Java源文件，這些文件經過編譯後可以集成到系統中，對設備的工作狀態進行實時監控；監控其它幾個子系統伺服器端的運行情況；當設備或子系統發生故障的時候以多種方式通知系統管理員；它包括A)客戶端配置模塊，負責讀取客戶端的配置文件，將其轉化為Java內部可以識別的、類型安全的類的實例，同時還需要驗證客戶端配置文件的有效性；B)服務端客戶端接口模塊，定義了監控子系統客戶端與伺服器端的通信接口；具體的接口形式為Java RMI；C)服務端配置模塊，負責對伺服器端的配置文件進行讀取，將其轉化為Java內部可以識別的、帶有類型信息的類的實例，並對配置信息進行驗證；D)子系統監聽模塊，負責從各個子系統接收遠程調用；監控子系統使用JavaRMI作為被監控子系統與監控子系統之間的通訊方式；被監控子系統向監控子系統發送心跳信號、子系統退出信號與子系統出現故障的信號，由監控子系統再通知系統操作員進行處理；E)數據訪問模塊，負責伺服器端對Oracle關係型資料庫的訪問；F)任務調度模塊，負責調度所有的SNMP輪詢任務；在配置文件更新的時候所有的後臺線程都會被取消掉，然後再重新啟動；平時則按照對應被監控設備或者系統指定的延時定時啟動SNMP輪詢任務；G)SNMP通信模塊，負責根據每個設備或者系統的SNMP監控配置信息對其進行SNMP連接、通訊與查詢1)它需要的配置信息包括待監控的設備或者系統的地址、埠號、底層傳輸協議、SNMP版本、認證信息、輪詢延時與設備類型以及待監控的設備或者系統的待監控MIB；2)它在運行時根據配置信息動態載入相應的MIB解析類，並創建實例，調用其方法進行MIB信息的解析直到其需要的所有的MIB信息都已獲得，然後再將這些信息通過資料庫訪問模塊保存在資料庫中；H)服務端管理模塊是整個監控子系統伺服器端的核心模塊1)它負責啟動與關閉整個子系統；2)通過服務端配置模塊讀取配置信息並分配到各個模塊；3)對比MIB信息的差異；4)檢查MIB信息的具體項值是否超過了配置文件中設置的閾值，並在發生這些情況的時候通知客戶端。
7.根據權利要求1所述的訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的可插拔算法伺服器，是指一種圖像處理算法與調用軟體之間的架構；明確定義業務流程管理模塊與算法服務模塊的接口，以遵照接口定義開發出不同的算法，然後根據不同算法在效率、精度、易用性方面的比較，選擇其中之一嵌入圖像處理體系架構之中；它包括A)業務流程管理模塊，負責處理業務邏輯，調用算法服務模塊中的算法完成產品生產任務；B)算法服務模塊，負責實現輻射校正和幾何校正的功能1)它是一個動態連結庫，其輸入的參數包括產品生產所需要的眾多參數，輸出的參數為訂單執行結果，包括成功/失敗標識，以及可能出現的錯誤原因；2)動態連結庫必須提供自描述功能，即提供標準的函數，列舉其支持的各類算法；包括一個函數列舉其支持的所有地球模型；另一個函數列舉其支持的各類輻射校正算法；3)動態連結庫的作者應保證算法的效率、精度、正確性、以及對系統資源的合理利用；C)業務流程管理模塊與算法服務模塊的接口，是一種模塊間的調用約定，包括服務的名稱、參數和返回的結果。
8.一種訂單驅動的海量遙感數據集群化預處理系統方法，其特徵在於它包括A)登錄系統輸入操作員的帳號和密碼，進入主界面；B)打開各子系統主窗口點擊主界面上的導航按鈕，系統會打開子系統的主窗口，同時連接後臺服務程序；C)進入用戶管理子系統，它包括1)創建用戶在用戶信息對話框中填入用戶名稱、密碼、真實姓名、單位、郵箱等信息，提交後保存到資料庫中；2)查詢用戶信息從用戶列表中選擇需要查看的用戶，系統彈出對話框顯示該用戶的註冊信息；查詢該用戶當前是否在線；3)修改用戶信息從用戶列表中選擇需要查看的用戶，點擊「修改」按鈕，系統彈出對話框顯示該用戶的註冊信息；修改後點擊「確定」按鈕，新的用戶信息就被保存到資料庫中；4)刪除用戶操作員可以從用戶列表中選擇用戶進行刪除；D)進入工作流引擎子系統，它包括1)查看系統當前的工作流和訂單用戶可以設置過濾條件，使窗口只顯示符合條件的工作流和訂單；2)新建請求用戶可以從系統的菜單中創建各種請求，包括數據歸檔請求、數據編目請求、數據提取請求和產品生產請求；3)查看工作流和訂單信息通過右鍵點擊某個工作流或訂單，操作員可以看到它的各個參數和當前的運行狀態；4)刪除工作流操作員可以刪除已經完成或失敗的工作流；E)進入產品生產子系統，它包括1)查看訂單列表所有的產品生產訂單分成排隊訂單、活動訂單、非活動訂單和結束訂單這幾類；2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息；3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作；4)創建生產訂單從菜單中打開產品生產訂單的對話框，輸入所需參數，然後提交給系統執行；F)進入編目子系統，它包括1)查看訂單列表所有的數據編目訂單，它包括排隊訂單、活動訂單、非活動訂單以及結束訂單；2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息；3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作；4)創建數據編目訂單從菜單中打開數據編目訂單的對話框，輸入所需參數，然後提交給系統執行；G)進入歸檔子系統，它包括1)查看訂單列表所有的數據歸檔和提取訂單，它包括排隊訂單、活動訂單、非活動訂單和結束訂單；2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息；3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作；4)創建數據歸檔或提取訂單從菜單中打開數據編目訂單的對話框，輸入所需參數，然後提交給系統執行；5)查詢歸檔數據輸入查詢條件，系統查詢資料庫，將結果以列表方式顯示給用戶；6)查看存儲空間信息系統通過一個對話框顯示每一類數據所佔用的存儲空間的大小以及總容量，並用不同的顏色顯示當前空間佔用的百分比，如果超過某個閾值，顯示紅色報警；H)進入帶庫管理子系統，它包括1)查看訂單列表和操作隊列所有的數據歸檔和提取訂單都進行排隊，經過優化組合形成操作隊列；2)查看系統消息系統消息包括系統請求操作員幹涉的消息、系統信息、警告和錯誤信息。當操作員將磁帶遷入或遷出帶庫之後，需要在系統消息中進行確認；在發生磁帶讀寫故障時也需要操作員對消息進行響應，通過右鍵菜單決定是重試還是忽略或者標記為壞帶；3)查看機械手的狀態顯示磁帶庫的機械手當前是正在遷移磁帶、掃描帶庫、掃描I/O槽還是空閒；如果是遷移磁帶，系統給出磁帶源槽位和目標槽位的槽位號；4)查看磁帶機的狀態系統在列表中顯示帶庫中的每個帶機當前的狀態，包括正在裝載、正在讀數據、正在卸載和空閒；另外還列出了每個帶機當前所裝載的磁帶的條碼；5)查看磁帶庫的信息系統以對話框顯示所管理的磁帶庫中所有槽位中的磁帶條碼以及空閒槽位的數量；6)查詢磁帶數據信息輸入磁帶的條碼號，系統查詢資料庫，將查詢結果顯示給用戶。查詢結果包括磁帶的容量、剩餘容量、保存的數據類型、歸檔級別、首次和末次使用時間以及保存的數據列表；7)遷移磁帶用戶可以通過系統菜單下達磁帶遷移訂單，將磁帶從磁帶庫遷移到離線或從離線遷移到帶庫。一次可以對多盤磁帶進行遷移；I)進入監控子系統，它包括1)查看各子系統的運行狀況系統通過類表方式顯示各子系統的啟動時間、啟動用戶帳號、伺服器IP位址和當前的狀態，包括運行中、已關閉；2)查看設備的狀態操作員可以瀏覽被管理設備和系統的MIB信息；3)添加監控設備操作員可以指定想要監控的設備，輸入其IP位址即可；4)關閉子系統用戶可以選擇一個子系統，點擊「關閉子系統」按鈕向該子系統發送一個關閉命令。
全文摘要
本發明涉及遙感航空、航天影像數據下傳及預處理領域，特別的是指一種訂單驅動的海量遙感數據集群化預處理系統及其方法。本發明訂單驅動的海量遙感數據集群化預處理系統，它包括用戶通過伺服器、控制網絡、存儲網絡、磁碟陣列、磁帶庫、PC機以及訂單驅動的海量遙感數據集群化預處理系統，其特徵在於所述的訂單驅動的海量遙感數據集群化預處理系統，它包括訂單驅動的工作流引擎子系統、集群化並行編目和生產子系統、多級存儲歸檔子系統、帶庫管理子系統、自動化監控子系統和可插拔算法伺服器。本發明能夠高效率的解決訂單驅動的海量遙感數據集群化預處理系統中的數據保存、遷移和使用問題，在實現系統功能的同時降低系統的建設成本。
文檔編號G11B5/00GK1959717SQ20061014045
公開日2007年5月9日 申請日期2006年10月9日 優先權日2006年10月9日
發明者劉曉欣, 張志鋼 申請人:北京道達天際軟體技術有限公司