自校準的遠程成像和數據處理系統的製作方法
2023-07-05 14:47:01
專利名稱：自校準的遠程成像和數據處理系統的製作方法
自校準的遠程成像和數據處理系統
相關申請的交叉引用
本申請是2006年10月11日提交的序號為11/581,235的美國專利申請的部分繼 續申請案，該美國專利申請要求2003年9月18日提交的序號為10/664，737的美國專利申 請(其要求2002年9月20日針對「基於車輛的數據收集和處理系統」提交的序號為60/412， 504的美國臨時專利申請的優先權)的優選權。技術領域
本發明通常涉及遠程成像技術的領域，更具體地說，涉及在極大的視場內，繪製高 解析度、高精度、低失真數字圖像的系統。
背景技術：
遙感和成像是具有許多不同並且極其重要的實際應用-比如地質填圖和分析，和 氣象預報-的包含廣泛的技術。基於航空和衛星的攝影和成像是特別有用的遠程成像技 術，近年來，這些遠程成像技術變得極為依賴於數字圖像的數據，包括光譜、空間、高程及車 輛位置和方位參數的收集和處理。現在能夠以數字格式收集、處理和傳送空間數據-表徵 真實的房屋改造和定位，道路和高速公路，環境危害和狀況，公用事業基礎設施(例如，電 話線，管道)和地球物理特徵，以便方便地為各種應用(例如，動態GPS測繪)提供高度精 確的測繪和監測數據。高程數據可用於提高整個系統的空間和位置精度，可以從現有的數 字高程模型(DEM)數據集獲得，或者和光譜傳感器數據一起從主動的基於都卜勒的輻射測 量裝置或者被動的立體攝影計算當中收集數據。
遙感和成像應用面對的主要挑戰是空間解析度和光譜保真。諸如球面像差、散光、 場曲、失真和色差之類的攝影問題是在任何傳感器/成像應用中都必須處理的公知問題。 某些應用要求很高的圖像解析度-通常具有數英寸的容許量。取決於使用的特定系統(例 如，飛機、衛星或太空飛行器)，實際的數字成像裝置可以位於離其目標數英尺到數英裡的任何 地方，導致極大的標度因子。提供具有極大標度因子，還具有數英寸的解析度容許量的圖像 對甚至最可靠的成像系統也提出了挑戰。從而，常規系統通常必須在解析度質量和能夠成 像的目標區域的大小之間作出折衷。如果系統被設計成提供高解析度數字圖像，那麼成像 裝置的視場(FOV) —般較小。如果系統提供較大的F0V，那麼光譜和空間數據的解析度通常 被降低，從而失真增大。
正射成像是為試圖解決該問題而使用的一種方法。通常，正射成像通過編輯目標 的各不相同的子圖像，繪製目標的合成圖像。一般來說，在航空成像應用中，範圍和解析度 有限的數字成像裝置順序記錄目標區域的固定分區的圖像。隨後按照某種順序對齊這些圖 像，從而繪製目標區域的合成圖像。
通常，這樣的繪製處理非常費時，並且勞動密集。在許多情況下，這些處理需要顯 著惡化圖像質量和解析度的迭代處理-尤其是在繪製成千上萬的子圖像的情況下。在能夠 自動處理成像數據的情況下，該數據通常被反覆變換和採樣-從而隨著每個連續操作，降低色彩保真和圖像銳度。如果採用自動化的校正或均衡系統，那麼這樣的系統可能對圖像異常(例如，異乎尋常地明亮或黑暗的物體)敏感-導致過度校正或校正不足和圖像數據的不可靠判讀。在需要或者期望圖像的人工繪製的情況下，時間和勞動成本極大。
於是，需要一種為極大的FOV和相關的數據集提供高效並且通用的成像，同時保持圖像質量、精度、位置精度和清晰度的正射圖像繪製系統。另外，在計劃、收集、導航和處理所有相關操作的每個階段，大量應用自動化算法。發明內容
本發明涉及利用各種傳感器的遠程數據收集和處理系統。所述系統可包括實時地控制運輸工具和系統操作的計算機控制臺單元。系統還可包括連結到計算機控制臺，並與計算機控制臺通信的全球定位系統。另外，照相機和/或照相機陣列組合件可用於產生通過孔徑查看的目標的圖像。照相機陣列組合件通信連接到計算機控制臺。照相機陣列組合件具有安裝機架，中央耦接到所述機架並具有通過所述孔徑的第一焦軸的第一成像傳感器。照相機陣列組合件還具有耦接到所述機架並且沿著軸偏離第一成像傳感器的第二成像傳感器，第二成像傳感器具有通過所述孔徑，並且在相交區內與第一焦軸相交的第二焦軸。 照相機陣列組合件具有耦接到所述機架並且與第二成像傳感器相反沿著軸偏離第一成像傳感器的第三成像傳感器，第三成像傳感器具有通過所述孔徑，並且在相交區內與第一焦軸相交的第三焦軸。按照這種方式，可以使用任意數目的I到η個照相機，其中「η」可以是任意奇數或偶數。
系統還可包括姿態測量單元(AMU)，比如通信連接到計算機控制臺和照相機陣列組合件的慣性、光學或類似測量單元。AMU可以確定飛機在時間上的任意瞬間的橫擺、俯仰和/或滾轉，連續的DGPS位置可用於測量相對於大地北極的運載工具航向。使AMU數據與精確的DGPS數據結合，以產生可靠的實時AMU系統。系統還可包括容納在計算機控制臺內的鑲嵌模塊。鑲嵌模塊包括對輸入圖像進行初始處理的第一組件。鑲嵌模塊還包括確定輸入圖像的地理邊界的第二組件，第二組件協同地與第一組件接合。鑲嵌模塊還包括地理位置精確地把輸入圖像繪製到複合圖像中的第三組件。第三組件協同地與第一和第二組件接合。鑲嵌模塊中還包括均衡繪製到複合圖像中的輸入圖像的顏色的第四組件。第四組件可協同地與第一、第二和第三組件接合。另外，鑲嵌模塊可包括融合繪製到複合圖像中的相鄰輸入圖像之間的邊界的第五組件。第五組件可協同地與第一、第二、第三和第四組件接合。
可以實現第六組件，可選的前向傾斜和/或可選的向後傾斜照相機陣列系統，該系統收集傾斜圖像數據，並合併該圖像數據與姿態和位置測量結果，以便利用立體攝影技術，產生數字高程模型。數字高程模型的產生可以在飛機上實時地進行，或者稍後後處理。 第六組件與其它組件協同地工作。所有組 件可被安裝到剛性平臺上，以便提供傳感器數據的聯合配準。振動、湍流和其它因素會按照產生傳感器之間的對準關係的誤差的方式，作用於運載工具。與不利用這種聯合配準體系結構的其它系統相比，對各個傳感器使用公共的剛性平臺安裝可帶來顯著的優點。
此外，本發明可以採用一定程度的橫向過採樣來改善輸出質量和/或聯合安裝、 聯合配準過採樣，從而克服物理像素解析度極限。
為了更好地理解本發明，和舉例表示可如何實現本發明，現在參考本發明的詳細 說明，以及附圖，其中不同圖中的對應附圖標記表示對應的部分，其中
圖1圖解說明本發明的基於車輛的數據收集和處理系統；
圖1A圖解說明圖1的基於車輛的數據收集和處理系統的一部分；
圖1B圖解說明圖1的基於車輛的數據收集和處理系統的一部分；
圖2圖解說明圖1的基於車輛的數據收集和處理系統，同時更詳細地表示了本發 明的照相機陣列組合件；
圖3圖解說明按照本發明的一些方面的照相機陣列組合件；
圖4圖解說明利用圖1的照相機陣列組合件取回的成像模式的一個實施例；
圖5描述圖解說明本發明的某些方面的成像模式；
圖6圖解說明按照本發明的圖像條帶；
圖7圖解說明按照本發明的圖像條帶的另一個實施例；
圖8圖解說明按照本發明的成像處理的一個實施例；
圖9圖解說明可如何對齊利用照相機陣列組合件拍攝的照片，以獲得單幀；
圖10是按照本發明的一些實施例的處理邏輯的方框圖11是按照本發明的一些實施例，從運載工具俯視的橫向過採樣的圖示
圖12是按照本發明的一些實施例，從運載工具俯視的橫向過採樣的圖示
圖13是按照本發明的一些實施例，從運載工具俯視的航線過採樣的圖示
圖14是按照本發明的一些實施例，從運載工具俯視的航線過採樣的圖示
圖15是按照本發明的一些實施例，從運載工具俯視的漸次放大的圖示
圖16是按照本發明的一些實施例，從運載工具俯視的漸次放大的圖示
圖17是按照本發明的一些實施例，從運載工具俯視的漸次放大的圖示
圖18是按照本發明的一些實施例的系統體系結構的示意圖19是按照本發明的一些實施例，從運載工具俯視的單一照相機陣列的旁向重 疊子像素區中的橫向聯合安裝(co-mounted),聯合配準過採樣的圖示；
圖20是按照本發明的一些實施例，從運載工具俯視的兩個重疊的照相機陣列的 旁向重疊子像素區中的橫向聯合安裝，聯合配準過採樣的圖示；
圖21是按照本發明的一些實施例，從運載工具俯視的兩個立體照相機陣列的旁 向重疊子像素區中的前向和橫向聯合安裝，聯合配準過採樣的圖示。
具體實施方式
雖然下面詳細說明了本發明的各個實施例的實現和使用，不過應理解本發明提供 可在各種具體環境中體現的許多適用的發明原理。這裡討論的具體實施例僅僅作為實現和 使用本發明的具體途徑的例證，並不限制本發明的範圍。
圖1、1A和IB中表示了本發明的基於運載工具的數據收集和處理系統100。在圖2 和18中表示了本發明的另外方面和實施例。系統100包括一個或多個計算機控制臺102。 計算機控制臺包括用於控制運載工具和系統操作的一個或多個計算機104。計算機控制臺 的功能的例子是控制可與數據收集和處理系統相關的數字顏色傳感器系統，向駕駛員提供顯示數據，協調衛星產生的GPS秒脈衝(PPS)事件觸發脈衝(它可以是每秒20個以上的脈 衝)，數據記錄，傳感器控制和調整，檢查並對錯誤事件報警，記錄和索引照片，保存和處理 數據，使運載工具的導航自動化的飛行計劃能力，數據以及和提供相關信息的實時顯示。控 制計算機控制臺和運載工具自動駕駛儀控制器之間的通信接口提供實時實際控制運載工 具的航跡的能力。這導致與人工控制相比，運載工具的路徑的更精確控制。所有這些功能 可以通過利用與GPS PPS信號同步，並且考慮到測量裝置的各種電氣反應時間的各種計算 機程序來實現。在一個實施例中，計算機被嵌入傳感器內。
—個或多個差分全球定位系統106被合併到系統100中。全球定位系統106用於 在運載工具和系統操作期間，導航和確定精確的航跡。為了實現這一點，全球定位系統106 通信連結到計算機控制臺102，以使得能夠在不中斷飛行的情況下，獲得和處理來自全球定 位系統106的信息。零個以上的GPS單元可以位於已知的測量點，以便提供每個亞秒的基 於GPS衛星的誤差的記錄，從而能夠反向(back)校正系統100的精度。可以使用GPS和/ 或地基定位服務，這完全消除了對地面控制點的需要。這種技術導致數據捕獲運載工具的 極大改善的逐個亞秒的位置精度。
提供實時橫擺、俯仰和滾轉信息的一個或多個AMU 108也通信連結到計算機控制 臺102，所述橫擺、俯仰和滾轉信息用於精確地確定運載工具在數據捕獲的時刻的姿態。目 前的姿態測量單元(AMU)(例如，Applanix P0SAV)利用每一個分別用於橫擺、俯仰和滾轉 測量的3個高性能光纖陀螺。也可以使用其它製造商生產的AMU以及使用其它慣性測量 裝置的AMU。另外，AMU可用於確定運載工具的瞬時姿態，並且使系統對AMU讀數中的統計 錯誤的容錯性更高。一個或多個多頻DGPS接收器110可以連接到AMU。多頻DGPS接收器 110可以與AMU的橫擺、俯仰和滾轉姿態數據結合，以便更精確地確定遙感器平臺在三維空 間中的位置。另外，利用依據與GPS PPS信號同步記錄的連續DGPS位置產生的向量，可以 確定大地北極的方向。
用於產生通過孔徑查看的目標的圖像的一個或多個照相機陣列組合件112也可 通信耦接到所述一個或多個計算機控制臺102。將在下面更詳細說明的照相機陣列組合件 112向數據收集和處理系統提供高解析度、高精度逐行掃描或線掃描，彩色數字攝影的能 力。
系統還可包括DC電源和調節設備114，以調節DC電源和把DC電源轉換成AC電 源，從而為系統提供電力。系統還可包括導航顯示器116，導航顯示器116圖形呈現運載工 具的位置與供運載工具的駕駛員(在運載工具上或者在遠程)使用的飛行計劃，從而能夠 在水平平面和垂直平面中實現精確的航跡。系統還可包括由LIDAR、SAR 118或前後傾斜的 照相機陣列構成的EMU模塊，用於捕獲三維高程/地貌數據。EMU模塊118可包括雷射器單 元120、EMU控制單元122和EMU控制計算機124。也可酌情部署溫度控制裝置，比如固態 冷卻模塊，以便為系統提供適當的熱環境。
系統還可包括容納在計算機控制臺102內的鑲嵌模塊(未示出)。將在下面更詳 細說明的鑲嵌模塊向系統提供收集利用全球定位系統106、AMU 108和照相機系統112獲得 的數據的能力，並把所述數據處理成可用的正射地圖。
系統100還可包括自鎖航跡技術，自鎖航跡技術提供微校正相鄰航跡的位置精 度，以便獨自實現超過AMU和DGPS傳感器的本生精度的精度的能力。
完整飛行計劃方法被用於微計劃任務的所有方面。輸入是各個任務參數(緯度/ 經度、解析度、顏色、精度等)，輸出是保存在數據收集運載工具上的、用於實時導航和報警 的詳細在線數字地圖和數據文件。把飛行計劃數據直接連接到自動駕駛儀的能力是附加的 集成能力。可以使用自動控制航跡、姿態調整、圖形顯示、航跡的移動地圖，檢查報警條件和 校正動作，把整個系統的狀態通知駕駛員和/或機組人員，和提供故障安全操作和控制的 電腦程式。可以不斷地監測和報告安全操作參數。雖然當前的系統利用了機組人員，不 過系統也可被設計成同樣完全適用於無人運載工具。
圖2表示本發明的另一種描述。在圖2中，更詳細地表示了照相機陣列組合件12。 如圖所示，照相機陣列組合件12允許從後斜位置，前斜位置和天底位置獲得圖像。圖3更 詳細地描述本發明的照相機陣列組合件。圖3提供在目標302(例如，地形)上方空中的照 相機陣列組合件300。出於舉例說明的目的，圖3中沒有按比例描繪組合件300的相對大 小，和組合件300與地形302之間的相對距離。照相機陣列組合件300包含機架304，在機 架304內，沿著凹曲軸316布置成像傳感器306、308、310、312和314。軸316的曲率半徑 可以變化或者顯著改變，提供在軸316中實現非常精細或者非常急劇的凹度。另一方面，軸 316可以是完全線性的-根本沒有任何曲率。藉助聯接件318，成像傳感器306、308、310、 312和314直接或者間接地耦接到機架304。聯接件318可包括許多固定或者動態的永久 或臨時連接設備。例如，聯接件318可包括簡單焊接、可拆卸的夾緊裝置、或者機電控制的 萬向接頭。
另外，系統100可具有實時的機載導航系統，以便向運載工具駕駛員提供可視的 生物反饋顯示，或者提供遠程顯示(就無人駕駛運載工具中的操作來說)。駕駛員能夠實時 調整運載工具的位置，以理提供更精確的航跡。駕駛員可以在運載工具上，或者位於遠程位 置，從而通過通信鏈路，利用飛行顯示來控制運載工具。
系統100還可利用高度容錯的方法，所述方法是為了提供軟體交錯磁碟存儲方法 而提出的，軟體交錯磁碟存儲方法允許一個或兩個磁碟驅動器發生故障，而仍然不失去保 存在驅動器上的目標數據。相對於其它硬體方法，比如RAID-5，這種軟體交錯磁碟存儲方法 提供出眾的容錯性和可移植性。
系統100還可包含提出的剛好在任務數據捕獲之前，允許短路校準步驟的方法。 這種校準方法步驟根據對環境光強度採樣，並且正好在到達關心的區域之前，設定幾乎最 佳的值，調整照相機設置(尤其是曝光時間)。隨後利用移動平均算法進行逐秒的照相機調 整，以便傳遞改善的始終如一的照片結果。這改善了正射地圖的顏色處理。另外，校準可被 用於檢查或確定每個傳感器裝置(照相機、DPG、AMU、EMU等)的精確空間位置。按照這種 方式，可以考慮到在這些裝置的空間位置方面發生的變化，從而保持整個系統的精度指標。
另外，系統100可包括提出的允許通過飛過包含多個已知的、可視的並且非常精 確的地理位置，校準運載工具上的每個傳感器裝置(照相機、DPG、AMU、EMU等)的精確位置 和姿態的方法。程序把該數據作為輸入，並輸出微位置數據，所述微位置數據隨後用於精確 地處理正射地圖。
如圖3中所示，機架304包含簡單的機殼，成像傳感器306、308、310、312和314布 置在所述機殼內。儘管圖3描述5照相機陣列，不過當利用從I到任意數目的許多照相機傳 感器時，系統同樣適用。傳感器306-314經聯接件318共同耦接到單個橫向橫梁，或者單獨耦接到置於機架304的相對側壁之間的側向橫梁。在備選實施例中，機架304本身可以只 包含凹曲度的支承橫梁，成像傳感器306-314經構件318耦接到該支撐橫梁。在其它實施 例中，機架304可包含機殼和支承橫梁的混合組合。機殼304還包含在成像傳感器和目標 302之間，在機殼表面形成的孔徑320。取決於主飛行器的具體種類，孔徑320可以只包含 孔隙，或者它可以包含保護屏或保護窗，以保持機架304內的環境完整性。在把保護性透明 板用於任何傳感器的情況下，可對所述透明板塗覆特殊塗層，以提高傳感器數據的質量。可 選的是，孔徑320可以包含透鏡或其它光學器件，以增強或改變傳感器記錄的圖像的性質。 利用足以向成像傳感器306-314提供到地形302上的目標區域322的適當視線的尺寸和形 狀，形成孔徑320。
在機架304內，或者順著機架304布置成像傳感器306-314，以使所有傳感器的焦 軸在由孔徑320限制的相交區內會聚和彼此相交。取決於收集的圖像數據的種類，使用的 具體成像傳感器，和採用的其它光學器件或設備，可能必須或者理想的是在孔徑320上方 或下方，偏移相交區或者會聚點。成像傳感器306-314相互隔開一定的角度。成像傳感器之 間的準確偏位角可隨使用的成像傳感器的數目，和收集的成像數據的種類而極大變化。如 果需要，成像傳感器之間的角位移也可不相等，以便提供期望的圖像偏移或對齊。取決於利 用的成像傳感器的數目，和陣列的特殊結構，所有成像傳感器的焦軸可以完全相交在相同 點，或者可以相交在多個點，所有多個點都彼此緊鄰，並且在由孔徑320限定的相交區內。
如圖3中所示，順著軸316，在機架304內在中央布置成像傳感器310。成像傳感 器310具有從機架304正交指向的焦軸324，以便使成像傳感器的視線對準區域322的圖 像區326。鄰近成像傳感器310，順著軸316，在機架304內布置成像傳感器308。圖像傳感 器308被對準，以使其視線與區域322的圖像區328 —致，並且以使其焦軸330在孔徑320 限定的區域內，與軸324會聚和相交。在軸316的與成像傳感器308相反的一側，鄰近成像 傳感器310，在機架304內布置成像傳感器312。圖像傳感器312被對準，以使其視線與區 域322的圖像區332 —致，並且以使其焦軸334在孔徑320限定的區域內，與軸324和330 會聚和相交。鄰近傳感器308，順著軸316在機架304內布置成像傳感器306。成像傳感器 306被對準，以使其視線與區域322的圖像區336 —致，並且以使其焦軸338在孔徑320限 定的區域內，與其它焦軸會聚和相交。在軸316相反的一側，鄰近傳感器312在機架304內 布置成像傳感器314作為傳感器306。圖像傳感器314被對準，以使其視線與區域322的圖 像區340 —致，並且以使其焦軸344在孔徑320限定的區域內，與其它焦軸會聚和相交。
成像傳感器306-314可包含許多數字成像裝置，例如包括單獨的面掃描照相機、 線掃描照相機、紅外傳感器、高光譜和/或地震傳感器。每個傳感器可包含單獨的成像裝 置，或者它本身可包含成像陣列。成像傳感器306-314可以都具有同樣的性質，或者可包含 各種各樣的成像裝置的組合。為了易於引用，下面分別把成像傳感器306-314稱為照相機 306-314。
在大號膠片或數位照相機中，透鏡畸變一般是成像問題的來源。必須仔細地校準 每個單獨的透鏡，以確定精確的畸變因數。在本發明的一個實施例中，利用透鏡角寬度為 17°的小號數位照相機。這有效並且可負擔得起的減輕了可察覺的畸變。
另一方面，照相機306-314沿著軸316布置在機架304內，以使每個照相機的焦軸 會聚到孔徑320，穿過焦軸324，使其視場對準與它在陣列中的相應位置相對的目標區域，從而結果產生照相機和成像目標之間的「斜視」視網膜關係。照相機陣列組合件300被配置成使得圖像區326、328、332、336和340的鄰接邊界稍微重疊。
如果聯接件318是永久並且固定的(例如，焊接)，那麼孔徑320，照相機和它們的視線之間的空間關係保持固定，圖像區326、328、332、336和340之間的空間關係也將保持固定。在例如衛星監測應用中，這樣的結構是合乎需要的，在所述衛星監測應用中，照相機陣列組合件300將保持在離區域322大體固定距離的位置。設定照相機的位置和對準，以使區域326、328、332、336和340提供區域322的完全成像覆蓋。不過，如果聯接件318是臨時的或者可調整的，那麼理想的是手動地或者藉助遠程自動化，有選擇地調整照相機的位置或對準，以便移動、縮小或加寬區域326、328、332、336和340-從而增強或改變利用照相機陣列組合件300收集的圖像的質量。
在一個實施例中，多個，S卩，至少兩個剛性安裝單元被固定到相同的剛性安裝板上。安裝單元是任意剛性結構，至少一個成像傳感器可被固定到其上。安裝單元最好是封閉成像傳感器的機架，不過可以是任何剛性結構，包括支柱、三角架等。對本公開來說，成像傳感器意味能夠接收和處理來自目標區域的主動或被動輻射能量，即，光、聲音、熱、重力等的任何裝置。特別地，成像傳感器可包括任何數目的數位照相機，包括利用紅-藍-綠濾光片、bushbroom濾光片或高光譜濾光片的數位照相機，LIDAR傳感器,紅外傳感器,熱感傳感器，重力計等。成像傳感器不包括用於藉助衛星數據和/或慣性數據，為運載工具定位的姿態測量傳感器，比如陀螺儀、GPS裝置和類似裝置。最好，所述多個傳感器是不同的傳感器。
在其中成像傳感器是照相機、LIDAR或類似的成像傳感器的實施例中，安裝單元最好具有光和/或能量可通過的孔徑。安裝板最好是平面的，不過可以是非平面的。在其中成像傳感器是照相機、LIDAR或者類似成像傳感器的實施例中，安裝板最好具有與光和/或能量可通過的安裝單元的孔徑對齊的孔徑。
剛性結構是在使用時，彎曲小於約O. 01°，優選小於約O. 001°，最好小於約 0.0001°的結構。可取的是，剛性結構是當在正常，即，非湍流飛行期間，固定到飛機上時， 彎曲小於約O. 01°，優選小於約O. 001°，最好小於約O. 0001°的結構。如果在正常工作期間，物體被相互剛性固定，那麼它們相對於彼此彎曲小於約0.01°，優選小於約O. 001°， 更優選的是小於約O. 0001°。
照相機310被指定為主照相機。照相機310的像面326充當基準面。相對於基準面測量其它照相機306、308、312和314的方位。利用為把照相機的像面旋轉成平行於基準面而需要的橫擺角、俯仰角和滾轉角，測量每個照相機的相對方位。旋轉的順序最好是橫擺、俯仰和滾轉。
固定到安裝單元的成像傳感器可以不在相同平面中對齊。可改為使成像傳感器的安裝相對於固定到第一安裝單元的第一傳感器，最好第一安裝單元的標準天底點照相機的安裝角的角度偏移。因而，成像傳感器可被聯合配準，以校準每個成像傳感器相對於彼此的物理安裝角 偏移量。在一個實施例中，多個，即至少兩個剛性安裝單元被固定到相同的剛性安裝板，並被聯合配準。在一個實施例中，照相機306-314被固定到剛性安裝單元上，並被聯合配準。在這個實施例中，利用GPS和慣性數據，確定AMU，最好陀螺儀的幾何中心點。相對於基準點，最好AMU的幾何中心點，計算固定到第一安裝單元的第一傳感器，最好第一安裝單元的標準天底點照相機的物理位置。同樣地，直接地，或者相對於相同基準點間接地計算所有安裝單元內的所有剩餘傳感器的物理位置。
傳感器的視軸角被定義成從傳感器的幾何中心到基準面的角度。最好，所述基準面與目標區域正交。利用地面目標點，可以確定第一傳感器的視軸角。最好參考第一傳感器的視軸角，計算後續傳感器的視軸角。最好利用已知的地面目標(所述已知的地面目標最好是可照片識別的)，校準傳感器，另一方面，利用自鎖航跡或者如在美國專利申請公布 No. 2004/0054488A1 (現在的美國專利No. 7，212，938B2)中公開的任何其它方法校準傳感器，該美國專利的公開內容在此全部引為參考。
第二安裝單元內的成像傳感器可以是任何成像傳感器，最好是LIDAR。另一方面， 第二成像傳感器是數位照相機，或者數位照相機的陣列。在一個實施例中，參考第一傳感器的視軸角，計算固定到第二安裝單元的傳感器的視軸角。參考在第一安裝單元內的第一傳感器的視軸角，可以校準在第二安裝單元內的成像傳感器的物理偏移。
按照這種方式，利用相同的GPS信號，相同的地面目標，在大體相同的大氣條件下，在大體相同的時間(epoch)校準所有的傳感器。這顯著減小了當利用不同的GPS信號， 對照不同的地面目標，並在不同的大氣條件下，單獨校準每個傳感器時實現的複合誤差。
現在參見圖4，用俯視解說明分別利用照相機306-314拍攝的區域336、328、 326,332和340的圖像。再次，由於「斜視」安排，區域336的圖像用照相機306拍攝，區域 340的圖像用照相機314拍攝，諸如此類。在本發明的一個實施例中，在透視變換之後，除利用中央照相機310拍攝的圖像之外的圖像呈現梯形。照相機306-314沿著在多數應用中， 垂直向下指向的軸316形成陣列。在備選實施例中，相對於第一照相機陣列，對齊類似於照相機306-314的陣列構成的第二照相機陣列，以具有提供「抬頭」透視的傾斜視野。抬頭照相機陣列組合件相對於水平面的傾斜角可因任務目標和參數而變化，不過一般為25-45° 角。本發明類似地構思了改變照相機陣列的安裝的其它備選實施例。在所有這樣的實施例中，精確地測量和校準照相機的相對位置和姿態，以便按照本發明使圖像處理更容易。
在本發明的一個實施例中,外部機構(例如，GPS定時信號)被用於同時觸發照相機，從而捕獲一批輸入圖像。鑲嵌模塊隨後把來自這樣的陣列的各個輸入圖像表現成正射校正的複合圖像(或者「鑲嵌圖」)，相鄰圖像之間沒有任何明顯的接縫。鑲嵌模塊執行一組任務，包括確定每個輸入圖像的地理邊界和尺寸；利用精確的地理定位，把每個輸入圖像投射到鑲嵌圖上；均衡鑲嵌圖中的各個圖像的顏色；和在相鄰輸入圖像的共有接縫處， 融合所述相鄰輸入圖像。取決於輸入的圖像數據的大小和性質，執行的各個任務的確切順序可變化。在一些實施例中，在鑲嵌期間，鑲嵌模塊只對原始輸入圖像進行一次變換。所述變換可以用4X4矩陣表示。通過把多個變換矩陣組合成單一矩陣，減少了處理時間，並且保持了原始輸入圖像銳度。
在輸入圖像到鑲嵌圖的映射期間，尤其是當以較高的解析度進行鑲嵌時，輸入圖像中的任何像素(即，輸入像素)可能不映射到鑲嵌圖中的像素(即，輸出像素)。扭曲的線條可能在鑲嵌圖中產生偽像。本發明的一些實施例利用其中每個輸入像素和輸出像素被進一步分成子像素的nXm網格的超採樣系統，克服了這個問題。從子像素到子像素進行變換。輸出像素的最終值是其子像素的平均值 ，所述子像素存在對應的輸入子像素。較大的 η和m值產生更高解析度的鑲嵌圖，不過需要額外的處理時間。
在處理圖像數據的過程中，鑲嵌模塊可以利用以下信息在捕獲輸入圖像的時候，每個照相機的焦點的空間位置(例如，χ、y、z坐標);在捕獲輸入圖像的時候，每個照相機 的像面相對於目標區域的地平面的姿態(即，橫擺、俯仰、滾轉)；每個照相機的視場(即， 沿航跡和跨航跡)；和區域的數字地形模型(DTM)。姿態可由與系統相關的AMU提供。根據 利用LIDAR模塊118獲得的信息，可以創建數字地形模型(DTM)或者數字表面模型(DSM)。 LIDAR類似於更常見的雷達，可被視為雷射雷達。在雷達中，無線電波被發射到大氣中，大氣 把一些能量散射回到雷達的接收器。LIDAR也發射和接收電磁輻射，不過是以更高的頻率發 射和接收電磁輻射，因為它工作在電磁頻譜的紫外區、可見光區和紅外區中。操作中，LIDAR 把光發射到目標區域。發射的光與目標區域相互作用，從而被目標區域改變。一些光被反 射/散射回能夠對它進行分析的LIDAR儀器。光的性質的變化使得能夠確定目標區域的一 些性質。光傳送到目標區域，然後返回LIDAR裝置所用的時間被用於確定到目標的距離。
DTM和DSM數據集也可從照相機陣列組合件捕獲。也可以使用獲得高程數據的傳 統手段，比如立體攝影技術。
目前存在三種基本的LIDAR :測距儀、差分吸收LIDAR(DIAL)和都卜勒LIDAR。測距 儀LIDAR是最簡單的LIDAR，用於測量從LIDAR裝置到固體或硬質目標的距離。DIAL LIDAR 用於測量大氣中的化學物濃度(比如臭氧、水汽、汙染物)。DIAL LIDAR利用兩個不同的激 光波長，所述兩個不同的雷射波長是這樣選擇的，使得波長之一被所關心的分子吸收，而另 一個波長不被吸收。兩個返回信號的強度差可被用於推斷正在調查的分子的濃度。Doppler LIDAR用於測量目標的速度。當從LIDAR發出的光射到朝著LIDAR或者離開LIDAR移動的 目標時，從目標反射/散射的光的波長將輕微改變。這被稱為都卜勒頻移，於是Doppler LIDAR。如果目標正在移離LIDAR，那麼返回光將具有更長的波長(有時稱為紅移)，如果目 標正在朝著LIDAR移動，那麼返回光將具有較短的波長(藍移)。目標可以是硬目標或者大 氣目標(例如，風攜帶的微小灰塵和懸浮顆粒)。
最好使用照相機的焦點作為透視變換中心。其在空間中的位置可由例如安裝在主 飛行器上的多頻載波相位後處理GPS系統確定。最好對照GPS天線的中心，仔細地測量照 相機的焦點在三個維度的偏移量。這些偏移量可以與GPS天線的位置，以及主飛行器的方 位結合，以確定照相機的焦點的準確位置。最好通過對照部署在精確勘測的各個點的類似 地基GPS天線，處理收集的GPS數據，確定GPS天線的位置。
最好在運載工具上安裝一個或多個AMU (例如，Applanix POS AV)，以確定姿態。 最好每隔較短的時間，以好於O. 01°的精度，測量和記錄AMU基準面相對於目標區域的地 平面的姿態。AMU基準面的姿態可被定義成為使它平行於地平面，可對AMU基準面的各個軸 進行的一系列旋轉。術語「對準」也可用於描述該操作。
最好精確地校準中央照相機310 (即其像面)相對於AMU的姿態。最好還仔細地 校準每個其它照相機相對於中央照相機310的姿態。這種從屬校準比直接校準每個照相機 更高效。當重新安裝照相機陣列組合件300時，只需要重新校準中央照相機310。事實上， 對來自中央照相機310的輸入圖像應用一系列的兩次變換。首先，使中央照相機的像面對 齊AMU平面。隨後，再次使AMU平面與地平面對準。不過，通過剩餘它們相應的變換矩陣， 這些變換組合成單一操作。對於來自各個其它照相機的圖像，首先進行額外的變換，以使它 與中央照相機的像面對準。
如上所述可確定中央照相機310的焦點的位置。該位置的X和y分量最好確定鑲嵌圖的天底點400在地面的位置。每個照相機的視場(FOV)已知，從而利用該照相機的焦 點的z分量，可以確定每個輸入圖像的尺寸。最好通過計算區域的DTM中的各個點的平均 高程，確定地面的平均高程，隨後把每個輸入圖像投影到在該高程的假想水平面。隨後，最 好利用該區域的DTM，應用投影差。可從許多來源獲得DTM，包括可供美國大部之用的USGS 30米或10米DTM ;商用DTM ;或者利用安裝在主飛行器上，與照相機同時捕獲數據的LIDAR 或SAR EMU裝置獲得的DTM。
除了在地理上被正確放置之外，作為結果的複合圖像還需要處處具有輻射一致 性，並且在兩個相鄰圖像之間的接合處，沒有明顯的接縫。本發明提供實現此目的的許多技 術。
常規照相機的一個特徵是曝光時間(即，打開快門，以把光收集到像面的時間)。 曝光時間越長，作為結果的圖像越明亮。曝光時間必須適應於由諸如雲遮蓋；太陽相對於 照相機的角度和位置等條件引起的環境照明的變化。最佳曝光時間還取決於照相機相對於 光源的方位(例如，與對著陰暗物體的照相機相比，對著太陽照射的物體的照相機一般接 收更多的環境光)。調整曝光時間，以使圖像的平均強度保持在某個期望的範圍內。例如， 在24比特彩色圖像中，每個紅色、綠色和藍色分量可具有從O到255的強度值。不過，在多 數情況下，理想的是把平均強度保持在平均值(即，127)。
在本發明中，曝光控制模塊控制每個照相機或成像傳感器的曝光時間。它檢查每 個輸入圖像，並計算平均圖像強度。根據移動平均值(即，至少X個圖像的平均強度)，曝光 控制模塊判定是增大還是減小曝光時間。曝光控制模塊可以使用較長的移動平均值來實現 對照明條件變化的較慢反應，結果對異常黑暗或明亮圖像(例如，浙青路或水)不太敏感。 曝光控制模塊單獨控制每個照相機的曝光時間。
在其中在沒有前移補償機構的情況下，安裝照相機的系統中，必須存在曝光時間 的最大極限。把曝光時間設定成大於最大值的值會導致運動誘導模糊。例如，假定照相機 安裝在以170英裡/小時(或者約3英寸/ms)行進的飛機上。假定期望的像素解析度為6 英寸。圖像捕獲期間的前移應局限於像素大小的一半-在這種情況下，等於3英寸。從而， 最大曝光時間例如為I毫秒。
在控制成像質量的時候，有益的是能夠確定光強度的變化是由環境光的變化引起 的，還是由於存在異常明亮或黑暗的物體(例如，反射水體，金屬屋頂，浙青等)引起的。本 發明的一些應用涉及航空攝影或監測。注意到地面的航空圖像通常包含作物和植被-與水 體或者諸如道路和建築物之類的人造結構相比，它們具有更加一致的反射率。當然，作物和 植被的圖像通常綠色佔優(即，在紅色、綠色和藍色值之中，綠色分量是最大的)。於是，通 過專注於綠色佔優的像素，可以使強度相關性更精確。
曝光控制模塊通過只選擇綠色佔優的像素，計算圖像的平均強度。例如，如果圖 像具有100萬個像素，而30萬個像素是綠色佔優的，那麼在平均強度的計算中，只包括這 30萬個綠色佔優的像素。這結果產生對由其像素通常不是綠色佔優的人造結構和水體引 起的偏離不太敏感的成像處理。如前所述，理想的是保持約127的強度值。當強度值高 於127(即，曝光過度)時，減小曝光時間，以使得捕獲較少的光。類似地，當強度值低於 127(即，曝光不足)時，增大曝光時間，以使得捕獲更多的光。例如，考慮飛越具有許多白色 屋頂(其強度非常高)的目標地形區域的系統。捕獲的圖像的平均強度往往會較高。在許多常規的系統中，曝光時間會被降低，以便進行補償。不過，在這樣的例子中，降低曝光時間 並不適當，因為明亮的屋頂使圖像的平均強度發生了偏差。降低曝光時間結果會產生其中 地面比實際更暗的圖像。相反，如果按照本發明，只處理綠色佔優的像素，那麼代表過度明 亮的屋頂的像素確實偏離平均強度，從而曝光時間不被改變。
從而，曝光控制模塊降低輸入圖像之間的強度差異。儘管如此，還提供進一步的處 理，以增強色調均衡。導致從像面的不均勻受光的因素很多(例如，透鏡物理性質、大氣條 件、成像裝置的空間/位置關係)。與在邊緣相比，在照相機或傳感器的中心接收更多的光。
本發明的鑲嵌模塊利用現在參考圖5圖解說明的防漸暈功能，解決該問題。當它 們延伸穿過成像目標區512 (例如，地面地形)時，許多焦點列500、502、504、506和508從 像面509會聚並穿過焦點510。列500-508可包含單個照相機或傳感器的各個解析度列，或 者可以代表許多獨立的照相機或傳感器的焦軸。為了引用起見，列504起軸的作用，列504 與像面509相交的點513起主點的作用。曝光控制模塊應用把輸入像素的原始強度乘以隨 列而定的防漸暈係數的防漸暈函數。由於接收面被表示成具有坐標系的平面，因此每列將 具有許多解析度行(未示出)。對於在列χ和行I的像素P，可以如下表述這種關係
=〈初始強度>*f (X);
其中f (X)是以下形式的函數
f (χ) =Cos (離軸角)**4。
離軸角514為0 (對中央列504來說)；較大(對列502和506來說)；更大(對 列500和508來說)。在列504和508之間描述了整個視場角516 (FOVx角)。
函數f (χ)可用在列之間的許多線段近似。對在任意給定列Cl和c2之間的線段 上的點來說，如下計算調整係數
〈C 的調整係數 >=f(cl) + [f(c2)-f(cl)*(c-cl)/(c2-cl)]；
其中f(cl)和f(c2)是分別在列Cl和c2的離軸角的f函數值。
每組輸入圖像需要被拼接成鑲嵌圖像。儘管曝光控制模塊調整每個照相機或傳感 器接收的光量，作為結果的輸入圖像仍然可能在強度方面不同。本發明提供強度均衡模塊， 所述強度均衡模塊比較相鄰輸入圖像之間的重疊區域，以進一步均衡相對強度。由於鄰接 的輸入圖像是同時拍攝的，因此在兩個輸入圖像中，重疊區域理論上應具有相同的強度。不 過，由於各種因素，強度值通常不同。導致強度差異的一些所述因素可包括例如僅僅存在於 特定照相機的視場中的異常明亮或黑暗的物體使曝光控制模塊發生偏差，或者照相機的視 軸角不同(即，與更加垂直的那些照相機相比，更加傾斜的照相機接收較少的光)。
為了均衡兩個相鄰圖像，一個圖像被選為基準圖像，另一個圖像是二次圖像。利用 例如以下處理，確定相關向量(fR，fG，FB)。令V是代表像素的值(R、G和B)的3X1向量R
V=GB
可如下導出相關矩陣C :FRO O
C = O IGOO OFB
其中FR=AvgIr/AvgIn ;AvgIr=基準圖像中的重疊區域的紅色平均強度；AvgIn=新 圖像中的重疊區域的紅色平均強度；並且類似地導出FG和FB。
相關矩陣比例縮放二次圖像的像素值，以使二次圖像的重疊區域的平均強度變得 等於基準圖像的重疊區域的平均強度。通過把其像素值乘以相關矩陣，二次圖像可被均衡 到基準圖像。
從而，在按照本發明的均衡處理的一個實施例中，中央圖像被視為基準圖像。基準 圖像首先被複製到複合圖像(或者鑲嵌圖)。使基準圖像和鄰接圖像(例如，近左圖像)相 互關聯，以計算均衡相關矩陣(BCM)。隨後把BCM乘以代表鄰近圖像的像素的向量，以使重 疊區域的強度在兩個圖像中相同。這種關係的一個實施例可以表示成
令I (center) =中央圖像中的重疊區域的平均強度；
I (adjoining) =鄰接圖像中的重疊的平均強度；那麼
均衡因子=I(center) /I (adjoining)。
單獨計算每個顏色通道(即，紅、綠和藍)的均衡因子。這三個值構成BCM。把現 在均衡的鄰接圖像複製到鑲嵌圖。藉助利用掩模的「羽化」，提供在被複製圖像的邊界的平 滑轉變。所述掩模具有和鄰接圖像相同的尺寸，包含許多元素。掩模中的每個元素指示鑲 嵌圖中的對應鄰接圖像像素的權重。對在邊界的像素來說，權重為0(即，輸出值獲取自基 準圖像)，並且權重沿著鄰接圖像的方向逐漸增大，直到變為I為止-在達到選擇的融合寬 度之後。超出融合區，鑲嵌圖將完全由鄰接圖像的像素決定。類似地，分析和處理所有其它 構成輸入圖像之間的重疊，以計算相關向量和均衡圖像的強度。
利用例如參考圖6的以下處理，確定相關矩陣。圖6描述按照本發明形成的條帶 600。基礎鑲嵌圖602和沿著路徑(或者軌跡)606添加的新的鑲嵌圖604在區域608中相 互交迭。令V是表示像素的R、G和B值的向量R
V = GB
令h是區域608的轉變寬度，y是從重疊區域的邊界610到點A的沿著軌跡606的 距離，點A的像素值用V表示。令C是相關矩陣FRO O
C = O FG OOO FB
V的均衡值(稱為V』)為
N' = [y/h.1+(l_y/h) · C] XV,當 0〈y〈h 時；
N' =V，當 y>=h 時；
其中I是單位矩陣100
1 = 010001
注意還結合梯度使用「羽化」技術，以使接縫可見性降至最小。
當鑲嵌圖較長時，從鑲嵌圖的一端到另一端，重疊部分的強度的差異會發生變化。 計算單一相關向量，以避免產生明顯接縫也許並不可能。可把鑲嵌圖分成與構成鑲嵌圖的 初始輸入圖像的位置對應的許多片段。對每個片段單元應用上面說明的處理，以提供更好 的局部顏色一致性。
按照這種修正的算法，在兩個片段的邊界的像素會產生垂直接縫(假定北-南航 線)。為了避免這種問題，必須使在該區域中的各個像素的均衡因子從一個片段的均衡因子 「轉變」成另一個片段的均衡因子。現在參考圖7說明這一點。
圖7描述按照本發明形成的條帶700。基礎鑲嵌圖702和新片段704在區域706 中交疊。鑲嵌圖702和另一個新片段708在區域710中交疊。片段704和708在區域712 中交疊，區域706、710和712都在區域714交疊且重合。為了便於說明，點716充當y軸 718和χ軸720的原點。沿著y軸718的移動代表沿著成像系統的航跡的移動。點716位 於區域714的左下側。
按照本發明，條帶的尺寸由構成鑲嵌圖的最小和最大χ和y值決定。輸出條帶被初 始化成背景顏色。第一個鑲嵌圖被轉移到所述條帶。之後處理下一個鑲嵌圖(沿著航跡)。 對於每個顏色通道單獨地關聯新的鑲嵌圖和第一個鑲嵌圖的重疊區的強度值。新的鑲嵌圖 被分成與構成該鑲嵌圖的初始輸入圖像對應的許多片段。為新的鑲嵌圖創建包含許多掩 模元素的掩模矩陣。掩模元素包含新的鑲嵌圖中的對應像素的相關矩陣。掩模中的所有元 素被初始化為I。掩模的大小可被限制成僅僅為新的鑲嵌圖的轉變區。為中心片段計算相 關矩陣。處理對應於中心片段的掩模區域。在重疊區的邊緣的各個元素的值被設定為相關 向量。隨後，當順著條帶逐漸離開第一鑲嵌圖時，相關矩陣的元素被增大或者被減小(它們 不是小於I就是大於I)，直到它們在預定的轉變距離變成I為止。隨後類似地處理與鄰接 中心片段的片段對應的掩模的區域。不過，由第一鑲嵌圖和新圖像的中心片段和鄰接片段 形成的區域714需要特殊的處理。由於鄰接片段的相關矩陣可能不同於中心片段的相關矩 陣，因此在與第一個鑲嵌圖的重疊區714中的兩個片段的邊界，出現接縫。於是，角落受兩 個片段的相關矩陣的影響。對於到與中心片段的邊界的距離為X，到重疊邊緣的距離為I的 掩模單元A來說，其相關矩陣是如下評估的這兩個片段的距離加權平均值
對於區域714中，到與中心片段的邊界的距離為χ的像素A(x，y)來說，以利用這 兩個片段計算的值的距離加權值的形式，計算其均衡因子；
Vl是基於片段704的均衡RGB向量；
V2是基於片段708的均衡RGB向量；
V』是組合(最終)的均衡RGB向量
Y' = ((d-x)/d). Vl+(x/d). V2 ；
其中
X軸是通過重疊區的底部的直線；
y軸是通過片段704和708之間的重疊區的左側的直線；
h是轉變寬度；和
d是片段704和片段708之間的重疊區的寬度。
類似地計算與其它鄰接片段對應的掩模區。
此外，按照本發明，應用色彩保真(即，白平衡)濾鏡。這把R分量和B分量乘以 可確定的因子，以增強色彩保真性。通過校準照相機和透鏡，可以確定所述因子。色彩保真 濾鏡確保圖像中的色彩保持其逼真度，和人眼直接感知的一樣。在圖像捕獲設備中，紅色、 綠色和藍色受光元件對於它們應該捕獲的顏色具有不同的靈敏度。應用「白平衡」處理-其 中捕獲白色物體的圖像。理論上，該白色物體的圖像中的像素應具有相同的R、G和B值。 不過事實上，由於不同的靈敏度和其它因素，每個R、G和B的平均顏色值可能分別為avgR、 avgG和avgB。為了均衡顏色分量,把像素的R、G和B值乘以以下比值
R值被乘以比值avgG/avgR ;和
B值被乘以比值avgG/avgB。
最終結果是白色物體的圖像被設定成具有相同的R、G、B分量。
在多數應用中，條帶通常覆蓋較大面積的非水表面。從而，諸如高反射表面之類的 異常物不太可能扭曲條帶的平均強度。本發明提供強度歸一化模塊，強度歸一化模塊使每 個條帶的平均強度歸一化，以使平均值和標準偏差具有期望的值。例如，為127的平均值是 攝影測量學中的範數。為51的標準有助於把強度值遍布在圖像特徵的視覺感知的最佳範 圍內。每個條帶是在不同的照明條件下獲得的，於是，具有不同的成像數據簡檔(即，平均 強度和校準偏差)。該模塊使條帶歸一化，以使所有條帶具有相同的平均值和標準偏差。這 使條帶能夠被拼接在一起，而沒有明顯的接縫。
這種強度歸一化包含每個通道R、G和B，以及所有通道的平均強度的計算。隨後 計算總的標準偏差。每個像素的每個R、G和B值被變換成新的平均數和標準偏差
新值=新的平均數+(舊值-舊的平均數)*(新的標準偏差/舊的標準偏差)
之後，組合多個相鄰的條帶，從而產生所關心的區域的平鋪鑲嵌圖。完成的平鋪圖 對應於USGS quads或者季度四邊形(quarter-quads)。把條帶拼接成鑲嵌圖類似於把鑲嵌 圖拼接在一起，從而產生條帶，現在條帶起鑲嵌圖的作用。在兩個條帶之間的接縫線，如果 該接縫線穿過諸如建築物、橋梁之類的高架結構，那麼會出現問題。攝影測量學中的這個經 典問題起因於從兩個不同的視角觀看的相同物體引起的視差。例如在建築物的成像中，一 個條帶可呈現從建築物的一側看的視圖，而另一個條帶呈現從建築物的另一側看的視圖。 在把圖像拼接在一起之後，所得到的鑲嵌圖可能看起來像圓錐形帳蓬。為了解決這個問題， 可以實現地形引導的鑲嵌處理，以引導接縫線的放置。例如，可以處理和圖像數據一起收集 的，或者從圖像數據分析的LIDAR或者DEM數據，以便在把圖像鑲嵌在一起的時候，確定圖 像的配置和形狀。從而，在一些鑲嵌的圖像中，接縫線可能不是直線-改為包含來回移動， 從而迂迴通過衣帽架結構的接縫線。
現在參見圖8，按照如上所述的本發明，圖解說明成像處理800的一個實施例。處 理800從一個或者更多的收集的原始圖像的序列802開始。隨後通過白平衡處理804處理 圖像802，把它們變換成一系列的中間圖像。隨後通過消除黑解難功能806處理序列802，之後前進到正射校正處理808。如前所述，正射校正依賴於來自成像傳感器系統或平臺的位 置和姿態數據810，而且依賴於DTM數據812。DTM數據812可以由位置數據810，以及由例 如USGS DTM數據814或LIDAR數據816產生。序列802現在被正射校正，然後處理繼續進 行色彩平衡818。在色彩平衡之後，序列802被鑲嵌模塊820轉換成複合圖像822。在該轉 換過程中，模塊820進行鑲嵌處理和羽化處理。現在，在步驟824中，通過與梯度和羽化鑲 嵌，一個或多個複合圖像822被進一步組合成圖像條帶826。通過強度歸一化828處理圖像 條帶。然後通過再次與梯度和羽化鑲嵌，在步驟830中把現在歸一化的條帶828鑲嵌在一 起，從而繪製最後的平鋪鑲嵌圖832。在步驟830中進行的鑲嵌可包括依賴於DTM數據812 或LIDAR數據816的地形引導的鑲嵌。
圖9圖解說明可如何對齊利用照相機陣列組合件拍攝的照片，以獲得單幀。本實 施例表示利用來自5個照相機的正射校正的數據，表示從運載工具俯視的照片模式例示。
圖10是按照本發明的一些實施例的處理邏輯的方框圖。如方框圖1000中所示， 處理邏輯接受一個或多個輸入，所述一個或多個輸入包括高程測量結果1002，姿態測量結 果1004和/或照片和傳感器影像1006。可以在分析之前，使某些輸入通過初始處理步驟， 如在方框1008中所示，其中使姿態測量結果與來自地面控制點的數據結合。可以結合高程 測量結果1002和姿態測量結果1004，以產生處理後的高程數據1010。處理後的高程數據 1010隨後可被用於產生高程DEM 1014和DTM 1016。類似地，可以結合姿態測量結果1006 和傳感器影像1006，以產生地理坐標參考的圖像1012，圖像1012隨後經歷圖像處理1018， 圖像處理1018可包括色彩平衡和梯度濾波。
取決於要使用的數據集(1020)，使DTM 1016或USGS DEM 1022與處理後的 圖像1018結合，從而產生正射校正的影像1024。正射影像1024隨後進入自鎖航線 (self-locking flightline) 1026。隨後進行均衡投影鑲嵌1028,以產生最終的照片輸出 1030。
本發明可以採用一定程度的橫向過採樣來提高輸出質量。圖11是按照本發明的 一些實施例，從運載工具俯視的橫向過採樣模式1100的圖示，顯示出最小的橫向過採樣。 在該圖示中，分配給中央照相機的中央天底區1102僅僅稍微與左天底區1104和右天底區 1106重疊，以使重疊降至最小。圖12是按照本發明的一些實施例，從運載工具俯視的橫向 過採樣模式1200的圖示，顯示出更大程度的橫向過採樣。在該圖示中，中央天底區1202顯 示與左天底區1204和右天底區1206的較大程度的重疊。
除了如圖11和12中所示的橫向重疊的使用之外，本發明也可以採用航線過採樣。 圖13是按照本發明的一些實施例，從運載工具俯視的航線過採樣模式1300的圖示，顯示出 一定程度的航線過採樣，但是最小的橫向過採樣。中央天底區1302和1304沿著航線相互 重疊，但是不橫向與左天底區1306和1308，或者與右天底區1310和1312重疊。
圖14是按照本發明的一些實施例，從運載工具俯視的航線過採樣的圖示，顯示出 相當大的航線過採樣以及相當大的橫向過採樣。可以看出每個中央天底區1402-1406相 互較大地重疊，以及與左天底區1408-1412和右天底區1414-1418較大地重疊。左天底區 1408-1412相互重疊，右天底區1414-1418 —樣地相互重疊。因而，該表面上的每個點被採 樣至少兩次，在一些情況下，多達四次。這種技術利用了在由不同的照相機傳感器覆蓋兩次 或者更多次的圖像的區域中，在橫向(跨航跡)和航線(沿航跡)方向，圖像解析度的加倍是可能的，從而使解析度整體提高四倍的事實。實踐中，圖像/傳感器解析度的改善在每個 維度稍微小於兩倍，在每個維度近似40%，或者說1. 4X1. 4= 2倍。這歸因於子像素對準 /方位的統計變化。實際上，像素網格離覆蓋的像素網格的距離很少完全相等。如果在子像 素層面作出極其精確的橫向照相機傳感器對準，那麼可以實現圖像解析度的四倍提高。
圖15是按照本發明的一些實施例，從運載工具俯視的漸次放大模式1500的圖示。 中央天底區1502在其左右邊緣分別由左側內部天底區1504和右側內部天底區1506限制。 左側內部天底區1504在其左邊緣由左側外部天底區1508限制，而右側內部天底區1506在 其右邊緣由右側外部天底區1510限制。注意這些區域表現出從一個區域到另一個區域的 最小程度的重疊和過採樣。
圖16是按照本發明的一些實施例，從運載工具俯視的漸次放大模式1600的圖示。 中央天底區1602在其左右邊緣分別由左側內部天底區1604和右側內部天底區1606限制。 左側內部天底區1604在其左邊緣由左側外部天底區1608限制，而右側內部天底區1606在 其右邊緣由右側外部天底區1610限制。注意，如上所述，這些區域表現出從一個區域到另 一個區域的最小程度的重疊和過採樣。在每個天底區1604-1610內，存在用灰色陰影表示 的中央圖像區1614-1620。
圖17是按照本發明的一些實施例，從運載工具俯視的漸次放大模式1700的圖示。 在模式1700的中心，左側內部天底區1702和右側內部天底區1704在中央重疊。左側中間 天底區1706和右側中間天底區1708分別被部分布置在區域1702和1704之外，分別與相 應的相鄰區域共享大約50%的重疊區域。左側外部天底區1710和右側外部天底區1712分 別被部分布置在區域1706和1708之外，分別與相應的相鄰區域共享大約50%的重疊區域。 中央圖像區1714被布置在模式1700的中央，由天底區1702-1712的中心部分組成。
圖18描述按照本發明的某些實施例的系統1800的體系結構的示意圖。系統1800 可包括一個或多個GPS衛星1802和一個或多個SATCOM衛星1804。還可包括一個或多個GPS 定位系統1806，所述一個或多個GPS定位系統1806在操作上連接到一個或多個模塊1808， 所述一個或多個模塊1808收集LIDAR、GPS和/或X、Y、Z位置數據，然後把這樣的信息提 供給一個或多個數據捕獲系統應用程式1812。一個或多個數據捕獲系統應用程式1812還 可接收來自照相機陣列1822的光譜數據。DGPS 1810可以通過無線通信鏈路1826，與一個 或多個SATCOM衛星1804通信。一個或多個SATCOM衛星1804又可與一個或多個數據捕獲 系統應用程式1812通信。
一個或多個數據捕獲系統應用程式1812可以與彼此也可相互作用的自動駕駛儀 1816、SSD和/或實時StichG系統1820對接。SSD 1814可在操作上連接到實時DEM 1818。 最後，實時DEM 1818和實時StitchG 1820可以連接到諸如磁碟陣列1824之類的存儲裝置。
本發明可以採用一定程度的聯合安裝、聯合配準過採樣來克服物理像素解析度限 制。圖19是按照本發明的一些實施例，從運載工具俯視的單個照相機陣列112的橫向聯合 安裝、聯合配準的過採樣結構1900的圖示，顯示了最小的橫向過採樣。照相機在垂直的旁 向重疊區1904和1908中重疊幾度。雖然圖19描述了 3照相機陣列，不過當利用從2個到 任意數目的校準照相機的許多照相機傳感器時，這些子像素校準技術同樣適用。
類似於圖3和4中的成像傳感器，照相機傳感器可被聯合配準，以校準每個傳感器相對於彼此和/或相對於天底點照相機的物理安裝角偏移。這提供初始的「近似」校準。這 些初始校準參數可被輸入系統100中的機載計算機系統104中，並利用過採樣技術，在飛行 期間更新。
現在參見圖19，矩形A、B和C代表來自3照相機陣列C_B_A(未示出)的圖像區 1902、1906和1910。圖中俯視地圖解說明分別利用照相機A-C(未示出)拍攝的區域1902、 1906和1910的圖像。再次，類似於圖3和4，由於「斜視」安排的緣故，區域1902的圖像由 右照相機A拍攝，區域1906的圖像由中央/天底點照相機B拍攝，區域1910的圖像由左照 相機C拍攝。照相機A-C形成在多數應用中，垂直向下指向的陣列(未示出)。
在圖19中，標記為A/B和B/C旁向重疊的陰影區分別代表圖像重疊區1904和 1908。左圖像重疊區1904是右照相機A與中央/天底點照相機B重疊的地方，右圖像重 疊區1908是左照相機C與中央/天底點照相機B重疊的地方。在這些旁向重疊區1904和 1908中，照相機傳感器網格平分重疊區1904和1908中的每個像素，這實際上藉助聯合安 裝、聯合配準過採樣的機制，使這些區域1904和1908中的圖像解析度四倍化。實際上，圖 像/傳感器解析度的改善在每個維度被加倍，或者2 X 2=4倍。圖像解析度的這種四倍提高 還使相鄰照相機之間的對準精度四倍化。
此外，相鄰照相機之間的對準精度的這種四倍提高改善了固定到剛性安裝板的所 有傳感器的系統100對準精度。如上所述，照相機和傳感器被固定到剛性安裝單元上，剛性 安裝單元被固定到剛性安裝板上。特別地，當固定到剛性安裝單元的相鄰照相機的角度對 準被改善時，其它傳感器的角度對準也被提高。固定到剛性安裝板的其它傳感器的對準精 度的這種提高也改善了這些傳感器的圖像解析度。
圖20中圖解說明關於兩個重疊的照相機陣列112的橫向聯合安裝、聯合配準過採 樣配置2000。特別地，圖20是按照本發明的一些實施例，從運載工具俯視的兩個重疊照相 機陣列112的橫向聯合安裝、聯合配準過採樣配置2000的圖示，顯示最大的橫向過採樣。 相鄰的照相機在垂直的旁向重疊區2006、2008、2014和2016中重疊幾度，對應的照相機在 圖像區2002、2010、2018和2004、2012、2020中完全重疊。雖然圖20描述兩個3照相機陣 列，不過當利用具有從2個到任意數目的被校準照相機的許多照相機傳感器的兩個重疊的 照相機陣列時，這些子像素校準技術同樣適用。
類似於圖3和4中的成像傳感器，照相機傳感器可被聯合配準，以校準每個傳感器 相對於彼此和/或相對於天底點照相機的物理安裝角偏移。在本實施例中，多個，即至少兩 個剛性安裝單元被固定到剛性安裝板，並被聯合配準。這提供初始的「近似」校準。這些初 始校準參數可被輸入系統100中的機載計算機系統104中，並在飛行期間更新。
現在參見圖20，標記為A、B和C矩形分別代表來自兩個重疊的3_照相機陣列 C-B-A(未示出)的圖像區2002、2010、2018和2004、2012、2020。圖中俯視地圖解說明分別 利用照相機A-C(未示出)和重疊的照相機A』-C』(未示出)拍攝的區域2002、2010、2018 和2004、2012、2020的圖像。再次，類似於圖3和4，由於「斜視」安排的緣故，區域2002的 圖像由右照相機A拍攝，區域2010的圖像由中央/天底點照相機B拍攝，區域2018的圖像 由左照相機C拍攝。此外，區域2004的圖像由右照相機A』拍攝，區域2012的圖像由中央 照相機B』拍攝，區域2020的圖像由左照相機C』拍攝。照相機A-C和重疊的照相機A』-C』 形成在多數應用中，垂直向下指向的陣列(未示出)。
在圖20中，標記為A/B和B/C旁向重疊的陰影區分別代表兩個重疊的圖像重疊區 2006,2008和2014,2016o左圖像重疊區2006,2008分別是右照相機A與中央/天底點照相機B重疊的地方，和右照相機Α』與中央照相機B』重疊的地方。右圖像重疊區2014、2016 是左照相機C與中央/天底點照相機B重疊的地方，和左照相機C』與中央照相機B』重疊的地方。在這些旁向重疊區2006、2008和2014、2016中，照相機傳感器網格分別平分重疊區2006、2008和2014、2016中的每個像素，這實際上藉助聯合安裝、聯合配準過採樣的機制，使這些區域2006、2008和2014、2016中的圖像解析度四倍化。實際上，圖像/傳感器解析度的改善在每個維度被加倍，或者2 X 2=4倍。圖像解析度的這種四倍提高使相鄰照相機之間的對準精度四倍化，如上所述。
通過具有兩個重疊的照相機陣列，對於交迭的旁向重疊的重疊區2006、2008和 2014,2016,圖像解析度事實上被再次四倍化。這在系統100校準和照相機對準方面，產生令人震驚的總共64倍的改進。
在交迭的旁向重疊區2006和2008中，重疊的照相機傳感器網格平分旁向重疊區 2006和2008中的每個像素，這實際上藉助聯合安裝、聯合配準過採樣的機制，使這些區域 2006和2008中的圖像解析度四倍化。類似地，在交迭的旁向重疊區2014和2016中，重疊的照相機傳感器網格平分旁向重疊區2014和2016中的每個像素，這實際上使這些區域2014 和2016中的圖像解析度四倍化。實際上，圖像/傳感器解析度的改進再次在每個維度被加倍，或者說2 X 2 X 2 X 2 X 2 X 2=64倍。圖像解析度的這種總共64倍改進還使相鄰照相機之間的對準精度提高64倍。
相鄰和對應照相機之間的對準精度的這種64倍改進提高了固定到剛性安裝板的所有傳感器的系統100對準精度。照相機A-C，以及其它傳感器(可選)被固定到第一剛性安裝單元，照相機Α』 -C，，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛性安裝單元都被固定到剛性安裝板。特別地，當固定到第一和/或第二剛性安裝單元的相鄰和/或對應照相機的角度對準得到改善時，其它傳感器的角度對準也得到提高。固定到剛性安裝板的其它傳感器的對準精度的這種提高也改善了這些傳感器的圖像解析度。
通過具有兩個重疊的照相機陣列，對於整個圖像，而不僅僅對於Α/Β和B/C旁向重疊的重疊區，圖像解析度事實上變成四倍。現在參見圖20，標記為「重疊網格4Χ 」的重疊網格細節分別代表右圖像區2018和2020中的重疊區2022和2024。在重疊區2022和2024 中，重疊的照相機傳感器網格平分重疊區2022和2024中的每個像素，這實際上藉助聯合安裝、聯合配準過採樣的機制，使這些區域2022和2024中的圖像解析度四倍化。實際上，圖像解析度的改善在每個維度被加倍，或者說2X2=4倍。
在一個優選實施例中，一個照相機陣列是單色的，而另一個照相機陣列是紅-綠-藍的。即使每個陣列覆蓋不同的色帶，也可使用簡單的圖像處理技術，從而使得所有色帶實現解析度增大的益處。這些技術提供的另一個優點在於在一個照相機陣列是紅-綠-藍，而另一個重疊的照相機陣列是紅外或近紅外( 或者某個其它帶寬)的情況下， 這結果產生優良的多光譜圖像。
因而，對於上面討論的圖19的實施例確認的所有改進(即，4倍)適應於圖20的實施例，不過，通過兩個重疊的照相機陣列，可以實現對系統100校準精度和總體圖像解析度的額外顯著提高(即，64倍)。
圖21是按照本發明的一些實施例，從運載工具俯視的兩個照相機陣列112的前向 和橫向聯合安裝，聯合配準過採樣結構2100的圖示。特別地，圖21是按照本發明的一些實 施例，從運載工具俯視的兩個過採樣照相機陣列112的前向和橫向聯合安裝，聯合配準過 採樣結構2100的圖示，顯示了最小前向和最小橫向過採樣。相鄰照相機在垂直的旁向重 疊區2104、2108、2124和2128中重疊幾度，對應照相機順著水平前向重疊區2112、2116和 2120，重疊幾度。雖然圖21描述兩個3照相機陣列，不過，當利用具有從2個到任意數目的 被校準照相機的許多照相機傳感器的兩個重疊的照相機陣列時，這些子像素校準技術同樣 適用。
與圖3和4中的成像傳感器類似，照相機傳感器可被聯合配準，以校準每個傳感器 相對於彼此和/或相對於天底點照相機的物理安裝角偏移。在本實施例中，多個，即至少兩 個剛性安裝單元被固定到剛性安裝板上，並被聯合配準。這提供初始的「近似」校準。這些 初始校準參數可被輸入系統100中的機載計算機系統104中，並在飛行期間更新。
現在參見圖21，標記為A、B和C的矩形代表來自3照相機陣列C-B_A(未示出)的 圖像區2102、2106和2110，矩形D、E和F代表來自3照相機陣列F-E-D (未示出)的圖像 區2122、2126和2130。圖中俯視地圖解說明了分別利用照相機A-C(未示出)拍攝的區域 2102、2106和2110的圖像，和利用照相機D_F(未示出)拍攝的區域2122、2126和2130的 圖像。再次，類似於圖3和4，由於「斜視」安排的緣故，區域2102的左後圖像由右後照相機 A拍攝，區域2106的中後圖像由後面的中央/天底點照相機B拍攝，區域2110的右後圖像 由左後照相機C拍攝。此外，區域2122的左前圖像由右前照相機D拍攝，區域2126的中前 圖像由前面的中央照相機E拍攝，區域2020的右前圖像由左前照相機F拍攝。照相機A-C 和重疊的照相機D-F形成在多數應用中，垂直向下指向的陣列(未示出)。
在圖21中，垂直陰影區代表4個圖像重疊區2104、2108、2124和2128。左後圖像 重疊區2104是右後照相機A與中央/天底點照相機B重疊的地方，右後圖像重疊區2108 是左後照相機C與中央/天底點照相機B重疊的地方。左前圖像重疊區2124是右前照相 機D與中央/天底點照相機E重疊的地方，右前圖像重疊區2128是左前照相機F與中央照 相機E重疊的地方。
現在參見圖21，標記為「旁向重疊區4:1」的重疊網格細節代表交迭的旁向重疊的 重疊區2104,2108和2124,2128ο在這些旁向重疊的重疊區2104,2108和2124,2128中，照 相機傳感器網絡平分重疊區2104、2108、2124和2128中的每個像素，這實際上藉助聯合安 裝、聯合配準過採樣的機制，使這些區域2104、2108、2124和2128中的圖像解析度四倍化。 事實上，圖像/傳感器解析度的改善在每個維度被加倍，或者2X2=4倍。圖像解析度的這 種四倍提高使相鄰照相機之間的對準精度四倍化，如上所述。
相鄰照相機之間的對準精度的這種四倍提高改善了固定到剛性安裝板的所有傳 感器的系統100對準精度。照相機A-C，以及其它傳感器(可選)固定到第一剛性安裝單 元，照相機D-F，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛性安裝 單元都被固定到剛性安裝板。特別地，當固定到第一或第二剛性安裝單元的相鄰照相機的 角度對準得到改善時，固定到安裝單元的其它傳感器的角度對準也得到提高。固定到剛性 安裝板的其它傳感器的對準精度的這種提高還改善了這些傳感器的圖像解析度。
類似地，水平陰影區代表3個圖像重疊區2112、2116和2120。左前圖像重疊區2112是右後照相機A與右前照相機D重疊的地方，中前圖像重疊區2116是後面的中央/天 底點照相機B與中前照相機E重疊的地方，右後圖像重疊區2120是左後照相機C與左前照 相機F重疊的地方。
現在參見圖21，標記為「前向重疊區4:1」的重疊網格細節表示交迭的前向重疊的 重疊區2112、2116和2120。在這些前向重疊的重疊區2112、2116和2120中，照相機傳感器 網格平分重疊區2112、2116和2120中的每個像素，這實際上藉助聯合安裝、聯合配準過採 樣的機制，使這些區域2112、2116和2120中的圖像解析度四倍化。事實上，圖像/傳感器 解析度的改善在每個維度被加倍，或者2 X 2=4倍。圖像解析度的這種四倍提高使對應照相 機之間的對準精度四倍化。
對應照相機之間的對準精度的這種四倍提高改善了固定到剛性安裝板的所有傳 感器的系統100對準精度。照相機A-C，以及其它傳感器(可選)固定到第一剛性安裝單 元，照相機D-F，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛性安裝 單元都被固定到剛性安裝板。特別地，當固定到第一或第二剛性安裝單元的對應照相機的 角度對準得到改善時，其它傳感器的角度對準也得到提高。固定到剛性安裝板的其它傳感 器的對準精度的這種提高還改善了這些傳感器的圖像解析度。
類似於圖20中的交迭的旁向重疊的重疊區2006、2008和2014、2016，圖21中的相 交的前向重疊和旁向重疊的重疊區2114和2118在系統校準和照相機對準方面，產生令人 震驚的總共64倍改進。現在參見圖21，標記為「四重重疊區64:1」的相交網格細節代表相 交的前向重疊和旁向重疊的重疊區2118。在相交的前向重疊和旁向重疊的重疊區2114和 2118中，重疊的照相機傳感器網格平分相交的區域2114和2118中的每個像素，這實際上借 助聯合安裝、聯合配準的過採樣的機制，使這些區域2114和2118中的圖像解析度四倍化。 事實上，圖像/傳感器解析度的改善在每個維度再次被加倍，或者2X2X2X2X2X2=64 倍。圖像解析度的這種總共64倍改進還使相鄰照相機之間的對準精度提高64倍。
相鄰和對應照相機之間的對準精度的這種64倍改進提高了固定到剛性安裝板的 所有傳感器的系統100對準精度。照相機A-C，以及其它傳感器(可選)被固定到第一剛性 安裝單元，照相機D-E，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛 性安裝單元都被固定到剛性安裝板。特別地，當固定到第一和/或第二剛性安裝單元的相 鄰和/或對應照相機的角度對準得到改善時，其它傳感器的角度對準也得到提高。固定到 剛性安裝板的其它傳感器的對準角度的這種提高也改善了這些傳感器的圖像解析度。
在一個優選實施例中，一個照相機陣列是單色的，另一個照相機陣列是紅-綠-藍 的。即使每個陣列覆蓋不同的色帶，也可使用簡單的圖像處理技術，從而使得所有色帶實現 解析度增大的益處。這些技術提供的另一個優點在於在一個照相機陣列是紅-綠-藍，而 另一個重疊的照相機陣列是紅外或近紅外(或者某個其它帶寬)的情況下，這結果產生優 良的多光譜圖像。
如圖19-21中所示，這些技術可用於克服由於光學玻璃不能解析「非常小的」物體 而對照相機系統施加的解析度極限。特別地，存在照相機透鏡中的光學玻璃解析極小物體 的能力的已知物理極限。這通常被稱為「玻璃的解析極限」。例如，如果從10000英尺的海 拔高度要求I毫米像素，那麼會要求使用放大率極高的望遠鏡頭，以獲得約100英尺的地 面覆蓋寬度。這是因為不論電荷耦合器件傳感器能夠產生多少像素(例如，十億像素)，在10000英尺的海拔高度，最純淨的玻璃的解析能力也不允許達到I毫米像素的圖像解析度。 本例用於清楚地說明存在關於玻璃的像素解析度的物理極限，以及關於成像傳感器的像素 密度極限。
固定到剛性安裝板的剛性安裝單元中的系統100成像傳感器對準，和相關的校準 技術提供對這種問題的獨特解決方案，如上所述。通過利用這些技術，能夠有效地克服玻璃 的解析極限。例如，單個照相機陣列產生I倍(或者沒有)過採樣的益處。不過，兩個重 疊的照相機陣列在圖像解析度，以及整體地理空間水平和垂直精度方面產生4倍的總體改 進。此外,3個重疊的照相機陣列結果產生16倍的整體改進，4個重疊的照相機陣列結果產 生64倍的整體改進，依次類推。
從這些例子可以推導出，關於整體改進的等式如下所示
整體改進=4n
其中N是重疊照相機陣列的數目。
如果存在4個照相機陣列，那麼存在3個重疊的照相機陣列(即，N=3)。因而，4 個照相機陣列提供圖像解析度，以及整體地理空間水平和垂直精度方面的64倍整體改進 (即，43=64 倍)。
此外，這些子像素校準技術可以與如在美國專利申請公布No. 2004/0054488A1 (現 在的美國專利No. 7，212，938B2)中公開的自鎖航跡技術結合，該專利的公開內容在此整體 引為參考。
除了如圖19-21中所示的前向和/或橫向聯合安裝、聯合配準過採樣之外，本發明 也可採用航線過採樣來進一步提高圖像解析度，如圖13-17中所示。如圖13-17中所示，在 圖像區域中，航線相互重疊，因為每條航線相互平行。這些重疊的圖像區域可用於利用立體 攝影技術，藉助相鄰航線中的圖像的沿航跡和跨航跡視差，校準傳感器。
在一個實施例中，自鎖航跡可以包含產生一組3條或者更多的行進路線中的至少 3條大體平行的行進路線的任何模式。此外，行進路線中的至少一條應在與其它大體平行的 行進路線相反的方向上。在優選實施例中，行進模式包含匹配方向的至少一對行進路線，和 相反方向的至少一對行進路線。
當沿著相反方向利用自鎖航跡時，在一些圖像區域中，可觀察的位置誤差會被加 倍。因而，自鎖航線技術包括顯著降低這些位置誤差的算法。在其中發生最大的位置誤差 的外面的，或者說最左「翼」和最右「翼」圖像區中，位置誤差的這種降低尤其重要。
在一個實施例中，可以通過利用自動匹配從航線(例如，北/南)獲得的像素模式 區和從相鄰航線(例如，北/南)獲得的相同像素模式區的模式匹配技術，實現這些位置改 進。在一個優選實施例中，來自一個或多個GPS定位系統的緯度/經度坐標可用於加速該 模式匹配處理。
類似地，這些子像素校準和自鎖航跡技術可以與立體攝影技術結合，因為立體攝 影技術極其依賴於每個像素相對於所有其它像素的位置精度。特別地，這些技術提高了立 體攝影圖像解析度，以及整體地理水平和垂直精度，尤其是在其中發生最大位置誤差的最 左「翼」和最右「翼」圖像區中。此外，立體攝影技術用於匹配已知的高程數據和改進的立 體攝影數據集。因而，組合的子像素校準、自鎖航跡和立體攝影技術提供極大改進的數字高 程模型，這結果產生優良的圖像。
此外，這些子像素校準和自鎖航跡技術可用於提供系統100的動態實時校準。特 別地，這些技術提供快速把一個或多個照相機陣列組合件112 「滾裝」到系統100上，立即 開始收集目標區域的圖像數據，和快速產生高質量圖像的能力，因為如上所述，各個傳感器 已最初在固定到剛性安裝板的剛性安裝單元中被校準。特別地，照相機傳感器被聯合配準， 以校準每個傳感器相對於彼此的和/或相對於天底點照相機的物理安裝角偏移。在一個實 施例中，多個，即至少兩個剛性安裝單元被固定到剛性安裝板上，並被聯合配準。這提供初 始的「近似」校準。這些初始校準參數可被輸入系統100中的機載計算機系統104中，並利 用過採樣技術，在飛行期間更新，如上所述。
在一個實施例中，系統100包括實時自校準系統，以更新校準參數。特別地，機載 計算機104軟體包含實時軟體「daemon」 (即，後臺閉環監控軟體)，以利用聯合安裝、聯合 配準過採樣和航線過採樣技術，不斷監控和更新校準參數，如上所述。在優選實施例中，實 時daemon結合子像素校準、自鎖航跡和立體攝影技術，改進立體攝影圖像解析度，以及整 體地理水平和垂直精度。特別地，立體攝影技術被用於匹配已知的高程數據和改進的立體 攝影數據集。因而，組合的子像素校準、自鎖航跡和立體攝影技術提供極大改進的數字高程 模型，從而結果產生優良的圖像。
在一個實施例中，系統100包含實時GPS數據系統，以提供GPS輸入數據。校準精 度由來自諸如GPS和MU之類的電子裝置的輸入數據，和由利用產業標準GPS和MU軟體 系統擴充的校準軟體驅動。因而，該實時自校準系統的關鍵要素是經可能低帶寬的通信信 道，比如衛星電話、蜂窩電話、RF數據機或者類似裝置的實時GPS輸入數據。實時GPS 輸入數據的潛在來源包括項目控制的點對點(ad-hoc)站，固定廣播GPS位置(或者類似 的)，或者藉助機載IMU的慣性導航。
上面說明的模塊、算法和處理可以用各種技術和結構來實現。本發明的實施例可 包括軟體或硬體的功能實例，或者它們的組合。此外，本發明的模塊和處理可以一起組合在 單個功能實例(例如，一個軟體程序)中，或者可以包含操作上相關的獨立功能裝置(例 如，多個連網的處理器/存儲塊)。本發明包含所有這樣的實現。
為了更好地解釋本發明及其實際應用，從而使本領域技術人員能夠產生和利用本 發明，給出了這裡陳述的實施例和例子。不過，本領域的技術人員會認識到上述說明和例子 只是出於舉例說明的目的給出的。所進行的說明並不是詳盡的，也不意圖把本發明局限於 公開的明確形式。鑑於上面的教導，許多修改和變化是可能的，而不脫離以下權利要求的精 神和範圍。
權利要求
1.一種用於產生地圖的系統，包括全球定位接收器；與目標區域一致的運載工具；與所述運載工具通信的高程測量單元；與所述運載工具通信的全球定位天線；與所述運載工具通信的姿態測量單元；布置於所述運載工具的成像傳感器系統，包括固定到所述運載工具的剛性安裝板；固定到所述安裝板的第一剛性安裝單元，所述第一剛性安裝單元具有布置在其中的至少兩個成像傳感器，其中第一成像傳感器和第二成像傳感器都具有通過所述第一安裝單元和所述安裝板中的孔徑的焦軸，其中所述第一和第二成像傳感器都產生像素的第一數據陣列，其中像素的每個數據陣列至少是二維的，其中使所述第一和第二成像傳感器偏移，以在所述目標區域具有第一圖像重疊區，其中在所述第一圖像重疊區中，第一傳感器圖像數據平分第二傳感器圖像數據；和與所述高程測量單元、所述全球定位天線、所述姿態測量單元、所述第一成像傳感器和所述第二成像傳感器通信的計算機；所述計算機根據來自所述高程測量單元、所述全球定位天線和所述姿態測量單元中的一個或多個的輸入，使來自所述第一成像傳感器和所述第二成像傳感器的圖像數據的至少一部分和所述目標區域的一部分相互關聯。
2.按照權利要求1所述的系統，還包括固定到所述安裝板的第二剛性安裝單元，所述第二剛性安裝單元具有布置在其中的至少一個成像傳感器，其中第三成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第三成像傳感器產生像素的第三數據陣列，其中像素的數據陣列至少是二維的。
3.按照權利要求2所述的系統，還包括布置在所述第二安裝單元內的第四成像傳感器，其中所述第四成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第四成像傳感器產生像素的第四數據陣列，其中像素的數據陣列至少是二維的，其中使所述第三和第四成像傳感器偏移，以在所述目標區中具有第二圖像重疊區，其中在所述第二圖像重疊區中，第三傳感器圖像數據平分第四傳感器圖像數據。
4.按照權利要求3所述的系統，其中使包含所述第一和第二圖像傳感器的第一傳感器陣列、和包含所述第三和第四圖像傳感器的第二傳感器陣列偏移，以在所述目標區域中具有第三圖像重疊區，其中在所述第三重疊區中，所述第一傳感器陣列圖像數據平分所述第二傳感器陣列圖像數據。
5.按照權利要求3所述的系統，其中所述第一傳感器陣列圖像數據完全重疊所述第二傳感器陣列圖像數據。
6.按照權利要求1所述的系統，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小於O. 01°。
7.按照權利要求6所述的系統，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小於O. ,001°。
8.按照權利要求7所述的系統，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小於O. 0001°。
9.按照權利要求2所述的系統，其中所述第三成像傳感器選自數位照相機、LIDAR^I 外傳感器、熱感傳感器和重力計。
10.按照權利要求2所述的系統，其中所述第三成像傳感器選自具有高光譜濾光片的數位照相機和LIDAR。
11.按照權利要求1所述的系統，其中相對於選自陀螺儀、IMU和GPS的一個或多個姿態測量裝置，校準所述第一成像傳感器。
12.按照權利要求1所述的系統，其中所述第一和第二成像傳感器選自數位照相機、 LIDAR、紅外傳感器、熱感傳感器和重力計。
13.按照權利要求2所述的系統，其中所述第一和第二成像傳感器是數位照相機，所述第三成像傳感器是LIDAR。
14.按照權利要求3所述的系統，其中第三和第四成像傳感器選自數位照相機、LIDAR、 紅外傳感器、熱感傳感器和重力計。
15.按照權利要求3所述的系統，其中所述第一和第二成像傳感器是數位照相機，所述第三成像傳感器是LIDAR。
16.—種成像傳感器系統,包括固定到運載工具的剛性安裝板；固定到所述安裝板的第一剛性安裝單元，所述第一剛性安裝單元具有布置在其中的至少兩個成像傳感器，其中第一成像傳感器和第二成像傳感器都具有通過所述第一安裝單元和所述安裝板中的孔徑的焦軸，其中所述第一和第二成像傳感器都產生像素的第一數據陣列，其中像素的每個數據陣列至少是二維的，其中使所述第一和第二成像傳感器偏移，以在目標區域具有第一圖像重疊區，其中在所述第一圖像重疊區中，第一傳感器圖像數據平分第二傳感器圖像數據。
17.按照權利要求16所述的系統，還包括固定到所述安裝板的第二剛性安裝單元，所述第二剛性安裝單元具有布置在其中的第三成像傳感器，其中所述第三成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第三成像傳感器產生像素的第三數據陣列，其中像素的數據陣列至少是二維的。
18.按照權利要求17所述的系統，還包括布置在所述第二安裝單元內的第四成像傳感器，其中所述第四成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第四成像傳感器產生像素的第四數據陣列，其中像素的數據陣列至少是二維的，其中使所述第三和第四成像傳感器對準以及偏移，以在所述目標區中具有第二圖像重疊區，其中在所述第二圖像重疊區中，第三傳感器圖像數據平分第四傳感器圖像數據。
19.按照權利要求18所述的系統，其中使包含所述第一和第二圖像傳感器的第一傳感器陣列、和包含所述第三和第四圖像傳感器的第二傳感器陣列偏移，以在所述目標區域中具有第三圖像重疊區，其中在所述第三重疊區中，所述第一傳感器陣列圖像數據平分所述第二傳感器陣列圖像數據。
20.按照權利要求18所述的系統，其中所述第一傳感器陣列圖像數據完全重疊所述第二傳感器陣列圖像數據。
21.按照權利要求16所述的系統，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小於O. 01°。
22.按照權利要求21所述的系統，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小於O. 001°。
23.按照權利要求22所述的系統，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小於O. 0001°。
24.按照權利要求17所述的系統，其中所述第三成像傳感器選自數位照相機、LIDAR、 紅外傳感器、熱感傳感器和重力計。
25.按照權利要求17所述的系統，所述第三成像傳感器選自具有高光譜濾光片的數位照相機和LIDAR。
26.按照權利要求16所述的系統,其中相對於選自陀螺儀、IMU和GPS的一個或多個姿態測量裝置，校準所述第一成像傳感器。
27.按照權利要求16所述的系統，其中所述第一和第二成像傳感器選自數位照相機、 LIDAR、紅外傳感器、熱感傳感器和重力計。
28.按照權利要求17所述的系統，其中所述第一和第二成像傳感器是數位照相機，所述第三成像傳感器是LIDAR。
29.按照權利要求18所述的系統，其中所述第三和第四成像傳感器選自數位照相機、 LIDAR、紅外傳感器、熱感傳感器和重力計。
30.按照權利要求18所述的系統，其中所述第一和第二成像傳感器是數位照相機，所述第三成像傳感器是LIDAR。
31.一種校準成像傳感器的方法，包括以下步驟進行成像傳感器的初始校準，包括確定AMU的位置；確定在第一剛性安裝單元內的第一成像傳感器相對於所述AMU的位置；確定在所述第一剛性安裝單元內的第二成像傳感器相對於所述AMU的位置；對照目標區域校準所述第一成像傳感器，和確定所述第一成像傳感器的視軸角；和計算所述第一剛性安裝單元內的一個或多個後續成像傳感器相對於所述第一成像傳感器的位置；和利用所述第一成像傳感器的視軸角，校準所述一個或多個後續成像傳感器；和利用過採樣技術，更新對照目標區域的所述第一成像傳感器的至少一個初始校準參數，和所述第一成像傳感器的視軸角；利用過採樣技術，更新所述第一剛性安裝單元內的一個或多個後續成像傳感器相對於所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新所述第一剛性安裝單元內的一個或多個後續成像傳感器的至少一個校準參數。
32.按照權利要求31所述的方法，其中初始校準步驟還包括以下步驟利用所述第一成像傳感器的更新的視軸角，校準所述第二成像傳感器；計算所述第二剛性安裝單元內的一個或多個後續成像傳感器相對於所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，校準所述第二剛性安裝單元內的所述一個或多個後續成像傳感器。
33.按照權利要求32所述的方法，還包括以下步驟利用過採樣技術更新所述第二剛性安裝單元內的第二成像傳感器相對於所述第一成像傳感器的位置；利用過採樣技術更新第一剛性安裝單元內的一個或多個後續成像傳感器相對於所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新所述第二剛性安裝單元內的一個或多個後續成像傳感器的至少一個校準參數。
34.按照權利要求31所述的方法，還包括以下步驟利用航線過採樣技術，更新對照目標區域的所述第一成像傳感器的校準，以及所述第一成像傳感器的視軸角；利用航線過採樣技術，更新所述第一剛性安裝單元內的所述一個或多個後續成像傳感器相對於所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新一個或多個後續成像傳感器的至少一個校準參數。
35.按照權利要求34所述的方法，還包括以下步驟利用航線過採樣技術，更新所述第二剛性安裝單元內的第二成像傳感器相對於所述第一成像傳感器的位置；利用航線過採樣技術，更新所述第一剛性安裝單元內的所述一個或多個後續成像傳感器相對於所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新所述第二剛性安裝單元內的所述一個或多個後續成像傳感器的至少一個校準參數。
全文摘要
一種成像傳感器系統，包括固定到運載工具的剛性安裝板；固定到安裝板的第一剛性安裝單元，第一剛性安裝單元具有布置在其中的至少兩個成像傳感器，其中第一成像傳感器和第二成像傳感器都具有通過第一安裝單元和安裝板中的孔徑的焦軸，其中第一和第二成像傳感器都產生像素的第一陣列，其中像素的每個陣列至少是二維的，其中使第一和第二成像傳感器偏移，以在目標區域具有第一圖像重疊區，其中在第一圖像重疊區中，第一傳感器圖像數據平分第二傳感器圖像數據。
文檔編號G06F17/00GK103038761SQ201180029220
公開日2013年4月10日 申請日期2011年3月31日 優先權日2010年4月13日
發明者切斯特·L·史密瑟曼 申請人:視覺智能有限合夥公司