用於生成沒有雲以及沒有雲的陰影的圖像的方法
2023-09-22 23:25:20 1
專利名稱：用於生成沒有雲以及沒有雲的陰影的圖像的方法
技術領域：
本發明涉及一種方法，用於生成沒有雲以及沒有雲的陰影的圖像，更特別地，但不是局限地，涉及一種方法用於從使用光學傳感器的遙感生成這樣的圖像。
背景技術：
眾所周知，光學遙感圖像經常會遇到有雲覆蓋的問題，或部分，或全部，尤其是在潮溼的、熱帶地區。還存在一個雲的陰影的問題。在過去，已經有過很多嘗試，要消除出現在一個地區的圖像中的雲的問題，這些圖像是使用光學遙感拍攝的。
傳統的生成一個沒有雲的鑲嵌圖的方法是通過消除所述雲。在這個過程中，包括有最少的雲覆蓋的一個圖像被作為所述基礎圖像。圖像中所述有雲的部分被遮罩，然後就被不同的時候拍攝的其他的圖像中的無雲的部分填充。這就是一種手工的「剪切，並粘貼」方法。
還有許多嘗試來自動化所述過程。最常用的方法是使用一個簡單的亮度閾值過程，把所述亮的有雲的區域和暗的雲的陰影和沒有雲的區域中區分開來。這個方法不能處理較淡的雲和雲的陰影，並且，經常混淆亮的陸地表面為雲。而且，幾乎沒有什麼辦法來消除雲的陰影。
當前技術自動化該過程的一個方法被美國專利6,233,369公開。它描述了一個系統，包括一個遮罩，用於在一個或更多相鄰的象素上執行形態圖像處理，其中通過處理圖像數據，一個遮罩被包含在一個二進位圖像中，圖像數據使用兩位編碼，而不是通常的一位。該專利針對於所述圖像的邊緣，每個象素可能不具有完整的相鄰象素。這樣，第二位就作為遮罩啟動位，指示所述處理發動機傳遞所述原始的數據到所述輸出圖像，而不考慮對該象素的處理結果。這就允許被遮罩的象素數據可以參加到它所有的相鄰的象素的結果的計算中。
在美國專利5,612,901中，公開了一種設備和方法，用於在一個水體的圖像中進行雲的遮罩。它通過所述圖像的局部分割提取雲的邊緣信息，並且根據云比周圍的海洋更亮，顏色更冷，在沒有雲的象素和被雲汙染的象素之間進行區分。這樣，所述被雲汙染的象素就被除掉了。
美國專利5,923,383公開了一種改善的圖像方法，使用直方圖均衡化，使得一個圖像的亮度不被顯著地改變，並且所述噪聲不被放大。這通過以一個預定的灰度表示所述輸入圖像來得到，即通過計算所述輸入圖像的灰度的分布，同時約束在一個預定的值之內的每一個灰度出現的個數，然後就在所述輸入的圖像上，根據前面得到的灰度的計算出的分布，執行直方圖均衡化。
基於相似的基礎，EP 0366099公開了一種改善圖像的方法，通過使用兩個矩陣來修改所述圖像直方圖。
EP 0504876A2公開了一種改善圖像的方法和設備，通過進一步以一種獨立的方式來處理所述圖像中的不亮的信息。
日本專利10-063836涉及一個方法，使用一個形態的操作來突出所述圖像。
在題為「改善的沒有雲的汙點圖像的多場景鑲嵌圖」的論文(第19界亞洲遙感會議學報，1999)中，其作者是本發明的發明人和Lim，Hok，公開了一種算法，用於從一個給定地區的在一個特定時間間隔內的，多重的，多光譜的圖像中，自動生成沒有雲的場景。通過使用一組多光譜的圖像中的所述沒有雲的區域，生成一個鑲嵌圖，就可以製作一個合理進行沒有雲地合成的圖像。該論文所公開的算法，沒有提到從多重的、全色的圖像中生成一個沒有雲的鑲嵌圖存在的問題。
所述系統的輸入是在一個特定的時間間隔得到的，所述相同地區的多光譜的圖像，被預處理到級別2A或2B。所述圖像在輸入到系統之前，還被共同註冊。所述傳感器捕獲三個光譜波段的數據綠波段，紅波段以及近紅外線波段。所述輻射度的平衡過程只為得到的場景之間的，傳感器增益，太陽的入射角和太陽流量的差異進行修正，對大氣效應不進行修正。
在輻射度平衡之後，來自於相同位置的兩個不同場景的象素的亮度會由於大氣效應略有不同，尤其在低反照率的生長植被的區域。所述預處理過程試圖在存在主要由於大氣效應引起的差異的場景之間進行平衡。在輻射度平衡之後，從所述一組圖像中選出一個圖像作為參考圖像。為每一個波段，調整在同一組中的所有其他的圖像的象素值。
所述象素分級過程利用所述象素強度，和合適地選擇出的波段比率，來根據預先確定的分級標準，來按「朦朧」和「陰影」的順序分級所述象素。
一個陰影強度閾值和一個雲的強度閾值從強度直方圖中被確定。所述象素分級過程利用這些陰影強度閾值和雲的強度閾值來按「朦朧」和「陰影」的順序分級所述象素。圖像中所述非雲和非陰影象素中的每一個被分類入基于波段比率的四個寬類別中植被，建築物，水和其他。
具有較低等級值的象素更優先，更有可能被選中。具有在所述陰影閾值和雲的閾值之間的強度的象素是最優先的，被認為是「上等象素」。當沒有上等象素時，所述「陰影象素」優先於所述「雲象素」。如果在某給定位置，所有象素都為「陰影象素」，最亮的「陰影象素」被選擇出來。在所有象素被分類為「雲象素」的位置，最暗的雲象素被選擇出來。
所述等級1和等級2索引映射被用來從同一組圖像中合併所述多場景。如果在一個給定位置的象素被分類為「植被象素」，在該位置的來自於等級1圖像和等級2圖像的象素被一起平均，來避免在最終的鑲嵌圖象中突然的空間的中斷。否則，來自於等級1圖像的所述象素被使用。
在一個給定位置的相鄰處的儘可能多的象素來自於同一個場景。通過視覺檢查，被認為具有最低雲覆蓋的圖像被選出，作為基礎圖像。雲和陰影閾值就被應用於這個基礎圖像來描繪所述雲的陰影和雲覆蓋的區域。在生成鑲嵌圖的下一步中，只有所述的被描繪的雲和陰影區域將被生成於上一步驟中的所述的合併的圖像的象素所取代。
所述最終的鑲嵌圖由所述合併的圖像和所述基礎圖像組成。使用控制點，這些圖像被地理參照到一個基礎映射。所述鑲嵌圖的生成轉換在所述合成圖像和基礎圖像中的象素的坐標到映射坐標，並將所述象素放到最終的圖像映射上。
基於強度閾值的雲遮罩的方法不能處理較淡的雲和雲的陰影。它們經常將亮的陸地表面混淆為雲，暗的陸地表面混淆成陰影。在具有兩個或多個光譜波段的多光譜圖像中，所述光譜，或者顏色的信息可以被用於將不同陸地覆蓋類型和雲區分開來。然而，在全色的或灰度的圖像中，就缺少所述顏色信息，甚至於更難以區分亮的陸地表面和雲，以及暗的陸地表面和雲的陰影。
因此，本發明的主要目的是解決它們的問題。
本發明的另一個目的是，提供一個方法，用於從有雲的全色或灰度的圖像中，生成沒有雲以及沒有雲的陰影的圖像。
本發明的一個最終目的是，從有雲的多光譜圖像中，提供無雲的，無雲的陰影的圖像。
發明內容
本發明使用象素分級，以及通過將一組象素分類成雲，陰影，或非雲-非陰影，生成雲和陰影的遮罩。在每一圖像中的每一個象素，可以根據預先確定的分級標準被分級，最高級別的象素被優選地用於組成所述鑲嵌圖。
使用所述亮象素群的尺寸和形狀信息，有可能將亮的陸地表面和建築物與雲區分開來。也有可能，根據太陽照明方向、傳感器觀察方向和典型的雲的高度，來預測雲的陰影的大致位置。
本發明還提供強度梯度的使用，來進行自動尋找在雲的邊緣附近的雲的陰影的位置。
本發明還提供應用一個形態過濾器，到使用強度閾值過程探測到的所述雲的遮罩，為了包括在濃的雲的邊緣的淡的雲。
除了所述分級標準，本發明還提供使用一個條件多數(conditional majority)過濾器，為了在鑲嵌圖的生成中包括儘可能大的一片相鄰的上等象素。在某些條件下等級1和等級2象素的合併，可能產生更令人滿意的視覺效果。
如果可以得到在一個給定地區的不同時間的多重圖像，假設所述陸地覆蓋在所述時間間隔內不發生變化，通過生成在所述一組圖像中的沒有雲的區域的一個鑲嵌圖，可以生成一個合理的沒有雲的複合圖像。這特別地關係到組成全色的和/或多光譜的衛星圖像的「無雲的」多場景鑲嵌圖。
最高等級的象素，可以被認為是上等象素，最低等級的象素被認為是劣質象素。所述上等象素優選地，被進一步分類成植被象素和建築物象素。所述建築物象素可能包括陸地上的空曠地。所述分類可能依賴於所述象素強度是否低於或高於一個植被象素的閾值。更暗的上等象素可以比更亮的上等象素更優選。
本發明還提供由上述方法生成的一個沒有雲的和沒有雲的陰影的圖像。
最後，本發明提供一個計算機可用的介質，具有電腦程式代碼，配置成可使處理器執行一個或多個功能，使得上述的方法能夠在至少一個計算機上執行。
附圖
的簡要說明為了使本發明能夠被充分理解，以及更好地付諸於實踐，以下會跟據本發明的一個非限制性的優選實施例，進行詳細地描述，並結合本發明的優選方法的一個示意性的流程圖。
優選實施例的詳細說明系統的輸入1是同一地區的，在一特定的時間間隔內得到的被共同註冊的多個全色的和/或多光譜的圖像。
所述圖像受兩個不同的處理流的支配。在第一個流中，沿著附圖的上部，在2處，一個強度閾值方法被開始使用來為每一個圖像，生成一個雲的遮罩，以及一個雲的陰影的遮罩。當開闊的陸地表面或建築物的亮象素，被錯當成雲象素時，就產生了混淆。通過使用在所述閾值步驟探測到的所述亮象素群的尺寸和形狀信息，就可以解決所述混淆。需要被遮罩的雲，比單個建築物大的多。人造物體，如建築物和陸地上的空曠地，一般具有簡單的幾何形狀。
在3處，所述明亮的片(patch)的尺寸被計算，這些物體的，如建築物，所述邊和簡單的形狀被探測。所述強度閾值方法不足以生成雲的陰影的遮罩。通過使用幾何建模，以及強度梯度來自動尋找在雲邊緣附近的雲的陰影，本發明的所述優選的方法為在自動遮罩方法中被不恰當識別的所述片進行補償。而且，太陽照明方向，傳感器觀察方向，和典型的雲的高度信息，可以被用來預測雲的陰影的可能的位置。一旦所述雲的位置被決定了，這就具有特殊的相關性了。
由於在雲的邊緣可能有一個強度梯度，一個固定的閾值方法在步驟4被使用，來標註出在雲的邊緣的任何淡的雲，作為非雲的象素。一個形態過濾器，被用來擴大所述雲的遮罩片。所述灰度就在8處被平衡，來補償主要由於大氣效應而產生的差異。
在為每個組成的圖像構造了所述雲的遮罩和雲的陰影的遮罩之後，在第二流中，在5處，所述灰度被平衡；再一次補償主要由於大氣效應而產生的差異。
所述象素分級過程在9處，利用所述陰影，雲的閾值，以及下面描述的分級標準，來按「朦朧」和「陰影」的順序分級所述象素。所述象素分級過程利用所述象素強度來根據所述預定的分級標準將所述象素按「朦朧」和「陰影」的順序分級。
在這個過程中，一個陰影強度閾值TS，一個植被強度閾值TV，以及一個雲強度閾值TC，從所述強度直方圖中被決定出來。所述象素分級過程利用這些陰影，植被和雲的閾值，來按「朦朧」和「陰影」的順序分級所述象素。在所述圖像中的每一個非雲和非陰影的象素被分類到根據所述強度的兩個寬類別中的其中一個植被和建築物。
對於所述一組得到的圖像N中每一個圖像n，根據下述的規則，基於所述的象素強度Yn(i，j)，在位置(i，j)的每一個象素被分配一個等級rn(i，j)
(i)對於TS≤(Ym，Yn)≤TV，如果Ym＜Yn(分類＝「植被」)，則rm＜rn；(ii)對於TV≤(Ym，Yn)≤TC，如果Ym＜Yn(分類＝「建築物」)，則rm＜rn；(iii)如果Ym＜TS並且Yn＞TC，則rm＜rn；(iv)對於Ym，Yn＜TS，如果Ym＞Yn，則rm＜rn；(v)對於Ym，Yn＞TC，如果Ym＜Yn，則rm＜rn；在這個分類表中，具有較低等級值rn的象素更加優先，更可能被選中。強度位於所述陰影和雲的閾值之間的象素是最優先的，被認為是「上等象素」。所述「上等象素」，根據所述的象素強度低於或高於所述植被閾值，被進一步分類成「植被象素」或「建築物象素」(還包括陸地上的空曠地)。所述較暗的「上等象素」比所述較亮的「上等象素」更優先，因為所述較亮的「上等象素」可能被淡的雲所汙染。如果沒有上等象素，所述「陰影象素」優先於所述「雲象素」。當在一個給定位置的所有象素都是「陰影象素」時，所述最亮的陰影象素被選擇出。在所有象素被分類成「雲象素」的位置，所述的最暗的雲象素被選擇出來。
在分級所述象素之後，在10處，生成了代表處於象素位置(i，j)的具有等級r的圖像的索引n的所述等級-r索引映射nr(i，j)。優選地，只有等級-1和等級-2索引映射被生成，並用於生成無雲的鑲嵌圖。
為了得到改善的視覺效果，希望一個給定位置的臨域中有儘可能多的象素來自於同一個圖像。這樣可以使用一個條件多數(conditional majority)過濾器過程來實現。
在6處，合併子圖像時，所述條件多數過濾的等級索引用來合併所述輸入的多場景，該多場景已經被所述灰度平衡進行處理。使用具有雲，雲的陰影的遮罩的圖像，以及從所述子圖像合併過程生成的所述合併的圖像，所述最終的沒有雲的鑲嵌圖在7處被組成。由所述鑲嵌圖處理產生的圖像和所述映射共同註冊。所述鑲嵌圖產生過程，在11處將來自於所述鑲嵌圖處理的圖像放入所述映射中。
當合併子圖像時，所述等級一1和等級-2索引映射被用來合併來自於同一組圖像的所述多場景。如果在一個給定位置的所述象素被分類為「植被象素」，為了避免在所述最終的鑲嵌圖中的空間的中斷，在那個位置的，來自於所述等級-1和等級-2圖像的所述象素，被一起平均。否則，來自於等級-1的所述象素被使用。
本發明還提供一個計算機可讀取介質，如一個光碟只讀存儲器(CDROM)，磁碟，磁帶或其他的，其上具有電腦程式，所述電腦程式被配置成，能夠引起在一個計算機中的處理器執行一個或多個功能，使得計算機實現以上所述的方法。
本發明還提供一個計算機可用介質，具有電腦程式代碼，被配置成，能夠引起一個處理器去執行一個或多個功能，使得以上所述的方法在至少一個計算機中實現。
在前文中描述的是本發明的一個優選實施例，同時，可以被本領域一般技術人員理解的是，本發明的方法可以有很多變化和修改，而不脫離本發明。
權利要求
1.一種方法，用於從一個地區的多個圖像中，生成沒有雲和沒有雲的陰影的圖像，該方法包括步驟(a)按朦朧和陰影的順序，將象素分級；(b)通過將一組象素分類成雲，陰影，或非雲—非陰影，生成雲和陰影屏蔽；並且(c)從所述多個圖像中，生成一個鑲嵌圖，來形成所述沒有雲和沒有雲的陰影的圖像。
2.根據權利要求1所述的方法，其中在每一個圖像中的每一個象素根據預先設定的分級標準被分級，並且，級別最高的象素用於組成所述鑲嵌圖。
3.根據權利要求1或2所述的方法，其中亮象素群的尺寸和形狀信息被用來將任何亮的陸地表面和建築物與雲區分開來。
4.根據權利要求1至3中任何一個所述的方法，其中太陽照明方向、傳感器觀察方向和典型的雲的高度信息被用來預測雲的陰影的可能的位置。
5.根據權利要求1至4中任何一個所述的方法，其中強度梯度被用來尋找在雲的邊緣附近的雲的陰影的位置。
6.根據權利要求5所述的方法，進一步包括一個步驟，應用一個形態過濾器到由所述強度梯度探測到的所述雲的屏蔽，來定位和包括在濃的雲邊緣的淡的雲。
7.根據權利要求1至6中任何一個所述的方法，包括步驟，除了所述分級標準，使用一個條件多數(conditional majority)過濾器，以在鑲嵌圖的生成中包括儘可能大的一片相鄰的上等象素。
8.根據權利要求1至7中任何一個所述的方法，其中所述多個圖像是全色的衛星圖像。
9.根據權利要求1至7中任何一個所述的方法，其中所述多個圖像是多光譜圖像。
10.根據權利要求1至9中任何一個所述的方法，其中最高等級的象素，被認為是上等象素，最低等級的象素被認為是劣質象素。
11.根據權利要求10所述的方法，其中所述上等象素被進一步分成植被象素和建築物象素。
12.根據權利要求11所述的方法，其中所述建築物象素包括陸地上空曠地。
13.根據權利要求11或12所述的方法，其中所述分類依賴於所述象素強度是否低於或高於一個植被象素的閾值。
14.根據權利要求10至13中任何一個所述的方法，其中更暗的上等象素比更亮的上等象素更優選。
15.一個沒有雲以及沒有雲的陰影的圖像，由權利要求1至14中任何一個所述的方法生成。
16.一個計算機可用的介質，具有電腦程式代碼，配置成可使處理器執行一個或多個步驟，使得一個計算機執行權利要求1至14中任何一個所述的方法。
全文摘要
一種方法，用於從一個地區的多個圖像中，生成沒有雲和沒有雲的陰影的圖像，該方法包括步驟按朦朧和陰影的順序，將象素分級；通過將一組象素分類成雲，陰影，或非雲一非陰影，生成雲和陰影的屏蔽；並且從所述多個圖像中生成一個鑲嵌圖，來形成所述沒有雲和沒有雲的陰影的圖像。
文檔編號G06T5/00GK1623171SQ02828552
公開日2005年6月1日 申請日期2002年1月22日 優先權日2002年1月22日
發明者李敏, 劉蘇欽, 郭梁共 申請人:新加坡國立大學