計算相機響應曲線及合成大動態範圍圖像的方法及其裝置的製作方法
2023-05-15 18:04:36 1
專利名稱：計算相機響應曲線及合成大動態範圍圖像的方法及其裝置的製作方法
技術領域：
本發明涉及圖像處理領域，尤其是指一種計算相機響應曲線及合成大動 態範圍圖像的方法及其裝置。
背景技術：
在圖像處理領域中， 一般用亮度動態範圍來表示圖像採集設備對拍攝場景 中景物光照反射的適應能力，即圖像採集設備所能識別的亮度等級的變化範圍。 因此，亮度動態範圍一般被定義為亮度等級的最大值與最小值之比。在現實生
活中， 一般現實場景中的亮度動態範圍一般為105: 1。通常，人眼在對環境進 行觀察時，可以察覺到亮度為l(T3 cd/m2的星光，也能感受到亮度為105 cd/m2 的陽光，且人眼在很暗或很亮的情況下都能察覺到現實場景中的各種細節。由 此可知，通過眼睛瞳孔的自動調節，人眼能分辨的亮度動態範圍大致為108: 1， 即使在同一個場景內，人眼不需調節也能分辨104: l的亮度動態範圍。而對於 圖像採集設備來說，目前的圖像採集設備(例如數位相機、攝像機)所能獲 取的亮度動態範圍僅為102~103: 1，遠遠低於現實場景中的亮度動態範圍以及 人眼所能感知的亮度動態範圍，因此目前的圖像採集設備無法記錄現實場景中 的超過其亮度動態範圍的圖像細節，從而影響圖像採集設備的成像質量。所以， 有必要找到 一種能有效增大圖像採集設備攝取的亮度動態範圍的方法，提高圖 像採集設備的成像質量。為了彌補目前圖像採集設備所能獲取的亮度動態範圍 不足的缺陷，現有技術一般都是利用同一場景不同曝光的圖像來重建這一場景 的動態範圍，並生成相應的近似於人類視覺所能感受到的清晰的圖像，由於該 圖像同時記錄了足夠多的真實場景中的亮度或色彩信息(例如高光區和陰影區 的細節)，具有非常高的動態範圍，因此該圖像被稱之為大動態範圍圖像。現有常用的圖像採集設備中的感光器件一般為電荷藕合器件(CCD， Charge Coupled Device)和互補金屬氧化物半導體(CMOS, Complementary Metal Oxide Semiconductor),這些感光器件所能採集的亮度動態範圍都很有限。因此，為了 儘可能多地獲取現實場景中的全部細節，使得生成的圖像具有比較高的亮度動 態範圍，目前常用的方法是用現有的圖像採集設備在同一靜止場景下、在多 個不同的曝光時刻，分別採集曝光程度不同的圖像，並將這些曝光程度不同的 圖像組成一個圖像序列(簡稱為曝光程度不同的圖像序列)，再通過一定的算法 依靠上述的曝光程度不同的圖像序列或其他的預先獲取的曝光程度不同的圖像 序列得到相機的響應曲線，最後利用相機響應曲線和已有的不同曝光時間的圖 像序列合成一張大動態範圍圖像。圖1為在不同曝光時刻獲取的圖像序列示意 圖。如圖l所示，圖1給出了在同一靜止場景下，在三個不同的曝光時刻所獲 取的解析度均為1024 x 768的圖像序列。
根據三基色原理，任意一種色光均可用紅(R)、綠(G)和藍(B)三基色 以不同比例和強度進行混合來表示，因此彩色圖像中每個象素的色彩信息可用 R、 G和B三個分量來表示，且每個分量的強度值(或亮度值)的大小範圍為 0~255。例如若象素點的R分量亮度值為255， G分量亮度值為0， B分量亮 度值為0,則該象素點為純紅色；若象素點的R、 G、 B三個分量亮度值相等(除 了 0和255 ),則該象素點為灰色；若象素點的R、 G、 B三個分量亮度值均為 255,則該象素點為白色；若象素點的R、 G、 B三個分量亮度值均為0，則該 象素點為黑色。因此， 一般將圖像中象素點的R、 G、 B三個分量分別稱為R、 G、 B通道。而對於灰度圖像，則一般用灰度值(也可稱之為亮度值)來表示 將圖像中象素點的圖像信息。
在上述的方法中，如果只需合成亮度大動態範圍圖像，則僅需要獲得一條 關於亮度的相機響應曲線。圖2為合成亮度大動態範圍圖像的流程示意圖。如 圖2所示，根據曝光程度不同的(即在不同的曝光時刻獲取的)亮度圖像序列 合成亮度大動態範圍圖像的具體步驟如下所述
步驟201，輸入曝光程度不同的亮度圖像序列。步驟202,根據上述的圖像序列，計算相機亮度響應曲線。； 步驟203,獲取曝光程度不同的亮度圖像序列。
步驟204,根據上述的響應曲線以及圖像序列，合成亮度大動態範圍圖像。 上述的步驟203中的曝光程度不同的亮度圖像序列可以是步驟201中所輸
入的曝光程度不同的亮度圖像序列，也可以是其他的預先獲取的曝光程度不同
的亮度圖像序列。
對於合成彩色大動態範圍圖像，則需要先對R、 G、 B三個通道分別計算， 獲得相機所分別對應的上述三個通道的響應曲線，最後利用相機響應曲線和已 有的曝光程度不同的圖像序列合成一張大動態範圍圖像。
圖3為合成彩色大動態範圍圖像示意圖。如圖3所示，根據曝光程度不同 的彩色圖像序列合成彩色大動態範圍圖像的具體步驟如下所述
步驟301，輸入曝光程度不同的彩色圖像序列。
步驟302,根據上述的彩色圖像序列，分別獲取圖像的R、 G、 B通道。 步驟303,根據上述的R、 G、 B通道，分別計算相機在R、 G、 B通道的 響應曲線。
步驟304,獲取曝光程度不同的彩色圖像序列。
步驟305,根據上述的響應曲線以及圖像序列，合成彩色大動態範圍圖像。 上述的步驟304中的曝光程度不同的亮度圖像序列可以是步驟301中所輸
入的曝光程度不同的亮度圖像序列，也可以是其他的預先獲取的曝光程度不同
的亮度圖像序列。
在上述的兩種計算相機響應曲線的算法中， 一般都需要選取一定可信的點 作為特徵點用於計算相機響應曲線，如何選取好的可信特徵點將對相機響應曲 線的計算具有直接的影響，而獲得的相機響應曲線的準確與否又將進一步影響 到後續圖像合成的效果。所以，可信特徵點的選取對於相機響應曲線的計算具 有很重要的作用。
在現有技術中，有如下兩種計算相機響應曲線的方法。
第一種方法在計算相機響應曲線的時，不對特徵點進行選取，而是將圖像中的所有象素點都作為特徵點用於進行相機響應曲線的計算。
對於如圖l所示的圖像序列來說，假設序列中每張圖像的大小均為1024x 768，即每張圖中有1024x 768個象素點，如果使用上述的計算相機響應曲線的 方法，則必須將圖1所示的圖像序列中的每張圖像中的每個象素點的R， G， B 值都分別用於求解相機對應的R、 G、 B通道響應曲線。由於圖像中所有的象素 點都用於計算相機的響應曲線，因此將不可避免地引入噪聲點，從而影響計算 相機響應曲線的準確性；此外，由於所有的象素點都用於計算，因此增加了算 法的計算複雜度，導致所需的計算時間比較長。
文獻1 (High Dynamic Range Imaging, E. Reinhard， G. Ward, S. Pattanaik and P. Debevec， Morgan Kaufmann Publishers, 2005)中在第4.6.1章中提出了另一 種計算相機響應曲線的方法，具體的計算步驟如下所述
步驟1，把所獲得的曝光程度不同的圖像序列中的所有圖像按照亮度從亮 到暗的順序進行排列。
步驟2，初始化小塊列表，即從上述圖像序列中的某一張圖像中隨機選取 足夠多的大小合適的小塊，並將這些小塊存儲於該小塊列表中。
步驟3,從上述小塊列表中，選取其中的一個小塊，並分別根據以下的兩 個步驟來檢測該被選取的小塊是否應被從小塊列表中刪除，即
1) 、在所述小塊中隨機選取一個象素點，如果該被選取的象素點的灰 度值比所述小塊所在圖像之前的幾張圖像中對應處的象素點的灰度值 大，則把該小塊從小塊列表中刪除；否則，保留該小塊。
2) 計算該小塊的灰度值的方差或標準差，如果該小塊的灰度值的方差 或標準差超過預先設定的閾值，則把該小塊從小塊列表中刪除；否貝寸， 保留該小塊。
步驟4，重複步驟3，直到對小塊列表中所有的小塊均完成上述的檢測。 步驟5，根據小塊列表中剩下的小塊中的象素點，計算相機的響應曲線。 在上述方法中，由於所採集的圖像序列中的圖像的噪聲點一般比較多，因 此如果僅僅要求相鄰兩張圖像的對應小塊中的象素點灰度值保持單調下降性，則可以找到對應的小塊；但是，如果要求圖像序列中所有圖像的對應小塊的灰 度值均保持單調下降性，則很難找到滿足上述條件的小塊，從而將導致無法找 到合適的特徵點用於計算相機的響應曲線。此外，上述方法中所涉及的計算也 比較複雜，將使得運算所需的時間較長。
綜上可知，在上述現有技術中的兩種方法中，由於沒有考慮選取可信特徵 點或選取特徵點的方法存在缺陷，因此根據上述方法計算相機響應曲線及合成 大動態範圍圖像所需的時間較長，且所獲得的相機響應曲線不夠準確，從而影 響後續合成的大動態範圍圖像的質量。
發明內容
本發明的實施例的主要目的在於提供一種計算相機響應曲線及合成大動態 範圍圖像的方法及其裝置，從而減少了計算相機響應曲線及合成大動態範圍圖 像所需的時間。
為達到上述目的，本發明的實施例的技術方案是這樣實現的 一種計算相機響應曲線的方法，該方法包括從至少包括兩張圖像的圖
像序列中的任意一張圖像中選取至少一個小區域；計算所述小區域在所述圖 像序列中每張圖像中的對應處的象素點亮度值的統計信息，對所述統計信息 求和，得到每個小區域的統計信息和；根據所述每個小區域的統計信息和的 大小選取至少 一個小區域作為特徵點塊，根據所述被選取的特徵點塊中的象 素點計算相機響應曲線。
一種大動態範圍圖像合成的方法，該方法包括根據權利要求l所述的方 法選取至少 一個小區域作為特徵點塊，並根據所述被選取的特徵點塊中的象素 點計算相機響應曲線；根據所述的相機響應曲線和一個至少包括兩張圖像的圖 像序列，合成大動態範圍圖像。
一種合成大動態範圍圖像的裝置，該裝置包括分選單元，統計篩選單元， 計算單元和合成單元；
所述分選單元，用於從接收到的圖像序列A中的任意一張圖像中選取至少一個小區域；
所述統計篩選單元，用於接收所述分選單元發送的小區域，計算接收到的 小區域在所述圖像序列A中每張圖像中的對應處的象素點亮度值的統計信息及 統計信息和，才艮據所述統計信息和的大小選取至少一個小區域；
所述計算單元，用於接收所述統計篩選單元發送的小區域，根據接收到的 小區域中的象素點計算相機響應曲線；
所述合成單元，用於接收所述計算單元發送的所述相機響應曲線，根據接 收到的圖像序列B以及所述相機響應曲線，合成的大動態範圍圖像。
綜上可知，本發明的實施例提供了 一種計算相機響應曲線及合成大動態範 圍圖像的方法及其裝置，通過減少特徵點的個數，使得所用的算法比較簡單， 減少了計算相機響應曲線所需的時間；同時，由於去除了噪聲點的影響，所以 提高了計算相機響應曲線的準確性，從而提高了大動態範圍圖像的合成質量。
圖1為現有技術中在不同曝光時刻獲取的圖像序列示意圖。
圖2為現有技術中合成亮度大動態範圍圖像的流程示意圖。
圖3為現有技術中合成彩色大動態範圍圖像的流程示意圖。
圖4為本發明實施例中的選取可信特徵點的流程示意圖。
圖5為本發明實施例中合成亮度大動態範圍圖像的流程示意圖。
圖6為本發明實施例中合成彩色大動態範圍圖像的流程示意圖。
圖7為本發明實施例中合成大動態範圍圖像的裝置的結構示意圖。
具體實施例方式
為使本發明的目的、技術方案和優點表達得更加清楚明白，下面結合附 圖及具體實施例對本發明再作進一 步詳細的說明。
目前，CCD、 CMOS的採集過程主要包括感光、光電轉換、模數轉換和 最終亮度梯度數位化等幾個主要步驟。在上述的幾個步驟中都將產生一定的誤差，從而使得所採集的圖像的象素點亮度都帶有一定的噪聲。根據CCD、 CMOS的固有特性可知，當使用CCD、 CMOS獲取一張圖像時，在亮度變 化較大的區域引入噪聲的可能性比較大，因此我們在選取特徵塊的時候可盡 量不考慮選取這種亮度變化大的區域。反映區域亮度變化的統計方法有很 多，比如利用亮度標準差、區域各亮度與區域平均亮度的絕對值差或區域各 亮度與區域平均亮度差的其他距離的方法。因此本發明實施例提出了一種基 於統計信息選取特徵塊，並將特徵塊中所有象素點作為可信特徵點用於計算 相機響應曲線的方法。圖4為本發明實施例中的選取可信特徵點的流程示意 圖，如圖4所示，選取可信特徵點的具體步驟如下所述
步驟401，給定一個曝光程度不同的圖像序列。該圖像序列由Q張在同 一靜止場景下不同曝光時刻拍攝的圖像組成，每張圖像均具有M x N個象素 點，可將上述的Q張圖像分別標記為(/=1， 2， ...， Q)，其中M和N 均為大於或等於l的整數，Q為大於或等於2的整數。
步驟402，從上述圖像序列中任選一張圖像並將其分割成S個大區域。 如果所選取的圖像為上述圖像序列中的第/張圖像/,.，則將圖像/,.分割成S 個大區域後，可將圖像/,中的S個大區域分別標記為4(/=1， 2, ...， Q; 乂=1， 2， ...， S)。若圖像/,.被平均分割為S個大區域，則上述的每個大區
域均具有^!-^x^個象素點。其中，,=l，2，...，S,且S、 乂、 &、 ！和
*St/, 尺, t/,
!均為大於或等於1的整數。
《,
步驟403，從上述的每個大區域中隨機選取L個小區域。因此，從上述 所選取的圖像/,的S個大區域中隨機選取出的(SxL)個小區域，可分別標 記為7^。.= 1， 2，…，Q; _/=1, 2，…，S; ， A= 1, 2，…，L)，每個 小區域的象素個數為t/^x F^，其中，L、 t/^和F^均為大於或等於1的整 數。因此，不論是同一個大區域的小區域還是不同大區域的小區域，其大小 可以相同，也可以不同。步驟404，計算上述小區域的亮度值的標準差並將標準差按所述圖像序
列中的圖像個數求和。即對於上述所選取圖像/,中的每個大區域^來說，對
其所選取的每個小區域/^,分別計算該小區域在上述圖像序列(Q張圖像) 的每張圖像中的對應處的亮度值的標準差，可得該小區域的Q個亮度值的 標準差aw,;將上述的Q個亮度值的標準差按圖像個數求和，可得該小區
域的標準差和因此，在上述所選取圖像/,中的每個大區域4 中都將得到L個小區域的標準差和。其中，標準差cj^的計算公式為， =22|^,廣司'"=2，其中仏.，為小區域坐標為"，的灰度值，S為小
區域灰度平均值。另夕卜，根據距離定義的不同，上述公式中的M直可為1， 2， 3，…，~0
步驟405，將上述小區域按標準差和排序，並將標準差和小的P個小區 域選為特徵點塊。即對於每個大區域/y，將該大區域中所選取的L個小區域 按照標準差和從小到大的順序進行排序，並選取前P個標準差和小的小區域 作為該大區域^的特徵點塊。因此，從上述所選取的圖像/,中一共可選取(S xP)個特徵點塊。其中，P為正整數，且1《P《L。
此外，也可將上述所有的從S個大區域中選取的(SxL)個小區域按照 標準差和從小到大的順序進行排序，並選取前(Sxp)個標準差和小的小區 域作為圖像/,的特徵點塊。
步驟406，選取所給圖像序列中的所有特徵點塊。即根據上述所選取的 圖像中的特徵點塊，將這些特徵點塊在所給圖像序列中的其他圖像中的對 應區域也選取為特徵點塊。因此，從上述圖像序列中一共可選取(QxSxp) 個特徵點塊，可將這些特徵點塊分別標記為(/=1， 2， ...， Q; _/=1, 2, ...， S; /=1， 2, P)。其中，如果將下標/、 /的值相同的特徵點塊 作為一組，則可得(Sxp)個特徵點塊組。例如，當Q-3， S = 4， P-3時，
則特徵點塊Sl42、仏42和^342為一個特徵點塊組，^134、 &34和S334為另 一個
13特徵點塊組……，依此類推，可得12個特徵點塊組。
步驟407,將上述所選取的特徵點塊中的所有象素點作為可信特徵點。
圖4所示的選取可信特徵點的方法是首先從上述所給圖像序列中任選 一張圖像並將其分割成S個大區域，然後從每個大區域中隨機選取L個小區 域，接著計算每個小區域的標準差和，之後將標準差和最小的P個小區域作 為特徵點塊，最後選取所給圖像序列中的所有特徵點塊，並將特徵點塊中的 所有象素點作為可信特徵點。
在本發明實施例的技術方案中，還可以對所給圖像序列中的每 一 張圖像 都單獨執行步驟402-405，從每張圖像中選取(Sxp)個特徵點塊，然後 將所有特徵點塊中的所有象素點作為可信特徵點。
從實際操作的情況來看，通過圖4所示的方法所選取出的特徵點在整個 圖像上的分布比較均勻，並儘量避免了選取圖像中的噪聲點。
當上述的特徵點被選定後，則可將上述特徵點用於計算相機的響應曲 線，並最終獲得大動態範圍的圖像。圖5為本發明實施例中合成亮度大動態 範圍圖像流程示意圖，如圖5所示，合成亮度大動態範圍圖像的流程如下 所示
步驟501,輸入曝光程度不同的特徵點塊。具體地說，即逐組輸入從上 述圖像序列中選取的特徵點塊組。由上述步驟406可知，每一個特徵點塊組 均由不同曝光程度的特徵點塊構成的。由於所需合成的為亮度大動態範圍圖 像，因此只需知道所輸入特徵點塊中各象素點的灰度值(也可稱為亮度值)， 因此所輸入的特徵點塊可稱之為亮度特徵點塊。
步驟502,根據上述的特徵點塊中的象素點，計算相機的亮度響應曲線。 具體地說，即根據上述輸入的特徵點塊組中各特徵點塊的像素點的亮度值 (或灰度值)，計算出相機的亮度響應曲線。
步驟503,獲取曝光程度不同的亮度圖像序列。該亮度圖像序列可以是 步驟501中所輸入的特徵點塊所在的圖像序列，也可以是其他的預先獲取的 曝光程度不同的亮度圖像序列。步驟504，根據上述的亮度響應曲線和亮度圖像序列，合成亮度大動態 範圍圖像。
圖6為本發明實施例中合成彩色大動態範圍圖像流程示意圖，如圖6所 示，合成彩色大動態範圍圖像的流程如下所示
步驟601，輸入曝光程度不同的特徵點塊。具體地說，即逐組輸入從上 述圖像序列中選取的特徵點塊組。由上述步驟406可知，每一個特徵點塊組 均由不同曝光程度的特徵點塊構成的。由於所需合成的為彩色大動態範圍圖 像，因此所輸入特徵點塊中各象素點的在R、 G、 B通道具有相應的亮度值， 因此所輸入的特徵點塊可稱之為彩色特徵點塊。
步驟602，分別取上述的特徵點塊的R、 G、 B通道。具體地說，即從 上述輸入的特徵點塊組中，分別讀取各特徵點塊中象素點的R、 G、 B通道。
步驟603，根據上述特徵點塊的R、 G、 B通道，分別計算相機在R、 G、 B通道的響應曲線。具體地說，即根據上述輸入的特徵點塊組中各特徵點塊 的像素點的R、 G、 B通道的亮度值，計算出相機的亮度響應曲線。
步驟604，獲取曝光程度不同的彩色圖像序列。該彩色圖像序列可以是 步驟601中所輸入的特徵點塊所在的圖像序列，也可以是其他的預先獲取的 曝光程度不同的彩色圖像序列。
步驟605,根據上述各響應曲線和彩色圖像序列，合成彩色大動態範圍 圖像。
以下，將從時間複雜度以及準確度兩個方面來說明本發明實施例中提供 的方法相對於現有技術方案的優越性。
首先，我們可從時間複雜度方面來進行分析。本發明實施例中的計算相 機響應曲線的方法的時間複雜度由根據象素點計算響應曲線的時間複雜度 和選取特徵點塊的時間複雜度兩部分組成。本發明實施例通過使用特徵點塊 選取象素點的方法，可以節省計算相機響應曲線的時間，但同時也增加了用 於選取特徵點塊的時間。不過，與現有技術中的計算相機響應曲線的時間相 比，本發明實施例中選取特徵點塊所花費的時間是很少的，我們可通過如下所述的量化分析來進行說明。
1 )本發明實施例中的方法可節省計算相機響應曲線的計算時間。 根據算法的不同，計算相機響應曲線所需的計算複雜度的數量級為O
(T),其中的T為運算中所用到的特徵點的個數。根據本發明實施例中的 計算方法，從上述圖像序列中某張圖像中所選取的作為特徵點的象素點個數
為iiu^xV^而如果根據現有技術中的第一種計算方法，則所選取的
作為特徵點的象素點個數將為MxN。因此，本發明實施例中計算相機響 應曲線所需的計算時間僅為現有技術的第一種計算方法所需計算時間的
例如對於一幅具有1024x 768個象素點的圖像，根據現有技術中的第 一種計算方法，需要掃描所有1024x 768 = 786432個象素點，假設對每個象 素點進行計算需要執行約100次加法操作，則其計算的時間複雜度至少是 786432 x 100 = 78643200次；而如果採用本發明實施例中的方法，當S = 100, P = 3， ^屍&「 12 (即每個小塊的大小均一樣大)時，則僅需要掃描100 x 3 x 12 x 12 = 43200個象素點,計算的時間複雜度為43200 x 100 = 4320000 次。因此，本發明實施例中所需計算的象素點個數僅約為現有技術的第一種 計算方法中所需計算的象素點個數的1/18倍，從而可大大減少計算的時間 複雜度，節省計算時間。
2 )根據本發明實施例中的方法選取特徵點塊的操作無需太多計算時間。 選取特徵點塊所需的時間包括計算每個小區域的標準差和的時間以及 按標準差和的大小對小區域進行排序的時間。計算小區域的標準差和的時間 複雜度為0(N2),其中的N為小區域的象素點的個數；按標準差和的大小 對小區域進行排序，其時間複雜度為O (NlogN),其中的N為一個大區域 中所有小區域的個數。因此，當S-IOO, L=10, t/^= 12 (即每個小塊 的大小均一樣大)時，計算每個小區域標準差的時間可近似為(^屍^/J2=1442 = 20736個簡單加法操作所需的時間；而按標準差和的大小對小區域 進行排序則約需LlogL= 101ogl0= 10個加法操作。因此，選取特徵點塊所 花費的總時間約為(20736x 10+ 10) xs- ( 207360+ 10) xioo = 2073700 個簡單加法操作所需的時間。因此選取特徵點塊所需要的總時間約為現有技 術第 一種計算方法中計算相機響應曲線所需時間的2073700 / 78643200 1/4倍。
綜上可知，使用本發明實施例所提供的方法計算相機響應曲線所需的總 時間約為現有技術第一種計算方法中所需時間的1/18+1/4 1/3倍，因此將 大大節省計算的時間。
其次，我們還可從準確度方面來進行分析。如上所述，在現有技術中， ccd、 cmos在亮度變化比較大的區域獲取圖像時容易引入噪聲點，從而所 獲取的圖像不可避免帶有一定的噪聲，如果選用這些噪聲點作為特徵點，則 必然會影響所合成的大動態範圍圖像的成像質量。而在本發明實施例中的方 法中，由於是選取了標準差和最小的幾個特徵點塊中的象素點作為特徵點， 因此可以間接地去除圖像中的噪聲點，而使用無噪聲的象素點來計算相機的 響應曲線，從而提高了所獲得的相機響應曲線的擬合準確程度；而在圖像合 成的後續步驟中，當使用準確度更高的相機響應曲線來合成大動態範圍圖像 時，所獲得的大動態範圍圖像的成像質量也必然得到相應地提高。
此外，在上述的實施例中，也可不將上述的圖像序列中的圖像分成s個 大區域，而是直接從上述圖像序列中任意確定的一張圖像中隨機選取x個 的小區域，計算上述每個小區域在圖像序列中所有圖像的對應處的標準差以 及標準差和，並將這些小區域按標準差和的大小進行排序，然後選取前y 個標準差和較小的小區域作為特徵點塊，並將特徵點塊中的所有象素點作為 特徵點。其中，y<X，且x和y均為大於等於1的整數。但實驗結果證明， 當使用該方法時，所選取的小區域都在圖像的某一局部，而依靠圖像的局部 來計算的相機響應曲線，其效果不佳。
在以上的本發明的實施例中，均是利用對標準差的計算結果來選取特徵點塊，同理，我們也可將上述的標準差替換為絕對值差或距離等其它統計信 息進行計算，即利用對絕對值差或距離等其它統計信息的計算結果來選取特 徵點塊，其效果是相同或類似的。
此外，還可在上述實施例中加入另外的統計信息，使得所獲得的特徵點 更可信。例如，可要求所選取的小區域中的象素點的最大灰度值滿足
條件128<//賺《255 (例如//OT = 250)，且最小灰度值滿足條件 0</4, 《127 (例如//M, = 20)。
本發明另一個實施例還提出了一種合成大動態範圍圖像的裝置。圖7為本 發明實施例中合成大動態範圍圖像的裝置的結構示意圖。如圖7所示，本發明 實施例中合成大動態範圍圖像的裝置701包括一個分選單元702，統計篩選單 元703,計算單元704和一個合成單元705。
所述分選單元702接收所輸入的圖像序列A,並從所述圖像序列中的任意 一張圖像中選取至少一個小區域，然後將所選取的小區域發送給所述統計篩選 單元703;所述統計篩選單元703接收所述分選單元發送的所述小區域，計算 所述小區域在所述圖像序列中每張圖像中的對應處的象素點亮度值的統計信息 及圖像序列統計信息和，並根據所述統計信息和的大小選取至少一個小區域， 然後將所選取的小區域發送給所述計算單元704;所述計算單元704根據接收
到的小區域中的象素點計算相機響應曲線，並將所述相機響應曲線發送給所述 合成單元705;所述合成單元705根據接收到的圖像序列B以及所述相機響應 曲線，合成的大動態範圍圖像。
所述分選單元702包括分割模塊706和選取模塊707。所述分割模塊706 接收所輸入的圖像序列A,將所述圖像序列A中的任意確定的一張圖像分割為 至少一個大區域，並將所述的每個大區域分割為至少一個小區域，然後將分割 好的小區域發送給選取模塊707;所述選取模塊707根據接收到的小區域，從 所述的每個大區域中選取至少一個小區域，並將所選取的小區域發送給所述統 計篩選單元703。
所述統計篩選單元703包括統計模塊708和篩選衝莫塊709。所述統計才莫塊708接收所述分選單元發送的所述小區域，計算所述小區域在所述圖像序列中 每張圖像中的對應處的象素點亮度值的統計信息及統計信息和，並將統計信息 和發送給所述篩選模塊709;所述篩選模塊709根據接收到的每個小區域的統 計信息和，按統計信息和從小到大的順序選取至少一個小區域，然後將所選取 的小區域發送給所述計算單元704。
所述計算單元704包括獲取模塊710和運算;^莫塊711。所述獲取模塊710 接收所述統計篩選單元703發送的小區域，分別獲取所述小區域中各象素點的 R、 G、 B通道並發送給運算模塊711;所述運算模塊711根據接收到的各象素 點的R、 G、 B通道，分別計算相機在R、 G、 B通道的響應曲線，並將計算出 的所述相機響應曲線發送給所述合成單元705。
所述合成單元705接收到的所述圖像序列B與所述分選單元接收到的所述 圖像序列A為同一個圖像序列。
此外，以上所述的本發明實施例中的步驟401 ~步驟407、步驟501 - 504 以及步驟601 ~步驟605均可通過軟體的方式實施，且所述的軟體可存儲於可 被計算機讀取的存儲介質之中，所述存儲介質可能包括ROM/RAM、磁碟、光 盤等。
綜上所述，本發明實施例提供了一種計算相機響應曲線及合成大動態範 圍圖像的方法及其裝置，通過使用本發明實施例提供的方法和裝置，可以有 效減少特徵點的個數，使得所用的算法比較簡單，減少計算響應曲線所需的 時間；同時，由於所選取的特徵點中去除了噪聲點，因此可提高計算響應曲 線的準確性，從而提高大動態範圍圖像的合成質量。
以上所述，僅為本發明的較佳實施例而已，並非用於限定本發明的保護 範圍。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等， 均應包含在本發明的保護範圍之內。
權利要求
1、 一種計算相機響應曲線的方法，其特徵在於，該方法包括 從至少包括兩張圖像的圖像序列中的任意一張圖像中選取至少一個小區域；計算所述小區域在所述圖像序列中每張圖像中的對應處的象素點亮度值的統計信息，對所述統計信息求和，得到每個小區域的統計信息和；根據所述每個小區域的統計信息和的大小選取至少一個小區域作為特徵點 塊，根據所述被選取的特徵點塊中的象素點計算相機響應曲線。
2、 根據權利要求1所述的方法，其特徵在於所述圖像序列包括至少兩張 同 一場景的曝光程度不同的圖像。
3、 根據權利要求1所述的方法，其特徵在於，所述從圖像序列中的任意一 張圖像中選取至少一個小區域包括將所述圖像序列中的任意確定的一張圖像分割為至少一個大區域；將所述 的每個大區域分割為至少一個小區域，從每個大區域中選取至少一個小區域。
4、 根據權利要求1或3所述的方法，其特徵在於，所述根據所述每個小區 域的統計信息和的大小選取至少 一個小區域包括根據每個小區域的統計信息和從小到大的順序選取至少一個小區域。
5、 根據權利要求3所述的方法，其特徵在於，所述根據所述每個小區域的 統計信息和的大小選取至少一個小區域包括在每個大區域中根據每個小區域的統計信息和從小到大的順序選取至少一 個小區域。
6、 根據權利要求1所述的方法，其特徵在於，所述根據所述被選取的特徵 點塊中的象素點計算相機響應曲線包括當所述圖像為彩色圖像時，分別獲取所述象素點的R、 G、 B通道；分別計 算相機R、 G、 B通道的響應曲線。
7、 根據權利要求1所述的方法，其特徵在於所述的響應曲線為相機的亮度響應曲線。
8、 根據權利要求1所述的方法，其特徵在於所述的統計信息為標準差或 絕對值差或距離。
9、 根據權利要求1所述的方法，其特徵在於，在所述根據所述每個小區域 的統計信息和的大小選取至少一個小區域之後還進一步包括所選取的小區域 的象素點的最大灰度值/4瓜滿足條件128</fWflX《255;最小灰度值/Z,滿足 條件0《//顯《127。
10、 一種大動態範圍圖像合成的方法，其特徵在於，該方法至少包括以下 步驟從至少包括兩張圖像的圖像序列A中的任意一張圖像中選取至少一個小區域'，計算所述小區域在所述圖像序列A中每張圖像中的對應處的象素點亮度值 的統計信息，對所述統計信息求和，得到每個小區域的統計信息和；根據所述每個小區域的統計信息和的大小選取至少一個小區域作為特徵點 塊，並根據所述被選取的特徵點塊中的象素點計算相機響應曲線；根據所述的 相機響應曲線和一個至少包括兩張圖像的圖像序列B，合成大動態範圍圖像。
11、 根據權利要求IO所述的方法，其特徵在於，所述根據所述被選取的特 徵點塊中的象素點計算相機響應曲線包括當所述圖像為彩色圖像時，分別獲取所述象素點的R、 G、 B通道；根據所 述R、 G、 B通道，分別計算R、 G、 B通道的相機響應曲線。
12、 根據權利要求IO所述的方法，其特徵在於所述的相機響應曲線為相 機的亮度響應曲線。
13、 根據權利要求IO所述的方法，其特徵在於，所述的大動態範圍圖像為 亮度大動態範圍圖像或彩色大動態範圍圖像。
14、 根據權利要求10所述的方法，其特徵在於所述圖像序列A與所述 圖像序列B為同一個圖像序列。
15、 一種合成大動態範圍圖像的裝置，其特徵在於，該裝置包括分選單元，用於從接收到的圖像序列A中的任意一張圖像中選取至少一個 小區i或；統計篩選單元，用於接收所述分選單元發送的小區域，計算接收到的小區域在所述圖像序列A中每張圖像中的對應處的象素點亮度值的統計信息及統計 信息和，根據所述統計信息和的大小選取至少一個小區域；計算單元，用於接收所述統計篩選單元發送的小區域，根據接收到的小區域中的象素點計算相機響應曲線；合成單元，用於接收所述計算單元發送的所述相機響應曲線，根據接收到 的圖像序列B以及所述相機響應曲線，合成大動態範圍圖像。
16、 根據權利要求15所述的裝置，其特徵在於所述分選單元包括 分割模塊，用於將接收到的圖像序列A中的任意確定的一張圖像分割為至少一個大區域，將所述的每個大區域分割為至少一個小區域；選取模塊，用於接收所述分割模塊發送的所述分割好的小區域，根據接收 到的小區域，從所述的每個大區域中選取至少一個小區域，將所選取的小區域 發送給所述統計篩選單元。
17、 根據權利要求15所述的裝置，其特徵在於所述統計篩選單元包括 統計模塊，用於計算接收到的小區域在所述圖像序列中每張圖像中的對應處的象素點亮度值的統計信息及統計信息和；篩選模塊，用於接收所述統計模塊發送的統計信息和，根據接收到的統計 信息和，按統計信息和從小到大的順序選取至少一個小區域，將所選取的小區 域發送給所述計算單元。
18、 根據權利要求15所述的裝置，其特徵在於所述計算單元包括獲取模 塊和運算模塊；獲取模塊，用於從接收到的小區域分別獲取所述小區域中各象素點的R、 G、 B通道；運算模塊，用於接收所述獲取模塊發送的各象素點的R、 G、 B通道，根據 接收到的各象素點的R、 G、 B通道，分別計算相機在R、 G、 B通道的響應曲線，將計算出的所述響應曲線發送給所述合成單元。
19、根據權利要求15所述的裝置，其特徵在於，所述合成單元接收到的所述圖像序列B與所述分選單元接收到的所述圖像序列A為同一個圖像序列。
全文摘要
本發明的實施例公開了一種計算相機響應曲線及合成大動態範圍圖像的方法及其裝置，即從一個圖像序列中的任意一張圖像中隨機選取至少一個小區域，計算每個小區域在每張圖像中的對應處的統計信息以及從多張圖像獲得的統計信息和，並將小區域按統計信息和進行排序，選取統計信息和較小的幾個小區域作為特徵點塊，並將特徵點塊中的所有象素點作為特徵點計算相機響應曲線，並利用相機響應曲線和圖像序列合成大動態範圍圖像。使用上述的方法及其裝置，可有效減少特徵點的個數，使所用的算法比較簡單，減少了計算相機響應曲線所需的時間；同時，由於所選取的特徵點中去除了噪聲點，因此提高了計算相機響應曲線的準確性，提高了大動態範圍圖像的合成質量。
文檔編號G06T5/00GK101312494SQ200710105220
公開日2008年11月26日 申請日期2007年5月21日 優先權日2007年5月21日
發明者楊海欽 申請人:華為技術有限公司