一種基於RGB圖像的超光譜反射率重建方法與流程

2023-12-02 08:18:31 1

本發明涉及一種超光譜反射率重建方法，具體涉及一種基於rgb圖像的超光譜反射率重建算法，屬於計算攝像學領域。

背景技術：

超光譜成像技術不同於傳統的彩色圖像成像技術，它獲取的圖像通常包括幾十或幾百個窄波段通道，遠多於傳統彩色圖像的3通道或4通道。這種技術獲取到的圖像通常被稱為數據立方體，相比於傳統圖像只具有空間維度，它具有空間、光譜共三個維度。

超光譜成像技術具有廣泛的應用場景。這種技術在計算機視覺領域可用於目標分割、追蹤以及識別，早期主要應用於遙感，但是近年來也被越來越多的應用於商業市場以及生物技術、生命科學和醫學領域等。

傳統的超光譜成像技術通常利用光柵、稜鏡等器件的分光性能，通過多次曝光採集多個狹窄波段範圍的圖像。這種過程常常較為耗時，使用的硬體也通常價格昂貴，且需要進行精確的標定過程。

近年來，超光譜成像技術也被應用於多媒體技術中，例如彩色圖像的重光照技術。在一種未知光照下的彩色圖像，通過重光照過程可以得到在另一種已知光照下的彩色圖像。由於重光照技術主要追求的是視覺效果，相對於傳統應用，重光照技術對超光譜成像的準確度要求較低，而對實時性要求較高。

已有技術中具有兩種類型的超光譜反射率重建方法：第一種方法採集場景的超光譜圖像，根據已知的場景光照求解超光譜反射率，這種方法要求場景光照已知，需要在暗室中用特殊光源對場景進行照射並進行採集，對設備和環境的要求高，且超光譜圖像的採集通常需要比較長的時間。第二種方法利用稀疏表達技術，使用超光譜反射率的訓練集得到單個稀疏字典，隨後採集場景的rgb圖像，對每個像素點的超光譜反射率進行估計，這種方法的缺點是精度相對低，但是無需特殊設備，並且重建速度通常較快。

根據多媒體應用對超光譜反射率重建算法的要求，需要一種基於場景rgb圖像的算法，能夠以較快的重建速度、較低的設備要求達到更高的重建精度。

技術實現要素：

針對已有技術中基於rgb圖像的超光譜反射率重建算法的缺點，本發明公開的一種基於rgb圖像的超光譜反射率重建方法要解決的技術問題是提供一種超光譜反射率重建方法，在不需要特殊設備、具有較快重建速度的前提下提高重建精度。

為達到以上目的，本發明採用以下技術方案：

本發明公開的一種基於rgb圖像的超光譜反射率重建方法，分為訓練階段和使用階段。訓練階段在超光譜圖像反射率的訓練集中，把超光譜反射率映射到rgb顏色空間，並根據rgb的值求解每個像素的色度；根據每個像素的色度對像素進行聚類；對每個聚類中的像素反射率使用字典學習得到反射率的稀疏字典；把稀疏字典映射到rgb空間得到rgb字典。使用階段對採集的rgb圖像進行白平衡；求解白平衡後圖像每個像素點的色度，並根據色度尋找每個像素點所屬聚類；對於每個聚類中的像素點，使用該聚類的rgb字典進行有約束稀疏編碼；根據聚類的反射率字典和稀疏編碼，重建像素的超光譜反射率。

本發明公開的一種基於rgb圖像的超光譜反射率重建方法，分為訓練和使用兩個階段，包括如下步驟：

步驟一：訓練階段用於根據像素色度得到聚類以及每個聚類的稀疏字典和rgb稀疏字典；

步驟1.1：對訓練集中像素點的超光譜反射率使用映射函數進行顏色空間映射，得到像素點對應的色度。

對訓練集合中的所有超光譜反射率像素點，使用如公式(1)所示的映射函數映射到rgb空間，再使用如公式(2)所示的映射函數從rgb空間映射到色度空間：

y＝cs(1)

其中y是一個3行m列的實矩陣，是向量化表示的rgb空間像素集合，它的每一列表示一個3通道的像素點。c是一個3行b列的實矩陣，表示b個光譜通道到rgb通道的變換矩陣。s是一個b行m列的實矩陣，是向量化表示的超光譜像素反射率集合。q∈{r,g,b}表示3個顏色通道，表示第m個像素點在q通道的像素值，表示第m個像素點在q通道的色度值。

步驟1.2：根據色度值，使用聚類算法對所有的像素點進行聚類。

所述的聚類算法優選：k-均值聚類，譜聚類，層次聚類，模糊聚類，dbscan聚類。

步驟1.3：使用字典學習得到步驟1.2中每個聚類的稀疏字典。

對每一個聚類中的像素點使用如公式(3)所示的優化方程進行稀疏字典學習。

其中：tk是第k個聚類中像素點反射率的向量表示，dk是所求稀疏字典，bk是稀疏編碼且滿足bk≥0,dk≥0，||·||f表示矩陣的弗羅賓尼斯(frobenius)範數，||·||1表示矩陣的1範數。

字典學習方法優選：k-svd算法，最佳方向(mod)法，在線字典學習(odl)法，主成分分析(pca)法，頂點成分分析(vca)法。

步驟1.4：對步驟1.3中的稀疏字典使用顏色空間映射得到對應rgb字典。

將步驟1.3中獲得的每個聚類的反射率字典，通過如公式(4)所示的映射函數映射到rgb空間：

hk＝cdk(4)

其中hk是第k個聚類的rgb字典。

步驟二：使用階段利用步驟一中得到的聚類和稀疏字典、rgb字典，重建像素的超光譜反射率。

步驟2.1：對彩色相機採集到的rgb圖像進行白平衡處理。

所述的白平衡處理方法優選：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色陰影(shadesofgrey)法，灰色邊緣(grey-edge)法。

步驟2.2：對白平衡後的rgb圖像使用如公式(2)所示方法得到每個像素點對應色度。

步驟2.3：根據步驟2.2得到的色度計算每個像素點所屬聚類。

計算圖像中每個像素的色度與訓練得到的每個聚類中心色度的距離，尋找距離最小的聚類作為該像素所屬聚類。

距離定義優選：歐式距離，曼哈頓距離，切比雪夫距離，閔可夫斯基距離，標準化歐氏距離，馬氏距離，夾角餘弦，海明距離，傑卡德距離，相關係數，信息熵。

步驟2.4：根據步驟2.3得到的聚類以及每個聚類的rgb字典求解稀疏編碼。

對於步驟2.3中每個聚類中的像素點，使用rgb字典進行有約束稀疏編碼，稀疏編碼通過公式(5)中的優化方程進行求解：

其中，ak表示第k個聚類中像素的稀疏編碼且滿足ak>0，代表第k個聚類中超光譜反射率的均值，uk中每一列對應yk中每個像素的非局部特徵。該非局部特徵計算方法如公式(6)所示：

其中，dkαm,n表示空間坐標m在集合ωm中的一個相似像素點，集合ωm表示m的空間鄰域，wm,n表示權重，wm,n的計算方法如公式(7)所示：

其中，w表示標準化因子，h是一個預定義的標量，表示中心為m的rgb圖像塊。

公式(5)的優化方程求解方法優選：正交匹配追蹤(omp)算法，最小角回歸(lars)算法，迭代軟閾值(ista)算法，交替方向乘子(admm)算法。

步驟2.5：根據步驟2.4中的稀疏編碼和步驟一中得到的稀疏字典，利用公式(8)重建光譜反射率。

sk＝dkak(8)

有益效果：

1、本發明公開的一種基於rgb圖像的超光譜反射率重建方法，由於步驟一根據像素色度特徵得到了多個稀疏字典，稀疏字典的表達能力高於已有技術中的單個稀疏字典，因此重建精度高於已有技術中基於rgb圖像的超光譜反射率重建方法。

2、本發明公開的一種基於rgb圖像的超光譜反射率重建方法，由於步驟2.4使用了非局部特徵，利用了場景光譜反射率在空間中的連續性，提高了稀疏編碼的準確度，因此重建精度高於已有技術中基於rgb圖像的超光譜反射率重建方法。

3、本發明公開的一種基於rgb圖像的超光譜反射率重建方法，由於步驟2.4考慮了相似色度的像素具有相似的超光譜反射率這一特徵，提高了稀疏編碼的準確度，因此重建精度高於已有技術中基於rgb圖像的超光譜反射率重建方法。

4、本發明公開的一種基於rgb圖像的超光譜反射率重建方法，由於步驟2.1隻需要採集rgb圖像，而已有技術中基於超光譜圖像和已知光照的反射率重建方法需要採集超光譜圖像，因此本發明的採集過程更簡單、採集速度更快。

附圖說明

圖1是本發明中基於rgb圖像的超光譜反射率重建方法的流程圖。

圖2是使用本發明的超光譜反射率重建方法進行rgb圖像重光照的示意圖。

圖3是本發明中超光譜反射率重建方法的流程示意圖。

具體實施方式

為了更好的說明本發明的目的和優點，下面結合附圖和實例對發明內容做進一步說明。

實施例1：

本實施例公開的一種基於rgb圖像的超光譜反射率重建方法，分為訓練階段和使用階段。訓練階段在超光譜圖像反射率的訓練集中，把超光譜反射率映射到rgb顏色空間，並根據rgb的值求解每個像素的色度；根據每個像素的色度對像素進行聚類；對每個聚類中的像素反射率使用字典學習得到反射率的稀疏字典；把稀疏字典映射到rgb空間得到rgb字典。使用階段對採集的rgb圖像進行白平衡；求解白平衡後圖像每個像素點的色度，並根據色度尋找每個像素點所屬聚類；對於每個聚類中的像素點，使用該聚類的rgb字典進行有約束稀疏編碼；根據聚類的反射率字典和稀疏編碼，重建像素的超光譜反射率。本實施例的流程圖如圖1所示。

傳統的rgb相機拍攝的彩色圖像，通常被視為對超光譜圖像在光譜域的下採樣。這個下採樣操作通常用rgb相機的光譜響應曲線表示，相機光譜響應曲線常被相機廠商提供在工業相機的技術說明中。場景的超光譜圖像由場景的超光譜反射率以及場景光決定。因此，如果假設場景中的光照均勻，且場景中的物體都具有朗伯表面，那麼rgb相機拍攝的圖像可以表示為：y＝cls，其中y表示rgb圖像，c表示rgb相機的光譜響應曲線，l表示場景光照，s表示場景的超光譜反射率。在rgb相機的光譜響應曲線和場景的超光譜反射率已知的情況下，可以對場景進行任意的重光照，得到目標重光照rgb圖像。本實施例的方法假設rgb相機的光譜響應曲線已知，根據場景的rgb圖像對場景超光譜反射率進行估計，從而實現重光照過程。rgb圖像重光照過程的流程示意圖如圖2所示。

近年來的研究表明，場景中任何像素的反射率都可以用少量基(basis)的線性組合近似表示。因此，場景的超光譜反射率可以表示為：s＝da，其中d通常稱為稀疏字典，它的每一列被稱為字典信號(signature)，a通常稱為稀疏編碼，它的每一列都是「稀疏」的，即只有少量幾個元素不為0。

現有技術中的超光譜反射率重建方法，根據以上分析，在超光譜反射率的訓練集中得到一個稀疏字典，再對場景中的每一個像素進行稀疏編碼的求解。這種針對獨立像素點的求解方法忽略了以下事實：反射率在一定空間範圍內通常是連續變化的；如果像素點在rgb空間中顏色相近，那麼它們的反射率也應該具有高相似性。本實施例中的超光譜反射率重建方法綜合了已有技術中基於稀疏表達的技術，同時利用了像素的空間連續性、rgb空間顏色與光譜反射率的對應關係，從而提高了超光譜反射率的重建精度，也提高了重光照等多媒體應用的視覺效果，本實施例的超光譜反射率重建過程如圖3所示。本實施例的詳細內容如下。

本實施例公開的一種基於rgb圖像的超光譜反射率重建方法，分為訓練和使用兩個階段，包括如下步驟：

步驟一：訓練階段用於根據像素色度得到聚類以及每個聚類的稀疏字典和rgb稀疏字典；

步驟1.1：對訓練集中像素點的超光譜反射率使用映射函數進行顏色空間映射，得到像素點對應的色度。

對訓練集合中的所有超光譜反射率像素點，使用如公式(1)所示的映射函數映射到rgb空間，再使用如公式(2)所示的映射函數從rgb空間映射到色度空間：

y＝cs(1)

其中y是一個3行m列的實矩陣，是向量化表示的rgb空間像素集合，它的每一列表示一個3通道的像素點。c是一個3行b列的實矩陣，表示b個光譜通道到rgb通道的變換矩陣。s是一個b行m列的實矩陣，是向量化表示的超光譜像素反射率集合。q∈{r,g,b}表示3個顏色通道，表示第m個像素點在q通道的像素值，表示第m個像素點在q通道的色度值。

步驟1.2：根據色度值，使用聚類算法對所有的像素點進行聚類。

所述的聚類算法優選：k-均值聚類(詳見hartiganja,wongma.algorithmas136:ak-meansclusteringalgorithm[j].journaloftheroyalstatisticalsociety.seriesc(appliedstatistics),1979,28(1):100-108.)，譜聚類，層次聚類，模糊聚類，dbscan聚類。

步驟1.3：使用字典學習得到步驟1.2中每個聚類的稀疏字典。

對每一個聚類中的像素點使用如公式(3)所示的優化方程進行稀疏字典學習。

其中：tk是第k個聚類中像素點反射率的向量表示，dk是所求稀疏字典，bk是稀疏編碼且滿足bk≥0,dk≥0，||·||f表示矩陣的弗羅賓尼斯(frobenius)範數，||·||1表示矩陣的1範數。

字典學習方法優選：k-svd算法(詳見aharonm,eladm,brucksteina.k-svd:analgorithmfordesigningovercompletedictionariesforsparserepresentation[j].ieeetransactionsonsignalprocessing,2006,54(11):4311-4322.)，最佳方向(mod)法，在線字典學習(odl)法，主成分分析(pca)法，頂點成分分析(vca)法。

步驟1.4：對步驟1.3中的稀疏字典使用顏色空間映射得到對應rgb字典。

將步驟1.3中獲得的每個聚類的反射率字典，通過如公式(4)所示的映射函數映射到rgb空間：

hk＝cdk

其中hk是第k個聚類的rgb字典。

步驟二：使用階段利用步驟一中得到的聚類和稀疏字典、rgb字典，重建像素的超光譜反射率。

步驟2.1：對彩色相機採集到的rgb圖像進行白平衡處理。

所述的白平衡處理方法優選：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色陰影(shadesofgrey)法，灰色邊緣(grey-edge)法。白平衡方法的原理詳見(vandeweijerj,geverst,gijsenija.edge-basedcolorconstancy[j].ieeetransactionsonimageprocessing,2007,16(9):2207-2214.)

步驟2.2：對白平衡後的rgb圖像使用如公式(2)所示方法得到每個像素點對應色度。

步驟2.3：根據步驟2.2得到的色度計算每個像素點所屬聚類。

計算圖像中每個像素的色度與訓練得到的每個聚類中心色度的距離，尋找距離最小的聚類作為該像素所屬聚類。

距離定義優選：歐式距離，曼哈頓距離，切比雪夫距離，閔可夫斯基距離，標準化歐氏距離，馬氏距離，夾角餘弦，海明距離，傑卡德距離，相關係數，信息熵。

步驟2.4：根據步驟2.3得到的聚類以及每個聚類的rgb字典求解稀疏編碼。

對於步驟2.3中每個聚類中的像素點，使用rgb字典進行有約束稀疏編碼，稀疏編碼通過公式(5)中的優化方程進行求解：

其中，ak表示第k個聚類中像素的稀疏編碼且滿足ak>0，代表第k個聚類中超光譜反射率的均值，uk中每一列對應yk中每個像素的非局部特徵。該非局部特徵計算方法如公式(6)所示：

其中，dkαm,n表示空間坐標m在集合ωm中的一個相似像素點，集合ωm表示m的空間鄰域，wm,n表示權重，wm,n的計算方法如公式(7)所示：

其中，w表示標準化因子，h是一個預定義的標量，表示中心為m的rgb圖像塊。

公式(5)的優化方程求解方法優選：正交匹配追蹤(omp)算法，最小角回歸(lars)算法，迭代軟閾值(ista)算法，交替方向乘子(admm)算法(詳見daubechiesi,defrisem,demolc.aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[j].communicationsonpureandappliedmathematics,2004,57(11):1413-1457.)。

步驟2.5：根據步驟2.4中的稀疏編碼和步驟一中得到的稀疏字典，利用公式(7)重建光譜反射率。

sk＝dkak

以上所述的具體描述，對發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，並不用於限定本發明的保護範圍，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。