增加動態範圍的數字影像裝置及其操作方法與流程

2023-06-12 14:44:11

本發明涉及一種影像裝置，具體地，涉及一種增加動態範圍的數字影像裝置及其操作方法。
背景技術：
：：影像傳感器通常包含感測陣列，用於感測光能量並輸出模擬信號，例如電流信號、電壓信號或電荷量等。所述模擬信號經過模擬前處理及數字後處理後，用作為幀數據。光電元件，如光二極體(photodiode)，在非絕對零度下輸出的光電流通常包含暗電流(darkcurrent)，其會影響光電元件實際所感測的光能量的信號。因此，公知的利用所謂的黑階校正(blacklevelcalibration,BLC)來消除暗電流的信號。黑階校正一般可通過在所述感測陣列設置黑像素(blackpixel)來產生暗電流以作為校正值。顧名思義，黑像素是經遮蔽而使其無法接收外界光，通常在正常像素上覆蓋不透光的遮蔽層可形成黑像素。參考圖1所示，其為公知的影像傳感器9的示意圖，其包含感測陣列91、相關雙採樣電路(CDS)93、放大器95、模擬數字轉換器(ADC)97、黑階平均電路98以及減法器99。所述感測陣列91包含多個黑像素91b及多個正常像素91n。所述相關雙採樣電路93用於依序暫存所述感測陣列91的每列像素輸出的模擬像素數據。所述放大器95用於放大所述模擬像素數據並將所述放大後的模擬像素數據傳送至所述模擬數字轉換器97(例如11位ADC)進行數位化，如圖2所示；其中，正常像素91n的數字像素數據大致介於1024～2047的數字範圍內，而黑像素91b的數字像素數據大致位於1023的數字範圍附近。所述黑階平 均電路98計算所述多個黑像素91b的數字像素數據的平均值以作為黑階校正量(BLC)。所述減法器99將正常像素91n的數字像素數據減去所述黑階校正量BLC以使正常像素91n的數字像素數據介於0～1023的有效動態範圍(validdynamicrange)內。然而，所述多個正常像素91n輸出的模擬像素數據會受到像素本身、所述相關雙採樣電路93以及所述放大器95的影響而產生偏移量(offset)，如圖3所示。所述偏移量導致輸入至所述模擬數字轉換器97的模擬像素數據超出其動態範圍(如虛線所圈起的部分)，而造成黑階校正程序後降低所述有效動態範圍。技術實現要素：有鑑於此，本發明說明提出一種優化有效動態範圍的數字影像裝置及其操作方法。本發明提出一種數字影像裝置及其操作方法，其在模擬階段即調整模擬像素數據以配合模擬數字轉換器的動態範圍，以有效利用所述模擬數字轉換器的動態範圍以增加信號解析度、改善信號品質。本發明提供一種數字影像裝置，包含感測陣列、採樣保持電路、放大器、減法器、模擬數字轉換器以及數字後端。所述感測陣列包含多個黑像素及多個正常像素，其中所述多個黑像素用於輸出黑像素數據而所述多個正常像素用於輸出正常像素數據。所述採樣保持電路用於暫時保持所述黑像素數據及所述正常像素數據。所述放大器以增益值放大所述黑像素數據及所述正常像素數據。所述減法器將放大後的黑像素數據及放大後的正常像素數據減去校正量。所述模擬數字轉換器接收放大並校正後的像素數據以輸出數字黑像素數據及數字正常像素數據。所述數字後端用於根據所述數字黑像素數據計算數據偏移量，決定動態調整量，根據所述增益值、所述數據偏移量及所述動 態調整量計算所述校正量，以及根據所述動態調整量調整所述增益值。本發明還提供一種數字影像裝置的操作方法。所述數字影像裝置包含感測陣列、模擬前端及數字後端，其中所述感測陣列用於輸出黑像素數據及正常像素數據、所述模擬前端用於放大並校正所述黑像素數據及所述正常像素數據、所述數字後端用於處理數字像素數據。所述操作方法包含：以增益值放大所述黑像素數據及所述正常像素數據；以校正量校正放大後的黑像素數據及放大後的正常像素數據的數據範圍；數位化放大並校正後的黑像素數據及放大並校正後的正常像素數據；根據數字黑像素數據計算數據偏移量；決定動態調整量；根據所述增益值、所述數據偏移量及所述動態調整量計算所述校正量；以及根據所述動態調整量調整所述增益值。本發明還提供一種數字影像裝置，包含感測陣列、模擬前端以及數字後端。所述感測陣列包含多個黑像素及多個正常像素，其中所述多個黑像素用於輸出黑像素數據而所述多個正常像素用於輸出正常像素數據。所述模擬前端以增益值放大所述黑像素數據及所述正常像素數據並以校正量校正放大後的黑像素數據及放大後的正常像素數據的數據範圍。所述數字後端用於數位化放大並校正後的黑像素數據，根據數字黑像素數據計算數據偏移量，決定動態調整量，根據所述增益值、所述數據偏移量及所述動態調整量計算最大校正量及最小校正量，計算所述最大校正量與所述最小校正量的平均值以作為所述校正量，以及根據所述動態調整量調整所述增益值。為了讓本發明的上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，詳細說明如下。此外，在本發明的說明中，相同的構件是以相同的符號表示，於此先述明。附圖說明圖1為公知的影像傳感器的示意圖。圖2為圖1的影像傳感器的黑階校正的示意圖。圖3為圖1的影像傳感器的黑階校正的另一示意圖。圖4為本發明說明的一實施例的數字影像傳感器的示意圖。圖5為本發明說明實施例的數字影像傳感器的操作示意圖。圖6為本發明說明實施例的數字影像傳感器的操作方法的流程圖。附圖標記100數字影像裝置11、91感測陣列11b、91n黑像素11n、91b正常像素12r列掃描控制器12c行讀取控制器13採樣保持電路14時序控制器15、95放大器16、99減法器17、97模擬數字轉換器18數字後端19存儲單元9影像傳感器93相關雙採樣電路98黑階平均電路Dn數字正常像素數據Sn正常像素數據Sna放大後的正常像素數據Db數字黑像素數據Sb黑像素數據Sba放大後的黑像素數據M動態調整量G增益值Δ數據偏移量DAC校正量DACmax最大校正量DACmin最小校正量具體實施方式參考圖4所示，其為本發明說明的一實施例的數字影像裝置的示意圖。數字影像裝置100包含感測陣列11、模擬前端以及數字後端18；其中，所 述模擬前端連接在所述感測陣列11的輸出端(例如多個輸出電極)而所述數字後端18耦接所述模擬前端。所述感測陣列100包含多個黑像素11b及多個正常像素11n；其中，所述多個黑像素11b用於輸出黑像素數據Sb而所述多個正常像素11n用於輸出正常像素數據Sn。所述模擬前端用於放大並校正所述黑像素數據Sb及所述正常像素數據Sn，以使所述正常像素數據Sn的數據範圍儘量符合數位化的動態範圍(舉例詳述於後)。所述數字後端18則用於處理數字像素數據。所述感測陣列100包含陣列排列(例如圖4顯示為8×8的像素陣列)的多個像素；其中，多個黑像素11b以填滿斜線的區域表示而多個正常像素11n以空白的區域表示。必須說明的是，所述多個黑像素11b的配置並不限於圖4所示。所述多個黑像素11b及所述多個正常像素11n的像素結構相同，例如均包含光二極體及多個電晶體，其之間差別在於所述多個黑像素11b上還形成有遮光層(例如金屬層或非金屬層)以阻擋所述多個黑像素11b接收外界光；其中，在正常像素上形成遮光層的方式已為公知且其並非為本發明說明的目的，故於此不再贅述。藉此，所述多個黑像素11b輸出的黑像素數據Sb僅與暗電流(darkcurrent)相關，其中所述暗電流例如與環境溫度相關；所述多個正常像素11n輸出的正常像素數據Sn則同時與暗電流及照射像素的外界光引起的光電流相關，其中所述光電流例如與環境光的光強度呈正相關。所述黑像素數據Sb在本發明說明中可用於求出像素本身以及所述模擬前端所造成的數據偏移量(offset)，詳述於後。所述感測陣列100的像素數據的掃描及讀取是由列掃描控制器12r及行讀取控制器12c所執行，並由時序控制器(timingcontroller)14控制像素數據的掃描及讀取的時序；其中，時序控制器控制列掃描控制器及行讀取控制器以進行像素數據的掃描及讀取的方式已為公知且其並非本發明說明的目的，故於此不再贅述。本發明說明中，所述模擬前端以增益值G放大所述黑像素數據Sb及所述正常像素數據Sn，並以校正量DAC校正放大後的黑像素數據Sba及放大後的正常像素數據Sna的數據範圍，以儘量符合數位化的動態範圍；其中，所述校正量DAC及所述增益值G可由所述數字後端18所控制或提供。在某些實施例中，所述模擬前端包含採樣保持電路13、放大器15、增益控制151及減法器16。必須說明的是，雖然圖4顯示模擬數字轉換器(ADC)17包含於所述模擬前端，但本發明並不以此為限。其他實施例中，所述模擬數字轉換器17也可包含在所述數字後端18中，只要其用於接收放大並校正後的像素數據以輸出數字黑像素數據Db及數字正常像素數據Dn即可，並無特定限制。換句話說，所述模擬數字轉換器17的顯示位置僅用於說明，其可包含在模擬前端、數字後端或獨立於兩者之外。此外，所述模擬前端還包含其他元件，例如濾波電路，因其與本發明說明不直接相關，故於此不再贅述。所述採樣保持電路13例如為相關雙採樣(correlateddoublesampling,CDS)電路，用於暫時保持從所述感測陣列11所採樣的所述黑像素數據Sb及所述正常像素數據Sn，並受到所述時序控制器14的控制操作。例如，所述採樣保持電路13每次暫存一列黑像素11b或一列正常像素11n的像素數據，以在一幀期間依序採樣並保持所述感測陣列11的所有像素的像素數據。所述放大器15例如可為積分可編程增益放大電路(IPGA)並連接所述採樣保持電路13以接收其所保存的像素數據。所述放大器15受控於所述增益控制151，以增益值G(或調整後的增益值NG)放大所述黑像素數據Sb及所述正常像素數據Sn以產生放大後的黑像素數據Sba及放大後的正常像素數據Sna。本發明說明中，所述放大器15可包含單級(singlestage)放大單元或包含串聯的多級(multistage)放大單元，並無特定限制。所述減法器16用於將所述放大後的黑像素數據Sba及所述放大後的正 常像素數據Sna減去所述校正量DAC，以使像素數據範圍能夠配合所述模擬數字轉換器17的動態範圍。根據所述數字後端18所提供的所述校正量DAC，所述減法器16亦可以加法器實現。此外，當所述放大器15包含單級放大單元時，所述減法器16(或加法器)連接於所述單極放大器的輸出端。當所述放大器15包含多級放大單元時，所述減法器16(或加法器)連接於所述多個放大單元之間或所述多個放大單元的最終級放大單元的輸出端，並無特定限制。此外，當所述放大器15包含多級放大單元時，所述模擬前端可包含多個減法器或加法器用於將多個校正量DAC分別與放大後的黑像素數據Sba及放大後的正常像素數據Sna進行差分。所述數字後端18用於數位化放大並校正後的黑像素數據及數位化放大並校正後的正常像素數據，根據數字黑像素數據Db計算數據偏移量Δ，決定動態調整量M，根據所述增益值G、所述數據偏移量Δ及所述動態調整量M計算所述校正量DAC，以及根據所述動態調整量M調整所述增益值G。以下接著說明所述數字後端18操作的一種實施方式。如前所述，當所述模擬數字轉換器17位於所述模擬前端時，所述數位化放大並校正後的黑像素數據及數位化放大並校正後的正常像素數據的步驟是在所述模擬前端中執行。參考圖4～5，圖5為本發明說明實施例的數字影像感測器的操作示意圖，其中以初始階段、調整階段及校正階段來說明優化數據範圍的操作。此外，圖5是以11位動態範圍來說明，但並不以此為限，所述模擬數字轉換器17的採樣位數是根據實際裝置而定。所述初始階段表示所述模擬數字轉換器17轉換的數字正常像素數據Dn的數據範圍(例如Vref＝1mV)大致為正值，而數字黑像素數據Db的數據範圍(例如Vref＝1mV)大致位於數字數值1023附近，但並不以此為限；其中，所述模擬數字轉換器17輸出的數字數值均為正值(如圖示0～2047)，此處定義 數字數值1024～2047表示正值，而數字數值0～1023表示負值。如圖5所示，在初始階段中，數字正常像素數據Dn的數據範圍僅大致為所述模擬數字轉換器17的採樣動態範圍的一半，本發明用於使放大並校正後的正常像素數據的數據範圍儘量符合所述模擬數字轉換器17的數位化範圍(例如數字數值0～2047)。例如，在第一幀中，所述數字後端18通過所述增益控制151控制所述放大器15以增益值G放大正常像素數據Sn及黑像素數據Sb。為增加有效動態範圍，所述數字後端18利用所述調整階段及所述校正階段計算動態調整量M及校正量DAC，以在第二幀(例如所述第一幀之後的幀)根據所述校正量DAC校正放大後正常像素數據Sna；其中，所述第二幀中的增益值也根據所述動態調整量M被調整，以增加有效動態範圍。由於所述增益控制151是由所述數字後端18所控制，故所述數字後端18已知所述增益值G。所述數字後端18計算所述數字黑像素數據Db的平均值與參考值(例如為數字數值1023，但不以此為限)的差值除以所述增益值G以作為所述數據偏移量Δ，其中所述數據偏移量Δ例如為像素及所述採樣保持電路13所造成的偏移量，如圖3所示，其為縮小有效動態範圍的原因。所述參考值可選定為所述多個黑像素11b輸出的理想值，即不存在所述數據偏移量Δ的數值。所述數據偏移量Δ經過所述放大器15的放大而成為GΔ，如調整階段所示的+GΔ及-GΔ。所述數字後端18以所述動態調整量M放大數字正常像素數據Dn而形成MDn。若不存在所述數據偏移量Δ，所述動態調整量M選擇為2時則可完全利用所述模擬數字轉換器17的動態範圍。然而由於存在所述數據偏移量Δ，所述動態調整量M例如介於1.5～1.9，視所述數字後端18所求出的所述數據偏移量Δ而定。例如，受所述數據偏移量Δ的影響，調整後的數字正常像素數據MDn會向上或向下偏移GΔ，如調整階段所示的MDn+GΔ及 MDn-GΔ。在一實施例中，所述數字後端18可根據查找表決定所述動態調整量M。例如，所述數字後端18的內部或外部具有存儲單元19，例如動態隨機存儲器(RAM)或只讀存儲器(ROM)等，用於存儲查找表(lookuptable,LUT)。所述查找表預存有多個數據偏移量Δ及多個增益值G與多個動態調整量M的對應關係。藉此，所述數字後端18可將當前增益值及當前數據偏移量(例如根據所述第一幀所求得)與所述查找表比對以決定所述動態調整量M。在另一實施例中，為最優化所述動態調整量M，所述數字後端18可進而根據迭代演算法(iterationalgorithm)決定所述動態調整量M。例如，所述數字後端18可根據所述增益值G、所述數據偏移量Δ及所述動態調整量M計算最大校正量DACmax及最小校正量DACmin；當所述最大校正量DACmax大於所述最小校正量DACmin時，增加所述動態調整量M並重新計算新的最大校正量及新的最小校正量，並比較所述新的最大校正量及所述新的最小校正量。如此持續增加所述動態調整量M直到所述新的最大校正量小於或等於所述新的最小校正量，則選擇對應所述新的最大校正量仍大於所述新的最小校正量的最大動態調整量M以作為最佳動態調整量。在一實施例中，假設所述模擬數字轉換器27的數位化具有動態範圍(例如圖5中11位數值範圍，0～2047)。所述最大校正量DACmax可為二分之一所述動態範圍減去所述增益值G與所述數據偏移量Δ的乘積，即DACmax＝1024-(G×Δ)；其中，所述最大校正量DACmax為使偏移的數字正常像素數據MDn-GΔ不超出所述動態範圍的最低值(如校正階段所示)。所述最小校正量DACmin可為二分之一所述動態範圍與所述動態調整量M的乘積加上所述增益值G與所述數據偏移量Δ的乘積後再減去二分之一所述動態範圍，即DACmin＝(1024×M)+(G×Δ)-1024；其中，所述最小校正量DACmin為使偏移的數字正常像素數據MDn+GΔ不超出所述動態範圍的最高值(如校 正階段所示)。所述數字後端18根據所述增益值G、所述數據偏移量Δ及所述動態調整量M計算最大校正量DACmax及最小校正量DACmin後(如校正階段所示)，還計算所述最大校正量DACmax及所述最小校正量DACmin的平均值以作為所述校正量DAC。利用此平均值作為所述校正量DAC可使放大並校正後的正常像素數據不會超出所述模擬數字轉換器17的動態範圍。接著，所述數字後端18將所述校正量DAC轉換為模擬直流值(例如通過數字模擬轉換器)後提供至所述模擬前端的減法器16。同時，所述數字後端18以倍數N乘上調整前增益值G以調整所述增益值為NG，所述倍數N可為所述動態調整量M除以調整前增益值G所得的商(quotient)。藉此，由於所述倍數N及所述動態調整量M是由當前數據偏移量Δ及當前增益值G所求得，可使得MDn大於Dn並介於動態範圍內，而增加有效動態範圍及影像品質。必須說明的是，圖5的三個階段均在所述數字後端18內，例如數字處理器(DSP)，根據數字黑像素數據Db以及數字正常像素數據Dn以演算法通過軟體、硬體和/或固件所運算而得。參考圖6所示，其為本發明說明實施例的數字影像感測器的操作方法的流程圖，包含下列步驟：以增益值放大所述黑像素數據及所述正常像素數據(步驟S61)；以校正量校正放大後的黑像素數據及放大後的正常像素數據的數據範圍(步驟S62)；數位化放大並校正後的黑像素數據及放大並校正後的正常像素數據(步驟S63)；根據數字黑像素數據計算數據偏移量(步驟S64)；決定動態調整量(步驟S65)；根據所述增益值、所述數據偏移量及所述動態調整量計算所述校正量(步驟S66)；以及根據所述動態調整量調整所述增益值(步驟S67)。參考圖4～5，接著說明本操作方法的實施方式。步驟S61：例如在第一幀(例如所述數字影像裝置100開始操作時或結束休眠時所獲取的影像幀)中，所述感測陣列11輸出多個黑像素數據Sb及多個正常像素數據Sn。所述數字後端18通過所述增益控制151控制所述放大器15以增益值G放大所述黑像素數據Sb及所述正常像素數據Sn，以產生放大後黑像素數據Sba及放大後正常像素數據Sna。步驟S62：所述數字後端18將校正量DAC輸出至所述減法器16，以校正放大後的黑像素數據Sba及放大後的正常像素數據Sna的數據範圍；其中，所述校正量DAC例如為直流模擬值。此外，相對所述第一幀，所述校正量DAC的初始值例如為0，但並不以此為限；而相對所述第一幀之後的數據幀，所述校正量DAC則根據所述數字後端18的計算結果決定。步驟S63：所述模擬數字轉換器17數位化放大並校正後的黑像素數據及放大並校正後的正常像素數據以分別產生數字黑像素數據Db及數字正常像素數據Dn；其中，所述放大是由所述放大器15所執行而所述校正是由所述減法器17所執行。步驟S64：所述數字後端18根據數字黑像素數據Db計算數據偏移量Δ。如上文所述，所述數字後端18例如計算所述數字黑像素數據Db的平均值與參考值(例如圖5顯示為1023，但不以此為限)的差值以作為所述數據偏移量ΔG，其代表光電流以外的因素所造成的數據偏移。步驟S65：所述數字後端18並決定動態調整量M，如圖5所示。在一實施例中，所述數字後端18將當前增益值G及當前數據偏移量Δ(例如根據所述第一幀所求得)與查找表比對以決定所述動態調整量M；其中，所述查找表在所述儲存單元19中預存有多個數據偏移量及多個增益值與多個動態調整量的對應關係。在另一實施例中，所述數字後端18根據迭代演算法決定所述動態調整量M；例如，所述數字後端18根據當前增益值、當前數據偏移量及當前動態調整量計算最大校正量DACmax及最小校正量DACmin (如圖5所示)。當所述最大校正量DACmax大於所述最小校正量DACmin時，增加所述動態調整量M並重新計算新的最大校正量及新的最小校正量，並持續增加所述動態調整量M直到所述新的最大校正量小於或等於所述新的最小校正量；其中，所述當前動態調整量例如根據所述當前增益值及所述當前數據偏移量所決定(例如根據查找表決定)。當所述新的最大校正量小於或等於所述新的最小校正量時，則以使所述新的最大校正量仍大於所述新的最小校正量的最大動態調整量作為最佳動態調整量。步驟S66：所述數字後端18根據所述增益值G、所述數據偏移量Δ及所述動態調整量M計算所述校正量DAC。如上文所述，所述數字後端18根據所述增益值G、所述數據偏移量Δ及所述動態調整量M(或最佳動態調整量)計算最大校正量DACmax及最小校正量DACmin(如圖5所示)，並計算所述最大校正量DACmax及所述最小校正量DACmin的平均值以作為所述校正量DAC，以使得放大並校正後的正常像素數據不會超出所述模擬數字轉換器17的動態範圍。步驟S67：最後，所述數字後端18則將所述動態調整量M傳送至所述減法器16並根據所述動態調整量M調整所述增益值G。例如，所述數字後端18控制所述增益控制151以倍數N乘上所述增益值G以形成新增益值NG；其中，所述倍數N為所述動態調整量M除以所述增益值G所得的商。接著，所述感測陣列11輸出第二幀，所述模擬前端則以所述動態調整量M及所述新增益值NG來處理黑像素數據Sb及正常像素數據Sn，以有效利用所述模擬數字轉換器17的動態範圍。所述數字影像裝置100可每經過預設時間和/或僅在每次開機或結束休眠時執行圖6的操作方式，可無須在每個數據幀執行。必須說明的是，所述數字後端18所執行的步驟S64～S66的順序並不限於圖6所示，視數字後端18中的電路設計或演算程序而定，可同時計算或 依序計算，並無特定限制。綜上所述，公知的影像裝置受到信號偏移量的影響，而具有較小的有效動態範圍。因此，本發明說明提出一種數字影像裝置(圖4)及其操作方法(圖6)，其通過在模擬階段優化數據範圍以儘可能匹配模擬數字轉換器的動態範圍，藉以增加信號解析度及影像品質。雖然本發明已通過上述實例公開，但是其並非用於限定本發明，任何本發明所屬
技術領域：
：的技術人員，在不脫離本發明的精神和範圍內，當可作各種的更動與修改。因此本發明的保護範圍當視所附權利要求書的範圍所限定者為準。當前第1頁1&nbsp2&nbsp3&nbsp當前第1頁1&nbsp2&nbsp3&nbsp