具有合併的OCT和表皮發光皮膚鏡的用於皮膚病學的診斷設備的製作方法

2023-08-05 02:51:31

技術領域

本發明的實施例涉及使用成像設備以生成樣本的增強的表面和深度圖像的設計和方法，該成像設備收集樣本的表皮發光和光學相干斷層攝影數據並使該表皮發光和光學相干斷層攝影數據相關。

背景技術：

皮膚鏡多年來被醫療專業人員用於產生人體上皮細胞的圖像以用於癌症檢測以及其它惡性皮膚病。皮膚鏡的最常見使用之一是用於皮膚癌、黑色素瘤、非黑色素瘤皮膚癌(NMSC)(包括基底細胞癌(BCC)和鱗狀細胞癌(SCC))以及其它皮膚病(包括光化性角化病(AK)和牛皮癬)的早期檢測和診斷。在皮膚的表面使用光以增強表面的可視化被稱為表皮發光顯微術(ELM)。

皮膚鏡傳統地包括放大鏡(典型地x10)、非偏振光源、透明板以及儀器與皮膚之間的液體介質，從而允許不受皮膚表面反射阻礙地對皮膚病變進行檢查。一些更現代的皮膚鏡無需使用液體介質並且作為替代使用偏振光以抵消皮膚表面反射。

ELM自身提供皮膚的表面成像，並且甚至可以在使用多個ELM源時提供皮膚表面的三維模型。然而，ELM數據不為醫學專業人員提供皮膚表面下方的任何圖像或者信息。這種數據將對癌症檢測和診斷以及定位皮膚表面下的腫瘤或者其它異常有用。僅僅基於ELM數據的病變檢查通常不能提供充分的鑑別診斷並且醫學專業人員需要藉助於切除活檢。

光學相干斷層攝影(OCT)是藉助於寬帶光源(或者掃頻窄帶源)和幹涉檢測系統提供具有高軸向解析度的深度分辨信息的醫學成像技術。已經發現許多應用，從眼科學和心臟病學到婦科學和生物組織的體外高解析度實驗。儘管OCT可以提供深度分辨成像，但是它典型地需要龐大的器械。

技術實現要素：

提供成像系統和方法以供使用。成像系統收集使用ELM和OCT技術兩者從相同設備得到的數據並使該數據相關。

在實施例中，成像系統包括第一光學路徑、第二光學路徑、多個光學元件、檢測器和處理器。第一光學路徑引導與表皮發光相關聯的第一輻射射束，而第二光學路徑引導與光學相干斷層攝影相關聯的第二輻射射束。多個光學元件將第一輻射射束和第二輻射射束髮射到樣本上。檢測器生成與已經從樣本反射或者散射的並且在檢測器處接收到的第一輻射射束和第二輻射射束相關聯的光學數據。與第一輻射射束和第二輻射射束相關聯的光學數據與樣本的大致非共面區域相對應。處理器使與第一輻射射束相關聯的光學數據和與第二輻射射束相關聯的光學數據相關，並基於相關的光學數據生成樣本的圖像。

在另一個實施例中，手持式成像設備包括第一光學路徑、第二光學路徑、多個光學元件、檢測器和發送器。第一光學路徑引導與表皮發光相關聯的第一輻射射束，而第二光學路徑引導與光學相干斷層攝影相關聯的第二輻射射束。多個光學元件將第一輻射射束和第二輻射射束髮射到樣本上。檢測器生成與已經從樣本反射或者散射的並且在檢測器處接收到的第一輻射射束和第二輻射射束相關聯的光學數據。與第一輻射射束和第二輻射射束相關聯的光學數據與樣本的大致非共面區域相對應。發送器被設計為向計算設備發送光學數據。

還描述了示例方法。在實施例中，接收與樣本的表皮發光成像相關聯的第一光學數據。還接收與樣本的光學相干斷層攝影成像相關聯的第二光學數據，其中第一光學數據和第二光學數據與樣本的大致非共面區域相對應。處理設備使第一光學數據的一個或者多個幀與第二光學數據的一個或者多個幀相關以生成相關數據。處理設備還基於相關數據生成樣本的圖像。

在實施例中，非暫時性計算機可讀存儲介質包括指令，當由處理設備執行時該指令時使得處理設備執行上面公開的方法。

下面參照附圖對本發明另外的特徵和優點以及本發明各種實施例的結構和操作進行詳細描述。注意，本發明不限於本文描述的具體實施例。本文僅出於例示性目的提供這種實施例。基於本文包括的教導，另外的實施例將對相關領域的技術人員是清楚的。

附圖說明

被併入本文並形成說明書的一部分的附圖圖示了本發明的實施例，並連同說明書一起進一步地用來解釋本發明的原理以及使相關領域的技術人員能夠實現並使用本發明。

圖1圖示了根據實施例的成像系統。

圖2圖示了根據實施例的關於樣本的表面的兩個成像平面。

圖3A-D圖示了圖像平移和旋轉的效果。

圖4A-B圖示了平面外圖像旋轉的效果。

圖5A-B圖示了圖像平移的效果。

圖6圖示了示例方法。

圖7圖示了另一個示例方法。

圖8圖示了對實現各種實施例有用的示例計算機系統。

將參考附圖描述本發明的實施例。

具體實施方式

儘管對具體配置和布置進行討論，但是應當理解這僅僅是出於例示性目的。相關領域技術人員將認識到可以在不背離本發明的精神和範圍的情況下使用其它配置和布置。將對相關領域技術人員清楚的是，還可以在各種其它應用中採用本發明。

注意，儘管說明書中對「一個實施例」、「實施例」、「示例實施例」等等的提及指示所描述的實施例可以包括特定特徵、結構或者特性，但是每個實施例不一定都包括該特定特徵、結構或者特性。另外，這種表述並不一定指的是相同的實施例。此外，當結合實施例描述特定特徵、結構或者特性時，無論是否被明確描述，結合其它實施例來實現這種特徵、結構或者特性將在本領域技術人員的知識範圍內。

本文的實施例涉及可以用於人體上皮細胞研究的成像設備以及組合從ELM圖像和OCT圖像兩者接收的數據以生成所研究的樣本的增強三維圖像的成像設備。在實施例中，兩個圖像模態的成像平面是非共面的，以允許以三維方式捕獲和組織數據。成像設備可以包括提供兩個分離的光路(一個用於ELM光，另一個用於OCT光)所需要的所有光學元件。在實施例中，每個光路可以共享一個或者多個光學元件。應當理解，術語「光」應當在上下文中被廣泛地解釋，並且可以包括電磁光譜的任何波長。在一個示例中，ELM光包括大約400nm與大約700nm之間的可見波長，而OCT光包括大約700nm與1500nm之間的近紅外波長。其它紅外範圍也可以用於OCT光。另外，可以將ELM光或者OCT光概念化為輻射射束或者輻射射束。可以由任何類型的光源中的一個或者多個生成輻射射束。

可以使從ELM光和OCT光兩者收集的收集數據時間上和/或空間上相關以增強產生的圖像。例如，成像設備與樣本之間的相對移動可能在ELM圖像上引起線性變換(包括平移和/或旋轉)，該線性變換可以被檢測並用於映射OCT圖像的關聯位置以用於精確重建三維模型。另外，成像設備與樣本之間的相對移動還可能引起ELM數據上的平面外旋轉，該平面外旋轉可以被計算並用於利用角分集的增大以便改進OCT數據中的樣本分析。本文描述了關於ELM與OCT圖像之間的相關性的另外的細節。

圖1圖示了根據實施例的成像系統。成像系統包括成像設備102、計算設備130和顯示器132。在該示例中，成像設備102從樣本126收集數據。可以通過接口128使成像設備102和計算設備130通信地耦合。例如，接口128可以是物理電纜連接、RF信號、紅外或者藍牙信號。成像設備102可以包括一個或者多個電路和分立元件，設計為通過接口128發送和/或接收數據信號。

成像設備102的大小和形狀可以適當地設定為在從樣本126收集圖像數據時舒適地握在手中。在一個示例中，成像設備102是皮膚鏡。成像設備102包括保護和封裝成像設備102內的各種光學元件和電氣元件的殼體104。在一個實施例中，殼體104包括針對用戶的手的人體工學設計。成像設備102還包括ELM光和OCT光兩者可以穿過的光學窗口106。與基本上不允許ELM光或者OCT光穿過的殼體104的材料不同，光學窗口106可以包括允許ELM光和OCT光的相當大一部分穿過的材料。儘管光學窗口106可以設置在成像設備102的遠端處，但是其位置不被認為是限制性的。

在實施例中，光學窗口106可以包括位於成像設備102的不同區域處的多於一個部分。光學窗口106的每個部分可以包括允許一定波長範圍的光的相當大一部分穿過的材料。例如，光學窗口106的一個部分可以被定製用於OCT光，而光學窗口106的另一個部分可以被定製用於ELM光。

各種輻射信號被圖示為離開或者進入光學窗口106。所發射的輻射122可以包括ELM光和OCT光。類似地，所接收的輻射124可以包括已經由樣本126進行了散射和反射中的至少一個的ELM光和OCT光兩者。也可以包括其它成像模態，包括例如螢光成像或者超光譜成像。

根據實施例，成像設備102包括多個光學元件108。光學元件108可以包括由本領域技術人員理解的要與光的發射和接收一起使用的一個或者多個元件，諸如，例如，透鏡、鏡、分色鏡、光柵和波導管。波導管可以包括單模或者多模光纖。另外，波導管可以包括基板上圖案化的條形波導管或者脊形波導管。ELM光和OCT光可以共享相同的光學元件，或者在另一個示例中，不同的光學元件用於每個成像模態並且具有被定製用於關聯成像模態的屬性。

根據實施例，成像設備102包括用於引導ELM光穿過成像設備102的ELM路徑110和用於引導OCT光穿過成像設備102的OCT路徑112。ELM路徑110可以包括與ELM光相關聯的光的收集和引導所需的任何特定光學元件或者電光學元件。類似地，OCT路徑112可以包括與OCT光相關聯的光的收集和引導所需的任何特定光學元件或者電光學元件。在2012年5月18日提交的PCT申請No.PCT/EP2012/059308中公開了實現為系統上晶片的OCT系統的示例，該申請的公開內容整體地通過引用合併於此。在一些實施例中，在OCT路徑112的至少一部分中實現的OCT系統是偏振敏感的OCT(PS-OCT)系統或者都卜勒OCT系統。PS-OCT可以對研究皮膚灼傷有用，而都卜勒OCT可以提供關於皮膚腫瘤中的血管生成的進一步的數據。ELM路徑110可以耦合至成像設備102內提供的ELM源114。類似地，OCT路徑112可以耦合至OCT源116。ELM源114或者OCT源116可以包括雷射二極體或者一個或者多個LED。ELM源114和OCT源116可以是任何類型的寬帶光源。在一個實施例中，ELM源114和OCT源116中的任一個或者兩者被物理地設置在成像設備102外部，並且使它們的光通過例如一個或者多個光纖發射到成像設備102。

在一個實施例中，ELM路徑110和OCT路徑112共享成像設備102內的相同的物理路徑的至少一部分。例如，相同的波導管(或者波導束)用於引導ELM光和OCT光兩者。類似地，相同的波導管可以用於通過光學窗口106發射和接收OCT光和ELM光。其它實施例包括在成像設備102內使分離的波導管引導ELM光和OCT光。分離的波導管還可以用於通過光學窗口106發射和接收光。ELM路徑110和OCT路徑112中的每一個可以包括自由空間光學元件以及集成光學元件。

ELM路徑110和OCT路徑112可以包括各種無源或者有源調製元件。例如，任一光學路徑可以包括相位調製器、頻移器、偏振器、消偏振器和群延遲元件。可以包括設計為補償雙折射和/或色散效應的元件。沿任一路徑的光可以漸逝地耦合到一個或者多個其它波導管中。可以包括電光元件、熱光元件或者聲光元件以有源地調製沿ELM路徑110或者OCT路徑112的光。

根據實施例，在成像設備102內包括檢測器118。檢測器118可以包括定製用於檢測特定波長範圍的多於一個檢測器。例如，一個檢測器可以對ELM光更敏感，而另一個檢測器對OCT光更敏感。檢測器118可以包括CCD照相機、光電二極體和CMOS傳感器中的一個或者多個。在實施例中，檢測器118、ELM路徑110和OCT路徑112中的每一個被單片地集成到相同的半導體基板上。在另一個實施例中，半導體基板還包括ELM源114和OCT源116兩者。在另一個實施例中，在相同的半導體基板上包括檢測器118、ELM路徑110和OCT路徑112、ELM源114和OCT源116中的任何一個或者多個。檢測器118被設計為接收ELM光和OCT光，並生成與所接收的ELM光相關的光學數據和與所接收的OCT光相關的光學數據。在實施例中，所接收的ELM光和OCT光已經從樣本126接收並提供與樣本126相關聯的圖像數據。所生成的光學數據可以是模擬或者數字電信號。

在實施例中，成像設備102包括處理電路120。處理電路120可以包括一個或者多個電路和/或處理元件，設計為接收由檢測器118生成的光學數據並對光學數據執行處理操作。例如，處理電路120可以使與ELM光相關聯的圖像和與OCT光相關聯的圖像相關。可以在圖像之間在時間上和/或空間上執行相關。處理電路還可以用於通過圖像處理技術基於相關數據生成樣本126的圖像。圖像數據可以存儲在成像設備102內包括的存儲器121上。存儲器121可以包括任何類型的非易失性存儲器，諸如閃速存儲器、EPROM或者硬碟驅動器。

在另一個實施例中，在遠離成像設備102的計算設備130上包括執行圖像處理技術的處理電路120。在該實施例中，成像設備102內的處理電路120包括設計為通過接口128在成像設備102與計算設備130之間傳輸數據的傳輸器。使用計算設備130對光學數據執行圖像處理計算以生成樣本126的圖像可以對降低成像設備102內的處理複雜度有用。具有用於生成樣本圖像的分離的計算設備可以幫助提高生成圖像的速度以及降低成像設備102的成本。

可以在顯示器132上顯示基於ELM數據和OCT數據兩者的最終生成的樣本126的圖像。在一個示例中，顯示器132是通信地耦合至計算設備130的監視器。顯示器132可以被設計為投射樣本126的三維圖像。在另外的實施例中，三維圖像是全息的。

在實施例中，成像系統102能夠從兩個不同的光學信號模態(例如，OCT和ELM)收集數據以生成樣本的增強圖像數據。通過大致同時地發射和接收與每個信號模態相關聯的光來收集數據。在圖2中圖示了其示例。

圖2圖示了根據實施例的由兩個不同的圖像模態成像的樣本200。圖像表面B基本上跨越樣本200的表面。在一個示例中，圖像表面B與拍攝的上皮表面202的ELM圖像相對應。圖像表面A與通過樣本200的深度拍攝的OCT圖像相對應，以使得OCT圖像提供關於上皮層202以及更深組織204的數據。在一個示例中，通過沿著圖像表面A軸向地掃描來收集沿著圖像表面A的OCT圖像數據。這些軸向的掃描也稱為A型掃描(a-scan)。組合沿著圖像表面A得到的A型掃描提供跨越樣本200內的圖像表面A的OCT圖像。

在實施例中，圖像表面A和圖像表面B是非共面的。在一個示例中，諸如圖2中圖示的示例，圖像表面A與圖像表面B大致正交。圖像表面A還跨越不可忽略的長度而與圖像表面B相交。其它光源可以用於生成多於所示的兩個圖像平面。當使用兩個分離的圖像(諸如，沿著圖像表面A得到的圖像與沿著圖像表面B得到的圖像)並使它們相關時，應當考慮視差效應。可以利用光學調製效應沿著成像設備102內的ELM路徑110和OCT路徑112中的任一個或者兩者來補償視差效應。在另一個示例中，可以在圖像處理期間通過利用對確切從哪裡發射和收集ELM光和OCT光的認識來補償視差效應。

根據實施例，在樣本表面上得到的ELM圖像可以與得到的OCT圖像相關。該相關的一個優點是基於在ELM圖像中觀察到的變換確定OCT圖像的軸向地掃描的部分的精確位置的能力。在實施例中，兩個圖像模態提供所有幀的定時獲取，以使得兩個幀之間的延遲在模態內是已知的。在另一個實施例中，圖像模態之間的幀對的至少限定的子集之間的獲取是大致同時的。

在實施例中，成像設備102可以被設計為允許所研究樣本與兩個成像模態的視場(FOV)之間的相對位移。然而，兩個FOV之間的相對位置不應該受成像設備102的相對移動影響。在一個示例中，可以通過大致剛性地固定成像設備102中使用的所有光學元件來獲得該性能。根據實施例，在成像設備102位移期間，產生與每個成像模態相對應的兩個圖像序列，藉此可以通過以大致同時的方式獲取的幀來形成這些圖像的至少兩個子集。從ELM圖像數據進行的時間或者空間採樣必須是充分的，以便允許後續幀之間不可忽略的重疊。

圖3A-D圖示了根據實施例的可以如何使用ELM圖像的平移和旋轉兩者來跟蹤所捕獲的OCT圖像的位置。圖3A圖示了可以例如使用ELM數據進行成像的樣本表面301上的病變302。照此，ELM圖像可以具有包括大致整個樣本表面301的FOV。在拍攝樣本表面301的ELM圖像的大致同時，跨越病變302的一部分拍攝OCT圖像304。標記306a和306b被用作引導件，以圖示被拍攝的樣本表面301的ELM圖像的進程圖中的相對移動。

根據實施例，通過使用ELM圖像估計OCT圖像的位置允許皮膚表面和皮膚表面下方區域的完整和精確的數據重建。在沒有相關的情況下，所捕獲的OCT圖像沒有參照，因此很難重建最終圖像。

圖3B圖示了對圖3A中捕獲的ELM圖像執行的FOV旋轉。例如，來自圖3A的樣本表面301的ELM圖像可以在來自圖3B的樣本表面301的ELM圖像之前的離散時間被拍攝。在實施例中，按照給定幀率連續地捕獲ELM圖像，以捕獲ELM圖像的FOV中發生的任何變化。標記306a和306b由於旋轉而偏移，並且還產生了OCT圖像304a的新的旋轉的位置。所測量的從標記306a和306b的旋轉量應當等同於原始OCT圖像304與經旋轉的OCT圖像304a之間的旋轉量。以這種方式，對所收集的ELM圖像的表面數據執行的圖像處理技術可以用於計算旋轉量。例如，移動可以被容易跟蹤的標記306a和306b可以表示ELM圖像內的區別特徵。

圖3C圖示了樣本表面301上的ELM圖像的FOV的平移。在這裡，標記306a和306b已經平移了與經平移的OCT圖像304b相同的距離。圖3D圖示了基於發生旋轉(經旋轉的OCT圖像304a)還是發生平移(經平移的OCT圖像304b)或者發生兩者的OCT圖像304的可能的移動的映射。在實施例中，對於所處理的每個ELM圖像連續地更新移動映射，以也跨越病變302連續地跟蹤收集的OCT圖像的移動。

ELM圖像還可以用於計算相對於樣本表面發生的平面外旋轉。圖4A-B圖示了使用ELM圖像數據跟蹤平面外旋轉。

圖4A圖示了可以例如使用ELM數據進行成像的樣本表面401上的病變402。照此，ELM圖像可以具有包括大致整個樣本表面401的FOV。在拍攝樣本表面401的ELM圖像的大致同時，跨越病變402的一部分拍攝OCT圖像404。標記406a和406b被用作引導件，用以圖示被拍攝的樣本表面401的進程ELM圖像中的相對移動。

圖4B圖示了樣本表面401的ELM圖像的FOV圍繞軸410的旋轉。旋轉導致圖像特徵406a和406b的位置分別地變化為圖像特徵408a和408b的位置。具體地，標記408a由於旋轉而顯得更大，而標記408b由於旋轉顯得更小(假設成像設備正在以關於圖4A-B自頂向下的方式拍攝ELM圖像的情形)。可以通過在圖像特徵406a至408a與406b至408b之間使用計算配準技術(諸如光流)來計算平面外旋轉。還應當理解，可以使用來自大致整個ELM圖像的數據而不只是在ELM圖像的給定區域內的數據來計算光流。該計算的旋轉隨後可以用於校正或者跟蹤所收集的OCT圖像404的位置。

在實施例中，ELM圖像的採樣率或者幀率捕獲高於與OCT圖像相關聯的A型掃描的捕獲。在一個示例中，捕獲與單個OCT圖像相關聯的各種A型掃描，而成像設備102的移動可能使得不再跨越單個平面進行A型掃描。在該情形下，所捕獲的ELM圖像可以用於使A型掃描的位置相關，並最終確定跨越樣本表面的OCT圖像的路徑。在圖5A-5B中圖示了該概念。

圖5A圖示了樣本表面上捕獲的ELM圖像的示例移動路徑，以及所捕獲的單個OCT圖像的A型掃描發生的關聯移動。虛線的大方形表示所捕獲的ELM圖像在時間上的移位位置(如由大箭頭指示的)，而在圖像中心的直虛線表示在整個時間中OCT圖像被拍攝的平面。每個OCT圖像平面上的大點501a-f表示從左至右跨越OCT圖像平面進行掃描的A型掃描。如可以看到的，A型掃描由於在樣本表面上的平移移動而不跨越單個平面掃描。

根據實施例，ELM圖像的移動可以用於跟蹤OCT圖像的A型掃描的位置。圖5B圖示了通過組合OCT圖像502的彎曲路徑上的A型掃描而實際收集的OCT圖像502。可以通過使A型掃描501a-e的位置與所捕獲的ELM圖像相關來確定OCT圖像502的路徑。

可以由處理電路120或者從成像設備102遠程通過計算設備130執行所描述的所有圖像處理分析。可以對緊接在後的ELM圖像進行分析，或者可以對在時間上間隔較遠的圖像對(無論它們是否與同時獲取的OCT圖像相關聯)進行分析。可以為該目的應用諸如不同圖像的傅立葉變換之間的相位差、光流的方法或者本領域技術人員已知的其它圖像配準技術。

另外，根據一些實施例，可以對單獨的配準圖像對之間的位移和旋轉進行累加、求平均數或者以其它方式組合，以便相對於基準坐標系針對每個獲取的表皮發光圖像和每個OCT圖像產生變換。可以與成像設備102和成像設備102內的多個光學元件108之間的相對移動的估計相關聯地執行對單獨的位移的組合以幫助使誤差最小化。可以藉助於卡爾曼濾波器或者某種其它類型的自適應或者非自適應濾波器來執行這種估計。這在以下情況下可能是相關的：如果一些OCT圖像未與ELM圖像大致同時地獲取，如果採樣在時間上不均勻或者如果由於圖像質量或算法性能而使偏移和旋轉的單獨的計算有噪聲。在實施例中，在處理電路120內的硬體中實現用於使誤差最小化的濾波器。然而，其它實施例可以使濾波器在圖像處理過程期間在軟體中實現。

為ELM圖像計算的各種偏移和旋轉可以用於使各ELM圖像合併以及產生具有擴展的FOV的ELM圖像。可以存儲該ELM圖像並使該ELM圖像在設備屏幕(諸如顯示器132)上呈現給用戶。

在另一個實施例中，使為ELM圖像計算的各種偏移和旋轉與關聯的OCT圖像相關，並將數據合併以形成三維數據集。在實施例中，三維數據集在被成像的樣本的表面下方給定深度處提供密集採樣。在另一個實施例中，三維數據集在被成像的樣本的表面下方給定深度處提供稀疏採樣。在一個示例中，對於樣本表面以下高達2mm的深度發生數據採樣。在另一個示例中，對於樣本表面以下高達3mm的深度發生數據採樣。三維數據集可以被渲染為樣本的三維圖像並在顯示器132上顯示。在實施例中，使用行進立方體、射線跟蹤或者本領域技術人員已知的任何其它3D渲染技術中的至少一種來實現渲染。

在實施例中，ELM圖像與OCT圖像之間的相關涉及成像模態之間的信息(諸如元數據)的傳遞。例如，在一個成像模態中自動地或者由用戶創建的注釋和/或標記可以使它們的信息傳遞到另一個成像模態的關聯圖像上。可以將來自一個成像模態的任何空間上相關或者時間上相關的元數據傳遞到另一個成像模態。一個具體示例包括在一個或者多個ELM圖像中勾畫腫瘤邊緣，隨後將與勾畫標記相關聯的數據傳遞至相關OCT圖像從而也指明OCT數據內的腫瘤邊界。成像模態之間的數據的這種交叉配準對於為莫氏手術指導或者文檔活檢位置標記病灶界限也可以是有用的。

在實施例中，各種捕獲的OCT圖像可以用於在OCT成像平面與樣本表面之間的相交處對樣本表面進行分段。可以組合這些相交分段以產生樣本表面的形貌的近似。ELM圖像數據隨後可以用於使由OCT數據生成的表面拓撲「紋理化」。例如，OCT圖像數據可以用於創建樣本表面拓撲的無紋理絲網。隨後可以在絲網上應用ELM圖像數據以及優選地(儘管不必需)應用擴展FOV的ELM圖像數據，以創建樣本表面的高度詳細的紋理化表面映射。另外，由於OCT圖像提供深度分辨數據，因此還可以快速訪問並可視化關於樣本表面下方的層的信息。這種信息可以輔助健康護理專業人員和皮膚科醫生做出更迅速的診斷，並且可以有助於為腫瘤切除手術做計劃而不需要活檢。

在實施例中，局部粗糙度參數可以由重建的樣本表面或者由單獨的OCT圖像計算，併疊加到重建的樣本圖像或以其它方式與重建的樣本圖像一起顯示。還可以使用偽色標(false-color scale)或者利用任何其它可視化技術將粗糙度參數映射在重建的樣本表面上。

在實施例中，基於所收集的ELM圖像之間的相對移動觸發OCT圖像的收集。例如，如果兩個或者更多個ELM圖像之間的平移太大，則成像設備102在樣本表面上掃描過快並且OCT圖像將會是模糊的。以這種方式，僅在OCT數據的較低採樣頻率不會在數據收集中引起誤差的情形期間捕獲OCT圖像。在另一個示例中，持續捕獲OCT圖像並且當所捕獲的ELM圖像之間的相對移動導致所捕獲OCT圖像內的太多劣化時丟棄某些圖像。從ELM圖像序列獲得的圖像運動的估計還可以用於量化兩個ELM圖像中的運動模糊，並過濾出或者至少識別較低質量的圖像。在另一個實施例中，當在給定時間段期間沒有移動時，可以為了去噪和增強的目的而對在時間流逝期間記錄的OCT圖像集進行組合，從而提高給定OCT圖像的質量。也可以預期用於通過使用兩個不同的圖像模態提供圖像增強的另外的技術。

在另一個實施例中，可以通過在成像設備102內包括第二ELM路徑來增強三維成像能力。第二ELM路徑將會與第一ELM路徑分離地設置，並且這兩個路徑之間的位置差異可以被校準並用於產生樣本表面的立體三維圖像。

在另一個實施例中，可以使用成像設備102內的單個ELM路徑生成樣本表面的三維表示。在時間順序的ELM圖像之間收集的位移信息用於為所捕獲ELM圖像中的每一個估計相對視點。可以由樣本的組合的ELM圖像和關於ELM圖像的關聯視點的數據來生成樣本表面的三維表示。

根據實施例，描述了用於基於樣本的ELM圖像數據和OCT圖像數據兩者生成樣本圖像的示例方法600。可以由成像設備102內的處理電路120或者由計算設備130執行方法600。

在塊602處，接收與ELM相關聯的第一光學數據。可以通過無線接口或者通過硬連線電路接收第一光學數據。在實施例中，當檢測器接收與ELM相關聯的光時由檢測器生成第一光學數據。根據一個示例，已經從樣本的表面收集了由檢測器接收的ELM光。

在塊604處，接收與OCT相關聯的第二光學數據。可以通過無線接口或者通過硬連線電路接收第二光學數據。在實施例中，當檢測器接收與OCT相關聯的光時由檢測器生成第二光學數據。根據一個示例，已經從樣本的各種深度收集了由檢測器接收的OCT光。在實施例中，與第一光學數據相對應的圖像平面和與第二光學數據相對應的圖像平面非共面。

在塊606處，使第一光學數據的一個或者多個圖像與第二光學數據的一個或者多個圖像相關。可以在來自兩個模態的圖像之間在空間上或者時間上執行相關。

在塊608處，使用來自塊606的相關數據生成樣本的圖像。圖像可以是基於組合的ELM和OCT數據的樣本的三維表示。根據實施例，表面粗糙度數據可以被計算併疊加到所生成圖像。根據實施例，所生成圖像不僅提供樣本表面的數據，而且還提供樣本表面下方各種深度處的數據。

根據實施例，描述了用於基於樣本的ELM圖像數據和OCT圖像數據兩者生成樣本圖像的另一方法700。可以由成像設備102內的處理電路120或者由計算設備130執行方法700。

在塊702處，接收第一和第二光學數據。第一光學數據可以與所測量的ELM圖像數據相對應，而第二光學數據可以與所測量的OCT圖像數據相對應。在實施例中，與第一光學數據相對應的圖像平面和與第二光學數據相對應的圖像平面非共面。

在塊704處，基於從第一光學數據在時間上收集的圖像計算平移和/或旋轉移動。當第一光學數據是ELM數據時，可以在一個時間段收集ELM圖像，並對該ELM圖像進行分析以確定圖像平移或者旋轉了多遠。在收集ELM圖像的相同時間期間，還可以收集OCT圖像。在一個示例中，在與關聯ELM圖像大致同時捕獲OCT圖像。

在塊706處，使第一光學數據與第二光學數據相關。ELM圖像可以與大致同時捕獲的並且在樣本上具有相交圖像平面的OCT圖像相關聯。所計算的ELM圖像的移動可以用於映射關聯OCT圖像的移動和位置。來自第一和第二光學數據的圖像可以在時間上或者空間上彼此相關。

在塊708處，基於相關光學數據生成三維圖像。圖像可以是基於組合的ELM和OCT數據的樣本的三維表示。例如，為ELM圖像計算的各種偏移和旋轉可以用於映射關聯OCT圖像的位置，並且數據被合併以形成三維模型，該三維模型提供用ELM圖像數據紋理化的表面數據和來自OCT圖像數據的深度分辨數據中的一個或者兩者。

各種方法可以用於使用組合的OCT數據和ELM數據以生成深度和樣本表面的模型。例如，OCT數據可以用於生成樣本表面拓撲的「絲網」表示。隨後可以將ELM數據應用於如同表面紋理的絲網表面。其它示例包括用於細化樣本的表面拓撲的箱形建模和/或邊緣建模技術。

可以例如使用一個或者多個公知的計算機系統(諸如圖8所示計算機系統800)實現到目前為止描述的各種圖像處理方法以及其它實施例。

計算機系統800包括一個或者多個處理器(也稱為中央處理單元或者CPU)，諸如處理器804。處理器804連接至通信基礎設施或者總線806。在一個實施例中，處理器804表示現場可編程門陣列(FPGA)。在另一個示例中，處理器804是數位訊號處理器(DSP)。

一個或者多個處理器804可以各自是圖形處理單元(GPU)。在實施例中，GPU是設計為迅速地處理電子設備上的數學密集型應用的專用電子電路的處理器。GPU可以具有對大塊數據(諸如對計算機圖形應用、圖像和視頻常見的數學密集型數據)的並行處理高效的高度並行結構。

計算機系統800還包括通過一個或者多個用戶輸入/輸出接口802而與通信基礎設施806進行通信的一個或者多個用戶輸入/輸出設備803(諸如監視器、鍵盤、指點設備等等)。

計算機系統800還包括主要存儲器或者主存儲器808，諸如隨機存取存儲器(RAM)。主要存儲器808可以包括一級或者多級高速緩存。主要存儲器808在其中存儲了控制邏輯(即，計算機軟體)和/或數據。在實施例中，至少主要存儲器808可以如本文描述的那樣實現和/或起作用。

計算機系統800還可以包括一個或者多個輔助存儲設備或者存儲器810。輔助存儲器810可以包括例如硬碟驅動器812和/或可移動存儲設備或者驅動器814。可移動存儲驅動器814可以是軟盤驅動器、磁帶驅動器、緊湊盤驅動器、光存儲設備、帶備份設備和/或任何其它存儲設備/驅動器。可移動存儲驅動器814可以與可移動存儲單元818交互。可移動存儲單元818包括具有存儲於其上的計算機軟體(控制邏輯)和/或數據的計算機可用或者可讀存儲設備。可移動存儲單元818可以是軟盤、磁帶、緊湊盤、數字通用光碟(DVD)、光存儲盤和/或任何其它計算機數據存儲設備。可移動存儲驅動器814以公知方式從可移動存儲單元818讀取和/或向可移動存儲單元818寫入。

輔助存儲器810可以包括用於允許電腦程式和/或其它指令和/或數據被計算機系統800訪問的裝置、工具或者方式。這種裝置、工具或者其它方式可以包括例如可移動存儲單元822和接口820。可移動存儲單元822和接口820的示例可以包括程序盒和盒式接口(諸如視頻遊戲設備中存在的盒式接口)、可移動存儲器晶片(諸如EPROM或者PROM)和關聯插槽、存儲棒和通用串行總線(USB)埠、存儲卡和關聯存儲卡槽和/或任何其它可移動存儲單元和關聯接口。

計算機系統800還可以包括通信或者網絡接口824。通信接口824使計算機系統800能夠與遠程設備、遠程網絡、遠程實體等等(由參考編號828單獨地並且共同地引用)的任何組合進行通信和交互。例如，通信接口824可以允許計算機系統800通過通信路徑826與遠程設備828進行通信，該通信路徑826可以是有線和/或無線的，並且可以包括區域網(LAN)、廣域網(WAN)、網際網路等等的任何組合。可以通過通信路徑826向計算機系統800發送以及從計算機系統800發送控制邏輯和/或數據。

在實施例中，包括具有存儲在其上的控制邏輯(軟體)的有形計算機可用或者可讀介質的有形裝置或者製品在此還稱為電腦程式產品或者程序存儲設備。這包括但不限於計算機系統800、主要存儲器808、輔助存儲器810和可移動存儲單元818和822以及包括上述的任何組合的有形製品。這種控制邏輯在由一個或者多個數據處理設備(諸如計算機系統800)執行時使得這種數據處理設備如本文描述的那樣進行操作。

基於本公開中包括的教導，如何使用數據處理設備、計算機系統和/或除了圖8所示以外的計算機體系結構來實現和使用本發明將對相關領域技術人員是清楚的。特別地，實施例可以與除了本文所描述的那些以外的軟體、硬體和/或作業系統實現一起操作。

應當理解，具體實施方式部分而不是發明內容和摘要部分旨在用於解釋權利要求書。發明內容和摘要部分可以闡述如一個或者多個發明人預期的本發明的一個或者多個示例性實施例但不是所有示例性實施例，因此不意圖以任何方式限制本發明和所附權利要求書。

上面已經在圖示指定功能及其關係的實現的功能構建塊的幫助下對本發明的實施例進行了描述。為了描述方便起見，本文已經對這些功能構建塊的邊界進行了任意地限定。替代的邊界可以被限定為使得指定功能及其關係被適當地執行即可。

具體實施例的上述描述將如此充分地揭示本發明的一般性質以至於其他人可以在不背離本發明一般概念的情況下無需過度實驗而通過應用本領域技術內的知識就容易地修改和/或調整這種具體實施例的各種應用。因此，基於本文提供的教導和指引，這種調整和修改旨在在所公開實施例的等同的含義和範圍內。應當理解，本文的措辭或者術語出於描述目的而並非出於限制目的，使得本說明書的術語或者措辭將由本領域技術人員根據教導和指引進行解釋。

本發明的廣度和範圍不應該受上面描述的示例性實施例中的任何一個限制，而應當僅根據下面的權利要求書及其等同進行限定。