同時進行實時多模式成像和它的光譜學使用的製作方法

2023-04-27 05:10:41 2

專利名稱：同時進行實時多模式成像和它的光譜學使用的製作方法
技術領域：
各種光學的設備如顯微鏡，內窺鏡，望遠鏡，照相機等支持觀察或分析與物體，如行星，植物，巖石，動物，細胞，組織，蛋白質，DNA，半導體等光的交互作用。一些多頻帶的光譜圖像提供形態學圖像數據，但是其它多頻帶的光譜圖像提供涉及化學構成，子結構和/或可從反射或發射光的多頻帶的光譜圖像測定的其它目標對象的特性的信息。這些光發射圖像，如發光或螢光，可指明和提供評估如所用的染色劑的內生的化學物質或外生的物質的手段，以增強可視化，藥物，治療的媒介或其它媒介物。
在醫學圖像和更特殊的內窺鏡領域中，反射的白光，自然組織自身螢光，發光，化學發射，近IR反射，和其它光譜提供可視的組織並收集診斷信息的手段。除了組織形態學的可視化，使用在電磁光譜的各個部分中的光交互作用收集化學信息。內窺鏡感興趣的三種實時成像形態包括白光反射成像，螢光發射和近紅外反射成像形態。
在內窺鏡中，常規的白光成像典型的用於觀察表面形態學，建立界標，並基於外貌評估內部器官。很好的建立了觀察呼吸和胃-腸系統的應用。最近已發展螢光成像，並使用組織的特性自身螢光已用到早期癌症的檢測。同樣的，使用成像螢光已完成各種自然的和引入的化學的交互作用的觀察，如用蛋白質標記細胞。可使用近紅外光測定在健康和疾病組織中的氧化和組織缺氧。作為選擇，螢光標籤的單克隆的抗體可用於標記特定的細胞的蛋白質，同時它可光學的檢測和/或測量。
近來，存在使用這些以視頻速率實時採集數據的成像形式的方法和設備結構。然而，對成像，已連續的或部分連續的可獲得來自不同形式的此實時信息，但不是同時地。
如這裡使用的「多模式」意味著至少兩種成像模式，它們的發光光譜帶或它們的檢測光譜帶或兩者是不同的。
這裡使用的「光調製器」意味著改變電磁輻射的波長，和/或改變強度，和/或定時選通各種光譜的設備或光和/或電-光設備的組合。可單獨的或包括此光調製器的組合的在機械或電控制下使用各種濾光器，濾光器，濾光輪，鏡頭，反射鏡，微反射鏡陣，液晶，或其它設備。本發明的某些實例利用兩個光調製器，一個與用於詢問對象或與對象交互作用的調製光源光譜關聯。因此源光照的調製可以如用控制的方式轉換(選通)一個或多個發光源那樣簡單，或用如描述的設備完成光調製。第二光調製器用於處理在與目標交互作用後返回的光。第二光調製器可用作分離成像光段，引導它們到各個檢測器，並包括，例如移動的反射鏡，作為部分濾光輪的旋轉的反射鏡，或數字多反射鏡設備(DMD)。檢測器可以是成像設備，如有CCD傳感器的照相機或可包括分光計的傳感器。在一些情況中，如在體內的內窺鏡應用中，源光照可與肺的組織交互作用，返回的光可包括各種反射的和再發射的光譜。
如這裡使用的控制和同步意味著，例如以實時視頻速率提供在光調製器和/或電磁輻射源和/或檢測器上的控制，並進一步同步這些部件的運行，提供產生希望的時間段的希望的源光譜的裝置，同時處理(例如，放大，衰減，分割，選通)和檢測各光譜的圖像信號。在一些要求相對地緊密的控制和同步的實例中，在其它實例中，可使用這些返回信號本身用以協調，例如，可使用它們的強度和波長提供控制和同步的信息。
除了觀察和分析以外，同時，可引導選擇的光譜激發一定的光敏的化學物質，因此可傳遞和監控處理如光力學的治療(PDT)。
現有技術討論以下的裝置，連續的提供白光成像(典型的光譜範圍400nm到700nm)，螢光成像(例如用從400nm到450nm的藍光和在400nm到700nm範圍的再發射激發的組織自身螢光)，和有近似700nm到800nm範圍或以外的光譜近紅外的圖像，和/或在這些範圍中的特定光譜，和/或與光譜信號組合的成像形式，保留同時的以各種視頻速率的提供這些各種成像模式的設備和方法的需要。本發明滿足此需要。
背景技術：
Fulghum的美國專利號6364829題目為「內窺鏡的自身螢光成像系統」討論了提供可見光(它導致最小的自身螢光)和紫外光(可導致組織自身螢光)的寬帶光源。例如，由在內窺鏡的遠軸的尖端的單個成像檢測器檢測圖像，並提供了在這些源發光光譜之間做電轉換。提供各種光源，濾光器，濾光輪，光閥，反射鏡，分光的反射鏡，光譜，光源，強度和時序圖表，因此。這個現有技術包括在參考文獻中。
Wagnieres的美國專利號6148227題目為「提供記錄螢光生物組織區域的圖像的診斷設備」討論了發光光譜和螢光成像分量。在一個實例中，用獨立的信號處理指引紅和綠分量分離部分的CCD。
Freitag的美國專利號6061591題目為「由螢光觀察診斷惡性組織的裝置和方法」討論了選通的白光發光源和激發螢光的雷射。作為選擇，可以分離和從單個燈，例如，汞氙弧光燈提供希望的螢光光譜。也討論了濾光輪(有紅，綠和藍濾光器和劃分螢光為紅和綠分量的濾光器)和時序要求。雖然兩者都可顯示在監視器上，順序的實現白光和螢光圖像的測量。各個附圖描述相似於那些本發明預期的光源。
Fulghum描述的系統有在白光和螢光可視的方法之間用10Hz或更高的顯示率電子地來迴轉換的能力。不象其它的現有技術(例如，要討論的美國專利號5647368)，在全色的普通可見光成像和螢光成像之間的轉換由電子開關完成而不是由操作者的物理調製(轉換)。此現有技術也討論了在深紫波長上的螢光激發光，以便延伸位於內饋鏡的紫色波長，以及期望作為本發明各種實例的光源的UV的鎵氮化物雷射二極體和汞弧光燈。同樣感興趣的是，Fulghum討論了內窺鏡的局限和涉及光纖的UV-透射特性的特殊限制。由Ferguson/Zeng公開於2002年8月23日申請的正在審查的美國專利申請號10/226406，題目為「非相干的光纖設備和成像方法」解決了這些限制的一部分。
Schulz的美國專利6019719，題目為「完全耐高壓加熱的電子內窺鏡」討論了物鏡，晶體濾光器，IR濾光器和安置在成像的內窺鏡的末端的底部的CCD晶片。
Heimberger的美國專利5930424，題目為「連接光纖纜到內窺鏡的光纖光連接的設備」討論了耦合設備，如光源到內窺鏡的各種特性。
Halfele的美國專利5926213，題目為「校正視頻照相機記錄的彩色圖像的色調的設備」，討論了如內窺鏡照相機與啟動色調校正的旋轉傳感器。彩色校正，定標或歸一化對從圖像數據的數位化或圖像的比較是有用的，並認為是本發明的各種實例。
Palcic的美國專利5827190，題目為「有集成CCD傳感器的內窺鏡」討論了測量與組織和組織疾病關聯的各種信號的照明光源和傳感器。
Zeng的美國專利5647368，題目為「在呼吸和胃-腸道中使用自然螢光檢測有疾病的組織的成像系統」討論了使用汞弧燈提供用內窺鏡檢測和區別在變態的或有疾病的組織中的不同效果的白光和螢光成像。
MacAulay的美國專利5590660，題目為「使用綜合的自身螢光成像有疾病的組織的設備和方法」討論了光源要求，光傳感器，和提供用於如成像有疾病的組織的，歸一化自身螢光圖像的背景圖像。
Pacic的美國專利5769792，題目為「有疾病的組織的內窺鏡成像系統」還討論了光源和從不同於正常和有疾病組織的自身螢光的光譜強度帶提取信息的裝置。
Zeng的2000年12月19日申請正在審查的美國專利申請號09/741731，題目為「螢光和反射成像和光譜學和用多路的測量設備同時測量電磁輻射的方法和設備」，(部分繼續申請的美國專利公開號2002/0103439)討論了同時的提供一種模式的成像和光譜學的同時的方法，但多路成像和關聯的光譜學方式是連續的。在本發明中，描述在各種希望的波長同時實現多模式成像的方法。不像Zeng的現有技術，Zeng的本發明不尋求提供圖像和波長光譜的測量，代之尋求提供同時的多模式成像，其中檢測和利用在規定的光譜中的全部的圖像作為顯示或分析。
Gombrich的美國專利5999844，題目為「使用自身螢光成像和取樣有疾病的組織的方法和設備」討論了接收激發光的多個圖像檢測器和在分離的隔間或獲取單元中沉積的活組織切片檢查。
Irion的美國專利6212425，題目為「光力學診斷的設備」討論了使用光引導的反應或內在的螢光的內窺鏡成像檢測有疾病的組織，並傳遞治療使用或激發提供治療的化合物的光。
Kanno的美國專利4884133，題目為「內窺鏡光源設備」討論了光源，光導和內窺鏡使用的這些元件的控制。
Kaneko的美國專利5749830，題目為「螢光內窺鏡設備」討論了兩種光源的使用，第一種(例如燈)白光，第二種(例如氦鎘雷射)提供詢問光譜的螢光。Kaneko專利也使用放在單個檢測器路徑上的濾光輪。多模式成像濾光輪有多個濾光器(例如，在圖4a中3個和圖4b中5個)。同時它們說明顯示的兩個成像形式(圖7的110)，他們不討論同時的實時多模式成像。因為此現有技術討論在本發明中利用的寬範圍的組織，如組合光源，同步和濾光輪，Kaneko的專利合併在此作為參考。
Ferguson/Zeng的正在審查的美國專利申請號10/226406，題目為「非相干的光纖設備和成像方法」中還進一步討論了內窺鏡和成像應用，其中還討論克服光纖設備一些存在的限制的設備，如內窺鏡。

發明內容
本發明通過提供目標對象的同時多模式光譜成像解決了上面描述的問題。調製目標輻射或發光提供不同波長的輻射段，例如，改變白，綠，藍，紅和近紅外光的段。目標對象返回發射的和再發射(例如，螢光)的光，進一步調製返回的光，以便將返回光分離為對應不同波長的段。可處理，顯示，和分析返回的輻射。


圖1(現有技術)顯示內窺鏡成像利用的一系列典型的希望的光譜；圖2a和2b(現有技術)說明來自典型螢光內窺鏡系統的光譜；圖3(現有技術)說明來自連續的白光和螢光內窺鏡系統的螢光模式的典型光譜；圖4顯示放在內窺鏡遠端底的發光源；圖5是本發明實例的透視圖；圖6a是用包括多個傳感器的單個檢測器同時的白光和螢光成像的透視圖；圖6b是關聯圖6a的檢測器結構的透視圖；圖6c是關聯圖6a的，可放在內窺鏡遠端尖端的另一個檢測器結構的透視圖；
圖6d是在圖6a，6b和6c中描述的控制和同步同時成像模式的框圖。
具體實施例方式
在本發明可受不同形式的實例影響時，這裡詳細描述在附圖中所示的特殊的實例，理解本發明公開的內容可認為是本發明的原理範例，不限制這裡所說明和描述的本發明。
根據包括反射光和/或發射光光譜的組織發光和產生的信號，可描述和區分內窺鏡和內窺鏡系統。
圖1(現有技術)說明白光和螢光評估利用的典型光譜。光譜0100顯示典型利用的寬範圍發光。由單個光源或由在現有技術和在此申請中進一步討論的多重組合光源可提供此發光。
光譜1101顯示典型的白光(寬帶)發光光譜。可用各種光源(燈等)產生寬帶發光，例如，Fulghum的美國專利6364829討論了希望的發光。如在光譜1101中顯示的發光可與提供反射光，如典型的白光信號(反射)的目標組織交互作用，在光譜2102中說明的本質上與光源相同的光譜範圍，但相對於入射發光衰減。如在光譜2102中觀察的一樣，基於組織吸收，存在的血液和其它因素，這樣的衰減可以是優先的。
光譜3103表示要激發組織螢光的典型的短波光，例如藍光。典型的返回信號光譜4104有兩個分量，典型的不利用組織反射分量104R，和組織螢光發射信號104E。常常阻擋或濾波掉反射分量，因此它不幹擾螢光檢測。
因此，為了激發組織螢光，窄發光帶是優選的。窄帶可從寬帶發光中隔離出來，或可由窄帶源如LED或雷射提供。可使用如在光譜5105中說明的典型的UV發光激發組織自身螢光，產生如在光譜6106中顯示的光譜。通常不使用反射分量106R。在光譜7107中說明的典型的發光在紅/近IR中提供如在光譜8108中顯示的反射分量。
此外，可有益的組合和使用發光光譜。例如，顯示在光譜9109中的典型的發光光譜，藍光加紅/近IR光，產生如在光譜10110中顯示的信號光譜。在討論各圖例時涉及這些光譜(0到10)。
圖2a和2b(現有技術)描述和表示內窺鏡成像原理，包括Alfano的美國專利5413108，題目為「基於癌症表示的自然螢光的發光測量映射組織樣本和辨認它們的不同區域的方法和裝置」，和Alfano的美國專利6091985，題目為「使用自然螢光激發光譜學檢測在組織和/或細胞中的癌症和癌症前期情況」，上述兩個現有技術合併在此作為參考。如所介紹的，這些原理可用於其它的光學系統，如顯微鏡，照相機，望遠鏡等，Alfano的美國專利6080584，題目為「使用自然螢光光譜學檢測在塗片上存在的癌症的和癌症前期細胞方法和裝置」，包括Alfano的這個現有技術合併在此作為參考。
因此，圖2a說明白光，反射和發射內窺鏡，通常，根據輸入光譜212(發光)和輸出信號光譜214，由指示線210描述輸入和輸出。在UV範圍中選擇第一發光201，即λ1-I，激發組織自身螢光(如，關聯圖1討論的光譜5)。在藍/綠區域中出現產生的組織發射光譜21，這進一步確定為λ1-E(如，圖1中的光譜6的106E)。使用詢問發光201，正常和有疾病的組織的發射信號的強度是近似的。這進一步的由正常組織221和有疾病的組織226的特性曲線顯示。在時間間隔T1典型的獲取組織發射(自身螢光)的第一代表(參考)圖像。
圖2b顯示輸入光譜216和信號光譜218。在時間間隔T2，在UV/藍區域中的λ1-I，第二詢問發光202照明組織激發自身螢光(如，關聯圖1討論的光譜3)。在藍/綠區域中再一次出現產生的組織發射光譜252，這進一步確定為λ2-E(發射)。在這些條件下，在正常組織222和有疾病的組織227的特性曲線之間觀察到可測量的差別。在時間間隔T2獲得組織圖像。在T1獲得的第一(參考)圖像和在T2獲得的第二圖像之間的比率和/或差提供歸一化，處理和提取診斷信息的基礎。此結構的一個優點是因勾順序的獲得圖像，這可使用單個圖像傳感器獲得。此外，因為在同樣一般的光譜區域(251，252都是藍/綠)產生兩個組織自身螢光圖像，它們不能用光學裝置在空間上分離，因此，它們如指出的在時域上(T1，T2)被分離。例如，各種限制導致，記錄(像素對齊)這兩個圖像變得很困難，由於器官或目標組織(如，肺)的呼吸或運動可能移動這兩個圖像。
圖3(現有技術)說明如在Zeng的美國專利5647328，題目為「使用在呼吸和胃-腸道中自然螢光檢測有疾病的組織的成像系統」中討論的順序白光和螢光內窺鏡使用的螢光模式，和還在Cline的美國專利6462770，題目為「有反射和螢光內窺鏡的自動增益控制的成像系統」中討論。如進一步描述的，Zeng的專利典型的使用兩個發光源，提供如在關聯圖1中討論的光譜1和光譜3的順序的發光譜。
圖3顯示螢光成像模式的在線310上面的輸入光譜312和在線310下面的輸出光譜314。還標記λ1-I的輸入光譜321提供激發組織螢光的藍光，如用圖1討論的光譜3。還確定為λ1-E的組織發射351出現在綠區中，也指出正常組織301和有疾病的組織307的典型組織的特性曲線。在Zeng的專利中如上面描述的關閉寬帶白光源和打開藍光源完成光調製。如用本發明圖5描述的，由插入或取代引導白光反射或螢光發射到希望的檢測器中的反射鏡，提供光調製的第二種形式。因此，本發明的一個目的是提供以視頻速率轉換發光光譜、協調圖像的方向和捕獲的裝置。同時，可能以高速率物理地完成此轉換、在超出了現有技術範圍的延伸的時間段上維持此轉換、可再現的、並要求完成多模式同時成像。在Cline的專利中還描述這些原理，用圖1說明由轉換模式106和操作者控制轉換65調製的組合光源(36)。這個現有技術也討論了希望的發光，並包括在此作為參考。
圖4顯示提供和調製本發明開發的同時白光和螢光內窺鏡的發光的裝置。給內窺鏡400在遠端底410提供一個或多個發光源。此結構的一個優點是它消除與內窺鏡關聯的傳輸損耗，這對一定的波長可以是實際的。此外，這些設備的快速轉換提供調製希望的發光的簡單的裝置。如描述的，三個LED提供發光，並通過電連接器可同步發光和圖像檢測。LED451可提供如關聯圖1討論的光譜0的寬光譜。典型的，此寬光譜進一步調製如關聯圖5和6討論的。LED451也可提供如用圖1討論的光譜1的更窄的光譜。可提供第二LED452如光譜3或光譜5(按照圖1)的輸出，因此支持白光和螢光內窺鏡。同樣的，有如光譜7發光的第三LED453可延伸成像到紅和近-IR波長範圍。下面將進一步描述各種成像模式和同步的要求。
圖5說明提供同時白光和螢光成像的本發明實例。光源580傳遞寬帶照明(如關聯圖1討論的光譜0)。光源可以是傳遞要求的發光的單個單元或包括組合的光源。新的更高功率的LED提供適合於在如描述的在內窺鏡頂端使用的，或作為部分光源的有一定強度水平的有用的光譜，如超過200mV的藍色LED。因此，這些光源可高速電轉換(低於1微秒)，以提供如描述的調製發光光譜。
形成的光束581與光調製器交互作用，在這個例子中，光調製器是正在旋轉的濾光輪550，濾光輪由提供白光成像輸出光譜(如關聯圖1討論的光譜1)的白光或彩色平衡濾光器552和提供螢光成像的激發光譜(如關聯圖1討論的光譜3，5，或9)的螢光激發濾光器554組成。兩個光濾光器552和554還可包括光阻塞條553，以便分離光譜束。因此，調製光束581為白光發光段582和可以用未被照亮的段555隔開的螢光激發段592。調製的光束與目標對象接觸和交互作用，目標對象如組織540，它可產生反射的白光段583(有如關聯圖1討論的光譜2的光譜內容)和螢光發射段如593(有如關聯圖1討論的光譜4，6或10的光譜分量)。光調製器520可進一步處理間隔的、交替的成像光束，在這個例子中，光調製器520是位於相對於產生成像段的入射光45度的第二旋轉的濾光輪，互相分離90度。在這個例子中，光調製器由傳送白光成像段585的打開的或色彩平衡濾光器522和可以是引導螢光成像光束段的反射鏡(近似100％的反射率)的濾光器524組成。白光成像段到達檢測器500，它可以是為處理和/或顯示輸出標準RGB和同步視頻信號502的RGB視頻彩色照相機。螢光成像段到達檢測器530，它可以是螢光成像照相機，為進一步處理和/或顯示再一次輸出標準RGB和同步視頻信號532。
光編碼器510，560的功能就像分別與光調製器(旋轉的濾光輪)550和520關聯的幀傳感器，其通過電纜571和572與同步設備570接口，提供協調和同步兩個光調製器，還提供通過電纜574和573控制和同步白光檢測器500和螢光檢測器530的幀同步信號。
來自檢測器500的白光圖像和來自檢測器530的螢光圖像可顯示在分離的監視器或同一觀察監視器的不同部分上作同時觀察。作為選擇，因為兩個圖像是同步的，它們可如要求的或希望的那樣疊加，處理，作偽彩色或組合。
另一有用的圖像顯示模式是顯示螢光圖像模式(單獨或與其它顯示模式組合)的R(紅)信道，因為很少受血液吸收的影響的近紅外反射信號110R2(圖1的光譜10)產生此紅信號，因此準許醫生通過血液觀察組織結構，例如檢驗在希望的位置執行活組織切片檢查。
各種選項如由液晶，數字微反射鏡設備(DMD)，和合併光柵，稜鏡等的其它光/電設備組成的空間光調製器(SLM)，可實現如上面討論的光調製器同樣的終端。通常，用無運動部分的固態設備可改善使用因素如可靠性，在電子控制下也可由消除部件如關聯的光編碼器簡化設計。
在說明的實例中，白光和螢光有近似百分之五十的佔空度。如果利用其它形式的光調製器，可實現各種其它比率如白光百分之25和螢光百分之75為改變濾光器域區域或時序所要求的或希望的。
圖6a顯示本發明的另一實例，它降低實現同時多模式成像要求的部件數量。發光源630提供寬帶發光(如關聯圖1討論的光譜0)。光調製器650進一步處理形成的發光681，在這個例子中，光調製器650是由傳送調製的白光發光(如關聯圖1討論的光譜1)的白光或色彩平衡濾光器652和螢光成像濾光器654(它提供發光，如關聯圖1討論的光譜3，5和9)組成的旋轉濾光輪。濾光輪650也可利用束阻塞器653。因此，如果需要，用未被照亮的間隔段655產生交錯的白光和螢光照明段如682和692。發光段與目標對象如組織640交互作用。反射的白光成像段如685(對應如關聯圖1討論的光譜2的特性)和螢光成像段(有如關聯圖1討論的光譜4，6，10的分量)引導到檢測器600。幀傳感器(光編碼器)660產生Frame_Sync信號作為指出濾光輪650的位置的手段。通過通信電纜661用同步信息與檢測器600接口。例如，可使用在Frame_Sync信號上的負脈衝指出螢光檢測的時序，而正脈衝可指出白光同步信息。檢測器600(在圖6b中詳細討論的)接收成像段，並通過圖像處理電子設備(用圖6d顯示和討論的)同時產生螢光成像信號和白光成像信號。在簡單的結構中，濾光輪650分別由兩個同等均衡的白光發光和螢光激發的濾光器652和654組成。輪650以900rmp或每秒15次旋轉，提供同樣光靈敏度的15幀/秒的白光和螢光檢測。可提供其它比率的濾光器區域，例如增加螢光靈敏度，它典型的低於反射的白光的強度。Zeng的美國專利申請09/741731，題目為「螢光和反射成像和光譜學和用多路的測量設備同時測量電磁輻射的方法和設備」，(出版號是2002/0103439，繼續申請號是10/028568)討論了它們的原理，因此，合併在此作為參考。
圖6b顯示利用有多個傳感器(例如，CCD)的檢測器，多模式同時的獲得白光反射和螢光發射成像的檢測器結構，那麼降低或消除如在現有技術中使用的機械轉換機制。因此，檢測器600由可以是藍，綠和紅光的至少三個傳感器如傳感器615，傳感器625和635組成。典型地，這種結構的優點是設置傳感器具有可比較的路徑長度，例如，從分光鏡621的表面到傳感器645的距離基本上等效於從該點到傳感器615的距離。可提供附加的傳感器如635作另一個成像模式如近-IR成像。
交替的成像光段610在箭頭688指出的方向進入檢測器600。當螢光成像段(如695，用關聯圖6a討論的)進入檢測器時(典型的例子是如關聯圖1討論的光譜104E，106E或110E和110R2)，此光610的一部分與分光鏡621互相作用(傳送通過)，分光鏡621有近似500nm的截至波長，例如反射光低於500nm(611)和傳輸光大於500nm(612)。然後成像段進一步與有約600nm截至波長的分光鏡622互相作用，500nm到600nm的反射螢光分量向著傳感器625(綠光)，同時傳輸在成像光譜分量614。同樣的，分光鏡623(選擇性的有第四傳感器645)劃分現在實際上紅的光譜分量為紅和近紅外。用帶通濾光器636(例如，有帶外阻＞O.D.5)進一步光處理此反射的螢光分量655，然後由鏡頭637聚焦在傳感器635上形成圖像。帶通濾光器646(例如，有帶外阻＞O.D.5)進一步濾波傳輸的參考成像光譜分量656，然後它由鏡頭647聚焦在傳感器645上形成圖像。這些多光譜圖像和信號及同步信號反饋到電子設備(用圖6d討論的)作進一步的處理，控制和顯示。
同樣的，當白光成像段，如在圖6a中討論的685進入檢測器時，分光鏡621反射400nm到500nm範圍的它的藍光譜分量，然後此光611由帶通濾光器616濾波，然後由鏡頭617聚焦在藍色CCD傳感器615上形成藍色圖像。綠色(500到600nm)和紅色(600到700nm)光譜分量612通過分光鏡621傳輸，併入射到分光鏡622上，分光鏡622反射綠色光譜分量到帶通濾光器626，然後由鏡頭627聚焦此光在傳感器625上形成綠色圖像，同時紅色光譜分量通過分光鏡傳送，和濾波並聚焦在紅色傳感器645上形成紅色圖像，如果提供，近-IR分量到傳感器635。這些多光譜圖像(R，G，B和可能的近-IR)和同步信號反饋到圖6d討論的電子設備作進一步的處理並產生作顯示和/或分析的視頻信號輸出。
作為選擇，如果期望近-IR圖像(除了紅色圖像)，可選擇分光鏡通過近-IR並反射紅光，改變檢測這兩個圖像的位置。
在不同的成像形式之間改變增益和/或各個傳感器的往返速度，保證可能有很不同的光信號強度的所有成像形式的最佳信號輸出。同時這些增益和/或往返速度動態改變，在不同的傳感器之間常常有固定的放大關係，不同成像形式的此關係是不同的。
在任何類型的視頻圖像顯示設備，如標準CRT監視器，LCD平板顯示器，或投影儀上觀察多模式圖像。因為可同時的得到圖像，但是多重帶寬中，用戶可以以任何種類格式顯示圖像用戶可分離的或與螢光，紅外和近紅外圖像一起混合和匹配白，紅，綠，藍色圖像，分離的或一起在同一或分離的監視器上。
圖6c顯示利用在內窺鏡遠端尖端上有圖案濾光器塗覆的小型化的單CCD傳感器，同時多模式獲得白光反射、NIR反射和螢光發射成像的不同的檢測器結構。顯微鏡頭642聚焦圖像到CCD傳感器643上，並都安置在內窺鏡641遠端底上，內窺鏡641有光纖束引導來自外部光源的發光照明組織或位於同樣遠端尖端上的LED提供組織照度。設計在CCD傳感器643上不同的鄰近像素獲得不同光譜帶寬的圖像，例如，指定像素646(B)獲得對應只傳送400到500nm光的高質量的帶通濾光器塗覆的藍色帶寬的圖像；指定像素647(G)獲得對應只傳送500到600nm光的高質量的帶通濾光器塗覆的綠色帶寬的圖像；指定像素648(R)獲得對應只傳送600到700nm光的高質量的帶通濾光器塗覆的紅色帶寬的圖像；同時像素649(NIR)獲得對應只傳送700到900nm光的高質量的帶通濾光器塗覆的NIR帶寬的圖像。此CCD傳感器輸出R，G，B，NIR信號和相似於如顯示在圖6b中的照相機600的同步信號，這些信號反饋到在圖6d中討論的電子設備作進一步處理，並產生作顯示和/或分析的標準的視頻信號輸出。
圖6d顯示同步和控制如在圖6a和圖6b中描述的成像實現同時的白光和螢光成像的框圖。來自檢測器600的成像信號602提供交替的螢光和白光圖像(幀)到視頻模式選擇轉換器660，它分配這些信號到在視頻解碼器662中數位化圖像的獨立的模數轉換器(ADC)中。在這個例子中，由綠通道601提供視頻同步。數位化的圖像反饋到Input FPGA(場可編程門陣列)670作處理。在Input FPGA670內部，數位化的圖像引導到Input FIFO(先進先出)視頻緩衝器672，然後到可編程處理單元675，它分離圖像為白光成像幀和螢光幀，如由連接到處理單元675的Frame Sync信號604確定的。兩個存儲緩衝器與FPGA670通信作瞬時螢光圖像存儲的幀緩衝器678和作瞬時白光圖像存儲的幀緩衝器679。可在FPGA670中實現各種成像處理功能，例如，x-y像素移動，用於R，G，B圖像用於對齊和對準。x-y像素移動意味著在水平方向(x)和/或垂直方向(y)移動數字圖像(圖像幀)的一個或多個像素。此處理消除了更複雜的或機械的機制的需要，因此，簡化了傳感器如圖6b討論的615，625，636和645的對齊。另一可編程圖像處理功能可取得在兩個或多個圖像中的對應像素的比率。處理的數字圖像由視頻FIFO680輸出到OutputFPGA684，它分離螢光圖像幀和白光圖像幀分別到視頻編碼器(DAC1)686和視頻編碼器(DAC2)688。有數模轉換器(DAC)的視頻編碼器686和688傳輸數字圖像信號到被顯示在標準模擬視頻監視器上的標準模擬視頻信號692和694。除了提供光調製的同步，檢測器可利用Frame Sync信號604，例如作為在不同成像形式使用的固定的增益設置之間轉換的手段。
在用圖6a，6b，6c，和6d描述的實例中，產生保持同樣光靈敏度的15幀/秒的數字螢光圖像和15幀/秒的數字白光圖像(對螢光模式)，好象顯示在圖6b中的照相機順序的獲取螢光圖像和白光圖像(如在Zeng等的美國專利申請號09/741731，題目為「螢光和反射成像和光譜學和用多路的測量設備同時測量電磁輻射的方法和設備」，和美國出版號2002/0103439，繼續申請號10/028568中略述的成像形式)。視頻編碼器686和688還輸出標準視頻信號，即每秒重複一次每個15幀數字圖像的30幀/秒。如果要求更高的幀速率，例如，要求30幀/秒數字螢光圖像和白光圖像(成比例的降低光靈敏度)，這可由合適的速度旋轉濾光輪650實現(用圖6a討論的)，在這個例子中，1800rpm(每秒30轉)。
已示出和描述了本發明的優選實例，預見本領域的技術人員可設計不偏離所附權利要求的本發明的各種修改。
權利要求
1.一種同時測量圖像的光學設備，包括光源，用於傳遞詢問寬帶輻射；第一光調製器，用於分離詢問寬帶輻射為對應多個成像形式的多個詢問光譜段；目標對象，與詢問光譜段交互作用，以便為圖像產生返回輻射；第二光調製器，分離來自目標對象的返回輻射為對應多個成像形式的多個返回光譜段；至少一個檢測器接收返回光譜段，並將返回光譜段處理為圖像。
2.根據權利要求1所述的設備，其特徵在於還包括同步第一光調製器和第二光調製器的裝置。
3.根據權利要求1所述的設備，其特徵在於還包括顯示圖像的裝置。
4.根據權利要求3所述的設備，其特徵在於顯示裝置包括對齊圖像的裝置。
5.根據權利要求4所述的設備，其特徵在於對齊裝置包括x-y像素移動的裝置。
6.根據權利要求1所述的設備，其特徵在於還包括同步第一光調製器和第二光調製器的裝置和顯示圖像的裝置。
7.根據權利要求1所述的設備，其特徵在於光源包括在內窺鏡中的多個光發射二極體。
8.根據權利要求7所述的設備，其特徵在於第一光調製器由同步的電子轉換的光發射二極體分離詢問寬帶輻射。
9.根據權利要求1所述的設備，其特徵在於第一光調製器包括有對應多個成像形式的多個調製分量的運動的濾光器，所述每個分量有由所述分量分離的寬帶輻射與寬帶輻射的比率組成的佔空度。
10.根據權利要求9所述的設備，其特徵在於運動的濾光器包括濾光輪。
11.根據權利要求10所述的設備，其特徵在於濾光輪旋轉在近似1800rpm。
12.根據權利要求10所述的設備，其特徵在於多個調製分量包括至少彩色平衡濾光器分量和螢光激發濾光器分量。
13.根據權利要求12所述的設備，其特徵在於螢光激發濾光器分量的佔空度小於或等於百分之五十。
14.根據權利要求12所述的設備，其特徵在於螢光激發濾光器的佔空度大於百分之五十。
15.根據權利要求12所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm光譜範圍的詢問光譜段。
16.根據權利要求12所述的設備，其特徵在於螢光激發濾光器分量對應於有近似700到750nm光譜範圍的詢問光譜段。
17.根據權利要求12所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm和700到750nm光譜範圍的詢問光譜段。
18.根據權利要求10所述的設備，其特徵在於濾光輪包括光阻塞區域。
19.根據權利要求10所述的設備，其特徵在於運動的濾光器包括至少彩色平衡濾光器和螢光激發濾光器。
20.根據權利要求9所述的設備，其特徵在於運動的濾光器包括光阻塞區域。
21.根據權利要求1所述的設備，其特徵在於第一光調製器包括光轉換設備。
22.根據權利要求21所述的設備，其特徵在於光轉換設備包括空間光調製器。
23.根據權利要求22所述的設備，其特徵在於空間光調製器包括液晶設備。
24.根據權利要求22所述的設備，其特徵在於空間光調製器包括數字微反射鏡設備。
25.根據權利要求1所述的設備，其特徵在於還包括至少白光檢測器和螢光檢測器。
26.根據權利要求1所述的設備，其特徵在於第二光調製器包括有對應多個成像形式的多個調製分量的運動的濾光器，所述分量有由分量分離的寬帶輻射與寬帶輻射的比率組成的佔空度。
27.根據權利要求26所述的設備，其特徵在於運動的濾光器包括濾光輪。
28.根據權利要求27所述的設備，其特徵在於濾光輪旋轉在近似1800rpm。
29.根據權利要求26所述的設備，其特徵在於多個調製分量包括至少彩色平衡濾光器分量和螢光反射濾光器分量。
30.根據權利要求29所述的設備，其特徵在於螢光反射濾光器分量的佔空度小於或等於近似百分之五十。
31.根據權利要求29所述的設備，其特徵在於螢光反射濾光器的佔空度大於百分之五十。
32.根據權利要求29所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm光譜範圍的詢問光譜段。
33.根據權利要求29所述的設備，其特徵在於螢光反射濾光器分量在近似300到800nm光譜範圍提供接近百分之百的反射。
34.根據權利要求29所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm和700到750nm光譜範圍的詢問光譜段。
35.根據權利要求27所述的設備，其特徵在於濾光輪包括光阻塞區域。
36.根據權利要求26所述的設備，其特徵在於運動的濾光器包括光阻塞區域。
37.根據權利要求1所述的設備，其特徵在於第二光調製器包括光轉換設備。
38.根據權利要求37所述的設備，其特徵在於光轉換設備包括空間光調製器。
39.根據權利要求38所述的設備，其特徵在於空間光調製器包括液晶設備。
40.根據權利要求38所述的設備，其特徵在於空間光調製器包括數字微反射鏡設備。
41.根據權利要求1所述的設備，其特徵在於至少一個檢測器至少包括分光計。
42.一種同時測量圖像的方法，包括產生詢問寬帶輻射；分離詢問寬帶輻射為對應多個成像形式的多個詢問光譜段；詢問光譜段與目標對象交互作用產生返回輻射；分離返回輻射為對應多個成像形式的多個返回光譜段；將返回光譜段處理為圖像。
43.根據權利要求42所述的方法，其特徵在於還包括步驟將分離詢問寬帶輻射與分離返回輻射同步。
44.根據權利要求43所述的方法，其特徵在於還包括顯示所述的圖像。
45.根據權利要求42所述的方法，其特徵在於還包括顯示所述的圖像。
46.根據權利要求42所述的方法，其特徵在於還包括對齊所述圖像。
47.根據權利要求46所述的方法，其特徵在於還包括x-y像素移動。
48.根據權利要求42所述的方法，其特徵在於所述方法用於通過血液觀察目標對象。
49.根據權利要求42所述的方法，其特徵在於還包括從光發射二極體產生寬帶輻射。
50.一種同時測量圖像的光學設備，包括光源，用於傳遞詢問寬帶輻射；光調製器，用於將詢問寬帶輻射分離為對應多個成像形式的多個詢問光譜段；目標對象，與詢問光譜段交互作用，以便產生返回輻射；檢測器，接收並處理返回輻射，包括裝置，將返回輻射分離為對應多個成像形式的多個返回光譜段，裝置，將返回光譜段處理為圖像。
51.根據權利要求50所述的設備，其特徵在於還包括同步光調製器和檢測器的裝置。
52.根據權利要求51所述的設備，其特徵在於還包括顯示圖像的裝置。
53.根據權利要求50所述的設備，其特徵在於還包括顯示圖像的裝置。
54.根據權利要求53所述的設備，其特徵在於顯示裝置包括對齊圖像裝置。
55.根據權利要求54所述的設備，其特徵在於對齊包括x-y像素移動的裝置。
56.根據權利要求50所述的設備，其特徵在於光源包括在內窺鏡中的多個光發射二極體。
57.根據權利要求56所述的設備，其特徵在於光調製器由同步的電子轉換的光發射二極體分離詢問寬帶輻射。
58.根據權利要求50所述的設備，其特徵在於光調製器包括有對應多個成像形式的多個調製分量的運動的濾光器，所述分量有由分量分離的寬帶輻射與寬帶輻射的比率組成的佔空度。
59.根據權利要求58所述的設備，其特徵在於運動的濾光器包括濾光輪。
60.根據權利要求59所述的設備，其特徵在於濾光輪旋轉在近似1800rpm。
61.根據權利要求59所述的設備，其特徵在於多個調製分量包括至少彩色平衡濾光器分量和螢光激發濾光器分量。
62.根據權利要求61所述的設備，其特徵在於螢光激發濾光器分量的佔空度小於或等於近似百分之五十。
63.根據權利要求61所述的設備，其特徵在於螢光激發濾光器的佔空度大於百分之五十。
64.根據權利要求61所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm光譜範圍的詢問光譜段。
65.根據權利要求61所述的設備，其特徵在於螢光激發濾光器分量對應於有近似700到750nm光譜範圍的詢問光譜段。
66.根據權利要求61所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm和700到750nm光譜範圍的詢問光譜段。
67.根據權利要求59所述的設備，其特徵在於濾光輪包括光阻塞區域。
68.根據權利要求58所述的設備，其特徵在於運動的濾光器包括光阻塞區域。
69.根據權利要求50所述的設備，其特徵在於光調製器包括光轉換設備。
70.根據權利要求69所述的設備，其特徵在於光轉換設備包括空間光調製器。
71.根據權利要求70所述的設備，其特徵在於空間光調製器包括液晶設備。
72.根據權利要求70所述的設備，其特徵在於空間光調製器包括數字微反射鏡設備。
73.根據權利要求50所述的設備，其特徵在於檢測器包括至少白光檢測器和螢光檢測器。
74.根據權利要求50所述的設備，其特徵在於分離裝置包括多個分光反射鏡。
75.根據權利要求74所述的設備，其特徵在於還包括多個濾光器。
76.根據權利要求75所述的設備，其特徵在於多個濾光器包括至少一個帶通濾光器。
77.根據權利要求75所述的設備，其特徵在於多個濾光器包括至少一個長通濾光器。
78.根據權利要求75所述的設備，其特徵在於多個濾光器包括至少一個帶通濾光器和至少一個長通濾光器。
79.根據權利要求74所述的設備，其特徵在於還包括多個鏡頭。
80.根據權利要求79所述的設備，其特徵在於多個鏡頭聚焦多個返回光譜段到對應的多個傳感器上。
81.根據權利要求80所述的設備，其特徵在於傳感器有增益並增益是基於成像形式可調整的。
82.根據權利要求80所述的設備，其特徵在於多個傳感器包括CCD。
83.根據權利要求50所述的設備，其特徵在於還包括調整返回光譜段強度的裝置。
84.根據權利要求83所述的設備，其特徵在於調整裝置是光調製器。
85.根據權利要求58所述的設備，其特徵在於還包括基於佔空度調整返回光譜段強度的裝置。
86.根據權利要求50所述的設備，其特徵在於還包括同步光調製器和監測器的幀傳感器。
87.根據權利要求50所述的設備，其特徵在於處理裝置包括轉換器，分配返回光譜段到多個模數轉換器之一，其中多個模數轉換器數位化所返回光譜段；門陣，將數位化的返回光譜段處理為圖像。
88.根據權利要求87所述的設備，其特徵在於門陣對齊所述圖像。
89.根據權利要求88所述的設備，其特徵在於門陣由x-y像素移動對齊圖像。
90.根據權利要求88所述的設備，其特徵在於門陣由測量在多個返回光譜段中的對應像素的比率對齊圖像。
91.一種同時測量圖像的方法，包括產生詢問寬帶輻射；將詢問寬帶輻射分離為對應多個成像形式的多個詢問光譜段；詢問光譜段與目標對象交互作用，以產生返回輻射；檢測所述返回輻射，包括將返回輻射分離為對應多個成像形式的多個返回光譜段；將返回光譜段處理為圖像。
92.根據權利要求91所述的方法，其特徵在於還包括步驟將分離詢問寬帶輻射和檢測同步。
93.根據權利要求92所述的方法，其特徵在於還包括顯示所述圖像。
94.根據權利要求91所述的方法，其特徵在於還包括顯示所述圖像。
95.根據權利要求91所述的方法，其特徵在於還包括對齊圖像。
96.根據權利要求91所述的方法，其特徵在於對齊步驟包括x-y像素移動。
97.根據權利要求91所述的方法，其特徵在於所述方法用於通過血液觀察目標對象。
98.根據權利要求91所述的方法，其特徵在於還包括由光發射二極體產生寬帶輻射。
99.根據權利要求98所述的方法，其特徵在於還包括在內窺鏡中產生寬帶輻射。
100.根據權利要求99所述的方法，其特徵在於還包括由同步的電子轉換的光發射二極體分離詢問寬帶輻射。
101.根據權利要求100所述的方法，其特徵在於所述方法用於通過血液觀察目標對象。
102.一種同時測量白光和螢光圖像的光學設備，包括裝置，用於提供要求的發光，裝置，以視頻速率調製實時成像的發光，裝置，由發光與目標對象交互作用產生圖像，裝置，以視頻速率分離圖像，裝置，檢測分離的圖像，裝置，處理檢測的分離的圖像，裝置，控制所述檢測和處理分離的圖像，裝置，顯示至少一個處理的圖像。
103.一種獲得同時的圖像的內窺鏡，包括有位於體內的內部端和延伸到體外的外部端的探測器；光源，產生詢問寬帶輻射；光調製器，將詢問寬帶輻射分離為對應多個成像形式的多個詢問光譜段；體內的目標對象與詢問光譜段交互作用產生成像的返回輻射；透鏡，在CCD傳感器上聚焦返回輻射。
104.根據權利要求103所述的設備，其特徵在於光源連接外部端，還包括從光源傳導寬帶輻射的照明光纖束。
105.根據權利要求103所述的設備，其特徵在於CCD傳感器包括至少一組像素，其中在至少一組中的每個像素覆蓋有傳送藍光的帶通濾光器、傳送綠光的帶通濾光器、傳送紅光的帶通濾光器、傳送近紅外光的帶通濾光器之一。
106.根據權利要求105所述的設備，其特徵在於還包括，從藍光產生藍通道圖像，從綠光產生綠通道圖像，從紅光產生紅通道圖像，從近紅外光產生近紅外通道圖像的裝置。
107.根據權利要求106所述的設備，其特徵在於還包括顯示通道圖像的裝置。
108.根據權利要求107所述的設備，其特徵在於CCD傳感器包括至少一組像素，其中在至少一組中的每個像素覆蓋有傳送藍光的帶通濾光器，傳送綠光的帶通濾光器，傳送紅光的帶通濾光器之一。
109.根據權利要求108所述的設備，其特徵在於還包括，產生來自藍光的藍通道圖像，產生來自綠光的綠通道圖像，產生來自紅光的紅通道圖像的裝置。
110.根據權利要求109所述的設備，其特徵在於還包括顯示通道圖像的裝置。
111.根據權利要求103所述的設備，其特徵在於光調製器包括有對應多個成像形式的多個調製分量的運動的濾光器，每個分量有由分量分離的寬帶輻射與寬帶輻射的比率組成的佔空度。
112.根據權利要求111所述的設備，其特徵在於運動的濾光器包括濾光輪。
113.根據權利要求112所述的設備，其特徵在於濾光輪旋轉在近似1800rpm。
114.根據權利要求112所述的設備，其特徵在於多個調製分量包括至少彩色平衡濾光器分量和螢光激發濾光器分量。
115.根據權利要求114所述的設備，其特徵在於螢光激發濾光器分量的佔空度小於或等於近似百分之五十。
116.根據權利要求114所述的設備，其特徵在於螢光激發濾光器的佔空度大於百分之五十。
117.根據權利要求114所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm光譜範圍的詢問光譜段。
118.根據權利要求114所述的設備，其特徵在於螢光激發濾光器分量對應於有近似700到750nm光譜範圍的詢問光譜段。
119.根據權利要求114所述的設備，其特徵在於螢光激發濾光器分量對應於有近似400到450nm和700到750nm光譜範圍的詢問光譜段。
120.根據權利要求112所述的設備，其特徵在於濾光輪包括光阻塞區域。
121.根據權利要求111所述的設備，其特徵在於運動的濾光器包括至少彩色平衡濾光器和螢光激發濾光器。
122.根據權利要求111所述的設備，其特徵在於運動的濾光器包括光阻塞區域。
123.根據權利要求103所述的設備，其特徵在於光調製器包括光轉換設備。
124.根據權利要求123所述的設備，其特徵在於光轉換設備包括空間光調製器。
125.根據權利要求124所述的設備，其特徵在於空間光調製器包括液晶設備。
126.根據權利要求124所述的設備，其特徵在於空間光調製器包括數字微反射鏡設備。
127.一種獲得同時的圖像的內窺鏡，包括有位於體內的內部端和延伸到體外的外部端的探測器；光源，包括位於內部端的多個光發射二極體並產生詢問輻射，其中電轉換光發射二極體電轉換，產生對應多個成像形式的多個詢問光譜段；體內的目標對象與詢問光譜段交互作用產生成像的返回輻射；透鏡聚焦在CCD傳感器上的返回輻射，其中CCD傳感器包括至少一組像素，一組像素捕獲圖像的多個光譜帶。
128.根據權利要求127所述的設備，其特徵在於一組像素包括像素覆蓋有傳送藍光的帶通濾光器，像素覆蓋有傳送綠光的帶通濾光器，像素覆蓋有傳送紅光的帶通濾光器，像素覆蓋有傳送近紅外光的帶通濾光器。
129.根據權利要求128所述的設備，其特徵在於還包括產生來自藍光的藍通道圖像，產生來自綠光的綠通道圖像，產生來自紅光的紅通道圖像，產生來自近紅外光的近紅外通道圖像的裝置。
130.根據權利要求129所述的設備，其特徵在於還包括顯示通道圖像的裝置。
131.根據權利要求127所述的設備，其特徵在於各組像素包括像素覆蓋有傳送藍光的帶通濾光器，像素覆蓋有傳送綠光的帶通濾光器，像素覆蓋有傳送紅光的帶通濾光器。
132.根據權利要求131所述的設備，其特徵在於還包括產生來自藍光的藍通道圖像，產生來自綠光的綠通道圖像，產生來自紅光的紅通道圖像的裝置。
全文摘要
本發明包括光學設備，方法並用作實時(視頻速率)同時的多模式成像，例如用內窺鏡同時的測量白光反射，自然組織自身螢光和近紅外圖像。這些原理可用於各種光學設備，如顯微鏡，內窺鏡，望遠鏡，照相機等，觀察或分析光與物體，如行星，植物，巖石，動物，細胞，組織，蛋白質，DNA，半導體等的交互作用。多帶光譜圖像可提供形態學數據，如肺組織的表面結構，然而化學組成，子結構和其它的物體特徵可從涉及反射或來自物體的光輻射的(發射的)如發光或螢光光譜信號推論，指出內源的化學物或外源的物質如用於增強可見性的染色劑，藥物，治療或其它作用物。因此，本發明的一個實例討論同時的白光反射和螢光成像。另一實例描述附加的另一反射的成像形式(近紅外光光譜)。討論各種應用的輸入(發光)光譜，光調製器，光處理，物體交互作用，輸出光譜，檢測器結構，同步，圖像處理和顯示。
文檔編號A61B5/00GK1802122SQ200480015980
公開日2006年7月12日 申請日期2004年5月7日 優先權日2003年5月8日
發明者曾海山, 米裡揚·佩泰克, 布蘭科·帕爾契奇, 加裡·W·弗格森 申請人:博世創醫療公司, 不列顛哥倫比亞癌症研究所