螢光觀察裝置、螢光觀察系統和螢光圖像處理方法
2023-06-10 19:26:51 2
螢光觀察裝置、螢光觀察系統和螢光圖像處理方法
【專利摘要】充分去除除法運算後的圖像中殘存的對距離等的依賴性，利用高定量性的螢光圖像來進行觀察。提供螢光觀察裝置（1），其具有：照明部（4），其具有照射照明光和激勵光的光源（3）；螢光攝像部（18），其拍攝在被攝體（A）中產生的螢光，取得螢光圖像（G2）；返回光攝像部（17），其拍攝從被攝體（A）返回的返回光，取得返回光圖像（G1）；預處理部（23），其將螢光圖像（G2）或返回光圖像（G1）中的至少一方乘以使對標準試樣取得的螢光強度的距離特性與返回光強度的距離特性相互成正比例關係的係數，生成校正用螢光圖像（G2''）和校正用返回光圖像（G1''）；以及螢光圖像校正部（24），其將該預處理部（23）生成的校正用螢光圖像（G2''）除以校正用返回光圖像（G1''）。
【專利說明】螢光觀察裝置、螢光觀察系統和螢光圖像處理方法
【技術領域】
[0001]本發明涉及螢光觀察裝置、螢光觀察系統和螢光圖像處理方法。
【背景技術】
[0002]過去，已知有將螢光圖像除以反射光圖像，對由觀察距離、角度引起的螢光圖像的亮度變動進行校正的方法(例如，參照專利文獻I~專利文獻3)。
[0003]現有技術文獻
[0004]專利文獻
[0005]專利文獻1:日本特開昭62 - 247232號公報
[0006]專利文獻2:日本特公平3 - 58729號公報
[0007]專利文獻3:日本特開2006 - 175052號公報
【發明內容】
[0008]發明要解決的問題
[0009]但是，在螢光與反射光中，拍攝亮度對觀察距離的依賴性和拍攝亮度對觀察角度的依賴性不同的，因此，如果只是簡單地將螢光圖像除以反射光圖像，則存在不能充分校正距離和角度的影響這樣的問題。
[0010]本發明是鑑於上述的情況而完成的，目的在於提供一種螢光觀察裝置、螢光觀察系統和螢光圖像處理方法，能夠充分去除殘存在經過除法運算而得到的圖像中的對距離等的依賴性，利用高定量性的螢光圖像進行觀察。
[0011]用於解決問題的手段
[0012]為了達成上述目的，本發明提供如下手段。
[0013]本發明的第I方式提供一種螢光觀察裝置，其具有:照明部，其具有照射照明光和激勵光的光源；螢光攝像部，其拍攝被攝體中產生的螢光，取得螢光圖像，返回光攝像部，其拍攝從被攝體返回的返回光，取得返回光圖像；預處理部，其將所述螢光圖像或所述返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的距離特性與返回光強度的距離特性相互成正比例關係的係數，生成校正用螢光圖像和校正用返回光圖像；以及螢光圖像校正部，其將由該預處理部生成的所述校正用螢光圖像除以所述校正用返回光圖像。
[0014]根據本發明的第I方式，在從照明部向被攝體照射激勵光時，被攝體內存在的螢光物質被激勵而產生螢光。通過螢光攝像部拍攝所產生的螢光，取得螢光圖像。另一方面，在從照明部向被攝體照射照明光時，通過返回光攝像部拍攝在被攝體的表面被反射等而返回的返回光，取得返回光圖像。在螢光圖像校正部中，使用返回光圖像來校正取得的螢光圖像。
[0015]在該情況下，在螢光圖像校正部的校正之前，在預處理部中，通過將螢光圖像和返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的距離特性與返回光強度的距離特性相互成正比例關係的係數，來生成校正用螢光圖像和校正用返回光圖像。[0016]即，構成螢光圖像的各像素的螢光強度和構成返回光圖像的各像素的返回光強度根據從照明部到與該像素對應的被攝體上的位置之間的距離而變化，且能夠近似為各個距離的指數函數。由於螢光強度的距離特性的指數與返回光強度的距離特性的指數不同，因此如果直接將螢光圖像除以返回光圖像，不能去除距離的依賴性。因此，預先以各個距離特性的指數的倒數對螢光強度和返回光強度進行冪運算，由此，能夠使螢光強度的距離特性與返回光強度的距離特性相互成正比例關係，在進行除法運算時能夠去除距離的依賴性。
[0017]因此，根據預先對標準試樣取得的螢光強度的距離特性和返回光強度的距離特性，預先求出通過與螢光圖像和返回光圖像中的至少一方相乘而得到與以上述的指數的倒數進行冪運算相同效果的係數。並且，將求出的係數乘以螢光圖像和返回光圖像中的至少一方，生成校正用螢光圖像和校正用返回光圖像，在螢光圖像校正部中，將校正用螢光圖像除以校正用返回光圖像，由此，能夠得到被校正為充分降低了距離依賴性的螢光圖像。
[0018]即，根據本發明的第I方式，與指數近似的情況相比，能夠精確地降低距離的依賴性，進行高定量性的螢光觀察。
[0019]此外，本發明的第2方式提供一種螢光觀察裝置，其具有:照明部，其具有照射照明光和激勵光的光源；螢光攝像部，其拍攝被攝體中產生的螢光，取得螢光圖像；返回光攝像部，其拍攝從被攝體返回的返回光，取得返回光圖像；預處理部，其將所述螢光圖像或所述返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的角度特性與返回光強度的角度特性相互成正比例關係的係數，生成校正用螢光圖像和校正用返回光圖像；以及螢光圖像校正部，其將 由該預處理部生成的所述校正用螢光圖像除以所述校正用返回光圖像。
[0020]根據本發明的第2方式，在螢光圖像校正部的校正之前，在預處理部中，將螢光圖像和返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的角度特性與返回光強度的角度特性相互成正比例關係的係數，由此生成校正用螢光圖像和校正用返回光圖像。
[0021]即，構成螢光圖像的各像素的螢光強度和構成返回光圖像的各像素的返回光強度根據從照明部到與該像素對應的被攝體上的位置之間的角度而變化，且能夠近似為各個角度的指數函數。由於螢光強度的角度特性的指數與返回光強度的角度特性的指數不同，因此，如果直接將螢光圖像除以返回光圖像，則不能去除角度的依賴性。因此，通過預先以各個角度特性的指數的倒數對螢光強度和返回光強度進行冪運算，能夠使螢光強度的角度特性與返回光強度的角度特性相互成正比例關係，在進行除法運算時，能夠去除角度的依賴性。
[0022]因此，根據預先對標準試樣取得的螢光強度的角度特性和返回光強度的角度特性，預先求出通過與螢光圖像和返回光圖像中的至少一方相乘而得到與以上述的指數的倒數進行冪運算相同效果的係數。並且，將求出的係數乘以螢光圖像和返回光圖像中的至少一方，生成校正用螢光圖像和校正用返回光圖像，在螢光圖像校正部中，將校正用螢光圖像除以校正用返回光圖像，由此，能夠得到被校正為充分降低了角度依賴性的螢光圖像。
[0023]即，根據本發明的第2方式，與指數近似的情況相比，能夠精確地降低角度的依賴性，進行高定量性的螢光觀察。
[0024]在本發明的第I方式或第2方式中，可以構成為具有存儲所述係數的存儲部，所述預處理部將所述存儲部中存儲的係數乘以所述螢光圖像或所述返回光圖像中的至少一方。
[0025]由此，僅通過乘以存儲部中存儲係數，就能夠簡單地降低距離或角度的依賴性，進行高定量性的螢光觀察。
[0026]此外，上述結構中，具有為了變更觀察條件而被拆裝的拆裝部件，該拆裝部件中記錄有識別信息，螢光觀察裝置具有讀取該拆裝部件中存儲的識別信息的識別信息讀取單元，在所述存儲部中，將所述識別信息和所述係數對應起來進行存儲。
[0027]由此，在通過拆裝拆裝部件來變更觀察條件時，能夠通過識別信息讀取單元讀取拆裝部件中存儲的識別信息，設定在存儲部中與識別信息對應起來進行存儲的係數。作為拆裝部件，例如可舉出內窺鏡裝置的鏡體等，在該情況下，作為被變更的觀察條件，可舉出物鏡光學系統的NA和瞳徑，可觀察的螢光的波長和觀察對象部位(胃，大腸等)等。由此，能夠與觀察條件對應地設定最優的係數，即使在觀察條件發生變動的情況下，也能夠進行高定量性的螢光觀察。
[0028]此外，在本發明的第I方式或第2方式中，也可以是，所述預處理部根據所述螢光攝像部和所述返回光攝像部的增益和曝光時間，對所述螢光圖像的各像素的螢光強度和所述返回光圖像的各像素的返回光強度進行歸一化，生成歸一化螢光圖像和歸一化返回光圖像，將這些歸一化螢光圖像或歸一化返回光圖像中的至少一方乘以所述係數，生成校正用螢光圖像和校正用返回光圖像。
[0029]由此，在螢光攝像部和返回光攝像部中，即使在拍攝螢光圖像和返回光圖像時進行了不同的增益調整和曝光時間調整，也能夠生成將其歸一化了的歸一化螢光圖像和歸一化返回光圖像，並使用它們來生成校正用螢光圖像和校正用返回光圖像，由此，能夠進行更高定量性的螢光觀察。
[0030]此外，本發明的第3方式提供一種突光觀察系統,該突光觀察系統具有:上述突光觀察裝置；以及矯正裝置，其與該螢光觀察裝置連接，計算所述係數，其中，該矯正裝置具有標準試樣和觀察距離設定機構，該觀察距離設定機構以能夠變更的方式設定所述螢光觀察裝置相對於該標準試樣的觀察距離，基於由所述觀察距離設定機構設定的觀察距離和由所述螢光觀察裝置拍攝所述標準試樣而取得的螢光圖像和返回光圖像，計算通過與該螢光圖像和所述返回光圖像中的至少一方相乘使螢光強度的距離特性與返回光強度的距離特性成正比例的係數，並存儲在所述存儲部中。
[0031]根據本發明的第3方式，一邊通過矯正裝置的觀察距離設定機構變更螢光觀察裝置相對於標準試樣的觀察距離，一邊通過螢光觀察裝置拍攝標準試樣，由此，能夠得到標準試樣的螢光亮度的距離特性和返回光強度的距離特性，根據這些距離特性，能夠計算出使兩個距離特性成正比例的係數。並且，將計算出的係數存儲在螢光觀察裝置的存儲部中，由此，在通過螢光觀察裝置對被攝體進行螢光觀察時，即使在螢光觀察裝置存在個體差異或者存在拆裝部件的情況下，也能夠與該個體差異無關地，使用精確地計算出的係數，進行更高定量性的螢光觀察。
[0032]此外，本發明的第4方式提供一種突光觀察系統,該突光觀察系統具有:上述突光觀察裝置；以及矯正裝置，其與該螢光觀察裝置連接，計算所述係數，其中，該矯正裝置具有標準試樣和觀察角度設定機構，該觀察角度設定機構以能夠變更的方式設定所述螢光觀察裝置相對於該 標準試樣的觀察角度，基於由所述觀察角度設定機構設定的觀察角度和由所述螢光觀察裝置拍攝所述標準試樣取得的螢光圖像和返回光圖像，計算通過與該螢光圖像和所述返回光圖像中的至少一方相乘使螢光強度的角度特性與返回光強度的角度特性成正比例的係數，並存儲在所述存儲部中。
[0033]根據本發明的第4方式，一邊通過矯正裝置的觀察角度設定機構變更螢光觀察裝置相對於標準試樣的觀察角度，一邊通過螢光觀察裝置拍攝標準試樣，由此，能夠得到標準試樣的螢光亮度的角度特性和返回光強度的角度特性，根據這些角度特性，能夠計算出使兩個角度特性成正比例的係數。並且，將計算出的係數存儲在螢光觀察裝置的存儲部中，由此，在通過螢光觀察裝置對被攝體進行螢光觀察時，即使在螢光觀察裝置存在個體差異或者存在拆裝部件的情況下，也能夠與該個體差異無關地，使用精確地計算出的係數，進行更高定量性的螢光觀察。 [0034]此外，本發明的第5方式提供一種螢光圖像處理方法，該螢光圖像處理方法包含:預處理步驟，使用通過拍攝向被攝體照射激勵光在被攝體中產生的螢光而取得的螢光圖像，拍攝向被攝體照射照明光從被攝體返回的返回光而取得的返回光圖像，將所述螢光圖像或所述返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的距離特性與返回光強度的距離特性相互成正比例關係的係數，生成校正用螢光圖像和校正用返回光圖像；以及螢光圖像校正步驟，將通過該預處理步驟生成的所述校正用螢光圖像除以所述校正用返回光圖像。
[0035]發明效果
[0036]根據本發明，能夠發揮如下效果:充分去除進行了除法運算後的圖像中殘存的對距離等的依賴性，利用高定量性的螢光圖像來進行觀察。
【專利附圖】
【附圖說明】
[0037]圖1是示出本發明的一個實施方式的螢光觀察裝置的整體結構圖。
[0038]圖2是示出用於導出在圖1的螢光觀察裝置中使用的係數的圖像的灰度值、增益、曝光時間和歸一化圖像與由它們導出的係數之間對應關係的一覽表例的圖。
[0039]圖3是示出根據圖2導出的歸一化返回光圖像的灰度值與係數之間的對應關係的一覽表例的圖。
[0040]圖4是示出圖1的螢光觀察裝置的變形例的整體結構圖。
[0041]圖5是示出本發明的一個實施方式的螢光觀察系統的整體結構圖。
[0042]圖6是示出圖1的螢光觀察系統的矯正裝置的圖。
【具體實施方式】
[0043]以下，參照附圖，對本發明的一個實施方式的螢光觀察裝置I和螢光圖像處理方法進行說明。
[0044]本實施方式的螢光觀察裝置I是內窺鏡裝置，如圖1所示，其具有:插入體內的細長的插入部2 ;光源(照明部)3 ;照明單元(照明部)4，其從插入部2的前端向觀察對象A照射來自該光源3的照明光和激勵光；攝像單元5，其設置在插入部2的前端，取得作為觀察對象A的活體組織的圖像信息；圖像處理部6，其配置在插入部2的基端側，處理由攝像單元5取得的圖像信息；以及監視器7，其顯示由該圖像處理部6處理後的圖像G。[0045]光源3具有:氣氣燈8 ;濾光片9,其在從該氣氣燈8發出的照明光中，分離出激勵光和照明光(例如，波長範圍為400~740nm);以及耦合鏡頭10，其使由濾光片9分離出的激勵光和照明光會聚。
[0046]照明單元4具有:光導纖維11，其在插入部2的長度方向的幾乎全長上進行配置，引導被耦合鏡頭10會聚的激勵光和照明光；以及照明光學系統12，其設置在插入部2的前端，使由光導纖維11引導的激勵光和照明光擴散並照射於與插入部2的前端面2a相對的觀察對象A。
[0047]攝像單元5具有:物鏡13，其使從觀察對象A的規定的觀察範圍返回的返回光會聚；分色鏡(分支部)14，其在由該物鏡13會聚的返回光中，使激勵波長以上的光(激勵光和螢光)反射，使波長小於激勵波長的照明光透過；兩個會聚鏡頭(攝像光學系統)15、16，它們分別會聚透過分色鏡14的照明光和被分色鏡14反射的螢光；以及兩個CCD這樣的攝像元件17、18，它們拍攝由會聚鏡頭15、16會聚的螢光和照明光。圖中，標號19是在被分色鏡14反射的光中遮斷激勵光(例如，僅使波長範圍760~850nm的光透過)的激勵光截止濾光片。
[0048]圖像處理部6具有:返回光圖像生成部20，其根據由攝像元件17取得的返回光圖像信息S1，生成返回光圖像G1 ;螢光圖像生成部21，其根據由攝像元件18取得的螢光圖像信息S2,生成螢光圖像G2 ；以及圖像歸一化部22，其對由這些返回光圖像生成部20和螢光圖像生成部21生成的返回光圖像G1和螢光圖像G2進行歸一化，生成歸一化返回光圖像G/和歸一化螢光圖像G2』。
[0049]此外，圖像處理部6具有:預處理部23，其根據由圖像歸一化部22生成的歸一化返回光圖像G/和歸一化螢光圖像G2』，生成校正用返回光圖像G/』和校正用螢光圖像G2";圖像校正部24，其通過將由該預處理部23生成的校正用螢光圖像62』』除以校正用返回光圖像G/ 』，來進行校正；以及圖像合成部25，其合成在該圖像校正部24中生成的校正後的螢光圖像G3和在返回 光圖像生成部20中生成的返回光圖像G1，生成圖像G。
[0050]圖像合成部25例如合成圖像G並將其輸出到監視器7，該圖像G中返回光圖像G1和校正後的螢光圖像G3並排地配置，同時在監視器7中顯示。
[0051]此處，作為螢光圖像62，例如是來自螢光色素Cy7的螢光圖像即可。尤其是，如果預先對觀察對象A投放腫瘤特異的螢光藥劑，例如使和癌特異的分子CEA對應的抗體(Ant1- CEA抗體)與Cy7結合的螢光藥劑，則能夠得到腫瘤特異的螢光圖像G2。此外，作為返回光圖像G1，例如使用如下圖像即可:該圖像是基於照明光在觀察對象A的表面進行反射的返回光和在觀察對象A的內部的散射的返回光而得到的。
[0052]圖像歸一化部22使用式I所示的關係式，對返回光圖像G1和螢光圖像G2進行歸一化。
[0053][式I]
[0054]
【權利要求】
1.一種螢光觀察裝置，其中，該螢光觀察裝置具有: 照明部，其具有照射照明光和激勵光的光源； 螢光攝像部，其拍攝被攝體中產生的螢光，取得螢光圖像； 返回光攝像部，其拍攝從被攝體返回的返回光，取得返回光圖像； 預處理部，其將所述螢光圖像或所述返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的距離特性與返回光強度的距離特性相互成正比例關係的係數，生成校正用螢光圖像和校正用返回光圖像；以及 螢光圖像校正部，其將由該預處理部生成的所述校正用螢光圖像除以所述校正用返回光圖像。
2.一種螢光觀察裝置，其中，該螢光觀察裝置具有: 照明部，其具有照射照明光和激勵光的光源； 螢光攝像部，其拍攝被攝體中產生的螢光，取得螢光圖像； 返回光攝像部，其拍攝從被攝體返回的返回光，取得返回光圖像； 預處理部，其將所述螢光圖像或所述返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的角度特性與返回光強度的角度特性相互成正比例關係的係數，生成校正用螢光圖像和校正用返回光圖像；以及 螢光圖像校正部，其將由該預處理部生成的所述校正用螢光圖像除以所述校正用返回光圖像。`
3.根據權利要求1或2所述的螢光觀察裝置，其中， 所述螢光觀察裝置具有存儲所述係數的存儲部， 所述預處理部將所述存儲部中存儲的係數乘以所述螢光圖像或所述返回光圖像中的至少一方。
4.根據權利要求3所述的螢光觀察裝置，其中， 所述螢光觀察裝置具有為了變更觀察條件而被拆裝的拆裝部件， 該拆裝部件中記錄有識別信息， 所述螢光觀察裝置具有讀取該拆裝部件中存儲的識別信息的識別信息讀取單元， 在所述存儲部中，所述識別信息與所述係數對應起來進行存儲。
5.根據權利要求1或2所述的螢光觀察裝置，其中， 所述預處理部根據所述螢光攝像部和所述返回光攝像部的增益和曝光時間，對所述螢光圖像的各像素的螢光強度和所述返回光圖像的各像素的返回光強度進行歸一化，生成歸一化螢光圖像和歸一化返回光圖像，將這些歸一化螢光圖像或歸一化返回光圖像中的至少一方乘以所述係數，生成校正用螢光圖像和校正用返回光圖像。
6.一種螢光觀察系統，其中， 該螢光觀察系統具有: 權利要求1所述的螢光觀察裝置；以及 矯正裝置，其與該螢光觀察裝置連接，計算所述係數， 其中，該矯正裝置具有標準試樣和觀察距離設定機構，該觀察距離設定機構以能夠變更的方式設定所述螢光觀察裝置相對於該標準試樣的觀察距離，基於由所述觀察距離設定機構設定的觀察距離和由所述螢光觀察裝置拍攝所述標準試樣而取得的螢光圖像和返回光圖像，計算通過與該螢光圖像和所述返回光圖像中的至少一方相乘而使螢光強度的距離特性與返回光強度的距離特性成正比例的係數，並存儲在所述存儲部中。
7.一種螢光觀察系統，其中， 該螢光觀察系統具有: 權利要求2所述的螢光觀察裝置；以及 矯正裝置，其與該螢光觀察裝置連接，計算所述係數， 其中，該矯正裝置具有標準試樣和觀察角度設定機構，該觀察角度設定機構以能夠變更的方式設定所述螢光觀察裝置相對於該標準試樣的觀察角度，基於由所述觀察角度設定機構設定的觀察角度和由所述螢光觀察裝置拍攝所述標準試樣而取得的螢光圖像和返回光圖像，計算通過與該螢光圖像和所述返回光圖像中的至少一方相乘而使螢光強度的角度特性與返回光強度的角度特性成正比例的係數，並存儲在所述存儲部中。
8.一種螢光圖像處理方法，其中，該螢光圖像處理方法包含: 預處理步驟，使用通過拍攝由於向被攝體照射激勵光而在被攝體中產生的螢光而取得的螢光圖像、以及通過拍攝由於向被攝體照射照明光而從被攝體返回的返回光而取得的返回光圖像，將所述螢光圖像或所述返回光圖像中的至少一方乘以使預先對標準試樣取得的螢光強度的距離特性與返回光強度的距離特性相互成正比例關係的係數，生成校正用螢光圖像和校正用返回光圖像；以及 螢光圖像校正步驟，將通 過該預處理步驟生成的所述校正用螢光圖像除以所述校正用返回光圖像。
【文檔編號】A61B1/00GK103607940SQ201180071671
【公開日】2014年2月26日 申請日期:2011年6月21日 優先權日:2011年6月21日
【發明者】石原康成 申請人:奧林巴斯株式會社