用於從圖像中除去自身螢光的方法和系統的製作方法

2023-06-12 07:19:46 2

專利名稱：用於從圖像中除去自身螢光的方法和系統的製作方法
用於從圖像中除去自身螢光的方法和系統
背景技術：
本發明通常涉及用於從生物材料的圖像中除去這些生物材料固有的自身螢光的 方法和系統。組織自身螢光(AF)是顯微鏡和外科手術應用中的一個基本的問題。它降低了信 號檢測的靈敏性，並且在某些情況中會引起螢光染料信號檢測失敗。精確的檢測蛋白-特 異性螢光染料對於許多顯微鏡應用而言是關鍵的，同樣對於分子病理成像而言也是關鍵 的，在這裡分子路徑的量化在下面的方面具有重要的意義例如預測藥物響應，治療計劃， 和癌症患者的種群分裂(population segmentation)。近年來許多螢光染料的開發使得光學螢光顯微鏡成為用於認識疾病的選擇方法。 眾多的研究已經使用了螢光光譜技術來研究組織自身螢光的變化，用於診斷直腸，胸部， 肺，子宮頸，結腸，胃腸道和癌症。但是，這些方法需要廣泛的建立組織特定的自身螢光(AF) 光譜的模型。這種單調的建模方法(其並不總是足夠的)可以通過使用多路技術來繞開， 在其中使用人造的所引入的染料到特異性蛋白。多路技術包括通過濾色器立方體來獲得 具有非重疊的發射或者激勵光譜的不同染料的圖像，其與每個染料的發射和激勵光譜相匹 配。但是，在這樣的方法中，通過適當的外部光激勵，這些染料所發射的蛋白-特異性螢光 以未知的比例與固有的組織自身螢光(AF)信號相結合，這明顯的降低了它們的功效。因此 分離和除去固有的組織AF將明顯提高這樣的方法的精確性。雖然在文獻中提出和研究了不同的除去組織AF的策略，例如，使用液晶可調濾色 器，螢光偏振，雙波長差異螢光校正，共焦雷射掃描顯微鏡和時間分辨螢光顯微鏡，許多的 這些策略利用了昂貴的在整個光譜範圍上的多光譜成像硬體，隨後是光譜未混合的硬體。 除了增加硬體之外，還可以使用了不同的化學方法來降低組織AF的作用。數字獲得的螢光顯微鏡圖像還可以使用軟體方法回顧性處理，來將組織AF與相 關的染料螢光分離。這些方法中的一些依賴於獲得純AF信號的評估，並且通過減重，使用 它們來將AF從含有染料和AF信號二者的圖像中分離。其他人使用了統計校正技術來校正 添加的AF信號。雖然這些技術是比使用多光譜成像硬體更加成本有效的，但是它們不能完 全的除去螢光顯微鏡圖像中的AF部分。

發明內容
本發明的方法和系統通常使用兩步圖像採集方法來從螢光圖像中除去固有的組 織AF。這些方法和系統可以與或者不與化學和/或光漂白AF減少技術一起來使用。不同於使用一組調諧成特異性染料的最佳濾色器立方體來一次獲得全部染料的 圖像，所述的圖像採集是在兩個通用步驟中進行的。在第一步驟中，獲得生物材料的參考圖 像。該參考圖像可以如下來獲得首先用參考染料例如一種或多種低AF染料(例如紫外或 者紅外染料)對生物材料進行著色，然後使用對應於該低AF染料的濾色器來獲得第一參考 圖像。該參考圖像還可以不使用參考染料，而是通過使用對應於青色螢光蛋白的濾色器來 獲得。第一組的圖像還包含在這樣的染料使用之前，用對應於一種或多種另外的染料的濾
5色器所採集的圖像。這些用除了低AF染料之外相應的濾色器所採集的圖像代表了處於它 們的特定光譜的組織自身螢光。在第二步驟中加入另外的染料，然後用每個濾色器(包括 參考濾色器)獲得分別的圖像。該參考圖像是通過使用兩個步驟中共有的結構來將第一參 考圖像與第二參考圖像對準，來進行配準。然後，使用有效的評估方法來將在第一步驟中獲 得的AF信號與在第二步驟中獲得的AF和染料信號分離，形成了無AF的圖像。本發明的方 法和系統具有保存了信號，同時減少或者消除了 AF的技術效果，其提高了所形成的信號 AF的比率和檢測的整體靈敏性。這些成本有效的方法和系統避免了對於複雜和昂貴的儀器 或者化學技術的需要。該方法和系統適於寬陣列的組織微陣列(TMA)。但是，它們不限於用 於TMA，並且可以用於任何螢光成像應用中，在其中使用了參考的低AF染料或者探針和另 外的染料或者螢光探針來作為對比，並且可以採集和配準使用對應於參考染料和活性染料 濾色器的連續的圖像。為了公開這些方法和系統，作為此處使用的，術語「染料」包括螢光 和非螢光成像試劑，並且在此處的實施例中交替使用，但是目的並非限制它們的範圍或者 用途。本發明方法的一種實施方案，其用於除去與生物材料相關的任何固有的自身熒 光，通常包含步驟a)獲得該生物材料的第一參考圖像；b)使用對應於一種或多種信息染 料的一種或多種濾色器來獲得該生物材料的第一組的一種或多種圖像；c)將該一種或多 種另外的染料施用到該生物材料，然後獲得第二組的一種或多種圖像，該組圖像包含了該 生物材料的分別的圖像和該生物材料的第二參考圖像，所述的分別的圖像是用對應於所述 信息染料的每個濾色器來獲得的；d)配準該第一和第二參考圖像；和e)然後除去在步驟 c)中所獲得的圖像中所表現出的任何固有的自身螢光。該第一和第二參考圖像可以使用對應於青色螢光蛋白的濾色器來獲得；和/或其 中步驟a)進一步包含步驟將參考染料施用到該生物材料，該參考染料具有高的與自身熒 光的信號比，並且其中使用對應於該參考染料的濾色器來獲得第一和第二參考圖像。該參 考染料可以包含對應於UV光譜的染料，例如不限於DAPUP /或對應於IR光譜的染料。該第一參考圖像是具有坐標系的固定圖像，該第二參考圖像是具有坐標系的移動 圖像，和其中如下來將該參考圖像至少部分配準，來形成具有坐標系的複合圖像通過評估 一種或多種主要的變換參數來將該移動圖像繪製到該固定圖像坐標繫上。該參考圖像可以 使用相似變換來至少部分配準，該相似變換包括平移，旋轉和縮放。本發明的用於除去與生物材料相關的固有的自身螢光的系統的一種實施方案通 常包含a)適於分析生物材料的參考圖像的處理裝置，該生物材料表現出具有一種或多種 參考染料，該參考染料具有高的與自身螢光的信號比；b)對應於該參考染料的一種或多種 濾色器和對應於一種或多種信息染料的一種或多種濾色器；c)數字成像裝置，該裝置適於 與對應於參考染料和一種或多種信息染料的濾色器相配合，來獲得的該生物材料的第一組 的一種或多種圖像；並且進一步適於與對應於參考染料和一種或多種信息染料的濾色器相 配合，來獲得的該生物材料的第二組的一種或多種圖像；其中該第二組的圖像包含該生物 材料的分別的圖像，該分別的圖像是用對應於參考染料和一種或多種信息染料的每個濾色 器來獲得的；和其中該處理裝置進一步適於配準參考圖像；然後從該表現出具有一種或多 種信息染料的圖像中除去固有的自身螢光。如果使用參考染料，則至少一種的參考染料可 以對應於UV光譜和/或IR光譜。
該數字成像裝置適於使用對應於青色螢光蛋白的參考濾色器，來獲得該生物材料 的參考圖像；其中該處理器適於通過評估一種或多種主要的變換參數來繪製圖像坐標系， 來配準該參考圖像。該參考圖像可以使用但不必局限於一種或多種強度基或者特徵化基參 數來進行配準。該參考圖像是使用相似變換來至少部分配準的，該相似變換包括平移，旋轉 和縮放。本發明用於除去與生物材料相關的固有的自身螢光的系統的另外一種實施方案 通常包含a)處理裝置，該裝置適於分析使用對應於青色螢光蛋白的參考濾色器所採集的 生物材料的參考圖像，該青色螢光蛋白具有高的與自身螢光的信號比；b)對應於一種或多 種信息染料的一種或多種濾色器；c)數字成像裝置，該裝置適於與對應於一種或多種信息 染料的參考濾色器和濾色器相配合，來獲得的該生物材料的第一組的一種或多種圖像；並 且進一步適於與對應於一種或多種信息染料的參考濾色器和濾色器相配合，來獲得的該生 物材料的第二組的一種或多種圖像，其中該生物材料進一步表現出具有一種或多種的信息 染料；其中該第二組的圖像包含該生物材料的分別的圖像，該分別的圖像是用對應於一種 或多種信息染料的參考濾色器和每個濾色器來獲得的；和其中該處理裝置進一步適於配準 參考圖像；然後從該表現出具有一種或多種信息染料的圖像中除去固有的自身螢光。類似 的，該參考圖像可以使用但不限於強度基或者特徵化基參數來進行配準。該參考圖像還可 以使用相似變換來至少部分配準的，該相似變換包括平移，旋轉和縮放。說明書附圖
當閱讀下面的詳細說明，並且參考附圖時，本發明的這些和其他特徵，方面和優點 將變得更好理解，在附圖中，同樣的附圖標記代表了整個附圖中相同的部件，其中圖Ia表示了使用在TMA上的全部圖像所計算的第一採集和第二採集強度的聯合 分布。該第一採集包含AF的圖像，該第二採集是在加入染料之後的。該線表示了評估的初 始線。圖Ib表示了第一採集和第二採集強度的聯合分布。該線代表了在算法輻合之後， 最終的擬合線。圖2表示了使用不同的染料獲得的第一和第二圖像的六個圖像。上面一行包含了 來自第一圖像採集的圖像。中間一行包含了來自第二圖像採集的圖像。下面的一行包含了 校正的和無AF的圖像。在左邊一列中的圖像包含了直接共軛到Pan-Cadherin (—種隔膜 蛋白)上的Cy5染料。在右邊一列中的圖像包含了直接共軛到雌激素受體上的Cy3染料。 箭頭表示了圖像中的組織區域，例如血細胞和脂肪，其通常表現出高的AF，在其中已經除去 了 AF。圖3是用於進行所述方法的自動系統的一種實施方案的示意圖。
具體實施例方式本發明的方法和系統包含兩步圖像採集方法來提高生物材料的多路技術和其他 螢光成像的精確度。在第一步驟中，獲得生物材料的參考圖像。該圖像可以如下來簡單的 獲得使用對應於青色螢光蛋白的濾色器，或者所述組織可以首先用染料或者螢光成像試 劑(其具有最高的信號與自身螢光的比率(低AF))進行著色，然後使用對應於低AF染料 的濾色器立方體來採集該用低AF染料(在此也另外的稱作參考染料)著色的組織的圖像。
7除了通過對應於低AF染料的濾色器立方體採集的圖像(在此也另外的稱作參考圖像)之 外，使用對應於一種或多種另外的染料或者螢光成像試劑的濾色器立方體採集了另外的圖 像。這些另外的染料(在此也另外的稱作信息染料)是類型不限的，並且包括能夠照亮、增 強或者活化生物組織的任何特性或者特徵的任何染料或者成像試劑。術語「另外的」和「信 息」，與術語「染料」一起在此僅僅用來區別參考染料或者能夠用來獲得該參考圖像的染料。參考圖像或者第一組的圖像不要求必需在立即或者接近於當時或者物理鄰近於 第二組圖像的時間和位置時進行採集。相反，這些圖像可以採集和存儲來用於隨後的恢復 或者獲取。但是，該第一組圖像必須進行配置和存儲，來使得該第一組圖像的參考圖像可以 用第二組圖像的參考圖像如下來配準使用此處的方法和系統，評估一種或多種主要的變 換參數來繪製該圖像坐標系。該參考圖像還可以在光漂白步驟之後採集圖像。例如，還可以預期該方法和系統 可以用於多路技術應用中。在多路技術應用中，使用多個染料(典型的對應於不同的通道) 和採集每個染料(或者通道)的圖像，並且在連續的周圍上採集，在其之間，將光漂白劑施 用到該生物材料上，以使得另外一種染料可以隨後在染料應用和圖像採集的連續周圍上施 用。在這樣的應用中，在光漂白之後用適當的濾色器採集的生物材料的圖像可以充當參考 圖像。如果在給定的多路技術中獲得了大於一種的參考圖像，則一種或多種的這些參考圖 像可以用於配準步驟中。在獲得第一組的圖像之後，將所述組織從成像裝置(例如但不限於顯微鏡)中除 去，然後施用信息染料。如所述的，這些另外的染料被用來顯示，增強或者改變生物材料的 一種或多種特徵或者特性，來收集來自或者關於該生物材料的信息。使用整個所述組的濾 色器(對應於另外的染料的參考濾色器和濾色器二者)再一次獲得了第二組的圖像。使用 在兩個步驟之間的共同通道(對應於青色螢光蛋白或者低AF參考染料)如下來配準這兩 個參考圖像通過評估一種或多種主要的變換參數來將該複合的移動圖像繪製到該複合的 固定圖像坐標繫上。然後從所述圖像中除去該生物材料的AF。這些方法和系統可以用來成像和分析生物樣品，來分辨在生物樣品或者組織中的 一種或多種生物材料或者目標物的存在，不存在，濃度和/或空間分布等等。為了更清楚和簡明的描述和指出所請求保護的本發明的主題，提供了下面的定義 來用於具體的術語，其用於下面的說明書和附加的權利要求中。作為此處使用的，術語「生物材料」指的是獲自或者位於生物主體中的材料，包括 生物組織樣品或者源自於生物體內或者生物體外的流體和能夠處於原位的生物材料。這樣 的樣品可以是但不限於體液(例如血液，血菜，血清或者尿)，器官，組織，碎片，和分離自或 者位於哺乳動物(包括人)中的細胞。生物樣品還可以包括生物樣品的部分，包括組織(例 如器官或者組織的局部部分)。生物樣品還可以包括來自生物樣品的提取物，例如，來自生 物流體(例如血液或者尿)的抗原。作為此處使用的，術語「原位」通常指的是出現在初始位置上的事件，例如出現在 原樣的器官或者組織中或者出現在器官或者組織的典型片斷中。在一些實施方案中，目標 物的原位分析可以在來源於多種來源的細胞上進行，該來源包括生物體，器官，組織樣品或 者細胞培養物。原位分析提供了前後關係的信息，該信息會在目標物從它的初始位置除去 時丟失。因此，目標物的原位分析描述了對於位於整個細胞或者組織樣品中的目標物結合的探針的分析，不論該細胞膜是完全原樣的還是部分原樣的，這裡目標物結合的探針保持 在該細胞內。此外，此處所公開的方法可以用於分析細胞或者組織樣品中的原位目標物，其 是固定的或者未固定的。生物材料可以包括任何材料，而不管它的物理條件，例如但不限於是冷凍的或者 著色的或者處理過的。在一些實施方案中，生物材料可以包括組織樣品，整個細胞，細胞成 分，細胞離心塗片或者細胞塗片。在一些實施方案中，生物材料可以包括組織樣品。在其他 實施方案中，如果首先用參考染料，隨後用另外的染料能夠獲得目標物組織的連續圖像，則 該生物材料可以是原位組織目標物。組織樣品可以包括類似細胞的收集物，該細胞獲自具 有類似功能的生物主體的組織。在一些實施方案中，組織樣品可以包括獲自人的組織的類 似細胞的收集物。人類組織合適的例子包括但不限於(1)上皮細胞；(2)結締組織，包括血 管，骨頭和軟骨；(3)肌肉組織；和(4)神經組織。該組織樣品的來源可以是獲自新鮮的，冷 凍的和/或保存的器官或者組織樣品或者活組織檢查或者吸出物的固體組織；血液或者任 何的血液成分；體液例如大腦脊髓液，羊水，腹膜液或者組織間隙液；或者來自該主體在孕 育或者生長中的任何時間的細胞。在一些實施方案中，該組織樣品可以包括初級的或者培 養的細胞或者細胞線。在一些實施方案中，生物樣品包括來自健康的或者患病的組織樣品的組織片斷 (例如來自結腸，胸部組織，前列腺的組織片斷)。組織片斷可以包括單件或者單塊的組織 樣品，例如切割自組織樣品的薄片組織或者細胞。在一些實施方案中，可以採取多片斷組織 樣品，並且進行分析，假定此處所公開的方法能夠用於分析同樣的組織樣品片斷的至少兩 種不同的目標物(在形態學或者分子水平上)。在一些實施方案中，可以分析相同片斷的組 織樣品的至少四種不同的目標物(在形態學或者分子水平上)。在一些實施方案中，可以分 析相同片斷的組織樣品的大於四種不同的目標物(在形態學或者分子水平上)。在一些實 施方案中，可以在形態學或者分子水平二者上分析相同片斷的組織樣品。作為此處使用的，術語「螢光成像試劑」指的是螢光團，該螢光團是化學化合物，其 當通過曝露於具體波長的光來激勵時，發射不同波長的光。螢光團可以用它們的發射曲線 或者「顏色」來描述。綠色螢光團(例如Cy3，FITC和Oregon Green)可以通過它們的通常 為515-540nm的發射波長來表徵。紅色螢光團(例如Texas Red,Cy5和四甲基若丹明)可 以通過它們的通常為590-690nm的發射波長來表徵。螢光團的例子包括但不限於4-乙醯氨 基-4'-異硫氰酸根合芪_2，2' 二磺酸，吖啶，吖啶衍生物和吖啶異硫氰酸酯，5-(2'-氨 基乙基)氨基萘-1-磺酸(EDANS)，4-氨基-N-[3-乙烯基磺醯基]苯基]萘亞胺_3，5 二 磺酸酯(Lucifer Yellow VS)，N-(4_苯胺萘基)馬來醯亞胺，氨基苯甲醯胺，亮黃，香 豆素，香豆素衍生物，7-氨基-4-甲基香豆素(AMC，香豆素120)，7-氨基-三氟甲基香豆素 (C0umaran151)，玫瑰紅；4'，6-二醯胺-2-苯基吲哚(DAPI)，5'，5」-二溴焦酚-磺酞(溴 焦酚紅)，7-二乙基氨基-3-(4『-異硫氰酸根合苯基)4_甲基香豆素，_，4，4' -二異硫氰 酸根合二氫-芪_2，2' -二磺酸，4，4' -二異硫氰酸根合芪_2，2' -二磺酸，5-[二甲基氨 基]萘-1-磺醯氯(DNS，丹磺醯氯)，署紅，署紅衍生物例如署紅異硫氰酸酯，赤蘚紅，赤蘚 紅衍生物例如赤蘚紅B和赤蘚紅異硫氰酸酯；溴乙非啶；螢光素和衍生物例如5-羧基螢光 素(FAM)，5-(4，6-二氯三嗪-2-基)氨基螢光素(DTAF)，2' 7' -二甲氧基-4' 5' -二 氯-6-羧基螢光素(JOE)，螢光素，螢光素異硫氰酸酯(FITC)，QFITC (XRITC)；螢光胺衍生
9物(通過與胺反應產生螢光)；IR144 ； IR1446 ；孔雀石綠異硫氰酸酯；4-甲基羥基香豆素； 正甲酚酞；硝基酪氨酸；副玫瑰紅；酚紅，B-藻紅蛋白；鄰苯二甲醛衍生物(通過與胺反應 產生螢光)；芘和衍生物例如芘，芘丁酸酯和琥珀醯亞胺1-芘丁酸酯；反應紅4(CibaCr0n. RTM.亮紅3B-A)，若丹明和衍生物例如6-羧基-X-若丹明(ROX)，6-羧基若丹明(R6G)，麗 絲胺若丹明B磺醯氯，若丹明(Rhod)，若丹明B，若丹明123，若丹明X異硫氰酸酯，磺化若丹 明B，磺化若丹明101和磺化若丹明101的磺醯氯衍生物(Texas Red) ；N, N, N' , N'-四 甲基-6-羧基若丹明(TAMRA)；四甲基若丹明，四甲基若丹明異硫氰酸酯(TRITC)；核黃素； 玫紅酸和鑭系螯合物衍生物，量子點，青色素，芘鐺染料，和方酸內鐺鹽。對於另外的使用探針的應用來說，作為此處使用的，術語「探針」指的是一種試劑， 其具有粘合劑和標記物，例如信號發生劑或者酶。在一些實施方案中，該粘合劑和標記物 (信號發生劑或者酶)體現於單個實體中。該粘合劑和標記物可以是直接粘附(例如，經由 混入到該粘合劑中的螢光分子)或者間接粘附(例如，通過連接劑，其可以包括裂解部位) 的，並且在單個步驟中施加到生物樣品上。在可選擇的實施方案中，粘合劑和標記物體現於 離散的實體中(例如，能夠結合到目標物和酶上的初級抗體或者能夠粘合到該初級抗體上 的信號發生劑標記的次級抗體)。當粘合劑和標記物(信號發生劑或者酶)是單獨的實體 時，它們可以在單個步驟或者多個步驟中施用到生物樣品上。作為此處使用的，術語「螢光 探針」指的是這樣一種試劑，其具有偶合到螢光信號發生劑上的粘合劑。對於需要將生物材料固定到固體載體上的應用而言，作為此處使用的，術語「固體 載體」指的是一種製品，在其上存在於生物樣品中的目標物可以固定，隨後通過此處公開的 方法進行探測。目標物可以通過物理吸附、通過共價鍵形成或者通過其組合來固定到該固 體載體上。固體載體可以包括聚合物，玻璃或者金屬材料。固體載體的例子包括隔膜，微滴 定板，珠子，過濾器，測試條，載玻片，蓋片和試管。在這些其中生物材料粘附到隔膜上的實 施方案中，該隔膜材料可以選自但不限於，尼龍，硝基纖維素和聚偏二氟乙烯。在一些實施 方案中，該固體載體可以包含選自下面的塑料表面聚苯乙烯，聚碳酸酯和聚丙烯。所述方法和系統可以適於但不限於，用在分析，診斷或者預測應用例如分析物檢 測，組織化學，免疫組織化學或者免疫螢光。在一些實施方案中，該方法和系統可以具體用 於組織化學，免疫著色，免疫組織化學，免疫測定，或者免疫螢光應用。在一些實施方案中， 該方法和系統可以具體應用於免疫印跡技術中，例如，western印跡或者免疫測定例如酶連 接的免疫吸附劑測定(ELISA)。圖像採集實施例雖然不對其進行限制，但是這個實施例獲得了用DAPI，Cy3和Cy5著色的生物材料 的圖像。在這三種染料中，DAPI是一種核子標記物，它已知具有非常高的與自身螢光的信號 比(低AF)。在第一步驟中，使用對應於DAPI的濾色器立方體獲得了所述材料的圖像。另 外，還使用對應於Cy3和Cy5的濾色器立方體獲得了該材料的第一組的圖像。這些使用對 應於另外的染料的濾色器立方體圖像的另外的圖像，在使用另外的染料之前，充當了在施 用另外的染料之後所採集的圖像的參考或者對照圖像，其因此將表現出對應於另外的染料 的自身螢光。此外，還使用濾色器立方體(其具有最小的DAPI，Cy3和Cy5的幹擾)獲得了 另外的任選的圖像。該最小幹擾的濾色器立方體對應於青色螢光蛋白(CFP)。當獲得僅僅 自身螢光的圖像時，使用該濾色器立方體，並且僅僅用於圖像配準，如下面進一步所述的那樣。在獲得第一組的圖像之後，將另外的染料施用到該組織。然後使用全部的濾色器 立方體(DAPI，CFP，Cy3和Cy5)來獲得第二組的圖像。要注意的是在兩種採集中的DAPI和 CFP圖像是基本相同的，並且可以用來確定變換，如下所述，其將兩組圖像進行排列。一旦圖 像使用下述步驟進行了配準，則將在第一步驟中通過Cy3和Cy5立方體採集的自動螢光圖 像在第二步驟中從該配準的Cy3和Cy5圖像中除去。圖像配準算法通常分為兩類強度基和特徵化基的。特徵提取基算法典型的需要 初始的圖像分析和分割步驟。對於病理圖像來說，例如可以從DAPI著色的圖像中提取核子 的位置，尺寸和形狀。該信息然後可以使用點匹配技術來排列圖像。來自上皮組織，間質組 織，和腺/背景的特徵也可以從該自身螢光圖像中提取，但是一致性的探測這些圖像中的 特徵點通常是更具挑戰性的。在該實施例的實施方案中，使用了強度基配準方法，其不需要任何在先的分割信 息，並且可以應用於寬泛的種類的染料。加入使用CFP濾色器立方體所獲得的DAPI圖像和組織AF圖像，來形成第一組圖 像的複合圖像，其也稱作固定圖像。雖然AF圖像提供了大規模/全球信息，其對於配準算 法的收斂是關鍵的，DAPI圖像提供了對於配準精確度來說細微的基本結構。固定圖像表示 為IF(xF，yF)。該固定圖像用來定義來自於第一採集的複合圖像的參考坐標系。移動圖像表 示為IM(xM，yM)，其是第二組圖像的複合圖像。配準是主要的變換參數的評估，其將移動圖像繪製到固定圖像坐標繫上，作為使 得價值函數F最小化的自變量來獲得；argmmF(IF(xF,yF),Im{T{xM,yM\θ))) ,(1)
θ這裡，T代表具有參數θ的空間變換。更具體的，在這種實施方案中使用了相似 變換，其包括平移，旋轉和縮放。該平移和旋轉目的是校正組織切片的錯位，並且縮放可以 處理由於小的焦平面變化造成的失真。這種變換將移動圖像繪製到固定圖像坐標系中；Τ{χΜ,γΜ·θ)^ θλ θ TwUl3I⑶要注意的是如果幾何透鏡失真是一個因素，則可以使用高級變換模型，例如仿射 或者高級多項式變換。這裡有許多能夠用作價值函數F的測量，例如但不限於，平均方差，交叉相關， Kullback-Liebler距離，梯度差異度量和交互信息。由於它在多峰形性圖像配準中的有效 性，在這個實施例中使用了負性交互信息(MI)作為價值函數。MI定義為F (IF (xf，yF)，Im (Τ (xM，yM ； θ ))) = -H(IF(xF, yF)) -H (IM(Τ (xM，yM ； θ ))) (3)+H (IF (xf，yF)，Im (Τ (xm，yM ； θ )))這裡H代表圖像的熵。這裡MI是負性的來促進在第一等式中定義的最小化方法。在第一組的圖像(其在該實施例的實施方案中稱作固定圖像)之後，是用第二組 的圖像(其在該實施例的實施方案中稱作移動圖像)進行配準，除去固有的組織自身螢光。在該實施例中，成像方法是模型化的，並且使用一種有效力的評估方法來評估該模型參數。如所述的，這兩步採集提供了兩種圖像一種僅僅為AF的圖像，和一種AF+染料信 號圖像。在該實施例中，使用一種有效力的衰退方法來計算染料信號圖像。在第一步驟中 獲得的AF圖像表示為F(x，y)，第二採集的圖像(信號+AF)表示為S(x，y)。這兩種圖像通 過下面的關係式相聯繫， 這裡D(x，y)是未知的染料圖像，α是相關的增益常數，和β是相關的偏移量。如 果將該圖像規格化來減去暗電流，則β可以設定為0。如果曝光時間是已知的，並且在兩種 採集之間激勵光強度沒有變化，則α可以設定為在兩次採集之間的曝光時間的比率。要注 意的是由於光學系統中光譜的洩漏和反射，因此所觀察的圖像典型的具有偏移分量，其是 曝光時間的函數。因為在第一採集和第二採集之間的曝光時間通常是不同的，因此相對偏 移量可以模型化為單獨的術語，而非與未知的術語D(x，y)相結合。通過明確的將該相對偏 移量術語用參數來表示，可以將非負性限制施加到D(x，y)上，並因此改變價值函數。雖然不同的源分離方法是已知的，例如統計去相關，主要分量分析，獨立分量分析 (ICA)和非負性ICA，但是全部這些方法評估了坐標變換矩陣，其將F(x，y)和S(x，y)變換 成新的坐標系，以使得它們儘可能的不相關(PCA)，或者儘可能獨立(ICA)。但是封閉的觀 察F(x，y)和S(x，y)的聯合分布顯示這裡不存在能夠實現完全不相關或者獨立分量的這樣 的變換。例如，圖Ia表示了由在相同的TMA上多個圖像所計算的聯合分布。在所述線上的 面積表示了所述的表達式，該線本身表示了自身螢光。要注意的是該分布是通過兩個簇形 成的；對應於像素的一個簇是在兩種圖像上的AF，該簇是在一個圖像上的信號圖像和在另 一個圖像上的AF。因為這兩個簇不是直交的，並且它們相對於彼此的比例會從組織到組織 而發生明顯的改變，PCA和ICA類型的方法通常是不夠的。一種不需要直交變換的方法是 非負性矩陣因數分解(NMF)。但是這種方法通常傾向於局部最小化，並且良好的性能通常僅 僅用過約束系統才能實現。取而代之，本發明優選的方法和系統使用了一種有效力的配準 方法來解決該未知的變換參數(α, β )，和未知的信號(D(x，y))。未知常數的評估是通過將D (X，y)作為奇異值處理來進行的，並且解決了下面的
有效力的價值函數 這裡P是Huber效力價值函數[34，35]，定義為， 要注意的是P稍微不同於傳統的對稱Huber價值函數[34]。它是一種簡單的最 小平方價值函數，用於r彡k，而非用於r彡|k|。因為D(x，y)是一種非負性函數，因此這 裡沒有負性奇異值，其明顯的小於所預期的線性形式。這一種有邊線的非對稱價值函數為負性D(x，y)增加了更多的成本，並且它對於通過朝著期望的解法的偏置的算法的收斂來 說是基本的。等式6可以通過迭代的稱重最小平方(IRLS)來解決，

IRLS解法然後可以通過迭代下面的等式來執行，
這裡
(9) 圖Ia表示了在相同的TMA上，全部圖像的S(x，y)比F(x，y)。注意到該聯合分布 包含兩個簇，一個通過在兩個圖像上的對應的AF形成，一個通過AF和染料信號形成。圖Ia 中所示的線表示了用於(α，β)的初始評估，其是通過將線擬合到該聯合分布的下限來評 估的。假設(fi，Si)是在第一和第二圖像上的強度值，以使得對於全部的& = F(x, y)來 說， 這裡R設定為(動態範圍)/256。該初始參數值然後可以求最小參數值，通過最小
平方配準來進行評估； 等式6&8中的比例因子k是如下來評估的首先通過中位絕對偏差(MAD)來確定
局部標準偏差； 然後採用全部局部MAD評估的中位數， 上面的等式都是公知的對奇異值有效力的。圖Ia表示了在相同的TMA上，由全部的圖像所計算的F(x，y)和S(x，y)的聯合分 布。圖Ia上的線表示了通過使用等式12所計算的初始模型參數。由該初始參數值開始，等式9&10提煉了該參數評估，用於在TMA上的每個單獨的圖像。這種提煉能夠處理不同組 織中的微小組織和AF變量，特別是正態比轉移，或者表達的標記物比非表達的標記物。圖 Ib表示了圖2(右列)所示的圖像的聯合分布和最終線性參數。實施例在該實施例中，胸部組織的TMA是用DAPI，Cy3和Cy5著色的。DAPI是核子標記 物，其結合到DNA上。DAPI用於該實施例中，來圖像配準和來量化核子相關的蛋白的百分比 表達。Cy3是直接用anti-pan-cadherin抗體(一種膜蛋白)來共軛的，和Cy5是直接用抗 雌激素受體(ER)抗體來共軛的。ER可以或者可以不表達，這取決於患者是ER+還是ER-。 在該實施例中，ER的表達與對於抗雌激素處理(三苯氧胺或其他)或者化學治療的響應有 關，並且與更好的-差異化瘤有關。在該實施例中，ER表達不同於AF，特別是不同於顯露出 明亮結構的血液細胞和脂肪，因為ER表達會容易的受到真實表達的混淆。圖2(右列)表 示了在第一步驟(上面)，在第二步驟(中間)和校正的圖像(底部)的Cy5通道的圖像。 箭頭表示了具有高AF的區域，其可以歸因於血液細胞或者脂肪。除去該AF，同時保存ER表 達。圖2(左列)表示了 Cy3通道的圖像。箭頭表示了淨化過的高AF結構。除了除去高AF 結構之外，還減少了低AF結構。該方法保存了所述信號，同時減少了 AF ；因此提高了信號AF的比率。高AF結構 例如脂肪和血液細胞也被成功的除去，其對於來自非特異性表達的差異化特異性蛋白表達 來說是關鍵的。除去這些結構還能夠精確化自動的蛋白表達。用於進行所述方法的自動系統10(圖3)通常包含存儲裝置12，其用於至少臨時 存儲一種或多種生物材料的一種或多種圖像；和處理器14，其適於分析生物材料的參考圖 像，該生物材料表現出具有青色螢光蛋白和/或一種或多種參考染料，其具有高的信號與 自身螢光的比率；對應於青色螢光蛋白和/或參考染料的一種或多種濾色器和對應於一種 或多種另外的染料的一種或多種濾色器；和數字成像裝置，該裝置適於與對應於一種或多 種另外的染料的參考濾色器和濾色器相配合，來獲得的該生物材料的第一組的一種或多種 圖像；並且進一步適於與對應於一種或多種另外的染料的參考濾色器和濾色器相配合，來 獲得的該生物材料的第二組的一種或多種圖像，其中該生物材料進一步表現出具有一種或 多種另外的染料；其中該第二組的圖像包含該生物材料的分別的圖像，該分別的圖像是用 對應於另外的染料的每個參考濾色器和濾色器來獲得的。處理裝置14進一步適於配準參考圖像；然後從一種或多種圖像中除去與參考圖 像有關的自身螢光。存儲裝置可以包含，但不必需局限於，任何合適的與處理器有關的硬驅動存儲器， 例如CPU(中央處理器)的R0M(只讀存儲器)，RAM(隨機存取存儲器)或者DRAM(動態隨 機存取存儲器)，或者任何合適的磁碟驅動存儲裝置例如DVD或者CD，或者zip驅動或者 存儲卡。該存儲裝置可以布置在遠離處理器或者用於顯示圖像的裝置之處，並且仍然能夠 通過任何合適的連接裝置或者通訊網絡來存取，該網絡包括但不限於區域網，電纜網，衛星 網，和網際網路，而不論是有線硬體還是無線硬體。處理器或者CPU可以包含微處理器，微控 制器和數位訊號處理器(DSP)。存儲裝置12和處理器14可以作為分析裝置的部件而併入，該分析裝置例如是自 動高通量系統，其在一個系統中著色和成像TMA，並且仍然進一步分析任何數目應用的圖
14像，例如但不限於診斷應用。這些步驟中的一種或多種可以配置到一個系統中或者體現在 一種或多種孤立系統中。系統10可以進一步包含用於顯示一種或多種圖像的裝置16;交 互式瀏覽器18 ；虛擬顯微鏡20 ；和/或用於將通訊網絡24上的一種或多種圖像或者任何相 關數據或者分析信息傳輸到一種或多種遠程位置26的裝置22。顯示裝置16可以包含任何合適的能夠顯示數字圖像的裝置，例如但不限於，合併 有LCD或者CRT的裝置。傳輸裝置22可以包含任何合適的在通訊網上傳輸數字信息的裝 置，包括但不限於有線或者無線硬體數字通訊系統。該系統可以進一步包含用於施加一種 或多種印跡的自動裝置28和數字成像裝置30，該成像裝置例如但不限於，包含激勵源32， 並且能夠捕集TMA的數字圖像的成像顯微鏡。這樣的成像裝置優選能夠自動聚焦，並因此 根據需要來在整個加工過程中保持和追蹤聚焦特性。這些方法和系統不局限於任何具體的成像試劑，形態染料，生物標記物或者探針。 任何這樣的螢光或者非螢光染料或者成像劑將是合適的，即，它們使得生物材料的一些信 息方面或者特徵能夠實際或者人工顯現，以使得它可以數字成像和處理。合適的染料和成 像試劑包括但不必局限於，細胞學或者形態染料，免疫染料例如免疫組織_和免疫細胞_化 學染料，細胞遺傳學染料，原位雜交染料，細胞化學染料，DNA和染色體標記物，和基底結合 測定染料。雖然此處僅僅說明和描述了本發明的某些特徵，但是本領域技術人員將能夠想到 許多的改進和變化。因此，應當理解附加的權利要求的目的是覆蓋在本發明主旨範圍內的 全部這樣的改進和變化。
權利要求
一種用於除去與生物材料相關的任何固有的自身螢光的方法，其包含步驟a)獲得該生物材料的第一參考圖像；b)使用對應於一種或多種信息染料的一種或多種濾色器來獲得該生物材料的第一組的一種或多種圖像；c)將該一種或多種信息染料施用到該生物材料，然後獲得第二組的一種或多種圖像，該組圖像包含了該生物材料的分別的圖像和該生物材料的第二參考圖像，所述的分別的圖像是用對應於所述信息染料的每個濾色器來獲得的；d)配準該第一和第二參考圖像；e)然後除去在步驟c)中所獲得的圖像中所表現出的任何固有的自身螢光。
2.權利要求1的方法，其中該第一和第二參考圖像是使用對應於青色螢光蛋白的濾色 器來獲得的。
3.權利要求1的方法，其中步驟a)進一步包含步驟將參考染料施用到該生物材料， 該參考染料具有高的與自身螢光的信號比，並且其中使用對應於該參考染料的濾色器來獲 得第一和第二參考圖像。
4.權利要求3的方法，其中在步驟a)中所施用的染料包含對應於UV光譜的染料。
5.權利要求4的方法，其中在步驟a)中所施用的對應於UV光譜的染料是DAPI。
6.權利要求3的方法，其中在步驟a)中所施用的染料包含對應於IR光譜的染料。
7.權利要求1的方法，其中該生物材料的第一和第二參考圖像是使用對應於青色螢光蛋白的濾色器來獲得 的；和其中該第一參考圖像是具有坐標系的固定圖像，該第二參考圖像是具有坐標系的移動 圖像，和其中如下來將該參考圖像至少部分配準，來形成具有坐標系的複合圖像通過評估 一種或多種主要的變換參數來將該移動圖像繪製到該固定圖像坐標繫上。
8.權利要求1的方法，其中步驟a)進一步包含步驟將參考染料施用於該生物材料，該參考染料具有高的與 自身螢光的信號比；其中該第一和第二參考圖像是使用對應於該參考染料的濾色器來獲得的；和其中該第一參考圖像是具有坐標系的固定圖像，該第二參考圖像是具有坐標系的移動 圖像，和其中如下來將該參考圖像至少部分配準，來形成具有坐標系的複合圖像通過評估 一種或多種主要的變換參數來將該移動圖像繪製到該固定圖像坐標繫上。
9.權利要求1的方法，其中使用相似變換來將該參考圖像至少部分配準，該相似變換 使用了選自下面的一種或多種變換參數平移、旋轉和縮放。
10.權利要求1的方法，其中該參考圖像是如下來配準的通過評估一種或多種主要的 變換參數來將移動圖像繪製到固定圖像坐標繫上，這裡；argminF{If{xF,yF),Iμ{τ{χμ^μ\θ)))，θ這裡F是價值函數，T代表具有參數θ的空間變換。
11.一種用於除去與生物材料相關的固有的自身螢光的系統，其包含a)適於分析生物材料的參考圖像的處理裝置，該生物材料表現出具有一種或多種參考染料，該參考染料具有高的與自身螢光的信號比； b)對應於該參考染料的一種或多種濾色器和對應於一種或多種信息染料的一種或多 種濾色器；c)數字成像裝置，該裝置適於與對應於參考染料和一種或多種信息染料的濾色器相 配合，來獲得的該生物材料的第一組的一種或多種圖像；並且進一步適於與對應於參考染 料和一種或多種信息染料的濾色器相配合，來獲得的該生物材料的第二組的一種或多種圖 像，其中該生物材料進一步表現出具有一種或多種的信息染料；其中該第二組的圖像包含該生物材料的分別的圖像，該分別的圖像是用對應於參考染 料和一種或多種信息染料的每個濾色器來獲得的；和其中該處理裝置進一步適於配準參考圖像；然後從該表現出具有一種或多種信息染料 的圖像中除去固有的自身螢光。
12.權利要求11的系統，其中至少一種的參考染料對應於UV光譜。
13.權利要求12的系統，其中該對應於UV光譜的至少一種染料是DAPI。
14.權利要求11的系統，其中至少一種的參考染料對應於IR光譜。
15.權利要求11的系統，其中該數字成像裝置適於使用對應於青色螢光蛋白的參考濾色器，來獲得該生物材料 的參考圖像；和其中該處理器適於通過評估一種或多種主要的變換參數來繪製圖像坐標系，來配準該 參考圖像。
16.權利要求11的系統，其中該參考圖像是使用強度基或者特徵化基參數來配準的。
17.權利要求11的系統，其中該參考圖像是使用相似變換來至少部分配準的，該相似 變換包括平移、旋轉和縮放。
18.權利要求11的系統，其中該參考圖像是如下來配準的通過評估一種或多種主要 的變換參數來將移動圖像繪製到固定圖像坐標繫上，這裡；argmmF(IF(xF,yF),Im{T{xM,yM\θ)))，θ這裡F是價值函數，T代表具有參數θ的空間變換。
19.一種用於除去與生物材料相關的固有的自身螢光的系統，其包含a)處理裝置，該裝置適於分析使用對應於青色螢光蛋白的參考濾色器所採集的生物材 料的參考圖像，該青色螢光蛋白具有高的與自身螢光的信號比；b)對應於一種或多種信息染料的一種或多種濾色器；c)數字成像裝置，該裝置適於與對應於一種或多種信息染料的參考濾色器和濾色器相 配合，來獲得的該生物材料的第一組的一種或多種圖像；並且進一步適於與對應於一種或 多種信息染料的參考濾色器和濾色器相配合，來獲得的該生物材料的第二組的一種或多種 圖像，其中該生物材料進一步表現出具有一種或多種的信息染料；其中該第二組的圖像包含該生物材料的分別的圖像，該分別的圖像是用對應於一種或 多種信息染料的參考濾色器和每個濾色器來獲得的；禾口其中該處理裝置進一步適於配準參考圖像；然後從該表現出具有一種或多種信息染料的圖像中除去固有的自身螢光。
20.權利要求19的系統，其中該參考圖像是使用強度基或者特徵化基參數來配準的。
21.權利要求19的系統，其中該參考圖像是使用相似變換來至少部分配準的，該相似 變換包括平移、旋轉和縮放。
22.權利要求19的系統，其中該參考圖像是如下來配準的通過評估一種或多種主要 的變換參數來將移動圖像繪製到固定圖像坐標繫上，這裡 這裡F是價值函數，T代表具有參數θ的空間變換。
全文摘要
用於除去與生物材料相關的任何固有的自身螢光的方法和系統，其包含獲得該生物材料的第一參考圖像；使用對應於一種或多種信息染料的一種或多種濾色器來獲得該生物材料的第一組的一種或多種圖像；將該一種或多種另外的染料施用到該生物材料，然後獲得第二組的一種或多種圖像，該組圖像包含了該生物材料的分別的圖像和該生物材料的第二參考圖像，所述的分別的圖像是用對應於所述信息染料的每個濾色器來獲得的；配準該第一和第二參考圖像；然後除去所獲得的信息圖像中所表現出的任何固有的自身螢光。
文檔編號G01N21/64GK101932925SQ200880126012
公開日2010年12月29日 申請日期2008年11月26日 優先權日2007年11月30日
發明者A·肯, H·克萊恩, M·格爾德斯 申請人:通用電氣公司