深度增強的圖像採集的製作方法

2023-05-29 14:46:36

專利名稱：深度增強的圖像採集的製作方法
背景技術：
本發明涉及光纖掃描裝置，諸如光纖圖像採集裝置和光纖圖像顯示裝置等，更詳細地說，涉及利用直徑非常小的柔性光纖增強深度信息，實現高圖像解析度和寬視場的光纖掃描裝置。
光纖圖像採集裝置包括內窺鏡、內孔窺視儀和條碼閱讀器。內窺鏡是一種成像儀器，用來觀看人體通道和空心器官的內部。一般通過人體的開孔進入。內孔窺視儀是一種成像儀器，用來觀看人體內部區域。一般是通過「鑽出」的開孔(例如，外科手術開孔)侵入。
有剛性內窺鏡和柔性內窺鏡。剛性內窺鏡不具有象素化的圖像平面。柔性內窺鏡較小，傳統上具有象素化圖像平面。但是，柔性內窺鏡無法達到剛性內窺鏡的解析度和視場。然而，剛性內窺鏡不能用在要求小尺寸和柔性光纖和鏡杆(shaft)的許多用途。
任何內窺鏡的目的都是在小的包裝內達到高的圖像質量，允許最小的組織創傷。在最小侵入外科技術領域的發展中，對與當前圖像質量匹配的較小型的內窺鏡存在巨大的需求。具體地說，對最小侵入醫療手術的需求增大了超細光學內窺鏡的需求。但是，商售的柔性內窺鏡在尺寸和圖像質量上兩者須擇其一。內窺鏡的直徑越小，圖像解析度和/或視場(FOV)就越低，使得圖像質量受損。採用非常小的內窺鏡時許多內窺鏡技術就無法使用或變得危險，因為醫生沒有足夠的視覺信息，亦即，尺寸小和圖像質量差。因而，需要高解析度和和大視場的非常小柔性內窺鏡。具有非常小的直徑和高的圖像質量的柔性圖像產生裝置的這種基本的折衷(兩者不可共得的情況)是諸如遙感等人體外部應用的主要限制。
傳統的柔性內窺鏡和內孔窺視儀包括構成CCD攝像頭的大的象素檢測器空間陣列。一般用光纖束來捕獲圖像，並把圖像發送給CCD攝像頭。為了達到高的解析度、寬的視場，這樣的CCD攝像頭包括大約1000×1000個檢測器的象素檢測器陣列。為了彩色保真度，通常包括三個這樣的陣列，在要求有立體感的地方，就要加倍到6個陣列。每個象素檢測器要有一條光纖。每條光纖具有大於或等於4微米直徑。這樣，採集就需要每個象素大於或等於4微米的空間。若按VGA標準(800×600象素)，則僅僅圖像管道的最小直徑就大於3mm。1000×1000個象素檢測器陣列至少具有4mm直徑。對於VGA標準，為了獲得小於3mm的總直徑的鏡，便要犧牲解析度和/或視場，採用較少的象素元件。減小內窺鏡的直徑，便減小了可能的象素數目，相應地，降低了解析度和視場。直徑上的限制也限制了訪問彩色圖像和立體圖像的機會。
小的(例如，直徑小於3mm)柔性內窺鏡的領域中，內窺鏡需要使用最小的象素尺寸，而且還要減少象素數目，一般減到100×100。應該指出，外科醫生發現這些小的柔性內窺鏡太脆，所以得不到廣泛應用。醫生寧可採用小的但剛性的杆狀(直杆)內窺鏡，大大限制它們的機動性和適用性。
在大的(例如，直徑大於或等於4mm)柔性內窺鏡的領域，內窺鏡具有直徑大於或等於4mm的柔性杆，一般或者包括一束光纖或者在遠端包括小的攝像頭來捕獲圖像。但是，在所需的50-70°視場(FOV)和在人類視覺敏銳最大潛力下的解析度之間仍要折衷，直至內窺鏡直徑達到＞10mm。
1992年4月27日頒布的John W.Hicks的美國專利No.5,103,497公開了一種飛點內窺鏡，其中減小光纖之間的空間，以便減小光纖束的總體直徑。不是用粘在一起的方法安排光纖束，Hicks在其推薦的實施例中利用多光纖，其相鄰纖芯是相位不匹配的、用電磁驅動器，沿著光柵圖案、螺旋圖案、振動圖案或旋轉圖案掃描所述多光纖。掃描照明光纖、觀察光纖或既掃描照明光纖又掃描觀察光纖。在最簡單的實施例中，Hicks公開了掃描單根光纖(例如，或者照明光纖或者觀察光纖)。
Hicks利用小的光纖束或單根光纖通過沿著圖像平面掃描光纖束來掃描圖像平面。應該指出，圖像平面尺寸不減小。較小的光纖束掃描整個圖像平面。為了這樣做，讓光纖束在先有技術中由較大的收集光纖陣列佔用的同一區域上移動。結果，Hicks裝置在操作時佔用的區域與先有技術的相同。另外，在先有技術中較大陣列中光纖的纖芯尺寸限制了解析度，Hicks的較小的光纖束中光纖的纖芯尺寸也同樣地限制了解析度。
內窺鏡技術上的一個挑戰是縮小掃描裝置的尺寸。正如上面討論的，最小尺寸是光纖直徑和所需解析度和所需視場的組合的函數。所需解析度或視場越大，所需直徑就越大。在給定的視場下所需解析度越大，所需光纖的數目就越大。這種限制是利用光纖攝像頭元件對圖像平面的小部分進行採樣這種技術造成的。傳統上，捕獲圖像平面的每個象素都用一根收集光纖，儘管Hicks一條或多條光纖掃描多個象素。
產生圖像平面時，用照明光纖照亮物體。某些照明光線直接射在物體上。其他照明光線射在物體之前或之後被散射。收集從圖像平面返回的光線(例如，反射光、螢光返回光、磷光返回光)。一般利用共焦系統把從物體的照明部分返回的所需的非散射光與散射光區分開。具體地說，透鏡聚焦返回觀察光纖的光。只有不散射的光沿著從物體部分到透鏡和觀察光纖的直接路逕行進。透鏡具有這樣設置的焦距，使得非散射光聚焦在觀察光纖的端面上。這樣，所需的光被捕獲，並與不希望有的光分開。這種途徑的一個缺點是，大部分照明光線被浪費了，或者被周圍的象素元件作為噪音捕獲，只有小部分作為非散射光用來定義給定的象素。
最小侵入醫療手術採用內窺鏡，利用視頻監視器向醫師提供單一攝像頭圖像。醫師必須在心裡把由內窺鏡捕獲的平面的二維圖像與人體內掃描目標的三維幾何聯繫起來。受過訓練的醫師利用運動視差、單眼提示和其他間接的深度證據在心裡想像出人體的幾何形狀。最好改善呈現在醫師眼前的圖像。例如，當前的立體內窺鏡(帶有兩個光纖束或攝像頭)提供附加圖像數據，但呈現次最優性能。在不顯著增加內窺鏡的成本、重量和尺寸的情況下達到這樣的改善仍舊是一個挑戰。
發明概述按照本發明，實現了一種帶有柔性光纖的微型圖像採集系統。柔性光纖用作照明波導，照明波導諧振以便使發射的光沿著所需的圖案掃描。最好把單光纖用於照明光。對於照明光的多種顏色，最好把來自各自的彩色光源的光加以組合，通過照明單光纖，照射在觀看的物體上。在一個替代的實施例中，把多根光纖和同心光纖用於照明光。
不是像傳統的柔性內窺鏡等所做那樣產生圖像平面並對其採樣(亦即其中象素是在空間上分開的)，本發明的掃描儀不必產生圖像平面來捕獲圖像。反之，象素是按時間採集的，在時間上分開。這種方法的一個優點是，圖像解析度不再受檢測器的尺寸(例如，收集光纖的直徑)限制。按照本發明的一個方面，圖像解析度是被照明點尺寸的函數。具體地說，利用小於收集裝置直徑的光點尺寸即可改善圖像解析度。在一個實施例中，實現單模光纖，它具有較小的高斯光束曲線和較小的纖芯曲線，允許在被掃描處產生較小的光點尺寸，由於象素是作為在時間窗口內接收的光被檢測的，所以在這樣的時間窗口中檢測的光子來自照明的光點。本發明的另一個優點是，避免了先有技術系統中的共焦問題的出現。利用典型的視頻速率，例如，來定義象素的時間窗口尺寸，每40納秒收集一個象素。要使來自其他象素的光幹擾一個象素的光，第二個象素的光會要平均彈跳20英尺(因為光約行進1英尺/納秒)。對於典型的應用，這樣的光要在小於一立方英寸的空間內彈跳。相當於大約240次反射。來自一個象素的光在被吸收之前要反射240次，這是不太可能的。於是共焦問題不明顯。
按照本發明的一個方面，照明光纖的遠端部分用作諧振波導。這樣的遠端部分在靠近光纖其餘部分的末端被錨定(例如，稱作遠端部分的近端或諧振波導的近端)。遠端部分自由偏轉和諧振。波導是柔性的，以諧振頻率沿著掃描路徑偏轉。光檢測器定位在照明光纖的末端(例如，在遠端部分的被錨定的近端附近)。應該指出，可以有收集光纖，但不必要。另外，不必跟蹤掃描路徑。
本發明的一個優點是，由於象素的獲取方法、透鏡的存在和光纖的驅動方法，即使小而細的觀察器(scope)，也能達到光纖的柔軟性、廣闊的視場和高的解析度。因為象素是在時間序列中測量的，並非二維象素矩陣，所以不必具有小的光子檢測器。檢測器的尺寸不像先有技術觀察器那樣關鍵，在那裡許多小的檢測器分布在一個大的面積上。因此，本發明的觀察器可以做得比現有的觀察器小，而同時利用較少的比標準觀察器的象素檢測器大的光子檢測器。按照本發明，對於單色圖像採集，使用的光子檢測器可以少到只有一個，而對於全色成像，使用的紅、綠和藍色檢測器可以少到各一個。通過加上附加的檢測器，強調全色成像中的拓撲，可以達到準立體成像和光度立體。
按照本發明的另一個方面，通過在每個象素位置上測距，測量從觀察器到目標的軸向距離，即可達到真立體觀察。這樣的軸向測量值是圖像的第三維，加以處理便可產生立體視覺。
按照本發明的另一個優點，帶有小的柔性杆的單根掃描光纖提供(i)軸向幾何尺寸，(ii)提供彩色保真度、增大目標對比度和增大螢光對比度的低成本方法，和(iii)激照明明可以用於螢光成像、醫學診斷和雷射外科手術。結合附圖參照以下的詳細描述，對本發明的這些和其他方面和優點將有更好的理解。
附圖簡介

圖1是按照本發明一個實施例的微型圖像採集系統的方框圖；圖2是說明圖像採集系統的照明子系統的示意圖；圖3是圖1圖像採集系統一個實施例的收集子系統和顯示部分的示意圖；圖4是圖1的圖像採集系統的另一個實施例的一部分的示意圖，包括檢測器子系統、顯示裝置和圖像存儲裝置圖5A-C是不同模式下圖2照明光纖諧振波導部分的示意圖；圖5D是按照圖5C的諧振模式不同取向下的光纖遠端透鏡的示意圖；圖6A是一個示意圖，描寫按照傳統的技術對圖像平面一個小的象素區域進行採樣，其中被採樣的區域定義了象素尺寸和象素解析度；圖6B是一個示意圖，描寫按照本發明一個實施例對一個大區域進行採樣，其中所述大的採樣區域內較小的照明區域定義象素尺寸和象素解析度；圖7是諧振波導和聚焦透鏡的示意圖，表示沿著掃描線的點和相應的照明光點；圖8是表示光纖驅動系統同步信號、光纖端部的角位移和照明光點位置與時間關係的曲線圖；圖9是由恆定的照明、連續採樣形成的掃描線示意圖，其中採樣結果按時間劃分形成N個象素；圖10是由恆定的照明、定期採樣形成的掃描線示意圖，其中每個採樣結果對應N個象素中的一個；圖11是由周期性脈衝照明形成的掃描線示意圖，其中、定期採樣與脈衝同步進行，產生N個象素的樣值；
圖12是圖1系統的觀察器部分的平面側視圖；圖13是圖12的觀察器的平面正視圖；圖14是去掉外殼後圖13的觀察器的透視圖；圖15A-C是圖1觀察器部分實施例微光電機械系統(MEMS)的平面圖；圖16是圖1系統的觀察器部分另一個實施例的透視圖，包括雙壓電晶片元件彎曲執行器，而且其中光檢測器安裝在一個圓盤上，在彎曲器動作時所述圓盤運動；圖17是圖16的觀察器的透視圖，表示執行件的基本諧振模式；圖18是圖1系統的觀察器部分另一個實施例的透視圖，包括雙壓電晶片元件彎曲執行器，其中光檢測器安裝在靜止的基座上；圖19是圖1系統的觀察器部分另一個實施例的透視圖，包括管狀雙壓電晶片元件執行器；圖20是圖1系統的觀察器部分另一個實施例的透視圖，包括同心地圍繞照明波導的收集波導；圖21是觀察器部分的一部分的平面圖，包括以差動方式排除(factor out)環境光而設置的光子檢測器；圖22是按照本發明一個實施例的採集增強深度信息的圖像的方法的流程圖；圖23是按照本發明一個實施例的圖像處理流程圖；圖24是按照本發明另一個實施例的採集增強深度信息的圖像的方法的流程圖。
具體實施例的描述概述參見圖1，微型圖像採集系統10包括照明子系統12、收集或檢測器子系統14和在某些實施例中的主機系統16。照明子系統12把光線發射在物體上。收集/檢測子系統14收集或檢測從物體返回的光。照明子系統12和收集/檢測子系統14都連接到主機系統16。主機系統16包括控制器18，用以使照明子系統的工作和收集/檢測子系統的工作同步。主機系統16還包括顯示裝置20、用戶接口21、圖像存儲裝置22、處理器(未示出)和存儲器(未示出)。圖像採集系統10在某些實施例中配置成獨立裝置，沒有主機系統16。在這樣的獨立裝置實施例中，控制器18和顯示器20都是獨立系統的一部分。在不同的應用中，微型圖像採集系統10實現了內窺鏡、內孔窺視儀、條碼閱讀器和用於圖像採集的其他裝置。本文中術語「光纖觀測器」指利用掃描光纖波導的圖像採集系統。
參見圖2，照明子系統12包括光源24、光纖26和光纖偏轉驅動系統28。光源24在一個實施例中發射出連續的光流30，而在另一個實施例中發射出光脈衝流32。當實現脈衝時，控制器18向光源24發送控制信號，以便同步和控制脈衝發射的定時。
來自光源24的光進入光纖26並行進到遠端部分36，在這裡光向物體發射。遠端部分36偏轉並用作諧振波導36。光纖26或至少遠端部分36是柔軟的，經受得起遠端處的諧振偏轉運動。控制器18向光纖偏轉驅動系統28發送同步信號，光纖偏轉驅動系統28本身則使波導36的遠端諧振。波導36的諧振運動使發射的光線沿著所需的掃描路徑在物體上掃描。在某些實施例中，光纖偏轉驅動系統28是用送往控制器18的傳感器和反饋信號40閉環控制的。在一個推薦的實施例中，驅動系統28是壓電驅動系統。在替代驅動系統的實施例中，實現永磁或電磁驅動、靜電驅動、光碟機動、聲驅動或電化學驅動來代替壓電驅動。
最好在波導的遠端通過對遠端的成型加工，形成一個或多個透鏡27。或者把一個或多個透鏡熔融、粘結、安裝或用其他方法附在遠端部分36的遠端(亦即遠端面)上。透鏡最好不擴展到光纖遠端部分36的圓周和直徑以外。透鏡37相對於遠端部分36是固定的，隨著遠端部分36運動並改變取向。這些透鏡37用來準直所發射的光線。另一個透鏡39，諸如掃描透鏡或f-θ透鏡設置在光纖的遠端部分36以外的發射的光線的光路上，以便使光線聚焦在物體上。在某些實施例中，透鏡39是折射和/或衍射光學元件，諸如折射率漸變透鏡。透鏡37、39決定圖像質量並限定子系統12的圖像解析度。
透鏡39用作掃描透鏡，由玻璃、塑料或諸如液晶等其他波形成形材料形成。若有焦面，則掃描透鏡39的屈光力決定了照明在多遠處形成焦面。若發射的光線是準直的，則所得圖像具有接近所發射的光束直徑的解析度，得到一個場深巨大的圖像。增大掃描透鏡39的屈光力，便增大象素的解析度，而同時減小場深或焦深。掃描透鏡39的焦平面取決於其放大率和相對於遠端58(見圖5A)和遠端透鏡37的位置。通過相對於遠端透鏡37軸向移動掃描透鏡39，可以調整所述焦平面。
參見圖3，在一個實施例中，微型圖像採集系統10的一部分42包括收集子系統14』和視網膜掃描顯示裝置20』。從照明子系統12(見圖1和2)發射的光輸出到物體。從物體返回的光線44在一個或多個收集光纖46中收集，並被直接送到掃描顯示裝置20』。在一個實施例中，顯示裝置20』使光線掃描人眼E的視網膜。在另一個實施例中，顯示裝置使光線在投影屏幕上掃描(例如，被光電放大)。在再一個實施例中(未示出)，來自收集光纖46的光線被採樣，並由存儲裝置27存儲。控制器18對收集光線的掃描或存儲進行同步，並使之與照明光線相關。
在某些實施例中，驅動系統48使收集光纖46沿著與照明子系統12的照明光纖26的公共路徑偏轉。驅動系統48和照明子系統28可以是同一系統，或者可以是單獨的驅動系統。驅動系統48最好是壓電驅動系統。驅動系統48從控制器18接收同步信號38。在收集光纖46是固定的一些實施例中，驅動系統48是不必要的。
掃描顯示裝置屬於先有技術已知的類型。一個示例性裝置是1995年11月14日授予Furness等人的美國專利No.5,467,104「虛擬視網膜顯示器」中所公開的。另一個示例性裝置是1997年12月2日授予Melville的美國專利No.5,694,237「機械諧振掃描反射鏡的位置檢測」中所公開的。
參見圖4，在一個替代的實施例中，微型圖像採集系統10包括檢測子系統14」。所述檢測子系統14」包括一個或多個光子檢測器50。光子檢測器50的一個可以實現的示例性類型包括光電倍增管、基於矽和半導體的光電檢測器、光電放大光纖、圖像存儲介質(例如，膠片)和光電子發射介質。返回光線射在光子檢測器50上。檢測器50連續地、周期地或非周期地根據從控制器18接收的採樣信號52對返回光線進行採樣。採樣信號52在定時上與輸出到照明子系統12的同步信號38相關。結果，光子檢測器50輸出連續的信號或與對返回光線44的採樣對應的電子信號脈衝流。在一個實施例中，輸出信號54送到圖像存儲裝置22，以便建立數據的圖像幀。在不同的實施例中，圖像存儲裝置22是模擬存儲裝置(例如，膠片)或數字式存儲介質。另外，或者作為另一方案，同一或不同的輸出信號55被送到顯示裝置20，以便建立和顯示圖像數據幀。顯示裝置可以是任何一種傳統的顯示裝置，諸如陰極射線管、液晶顯示板、光投影儀、氣體等離子體顯示板或其他顯示裝置。
照明光纖波導的諧振模式參見圖5A-C，所示照明光纖26在其長度上的一點56被錨定。從錨定點56到遠端58的光纖長度稱作遠端部分36，用作諧振波導。在某些實施例中，採用短光纖，其中基本上整個光纖都用作諧振波導36，並沿著長度出現在從錨定點56到遠端58一段。波導36由光纖偏轉驅動系統28驅動(見圖2)，使波導以諧振模式偏轉。
有許多可以由驅動系統28實現的諧振模式。在每一種模式中，在錨定點56都會出現靜止節點。沿著波導36的長度會出現反節點(anti-point)(亦即，偏轉最大的點)。參見圖5A，說明一種諧振模式，其中靜止節點出現在錨定點56，而反節點出現在遠端58。所示波導36處於中性位置60，和兩個最大偏轉位置62，64。
參見圖5B，說明一種諧振模式，其中有兩個靜止節點一個在錨定點56，而另一個在錨定點56和遠端58之間的點66。反節點出現在兩個靜止節點56，66之間的點68上。所示波導36處在中性位置60，和兩個最大偏轉位置62』，64』。在不同的諧振模式下，一個或多個靜止節點沿著波導的長度出現，使遠端58沿著弧70擺動。也可能形成0到n個反節點，其中n或者相當於靜止節點數或者比靜止節點數少1。
參見圖5C，在一個推薦的諧振模式下，靜止節點出現在波導36的遠端58。所示波導36處於中性位置72，和兩個最大偏轉位置74，76。儘管在錨定點56和在遠端58之間沒有額外的靜止節點，但是，在不同的實施例中，額外的靜止節點確實出現在這樣的點56，58之間。為了在波導的遠端維持自然諧振的節點，遠端58的質量和衰減是受控的設計特徵。一般，對於幾何形狀和材料均勻的波導，只要小量增加質量和衰減就夠。一個實施例在波導36的端面增加一個比較緻密的透鏡(或較大的)的準直透鏡37。
圖5D表示針對遠端58上具有靜止節點的諧振模式的遠端58(例如，透鏡37)的側視圖。所示的是對應于波導36中性位置72的中性取向78，在一個方向上與最大偏轉位置74對應的最大角度取向80和在另一個方向上與最大偏轉位置76對應的另一個最大角度取向82。正如說明的，中心點84對於每一個取向一般都是靜止的。在準確的說明(未示出)中，隨著波導偏轉，沿著波導36軸線88(例如，圖5D的Z軸)，端部58略有移動。但是，沒有偏離軸線(沿著X軸或Y軸)的運動，只有圍繞軸線的取向改變，從取向78變到80到78到82再回到78。在波導36偏轉過程中這樣改變的取向造成在一般垂直於透鏡37的遠端端面的方向上發射光線90的結果。在遠端58和透鏡37改變取向的過程中，光線90掃描弧92。光線90』垂直於位置80上的透鏡37。於是，弧92限定了照明子系統12的視場。
把靜止節點放在波導36遠端58上的好處是，內窺鏡和其他照明裝置不必像圖5a和5b所示的諧振模式中那樣擴大直徑來包括擺動弧70。在X-Y空間中固定遠端，而不是讓它作為點光源在X-Y空間中沿著線或弧擺動，減小了光學畸變和象差。另外，不是使遠端沿著弧70運動來限定視場，遠端58的位置基本上固定，而同時遠端的取向隨著諧振波導的其他區域的諧振運動而改變。光纖遠端58改變的角度取向限定了所掃描的視場寬度(亦即，限定了弧92)。
按時間分隔的象素採集方法微型圖像採集系統10與先有技術裝置相比的差別是，象素解析度由照明光點的尺寸決定，而不是由所採樣的光點尺寸(例如，傳感器或收集光纖的採樣面積)決定。按照申請人的方法，是照明光點的尺寸，而不是採樣區域的尺寸決定著象素的解析度。於是，根據所需的功能(例如，彩色、立體、高對比度)使用一個大的檢測器或多個較小的檢測器。
參見圖6A，傳統上光纖照亮整個物體區域95，或者一次形成整個圖像平面96或者通過掃描形成圖像平面96。圖像平面是圖像象素的空間區域。在某些傳統的技術中，同時照亮整個物體區域95，而對圖像平面96的小的空間區域進行採樣，以採集圖像象素。在其他傳統的技術中，光線在整個目標上掃描，以便照亮物體改變著的部分98。對照明區域97內的小空間區域97進行採樣，以便採集象素。這些傳統的技術的特徵在於(i)正被採樣的小空間區域變成被採集的象素並且決定了象素的解析度；以及(ii)對於任何一次採樣，照明區域大於被採樣的區域。
參見圖6B，實行一種不同的技術。按照本發明的一個方面，不是照明一個大的區域並檢測小的象素區域，而是照明小的象素區域並採樣大的區域。具體地說，由波導36(圖2)發射的光在某個與所述象素被採集對應的給定時刻照明小的區域99。被檢測器50或收集光纖46採樣的區域100大於照明光點的尺寸99。這個區別是明顯的，傳統的技術用它們的傳感器(例如，被採樣的光點尺寸)決定的採樣區域來定義它們的象素和象素解析度。按照本技術，象素解析度是由照明的光點決定的。照明光點的尺寸準確地由帶有透鏡37和39的波導36控制。
為使照明光點尺寸對應於要採樣的象素，照明和採樣之間要有時間同步。這個同步不是像傳統方法那樣把採樣同步到圖像平面內的特定位置，而是時間上同步到照明信號或脈衝。例如，在一個實施例中光子檢測器50在任何給定時刻檢測來自整個物體的光。在這樣的檢測器50檢測的光同步到特定的光發射，以便獲得與所述發射對應的象素。事實上，排除採樣過程的空間關係。反之，象素的位置是由於知道照明光點在對應時刻的位置而知道的。
知道了時間上每一瞬間掃描光點的位置，很像視頻信號，圖像是一次一個象素地產生的。例如，通過以15.75kHz掃描圖像行，並以12.5MHz的時間解析度檢測光，以視頻速率(60Hz)以VGA的解析度(640×480)產生包含RGB彩色圖像的象素流。
利用時間同步法，在給定的時間窗口內採集象素。因為象素是作為時間窗口內接收的光而檢測的，所以在這樣的時間窗口檢測到的光子來自照明光點。另外，利用多個傳感器，實現共模抑制方案，濾除環境光，並檢測從物體返回的照明光。這種方法的優點是，避免了在先有技術的系統中出現的的共焦問題。例如，為了定義象素時間窗口的尺寸，利用典型的VGA視頻速率，每40毫微秒收集一個象素。對於一個象素的光，要被來自其他象素的光幹擾，第一個象素的光要平均來回彈跳約20英尺(因為光每毫微秒行進約1英尺)。對於典型的應用，這樣的光必須在小於一立方英寸的空間內來回彈跳。這對應於大約240次反射。光子被吸收或光子流被高度衰減之前，來自一個象素的光作240次反射是不大可能的。因此共焦問題不明顯。
參見圖7，在光30/32向透鏡39發射的同時，波導36諧振。所述透鏡使光射向目標物體上的特定光點位置。在波導偏轉的一個極端位置上，對象的光點A被照明。隨著偏轉繼續，波導達到中性位置，其中光點B被照明。再繼續，波導達到相反的極端，在這裡光點C被照明。照明光點C的光具有峰值強度半徑R。這樣的強度在半徑外減弱，並被認為是不明顯的。相應地，信號掃描線沿著從光點A到光點C的路逕行進。在某些實施例中，光纖偏轉系統28是線性掃描系統，它沿著一條線掃描。在另一個實施例中，系統28沿著直線或輻射狀光柵圖案掃描。在再一個實施例中，驅動系統28實現螺旋形掃描圖案，其中改變螺旋的半徑畫出物體區域的輪廓。由點A和C形成的弧決定了視場，並且可以跨越大約180度。光點A、B和C的距離由透鏡37，39決定，而且可以比透鏡37，39之間的距離大得多。
參見圖8，所示從控制器18接收的示例性同步信號，用以同步驅動系統28。圖8中還示出了遠端56和透鏡37的角位移102(例如，取向)。最後，示出照明光點沿著對象掃描線掃描時的位置10。一條示例性掃描線，例如，出現在從時間T1到T2。下一條掃描線(對於重疊掃描的實施例)出現在時間T2到T3。在掃描運動過程中，不同的時刻照明光點跨越光點A、B和C。在第一條掃描線過程中，光點A在時刻TA1被照明。光點B在時刻TB1被照明。光點C在時刻TC1被照明。對於隨後出現在時間T2到T3的掃描線，首先遇到光點C，並在時刻TC2被照明。之後相應的光點B在時刻TB2被照明。然後光點A在時刻TA2被照明。
對於VGA解析度的實現，從T1到T3的時間是63.5μs(微秒)。於是從T1到T2的時間是31.75μs。從TA1到TC1的時間小於31.75μs。具體地說，對於VGA標準，每條掃描線分成800個時間相等的象素。於是，每個象素跨越40ns(納秒)。相應地從TA1到TC1是25.6μs。
圖9和10描述一種實現方案，其中，發射的光是沿著掃描線106移動的連續光流30。在圖9的實現方案中，光子檢測器50連續地被激活，相關部分(TA到TC)均等地分成N個象素108。對於VGA標準，每個象素40ns的採樣時間。對於其他標準，可以採用不同的採樣時間。在圖10的實現中，光子檢測器50周期性地採樣。每次採樣對應於一個採集的象素110。每條掃描線106採集N個象素。在一個實施例中，每次採樣持續20ns。對於VGA標準，每個採樣間隔的中點之間的時間是40ns。對於這樣的標準，相應的採樣時間間隔是10ns。還可以採用替代的掃描時間和時間間隔。
參見圖2和11，在一個實施例中，照明系統12在掃描線114的掃描過程中定期發射光32的脈衝112。對光子檢測器50(圖4)進行同步，以便一次對物體或至少包括照明光點的物體的區域進行採樣，以捕獲與已知光點對應的返回光。對應於光點(例如，光點B)的採樣時間間隔I的跨度為時間周期116，對於所述光點，時間周期116大於、等於或小於光脈衝的時間間隔118。採樣時間間隔118的典型時間是20ns，而且可以改變。在再一個實施例(未示出)中，正如針對圖9描述的，檢測器50連續檢測返回光，而同時採樣結果與發射光脈衝112相關。
採用只以固定頻率放大，通過把照明和/或檢測維持在固定的頻率(例如，等於1/40ns＝12.5MHz)，可以顯著提高信噪比。於是頻率較高或較低的其他所有頻率的噪音均被濾除。
物理實施例參見圖12，示出了圖像採集系統10的觀察器部分120，其中光纖偏轉驅動系統28的波導36和執行器125包裝在保護外殼122中。掃描透鏡39密封在觀察器的端頭。掃描透鏡39的焦平面取決於它的放大率和相對於光纖遠端58和遠端透鏡37的位置。相對於遠端透鏡37軸向移動透鏡37即可調整焦平面。
對於單軸125掃描，波導36在外殼122內受執行器125作用而偏轉。懸臂式波導的基礎錨定在執行器125的遠端建立振動諧振的第一個靜止節點。都可以實現根據圖5A-D描述的任何一個諧振模式。對於雙軸掃描，第二執行器124使觀察器120沿著軸130(圖14)偏轉。但在某些實施例中，執行器124和/或125使波導產生非線性動作，引起二維運動，諸如沿著螺旋線圖案運動。
參見圖13，在執行器125的遠端錨定面內示出紅、綠和藍的光電檢測器對50，以便以準立體方式捕獲彩色圖像。光電檢測器的瞬時帶寬大於象素照明速率，以免限制對比度或解析度。例如，對於VGA標準，這樣的光電檢測器帶寬為≥12.5MHz，而對於sVGA視頻標準為19.8MHz。許多直徑小於1mm的基於矽的光電二極體在可見光譜中有足夠的帶寬。為了減小增大了的噪音，在微光電機械系統(MEMS)的製造過程中，將光電檢測器與集成的前置放大器組合在一起。一個替代的方法是，把光引導到單光纖懸臂的外同心層或特種包層內的觀察器的近端，或者利用一個或多個大芯(多模)光纖來捕獲散射回來的光線。這樣的配置允許光電檢測器處在觀察器的近端，這較少受到環境因素、物理空間限制和可能由於對可處理性和/或可消毒性的需求帶來的複雜化的影響。
參見圖15A-C，其中示出系統10的觀察器部分的120』的『MEMS』實施例。在這樣的實施例中，用於機械諧振運動的光波導結構是利用生產MEMS掃描儀的矽微加工技術批量生產的。在這樣的實施例中，執行器124、125、檢測器50和附加的光導管(未示出)也是利用同樣的MEMS工藝製造的，產生整體結構。微透鏡37和掃描透鏡39也是利用同樣的MEMS工藝或者單獨的注射模塑/加壓模塑或MEMS工藝製造的，然後連附在其他MEMS結構上。附加的光學和位移傳感器也可以裝入觀察器120』內，用以長期控制掃描穩定性。在這樣的實施例中，MEMS懸臂式波導36』被光纖26照明，光纖26粘結在下面襯底134的V型槽132內。
參見圖16和17，在一個替代的觀察器部分120」的實施例中，光纖26穿過用作電導線和光纖的導管並支持周圍保護覆蓋物(未示出)的管形機械支架140。雙壓電晶片彎曲器142連同電導線144和光纖26一起從支架140伸出成為懸臂。彎曲器142用作光纖偏轉驅動系統28(見圖2)的執行器。在彎曲器142的遠端的是盤形結構146，盤形結構146支持用來產生緩慢掃描軸145的懸臂式光纖掃描波導36。
在盤形結構146上有直接粘在盤上的光子檢測器50，諸如直徑0.1mm的商售光電二極體。在檢測器50的中心，環繞波導36的基座的是壓電環48，壓電環48驅動光纖波導36進入諧振振動狀態。兩個壓電執行器142，148同時在兩個正交的方向145、147上產生掃描。圖17所示是兩個掃描軸145、147的諧振基模。
參見圖18，在一個類似的觀察器120實施例中，利用兩個掃描軸145、147的第二諧振振動模式以縮小的直徑實現直線掃描運動。類似於圖17的實施例，雙壓電晶片彎曲器142產生偏轉。但是，在這第二模式下，另一個靜止節點出現在觀察器內。具體地說，在圖18的實施例中，振動的第二節點出現在振動件142、36的遠端。例如，光纖端面上的準直透鏡37的附加質量使掃描光束彩色分離複合稜鏡組件的運動可以是沒有平移的旋轉。應當指出，光子檢測器50位於觀察器120的靜止基座150上。
參見圖19，在另一個觀察器120」」的實施例中，利用單個執行器152實現兩個旋轉對稱的掃描運動。不論對於圓形掃描還是徑向掃描的實現，執行器152都是管狀壓電執行器。
參見圖20，在再一個觀察器120」」』實施例中，照明波導36被收集波導160同心地包圍。在這個實施例中，收集波導160隨著偏轉器波36運動。這種配置的結果是，空間濾除本來會降低解析度和彩色保真度的來自多重反射的反射。
立體和彩色觀察各種不同的觀察器實施例可以適合於使立體和彩色觀察成為可能。例如，通過提供物理上隔開並同步地對返回光進行採樣的多個檢測器來實現立體成像。與用單獨的觀察器進行立體觀察的先有技術系統相比，這有明顯的好處。對比之下，採用單一照明光纖達到立體觀察。
通過包括對與所需的顏色對應的相應的波長範圍敏感的光子檢測器來實現彩色觀察。參見圖13，包括匹配的紅、綠和藍光電檢測器對，用以進行立體彩色成像。
在不同的實施例中，光子檢測器50可以是單元件或多元件光子檢測器。參見圖21，光子檢測器50』、50」裝在不同的軸上，以差分方式濾除環境光的光子(和來自目標照明的強烈散射的背反射)，以便有別於由照明光纖26發射和直接返回物體的光子。具體地說，針對觀察器暴露在其強度與照明光30/32相比足夠大的環境光下的實施例，實現對環境光的共模抑制。這有利於改善彩色保真度。
考慮每次反射顏色的改變。捕獲射在許多表面上之後的光線，結果造成像素顏色混亂。另外，由於影響光的其他目標結構，多重反射降低解析度和對比度。因而，最好捕獲從所述光線所射到的第一點返回的顏色。
圖21實施例中光電檢測器50』和50」的配置在兩側和而在軸線上與照明光排成一直線，用來抑制背景分量。結果，彩色保真度和圖像解析度都得以改善。在某些實施例中，包括偏振維持照明分量和偏振濾波器，以便抑制被多次散射和色移的背散射光。圖20中的準同心配置連同偏振濾波器一起也產生改善顏色保真度和圖像解析度的結果。
深度增強的方法當用單檢測器光纖觀測器採集圖像時，圖像具有看來象是處於照明光纖位置上的視點和看來象是處於檢測返回光的光檢測器的位置上的單一表觀定向光源。所述圖像具有很強的由單一表觀光源引起的深度提示。利用從多個傳感器捕獲的圖像可以改善深度提示。可以把這些圖像結合起來，以便形成具有增強的陰影細節或深度感知的改善了的圖像。
改變檢測器的位置並不改變圖像視點的位置。但是，改變檢測器的位置確實改變表觀照明條件。顯然，採用多個檢測器，圖像中用一個檢測器建立的陰影不同於圖像中用處於其他位置的另一個檢測器建立的陰影。可以把從任何一種傳感器組合產生的圖像結合起來，以便提供最適應觀察條件的不同的照明方案。通過用多個或者處於光收集光纖(見圖15-21)遠端或者處於其近端的檢測器50獲得一系列圖像，可以獲得帶有動態照明的活動圖像。
從不同的傳感器收集的其他信息也可以包括在圖像中。在一個實施例中，從至少三個檢測器中的每一個光檢測器的光是可見單色光或彩色光。在另一個實施例中，至少三個傳感器中的一個或多個捕獲由所述波導(例如，紫外或紅外)一致地輸出的非可見光(例如，紫外或紅外光束通過與可見光共用的波導)。或者，包括包含螢光或偏振的其他對比度機制。
不是增強深度提示，而是利用來自至少兩個檢測器，最好來自至少三個檢測器的圖像，利用光度學立體感技術產生每個象素的深度信息。為了利用光度學立體感，所述圖像具有同一視點，無相對運動，最理想是同時採集，但具有不同的單光源照明狀態。這些類型的圖像用光纖觀測器很容易獲得。相比之下，為了達到必要的圖像，當前的內窺鏡需要多個照明通道，就要一次只用單個照明通道依次採集圖像。但是，內窺鏡或圖像採集之間的表面的運動會把不準確性引入從這樣的內窺鏡推算出來的深度信息中。
採用至少三個檢測器的對應的圖像來推算深度信息時，不需額外的信息即可準確推算出三維形體。只用一個檢測器時，要求作某些假定和用戶的協助來準確地推算三維形體。只用兩個檢測器時省去用戶協助，但要作出表面特性假定才能達到準確的深度細節。相應地，最好用三個檢測器來避免在推算準確的深度信息時的用戶協助。採用多個圖像來推算深度信息，就消除了表面是凹是凸的二義性，並允許用變化的漫反射係數(亦即，表面漫反射特性)來分析表面。
就用一個或多個檢測器，很容易獲得二維圖像特性。存在圖像的深度提示，特別是來自濃淡處理和陰影的深度提示，但是，由於照明光纖和檢測器(亦即表觀視點和表觀照明方向)相對接近的緣故，這些提示可能不夠。通過提取深度信息，通過計算視點改變或照明方向的改變的影響，來增強深度提示，甚至那些由於光纖觀測器幾何形狀的緣故物理上無法獲得的深度提示。
參見圖22，其中呈現了產生具有增強了的深度信息的輸出圖像的方法200的流程圖。在步驟202從諧振光纖波導36(見圖2)輸出光束30/32。波導36使輸出光束沿著掃描路徑掃描。掃描透鏡39把光束聚焦在對象表面(亦即物體)上。在給定時刻把光束聚焦，射在目標光點上，所述光點是照明光點，在所述光束沿著目標表面掃描時，照明光點隨著時間而改變。
在步驟204，用多個檢測器50檢測從目標表面返回的光。一個檢測器具有相對於諧振光纖波導的第一位置。另一個檢測器具有相對於諧振光纖波導的第二位置。第三個檢測器具有相對於諧振光纖波導的第三位置。至少同時用每一個檢測器檢測返回光。
在步驟206，從用第一檢測器檢測的返回光線採集第一圖像的多個象素。在步驟208，從用第二檢測器檢測的返回光線採集第二圖像的多個象素。類似地，在步驟210，從用第三檢測器檢測的返回光線採集第三圖像的多個象素。最好同時採集和構造這樣的圖像。
由於返回的光線來自共同點(例如，波導36波導末端)，在每一個檢測器採集的圖像具有共同的表觀視點。但因每一個檢測器都具有不同的位置，所採集的每一個圖像都具有不同的表觀照明方向。第一圖像具有基於第一檢測器位置的第一表觀照明方向。第二圖像具有基於第二檢測器位置的第二表觀照明方向。第三圖像具有基於第三檢測器位置的第三表觀照明方向。
在步驟212，處理所採集的多個圖像，以便推算目標表面的輸出圖像，包括基於多個檢測器50中的至少兩個，最好至少三個不同的表觀照明方向的深度信息。
在彩色圖像採集系統中，輸出光束是第一顏色光束、第二顏色光束和第三顏色光束(亦即紅、綠和藍)的組合。在這樣的實施例中，從上述給定檢測器採集的圖像代之以從三個檢測器採集-三個顏色的輸出光束中每一種顏色的輸出光束一個檢測器。先前描述，採集兩個最好三個圖像，準備為產生深度信息而進行處理。這些圖像不必是彩色的。在三色成像系統中每個採集的圖像用三個同位置的檢測器，加上獲取用於深度提取的推薦的三個圖像的兩個附加的多波長檢測器，這意味著最好至少用5個檢測器來採集增強深度信息的三色輸出圖像。
參見圖23，其中呈現用於處理所採集的圖像的方法214的流程圖。在步驟216，根據多個採集的圖像產生目標表面法線的取向映射(亦稱針映射)。在步驟218，從取向映射獲得深度映射。在步驟220，從深度映射獲得三維網格。在一個替代的實施例中，獲得高斯圖(離散直方圖)，而不是深度映射。然後把高斯圖用於圖像識別應用。
在步驟222，產生增強深度信息的輸出圖像。例如，三維網格中的深度信息用以加上虛擬陰影，以達到較佳的對比度，輸出圖像中觀察者看到的深度提示。在一個實施例中，從三維網格中推算立體圖像，其中計算觀察者的雙眼差異。把每個圖像輸出到觀察者各自一隻眼睛。
按照步驟216，取向映射指出每個象素的表面取向，並且對恢復所成像的目標的形體有用。一般說來，亮度和表面取向之間的映射不是唯一的，因為亮度具有一個自由度，而表面取向具有兩個自由度。(儘管，對於特定的點，諸如亮度最大或最小的象素，表面取向一般可以唯一地從單個樣值求出)。
為了針對輪廓表面恢復表面取向，除採集的象素的單個亮度值外，還需要附加信息。用不同的照明採集的兩個圖像提供兩個樣值，用來解出兩個自由度的取向值。但即使用兩個圖像，兩個得出的方程式可能是非線性的，或者取向只可以通過小的範圍(其中所述關係是線性的)推算。最好正如上面討論的採集至少三個圖像來改進取向映射的準確度，並增大可以求解可能的表面取向的範圍。最好再用第三個圖像，因為它允許獨立於漫反射係數(表面漫反射特性)變化地完成深度分析。漫反射係數的變化也可以利用第三圖像計算。
當有三個以上的檢測器可用時，附加圖像可以用來改善取向估計。從n個光電檢測器獲得n個圖像時，計算取向的一個方法是諸如利用以下式方程式求最小值e=II1((fx2+fy2)+(gx2+gy2))dxdy+]]>3i=1n1II1(Ei(x,y)-Ri(x,y))2dxdy]]>式中Ei是在第i個圖像測得的亮度，而Ri是相應的反射係數。常數λi是參數，用於對輻照度方程式相對於平滑偏離程度的誤差進行加權處理。
在一個實施例中，推算取向值用的離散方程式是利用下列方程式通過疊代推算的fk1n+1=fk1n+3i=1ni(Eik1-Ri(fk1,gk1))MRiMf,]]>和gk1n+1=gk1n+3i=1ni(Eik1-Ri(fk1,gk1))MRiMg.]]>在另一個實施例中，利用查詢表確定取向。所述表用每個圖像中觀察到的亮度進行索引。所述表的數值是根據方程式或在已知的標定對象進行的試驗選定的取向。通過根據觀察到的亮度測量值選擇數值，針對被成像的目標對象的每個象素獲得表面取向值。所採集的圖像的取向信息的集合在這裡最好稱作取向映射。
按照步驟218，從取向映射推算深度映射。深度映射以不同的方式代表物體形狀。具體地說，不是指定取向信息，而是深度映射指定超過基準平面的相對高度。深度映射是灰度圖像，黑代表最低高度，而白代表最高高度。象素(x，y)的高度z或z(x，y)是相應取向值f和g的梯度函數。給定f和g，沿著任意曲線積分即可恢復深度z。
z(x,y)=z(x0,y0)+(x0,y0)(x,y)(fdx+gdy)]]>沿著封閉的路徑，積分應等於0。在實際上，f和g不準確，因為它們是從有噪音的圖像恢復的。優化技術，諸如全局積分或疊代拉普拉斯松馳技術可以從有噪音的映射恢復平滑表面。
按照步驟220，由深度映射推算三維網格。使平面網格的頂點相對於深度映射的灰度象素值位移一定量。然後可以從不同的視點、照明條件或表面特性(產生的顏色)再現這個網格，賦予一個較佳的透視或深度印象。對於給定光纖觀測器幾何形狀，所述視點和照明條件在物理上可能是不可實現的。可以包括從其他傳感器(紅外、紫外、偏振)或從測量(輪廓映射)產生的其他信息。
在某些實施例中，不獲得深度映射而獲得取向直方圖。取向直方圖，擴展高斯曲線圖的離散情況，用於物體識別。已經獲得已知形體的原型取向直方圖。一般說來，不同物體的原型取向直方圖會是明顯不同的。通過試驗獲得的取向直方圖可以與存儲的原型比較，以便賦予未知物體一個已知物體類型。
附加的濃淡處理或其他圖像增強方案也可以應用於不同的實施例，以改善圖像質量。例如，在一個實施例中產生向觀察者各自的眼睛輸出的兩個圖像，來代表立體圖像。以不同的方法再現這兩個圖像來考慮觀察者的雙眼差異。根據兩眼之間相隔的距離和所述表面的表觀距離計算雙眼差異。相隔距離在某些實施例中是可選的，在另一個實施例中設置為標準平均值。在一個實施例中到所述表面的表觀距離可選，而在另一個實施例中設置為默認的標準距離。
測距在另一個實施例中，通過在每一個象素位置上進行從觀察器到目標的軸向測量，進行測距，達到真立體觀察。這樣的軸向測量值是圖像的第三維，對其進行處理以便產生立體圖像。例如，由控制器對來自匹配的檢測器對的信號進行處理以檢測返回光線的相位差。這樣的相位差對應於從掃描器到目標對象的距離。
在一個實施例中，照明子系統12(圖1和2)包括光源24(圖2)，它由可見光和紅外線光源形成。可見光和紅外線從共用的照明光纖26發出。參見圖4和15-20，光檢測器50既包括可見光檢測器又包括紅外線檢測器。
紅外線光源最好是調製雷射紅外光源，它輸出在GHz頻率範圍的紅外光。快光子紅外檢測器檢測返回的紅外光。紅外光子檢測器最好在與紅外光源相同的頻率下產生檢測信號。照明紅外光和收集的紅外光之間調製的相位差對應於目標象素的距離，解析度達≤1mm。具體地說，對於紅外光調製在1GHz的實施例，脈衝之間紅外光行進1英尺或在各脈衝之間相位差360度中每度約1mm。
不是如剛才描述那樣根據相位來測量把光反射回去的目標的距離，而是在一個替代的實施例中，用時間和頻率，或者利用光反饋幹涉儀來測量目標的距離。在飛行時間法中，從高調製帶寬雷射二極體發出距離測量輸出光束。在給定頻率(例如，在幾十kHz的數量級)下發出短的雷射脈衝。對於每個脈衝，測量發射和返回脈衝接收之間經過的時間。測得的時間與檢測器和物體表面最近一點之間的距離成正比。
或者，採用連續雷射發射方案，而不是脈衝發射方案，其中所接收的採樣定時對應於雷射發射的特定時間。另外，在某些實施例中，利用光學強度的高調製帶寬從直接調製的雷射二極體發射光線。距離用在與調製對應的時間周期進行採樣進行測量，以便確定發射和接收相應的返回光線之間所經過的時間。經過的時間與到目標表面上最近點的距離成正比。
在頻率法中，用可電子調諧的可頻率連續調製的雷射二極體來確定短距離檢測。其頻率隨時間而變化的信號調製測距輸出光束。返回光束與幹擾信號混頻，產生拍脈衝，它是目標表面距離的函數。
對於光幹涉儀法，反射回來的光沿著發射光的路徑與發射光引起幹涉圖案。在一個實施例中，採用注入檢測方法來檢測返回光信號的相位和頻率。自混頻，利用脈衝方案對應關係求出光強度波形的微商，用來測定深度(D)如下D=c4(dv/dt)(0fb0+1fb1)]]>式中Cs為光速，σ按照目標的運動是-1或+1，而f值是頻率偏移向上和向下斜坡過程中輸出功率與反饋的拍頻。
在每一個方法中，包括紅外或近紅外頻率的快光子或高帶寬光子檢測器，用以檢測返回光。此外，最好利用低散射光纖，光纖與低背反射損失、快定時和/或移相電路，連同平均軟體來提高信噪比。
參見圖24，其中呈現採集包括深度信息的圖像的方法230。在步驟232，從諧振波導36(見圖2)輸出光束30/32。波導36使光束沿著掃描路徑掃描。掃描透鏡39把光束聚焦在物體表面(亦即，目標)。在給定的時刻，聚焦所述光束以便射在目標點上，所述目標點是被照明點，當沿著目標表面掃描所述光束時，被照明點隨著時間變化。
在步驟234，從目標表面返回的光被至少一個檢測器50檢測。在步驟236，從返回光採集圖像的多個象素，或者在遠端或者在光收集光束之後。在步驟238，還利用上述任何一個測距方法(例如，相移、飛行時間、頻率、幹涉儀)從返回光採集距離信息，然後，最好與步驟236並行地進行。
在步驟240，距離信息用來映射成像的場景(亦即目標的拓撲)的表面、邊緣和頂點。在步驟242，處理在步驟240推算的三維圖像數據，以便獲得象素數據，用於顯示在顯示屏幕上或諸如頭戴立體顯示器等其他輸出裝置上。例如，在使用頭戴立體顯示器的地方，計算觀察者的雙眼差異，以便產生一對立體圖像。在步驟244，把輸出圖像的象素數據輸出到顯示器。
在一個替代的實施例中，使用第二檢測器，利用上述任何一種測距方法，從返回光檢測距離信息。在再一個實施例中，輸出光束包括用於將被掃描的物體成像的光束。這樣的輸出光束或者是單色或者是彩色可見光束。另外，輸出光束還包括測距用的重合光束(coincident beam)。重合光束或者是可見光或者是不可見光。
用途A.內窺鏡/內孔窺視儀/導管●總直徑小、最佳模式≤3mm，●極柔軟的杆，包含單光纖，●高解析度，理論極限估計為5μm，●達到非常寬的視場(FOV)，(超出標準的45°，大約可達180°)●紅(R)、綠(G)和藍(B)全色檢測，●用兩種途徑中的一種實現立體圖像檢測-匹配的立體R，G，B光檢測器對，有助於增強在掃描照明子系統中固有的拓撲對比度特性，準立體。
-雙圖像發生器，在最佳模式下直徑≤6mm，允許真立體，
●圖像顯示的視頻速率(30-60Hz刷新速率是標準的)，●低成本，潛在可處理，消毒，●低功率，諧振掃描操作，●設計簡單，運動部件少，●可用於高功率雷射，可見光、紫外光、紅外照明，用於諸如光動態治療、雷射引起的螢光、雷射外科、血液中的紅外成像等醫療操作，●可以用於高功率、短脈衝紫外光、可見光或紅外光照明，用於測量觀察器和組織之間的距離(測距和真三維成像)、多光子螢光成像和螢光壽命成像等這樣的醫療用途，●小尺寸和柔軟性允許圖像發生器改進到現有內窺鏡(套管)、柔性包皮或附在外科或診斷工具上，●彎曲以及旋轉柔軟性帶有單根光纖軸對稱光耦合，●採集的光電信號與RGB視頻監視器的視頻輸入信號直接兼容，特別是具有多重同步能力，●背散射光被光纖直接從遠端引導到近端處觀察者的眼睛，不需要遠端光電檢測器。除標準視頻顯示監視器外，圖像可以在一個實施例中用視網膜掃描裝置顯示，不必進行電信號轉換。
B.其他用途遠程光檢測、放在機器人手指尖或執握器上的機器人眼睛、長期過程監視、眼跟蹤器、條碼閱讀器、微平版印刷術、可視顯示，光學檢查和雷射外科手術。
有價值的和有利的效果本發明的優點是，由於象素的獲得方法、透鏡的存在和光纖的驅動方式，即使用小而細的觀察器，也可以達到光纖的柔軟性、廣闊的視場、高的解析度。因為象素是按時間序列測量的，不是在二維象素陣列，所以不需要具有小的光子檢測器。檢測器的尺寸不像先有技術那樣關鍵，在先有技術中許多小的檢測器跨越一個大的區域。所以，本發明的觀察器做得比現有的觀察器小，而同時利用較少的光子檢測器，後者大於標準觀察器的象素檢測器。
按照本發明的另一個優點，達到高的解析度、廣闊的視場、掃描、和柔軟的光纖。尤其是把光纖諧振模式設置在光纖諧振波導的遠端，在相對較小的光纖運動區域內可以達到寬闊的掃描角度。這就允許既有高解析度，又有寬闊的視場。利用小的光點尺寸和通過與照明光相關地按時間捕獲被檢測的光，達到高的象素解析度。用小的尺寸和低的功率消耗達到低成本、可任意使用的掃描裝置。
儘管對本發明推薦的實施例已經作了說明和描述，但各種替代方案、修改和等效物都可以採用。例如，在某些實施例中，傳感器裝在光纖掃描器的端面上，來檢測光纖位置，並利用電磁、靜電、電機、光學或聲學控制，幫助控制掃描圖案。
在一些替代的實施例中，實現可變的或非直線掃描圖案，諸如半徑和矩心位置可變的橢圓形圖案。例如，對於單個執行器、小尺寸眼睛跟蹤和條碼閱讀器的實現，諸如旋轉線性或輻射圖案等這樣的定製掃描圖案是所希望的。
實現較慢的正交的掃描軸的替代方案包括運動的反射鏡、透鏡、光柵或它們的組合。這樣的光學部件位於快速掃描諧振光纖和目標對象之間。
在某些實施例中，光纖的端面是斜切的，以便(i)減小光纖端面的質量，增大掃描振幅，(ii)減小掃描運動的物理範圍，和/或(iii)減小光發射的點光源的有效尺寸。
在某些實施例中，包括偏振維持照明組件和偏振光纖，以便抑制經歷了多重散射和色移的背景光。在某些實施例中，波導是在波導端面上具有發射光線的光源懸臂。
儘管描述了掃描光纖波導，在一個深度增強的方法和測距方法的替代實施例中，採用偏轉的反射鏡或懸臂組件來使輸出光束在目標對象上掃描。
儘管在一個推薦的實施例中，發射和檢測可見光，但是在一個替代的實施例中，發射和檢測的光是紫外光、紅外光。在某些實施例中，包括傳感器，它向驅動系統的控制器提供反饋，控制器作為響應調整懸臂的偏轉。結果，懸臂的偏轉得到調整和控制。
因此，以上描述不應看作是對本發明範圍的限制，本發明的範圍由後附的權利要求書限定。
權利要求
1.一種用於產生目標表面圖像的方法，包括以下步驟沿著相對於光軸的掃描路徑輸出光束；把所述光束聚焦在被掃描的所述目標表面上，其中在給定時刻使光束聚焦，射在目標點上，所述目標點是被照明點，當所述光束在所述目標表面上掃描時，所述被照明點隨著時間而改變；響應所述光束的輸出，用多個檢測器檢測從所述目標表面返回的光，所述多個檢測器中的每一個都具有各自相對於光軸的位置，其中所述多個檢測器同時檢測所述返回光；利用所述多個檢測器採集多個並發圖像；其中，所述多個並發圖像具有基於產生所述返回光的共同光束的共同的表觀視點，所述共同光束是所述輸出光束；其中，所述多個並發圖像中的每一個圖像具有不同的表觀照明方向，所述多個圖像中的一個給定圖像的表觀照明方向是以用於採集所述給定的一個圖像的多個檢測器中相應的一個或多個檢測器各自的位置為依據的；和處理所述多個並發圖像，以便推算出所述目標表面的輸出圖像，包括基於所述多個並發圖像中的每一個的不同的表觀照明方向的相對深度信息。
2.如權利要求1所述的方法，其特徵在於所述檢測步驟包括檢測從所述目標表面上大於所述被照明的斑點所限定的面積的面積的返回的光。
3.如權利要求1所述的方法，其特徵在於所述處理步驟包括根據所述第一圖像和第二圖像產生所述目標表面法線的取向映射。
4.如權利要求3所述的方法，其特徵在於所述處理步驟還包括從所述取向映射建立取向直方圖並把所述取向直方圖與一個或多個原型取向直方圖比較，以便對所述目標表面進行分類的步驟。
5.如權利要求3所述的方法，其特徵在於所述處理步驟還包括從所述取向映射建立深度映射的步驟。
6.如權利要求3所述的方法，其特徵在於所述處理步驟還包括從所述深度映射建立三維網格的步驟。
7.如權利要求6所述的方法，其特徵在於所述處理步驟包括利用虛擬照明和視點再現所述三維網格，以便同時增強深度感和表面拓撲或其中之一。
8.如權利要求6所述的方法，其特徵在於所述處理步驟包括從所述三維網格計算兩個立體圖像，其中計算觀察者的雙眼差異。
9.如權利要求1所述的方法，其特徵在於所述處理步驟包括再現所述輸出圖像，呈現比所述多個並發圖像中每一個都增強的表面拓撲。
10.如權利要求1所述的方法，其特徵在於所述處理步驟包括再現所述輸出圖像，呈現比所述多個並發圖像中的每一個都增強的照明透視。
11.如權利要求1所述的方法，其特徵在於所述處理步驟包括再現兩個立體圖像，其中計算觀察者的雙眼差異，所述兩個立體圖像是向所述觀察者眼睛輸出的圖像。
12.如權利要求1所述的方法，其特徵在於所述輸出光束包括可見光和紫外光，其中所述第一檢測器檢測返回的可見光，而所述第二檢測器檢測返回的紫外光。
13.如權利要求1所述的方法，其特徵在於所述輸出光束包括可見光和紅外光，其中所述多個檢測器中的第一檢測器檢測返回的可見光，而所述多個檢測器中的第二檢測器檢測返回的紅外光。
14.如權利要求1所述的方法，其特徵在於所述光束是從所述諧振波導發出的輸出光束，而且在所述輸出步驟之前還包括以下步驟產生第一顏色的第一光束、第二顏色的第二光束和第三顏色的第三光束；以及在進入所述諧振波導之前組合所述第一光束、所述第二光束和所述第三光束，所述組合後的第一光束、第二光束和第三光束形成所述輸出光束。
15.如權利要求1所述的方法，其特徵在於所述輸出光束是一系列光脈衝，而且其中所述檢測步驟與所述一系列的光脈衝同步，所述給定時刻的所述檢測的返回光對應於給定的光脈衝和所述採集的象素。
16.如權利要求1所述的方法，其特徵在於所述檢測返回光的步驟包括檢測反射光。
17.如權利要求1所述的方法，其特徵在於所述檢測返回光的步驟包括檢測響應所述輸出光束而從所述目標表面發出的螢光。
18.如權利要求1所述的方法，其特徵在於所述檢測返回光的步驟包括檢測響應所述輸出光束而從所述目標表面發出的磷光。
19.一種用於採集目標表面圖像的系統，它包括發射光的光源；執行器，它使發射的光相對於光軸沿著掃描路徑偏轉；多個光子檢測器，用於檢測響應所述發射的光而從所述目標表面返回的光，所述多個光子檢測器中的每一個相對於光軸都具有不同的遠端位置，其中，利用所述多個光子檢測器採集多個並發圖像，所述多個並發圖像具有基於產生所述返回光的共同光束的共同表觀視點，所述共同光束是所述輸出光束，所述多個並發圖像中的每一個圖像都具有不同的表觀照明方向，對於所述多個圖像中的一個給定圖像，其所述表觀照明方向是以用於採集所述給定的一個圖像的所述多個檢測器中相應的一個或多個檢測器各自的位置為依據的；和處理器，它處理所述多個並發圖像，以便產生所述目標表面的輸出圖像，包括基於來自所述多個並發圖像中每一個圖像的不同表觀照明方向的深度信息。
20.如權利要求19所述的系統，其特徵在於還包括柔性光波導，它接收所述發出的光並使所述光射向目標表面，其中在給定時刻所述光照射到所述目標表面的斑點上，所述目標點是被照明點；以及其中所述執行器使所述波導偏轉，進入諧振運動，所述被引導的光跟蹤沿著所述目標表面的掃描路徑。
21.如權利要求19所述的系統，其特徵在於還包括反射鏡，它接收所述發出的光並使所述光射向所述目標表面，其中在給定時刻所述光照射到所述目標表面的斑點上，所述目標點是被照明點；和其中所述執行器使所述反射鏡偏轉，所述被引導的光跟蹤沿著所述目標表面的掃描路徑。
22.如權利要求19所述的系統，其特徵在於還包括懸臂組件，在懸臂的遠端具有光源，所述光源發出光沿著所述懸臂的軸線向所述目標表面輸出，其中，在給定時刻所述光照射到所述目標表面的斑點上，所述目標點是被照明點；和其中，所述執行器使所述懸臂組件偏轉，所述被引導的光跟蹤沿著所述目標表面的掃描路徑。
23.如權利要求19所述的系統，其特徵在於所述多個檢測器中的每一個都具有所述目標表面的超過被照明點尺寸的有效的觀察區域；並且所述系統還包括相關器，在所述光跟蹤掃描路徑時，使所述檢測器的採樣時間與所述光相關，其中從所述目標表面的一部分的圖像採集象素，其中所述採集的象素中每一個象素的解析度與所述被照明點尺寸相應，以及其中從第一組檢測器採集所述各並發圖像中的第一個圖像。
24.如權利要求19所述的系統，其特徵在於所述輸出光束是第一顏色光束、第二顏色光束和第三顏色光束的組合；以及其中所述輸出圖像是彩色圖像；其中，所述多個檢測器包括第一組檢測器，所述第一組檢測器包括第一顏色的第一檢測器，用以檢測第一顏色光束的返回光；第二顏色的第一檢測器，用以檢測第二顏色光束的返回光；和第三顏色的第一檢測器，用以檢測第三顏色光束的返回光，而且其中從所述第一組檢測器採集所述多個並發圖像中的第一個圖像。
25.如權利要求24所述的系統，其特徵在於所述多個檢測器包括第二組檢測器，所述第二組檢測器包括第一顏色的第二檢測器，用以檢測第一顏色光束的返回光；第二顏色的第二檢測器，用以檢測第二顏色光束的返回光；和第三顏色的第二檢測器，用以檢測第三顏色光束的返回光，而且其中從所述第二組檢測器採集所述多個並發圖像中的第二個圖像。
26.如權利要求24所述的系統，其特徵在於所述多個檢測器還包括第二檢測器，所述第二檢測器是多波長檢測器，用以檢測從第一顏色光束、第二顏色光束和第三顏色光束返回的光的亮度，其中所述多個並發圖像中的第二個是從第二檢測器採集的。
27.如權利要求26所述的系統，其特徵在於所述多個檢測器還包括第三檢測器，其中從所述第三檢測器採集所述多個並發圖像中的第三個圖像。
28.如權利要求19所述的系統，其特徵在於所述多個檢測器還包括第一檢測器和第二檢測器，所述第一檢測器用以採集所述各並發圖像中的第一個圖像，而所述第二檢測器用以採集所述各並發圖像中的第二個圖像。
29.如權利要求28所述的系統，其特徵在於所述多個檢測器還包括第三檢測器，用以採集所述多個並發圖像中的第三個圖像。
30.如權利要求19所述的系統，其特徵在於所述處理器根據所述多個並發圖像產生所述目標表面法線的取向映射。
31.如權利要求30所述的系統，其特徵在於所述處理器從所述取向映射建立取向直方圖，並把所述取向直方圖與一個或多個原型直方圖比較，以便對所述目標表面進行分類。
32.如權利要求30所述的系統，其特徵在於所述處理器從所述取向映射建立深度映射
33.如權利要求32所述的系統，其特徵在於所述處理器從所述深度映射建立三維網格。
34.如權利要求33所述的系統，其特徵在於所述處理器利用虛擬照明和視點再現所述三維網格，以便或者增強深度感知和表面拓撲之一或者增強深度感知和表面拓撲兩者。
35.如權利要求34所述的系統，其特徵在於所述處理器從所述三維網格計算兩個立體圖像，其中計算觀察者雙眼差異。
36.一種用於產生目標表面圖像的方法，包括以下步驟從諧振的光纖波導輸出光束，所述波導使所述光束沿著掃描路徑掃描；利用掃描透鏡把所述光束聚焦在被掃描的所述目標表面上，其中在給定時刻使光束聚焦，射在所述目標的斑點上，所述目標點是被照明點，在所述光束在所述目標表面上掃描時，所述被照明點隨著時間而改變；利用具有相對於所述諧振光纖波導的第一位置的第一檢測器和具有相對於所述諧振光纖波導的第二位置的第二檢測器檢測、響應所述輸出光束而檢測從所述目標表面返回的光，其中，所述第一檢測器和第二檢測器具有不同的取向軸，所述光纖波導具有軸線，所述第一檢測器和所述第二檢測器中至少一個具有不同於光纖波導軸線的取向軸；對利用所述第一檢測器和第二檢測器獲得的信號進行共模抑制，以便通過以差分方式排除環境光的光子來改善顏色保真度和所採集的圖像的解析度。
37.一種用於產生目標表面圖像的方法，包括以下步驟沿著圍繞光軸的掃描路徑輸出光束；把所述光束聚焦在被掃描的所述目標表面上，其中在給定時刻使光束聚焦，射在目標點上，所述目標點是被照明點，在所述光束在所述目標表面上掃描時，所述被照明點隨著時間而改變；利用多個檢測器檢測從所述目標表面返回的光，所述多個檢測器相對於光軸具有一般共焦的配置，所述多個檢測器中的每一個都包括偏振濾光器，用以抑制經過多次散射和色移的背散射光。
38.一種用於產生目標表面圖像的方法，包括以下步驟沿著圍繞光軸的掃描路徑輸出光束；把所述光束聚焦在被掃描的所述目標表面上，其中在給定時刻使所述光束聚焦，射在所述目標點上，所述目標點是被照明點，在所述光束在所述目標表面上掃描時，所述被照明點隨著時間而改變；利用至少一個檢測器檢測從所述目標表面返回的光；從利用所述檢測器檢測的所述返回光中採集第一圖像的第一組多個象素；測量到所述目標表面上一個或多個象素的距離；處理所述第一圖像和所述測得的距離，以便推算所述目標表面的輸出圖像，包括深度信息。
39.如權利要求38所述的方法，其特徵在於所述檢測步驟包括檢測來自至少兩個檢測器的返回光，而所述測量距離的步驟包括以下步驟檢測由相應象素的所述至少兩個檢測器檢測的所述返回光的相位差，所述相位差對應於到所述相應象素的所述目標表面的距離。
40.如權利要求37所述的方法，其特徵在於所述光束包括從高調製帶寬雷射二極體發射的光，而且其中在給定頻率下發射雷射脈衝；其中所述測量步驟包括對於每一個脈衝，測量脈衝發射和相應返回脈衝的接收之間經過的時間，所述經過的時間與到所述目標表面上最近點的距離成正比。
41.如權利要求37所述的方法，其特徵在於所述光束包括利用光強度的高調製帶寬從直接調製雷射二極體發射的光，其中，所述測量步驟包括以與所述調製對應的時間周期進行採樣，以便測量發射和相應的返回光的接收之間經過的時間，所述經過的時間與到所述目標表面上最近點的距離成正比。
42.如權利要求37所述的方法，其特徵在於所述光束包括從可電子調諧的雷射二極體發射的光，而所述輸出步驟包括從所述雷射二極體發射連續頻率調製光；而且其中所述測量步驟包括使所述返回光與參考光混頻，產生與到所述目標表面的距離成正比的拍頻。
43.如權利要求37所述的方法，其特徵在於所述檢測步驟包括檢測沿所述輸出光束的所述路徑反射回來的光，所述反射回來的光與所述輸出光束呈現幹涉圖案；而且其中所述測量步驟包括利用脈衝方案對應關係使背返回光混頻，求光強度波形的微商，所述微商表示到所述目標表面的距離。
44.如權利要求37所述的方法，其特徵在於所述檢測步驟包括檢測沿所述輸出光束的路徑反射回來的光，所述反射回來的光與所述輸出光束呈現幹涉圖案；而且其中所述測量步驟包括利用連續雷射發射方案的對應關係使背返回光混頻，求光強度波形的微商，所述微商表示到所述目標表面的距離。
全文摘要
最小侵害的醫療圖像採集系統輸出光束或脈衝，照明剛好一個斑點尺寸。多個光子檢測器檢測從包括所述斑點的物體返回的光子，象素解析度由照明光點的面積(因而由透鏡配置)決定，而不是由傳感器檢測的面積決定。通過使相應的檢測器所檢測的各圖像相關，或者通過基於相位差、飛行時間、頻率或幹涉儀的測距的方法，決定深度增強。
文檔編號A61B1/05GK1575524SQ02820916
公開日2005年2月2日 申請日期2002年8月22日 優先權日2001年8月23日
發明者E·賽貝爾, Q·Y·J·史密斯維克, T·A·福爾內斯三世 申請人:華盛頓州大學