圖像處理設備，圖像處理系統，圖像處理方法和圖像處理程序的製作方法
2023-05-13 04:56:41 1
圖像處理設備，圖像處理系統，圖像處理方法和圖像處理程序的製作方法
【專利摘要】本發明的目的是減輕觀察虛擬載玻片圖像的觀察者的負擔。圖像處理設備處理虛擬載玻片圖像。圖像處理設備包括顯示圖像數據生成單元，所述顯示圖像數據生成單元對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，從而生成用於在顯示設備上顯示圖像的顯示圖像數據，所述圖像不同於當對整個圖像數據進行一致的圖像處理時獲得的圖像。
【專利說明】圖像處理設備，圖像處理系統，圖像處理方法和圖像處理程序
【技術領域】
[0001]本發明涉及圖像處理設備，圖像處理方法，圖像處理系統和程序。
【背景技術】
[0002]近年來，在病理學領域，作為充當病理診斷工具的光學顯微鏡的替代物，虛擬載玻片系統已引起關注。虛擬載玻片系統拾取並數位化準備好的載玻片上的測試樣本(試樣)的圖像，從而使在顯示器上的病理診斷成為可能。通過利用這樣的虛擬載玻片系統數位化病理診斷圖像，測試樣本的常規光學顯微鏡圖像可被處理成數字數據。這預計可提供諸如更快的遠程診斷、利用數字圖像向患者進行說明、罕見病例信息的共享、和更高效的教育和培訓之類的優點。
[0003]對於實現與光學顯微鏡可比的操作的虛擬載玻片系統來說，必須數位化準備好的載玻片上的整個測試樣本的圖像。通過數位化整個測試樣本的圖像，可通過在個人計算機(PC)或工作站上運行的觀察器軟體，觀察由虛擬載玻片系統生成的數字數據。一般，通過數位化整個測試樣本的圖像而獲得的像素數為幾億到幾十億像素，這是非常大量的數據。儘管利用虛擬載玻片系統生成的數據的量很大，不過這允許通過觀察器中的放大和縮小操作，觀察從顯微圖像(詳細的放大圖像)到宏觀圖像(全體俯瞰圖像)的圖像，並提供各種便利性。通過預先獲得所有的必需信息，能夠以用戶希望的解析度或倍率，立即顯示從低倍率圖像到高倍率圖像的各種圖像。
[0004]迄今為止，提出了這樣的顯微鏡，其中在通過顯微鏡同時觀察樣本圖像和信息圖像的情況下，能夠通過控制用於顯示信息圖像的光量，以易於觀察的方式呈現信息圖像(專利文獻(PTL) I)。
[0005]引文列表
[0006]專利文獻
[0007]PTLl:日本專利公開 N0.8-122647
【發明內容】
[0008]通過對拾取觀察對象的圖像獲得的圖像數據進行圖像處理而顯示在顯示器上的虛擬載玻片圖像是不同於通過顯微鏡觀察的圖像觀看的。當顯示虛擬載玻片圖像時，顯示區域通常比通過顯微鏡觀察的觀察視野寬。於是，基於虛擬載玻片圖像數據並顯示在顯示器上的顯示圖像(下面也稱為「顯示用圖像」)包含大量的信息。結果，觀察者必須注視較寬的區域，這對觀察者來說是負擔。
[0009]本發明的目的是提出一種生成減輕觀察者的負擔的虛擬載玻片圖像的圖像處理設備。
[0010]為了實現該目的，本發明的一個方面提供一種處理虛擬載玻片圖像的圖像處理設備，所述圖像處理設備包括
[0011]圖像數據獲取單元，所述圖像數據獲取單元被配置成獲取通過拾取成像目標的圖像而得到的圖像數據；和
[0012]顯示圖像數據生成單元，所述顯示圖像數據生成單元被配置成根據圖像數據生成顯示圖像數據，所述顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據，觀察區域顯示圖像數據是用於在顯示設備上顯示根據預定技術確定的或者由用戶指定的觀察區域的數據，非觀察區域顯示圖像數據是用於在顯示設備上顯示觀察區域外的區域的數據。
[0013]顯示圖像數據生成單元對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，以生成用於在顯示設備上顯示圖像的顯示圖像數據，該圖像不同於當對整個圖像數據進行一致的圖像處理時獲得的圖像。
[0014]本發明的另一方面提供一種處理虛擬載玻片圖像的圖像處理方法，所述圖像處理方法包括
[0015]圖像數據獲取步驟，所述圖像數據獲取步驟獲取通過拾取成像目標的圖像而獲取的圖像數據；和
[0016]顯示圖像數據生成步驟，所述顯示圖像數據生成步驟根據在圖像數據獲取步驟中獲取的圖像數據生成顯示圖像數據，所述顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據，觀察區域顯示圖像數據是用於在顯示設備上顯示根據預定技術確定的或者由用戶指定的觀察區域的數據，非觀察區域顯示圖像數據是用於在顯示設備上顯示觀察區域外的區域的數據。
[0017]顯示圖像數據生成步驟是對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，以生成用於在顯示設備上顯示圖像的顯示圖像數據的步驟，該圖像不同於當對整個圖像數據進行一致的圖像處理時獲得的圖像。
[0018]本發明的另一方面提供一種處理虛擬載玻片圖像的圖像處理方法，所述圖像處理方法包括
[0019]圖像數據獲取步驟，所述圖像數據獲取步驟獲取通過拾取成像目標的圖像而獲取的圖像數據；和
[0020]顯示圖像數據生成步驟，所述顯示圖像數據生成步驟根據在圖像數據獲取步驟中獲取的圖像數據生成顯示圖像數據，所述顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據，觀察區域顯示圖像數據是用於在顯示設備上顯示根據預定技術確定的或者由用戶指定的觀察區域的數據，非觀察區域顯示圖像數據是用於在顯示設備上顯示觀察區域外的區域的數據。
[0021]顯示圖像數據生成步驟是對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，以生成第一顯示圖像數據和第二顯示圖像數據的步驟，第一顯示圖像數據是用於在顯示設備上顯示與當對整個圖像數據進行一致的圖像處理時獲得的圖像不同的圖像的數據，第二顯示圖像數據是當不對圖像數據進行圖像處理時或者當對整個圖像數據進行一致的圖像處理時獲得的數據。
[0022]所述圖像處理方法還包括顯示圖像數據傳送步驟，所述顯示圖像數據傳送步驟在待顯示在顯示設備上的圖像的位置或顯示倍率被改變時，把第一顯示圖像數據傳送給顯示設備，而在待顯示在顯示設備上的圖像的位置或顯示倍率不被改變時，把第二顯示圖像數據傳送給顯示設備。
[0023]本發明的另一方面提供一種圖像處理系統，包括所述圖像處理設備和顯示設備。所述顯示設備被配置成以具有再現顯微鏡視野的觀察區域的模式，顯示由圖像處理設備處理的虛擬載玻片圖像。
[0024]本發明的另一方面提供一種使計算機執行圖像處理方法的各個步驟的程序。
[0025]參考附圖，在實現本發明的實施例的說明中，本發明的其它方面將變得明顯。
[0026]按照本發明的優選實施例，通過用不同的方式顯示觀察區和非觀察區，能夠減輕觀察者的負擔。
【專利附圖】
【附圖說明】
[0027]圖1是圖解說明利用按照本發明的圖像處理設備的圖像處理系統的設備結構的總示意圖。
[0028]圖2是圖解說明利用按照本發明的圖像處理設備的圖像處理系統中的圖像拾取設備的功能結構的功能方框圖。
[0029]圖3是圖解說明按照本發明的圖像處理設備的功能結構的功能方框圖。
[0030]圖4是圖解說明按照本發明的圖像處理設備的硬體結構的方框圖。
[0031]圖5是說明顯微鏡視野顯示(圓形顯示)的概念的示意圖。
[0032]圖6是圖解說明按照本發明的圖像處理設備的顯微鏡視野顯示處理的流程的流程圖。
[0033]圖7是圖解說明按照本發明的圖像處理設備中的顯微鏡視野(觀察區)顯示圖像數據的生成的詳細流程的流程圖。
[0034]圖8示意圖解說明按照本發明的圖像處理系統的顯示屏幕的例子。
[0035]圖9是圖解說明利用按照第二實施例的圖像處理設備的圖像處理系統的設備結構的總示意圖。
[0036]圖10是圖解說明按照第二實施例的圖像處理設備中的顯微鏡視野顯示圖像數據的生成的詳細流程的流程圖。
【具體實施方式】
[0037]下面參考附圖，說明本發明的實施例。
[0038]按照本發明的圖像處理設備是處理虛擬載玻片圖像的設備。圖像處理設備包括圖像數據獲取單元和顯示圖像數據生成單元。
[0039]根據利用圖像數據獲取單元獲取的圖像數據，顯示圖像數據生成單元生成用於在顯示設備上顯示的顯示圖像數據，顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據。觀察區域是根據預定技術，例如，根據預先保存在圖像處理設備或外部存儲裝置中的信息和/或根據用戶的指令確定的。觀察區域最好是顯微鏡視野(一般為圓形)的再現。待再現的顯微鏡視野的種類最好作為上述信息，被預先保存。預先保存的信息最好包括初始視野信息(它是當不存在用戶的指令時，作為觀察區域選擇的信息，下面也稱為「初始信息」)和/或多個具體的現有顯微鏡視野信息(即，多個用戶可選擇的顯微鏡視野信息)。初始視野信息可被保存，以便作為所述多個顯微鏡視野信息之一被選擇。根據用戶的指令確定的新的觀察區域可被保存為附加的視野信息，以致可作為視野信息的選擇項被選擇。可為每個用戶，管理根據用戶的指令確定的新的觀察區域。
[0040]顯示圖像數據生成單元對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，從而生成用於在顯示設備上顯示圖像的顯示圖像數據，所述圖像不同於當對整個圖像數據進行一致的圖像處理時獲得的圖像。
[0041]顯示圖像數據生成單元最好生成用於顯示再現顯微鏡視野的觀察區域的顯示圖像數據。顯示圖像數據生成單元最好根據現有顯微鏡視野信息，生成顯示圖像數據。這種情況下，顯示圖像數據生成單元最好根據現有顯微鏡視野信息和待顯示成圖像的倍率信息，生成顯示圖像數據。顯示圖像數據生成單元最好通過利用多個現有顯微鏡視野信息中的一個預定信息作為初始信息，生成顯示圖像數據。顯示圖像數據生成單元最好通過根據用戶的選擇，利用多個現有顯微鏡視野信息之一，生成顯示圖像數據。顯示圖像數據生成單元最好使非觀察區域的亮度低於觀察區域的亮度地生成顯示圖像數據。
[0042]通過對每個像素把圖像數據乘以多值掩蔽信息，可生成顯示圖像數據。通過根據指示兩種處理形式的掩蔽信息，對圖像數據進行計算，可生成顯示圖像數據。指示兩種處理形式的掩蔽信息可表示將採用圖像數據的位置，和圖像數據將經歷移位(bit shifting)的位置。這裡，術語「位置」指的是顯示在顯示設備上的圖像的顯示位置。通過把坐標信息包含在掩蔽信息中，可表示所述位置。可用從外部輸入的指令，改變移位的量。當具有RGB顏色信息的彩色圖像數據被用作圖像數據時，顯示圖像數據生成單元可把圖像數據轉換成亮度色差數據，然後對通過轉換獲得的亮度值進行計算。
[0043]當顯示圖像數據生成單元生成用於顯示模擬顯微鏡視野的圓形觀察區域的顯示圖像數據時，最好按照到圓形觀察區域的中心的距離，改變移位的量。
[0044]在待顯示在顯示設備上的圖像的位置或顯示倍率被改變時，顯示圖像數據生成單元可生成不區分觀察區域和非觀察區域的顯示圖像數據。
[0045]非觀察區域顯示圖像數據可包含關於成像目標的信息。
[0046]本發明的優選圖像處理系統包括圖像處理設備和圖像顯示設備。在下面的說明和附圖中，「圖像顯示設備」可被稱為「顯示設備」。上面說明的圖像處理設備可用作圖像處理系統中的圖像處理設備。本發明的圖像處理系統可包括下面說明的圖像拾取設備和/或圖像伺服器。
[0047]本發明的優選圖像處理方法是處理虛擬載玻片圖像的圖像處理方法，至少包括圖像數據獲取步驟和顯示圖像數據生成步驟。本發明的圖像處理方法還可包括在顯示圖像數據生成步驟之後的顯示圖像數據傳送步驟。圖像數據獲取步驟獲取通過拾取成像目標的圖像而獲得的圖像數據。顯示圖像數據生成步驟生成包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據的顯示圖像數據。顯示圖像數據是用於在顯示設備上顯示圖像的數據。在本發明的圖像處理方法中，可以反映圖像處理設備的上述或下述實施例。
[0048]按照本發明的優選實施例的顯示圖像數據生成步驟生成包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據的第一圖像數據，和/或不區分觀察區域顯示圖像數據和非觀察區域顯示圖像數據的第二顯示圖像數據。當不對圖像數據進行圖像處理時，或者當對整個圖像數據進行一致的圖像處理時，獲得第二顯示圖像數據。
[0049]按照本發明的優選實施例的顯示圖像數據傳送步驟在待顯示在顯示設備上的圖像的位置或顯示倍率被改變時，把第一顯示圖像數據傳送給顯示設備。另外，按照本發明的優選實施例的顯示圖像數據傳送步驟在待顯示在顯示設備上的圖像的位置或顯示倍率不被改變時，把第二顯示圖像數據傳送給顯示設備。
[0050]按照本發明的程序是使計算機執行上述圖像處理方法的各個步驟的程序。
[0051]現在參考以下實施例，說明本發明。
[0052][第一實施例]
[0053]按照本發明的圖像處理設備可以用在包括圖像拾取設備和顯示設備的圖像處理系統中。現在參考圖1，說明圖像處理系統。
[0054](圖像處理系統的設備結構)
[0055]圖1是利用按照本發明的圖像處理設備的圖像處理系統的總示意圖。圖像處理系統包括圖像拾取設備(例如，顯微鏡設備或虛擬載玻片掃描儀)101，圖像處理設備102和圖像顯示設備103。圖像處理系統是具有獲得和顯示試樣(測試樣本)的二維圖像的功能的系統，試樣是經歷圖像拾取的成像目標。在本實施例中，圖像拾取設備101和圖像處理設備102通過專用或通用I/F電纜104相互連接，圖像處理設備102和圖像顯示設備103通過通用I/F電纜105相互連接。
[0056]虛擬載玻片設備可被適當地用作圖像拾取設備101。虛擬載玻片設備具有拾取單個二維圖像，或者在二維平面方向上位置不同的多個二維圖像，並輸出數字圖像的功能。諸如電荷耦合器件(CCD)傳感器或互補金屬氧化物半導體(CMOS)之類的固態圖像拾取器件適合用於獲得二維圖像。代替虛擬載玻片設備，數字顯微鏡設備可以用作圖像拾取設備101。通過把數位照相機附加到典型的光學顯微鏡的目鏡上，可獲得數字顯微鏡設備。即使當利用數位照相機拾取圖像時，作為結果的圖像也可被分成觀察區域和非觀察區域，如果選擇高倍率顯示模式，或者如果通過組合通過改變圖像拾取區域，多次拾取圖像而獲得的原始圖像數據，形成顯示圖像數據的話。
[0057]具有按照用戶的請求，根據從圖像拾取設備101獲得的一個或多個原始圖像數據，生成用於在顯示設備103上顯示的數據的功能的設備可合適地用作圖像處理設備102。例如，圖像處理設備102可以是包括硬體資源，比如中央處理器(CPU)，RAM，存儲裝置，和包括操作單元的各種I/F的通用計算機或工作站。諸如硬碟驅動器之類的大容量信息存儲裝置可合適地用作存儲裝置。存儲裝置最好保存用於實現(下面說明的)各個處理的程序和數據，以及作業系統(OS)。當CPU把必需的程序和數據從存儲裝置載入RAM中並執行所述程序時，實現上述各個功能。操作單元106例如包括鍵盤和滑鼠。操作員利用操作單元106輸入各種指令。操作單元106可以是圖像處理設備102的組件。
[0058]本實施例的圖像顯示設備103是顯示作為圖像處理設備102中的計算的結果而獲得的觀察圖像的顯示器。顯示設備103可包括CRT或液晶顯示器。
[0059]在圖1中例示的例子中，圖像處理系統包括3個設備，圖像拾取設備101，圖像處理設備102和圖像顯示設備103。不過，本發明的結構並不局限於此。例如，可以使用與圖像顯示設備一體的圖像處理設備，或者圖像處理設備的功能可被併入圖像拾取設備中。圖像拾取設備，圖像處理設備和圖像顯示設備的功能可用單個設備實現。相反，圖像處理設備等的功能可被劃分，並用多個不同的設備實現。
[0060](圖像拾取設備的功能結構)
[0061]圖2是圖解說明圖像拾取設備101的功能結構的功能方框圖。
[0062]本實施例的圖像拾取設備101主要包括照明單元201，載物臺202，載物臺控制單元205，成像光學系統207，圖像拾取單元210，顯影單元219，初步測量單元220，主控制系統221和數據輸出單元(I/F)222。
[0063]本實施例的照明單元201是均勻地照射載物臺202上的準備好的載玻片206的裝置。最好，照明單元201包括光源，照明光學系統和驅動光源的控制系統。本實施例的載物臺202由載物臺控制單元205驅動控制，可沿(XYZ)3個軸向移動。通過把組織的切片或塗抹細胞放置在載玻片上，並用封固劑把組織的切片或塗抹細胞固定在蓋玻片之下，獲得本實施例的準備好的載玻片206。
[0064]本實施例的載物臺控制單元205包括驅動控制系統203和載物臺驅動機構204。在本實施例中，驅動控制系統203響應來自主控制系統221的指令，驅動控制載物臺202。在本實施例中，根據利用初步測量單元220測量的試樣的位置信息和厚度信息(距離信息)，和必要時輸入的用戶的指令，確定載物臺202的移動方向和移動量。本實施例的載物臺驅動機構204按照來自驅動控制系統203的指令，驅動載物臺202。
[0065]本實施例的成像光學系統207是用於在圖像拾取傳感器208上形成準備好的載玻片206上的試樣的光學圖像的鏡頭組。
[0066]本實施例的圖像拾取單元210包括圖像拾取傳感器208和模擬前端(AFE) 209。本實施例的圖像拾取傳感器208是利用光電轉換，把二維光學圖像轉換成電物理量的一維或二維圖像傳感器。例如，CCD傳感器或CMOS器件被用作圖像拾取傳感器208。當使用一維傳感器作為圖像拾取傳感器208時，通過沿著掃描方向，用一維傳感器掃描，可獲得二維圖像。本實施例的圖像拾取傳感器208輸出電壓值對應於光的強度的電信號。當期望彩色圖像作為拾取的圖像時，附加有Bayer模式濾色片的單板圖像傳感器可用作圖像拾取傳感器。通過沿XY軸方向移動載物臺202，本實施例的圖像拾取單元210可通過圖像拾取操作，拾取試樣圖像的圖像片段(image segment)。
[0067]本實施例的AFE209是把從圖像拾取傳感器208輸出的模擬信號轉換成數位訊號的電路。AFE209最好包括Η/V驅動器，相關雙採樣(CDS)電路，放大器，AD轉換器和定時信號發生器。本實施例的Η/V驅動器把用於驅動圖像拾取傳感器208的垂直同步信號和水平同步信號轉換成為驅動傳感器必需的電位。本實施例的CDS電路是消除固定模式噪聲的電路。本實施例的放大器是調整已利用CDS電路從中除去噪聲的模擬信號的增益的模擬放大器。本實施例的AD轉換器把模擬信號轉換成數位訊號。當圖像拾取設備的末級輸出為8比特時，AD轉換器最好考慮到將在以後各級中進行的處理，把模擬信號轉換成被量化成約10比特?16比特的數字數據，並輸出該數字數據。通過轉換而獲得的傳感器輸出數據被稱為RAW數據。在本實施例中，RAW數據由下一級中的顯影單元219顯影。本實施例的定時信號發生器生成用於調整圖像拾取傳感器208的定時和下一級中的顯影單元219的定時的信號。
[0068]當CXD傳感器被用作圖像拾取傳感器208時，一般使用上面說明的AFE209。當能夠進行數字輸出的CMOS圖像傳感器被用作圖像拾取傳感器208時，AFE209的功能一般包含在傳感器中。儘管圖中未示出，不過在本實施例中，存在控制圖像拾取傳感器208的圖像拾取控制器。圖像拾取控制器不僅控制圖像拾取傳感器208的操作，而且控制諸如快門速度和幀速率之類的操作定時，和關注區域(ROI)。
[0069]本實施例的顯影單元219包括黑色校正單元211，白平衡調整單元212，去馬賽克單元213，圖像組合單元214，解析度轉換單元215，濾波器處理單元216，Y校正單元217和壓縮單元218。本實施例的黑色校正單元211從RAW數據的各個像素中，減去在遮光狀態下獲得的黑色校正數據。本實施例的白平衡調整單元212通過按照來自照明單元201的光的色溫，調整各個RGB顏色的增益，再現期望的白色。具體地，白平衡校正用數據被添加到黑色校正後的RAW數據中。在處理單色圖像時，不需要白平衡調整。本實施例的顯影單元219根據利用圖像拾取單元210拾取的試樣圖像的圖像片段數據，生成分層圖像數據(下面說明)。
[0070]本實施例的去馬賽克單元213從Bayer模式RAW數據，生成各個RGB顏色的圖像數據。本實施例的去馬賽克單元213通過把鄰近像素(包括相同顏色的像素和其它顏色的像素)的值插入RAW數據中，計算目標像素的各個RGB顏色的值。本實施例的去馬賽克單元213還進行缺陷像素的校正(插值)。當圖像拾取傳感器208沒有濾色片，並獲得單色圖像時，不需要去馬賽克。
[0071]本實施例的圖像組合單元214把通過利用圖像拾取傳感器208，分割圖像拾取區域而獲得的圖像數據接合在一起，從而生成期望的圖像拾取區域的大容量圖像數據。通常，試樣存在於的區域大於利用現有圖像傳感器，在單次圖像拾取操作中獲得的圖像拾取區域。於是，通過把多個圖像片段數據接合在一起，生成單一的二維圖像數據。例如，假定要以
0.25 μ m的解析度，拾取準備好的載玻片206上的10-mm正方區域的圖像。在這種情況下，每邊的像素數為10mm/0.25 μ m = 40000,以致像素總數是該值的平方，即，16億像素。為了利用具有10兆(1M)像素的圖像拾取傳感器208獲得16億像素的圖像數據，必須把該區域分割成16億/10兆=160片段，以進行圖像拾取操作。例如，通過根據載物臺202的定位信息進行定位，通過匹配多個圖像片段的對應點或線條，或者根據圖像片段數據的位置信息，多個圖像數據被接合在一起。利用插值，比如零階插值，線性插值或高階插值，可以平滑地把多個圖像數據接合在一起。儘管在本實施例中設想一個大容量圖像的生成，不過，圖像處理設備102可被配置成具有在顯示圖像數據的生成期間，把分別獲得的圖像片段接合在一起的功能。
[0072]為了快速顯示利用圖像組合單元214生成的大容量的二維圖像，本實施例的解析度轉換單元215預先通過解析度轉換，按照顯示倍率生成圖像。解析度轉換單元215生成並組合從低倍率到高倍率的多個級別的圖像數據，從而形成具有分層結構的圖像數據。理想的是利用圖像拾取設備101獲取的圖像數據是用於診斷用途的高解析度圖像拾取數據。不過，為了顯示如上所述由數十億像素構成的圖像數據的縮小圖像，如果按照各個顯示請求進行解析度轉換，那麼該處理會被延遲。於是，理想的是預先準備具有幾種不同倍率的分層圖像，按照來自顯示方的請求，從準備的分層圖像中選擇倍率與顯示倍率接近的圖像數據，並把倍率調整到顯示倍率。為了獲得更好的圖像質量，理想的是根據具有更高倍率的圖像數據，生成顯示圖像數據。當高解析度地拾取圖像時，通過根據解像力最高的圖像數據，用解析度轉換技術縮小圖像，生成顯示用分層圖像數據。這裡適用的解析度轉換技術是作為二維線性插值的雙線性插值，或者利用三維插值公式的雙三次插值。
[0073]本實施例的濾波器處理單元216是抑制包含在圖像中的高頻分量，除去噪聲，和增強解像感的數字濾波器。本實施例的Y校正單元217按照一般的顯示裝置的灰度表現特性，進行向圖像中增加逆特性的處理，或者通過高亮度部分的灰度壓縮或暗色部分的處理，按照人類視覺特性，進行灰度變換。由於在本實施例中，獲得用於形態觀察的圖像，因此對圖像數據進行適合於後續階段中的圖像組合或顯示處理的灰度變換。
[0074]本實施例的壓縮單元218進行壓縮編碼，以便提高大容量二維圖像數據的傳輸效率，和減小要保存的數據的容量。作為靜止圖像壓縮的方法，這裡可以使用標準化的編碼方法，比如聯合圖像專家組(JPEG)方法，或者改良和進化版本的JPEG方法，比如JPEG2000或JPEG XR 方法。
[0075]本實施例的初步測量單元220進行初步測量，以便計算準備好的載玻片206上的試樣的位置信息，和到期望的焦點位置的距離有關的信息，和用於調整可歸因於試樣的厚度的光量的參數。初步測量單元220獲得主測量(即，拾取的圖像數據的獲取)之前的信息，從而使得可以高效地進行圖像拾取操作。可以使用解像力比圖像拾取傳感器208低的二維圖像拾取傳感器來獲得二維平面的位置信息。初步測量單元220從獲得的圖像中識別試樣在XY平面中的位置。可以利用雷射位移計或基於Shack-Hartmann方式的儀器來獲得距離信息和厚度信息。
[0076]本實施例的主控制系統221分別控制上面說明的各個單元。主控制系統221和顯影單元219的操作可用具有CPU、ROM和RAM的控制電路實現。例如，程序和數據被預先保存在ROM中，CPU利用RAM作為工作存儲器，執行所述程序。從而實現主控制系統221和顯影單元219的功能。ROM是諸如EEPROM或快閃記憶體之類的器件。RAM可以是DRAM器件，比如DDR3。顯影單元219的功能可用作為專用硬體裝置形成的ASIC替換。
[0077]本實施例的數據輸出單元222是用於把顯影單元219生成的RGB顏色圖像傳送給圖像處理設備102的接口。本實施例的圖像拾取設備101和圖像處理設備102由通信光纜相互連接。可用通用接口，比如USB或千兆比特乙太網(註冊商標)替換所述通信光纜。
[0078](圖像處理設備的功能結構)
[0079]圖3是圖解說明按照本發明的圖像處理設備102的功能結構的功能方框圖。
[0080]本實施例的圖像處理設備102主要包括圖像數據獲取單元301，記憶保持單元(或存儲器)302，用戶輸入信息獲取單元303，顯示設備信息獲取單元304，顯示數據生成控制器305，掩蔽信息306，顯示圖像數據獲取單元307，顯示圖像數據生成單元308和顯示數據輸出單元309。在下面的說明和附圖中，「顯示用圖像數據(或顯示圖像數據)」可被稱為「顯示數據」，「顯示用圖像」可被稱為「顯示圖像」。
[0081]本實施例的圖像數據獲取單元301獲得利用圖像拾取設備101拾取的圖像的圖像數據。在本實施例中，術語「圖像數據」指的是下述至少之一:通過片段地拾取試樣的圖像而獲得的RGB顏色的多個圖像片段數據，通過組合多個圖像片段數據而獲得的一個二維圖像數據，和根據二維圖像數據，對於各個顯示倍率分層地組織的圖像數據。注意，圖像片段數據可以是單色圖像數據。
[0082]本實施例的記憶保持單元302捕捉並保存通過圖像數據獲取單元301從外部設備獲取的圖像數據。記憶保持單元302最好不僅保持多個具體的現有顯微鏡視野信息，而且保持和最初要使用所述多個視野信息中的哪個視野信息有關的信息。
[0083]本實施例的用戶輸入信息獲取單元303獲取用戶通過包括鍵盤和滑鼠的操作單元輸入的的信息(用戶輸入信息)。用戶輸入信息的例子包括更新顯示圖像數據的指令，比如改變顯示位置的指令，或者顯示放大或縮小的圖像的指令；顯示模式的選擇；和觀察區域的指定(例如，記憶保持單元保持的多個顯微鏡視野信息任意之一的選擇)。在本實施例中，顯示模式包括再現模擬顯微鏡觀察視野的顯示形態的模式，和不再現模擬顯微鏡觀察視野的顯示形態的模式。(上面說明的)移位的量也可由用戶指定或改變。儘管在本實施例中，顯微鏡視野被假定為圓形，不過，形狀並不局限於此。
[0084]本實施例的顯示設備信息獲取單元304不僅獲得包含在顯示設備103中的顯示器的顯示區域信息(屏幕解析度)，而且獲得當前顯示的圖像的顯示倍率信息。
[0085]本實施例的顯示數據生成控制器305按照利用用戶輸入信息獲取單元303獲取的用戶的指令，控制顯示圖像數據的生成。另外，本實施例的顯示數據生成控制器生成並更新掩蔽信息(下面說明)。
[0086]本實施例的掩蔽信息306是用於生成為在顯示屏幕上再現顯微鏡視野所需的顯示圖像數據的控制信息。本實施例的掩蔽信息306包含構成顯示設備103的顯示區域的顯示像素的信息。這使得能夠對於各個像素，判定是要不改變亮度值地顯示對應的圖像數據，還是要改變亮度值地顯示對應的圖像數據。在本實施例中，如果各個像素具有5比特值，並且掩蔽信息為0，那麼圖像數據的值被無改變地用作顯示圖像數據，而如果掩蔽信息是給定值，那麼把亮度值向低位側移位該值。例如，當各個像素具有8比特(256灰度)亮度數據時，如果掩蔽信息的值為1，那麼通過把亮度數據向左移動I位，亮度數據的值被減半。如果亮度數據被移動8位，那麼圖像數據的值為O。8比特移位使圖像數據的值為O。這意味顯示像素被完全掩蔽(即，目標顯示像素的亮度值為O)。在本實施例中，非觀察區域的亮度值可被設定為O，或者比原始亮度值低的任何其它值，以降低亮度。在本實施例中，各個像素的亮度數據被假定為利用掩蔽信息的計算的目標。不過，如果假定RGB顏色圖像數據為目標，那麼RGB顏色圖像數據可被變換為YUV或YCC的亮度/色差信號，以致通過變換獲得的亮度信息可以作用計算的目標。替代地，可把移位分別應用於RGB顏色中的每種顏色。可對顯示區域內的顯示像素，自由設定移位。下面將在假定為了再現顯微鏡觀察視野，圓形視野內的掩蔽值為0，而其它區域的掩蔽值為2的情況下進行說明。在掩蔽值被設定為2的顯示區域中，獲得的圖像數據的亮度值被降低到1/4。通過利用其中向特定比特賦予含意的結構，可以增大亮度。
[0087]本實施例的掩蔽信息306反映上述初始視野信息，或者用戶指定的觀察區域信息。用戶指定的觀察區域信息的例子包括用戶從多個現有顯微鏡視野信息中選擇的信息，用戶通過修改這樣的現有顯微鏡視野信息而指定的信息，和用戶獨立於顯微鏡視野信息指定的觀察區域信息。初始視野信息可被預先包含為掩蔽信息306的一部分，或者記憶保持單元302保持的初始視野信息可由顯示數據生成控制器305從記憶保持單元302讀取。通過用戶輸入信息獲取單元303和顯示數據生成控制器305，可在掩蔽信息中反映用戶指定的觀察區域信息。
[0088]按照顯示數據生成控制器305的控制，本實施例的顯示圖像數據獲取單元307從記憶保持單元302獲取為顯示所需的圖像數據。
[0089]本實施例的顯示圖像數據生成單元308通過利用由顯示圖像數據獲取單元307獲得的圖像數據，和掩蔽信息306，生成用於在顯示設備103上顯示的顯示數據。下面利用圖6和圖7的流程圖，詳細說明顯示數據的生成。
[0090]本實施例的顯示數據輸出單元309把顯示圖像數據生成單元308生成的顯示數據，輸出給作為外部設備的顯示設備103。
[0091](圖像處理設備的硬體結構)
[0092]圖4是圖解說明按照本發明的圖像處理設備的硬體結構的方框圖。例如，諸如個人計算機(PC)之類的信息處理設備用作所述圖像處理設備。
[0093]本實施例的PC包括中央處理器(CPU) 401，隨機存取存儲器(RAM) 102，存儲裝置403，數據輸入-輸出I/F405和使它們彼此相連的內部總線404。
[0094]當需要時，本實施例的CPU401訪問R0M402，以便在進行各種計算的時候，進行PC的各個部件的總體控制。RAM402被用作CPU401的工作區。RAM402臨時保存OS，執行中的各種程序，和待經歷處理(比如作為本發明的特徵的模擬顯微鏡觀察視野的顯示數據的生成)的各種數據(包括所述多個顯微鏡視野信息)。本實施例的存儲裝置403是用於記錄和讀取由CPU401執行的OS以及其中牢固地保存包括程序和各種參數的固件的信息的輔助存儲裝置。在本實施例中，諸如硬碟驅動器(HDD)之類的磁碟驅動器，或者利用快閃記憶體的半導體器件，比如固態盤(SSD)被用作存儲裝置403。本實施例的存儲裝置403保存一些或者全部的OS，執行中的各種程序，和待經歷處理(比如作為本發明的特徵的模擬顯微鏡觀察視野的顯示數據的生成)的各種數據(包括所述多個顯微鏡視野信息)。
[0095]本實施例的數據輸入-輸出I/F405經LAN I/F406，連接到圖像伺服器，經圖形卡連接到顯示設備103，經外部設備I/F連接到諸如虛擬載玻片設備或數字顯微鏡之類的圖像拾取設備101，和經操作I/F409連接到鍵盤410和滑鼠411。
[0096]本實施例的顯示設備103是利用例如液晶，電致發光(EL)或陰極射線管(CRT)的顯示裝置。儘管這裡假定使用作為外部設備連接的顯示設備103，不過，可以使用與顯示設備一體的PC，比如筆記本PC，作為顯示設備103。
[0097]儘管諸如鍵盤410和滑鼠411之類的指示裝置被假定為連接到本實施例的操作I/F409的裝置，不過，諸如觸摸面板之類的顯示設備103的屏幕可被配置成充當直接輸入裝置。這種情況下，觸摸面板可以與顯示設備103—體。
[0098](顯微鏡視野顯示(圓形顯示)的概念)
[0099]圖5是概念地解釋顯微鏡視野和再現顯微鏡視野的顯示形態的示意圖。
[0100]圖5(a)圖解說明當用戶通過顯微鏡看時，觀察到的視野。顯微鏡視野由顯微鏡的物鏡的倍率和視場數唯一地限定。具體地，顯微鏡的視野(F.0.V)被表示成F.0.V.=(目鏡的視場數)/(物鏡的倍率)。在光學顯微鏡的情況下，視野被表示成F.0.V.=(目鏡的視場數)/((物鏡的倍率)X (變焦因子))。當通過顯微鏡看時，用戶能夠在如圖中例示的圓形區域內，觀察試樣(對象)的放大圖像。在圓形觀察區域之外的區域中，用戶不能看到圖像，因為光未到達該區域。在虛擬載玻片設備出現之前，病理學家(用戶)慣於觀察這樣的觀察圖像，以進行診斷。藉助置於光學顯微鏡的目鏡的數位照相機，能夠獲得數字觀察圖像。在獲得的圖像數據中，在和圖5(a)的情況一樣的圓形觀察區域外的區域中，信息丟失。
[0101]圖5(b)圖解說明其中利用虛擬載玻片設備獲得的圖像數據被呈現在顯示設備103的顯示屏幕上的例子。作為通過把與片段地拾取的試樣的一部分的圖像對應的多個圖像數據接合在一起而獲得的圖像，準備利用虛擬載玻片設備獲得的圖像數據。從而，由於在顯示設備103的整個屏幕內，能夠呈現範圍比顯微鏡視野更寬的信息，因此能夠提供各種便利。例如，用戶不必通過顯微鏡看，可以確保一定量的觀看距離，並且能夠一起呈現更多的圖像數據和與試樣相關的信息。
[0102]圖5(c)圖解說明其中利用虛擬載玻片設備獲得的圖像數據被顯示在顯示設備103上，以模擬顯微鏡視野的例子。儘管試樣圖像被顯示在寬的顯示區域中，不過，在要關注的顯微鏡觀察視野之外的區域的亮度被降低。從而，不僅能夠再現病理學家熟悉的顯微鏡的觀察視野，而且能夠在鄰近的區域中呈現更多的圖像信息，這是虛擬載玻片設備的一個優點。不僅可通過降低亮度，而且可通過減少顏色信息，以便單色地顯示在顯微鏡觀察視野之外的區域，來減少該區域中的信息量。
[0103]類似於圖5(c)，圖5(d)圖解說明其中呈現模擬顯微鏡觀察視野的顯示圖像的例子。按照和圖5(c)相同的方式，呈現待關注的顯微鏡觀察視野中的圖像。不過，在圖5(d)中，按照到圓形區域的中心(即，到關注點)的距離，降低在顯微鏡觀察視野之外的區域的亮度。在圖5(c)中，在顯微鏡視野外的整個區域內，信息量是均勻地減少的。然而在圖5(d)中，使信息量在待關注的區域及其附近更大。這增大了便利性，因為能夠容易地找出關心的區域。
[0104](顯微鏡視野顯示處理)
[0105]現在參考圖6的流程圖，說明本發明的圖像處理設備中的顯微鏡視野顯示處理的流程。
[0106]在步驟S601，顯示設備信息獲取單元304從顯示設備103，獲得作為顯示設備103的顯示器的顯示區域的大小信息(屏幕解析度)。顯示區域的大小信息用於確定待生成的顯示數據的大小。
[0107]在步驟S602，顯示設備信息獲取單元304獲得當前顯示在顯示設備103上的圖像的顯示倍率信息。在初始階段，設定指定的倍率。顯示倍率用於從分層圖像中選擇任意圖像數據。
[0108]在步驟S603，根據在步驟S601獲得的顯示區域的大小信息，和在步驟S602獲得的顯示倍率信息，從記憶保持單元302獲得用於在顯示設備103上顯示的圖像數據。
[0109]在步驟S604，判定顯示的圖像是否要被多人共享。如果顯示圖像不被多人共享，換句話說，如果顯示圖像只被一個用戶使用，那麼處理進入步驟S605。如果顯示圖像將由多人共享，那麼處理進入步驟S608。例如在病理學家和涉及的其他人，比如臨床醫生參加的醫院內會議，為了教育學生和實習醫生而呈現的情況下，這樣的顯示圖像被多人共享。當這樣的顯示圖像被多人共享時，取決於用戶，呈現的顯示圖像中的關注區域可能不同。於是，最好選擇正常視野觀察模式，而不是會妨礙個人觀察的顯微鏡觀察視野模式。
[0110]在步驟S605，判定用戶是否選擇了顯微鏡觀察視野模式。如果選擇了顯微鏡觀察視野模式，那麼處理進入步驟S606。如果選擇了正常視野觀察模式，那麼處理進入步驟S608。
[0111]在步驟S606，判定在步驟S601中獲得的顯示設備103的顯示區域信息(屏幕解析度)是否大於或等於預先設定的值。如果顯示區域信息(屏幕解析度)大於或等於設定值，那麼處理進入步驟S607，如果小於設定值，那麼處理進入步驟S608。如果顯示設備103的屏幕解析度(顯示區域信息)較高，那麼可以顯示大量的信息。這意味用戶必須關注較大的區域。為了減輕用戶的負擔，最好選擇顯微鏡觀察視野模式。相反，即使當在步驟S605中，判定用戶選擇了顯微鏡觀察視野模式，如果顯示設備103的屏幕解析度較低，那麼也最好選擇允許無變化地呈現可顯示信息的正常視野觀察模式。充當判定的基準的設定值可由用戶指定。步驟S605和步驟S606中的判定可被顛倒順序。
[0112]在步驟S607，響應顯微鏡觀察視野模式的選擇，生成顯微鏡視野顯示用圖像數據。顯微鏡視野顯示用圖像數據由觀察區域顯示圖像數據和非觀察區域顯示圖像數據構成。當對它們中的至少一個進行圖像處理時，顯示設備顯示與當對整個圖像數據進行一致的圖像處理時顯示的圖像不同的圖像。這將在下面參考圖7詳細說明。
[0113]在步驟S608，響應正常觀察模式的選擇，生成正常觀察用顯示圖像數據。在步驟S603中，從分層圖像中獲得的具有相似顯示倍率的圖像數據經歷解析度轉換，從而實現期望的解析度。當需要時，按照顯示設備103的特性，進行校正。
[0114]在步驟S609，在步驟S607或步驟S608生成的顯示數據被輸出給顯示設備103。
[0115]在步驟S610，顯示設備103把輸入的顯示圖像數據顯示在屏幕上。
[0116]在步驟S611，判定圖像顯示操作是否已完成。如果用戶選擇另一個試樣圖像，或者關閉顯示應用，那麼處理終止。如果要繼續顯示屏幕的更新，那麼處理返回步驟S602，重複隨後的處理。
[0117](顯微鏡視野顯示圖像數據的生成)
[0118]圖7是圖解說明在圖6的步驟S607中描述的用於再現顯微鏡視野的顯示圖像數據的生成的詳細流程的流程圖。這裡，術語「顯微鏡視野」指的是上面說明的觀察區域。術語「非顯微鏡視野」指的是在觀察區域之外的區域。
[0119]在步驟S701，獲得掩蔽信息306。掩蔽信息306包含形成顯示設備103的顯示區域的顯示像素的信息。這使得能夠對於各個像素，判定是要不改變亮度值地，還是要改變亮度值地顯示對應的圖像數據。
[0120]在步驟S702，判定是否存在顯示屏幕的任何變化。如果不存在顯示屏幕的變化，並且當前顯示的屏幕的狀態將被維持，那麼處理進入步驟S704。如果通過屏幕滾動或放大或縮小更新了顯示屏幕，那麼處理進入步驟S703。
[0121]在步驟S703，判定當前顯示模式是高速顯示模式，還是正常觀察視野顯示模式。高速顯示模式是再現顯微鏡觀察視野的模式。如果顯示屏幕未被更新，並處於靜止狀態，那麼以高速顯示模式，再現圓形顯微鏡觀察視野。如果通過屏幕滾動等更新顯示屏幕，那麼停止圓形顯示，以便以高速顯示模式進行高速處理。隨後，利用矩形顯示區域來分別呈現具有正常亮度的顯示圖像，以便密切關注，和具有較低亮度的顯示圖像，以便不妨礙所述密切關注。如果選擇高速顯示模式，那麼處理進入步驟S707。如果要再現顯微鏡視野，那麼處理進入步驟S704，而不管顯示屏幕是否被更新。
[0122]在步驟S704，為了再現顯微鏡視野，對於各個對應的像素，參考在步驟S701中獲取的掩蔽信息的值。隨後，判定對於對應顯示像素參考的掩蔽信息的值是否為0，換句話說，該像素是要以正常亮度呈現在關注區域中，還是以較低的亮度呈現在顯微鏡觀察視野之外的區域中。如果掩蔽值為0，那麼處理進入步驟S705。如果掩蔽值不為0，換句話說，如果要利用移位，降低像素的亮度值，那麼處理進入步驟S706。
[0123]在步驟S705，由於掩蔽值為0，因此獲得的圖像數據的像素的亮度值被無改變地用作顯示用像素值。如果按照顯示設備103的特性進行校正，那麼可改變亮度值。
[0124]在步驟S706，由於掩蔽值不為O，因此按照在步驟S701中獲取的掩蔽信息的值，把獲得的圖像數據的像素的亮度值向低位側移位。從而，可按照掩蔽值，降低亮度。
[0125]在步驟S707，由於選擇了高速顯示模式，因此判定高速顯示用掩蔽(觀察視野)是否形狀為矩形，並且尺寸小於顯示區域。如果將以小於屏幕的顯示區域的尺寸顯示矩形觀察視野，那麼處理進入步驟S708。如果將無改變地使用顯示區域作為觀察視野，那麼處理進入步驟S608。這裡不說明步驟S608中的正常觀察用顯示圖像數據的生成，因為它和參考圖6的流程圖說明的相同。
[0126]在步驟S708，設定比顯示區域的尺寸小的觀察視野的尺寸。所述尺寸可由用戶設定或者從預定值中選擇。
[0127]在步驟S709，對於各個對應的像素，參考在步驟S701中獲取的掩蔽信息的值。隨後，判定對於對應的顯示像素參考的掩蔽信息的值是否為0，換句話說，該像素是將以正常亮度呈現在關注區域中，還是將以較低的亮度呈現在顯微鏡觀察視野外的區域中。不再詳細說明步驟S709中的操作，因為它與步驟S704中的操作相同。
[0128]不再說明步驟S710和S711中的操作，因為它們分別與步驟S705和S706中的操作相同。唯一的差別是顯微鏡觀察視野是圓形還是矩形。
[0129](顯示屏幕布局)
[0130]圖8示意地圖解說明顯示利用本發明的圖像處理設備102生成的顯示數據的顯示設備103的顯示屏幕的例子。圖8圖解說明再現顯微鏡觀察視野的顯示模式和高速顯示模式，以及當再現顯微鏡觀察視野時，如何呈現信息。
[0131]圖8(a)是圖解說明顯示設備103的屏幕布局的基本結構的示意圖。在本實施例的顯示屏幕中，整個窗口 801包括指示顯示和操作狀態以及關於各個圖像的信息的信息區802，待觀察的試樣縮略圖圖像803，指示縮略圖圖像中的詳細觀察區的詳細顯示區域804，詳細觀察用試樣圖像數據的顯示區域805，和顯示區域805的顯示倍率806。這些區域和圖像可被呈現在其中整個窗口 801被分成不同的功能部分的單文檔界面中，或者被呈現在其中把不同的區域組織成不同的窗口的多文檔界面中。本實施例的試樣縮略圖圖像803顯示試樣圖像數據的顯示區域805在試樣的整個圖像中的位置和大小。所述位置和大小可用詳細顯示區域804的框架表示。例如，可依據來自外部連接的輸入裝置(比如觸摸面板或滑鼠411)的用戶指令，直接設定詳細顯示區域804。替代地，可通過移動顯示的圖像的顯示區域，或者通過對顯示的圖像進行放大或縮小操作，設定或更新詳細顯示區域804。試樣圖像數據的顯示區域805顯示詳細觀察用試樣圖像數據。按照來自用戶的操作指令，移動顯示區域(即，從整個試樣圖像中選擇並移動要觀察的區域)，或者顯示通過改變顯示倍率而放大或縮小的圖像。
[0132]圖8(b)圖解說明其中再現顯微鏡視野，並且均勻地降低在顯微鏡視野外的區域的亮度的顯示屏幕。附圖標記806表示顯示倍率。在這個例子中，顯示倍率為40這樣的高顯示倍率。附圖標記808表示再現顯微鏡視野的觀察區域，並且在圓形視野內以正常亮度顯示圖像。附圖標記807表示其中亮度被均勻降低的非顯微鏡視野區域(即，在顯微鏡視野之外的區域)。
[0133]圖8(c)圖解說明其中再現顯微鏡視野，並且按照到顯微鏡視野的中心的距離降低在顯微鏡視野外的區域的亮度的顯示屏幕。附圖標記809表示其中按照到再現顯微鏡視野的圓形區域的中心的距離，逐漸降低亮度的非顯微鏡視野區域(即，在顯微鏡視野外的區域)。這種顯示圖像的生成將在第二實施例中說明。
[0134]圖8(d)圖解說明當更新(或滾動)顯示屏幕時更改的顯微鏡視野。在這個例子中，呈現尺寸和顯微鏡視野相同的矩形區域，作為觀察視野，其它區域的亮度被降低。附圖標記810表示靜止狀態的顯微鏡觀察視野。附圖標記811表示當屏幕被更新時變更的觀察視野。在這個例子中，確定觀察視野811的大小，以包括顯微鏡觀察視野810。附圖標記812表示其中亮度被均勻降低的非觀察視野(即，在觀察視野外的區域)。如參考圖8(c)所述，可按照到顯微鏡觀察視野的中心的距離，逐漸降低亮度。
[0135]圖8(e)圖解說明其中在顯微鏡視野外呈現各種信息的顯示屏幕。由於關注區域是顯微鏡觀察區域，因此在顯微鏡觀察區域外的區域可提供亮度較低的觀察圖像，為診斷所需的試樣信息，患者信息，和菜單屏幕。附圖標記813表示呈現顯示試樣的整個圖像的縮略圖圖像803的區域。附圖標記814表示與信息區802對應的信息區。由於顯示器的長寬比不是正方的，因此在圓形區域(顯微鏡視野)外，可以顯示各種信息。從而，能夠有效地呈現許多信息，從而實現用戶友好性的改善。
[0136](本實施例的效果)
[0137]通過在虛擬載玻片圖像中設置觀察區域，能夠實現減輕觀察者的負擔的圖像處理設備。尤其是在本實施例中，在需要高速顯示的屏幕滾動期間，觀察視野被變更成矩形，能夠提高處理效率。此外，不同於顯微鏡，能夠在待關注的觀察視野區域(圓形區域)之外，呈現圖像和各種信息。這使得更易於找出病變部位，和改善用戶友好性。
[0138][第二實施例]
[0139]現在參考附圖，說明按照本發明的第二實施例的圖像處理系統。
[0140]在第一實施例中，通過利用多值掩蔽信息的選擇性處理，S卩，通過圖像數據的採用和藉助移位的亮度的降低，進行顯微鏡觀察視野的再現。儘管在第二實施例中也利用多值掩蔽信息，不過通過把圖像數據的亮度乘以掩蔽信息，而不是取決於區域進行不同的處理，實現同等的視野再現。在第一實施例中說明的結構可以用在第二實施例中，與第一實施例中的結構不同的一些結構除外。
[0141](圖像處理系統的設備結構)
[0142]圖9是圖解說明構成按照本發明的第二實施例的圖像處理系統的設備的總示意圖。
[0143]利用圖9中圖解所示的圖像處理設備的圖像處理系統包括圖像伺服器901，圖像處理設備102和顯示設備103。本實施例的圖像處理設備102可從圖像伺服器901獲取試樣的拾取圖像的圖像數據，並生成用於在顯示設備103上顯示的圖像數據。在本實施例中，圖像伺服器901和圖像處理設備102藉助通用I/F LAN電纜903，通過網絡相互連接。本實施例的圖像伺服器901是具有大容量存儲裝置的計算機，所述大容量存儲裝置保存由作為虛擬載玻片設備的圖像拾取設備101拾取的圖像的圖像數據。本實施例的圖像伺服器901可把不同顯示倍率的分層圖像數據作為組保存在與圖像伺服器901相連的本地存儲器中，或者可把分層圖像數據分割成片段，每個片段具有數據實體和連結信息，並把它們保存在位於網絡上某處的伺服器群(雲伺服器)中。分層圖像數據本身甚至不必被保存在單個伺服器中。注意，圖像處理設備102和顯示設備103與第一實施例的圖像處理系統中的圖像處理設備102和顯示設備103相同。
[0144]在圖9的例子中，圖像處理系統由3個設備(圖像伺服器901，圖像處理設備102和顯示設備103)形成。不過，本發明並不局限於這種結構。例如，顯示設備103可以是圖像處理設備102的組成部分，或者圖像處理設備102的一些功能可被併入圖像伺服器901中。相反，圖像伺服器901或圖像處理設備102的功能可被劃分，從而由多個設備實現。
[0145](顯微鏡視野顯示圖像數據的生成)
[0146]上面參考圖7，說明了按照第一實施例的顯微鏡視野顯示圖像數據的生成。圖10是圖解說明其中作為本實施例的特徵，通過把圖像數據的亮度乘以掩蔽信息(而不是取決於區域進行不同的處理)，再現視野的處理的流程的流程圖。除了基於掩蔽信息的顯示圖像數據的生成之外，圖10中圖解所示的處理和圖7中圖解所示的處理相同。從而，這裡省略相同處理的說明。
[0147]步驟S701到S703中的掩蔽信息的獲取和分枝操作與參考圖7在第一實施例中說明的相同。
[0148]在步驟S1001，識別對應於圖像數據的各個像素的掩蔽信息。例如，掩蔽信息是從O到255的8比特信息。
[0149]在步驟S1002，像素的亮度值被乘以對應掩蔽信息的值，從而獲得新的亮度值。實際上，通過利用通過把乘法的結果除以255(它是掩蔽信息的最大值)而獲得的值進行歸一化，獲得與進行除法之前的亮度值相同的亮度值，如果掩蔽信息是255的話。從而，通過對各個像素應用相同的處理，可和第一實施例中一樣地再現顯微鏡視野。如上所述，在第一實施例中，通過移位降低亮度。不過，在第二實施例中，可通過與掩蔽信息相乘，獲得亮度，以致設定亮度的自由度被增大。掩蔽信息可以是預先準備的指定值，或者可按照用戶的指令被改變或重新設定。於是，模擬顯微鏡視野的圓形觀察視野可被靈活地改變成其它形狀。在第一實施例中，視野形狀的這種靈活變化也是可能的。
[0150]不再說明從進行關於高速顯示模式的矩形掩蔽顯示的步驟S707到步驟S711的處理，因為與第一實施例中的對應處理相同。
[0151](本實施例的效果)
[0152]通過在虛擬載玻片圖像中設置觀察區域，能夠實現減輕觀察者的負擔的圖像處理設備。特別地，通過在觀察視野的內外利用相同的處理，能夠消除對應的判定分枝，從而減輕軟體處理的負擔。由於在亮度的降低方面，實現平滑的灰度表現，因此能夠進一步減輕用戶的負擔。
[0153][其它實施例]
[0154]本發明的目的也可用以下方式實現。向系統或設備提供記錄用於實現上述實施例的全部或一些功能的軟體的程序代碼的記錄介質(或存儲介質)。隨後，系統或設備的計算機(或CPU或MPU)讀取並執行保存在記錄介質中的程序代碼。在這種情況下，從記錄介質讀取的程序代碼實現上述實施例的功能，記錄所述程序代碼的記錄介質構成本發明。
[0155]當計算機執行讀取的程序代碼時，在計算機上運行的作業系統(OS)等根據程序代碼中的指令進行部分或全部的實際處理。其中利用該處理，實現上述實施例的功能的結構也包含在本發明中。
[0156]假定從記錄介質讀取的程序代碼被寫入包含在插入計算機中的功能擴展卡，或者連接到計算機的功能擴展單元中的存儲器中。隨後，包含在功能擴展卡或功能擴展單元中的CPU等根據程序代碼中的指令，進行部分或全部的實際處理。其中利用所述處理，實現上述實施例的功能的結構也包含在本發明中。
[0157]當把本發明應用於上述記錄介質時，對應於上述流程圖的程序代碼被保存在記錄介質中。
[0158]在第一和第二實施例中說明的結構可被組合在一起。例如，圖像處理設備可連接到圖像拾取設備和圖像伺服器，以致可從圖像拾取設備或圖像伺服器獲取要在處理中使用的圖像。通過適當地組合上述實施例的各種技術而獲得的結構也在本發明的範圍內。本發明的技術範圍由附加的權利要求限定，不應被解釋成受上述實施例限制。
[0159]本申請要求2011年12月27日提交的日本專利申請N0.2011-286784和2012年12月26日提交的日本專利申請2012-282783的優先權，這些申請在此整體引為參考。
[0160]附圖標記列表
[0161]101:圖像拾取設備
[0162]102:圖像處理設備
[0163]103:顯示設備
[0164]301:圖像數據獲取單元
[0165]302:記憶保持單元
[0166]303:用戶輸入信息獲取單元
[0167]304:顯示設備信息獲取單元
[0168]305:顯示數據生成控制器
[0169]306:掩蔽信息
[0170]307:顯示圖像數據獲取單元
[0171]308:顯示圖像數據生成單元
[0172]309:顯示數據輸出單元
[0173]901:圖像伺服器
【權利要求】
1.一種處理虛擬載玻片圖像的圖像處理設備，所述圖像處理設備包括: 圖像數據獲取單元，所述圖像數據獲取單元被配置成獲取通過拾取成像目標的圖像而得到的圖像數據；和 顯示圖像數據生成單元，所述顯示圖像數據生成單元被配置成根據圖像數據生成顯示圖像數據，所述顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據，觀察區域顯示圖像數據是用於在顯示設備上顯示根據預定技術確定的或者由用戶指定的觀察區域的數據，非觀察區域顯示圖像數據是用於在顯示設備上顯示觀察區域外的區域的數據， 其中顯示圖像數據生成單元對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，以生成用於在顯示設備上顯示圖像的顯示圖像數據，該圖像不同於當對整個圖像數據進行一致的圖像處理時獲得的圖像。
2.按照權利要求1所述的圖像處理設備，其中顯示圖像數據生成單元生成用於顯示再現顯微鏡視野的觀察區域的顯示圖像數據。
3.按照權利要求2所述的圖像處理設備，其中顯示圖像數據生成單元根據現有顯微鏡視野信息，生成顯示圖像數據。
4.按照權利要求3所述的圖像處理設備，其中顯示圖像數據生成單元根據現有顯微鏡視野信息和待顯示成圖像的倍率信息，生成顯示圖像數據。
5.按照權利要求3或4所述的圖像處理設備，其中顯示圖像數據生成單元通過利用多個現有顯微鏡視野信息中的一個預定信息作為初始信息，生成顯示圖像數據。
6.按照權利要求3-5任意之一所述的圖像處理設備，其中顯示圖像數據生成單元通過根據用戶的選擇，利用多個現有顯微鏡視野信息之一，生成顯示圖像數據。
7.按照權利要求1-6任意之一所述的圖像處理設備，其中顯示圖像數據生成單元生成顯示圖像數據，從而非觀察區域的亮度低於觀察區域的亮度。
8.按照權利要求1-7任意之一所述的圖像處理設備，其中顯示圖像數據生成單元通過對每個像素把圖像數據乘以多值掩蔽信息，生成顯示圖像數據。
9.按照權利要求1-7任意之一所述的圖像處理設備，其中顯示圖像數據生成單元通過根據指示兩種處理形式的掩蔽信息對圖像數據進行計算，生成顯示圖像數據。
10.按照權利要求9所述的圖像處理設備，其中圖像數據是具有RGB顏色信息的彩色圖像數據；和 顯示圖像數據生成單元把圖像數據轉換成亮度色差數據，並對通過轉換獲得的亮度值進行計算。
11.按照權利要求9或10所述的圖像處理設備，其中指示兩種處理形式的掩蔽信息表示將採用圖像數據的位置和圖像數據將經歷移位的位置。
12.按照權利要求11所述的圖像處理設備，其中通過從外部輸入的指令改變移位的量。
13.按照權利要求11所述的圖像處理設備，其中顯示圖像數據生成單元生成用於顯示模擬顯微鏡視野的圓形觀察區域的顯示圖像數據；和 按照到圓形觀察區域的中心的距離，改變移位的量。
14.按照權利要求1-13任意之一所述的圖像處理設備，其中在待顯示在顯示設備上的圖像的位置或顯示倍率被改變時，顯示圖像數據生成單元生成不區分觀察區域和非觀察區域的顯示圖像數據。
15.按照權利要求1-14任意之一所述的圖像處理設備，其中非觀察區域顯示圖像數據包含關於成像目標的信息。
16.一種處理虛擬載玻片圖像的圖像處理方法，所述圖像處理方法包括: 圖像數據獲取步驟，所述圖像數據獲取步驟獲取通過拾取成像目標的圖像而獲得的圖像數據；和 顯示圖像數據生成步驟，所述顯示圖像數據生成步驟根據在圖像數據獲取步驟中獲取的圖像數據生成顯示圖像數據，所述顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據，觀察區域顯示圖像數據是用於在顯示設備上顯示根據預定技術確定的或者由用戶指定的觀察區域的數據，非觀察區域顯示圖像數據是用於在顯示設備上顯示觀察區域外的區域的數據， 其中顯示圖像數據生成步驟是對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，以生成用於在顯示設備上顯示圖像的顯示圖像數據的步驟，該圖像不同於當對整個圖像數據進行一致的圖像處理時獲得的圖像。
17.按照權利要求16所述的圖像處理方法，還包括顯示圖像數據傳送步驟，所述顯示圖像數據傳送步驟把顯示圖像數據傳送給顯示設備。
18.按照權利要求16或17所述的圖像處理方法，其中顯示圖像數據生成步驟是生成用於顯示再現顯微鏡視野的觀察區域的顯示圖像數據的步驟。
19.按照權利要求18所述的圖像處理方法，其中顯示圖像數據生成步驟是根據現有顯微鏡視野信息生成顯示圖像數據的步驟。
20.按照權利要求19所述的圖像處理方法，其中顯示圖像數據生成步驟是根據現有顯微鏡視野信息和待顯示的倍率信息生成顯示圖像數據的步驟。
21.按照權利要求18或19所述的圖像處理方法，其中顯示圖像數據生成步驟是通過利用多個現有顯微鏡視野信息中的一個預定信息作為初始信息生成顯示圖像數據的步驟。
22.按照權利要求19-21任意之一所述的圖像處理方法，其中顯示圖像數據生成步驟是通過根據用戶的選擇，利用多個現有顯微鏡視野信息之一，生成顯示圖像數據的步驟。
23.按照權利要求16-22任意之一所述的圖像處理方法，其中顯示圖像數據生成步驟是生成顯示圖像數據，從而非觀察區域的亮度低於觀察區域的亮度的步驟。
24.按照權利要求16-23任意之一所述的圖像處理方法，其中顯示圖像數據生成步驟通過根據指示兩種處理形式的掩蔽信息對圖像數據進行計算，生成顯示圖像數據，所述掩蔽信息表示將採用圖像數據的位置和圖像數據將經歷移位的位置。
25.按照權利要求16-24任意之一所述的圖像處理方法，其中在圖像數據獲取步驟中獲取的圖像數據是具有RGB顏色信息的彩色圖像數據；和 顯示圖像數據生成步驟把圖像數據轉換成亮度色差數據，並對通過轉換獲得的亮度值進行計算。
26.—種處理虛擬載玻片圖像的圖像處理方法，所述圖像處理方法包括: 圖像數據獲取步驟，所述圖像數據獲取步驟獲取通過拾取成像目標的圖像而獲得的圖像數據；和 顯示圖像數據生成步驟，所述顯示圖像數據生成步驟根據在圖像數據獲取步驟中獲取的圖像數據生成顯示圖像數據，所述顯示圖像數據包括觀察區域顯示圖像數據和非觀察區域顯示圖像數據，觀察區域顯示圖像數據是用於在顯示設備上顯示根據預定技術確定的或者由用戶指定的觀察區域的數據，非觀察區域顯示圖像數據是用於在顯示設備上顯示觀察區域外的區域的數據， 其中顯示圖像數據生成步驟是對觀察區域顯示圖像數據和非觀察區域顯示圖像數據中的至少一個進行圖像處理，以生成第一顯示圖像數據和第二顯示圖像數據的步驟，第一顯示圖像數據是用於在顯示設備上顯示與當對整個圖像數據進行一致的圖像處理時獲得的圖像不同的圖像的數據，第二顯示圖像數據是當不對圖像數據進行圖像處理時或者當對整個圖像數據進行一致的圖像處理時獲得的數據， 所述圖像處理方法還包括顯示圖像數據傳送步驟，所述顯示圖像數據傳送步驟在待顯示在顯示設備上的圖像的位置或顯示倍率被改變時，把第一顯示圖像數據傳送給顯示設備，而在待顯示在顯示設備上的圖像的位置或顯示倍率不被改變時，把第二顯示圖像數據傳送給顯示設備。
27.—種圖像處理系統,包括: 按照權利要求1-15任意之一所述的圖像處理設備；和 顯示設備，所述顯示設備被配置成以具有再現顯微鏡視野的觀察區域的模式，顯示由圖像處理設備處理的虛擬載玻片圖像。
28.一種程序，所述程序使計算機執行按照權利要求16-26任意之一所述的圖像處理方法的各個步驟。
【文檔編號】G06T1/00GK104185806SQ201280064884
【公開日】2014年12月3日 申請日期:2012年12月27日 優先權日:2011年12月27日
【發明者】辻本卓哉, 志賀俊樹, 都築英壽 申請人:佳能株式會社