3d建模系統的製作方法

2023-10-31 02:51:22 2

專利名稱：3d建模系統的製作方法
技術領域：
本發明的領域是計算機系統上的3D建模。更具體的是，本發明自身涉及在給定物體的若干2D圖像「片」的情況下，構造立體物體的3D計算機表示的方法。
背景技術：
有許多用於生成真實世界三維物體的圖像片的專門技術。例如，在醫學成像領域中，依靠超聲波、X射線及磁共振技術的掃描設備可隨著掃描探測器在身體結構上緩慢的移動來捕捉各種身體結構的一系列圖像片(image slices)。然而，將這些2D片組合成身體結構的3D計算機模型卻存在一些問題。
現有技術中用於將一組2D圖像片構造成立體物體的3D模型的常用技術是將每個2D圖像中的每個圖像元素(或像素)(x，y)迭代映射到3D空間中的體積元素(volume element)(或體素)(x』，y』，z』)；如果已知每個2D圖像片相對於某個固定參照點(或用於構造3D模型的其它圖像片)的方位，則將2D像素轉化成3D體素是相對簡單直接的數學練習。然而，這是計算上相對費時間的運算，因此用軟體來完成時將會是非常慢的運算(在硬體中完成此類映射的個人計算機的商用視頻加速卡通常沒有)。還有，因為體素典型地是用多個浮點值來表示，所以當構造任何有用的複雜性模型時，在任何比高端圖形工作站小型的計算機系統上以這種方法建立3D模型會給系統資源施加極大的負擔。
因此，在不將單個2D圖像片像素直接映射到3D體素的情況下，能夠從一組2D圖像片構造立體3D模型是有用的。此外，希望的是能夠利用應用廣泛的加速硬體電路來完成這個模型的構建。
基於體素的典型3D顯示裝置，特別是在醫學成像領域中，在其快速操作旋轉、視點及3D模型外觀以幫助用戶辨別和/或診斷特定結構或畸形的能力上受限。還希望能夠進行此類操作，特別是在常用計算硬體上。

發明內容
本發明涉及基於計算機的3D建模系統，用於從多個具有相互空間關係的2D橫截面數據圖像構造虛擬3D表示。通過從數據源模塊提取多個數據圖像及相關的定向和定位信息、用框架生成模塊為每個數據圖像生成平面框架、用紋理映射模塊將每個數據圖像映射到其相應框架上以作為紋理、用旋轉變換模塊依據定向信息將每個平面框架進行旋轉、並用平移變換模塊依據定位信息將每個平面框架進行平移來構造虛擬的3D表示。
一旦構造完虛擬的3D表示，可對其進行渲染以用來查看和/或操作。觀察虛擬3D表示可通過將其顯示在屏幕上並進行一個或多個操作來實現，包括旋轉表示、使用剪裁平面進入到表示中、調整表示的半透明度、透明度、顏色、對比度或亮度、調整表示的大小、動態地將視點平移到表示中、或動態地相對於表示移動視點。


在附圖中相同的數字表示類似部件圖1為3D建模系統的結構圖，展示了其每個部件模塊；圖2A描述了具有角度傳感器的探測器經過一個物體，捕獲了該物體的一系列圖像片；圖2B描述了按獲取順序排列的一系列圖像片以及相關的定向和定位信息；圖2C描述了按最初獲取角度排列的一系列圖像片；圖3描述了當掃描物體用於3D計算機建模時，圖像片在實際空間中的獲取方向(沿Z軸)；圖4A描述了前和後矩形平面圖像框架；圖4B描述了被紋理映射到平面框架上的圖像；圖4C描述了在3D空間中被旋轉到某個方位的圖形平面框架圖4D描述了在3D空間中被平移到某個位置的圖形平面框架；
圖5描述了連接到超聲波掃描設備和角度傳感器的探測器，且超聲波掃描設備和角度傳感器與個人計算機連接；及圖6描述了用於平面框架「前側」和「後側」的典型的框架頂點坐標。
具體實施例方式
如圖1所示，基於計算機的3D建模系統21包括由幾個模塊組成的軟體。聯合運用這些模塊以從多個2D橫截面數據圖像和與每個數據圖像相關的相互空間關係數據來生成虛擬的3D表示。如圖5所示，3D建模系統21的優選實施例可以是醫學成像設備的子系統，雖然此處公開的3D建模系統21可使用任何類型的表示任何物質或結構的一系列橫截面的虛擬數字圖像。連接到旋轉角度傳感器6的探測器4可緩慢和均勻地在被掃描細胞組織8上移動，且可由標準醫學超聲波掃描設備10捕獲連續的圖像片。掃描器和角度傳感器可連接到個人計算機2，這樣軟體可獲取圖像片及其在3D空間中的方位角。圖像片在計算機上的典型格式是位圖，但也可使用其它格式。因為探測器4的移動可由機械裝置(未示出)完成，且其移動速率和方向已知，所以每個圖像在3D空間中的偏移可由公知的位置確定設備很容易地確定。這種位置確定設備也可連接到個人計算機2上，以用來同時獲取每個圖像的位置。
可向計算機提供圖像片、方位角度和位置信息的超聲波掃描器的某些實施例已在美國09/687128號專利申請及PCT/US01/32392號PCT申請中公開，公開內容併入此處以供參考。任意一組表示任意物體(不只是細胞組織8)的一系列橫截面片的數字圖像皆可被建模，並以這裡描述的方式使用。此類圖像可包括但不限於，X射線、磁共振成像、計算機化軸向X射線斷層攝影(computerized axial tomography)、超聲波、正電子發射X射線斷層攝影、放射性核素成像(radionuclideimaging)等。只要有足夠的圖像來構造模型，則此類圖像甚至可包括類似來自於地震或其它系統的地質橫截面的圖像。
獲得圖像的方式對此處公開的3D建模系統21而言不是關鍵。然而，為使如何獲得圖像及接下來如何被3D建模系統21所用的討論變的容易，本申請將一般地討論在隨後提到的應用中公開的超聲波實施例。
為便於討論，空間軸可隨意標註。假設待掃描物體是患者的細胞組織，且受檢患者仰臥以進行掃描，則X軸從一個肩延伸到另一個肩(X軸正方向自患者右肩指向外側)，Y軸與患者身體垂直(Y軸正方向自患者胸部指向上側)，且Z軸從頭延伸到腳(Z軸正方向自患者的腳底指向外側)。在優選實施例中，可通過在Z軸正向上移動掃描探測器來獲取連續的掃描圖像，如圖3所示，但探測器在被成像患者上沿任何方向的移動均能產生可建模的圖像。
如圖2A所示，探測器4可自由地在兩個方向上(繞X和Z軸)傾斜以跟隨患者組織12(例如胸部的皮膚)的輪廓，同時保持與組織或皮膚12垂直。探測器繞X和Z軸的旋轉角度可由角度傳感器6跟蹤，然後其可與圖像互相關聯，這樣每個圖像均具有自己的定向(旋轉角度)信息。探測器橫向馬達(未示出)的速度可通過來自角度傳感器6的反饋來控制，這樣該馬達沿Z軸以可變的速率移動探測器，使在皮膚的輪廓角度改變的情況下保持探測器在皮膚12上的速度恆定。因此，因為圖像捕捉速率可由掃描硬體固定並保持恆定，所以在該實施例中，已捕捉圖像片14的頂部邊緣互相之間等距且關於Z軸互相平行。
然而，重要的是，本發明不要求已獲得圖像片14的任何邊緣沿任何軸等距和互相之間平行。只要為每個圖像搜集到充足的定向(旋轉角度)信息，再結合關於每個圖像的位置信息，則圖像可如此處所述的這樣被建模和使用。例如，旋轉角度傳感器6可收集三個軸上的角度信息，且可使用能確定探測器4在3D空間中或相對於其它圖像的位置的設備，來確定一個圖像與其它圖像之間的距離。此類位置確定設備可包括計數器，計數器連接到推進探測器4的驅動馬達上並簡單地計數與距離相關的馬達的旋轉，或與探測器4相連接的加速計，或用於探測器4的局部GPS或者雷射跟蹤設備，或光學移動傳感器如用於連接到探測器4的光學滑鼠的光學移動傳感器，或許多跟蹤探測器4移動和/或位置的其它方法。來自角度和位置傳感器的信號可同時保存在和圖像相同的數據包中，或分別收集並隨後與圖像相關。典型的相關(correlation)方法是使用給圖像和角度/位置信息都分配時間值的定時機構，隨後匹配這些信息，但也可使用其它合適的相關方法。
如圖2B所示，典型的掃描操作的結果是一組2D圖像16，連同與每個2D圖像16匹配的定向(旋轉角度)信息18和定位信息20。從這些要素，通過僅僅將所有2D圖像16在3D空間中合併到一起，3D建模系統21構造立體3D表示31，如圖2C所示(雖然被描述為在圖2C中顯示器上的圖像，但是「3D表示31」實際上是計算機存儲器中的一組數據結構，且只有在3D表示已經被計算機「渲染」並隨後顯示出來之後才變為可識別的圖像)。
如圖1所示，此處所公開的軟體包括5個模塊數據源模塊22、框架生成模塊24、紋理映射模塊26、旋轉變換模塊28及平移變換模塊30，這些模塊共同將單個2D圖像16及定向18和定位值20轉化成源解剖組織的3D表示31，該3D表示可在主計算機系統32(圖2C)上被渲染和操作。每個模塊將在下面詳細解釋。模塊的數目可任意選擇以進行討論，且可在不限制此處所描述的概念的情況下被合併成較少或擴展成較多的數目。
1.數據源模塊如圖1所示，數據源模塊22為主系統的掃描和角度傳感器部分提供了虛擬界面。數據源模塊負責從超聲波掃描設備10接收片圖像數據14，並且如果有必要的話，將圖像數據轉化成最適於紋理映射的格式。在優選實施例中，可將圖像從掃描設備輸出的專有格式轉化為微軟Windows Direct3D系統可接收的標準Windows位圖格式，用於紋理映射。如果圖像片在其適合於紋理映射之前必須被調整大小、裁剪或修正顏色，則數據源模塊22還負責轉換圖像片並使其標準化。例如，數據源模塊可將圖像轉化為原來的灰度表示。最後，數據源模塊22負責接收和標準化(有時插值)由角度傳感器6發送的定向數據18，且負責分配旋轉角度給單個片圖像，及負責接收來自定位系統的定位信息20並使其標準化。數據源模塊還在必要的時候轉化與每個圖像的角度和位置相關的單位測量。
在優選實施例中，數據源模塊22接收定向數據18、定位數據20以及超聲波2D圖像16數據。在這些數據到達數據源模塊22時，它們可能已被獲取並被用於數據處理軟體系統中的某處，本發明可把該系統作為子模塊連接。因此，在優選實施例中，數據源模塊22不必親自直接參與通過主計算機32(圖2C)中的串聯(serial)和網絡連接從源硬體裝置獲取數據——雖然會毫無疑問地擴展到使用已充分理解且記錄的現有技術來承擔這些任務。相反，在優選實施例中，數據源模塊22隻需親自參與和主軟體系統連接、從該主軟體系統獲取數據、將數據轉化為適於其它模塊使用的格式及按需將該數據分配到其它模塊。
連接到主軟體系統的接口——類似於到其它模塊的接口——可通過使用良好定義的公用方法(public methods)將所有組件實現為標準C++對象來實現。數據源模塊22通過調用主軟體系統的公用方法來從主軟體系統提取數據，且其它對象隨後通過調用數據源模塊22上的公用方法，從數據源模塊22檢索該數據。在內部，為消除主軟體系統和其它模塊之間的差異，數據源模塊22隻需將從主軟體系統提取的角數據從以度數表示的角度轉化為以弧度表示的角度，並給每個2D圖像16添加標準的Windows位圖標題。
關於實際如何獲取圖像及定向18和定位數據20的硬體特定的細節在數據源模塊22內部，向其它模塊「隱瞞」了這些細節。因此，此處公開的3D建模系統21可僅僅通過改變這樣一個模塊來與實際上使用任何類型的數據獲取硬體的成像系統相兼容。雖然以上討論使用超聲波圖像作為實例，但是，在將數據轉化為可用於各種計算機系統和作業系統的格式的操作上作適當的微小變化後，也可使用其它類型的圖像。
2.框架生成模塊在優選實施例中，框架生成模塊24(圖5)可從數據源模塊22接收連續的位圖2D圖像16及其定向18和定位信息20。框架生成模塊24負責生成表面(平面框架)，位圖2D圖像16將在構造中在3D模型內被映射到這些表面上。
在優選實施例中，探測器4在受檢患者組織上的移動範圍被限制為繞X和Z軸旋轉，因此平行於Z軸的矢量可經過每個位像的一個頂角。如圖4A所示，該角成為框架生成模塊24構造每個框架的參照點34。參照點34實際上可以是每個框架上的任意點；在優選實施例中，在每個框架上選擇相同的角點，以簡化計算並使必須與每個2D圖像16相關的額外數據量最少。此外，也可實現在圖像獲取過程中繞X、Y和Z軸自由旋轉的實施例。這僅僅需要一個額外的軸角度傳感器，以及對與每個2D圖像16相關的定向18(旋轉)及定位數據20包進行微小修正，以傳送額外信息。
圖4A進一步展示了矩形平面框架36的每個面所需的四個共面的頂點。參照點34頂點可被分配給在其中構造模型的三維坐標系統的原點。其它三個頂點可相對於參照點34頂點定位，以使平面框架36的相對尺寸與源圖像的相對尺寸匹配。
在優選實施例中，3D建模系統21可在微軟Windows個人計算機上運行且可使用微軟Direct3D 3D子系統所提供的服務程序(雖然3D建模系統21在使用不同作業系統和3D子系統的其它類型的計算機系統上也可工作——例如，在使用OpenGL的UNIX系統上)。Direct3D不提供對矩形圖元(primitives)的支持。因此，在優選實施例中，框架生成模塊24可通過從四個成組的頂點生成兩個鄰接的三角形圖元36a、36b來為每個位像生成矩形平面框架36。
為使平面框架從「兩面」均可視，典型地，必須使兩面均具有紋理。為方便這樣做，可在相同物理位置的四個頂點(以顛倒的順序)上映射兩個額外的三角形，以生成平面框架36的「後側」38。當然，如果不需要從「後側」觀看，或者如果使用的3D系統本身就支持從前或後觀看紋理映射表面，則只需生成(且隨後生成紋理)一個平面框架，「前側」36。
生成平面框架的方法取決於使用的3D子系統。如果使用Direct3D，可生成合併有紋理映射坐標的自定義頂點格式。典型的紋理坐標在從左到右及從上到下的
範圍內。如圖6所示，坐標可被附到組成前平面框架36「矩形」的四個頂點上。然後，為生成平面框架38矩形的「後側」，位於相同物理位置的四個頂點坐標可如圖6所示以「顛倒的順序」被映射。
在3D建模中的這個類型的平面框架生成是在3D計算機建模技術中好的常用技巧。在很多參考文獻中都討論了有代表性的建模技術，包括Peter Walsh、Adrian Perez的Advanced 3-D Game Programmingusing DirectX8.0(Wordware Publishing，Inc.2001)，其公開內容併入此處以供參考。以上討論僅僅是如何實現這種平面框架生成的實例，還有無數生成此類平面框架36、38的其它方法。如上所述，其它作業系統和3D子系統也可用於產生同等結果。
每次位像被傳輸到框架生成模塊24，最終結果均為圖4A和6所描述的雙面矩形平面框架36、38(構造自四個三角形圖元36a、36b)。
3.紋理映射模塊紋理映射模塊26接收連續的位圖2D圖像16及由框架生成模塊24為其構造的平面框架36、38。紋理映射模塊26負責將每個位圖2D圖像16貼到其平面框架36上。
紋理映射是2D圖形圖像被粘貼到3D多邊形表面作為「紋理」的過程。用於紋理映射的有效技術已在現有技術中充分記載，例如上述Walsh/Perez參考文獻。典型地，紋理映射被用於3D應用中，以向渲染的物體提供更好的視覺真實感——例如，石雕圖案的位像可被貼到3D場景內的表面以使該表面看起來像石牆。紋理映射是複雜的過程，包括坐標映射及矩陣從動拉伸(matrix-driven stretch)及剪切變換，以確保圖形在其貼附的3D表面上看起來恰當，假設已確定該表面的形狀和其觀看角度。這種紋理映射在3D圖形中很常用，以致於在實踐中通常出售的用於個人計算機的3D視頻加速卡以能夠直接高速完成紋理映射的硬體電路(circuitry)為特徵。這種視頻加速卡的典型實例包括NVIDIA GeForce4 Ti4600和ATI Radeon Rage 128-bit GL，但如下面所述，此類卡的使用不是必不可少的。
3D建模系統21的優選實施例可在具有Direct3D服務程序的微軟Windows上運行，該服務程序可直接與計算機視頻加速卡上的紋理映射電路對接。如果必要的話，高度優化的Direct3D系統軟體可在沒有這種視頻加速卡電路的情況下進行紋理映射。因此，此處所述軟體必須作非常少的紋理映射工作。紋理映射模塊的軟體可僅僅將合適的紋理坐標分配給限定每個平面框架36的前側的每個頂點，這樣，每個位像可從左邊緣到右邊緣、從頂邊緣到底邊緣被映射到該平面框架36，從而可在沒有裁剪、遮蔽或留下任何未覆蓋的框架部分的情況下精確且完整地覆蓋框架前側。類似地，紋理坐標可被分配給限定每個平面框架36的後側的每個頂點，這樣，同一位像的鏡像可被映射以完全覆蓋平面框架38的後側。
如圖4B所示，每次位圖(或其他合適的格式)圖像及在框架生成模塊中生成的平面框架36、38被傳輸到紋理映射模塊，最終結果均為3D空間上的雙面2D圖形平面框架40。
4.旋轉變換模塊旋轉變換模塊28接收由紋理映射模塊26構造的連續的雙面2D圖形平面框架40及圖形平面框架40的定向(旋轉)信息18。旋轉變換模塊使用定向信息18以在3D空間上相對於三個分軸旋轉和合適地定向每個圖形平面框架40。
如前所述，構造每個平面框架36時可使用位於坐標軸原點的其固定參照點34。該參照點34可作為圖形平面框架40旋轉時所繞的「支點」。又如前所述，在優選實施例中，每個平面框架36可能只有兩個自由度且可繞X和Z軸旋轉，但不繞Y軸旋轉。因此，在虛擬3D空間中確定每個圖形平面框架40的方向是簡單的，即構造適當的4×4矩陣以將點繞Z軸旋轉到特定的Z軸旋轉角度(圖4C中的θ)，然後將每個框架頂點乘以該矩陣，然後構造新4×4矩陣以將點繞X軸旋轉到特定的X軸旋轉角度(未示出)，並將每個框架頂點乘以該矩陣。構造此類旋轉矩陣所用的數學方法已在現有技術中完好記載並為本領域技術人員所公知，故不在此處贅述。
在另一種實施例中，每個平面框架可有三個自由度，且模型構造機理仍大體相同。普通參照點選在每個平面框架的相同位置上，雖然可選擇任意的點，但通常選角點。該參照點34可被用作旋轉的支點，及用於所有偏移位置值的偏移點(在下面的平移變換模塊中實現)。然後，數據源模塊22可把每個圖形平面框架40的定向信息18(X軸旋轉、Y軸旋轉、Z軸旋轉)和定位信息20(X軸偏移、Y軸偏移、Z軸偏移)適當結合到一起。全部其它圖像操作可如上所述那樣完成。矩陣深度(matrix depths)沒有改變。雖然人們可使用每個平面框架上不同位置的參照點，或不同的參照點作為支點和偏移點，但是這將增加程序的複雜性。
每次圖形平面框架40從紋理映射模塊26傳輸到旋轉變換模塊28，最終結果為圖4C中描述的正確定向的圖形平面框架40。
5.平移變換模塊平移變換模塊30一般從旋轉變換模塊28接收連續的、正確定向的2D圖形平面框架40及框架的定位信息20。平移變換模塊30使用定位信息20以在虛擬3D空間中從參照點34適當地偏移或平移每個圖形平面框架40。
如前所述，在優選實施例中，可在其支點角(參照點34)位於坐標軸原點處的情況下構造每個圖形平面框架40；該支點角(參照點34)可在圖形平面框架40經過旋轉變換模塊28後在原點處保持固定。在優選實施例中，定位(偏移)信息20相對於這個角來確定。雖然可使用不同於支點角(參照點34)的點作為支點和偏移點，但是選擇這個角比較方便且可簡化計算。
可用[X，Y，Z]向量的形式向平移變換模塊30提供定位(偏移)信息20。在某些實施例中，可以固定速率獲取超聲波圖像片14，且探測器4相對於患者皮膚表面12的輪廓的移動可保持恆定，從而每個偏移向量的長度保持一樣，這樣就簡化了計算。然而，在其它實施例中，每個向量的每個分量可獨立變化，這隻稍微增加了計算複雜性。為在3D空間中將圖形平面框架40偏移到正確位置，平移變換模塊30可從特定的偏移向量構造4×4平移矩陣。然後，每個框架頂點均可乘以平移矩陣。在由偏移向量構造平移矩陣中包括的數學方法和編程方法是已在現有技術中完好記載的，並為本領域技術人員所公知，故不在此處贅述。
假設沿X軸收集到單行的一系列圖像，如果行是直的，那麼X軸偏移量將為0.0(或其它一些定值)。如果行不直，那麼則需要收集每個圖形平面框架40相對於每個平面框架上的共同參照點34的X軸偏移信息，且框架平移模塊30可為每個圖形平面框架40構造X軸偏移向量。假設細胞組織寬闊區域的圖像以兩行或多行圖像的方式收集，則框架平移模塊可取每個圖形平面框架40的X軸偏移信息，並從該兩行或多行圖像「編織」3D模型。只要為每個2D圖像16獲取了充分的定向18和定位信息20，這些行就沒有必要大體平行。然而，為實現模型的大體上完全覆蓋，多行2D圖像16的邊緣應該接觸或重疊。將在下面討論的渲染引擎在構造模型時應該能夠處理任何重疊。
每次圖形平面框架40經過旋轉變換模塊達到平移變換模塊，最終結果均為圖4D中描述的正確定位的圖形平面框架40。雖然Z軸未在圖4D中示出，但可使用合適的偏移向量在Z軸上平移圖形平面框架40。
6.模型渲染在使用上述技術構造模型之後，可使用由3D子系統和/或3D硬體處理的標準渲染技術渲染它。這些渲染技術及設備在本技術領域中是公知的，且實際上是當今所出售的每個個人計算機的一部分，所以就不需要在這裡對其進行詳細描述了。一般地描述典型渲染技術的參考文獻是James D.Foley等人的Computer GraphicPrinciples and Practice(Addison-Wesley Pub.Co.2nd ed.1995)，其公開內容併入此處以供參考，但還有許多其它參考文獻。雖然3D建模系統的優選實施例被設計成在個人計算機上運行，但實際上可以使用任何類型的具有足夠容量和渲染軟體/硬體的數據處理裝置。
通過使用構建在易於獲得的3D加速卡中的功能部件，此處公開的3D建模系統解決用於從2D圖像片組構造立體3D表示的現有技術的實際操作缺點。幾乎當前所有構建在個人計算機和工作站中的3D加速卡以用於「紋理映射」的特定硬體電路為特色——「紋理映射」是一種技術，藉此技術2D位像可被映射到多邊形網格上並由多邊形網格圍繞，以增加視覺上逼真的紋理到照片般逼真的3D場景的透視圖。此處公開的3D建模系統影響該高性能硬體，以將3D體積建模成一組雙面2D矩形框架——每個框架皆有源2D圖像的紋理，而不是將3D體積建模成一組3D體素。嚴格來講，該技術的結果不等同於將像素映射成體素，因為每個紋理元素(「紋素」)在3D模型中保持二維狀態。然而，如果源圖像片相對緊湊且互相之間相對於三個軸皆不平行，則顯像通常是質量非常高的。此外，使用該建模技術，個人計算機上的建模和渲染性能通常特別突出。
3D建模系統的另一個優點是在使用已紋理映射的矩形表面的地方，「後面選擇(back-face culling)」(從不朝向觀察者的渲染處理映射表面除去)可在渲染和實時模型旋轉過程中被很快的完成(典型地，這個選擇可在加速電路中的高速專用硬體上完成)，有助於更好的模型顯示性能。相反，這種電路典型地不能在用體素構造的3D模型中使用的「點」上執行後面選擇，因為該電路典型地被限於在如三角形一樣的原始表面構造上的後面選擇。
7.觀察方法優選實施例的一個應用是醫學診斷領域。一旦使用上述技術構造完模型，其可被渲染及隨後被觀察和操作以鑑別結構及診斷醫學狀況，比如癌症。例如，可獲得胸部的圖像並用上述技術構造模型，並隨後渲染及查看圖像以鑑別或診斷癌症或其它狀況。可使用任何類型的橫截面的系列圖像，及任何類型的組織或物質。雖然討論了超聲波胸部組織圖像作為實例，但是3D建模系統21並不局限於人類組織或醫學診斷，且下面的觀察方法可被用於任何構造自2D橫截面圖像的3D模型。
超聲波圖像可被獲取和轉化成待成像胸部的正確可靠的3D模型。模型的結構使普遍使用的基於個人計算機的3D圖形卡上的快速渲染變的容易。繞軸的任何組合的任意旋轉可由滑鼠實現(或使用鍵盤控制，或使用構建在觀察器界面內的按鈕)，這樣，可從任意角度觀察模型。可調整模型(或模型視點)的大小，這樣可在屏幕上觀察其較大或較小的尺寸。這些能力可使沿胸部模型邊緣的異常能被輕易看到，而如果每次只能看到一個及只能「正面」看到單個的超聲波框架，則異常可能非常難以被發現。
此外，由本發明構造的模型具有許多便於檢測已建模細胞組織深處的異常的操作。一個此類操作依靠「剪裁平面」。模型首先被旋轉至屏幕上期望的方位。然後，隨著模型每秒被渲染多次，剪裁平面截面正視圖進入(保持與屏幕平行)通過模型。因為剪裁平面進入到模型中，所以位於剪裁平面和觀察器之間的所有模型部分被除去，這使得可以顯示模型中漸進深度的橫截面。這樣，可從任意角度和在任意深度觀察已建模組織的內側。這使得可清楚看到其它可能漏檢的(當只從一個特定方向觀察時)異常或結構。使用剪裁平面時也可旋轉模型以「雕刻(sculpt)」模型。
其它操作依然依靠透明度。既然此處公開的3D建模技術依靠2D紋理映射，那麼可使用α通道(alpha channeling)使構成模型的圖像框架具有透明度和部分透明度(另外被稱為「半透明度」)。基本上，在渲染模型過程中，紋理被操作，這樣可顯示某些像素，或使其完全消失，或使其與模型中其「後面」的像素部分混合。此外，可操作混合像素的顏色以增強深度的表現，並提供其它可視信號。透明度和半透明度允許從「外側」觀察模型——人們仍可看到模型「內側」的結構。利用部分透明度甚至可將視點動態地移動到模型中，且可實現模型的「飛過(fly through)」。在「飛過」過程中，視點的角度也可動態改變，這樣，用戶可在觀察過程中「飛到」感興趣的觀測區域。這還提供了被建模結構的另一組「視圖」，且進一步增強了醫生檢測異常的能力，這些異常使用查看超聲波數據的標準技術可能難以看到的。
重要的是，為優化利用結合了半透明度的視圖，優選實施例使用了顯著不同於申請人已知的多種現有技術的一種技術。通過為每個顏色元素將數據存貯區域擴展一位或多位，在3D圖形子系統內實現α通道，以將α通道信息與顏色數據聯繫到一起。當顏色元素由3D圖形子系統渲染時，其顏色可與已存在於3D子系統的深度緩衝器(由於空間上「較深」的顏色元素先前處理)中的顏色值進行附加「混合」(到達由其α值控制的程度)，且結果將最終顯示在屏幕上並導致在該點出現部分的元素透明度，如下面將要更全面解釋的。
在優選實施例中，位於每個模型框架上的每個紋素(紋理元素，與紋理映射圖像上的像素本質上相同)的實際顏色數據是256個可能灰度值中的一個。雖然下面的討論適用於紋素，但是相同技術除了可被用於3D紋理映射之外，還可被用於其他環境中使用的位像，且在這種情況下像素等同於紋素。因此，模型可通過使α字節(8位或256個不同的可能值)與模型的每個框架上的每個紋素相關來生成。當啟用半透明度時，用戶通過標準用戶界面機構(就是，例如Windows標準軌跡杆控制項)選擇「閾值」(在包含的
範圍內)，或可使用預置的閾值。然後，每個紋素的α值按如下方法運算將每個紋素的特定色值從最大色值(255)中減去以得到運算值。運算值是這樣的255的色值產生0，且後續遞減的色值與遞增的運算值相關。然後，每個運算值與閾值相比較。如果運算值大於(或等於)閾值，那麼該紋素的α值被設為255(這將使得紋素被底層3D子系統渲染成完全不透明的)。如果運算值小於閾值，那麼其除以某個用戶可選擇的或預置的值(例如8、16和32，它們是適當的除數，2的冪，也可以稍微地加速處理)。所得的數成為紋素的計算α值。以該方法計算紋素α值可使逐漸更亮的已著色紋素被渲染得越來越透明(以非線性方式)，直到具有超過某個值的獨特亮色的紋素不再被渲染(雖然有時可渲染成視覺上更舒適的效果，如果α值以某個小值「做最小值」——例如1或2——僅僅使紋素不從渲染完全消失)。以該方式實現半透明度可在結果顯示中更好地保持可視深度信號，同時從框架除去許多較亮的著色「噪音」且允許乾淨的視圖「進入」渲染的模型。
當運算α值時，為增強對比度，可修改紋素顏色數據的一個或多個顏色分量(如果灰度數據實際上已經為每個紋素被編碼為幾個顏色分量)。例如，具有小於255的運算α值的紋素使其綠和紅顏色分量乘以某個用戶可選擇的值或預置值(可達255的最大結果分量值)，使越來越透明的像素越來越「黃」。這趨向於增強在渲染中未修改的、不透明的灰度像素的外觀對比度，且也可進一步增強深度信號。為操作對比度或其它觀察參數，例如亮度或灰度係數，當特定紋素的色值下降到閾值以下，可對任何顏色分量進行許多其它數學操作。
雖然優選實施例使用256個灰度值，但是也可使用其它數目的灰度以構造和/或渲染模型，且上述操作技術同樣可以很好地處理顏色數據。
權利要求
1.一種基於計算機的3D建模系統，用於從多個具有相互的空間關係的2D橫截面的數據圖像構造虛擬的3D表示，其包括一個數據源模塊，依據所述相互的空間關係，可通過其提取所述多個2D橫截面的數據圖像，所述數據圖像具有所述多個數據圖像中的每個的定向和定位信息；一個框架生成模塊，其能夠為來自所述數據源模塊的所述多個數據圖像中的每個生成平面框架；一個紋理映射模塊，其能夠將來自所述數據源模塊的所述多個數據圖像中的每個映射到其相應的來自所述框架生成模塊的平面框架上作為紋理；一個旋轉變換模塊，其能夠使用所述定向信息，依據所述定向信息繞虛擬3D空間中的一個或多個軸旋轉來自所述紋理映射模塊的每個平面框架；一個平移變換模塊，其能夠使用所述定位信息，依據所述定位信息在虛擬3D空間中平移來自所述紋理映射模塊的每個平面框架。
2.如權利要求1所述的基於計算機的3D建模系統，所述平移變換模塊通過所述旋轉變換模塊接收來自所述紋理映射模塊的每個平面框架。
3.如權利要求1所述的基於計算機的3D建模系統，所述數據源模塊能夠將所述多個2D橫截面的數據圖像轉化為一種灰度表示。
4.如權利要求1所述的基於計算機的3D建模系統，所述數據源模塊能夠將與每個2D橫截面的數據圖像相關的所述定向信息從其自然的角度單位轉化成弧度。
5.如權利要求1所述的基於計算機的3D建模系統，所述數據源模塊能夠將與每個2D橫截面的數據圖像相關的所述定位信息從其自然的測量單位轉化成毫米的小數。
6.如權利要求1所述的基於計算機的3D建模系統，所述框架生成模塊能夠從兩個鄰接的三角形圖元生成每個平面框架。
7.如權利要求1所述的基於計算機的3D建模系統，所述平面框架是雙面平面框架。
8.如權利要求7所述的計算機建模系統，所述紋理映射模塊能夠將每個2D橫截面的數據圖像映射到所述相應的平面框架的每一面上以作為紋理。
9.如權利要求8所述的基於計算機的3D建模系統，所述紋理映射模塊能夠設置與每個所述平面框架的每面相關的所述紋理，以在沒有裁剪、遮蔽或留下任何未覆蓋的框架部分的情況下精確且完整地覆蓋所述框架的每一面。
10.如權利要求7所述的基於計算機的3D建模系統，所述框架生成模塊能夠從四個三角形圖元生成每個平面框架，兩個圖元構成所述框架的一面，兩個圖元構成所述框架的另一面。
11.如權利要求1所述的基於計算機的3D建模系統，進一步包括一個數據源，其包括一個與所述數據源模塊進行數據交換的超聲波掃描設備。
12.如權利要求11所述的基於計算機的3D建模系統，所述數據源進一步包括與所述超聲波掃描設備連接的一個位置確定設備和一個旋轉角度傳感器。
13.如權利要求1所述的基於計算機的3D建模系統，所述數據源界面將所述多個2D橫截面的數據圖像轉化為一個標準化的位圖格式。
14.一種生成基於計算機的虛擬3D表示的方法，其包括獲得多個2D橫截面的數據圖像及每個數據圖像的定向和定位信息；為每個數據圖像生成一個平面框架；將每個數據圖像映射到其相應的平面框架上作為紋理；使用所述定向信息在虛擬3D空間中繞一個或多個軸旋轉每個平面框架；在虛擬3D空間中使用所述定位信息平移每個平面框架。
15.一種觀察依據權利要求14所述的方法生成的基於計算機的3D表示的方法，其包括在屏幕上將所述多個已旋轉和已平移的框架顯示為一個虛擬3D表示，並使用一次或多次旋轉所述虛擬3D表示來觀察它，使用剪裁平面切入到所述虛擬3D表示中，調整所述虛擬3D表示的透明度，調整所述虛擬3D表示的半透明度，調整用於在所述屏幕上表現所述虛擬3D表示的像素的顏色，調整用於在所述屏幕上表現所述虛擬3D表示的像素的對比度，調整所述虛擬3D表示的亮度，調整所述虛擬3D表示的灰度係數，調整所述虛擬3D表示的大小，將視點動態平移到所述虛擬3D表示中，並相對於所述虛擬3D表示動態移動所述視點。
16.如權利要求14所述方法，其中每個數據圖像包括多個像素，其進一步包括通過操作單個像素的α值來調整半透明度，包括為像素獲取一個特定色值，選擇一個閾值，通過從一個最大色值減去所述特定色值來計算一個運算值，將所述運算值與所述閾值比較，並使所述α值等於所述最大色值，或者如果所述運算值小於所述閾值，則使所述α值等於所述運算值除以一個選擇的值。
17.如權利要求16所述的方法，包括通過操作單個像素的所述色值調整對比度，包括用數學方法修改像素的至少一個顏色分量，所述像素具有一個小於所述最大色值的計算α值。
18.如權利要求14所述的方法，其中每個數據圖像包括多個像素，其進一步包括通過操作單個像素的所述α值調整半透明度，包括獲得所述像素的特定色值，選擇一個閾值，通過從一個最大色值減去所述特定色值來計算一個運算值，將所述運算值與所述閾值比較，並使所述α值等於所述最大色值，或如果所述運算值大於所述閾值，則使所述α值等於被所述運算值除以一個選擇的值。
全文摘要
一種基於計算機的3D建模系統，用於從多個具有相互空間關係的2D橫截面數據圖像構造虛擬3D表示。可從數據源模塊(22)提取多個數據圖像及相關的定向和定位信息。框架生成模塊為每個圖像片構造矩形框架。紋理映射模塊(26)將圖像片映射到關聯的框架上作為紋理。旋轉變換模塊(28)基於與每個數據圖像相關的定向信息，適當地繞一個或多個軸來旋轉每個框架以實現3D空間中的正確定向。平移變換模塊(28)基於與每個數據圖像相關的定位信息來平移每個框架，以實現3D空間中的正確定位。
文檔編號G06T15/08GK1708771SQ200380102429
公開日2005年12月14日 申請日期2003年10月8日 優先權日2002年10月11日
發明者M·W·史密斯, K·M·凱利, R·羅伊斯 申請人:索羅新公司