行李可視化和虛擬開檢的製作方法
2023-06-12 13:53:01
行李可視化和虛擬開檢的製作方法
【專利摘要】本發明提供了用於行李可視化的方法和系統，通過視覺上將物體圖像從其初始位置移動，執行虛擬開檢。在置信量度的引導下，對掃描的3D體積進行分割，以建立標號體積，其體素指定了被檢測的物體ID。通過體積渲染使行李數據集和標號體積可視化。使用自動著色算法，為其投影在圖像中相鄰的任何成對物體分配截然不同的色調。分層架構有效地渲染混合有裝包行李、動畫式開檢物體、以及放在一邊以便進一步檢查的已開檢物體的場景。使用GPU，以自動選擇未被其它物體阻擋並且可以開檢的物體。
【專利說明】行李可視化和虛擬開檢
[0001] 相關申請的交叉引用
[0002] 本申請要求以2012年3月20日提交的、美國臨時申請序號為61/613, 037的申請 為優先權，該申請的全部內容在此以引用方式併入本文。
【技術領域】
[0003] 本發明涉及通過使用成像技術來檢查行李的方法和系統。具體而言，本發明涉及 的方法和系統，藉助於計算機，通過虛擬方式和圖形方式開檢（unpacking)在一件行李中 緊密裝包的物體，來可視化該件行李內容物。
【背景技術】
[0004] 為了檢查危險和違禁物品，無論是託運行李還是攜帶行李，行李篩查都是不可避 免的，對於航空安全尤為如此。最可信賴的手段仍然是物理方式打開行李並且開檢其內容 物。不幸的是這非常低效而且冒昧。
[0005] 採用現代掃描技術，諸如計算機X線斷層照相（CT)，有可能重建被掃描行李及其 內容物體的精確三維幾何特性。自然地，行李被裝包，意味著在掃描圖像上可視化時許多物 體都處於彼此緊密接觸並顯得連接、重疊而且雜亂。這通常包括人工交互作用，以開檢並且 孤立各個物體，以便更好地檢查。
[0006] 據此，需要改進的以及新穎的方法和系統，來對緊密裝包在行李中的物體進行虛 擬開檢，並且在計算機屏幕上顯示開檢的和開檢後的物體。
【發明內容】
[0007] 根據本發明的方面，提供了用於在顯示器上觀察將容納了處於被裝包狀態的物體 的行李虛擬開檢為處於已開檢狀態的物體的系統和方法，其中，根據用掃描器獲得的、物理 行李的體積數據建立圖像，以及，在顯示器上同時顯示處於已開檢狀態的物體的圖像。
[0008] 根據本發明的方面，提供了一種虛擬開檢行李的方法，包括：掃描器獲得行李內處 於裝包狀態的多個物體的三維（3D)體積數據；處理器處理3D體積數據，以將處於裝包狀態 的多個物體分割成為與多個裝包物體對應的多個3D體積物體；以及，處理器渲染處於開檢 狀態的多個3D體積物體中的每一個，以使其同時顯示在顯示器上。
[0009] 根據本發明的又一方面，提供了一種方法，其中，基於裝包物體相對於用來觀察裝 包物體的觀察方向的遮擋（occlusion)狀態，按次序開檢處於裝包狀態的物體。
[0010] 根據本發明的又一方面，提供了一種方法，其中，將多個已開檢3D體積物體中的 每一個的已渲染圖像作為可個別檢索的子圖形（sprite)存儲在存儲器中。
[0011] 根據本發明的又一方面，提供了一種方法，進一步包括：處理器從3D體積圖像中 分割多個裝包物體，以建立與裝包物體對應的多個二元標號體積；以及，處理器組合二元體 積以形成標號體積，其中體素存儲了對應的二元標號體積的識別（ID)值。
[0012] 根據本發明的又一方面，提供了一種方法，進一步包括：通過從物體識別（ID)圖 像中計算衝突圖（interference map)，處理器生成給每一個分割物體的顏色分配。
[0013] 根據本發明的又一方面，提供了一種方法，其中，通過評估以下表達式以及利用圖 著色算法給衝突圖中的每一衝突物體分配不同色調，來由處理器通過2D濾波計算衝突圖， 所述表達式為：
【權利要求】
1. 一種虛擬開檢行李的方法，包括： 掃描器獲得所述行李內處於裝包狀態的多個物體的三維（3D)體積數據； 處理器處理所述3D體積數據，以便將處於裝包狀態的所述多個物體分割成為與多個 裝包物體對應的多個3D體積物體；以及 所述處理器渲染處於已開檢狀態的所述多個3D體積物體中的每一個，以使其同時顯 示在顯示器上。
2. 根據權利要求1所述的方法，其中，基於裝包物體相對於用來觀察所述裝包物體的 觀察方向的遮擋狀態，按次序開檢處於裝包狀態的物體。
3. 根據權利要求1所述的方法，其中，將多個已開檢的3D體積物體的每一個的已渲染 圖像作為可個別檢索的子圖形存儲在存儲器中。
4. 根據權利要求1所述的方法，進一步包括： 所述處理器從所述3D體積數據中分割多個裝包物體，以便建立與裝包物體對應的多 個二元標號體積；以及 所述處理器組合二元體積以形成標號體積，其中體素存儲了對應的二元標號體積的識 別（ID)值。
5. 根據權利要求1所述的方法，進一步包括： 通過從物體識別（ID)圖像中計算衝突圖，所述處理器生成給每一個已分割物體的顏 色分配。
6. 根據權利要求5所述的方法，其中，由所述處理器通過2D濾波，通過評估以下表達式 和利用圖著色算法以給所述衝突圖中的每一衝突物體分配不同色調，來計算所述衝突圖， 所述表達式為：
pA和pB分別表示在從物體A和B的正面投影的圖像中的像素，dist(pA，pB)表示圖像空間中兩個像素之間的距離， DT是預定距離門限值， layer(p)表示像素p的層索引，並且 LT將計算限制於LT層。
7. 根據權利要求5所述的方法，進一步包括： 所述處理器運用多個已分割物體的物體ID圖像，以便基於每個物體的從給定觀察方 向的遮擋率來確定開檢次序。
8. 根據權利要求1所述的方法，其中，通過訪問至少三個渲染層對開檢場景進行渲染， 其中， 第一層含有處於裝包狀態的所有物體的已渲染圖像； 第二層含有正在開檢的物體的已渲染圖像；以及 第三層含有已開檢物體的子圖形的已渲染圖像。
9. 一種顯示對容納了多個處於裝包狀態的物體的行李進行虛擬開檢的系統，所述系統 包括： 行李掃描器，用於獲得所述行李內處於裝包狀態的多個物體的三維（3D)體積數據； 存儲器，能存儲數據和指令； 處理器，能訪問所述存儲器以獲得數據和指令，所述處理器能執行指令以執行下列步 驟： 訪問由所述行李掃描器生成的3D體積數據； 處理所述3D體積數據，以將處於裝包狀態的多個物體分割成為與多個裝包物體對應 的多個3D體積物體；以及 渲染處於已開檢狀態的所述多個3D體積物體中的每一個，以便使其同時顯示在顯示 器上。
10. 根據權利要求9所述的系統，其中，基於處在裝包狀態下的多個物體相對於用來觀 察所述物體的觀察方向的遮擋狀態，按次序由所述處理器開檢處於裝包狀態的所述多個物 體。
11. 根據權利要求9所述的系統，進一步包括： 使所述處理器能從所述3D體積數據中分割處於裝包狀態的所述多個物體，以便建立 與處於裝包狀態的所述多個物體對應的多個二元標號體積；以及 使所述處理器能組合所述二元體積以形成標號體積，其中體素存儲了對應的二元標號 體積的識別（ID)值。
12. 根據權利要求9所述的系統，進一步包括： 通過從物體識別（ID)圖像中計算衝突圖，使所述處理器能給每個已分割物體生成顏 色分配。
13. 根據權利要求12所述的系統，進一步包括： 使所述處理器能通過2D濾波，通過估計以下表達式以及利用圖著色算法給所述衝突 圖中的每一衝突物體分配不同色調，來從物體ID圖像中生成衝突圖，所述表達式為：
pA和pB分別表示在從物體A和B的正面投影的圖像中的像素，dist(pA，pB)表示圖像空間中所述兩個像素之間的距離， DT是預定距離門限值， layer(p)表示像素p的層索引，以及 LT將計算限制於LT層。
14. 根據權利要求12所述的系統，進一步包括： 使所述處理器能運用多個已分割物體的物體ID圖像，以便基於各物體相對於觀察方 向的遮擋率來確定開檢次序。
15. 根據權利要求9所述的系統，還包括顯示器，用於將所述開檢渲染為動畫式系列圖 像。
16. 根據權利要求9所述的系統，還包括： 使所述處理器能通過訪問至少三個渲染層來渲染開檢場景，其中， 第一層含有處於裝包狀態的所有物體的已渲染圖像； 第二層含有正在被開檢的物體的已渲染圖像；以及 第三層含有已開檢後物體的子圖形的已渲染圖像。
17. 根據權利要求9所述的系統，其中，按次序動畫演示已開檢物體的圖像，所述次序 顯示了處於已開檢狀態的物體被重新裝包為處於裝包狀態的多個物體。
18. -種用於在顯示器上將處於裝包狀態的多個物體的三維（3D)體積數據可視地開 檢成為多個已開檢物體的方法，包括： 處理器處理所述3D體積數據，以便將處於裝包狀態的多個物體分割成為與多個裝包 物體對應的多個3D體積物體；以及 所述處理器渲染處於開檢狀態的所述多個3D體積物體中的每一個，以便使其同時顯 示在所述顯示器上，其中，基於所述裝包物體在開檢方向的遮擋狀態，按次序開檢處於裝包 狀態的物體。
19. 根據權利要求18所述的方法，其中，在與觀察方向相反的方向上開檢物體。
20. 根據權利要求18所述的方法，其中，在行李檢查系統中應用所述方法。
【文檔編號】G06T19/00GK104488002SQ201380026101
【公開日】2015年4月1日 申請日期:2013年3月7日 優先權日:2012年3月20日
【發明者】李維, G.帕拉迪尼 申請人:西門子公司