特徵信息賦予、物體抽取和立體模型生成方法及其裝置的製作方法

2023-06-13 01:56:01 3

專利名稱：特徵信息賦予、物體抽取和立體模型生成方法及其裝置的製作方法
技術領域：
本發明涉及根據對真實的對象物體進行拍攝得到的物體圖像、將特徵信息賦予該對象物體的形狀模型用的特徵信息賦予方法，從物體圖像除去背景那樣的不要的部分以抽取物體部分用的物體抽取方法，以及生成對象物體的立體模型的立體模型生成方法及其裝置。
背景技術：
由於計算機圖形學等的進展，正在盛行開發3維圖形學的實用的系統。但是，隨著這種實用化系統的普及，一個顯著的問題是形狀數據的輸入方法。也就是說，將具有自由曲面的物體和存在於自然界的很多物體等的複雜的3維形狀輸入到計算機等中，是非常麻煩、複雜和困難的作業。
此外，在計算機內等再次構成物體的場合，在單單僅再次構成物體形狀中的情況下，很難表現更加實際的物體表面的質感等。
因此，如果以通過拍攝實際的物體所得到的圖像信息為基礎，能在計算機內再次構成形狀信息和色彩/質感信息等，則能簡單地進行3維圖像信息的處理。
另一方面，在例如網際網路等的3維圖像通信中，由作為信息發送者的一般用戶生成3維圖像的機會增加。因此，也需要用簡便而且小型的裝置構成來生成3維圖像。
(1)在日本特開平5-135155號公報中公開了一種立體模型生成裝置，該裝置能在普通的照明條件下，根據在旋轉臺上的對象物體的連續輪廓圖像，構成3維模型。
這種3維模型構成裝置，用拍攝機對在旋轉臺上旋轉的對象物體連續地進行拍攝，並利用圖像處理計算機由拍攝的圖像進行對象物體的輪廓圖像的抽取。在這種輪廓圖像中，由這種輪廓圖像的輪廓測量到垂直旋轉軸的水平距離，並根據這種水平距離和旋轉角度生成3維模型。也就是說，由連續拍攝的輪廓圖像抽取對象物體的輪廓，作為3維模型進行顯示。
圖1是表示基於由拍攝機連續拍攝的圖像信息、對於如前述生成的3維模型附加特徵信息的方法的示意圖。
在前述的日本特開平5-135155號公報中，對連續地旋轉對象物體、並拍攝對象物體進行了說明，也就是說，對以人類對於3維模型的形狀識別的解析度程度得到圖像信息的場合進行了說明。更具體地說，例如每隔1度旋轉角拍攝圖像，則對象物體得到360張圖像，對於這種情況進行說明。
下面，為簡單說明起見，對於每隔較大的角度拍攝圖像的場合進行說明，但其本質上是相同的。
如圖1所示所考慮的情況是，使對象物體不斷地每隔固定的角度旋轉，同時拍攝共計n張圖像。這種場合，對各個圖像信息作為標記號碼分別相應取1，2，…，n。
用使用多邊形(三角形拼塊)的形狀模型(wire frame model線框模型)300，表示對象物體。在對於這種形狀模型300賦予特徵信息時，對於各個三角形拼塊，對應於拍攝對象物體的拍攝機的方向，賦予對應的標記號碼的圖像信息的色彩信息(特徵信息)。
更詳細地說是這樣的方法，即考慮向量是從形狀模型300的旋轉軸指向所注意的三角形拼塊時，是從該向量和拍攝方向向量的方向最一致的圖像，獲得對於這種三角形拼塊的特徵信息。或者，更直觀地進行說明是這樣的方法，即在表面模型上假定地球儀那樣的經線，對於0度到1×360/n度範圍的三角形拼塊從1號圖像信息獲得特徵信號，對於1×360/n度到2×360/n度範圍的三角形拼塊從2號圖像信息獲得特徵信息。下面，稱這種特徵信息的獲得方法為中心投影方式。
採用前述的中心投影方式有這樣的優點，即對於構成各個三角形拼塊或者與其相當的形狀模型的構成要素(下面稱為立體形狀構成要素)，能與圖像信息一一對應，而且很容易決定這種對應關係。
但是，對於中心投影方式的缺點是，在從旋轉軸看的情況下，對於不存在於同一旋轉角範圍內的立體形狀構成要素，因根據不同的圖像信息(標記號碼不同的圖像信息)賦予特徵信息，所以由於照明等的關係在色彩信息的光澤和質感有微妙不同時，其特徵的接縫明顯。
此外，根據對象物體的形狀，在從某個拍攝方向得到的圖像信息中，因不能看到對應的立體形狀構成要素，所以在對應的圖像信息中，常常不能全部包含該立體形狀構成要素對應的特徵信息。
圖2是用於說明這種情況的示意圖。也就是說，在圖2中，示出了在包含對象物體旋轉軸的垂直平面中旋轉軸、對象物體剖面和投影在拍攝機內的物體像的關係。當對象物體的形狀在圖2所示的場合，即包含有從拍攝機側不能看到的部分的場合，在從這種角度方向拍攝的圖像信息中，不存在這種沒有看到的部分的特徵信息。但是，從例如與這種拍攝方向有一定的角度的其它的拍攝方向，有可能獲得這種沒有看到的部分的特徵信息。
(2)作為從物體圖像僅抽取物體部分的以往的方法，是基於使用輔助工具的人工的方法。具體地說，將與背景一起拍攝對象物體得到的物體圖像分割成多個區域。然後，人們用滑鼠器等選擇物體圖像中的背景部分，並逐步消除背景部分。但是，這種方法的問題是，因採用手工的方法，所以工作量很大。
此外，作為以往其它的物體抽取方法，有使用色度鍵技術的方法。具體地說，用同色的背景板從物體圖像抽取物體部分。但是，用這種方法的問題是，必須準備同色背景板的特殊的環境。
此外，作為以往其它的物體抽取方法，有使用單純差分的方法。具體地說，在物體圖像和僅拍攝對象物體的背景的背景圖像之間進行差分處理，並求出差分。然後，抽取差分的絕對值在閾值以上的部分作為物體部分。但是，用這種方法的問題是，當在對象物體中存在與背景色相同部分的情況下，就不能抽取該部分作為物體部分。也就是說，存在物體部分的抽取精度差的問題。
此外，作為以往其它的物體抽取方法，有利用基於立體法得到的進深信息的方法。具體地說，從與背景一起拍攝對象物體得到的物體圖像抽取進深信息在閾值以下的部分作為物體部分。但是，用這種方法的問題是，在對象物體和背景的邊界附近進深差較大，未必能得到正確的進深信息。因此存在錯誤抽取背景圖像的一部分作為物體部分的問題。
此外，採用任何一種前述以往的方法，必須預先給定閾值。這裡的問題是，考慮到對圖像進行AD變換的A/D變換器的變換特性和照明的特性，很難確定適當的閾值。特別，在A/D變換器的變換特性和照明的特性變動的場合，還存在必須重新修改確定閾值的問題。
(3)作為讀取對象物體形狀的以往的裝置，有3維數位化儀。3維數位化儀包括具有多個關節的臂和筆。人使這種筆接觸對象物體並在對象物體上移動。這樣，一移動筆，臂的關節的角度就變化。以這種臂的關節的角度信息為基礎，求得對象物體的3維形狀。但是，因這種數位化儀是用人工進行測量，所以存在作業時間和工作量非常大的問題。
此外，作為以往其它的裝置有雷射掃描器。雷射掃描器藉助於將雷射照射在對象物體上進行掃描，求得對象物體的3維形狀。但是，用這種雷射掃描器的問題是，不能得到由吸收光的材料組成的對象物體的立體模型。此外的問題是，裝置非常複雜並且價格高。再有，因必須在暗室進行對象物體的測量，所以存在受拍攝環境限制的問題。此外，還存在難於取入色彩信息的問題。
在美國專利4982438號中公開了立體模型生成裝置。在這種裝置中，用對象物體的輪廓圖像算出假定存在區域。假定存在區域是以拍攝機的投影中心為頂點，以對象物體的輪廓為剖面形狀的錐體狀的區域。用體元(voxel)模型描述這種錐體狀的區域(假定存在區域)。對於多個輪廓圖像進行前述那樣的處理。然後，求得共同假定存在區域，生成對象物體的立體模型。這裡，共同假定存在區域是對於多個輪廓圖像的多個假定存在區域的邏輯積部分。但是，在這種裝置中，因由邏輯積得到立體形狀，所以問題是，當有1個輪廓圖像不正確時，就不能生成高精度的立體模型。此外，因僅從水平方向(與旋轉軸垂直的方向)拍攝對象物體，所以還存在色彩信息不足或者不能識別局部地方的凹部的問題。
在前述日本特開平5-135155號公報公開了的立體模型生成裝置中，用拍攝機拍攝用旋轉臺旋轉的對象物體，得到多個輪廓圖像。以這種多個輪廓圖像為基礎，得到在多個水平面(垂直於旋轉軸的面)的對象物體的多個形狀。然後，在相鄰的水平面中，用三角形拼塊連接對象物體形狀的輪廓上的點。這裡，對每個規定的角度規定1個水平面上對象物體的形狀輪廓線上的點。這樣，生成對象物體的立體模型。但是，這種裝置的問題是，為了生成輪廓圖像，必須使用背景板的特殊的拍攝環境。此外的問題是，因利用多個水平面的對象物體的形狀生成立體模型，所以數據量大，處理時間長。
因此，本發明的目的是提供在基於拍攝實際存在的物體的圖像信息並在計算機內等再次構成立體模型的場合，能將特徵信息賦予構成形狀模型的各個立體形狀構成要素而與對象物體的形狀無關的特徵信息賦予方法及其裝置。
本發明的其它的目的是提供在基於拍攝實際存在的物體的圖像信息並將特徵信息賦予形狀模型時，能從被拍攝的圖像信息賦予更加接近實際存在的物體所具有特徵的特徵信息的特徵信息賦予方法及其裝置。
本發明的其它的目的是提供在以拍攝實際存在的物體而得的圖像信息為基礎將特徵信息賦予形狀模型時，賦予各個構成形狀模型的立體形狀構成要素的特徵的不連續性(接縫)不明顯的特徵信息賦予方法及其裝置。
本發明的其它的目的是提供即使對象物體存在與背景的色彩相同的部分的場合，也能抽取該部分作為物體部分的物體抽取方法及其裝置。
本發明的其它的目的是提供即使在各種特性變動的場合，也總是能穩定並抽取正確的物體部分的物體抽取方法及其裝置。
本發明的其它的目的是提供減少人工作業、同時不需要特殊的拍攝環境的物體抽取方法及其裝置。
本發明的其它的目的是提供能減少人工作業的立體模型生成方法及其裝置。
本發明的其它的目的是提供對拍攝環境和對象物體的材料的限制小、結構簡單的立體模型生成方法及其裝置。
本發明的其它的目的是提供即使多個輪廓圖像中的若干個不正確也能生成高精度的立體模型的立體模型生成方法及其裝置。
本發明的其它的目的是提供能得到充分的色彩信息、也能識別對象物體的局部地方的凹部的立體模型生成方法及其裝置。
本發明的其它的目的是提供不需要特殊的拍攝環境、處理的數據量少並能高速地生成立體模型的立體模型生成方法及其裝置。

發明內容
按照本發明的1個方面，對於形狀模型的特徵信息賦予裝置，包括將對象物體的形狀作為基於多個立體形狀構成要素的集合的形狀模型進行描述的裝置，根據藉助於從不同的視點對對象物體進行拍攝所獲得的多個物體圖像信息，對於每個立體形狀構成要素、對應於各物體圖像信息的立體形狀構成要素的特徵信息量，對於形狀模型賦予特徵信息的裝置。
比較理想的是，對於每個立體形狀構成要素，基於各立體形狀構成要素的面法線方向和對各物體圖像信息進行拍攝的方向的一致程度，表示所述特徵信息量。
比較理想的是，對於每個立體形狀構成要素，基於投影在各物體圖像信息的立體形狀構成要素的面積，表示所述特徵信息量。
按照本發明的另1個方面，對於形狀模型的特徵信息賦予裝置，包括將對象物體的形狀作為基於多個立體形狀構成要素的集合的形狀模型進行描述的裝置，根據藉助於從不同的視點對對象物體進行拍攝所獲得的多個物體圖像信息，對於每個立體形狀構成要素、對應於各物體圖像信息的立體形狀構成要素的特徵信息量和立體形狀構成要素間的特徵連續性的兩個方面，對於形狀模型賦予特徵信息的裝置。
比較理想的是，在賦予所述特徵信息的裝置中，根據對應於每個立體形狀構成要素的物體圖像信息，對於形狀模型賦予特徵信息，以便使隨著特徵信息量的增加而減少並且隨著立體形狀構成要素間的特徵連續性的改善而減少的評價函數極小化。
比較理想的是，在所述評價函數中，用分別與所注意的立體形狀構成要素和與其相鄰的立體形狀構成要素對應的物體圖像信息的拍攝位置和拍攝方向的差的函數，表示特徵連續性。
比較理想的是，在所述評價函數中，在伴隨位置變化對物體圖像信息進行拍攝的場合將對應於位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的立體形狀構成要素的標記號碼和分配給與所注意的立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數，表示特徵連續性。
比較理想的是，在所述評價函數中，在伴隨規則的位置變化對物體圖像信息進行拍攝的場合將對應於位置變化的標記號碼給予各物體圖像信息時，用隨著分配給所注意的立體形狀構成要素的標記號碼和分配給與所注意的立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的增加而增加的函數，表示特徵連續性。
比較理想的是，在所述評價函數中，對於每個立體形狀構成要素，用投影到各物體圖像信息中的立體形狀構成要素的面積的函數，表示特徵信息量。
比較理想的是，在所述評價函數中，對於每個立體形狀構成要素，用各立體形狀構成要素的面法線方向和對各物體圖像信息進行拍攝的方向的一致程度的函數，表示特徵信息量。
比較理想的是，在所述評價函數中，用分配給第i號(i自然數)立體形狀構成要素的標記號碼和分配給與第i號立體形狀構成要素相鄰的立體形狀構成要素的標記號碼之差的全部立體形狀構成要素的總和，與用投影到分配給第i號立體形狀構成要素的標記號碼對應的物體圖像信息的第i號立體形狀構成要素的面積的全部立體形狀構成要素的總和的線性組合，表示特徵信息量。
按照本發明的其它另外的1個方面，對於形狀模型的特徵信息賦予裝置，包括將對象物體的形狀作為基於多個立體形狀構成要素的集合的形狀模型進行描述的裝置，將標記號碼與每個立體形狀構成要素加以對應，以便在伴隨位置變化對多個物體圖像信息進行拍攝的場合將對應於位置變化的標記號碼給予各物體圖像信息時，使隨著對於各立體形狀構成要素的特徵信息量的增加而減少並且隨著分別分配給各立體形狀構成要素和與其相鄰的立體形狀構成要素的特徵信息的特徵連續性的改善而減少的評價函數極小化的裝置。
基於與加以對應的標記號碼相對應的物體圖像信息和與包含加以對應的標記號碼的規定數的標記號碼相對應的物體圖像信息，藉助於進行對應於投影到各物體圖像信息的立體形狀構成要素的面積的加權平均處理，將特徵信息賦予立體形狀構成要素的裝置。
比較理想的是，在將特徵信息賦予立體形狀構成要素的裝置中，對於前述立體形狀構成要素，求出投影到對應於與立體形狀構成要素對應的標記號碼的物體圖像信息和對應於包含前述對應的標記號碼的規定數的標記號碼的物體圖像信息的面積，並以其作為進行後述的加權平均處理時的加權係數。然後，求出前述立體形狀構成要素投影到前述物體圖像信息的部位，並用加權平均處理來處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構成要素的特徵信息。
按照本發明的其它另外的1個方面，對於形狀模型的特徵信息賦予裝置，包括將對象物體的形狀作為基於多個立體形狀構成要素的集合的形狀模型進行描述的裝置，將標記號碼與每個立體形狀構成要素加以對應，以便在伴隨規則的位置變化對多個物體圖像信息進行拍攝的場合將標記號碼給予各物體圖像信息時，使隨著對於各立體形狀構成要素的特徵信息量的增加而減少並且隨著分別分配給各立體形狀構成要素和與其相鄰的立體形狀構成要素的特徵信息的特徵連續性的改善而減少的評價函數極小化的裝置。
基於與加以對應的標記號碼相對應的物體圖像信息和與包含加以對應的標記號碼的規定數的標記號碼相對應的物體圖像信息，藉助於進行對應於投影到各物體圖像信息的立體形狀構成要素的面積的加權平均處理，將特徵信息賦予立體形狀構成要素的裝置。
比較理想的是，在將特徵信息賦予立體形狀構成要素的裝置中，對於前述立體形狀構成要素，求出投影到對應於與立體形狀構成要素對應的標記號碼的物體圖像信息和對應於包含前述對應的標記號碼的規定數的標記號碼的物體圖像信息的面積，並以其作為進行後述的加權平均處理時的加權係數。然後，求出前述立體形狀構成要素投影到前述物體圖像信息的部位，並用加權平均處理來處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構成要素的特徵信息。
按照本發明的其它另外的1個方面，對於形狀模型的特徵信息賦予裝置，包括藉助於從不同的視點拍攝對象物體以獲得多個物體圖像信息的裝置，將對象物體的形狀作為基於多個立體形狀構成要素的集合的形狀模型進行描述的裝置，藉助於對相應於分別投影到多個物體圖像信息的立體形狀構成要素相應的面積的全部物體圖像信息進行加權平均處理，將得到的特徵信息賦予各立體形狀構成要素的裝置。
比較理想的是，在將特徵信息賦予立體形狀構成要素的裝置中，對於前述各立體形狀構成要素，求出投影到物體圖像信息的面積，並以其作為進行後述的加權平均處理時的加權係數。然後，求出前述立體形狀構成要素投影到前述物體圖像信息的部位，並用加權平均處理來處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構成要素的特徵信息。
因此，採用前述特徵信息賦予裝置，則在基於拍攝實際存在的物體的圖像信息並在計算機內等再次構成形狀模型的場合，能從拍攝該對象物體的多個圖像信息中有選擇地將最適合的圖像信息賦予形狀模型，作為最實際存在的物體具有的特徵信息。
此外，對於作為多個立體形狀構成要素的集合表現的形狀模型，在賦予特徵信息(色彩信息)的場合，能抑制各立體形狀構成要素間的特徵信息的不連續性，同時有選擇地將與實際存在的物體具有的特徵信息更接近的特徵信息賦予各立體形狀構成要素。
此外，對於多個立體形狀構成要素，因能基於從實際的對象物體拍攝的物體圖像信息，將賦予特徵信息的處理置換成對於各立體形狀構成要素的附標記(1abelling)問題進行處理，所以能以計算機處理等適合的順序進行對於各立體形狀構成要素的特徵信息的賦予處理。
按照本發明的其它另外的1個方面，從拍攝對象物體得到的物體圖像中除去不希望要的部分並抽取物體部分的物體抽取裝置，包括區域分割裝置和抽取裝置。
區域分割裝置將物體圖像分割成多個區域。
抽取裝置藉助於進行將物體圖像的各圖像信息匯總在每個區域中的處理，確定並抽取物體圖像中的物體部分這裡，不希望要的部分是例如背景部分。
比較理想的是，在抽取裝置中，將物體圖像的各象素信息匯總在每個區域中的處理是在每個區域中將物體圖像的各象素的信息加以平均化的處理。
比較理想的是，抽取裝置藉助於對於匯總在每個區域中的各象素的信息進行閾值處理，確定物體圖像中的物體部分並進行抽取。
比較理想的是，物體圖像的各象素的信息是在僅拍攝對象物體的背景的背景圖像和物體圖像間進行差分處理得到的差分信息。
比較理想的是，抽取裝置包括差分處理裝置，平均值導出裝置和閾值處理裝置。
差分處理裝置在僅拍攝對象物體的背景的背景圖像和物體圖像間進行差分處理。
平均值導出裝置對於由差分處理得到的差分的絕對值，求出各區域內的平均值。
閾值處理裝置比較區域內的平均值和預定值，並抽取平均值在預定值以上的區域作為物體部分。
比較理想的是，抽取裝置包括差分處理裝置，平均值導出裝置和閾值處理裝置。
平均值導出裝置算出物體圖像的各區域內的象素的平均值，差分處理裝置在物體圖像的各區域內的象素的平均值和與該區域對應的背景圖像的區域內的象素的平均值間進行差分處理，閾值處理裝置比較基於差分處理得到的差分的絕對值和預定值，並抽取差分的絕對值在預定值以上的區域作為物體部分。
比較理想的是，物體圖像的各象素的信息是進深信息。
按照本發明的其它另外的1個方面，從拍攝對象物體得到的物體圖像中除去不希望要的部分並抽取物體部分的物體抽取裝置，包括進深信息算出裝置、區域分割裝置、平均值算出裝置和抽取裝置。
進深信息算出裝置算出物體圖像的進深信息，區域分割裝置將物體圖像分割成多個區域，平均值算出裝置對每個區域算出進深信息的平均值，抽取裝置抽取多個區域中平均值在預定的範圍內的區域作為物體部分，特別在物體圖像中不包含位於較對象物體更加前方位置的物體的場合，抽取其平均值比預定值小的區域作為物體部分。
按照本發明的其它另外的1個方面，基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括差分裝置、抽取裝置和閾值決定裝置。
差分裝置算出物體圖像和背景圖像的差，抽取裝置抽取物體圖像中差值比閾值大的部分作為物體部分，閾值決定裝置基於多個背景圖像的分布，統計決定閾值。
按照本發明的其它另外的1個方面，基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括算出裝置、差分裝置和抽取裝置。
算出裝置在多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差，差分裝置算出物體圖像的各象素的值和與該象素對應的背景圖像的象素的平均值之差，抽取裝置抽取物體圖像的象素中差值比標準偏差的規定倍數大的象素作為物體部分。
按照本發明的其它另外的1個方面，基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括平均/標準偏差算出裝置、區域分割裝置、差分裝置、平均差算出裝置、平均標準偏差算出裝置和抽取裝置。
平均/標準偏差算出裝置在多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差，區域分割裝置將物體圖像分割成多個區域，差分裝置算出物體圖像的各區域內的各象素值和與該區域對應的背景圖像的區域內對應的象素的平均值之差，平均差算出裝置對每個區域算出差的平均值，平均標準偏差算出裝置對每個區域算出標準偏差的平均值，抽取裝置抽取多個區域中差的平均值比標準偏差的平均值的規定倍數大的區域作為物體部分。
按照本發明的其它另外的1個方面，基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括平均/標準偏差算出裝置、區域分割裝置、平均算出裝置、差分裝置、平均差算出裝置、平均標準偏差算出裝置和抽取裝置。
平均/標準偏差算出裝置在多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差，區域分割裝置將物體圖像分割成多個區域，平均算出裝置算出物體圖像的各區域內的象素的平均值，差分裝置算出物體圖像的各區域內的象素的平均值和與該區域對應的背景圖像的區域內的象素的平均值之差的絕對值，平均差算出裝置對每個區域算出差的絕對值的平均值，平均標準偏差算出裝置對每個區域算出標準偏差的平均值，抽取裝置抽取多個區域中差的絕對值的平均值比標準偏差的平均值的規定倍數大的區域作為物體部分。
按照本發明的其它另外的1個方面，基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括平均/標準偏差算出裝置、區域分割裝置、平均算出裝置、差分裝置、平均標準偏差算出裝置和抽取裝置。
平均/標準偏差算出裝置在多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差，區域分割裝置將物體圖像分割成多個區域，平均算出裝置在算出物體圖像的各區域內的象素的平均值的同時，算出背景圖像的象素平均值的各區域內的平均值，差分裝置算出物體圖像的各區域內的象素的平均值和與該區域對應的背景圖像的區域內的象素平均值的區域內的平均值之差的絕對值，平均標準偏差算出裝置對每個區域算出標準偏差的平均值，抽取裝置抽取多個區域中差的絕對值比標準偏差的平均值的規定倍數大的區域作為物體部分。
按照本發明的其它另外的1個方面，基於多次拍攝對象物體得到的多個物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像，從物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括平均/標準偏差算出裝置、平均算出裝置、區域分割裝置、差分裝置、平均差算出裝置、平均標準偏差算出裝置和抽取裝置。
平均/標準偏差算出裝置在多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差，平均算出裝置在多個物體圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值，區域分割裝置將物體圖像分割成多個區域，差分裝置算出物體圖像的各區域內的各象素的平均值和與該區域對應的背景圖像的區域內的對應的象素的平均值之差的絕對值，平均差算出裝置對每個區域算出差的絕對值的平均值，平均標準偏差算出裝置對每個區域算出標準偏差的平均值，抽取裝置抽取多個區域中差的絕對值的平均值比標準偏差的平均值的規定倍數大的區域作為物體部分。
因此，採用前述的物體抽取裝置，則即使對象物體存在與背景的色彩相同部分時，也能檢測並抽取該部分作為物體部分。此外，能減少採用人工的作業，同時不需要特殊的拍攝環境。
按照本發明的其它另外的1個方面，生成對象物體的立體模型的立體模型生成裝置，包括拍攝對象物體的背景而且包含背景拍攝對象物體的拍攝裝置，求出僅拍攝背景得到的背景圖像和包含背景拍攝對象物體得到的多個物體圖像的差分、並生成輪廓圖像的輪廓生成裝置，用多個輪廓圖像生成對象物體的立體模型的裝置。
比較理想的是，前述的立體模型生成裝置，還包括使對象物體旋轉的旋轉裝置。
按照本發明的其它另外的1個方面，生成對象物體的立體模型的立體模型生成裝置，包括生成對象物體的多個輪廓圖像的輪廓生成裝置，以多個輪廓圖像為基礎，推定體元空間中對象物體的存在區域的推定裝置，用由推定裝置得到的對象物體的存在區域，生成對象物體的立體模型的裝置。
比較理想的是，推定裝置對體元空間進行表決(voting)處理。
比較理想的是，前述的立體模型生成裝置，還包括以表決處理的結果、投票數在規定的閾值以上的部分，作為對象物體的存在區域的閾值處理裝置。
因此，採用前述的立體模型生成裝置，則因用進行差分處理而得到的輪廓圖像生成立體模型，所以不需要同一色彩的背景板等那樣的特殊的拍攝環境。
此外，因以多個輪廓圖像為基礎進行對體元空間的表決處理生成立體模型，所以即使多個輪廓圖像中有幾個不正確，也能高精度地生成立體模型。
此外，因通過將切斷對象物體的立體形狀得到的多個切斷面的輪廓線用多邊形近似而生成立體模型，所以能減少用於生成立體模型的數據量，並能高速地進行處理。
此外，因通過將對象物體的多個剖面形狀的輪廓線用多邊形近似而生成立體模型，所以能減少用於生成立體模型的數據量，並能高速地進行處理。


圖1是表示以往的特徵信息賦予方法的示意圖。
圖2是表示以往的特徵信息賦予方法的問題的剖視圖。
圖3是表示本發明實施形態1的立體模型生成裝置的結構的概略方框圖。
圖4是表示圖3所示的立體模型生成裝置中色彩信息賦予處理單元的結構的概略方框圖。
圖5是表示從實際存在的物體生成立體模型的處理流程的流程圖。
圖6A是用於說明圖5的步驟S10的圖像拍攝的圖。
圖6B是用於說明圖5的步驟S12的輪廓圖像生成的圖。
圖6C是用於說明圖5的步驟S14的表決處理的圖。
圖6D是用於說明圖5的步驟S16的多邊形生成的圖。
圖6E是用於說明圖5的步驟S18的特徵映射的圖。
圖7是表示表決處理的概念的透視圖。
圖8是表示表決處理中假定存在區域的P平面剖視圖。
圖9是表示表決處理的概念的P平面剖視圖。
圖10A是表示用於說明多邊形生成處理的示意圖。
圖10B是圖10A中的10B部分的放大圖。
圖11是表示基於多邊形的3維形狀模型的圖。
圖12A是表示特徵信息賦予處理的示意圖。
圖12B是表示圖12A中的12B部分的放大圖。
圖13是表示對各立體形狀結構要素的特徵信息賦予的處理流程的流程圖。
圖14是表示實施形態1的特徵信息賦予方法的處理流程的流程圖。
圖15是表示記錄實施形態1的特徵信息賦予方法的記錄媒體的示意圖。
圖16是表示實施形態2的特徵信息賦予方法的處理流程的流程圖。
圖17是表示實施形態3的特徵信息賦予方法的處理流程的流程圖。
圖18是表示對圖4中的色彩信息存儲器的特徵信息的存儲方法的示意圖。
圖19是表示實施形態4的特徵信息賦予方法的處理流程的流程圖。
圖20是表示實施形態5的特徵信息賦予方法的示意圖。
圖21是表示實施形態5的特徵信息賦予方法的處理流程的流程圖。
圖22是表示本發明的實施形態6的物體抽取裝置(圖像切出裝置)的整體結構圖。
圖23是表示本發明的實施形態6的物體抽取裝置(圖像切出裝置)的概略的方框圖。
圖24是表示圖22的運算單元的概略方框圖。
圖25A-圖25C是用於詳細地說明圖24的差分處理單元、平均值導出單元和閾值處理單元的處理的圖。
圖26是表示本發明的實施形態7的物體抽取裝置的主要結構流程圖。
圖27A是表示分割成圖26所示的物體抽取裝置中得到的多個區域R的物體圖像的圖。
圖27B是表示用亮度顯示進深信息的圖像的圖。
圖27C是表示從物體圖像除去背景部分抽取的物體部分的圖像的圖。
圖28是表示實施形態8的物體抽取裝置的主要結構的流程圖。
圖29是表示實施形態9的物體抽取裝置的主要結構的流程圖。
圖30是表示實施形態10的物體抽取裝置的主要結構的流程圖。
圖31是表示實施形態11的物體抽取裝置的主要結構的流程圖。
圖32是表示實施形態12的立體模型生成裝置的概略方框圖。
圖33是表示圖32所示的立體模型生成裝置的處理流程的流程圖。
圖34是用於說明在圖33的步驟S8求得的透視(perspective)比的圖。
圖35A-圖35C是用於說明在圖33的步驟S8求得的拍攝機和旋轉臺的位置關係的圖。
圖36是用於說明在圖33的步驟S14中用的圓柱坐標系體元空間的體元的圖。
圖37是用於說明圖33的步驟S14的表決處理的圖。
圖38是用於說明圖33的步驟S14的表決處理結果的圖。
圖39A是用於說明圖33的步驟S16中多邊形生成的具體內容的圖。
圖39B是圖39A中的39B部分的放大圖。
圖40是用於說明圖33的步驟S16的多邊形生成的流程圖。
圖41是表示用圖40中步驟SA2求得的對應於相鄰切斷面的輪廓線的頂點間的關係圖。
圖42是用於說明圖40中步驟SA3的局部的最接近點相鄰策略的圖。
圖43是表示由圖40中步驟SA3的局部的最接近點相鄰策略得到的多邊形的圖。
圖44是表示圖40中步驟SA3的局部的最接近點相鄰策略的多邊形生成的一部分流程圖。
圖45是表示圖40中步驟SA3的局部的最接近點相鄰策略的多邊形生成的另外一部分流程圖。
圖46是用於說明圖40中步驟SA3的大區域的最短連接策略的多邊形生成的流程圖。
圖47是表示記錄用於使對象物體的立體模型生成在圖3計算機上的程序的CD-ROM的圖。
具體實施例方式
下面，參照附圖對本發明的實施形態詳細地進行說明。此外，在圖中相同的或者相當的部分附以相同的標號並省略重複的說明。
實施形態1圖3是表示本發明實施形態1的用於從實際存在的物體再次構成3維模型的立體模型生成裝置1000的結構的概略方框圖。參照圖3，在旋轉臺110上裝有對象物體100。旋轉臺110根據例如來自計算機130的控制信號，控制其旋轉角度。拍攝機120對於各個指定角度對旋轉的對象物體100進行拍攝，並將得到的圖像數據供給計算機130。另一方面，從輸入裝置140將旋轉臺110的旋轉間隔等拍攝條件的數據供給計算機130。
計算機130根據由拍攝機120提供的圖像信息，從對應於各拍攝角度的圖像信息抽取輪廓圖像，生成3維形狀模型。這裡，作為3維形狀模型，能用例如多邊形(三角形拼塊)的集合來表示。此外，所謂的前述圖像信息是指例如對應於由拍攝機120輸出的各象素的亮度、色彩或者濃度所表示的數值信息。但是，作為立體模型的表示方法不限於這種表示方法，例如也能用不同形狀的表面形狀要素的集合進行表示。因此，下面將用於表示形狀模型的要素的形狀總稱為立體形狀構成要素。
接著，計算機130根據在各角度中拍攝的圖像信息，對於再次構成的形狀模型賦予特徵信息。這裡，所謂的計算機圖形學(CG)領域中的色彩信息(特徵信息)是指貼附在物體表面上的、用於表示這種表面的微細的凸凹和圖案、樣子、材料質感的圖像信息。這樣，將再次構成的立體模型顯示在顯示裝置150上。
在對於3維圖像信息的色彩信息(更一般地說是特徵信息)的賦予方法詳細地進行說明前，首先對從實際存在的物體到生成物體的3維形狀模型為止的流程簡單地進行說明。
圖5是表示從生成物體圖像開始到將特徵信息賦予形狀模型為止的處理流程的流程圖。圖6A到圖6E是表示各流程的過程中數據處理的概要的概念圖。
首先，參照圖6A，計算機130根據由輸入裝置140供給的拍攝條件數據，控制旋轉臺110的旋轉角。對於各旋轉角取入拍攝機120拍攝的物體圖像A1～An(步驟S10)，例如假設對於每隔10°角度取入來自拍攝機120的物體圖像，則1轉取入36張物體圖像A1～An。
接著，參照圖6B，計算機130從各被拍攝的物體圖像A1～An抽取物體像的輪廓，生成從各個方向看到的物體的輪廓圖像B1～Bn(步驟S12)。
這裡，得到的輪廓圖像B1～Bn表示從各個方向看到的對象物體100的輪廓。因此，如圖6C所示，根據這些從各方向看到的物體的輪廓圖像，對於分割成假想的體元(voxel)後的3維空間，用後面說明的表決處理在這種體元空間251內推定對象物體100的存在區域(步驟S14)。
接著，參照圖6D，對在這種體元空間251表示的物體區域進行變換，以便用多邊形(三角形拼塊)27的形狀模型300來表示(步驟S16)。這裡，要求例如用於表示所必要的多邊形數要減少，而且維持表示形狀的精度。因此，能例如用以下的方法生成多邊形27。
也就是說，首先，在用圓柱坐標系表示的體元空間251中，對用圓柱坐標系的θ表面的切斷面輪廓線進行多邊形近似，決定多邊形27的頂點。接著，將各頂點分別與最接近的3頂點連接，生成三角形拼塊。
接著，參照圖6E，對於生成的多邊形27的各三角形拼塊，由在步驟S10中拍攝的圖像信息賦予特徵信息(步驟S18)。
按照前述的流程，以用拍攝機120拍攝現實存在的物體的圖像信息為基礎，在計算機130內再次構成立體模型27。
此外，如前所述，做成將對象物體100安裝在旋轉臺110上並用拍攝機120以固定的狀態然後使旋轉臺旋轉對圖像進行拍攝的結構，但獲得圖像信息的方法不限於這種結構。
例如，也可以是這樣構成，即對象物體100保持靜止，人拿著拍攝機120並移動，從多個視點拍攝對象物體100，從而得到圖像數據。這種場合，如果知道各圖像拍攝時的拍攝機120的位置和進行拍攝的方向，則以這些信息為基礎利用與下述相同的方法也能進行3維形狀模型300的再次構成和特徵信息的賦予。
下面，對於圖5所示的各處理步驟進一步詳細地進行說明。
(圖像拍攝和輪廓圖像生成)如前所述，用圖3所示的結構進行圖像拍攝時，將對象物體100安裝在旋轉臺110上，一邊使旋轉臺110旋轉一邊拍攝若干幅物體圖像A1～An。然後，為了下一步驟S12的輪廓圖像抽取，還進行背景圖像的拍攝。
接著，利用對象物體圖像A1～An與背景圖像間的差分處理，生成僅切出對象物體的輪廓圖像B1～Bn。
這時，由於不需要將背景圖像形成單一色彩的特殊的拍攝環境，而且能進行穩定的輪廓圖像生成，所以還能夠不是單純的圖像間差分，而是進行加上如後所述的區域分割處理的圖像差分。
也就是說，對物體圖像A1～An進行區域分割，接著以區域為單位進行與背景圖像的差分處理。這裡，所謂的差分處理是指對於每個象素將被拍攝的物體圖像信息就其信號強度算出差分的處理。再進一步，對區域單位中的差分平均進行閾值處理，進行物體部分的抽取。
在如前所述的方法中，即使在象素級中存在與背景同色的物體，只要在區域級中有不同與背景的色彩，則一般具有能檢測出作為物體部分的性質。因此，能提高生成輪廓圖像精度。
(表決處理)如前所述，能得到從多個視點拍攝對象物體100的輪廓圖像信息。為了從這些多個輪廓圖像信息再次構成物體的3維形狀，進行如後所述的表決處理。
下面，首先參照圖7對用於描述3維形狀的體元模型和體元空間251進行說明。
體元模型是用有無立體的格網點描述3維形狀的模型，並稱定義體元的空間為體元空間251。以包含識別物體那樣的大小、位置來配置體元空間251。下面，對應於一邊使對象物體100旋轉、一邊進行圖像拍攝，用能更加自然地表現對象物體形狀的圓柱坐標系表示這種體元空間251。
因此，當假設圓柱坐標的半徑方向的坐標為r、角度方向的坐標為θ、軸方向的坐標為z時，各體元成為表示用等間隔分割各r、θ、z時的體積要素。用這種體積要素的集合表示3維形狀模型是體元模型。
下面，對於從輪廓圖像B1～Bn再次構成這種體元模型的步驟簡單地進行說明。
首先，基於1個輪廓圖像，在體元空間251內算出對於對象物體的假定存在區域50。這裡，如圖7所示，假定存在區域50表示以拍攝機120的投影中心51為頂點、以圖像的物體像為剖面形狀的錐體狀的區域。也就是說，對象物體100必定存在在這種區域的內側。
所謂表決處理是表示，對於存在在這種假定存在區域50內的各個體元，在相當於對於例如1個輪廓圖像的假定存在區域50的場合，則進行分配(投票)數值1的處理。
圖8是表示與圖7所示的z軸垂直的平面P上的輪廓圖像和圓柱體元空間251的剖面圖。
如前所述，因以拍攝機120的投影中心51形成的錐體狀的區域相當於假定存在區域50，所以對於存在於這種區域50中的圓柱體元空間251內的各體元，分配數值1。
圖9是在基於多個輪廓圖像B1～Bn進行表決處理的場合，表示平面P剖面的圓柱體元空間251的剖視圖。
圖9示出了基於從5個視點拍攝的輪廓圖像B1～B5對圓柱體元空間251進行表決處理的情況。這種情況下，由於基於各輪廓圖像的表決處理將對於各自的輪廓圖像的假定存在區域50分配數值1，所以在基於5個輪廓圖像B1～B5進行表決處理的場合，圖9中的用交叉影線表示的區域將與全部的基於輪廓圖像B1～B5的假定存在區域50重合。換言之，在這種交叉影線的區域內的體元中，分配分別基於5個輪廓圖像B1～B5的表決處理的結果即數值5。
因此，在例如圓柱體元空間251內的體元中，如果僅抽取分配5以上的體元，則能算出對象物體100在這種圓柱體元空間251內存在的區域。
更一般地說，對應於被拍攝的物體圖像數，設定適當的閾值，通過這樣能表決處理算出圓柱體元空間251內的對象物體的存在區域。利用前述的處理，能在圓柱體元空間251內抽取對象物體100存在的區域。
作為用體元空間251的3維模型生成方法，雖然有其它的在美國專利4982438號中公開的錐體相關法，但是這種方法存在生成的輪廓圖像的誤差保持不變從而影響再次構成的物體形狀的問題。與此不同，利用表決處理的3維模型生成方法的特點是，即使在作為基礎的輪廓圖像中包含誤差，也能通過設定適當的閾值，以抑制獲得的3維形狀的精度降低。
(多邊形生成)接著，將用體元空間251表示的物體區域變換成用多邊形(三角形拼塊)27的形狀模型300來表示。
圖10A和圖10B是表示這種多邊形生成的過程的示意圖。參照圖10A和圖10B，對用圓柱體元空間251表示的物體區域的用圓柱坐標系θ1平面(在圓柱坐標系中是θ＝θ1平面)的切斷面輪廓線進行多邊形近似。由這種多邊形近似得到的輪廓線Lθ1的各頂點，如後面說明的那樣，相當於多邊形27的頂點。同樣地，對用圓柱坐標系θ2平面的切斷面輪廓線進行多邊形近似，得到Lθ2。對於全部的體元相應的θ平面，進行以上的操作。
接著，將這些各輪廓線的各頂點分別與最接近的3個頂點連接，生成三角形拼塊27。藉助於用這樣的輪廓線的多邊形近似和連接最接近的3頂點的手續、生成三角形拼塊27，能將用於表示所必須的多邊形數減少至最少，而且能維持所表示形狀的精度。
圖11所示為用多邊形27表示對象物體100的3維形狀模型300。利用前述的操作，能對於對象物體的形狀在計算機內等進行再次構成。
以上，是假定圓柱體元空間251進行了說明，但也可以用正交體元空間。此外，在多邊形生成處理中，也可以藉助於連接相鄰的體元，在一旦生成細小的多邊形後就將它們合併以減少多邊形數。
(特徵映射)接著，如前所述，為了對於在計算機內等再次構成的物體形狀賦予特徵信息、並生成更加真實的3維模型，將包含在拍攝的物體圖像A1～An中的特徵信息對於前述的3維形狀模型300進行賦予處理。
具體地說，在提供各多邊形27的特徵信息的物體圖像(下面稱為參照圖像)決定後，將多邊形27投影到參照圖像上，並將其投影部分的特徵信息賦予對應的多邊形27。
圖12A和圖12B是用於說明這種特徵信息的賦予處理的示意圖。下面，為簡單說明起見，取標記號碼1～8的8張具有物體圖像信息的圖像作為參照圖像。也就是說，存在從每隔45°的角度拍攝對象物體的物體圖像。此外，在下面的說明中，是基於圍繞1個旋轉軸並每隔固定的角度拍攝對象物體的參照圖像，對將特徵信息賦予形狀模型300的場合進行說明，但本發明不限於這種場合，也能適用於基於從任意的位置和方向拍攝對象物體的多個參照圖像，對於形狀模型300賦予特徵信息的場合。
在對於所注意的多邊形27，當決定是對應於哪一個參照圖像時，作為應該考慮的地方，是首先採取選擇對於該多邊形27的特徵信息量大的參照圖像的方針。
因此，在前述的方針下，通過對於各多邊形27相應的參照圖像、即標記號碼的分配，能對於用多邊形27表示的形狀模型300賦予特徵信息。
圖13是表示到賦予特徵信息為止的處理流程的流程圖。另一方面，圖4是表示在計算機130中，用於進行特徵信息賦予的色彩信息賦予處理單元200的結構的示意方框圖。
色彩信息賦予處理單元200包括存儲並保持由拍攝機120拍攝的物體圖像信息(參照圖像信息)的圖像存儲單元220，基於存儲在圖像存儲單元220中的參照圖像信息、生成對象物體的形狀模型300的運算單元210，存儲由運算單元210生成的形狀模型300、更具體地說存儲各多邊形27的位置和形狀的形狀存儲單元230，和如後所述將基於保持在圖像存儲單元220中的參照圖像信息、運算單元210對於各多邊形27分配的特徵信息進行存儲保持的色彩信息存儲單元240。
如前所述，參照圖13和圖4，圖像存儲單元220存儲例如使對象物體旋轉一定的角度同時進行拍攝的圖像信息(步驟S20)。
接著，基於拍攝的圖像信息，運算單元210生成形狀模型300，並使該形狀數據保持在形狀存儲單元230中(步驟S22)。
接著，按照後面說明的順序，運算單元2 10進行立體形狀構成要素(例如多邊形27)和保持在圖像存儲單元220中的參照圖像信息的對應(步驟S24)。
運算單元210將對應的各多邊形27和特徵信息保持在色彩信息存儲單元240中(步驟26)。
下面，對前述步驟S24的立體形狀構成要素和參照圖像信息的對應處理進一步詳細地進行說明。
圖14是更加詳細地表示步驟S24中用於進行立體形狀構成要素和參照圖像信息的對應的處理流程的流程圖。
在下面的處理中，利用各立體形狀構成要素(多邊形27)的法線向量和與拍攝參照圖像的方向平行的圖像拍攝面的法線向量的方向的一致性，判斷特徵信息量的大小。也就是說，對於對應的多邊形27最正對的參照圖像，判斷為對於該多邊形27的特徵信息最大。
在畫面拍攝(步驟S20)和形狀模型生成(步驟S22)的各處理結束後，運算單元210首先進行在後面的運算處理中使用的變量的初始化。
也就是說，將立體形狀構成要素代入到變量Emax中，將拍攝的圖像數代入到變量Imax中。此外，在以下的處理中將對與拍攝圖像對應的標記號碼進行計數用的輔助變量Icnt初始化為0。
此外，將分別對應於第i號(i＝0～Emax-1)的立體形狀構成要素的1維數組變量Prod[i]的值全部初始化為0，另一方面，將第i號碼的立體形狀構成要素對應的參照圖像的標記號碼代入的1維數組變量Id[i]的值全部初始化為-1(步驟S2402)。
接著，將對多邊形27的號碼進行計數用的輔助變量Ecnt的值初始化為0(步驟S2403)。
接著，計算第Icnt號的圖像拍攝面的法線向量和第Ecnt號的立體形狀構成要素的法線向量的內積的值，並代入到變量Vtmp中(步驟S2404)。
接著，運算單元210對第Ecnt號的變量Prod[Ecnt]的值和前述變量Vtmp的值進行比較。
當判斷變量Prod[Ecnt]的值比變量Vtmp的值小時(步驟S2406)，將變量Vtmp的值代入到變量Prod[Ecnt]中，同時將在該時刻的計數器變量Icnt的值代入到變量Id[Ecnt]中(步驟S2408)。
另一方面，當判斷變量Prod[Ecnt]的值比變量Vtmp的值大時(步驟S2406)，使變量Ecnt的值僅增加1(步驟S2410)。
接著，如果判斷計數器變量Ecnt的值比立體形狀構成要素Emax小時(步驟S2412)，再次將處理返回到步驟S2404中，並對於下一個立體形狀構成要素重複相同的處理。
另一方面，如果判斷計數器變量Ecnt的值比立體形狀構成要素Emax大時(步驟S2412)，使計數器變量Icnt的值增加1(步驟S2414)。
接著，判斷計數器變量Icnt的值是否大於拍攝圖像數Imax(步驟S2416)。
在判斷變量Icnt的值小於拍攝圖像數Imax的場合(步驟S2416)，將對於下一個參照圖像重複從步驟S2403到步驟S2412為止的處理。
另一方面，在判斷變量Icnt的值大於拍攝圖像數Imax的場合(步驟S2416)，接著處理進行轉移。
也就是說，利用從步驟S2402到步驟S2416為止的處理，對於各參照圖像比較該參照圖像的面法線向量和全部的立體形狀構成要素的面法線向量的內積的值。利用這種處理，對於具有內積值比至此為止作為處理對象的參照圖像的內積值大的參照圖像，就將其內積值對於各立體形狀構成要素存儲在1維數組變量Prod[Ecnt]中。另一方面，將該時刻的參照圖像的標記號碼存儲在1維數組變量Id[Ecnt]中。
因此，在從步驟S2416的處理轉移到下面的處理的時刻，對於對應的第i號的立體形狀構成要素，將具有最大的內積值的參照圖像信息的標記號碼存儲在1維數組變量Id[i]中。
接著，對於色彩信息存儲單元240，運算單元210對於各立體形狀構成要素從圖像存儲單元220讀出對應的參照圖像信息並存儲到色彩信息存儲單元240中(步驟S2418)。
如前所述的構成，因在構成形狀模型300的各立體形狀構成要素(多邊形27)中賦予從特徵信息量最多的參照圖像信息中得到的色彩信息(特徵信息)所以能將最接近於真實的物體的特徵信息賦予各立體形狀構成要素。
圖15是表示記錄計算機130執行圖14所示的特徵信息賦予方法用的程序的記錄媒體的結構示意圖。
作為記錄媒體能用例如磁碟和CD-ROM(光碟只讀存儲器)等的光磁碟等。為了在計算機130中執行圖14所示的處理，利用規定的程序語言描述各處理步驟的部分進行編碼並記錄在記錄媒體260中。
如前所述，根據記錄在記錄媒體260中的特徵信息賦予程序，能使計算機130動作，通過這樣能得到與前述相同的效果，也就是說，對於在計算機130內再次構成的形狀模型300，能賦予更加接近於真實物體具有的特徵的特徵信息。
實施形態2在實施形態1中對於各立體形狀構成要素，根據內積值選擇判斷為特徵信息量最大的參照圖像，並將特徵信息賦予各立體形狀構成要素。
但是，如圖2所示，根據不同的對象物體的形狀，有時會有在從某個方向拍攝的物體圖像信息中存在看不見的部分。這種場合，在與這種看不見的部分相當的立體形狀構成要素的面法線向量具有最大內積值的參照圖像中，會存在完全沒有特徵信息的情況。
在實施形態2中提供也能適用於這種場合的特徵信息的賦予方法和特徵信息賦予裝置以及記錄特徵信息賦予程序的媒體。
在實施形態2中，色彩信息賦予處理單元的結構也與圖4所示的色彩信息賦予處理單元200的結構相同。但如後所述，運算單元210進行的運算處理與實施形態1不同。
也就是說，在實施形態1中，對於各多邊形27，通過比較其法線向量和各參照圖像的法線向量的內積值，判斷特徵信息量的大小。與此不同，在實施形態2中，對於各多邊形27，算出對於各參照圖像的投影面積，並根據這種算出的投影面積評價各參照圖像信息具有的特徵信息量的大小。
圖16是表示根據對這種參照圖像的多邊形27的投影面積，決定對應於各多邊形27的參照圖像信息的標記號碼的處理流程的流程圖。
在圖16所示的流程圖中，除了作為評價對象的值是用投影到參照圖像上的立體形狀構成要素的投影面積Atmp代替參照圖像面的法線向量和立體形狀構成要素的法線向量的內積值Vtmp以外，與圖14所示的流程圖完全相同。
因此，在從步驟S2422到步驟S2436為止的處理結束的時刻，分別將對應的第i號的立體形狀構成要素具有最大的投影面積的參照圖像信息的標記號碼存儲在1維數組變量Id[i]中，將對於對應的第i號的立體形狀構成要素的對於具有Id[i]的標記號碼的參照圖像信息的投影面積存儲在1維數組變量Area[i]中。
與此相對應，運算單元210對於各立體形狀構成要素從圖像存儲單元220中讀出對應的參照圖像的特徵信息，並存儲到色彩信息存儲單元240中。
利用前述的處理，即使對於具有比較複雜形狀的對象物體，也能對於在計算機內等再次構成的形狀模型300，根據最大特徵信息量的參照圖像信息向多邊形27賦予特徵信息。此外，利用記錄圖16所示的從步驟S2422到步驟S2438為止的程序的媒體，使計算機130動作，能夠達到相同的效果。
實施形態3在前述的說明中，在將對象物體100作為形狀模型300再次構成的場合，根據對於該多邊形27的特徵信息量的大小判斷對於各多邊形27對應的參照圖像。
但是，在對於各多邊形27決定適合的參照圖像的場合中應該考慮的地方，不僅限於特徵信息量的大小。例如，在多邊形27間賦予的特徵信息中若還存在顯著的不連續時，則多邊形的邊界線特別顯眼，再次構成的立體模型29變得極不自然。
因此，對實施形態3的各立體形狀構成要素的參照圖像的分配方法，即作為特徵信息的賦予方法，其目的在於，第1選擇特徵信息量大的參照圖像，第2能同時隱蔽多邊形的邊界線。
這裡，如實施形態2中說明的，為了選擇特徵信息量大的參照圖像，希望向對應的參照圖像的多邊形的投影面積要大另一方面，為了隱蔽多邊形邊界線，希望在相鄰的多邊形27間賦予的色彩信息(特徵信息)的連續性好。
在實施形態3中，為了隱蔽多邊形邊界線採用這樣的結構，即對於所注意的多邊形27，對與其相鄰的多邊形27的參照圖像的分配是相同的，或者即使在不同的場合，也儘量選擇拍攝角度差小的參照圖像。
更加具體地說，為了能對最適合滿足前述的2個條件的多邊形27的參照圖像信息進行分割，如後所述，將問題處理成為所謂的能量最小化問題。
也就是說，因每隔一定角度變化拍攝角度並拍攝各參照圖像，所以將號碼順序地附加到參照圖像上，用反覆改善處理解決各多邊形27和參照圖像號碼的對應(標號labeling)問題，以便使用下式表示的能量局部最小。
此外，在不是每隔一定角度變化拍攝角度並拍攝各參照圖像的場合，也就是說，在拍攝角度的變化量分別不同的場合，只要使附加的前述號碼對應於拍攝角度即可。E=iPenalty(i)-karea(i)---(1)]]>這裡，Area(i)表示對多邊形i的參照圖像的投影面積，Penalty(i)表示多邊形與其相鄰的多邊形的參照圖像號碼(標號)的差，k是它們的組合係數。
也就是說，能量函數E是這樣一種評價函數，隨分配到與多邊形i相鄰的多邊形上的參照圖像號碼和分配到多邊形i上的參照圖像號碼兩者間差異的增加而增加，並隨多邊形i對參照圖像的投影面積、即特徵信息量的增加而減少。
如前所述，因分配到與多邊形i相鄰的多邊形上的參照圖像號碼的差越小，特徵連續性越高，多邊形邊界線越隱蔽，所以在考慮到特徵信息量大小(色彩信息量大小)和特徵連續性兩方面的場合，極小化函數E就對應於對各多邊形的最適合的參照圖像號碼的分配。
此外，在前述的能量函數中，是用對多邊形i的參照圖像的投影面積作為特徵信息量的大小，但如實施形態1所示，也能是用多邊形的法線向量和參照圖像的法線向量的內積值進行評價的結構。
這裡，在能量函數E中，組合係數k可以是常數，也可以是各多邊形的函數(例如各多邊形的面積的函數)。
此外，作為能量函數E，除前述的函數Penalty(i)和函數Area(i)的線性組合外，更一般地，如果是隨著對所注意的多邊形i和與其相鄰的多邊形分配的特徵信息量的連續性的改善而減少、而且隨著對所注意的多邊形i的特徵信息量的增加而減少的函數，則不限於前述的結構。
圖17是表示對於前述的能量函數E，用反覆改善處理求得最佳值用的處理的流程圖。
首先，對於生成的形狀模型300的各多邊形，進行參照圖像號碼的臨時對應，作為初始設定(步驟S2440)。
接著，運算單元210將立體形狀構成要素數代入到變量N中，並將計數器變量Cnt初始化為數值0。此外，將「OFF」代入到標記變量Flg中(步驟S2442)。
接著，將對應於第Cnt號的立體形狀構成要素的參照圖像號碼預先代入到變量Pre_lbl中(步驟S2444)。
接著，對於第Cnt號的立體形狀構成要素，使對應的參照圖像號碼變化，並導出使能量函數E極小化的參照圖像號碼(步驟S2446)。
這裡，將在步驟S2446中得到的新的對應參照圖像號碼代入到變量New_lbl中(步驟S2448)。
接著，比較變量New_lbl和變量Pre_lbl的值。在兩者不相等的場合(步驟S2450)，利用能量函數E的最小化計算，判斷所附標號進行了變換，並將「ON」代入到標記變量Flg中(步驟S2452)。接著，使計數器變量Cnt的值僅增加1(步驟S2454)。
另一方面，在變量New_lbl和變量Pre_lbl的值相等的場合，標記變量不變，使計數器變量Cnt的值僅增加1(步驟S2454)。
接著，當計數器變量Cnt的值小於立體形狀構成要素數N的情況下，再次使處理回到步驟S2444中。另一方面，在計數器變量Cnt的值為立體形狀構成要素數N以上的場合，轉移到下面的處理(步驟S2456)。
因此，對於全部的立體形狀構成要素，重複從步驟S2444到步驟S2454為止的處理。
接著，進行標記變量Flg和「OFF」的比較，在標記變量Flg不等於「OFF」的場合(步驟S2458)，判斷為利用至少1次以上的能量函數E的極小化計算，進行所附標號的變換，即判斷為局部地使能量函數E極小化的標記號碼的對應沒有結束，處理再次回到步驟S2442中。
另一方面，在標記變量Flg等於「OFF」的場合，在從步驟S2444到步驟S2456為止的處理中，即使進行能量函數E極小化的運算，也不意味著所附標號進行了變換。因為這也就是意味著當前的標記號碼的對應成為使能量函數E局部極小化的對應，所以作為最佳對應結束後的結果，處理結束(步驟S2460)。
利用以上的處理，對於多個多邊形，在進行參照圖像號碼的對應時，進行特徵信息的分配使對於各多邊形選擇特徵信息量大的參照圖像信息的條件和隱蔽多邊形邊界線的條件這2個條件同時最佳。
因此，分配結束後的形狀模型300具有更加接近於現實物體的色彩，而且具有更加自然的特徵連續性。
利用記錄前述的從步驟S2440到步驟S2460為止的程序的媒體，使計算機130動作，也能得到相同的效果。
此外，因重複改善處理的順序影響到改善處理的最終結果，所以考慮適合的處理順序為佳。這裡，在重複改善處理中，是因為在改善各多邊形的標記號碼時，假定其相鄰的多邊形的標記號碼是正確的或者可靠性高。因此，如果從可靠性較低的多邊形順序地進行改善處理，則能得到更好的改善結果。
作為評價多邊形的可靠性的方法之一，有多邊形的面積或將多邊形投影到參照畫面上時的面積等。
這裡，是因為在前述的步驟S2240中進行的參照圖像號碼的臨時對應處理的可靠性，為面積越小的多邊形或者將多邊形投影到參照畫面上時面積越小的多邊形的可靠性越低。
實施形態4實施形態3的特徵信息賦予方法是考慮到特徵信息量(色彩信息量)和多邊形邊界線的隱蔽、即特徵連續性的兩方面，將特徵信息賦予各多邊形的方法。
但是，在由實際存在的物體拍攝圖像信息的場合，有時會由於照明等的關係，從特定方向拍攝的圖像信息，甚至與從接近其方向所拍攝的圖像信息，也會在光澤等方面存在顯著地不同。
因此，為了賦予特徵連續性更高地並且多邊形邊界線不明顯的特徵信息，實施形態3的方法是不充分的。
這裡，在實施形態4的特徵信息賦予方法中提供的方法是，對於1個多邊形，不是從1個參照圖像信息賦予特徵信息，而是根據從多個參照圖像信息、即從多個方向拍攝的圖像信息，將特徵信息賦予對應的多邊形。
在說明實施形態4的特徵信息賦予方法前，首先對於向色彩信息存儲單元240的特徵信息的存儲方法進一步詳細地進行說明。
圖18是表示向色彩信息存儲單元的數據的存儲方法的示意圖。
色彩信息存儲單元240存儲立體形狀構成要素的基本形狀和特徵。這裡，參照圖像信息上的立體形狀構成要素，因為變成投影后的形狀，所以與本來的形狀不同。
因此，必須進行形狀變換並將色彩存儲在色彩信息存儲單元240中。
這裡，以例如立體形狀構成要素為三角形的場合為例對其形狀變換進行說明。現在考慮用圖18所示的2維離散空間存儲基本形狀的特徵信息的情況。設(x0，y0)，(x1，y1)，(x2，y2)為基本形狀的頂點，(X0，Y0)，(X1，Y1)，(X2，Y2)為對於參照圖像信息投影的立體形狀構成要素的頂點。由後面所示的變換矩陣A和平行移動向量B對它們進行線性變換，能將投影的三角形形狀變換成本來的形狀。A=abcd,B=ef---(2)]]>這種場合意味著，基本形狀的象素(xn，yn)的特徵信息只要從由下式計算的參照圖像信息上的象素(Xn，Yn)獲得即可。XnYn=abcdxnyn+ef---(3)]]>也就是說，利用前述所謂的仿射變換，對於投影的三角形形狀的多邊形，獲得對於本來的多邊形形狀的特徵信息，並存儲在色彩信息存儲單元240中。
此外，在前面的說明中，是將多邊形的形狀設為三角形，但對於例如其形狀是四邊形和其它形狀的場合也能進行同樣的計算。
此外，坐標變換的方法除仿射變換外也可以用投影變換。用下式計算投影變換。Xn=a1xn+a2yn+a3a7xn+a8xn+1,Yn=a4xn+a5yn+a6a7xn+a8xn+1---(4)]]>如前所述，與在參照圖像信息上投影的多邊形的形狀無關，而是將對應於本來的多邊形形狀的特徵信息存儲在色彩信息存儲單元240中。
這裡，利用例如實施形態3所示的對於能量函數E的反覆改善處理，完成對於各多邊形i對應的參照圖像信息號碼的分配。
實施形態4的特徵信息賦予方法，其目的在於，在這種標記號碼的分配結束後，進一步進行如後說明的加權平均處理，通過這樣實現進一步改善特徵連續性的特徵信息的賦予方法。
如前所述，圖19是表示對於各多邊形i在參照圖像信息號碼的分配結束後進行的加權平均處理的流程的流程圖。
因此，示出了例如與圖17所示的流程中步驟S2460連接而繼續下去的處理。
首先，作為初始設定，分別將立體形狀構成要素數代入到變量Emax中，將投影的參照圖像信息數代入到變量Imax中。另一方面，將計數器變量Ecnt的值初始設定成0(步驟S2500)。
接著，將計數器變量Icnt和變量wacc的值初始設定成0(步驟S2501)。
接著，進行判斷，確定Icnt號碼的參照圖像信息是否為Ecnt號碼的立體形狀構成要素的特徵信息的輸入對象(步驟S2502)。
這裡，所謂的第Icnt號的圖像是特徵信息的輸入對象，是表示利用已經進行的對於多邊形(立體形狀構成要素)的參照圖像號碼的分配，不僅是分配的圖像信息，而且與其相鄰的規定數的例如前後1個畫面的參照圖像信息也包含在輸入對象中。
接著，對於變量wght，代入第Icnt號的參照圖像信息上投影的第Ecnt號的立體形狀構成要素的面積的值(步驟S2504)。
接著，作為第Ecnt號的立體形狀構成要素的特徵信息，在僅用變量wght進行加權處理後，將第Icnt號的參照圖像信息的信息存儲在色彩信息存儲單元240中(步驟S2506)。
對於變量wacc，累積變量wght的值(步驟S2508)，並使計數器變量Icnt的值僅增加1(步驟S2509)。
接著，比較計數器變量Icnt的值和拍攝的參照圖像數Imax(步驟S2510)。
在變量Icnt比變量Imax小的場合，處理再次返回到步驟S2502中。
另一方面，在步驟S2502中，在判斷Icnt號的參照圖像信息不是第Ecnt號的立體形狀構成要素的特徵的輸入對象的場合，處理轉移到步驟S2509中，在變量Icnt的值僅增加1後(步驟S2509)，進行變量Icnt和變量Imax的比較。
因此，通過重複從步驟S2500到步驟S2510為止的處理，對於Ecnt號碼的立體形狀構成要素，從規定數的參照圖像信息獲得加權後的特徵信息，並將這種特徵信息累積到色彩信息存儲單元240中。
接著，用變量wacc的值除以累積在色彩信息存儲單元240中的特徵信息(步驟S2512)。
用到此為止的處理，將對於第Ecnt號的立體形狀構成要素的特徵信息作為來自對應規定數的參照圖像信息的特徵信息加權平均，存儲在色彩信息存儲單元240中。
前述的處理換言之，對於各多邊形分別求得對應於分配的參照圖像號碼的參照圖像信息和投影到與其相鄰的規定數的物體圖像信息的多邊形面積，並將其作為進行後述的加權平均處理時的加權係數。
這裡，在前述物體圖像信息中假定號碼，當其設為Icnt時，則對應於這種物體圖像信息的加權係數設為wght(Icnt)。此外，這些圖像信息數設為N。
多邊形的特徵信息由多個象素構成，現在著眼於1個特徵信息的象素。求得這種象素投影到前述物體圖像信息上的部位，並將其投影部位的圖像信息(投影部位的象素值、即色彩、濃度或者亮度)，包括全部前述物體圖像信息、即N個部分，進行加權平均處理，作為當前著眼的特徵信息的象素值的值。這裡，假設投影部位的圖像信息是v(Icnt)，則加權平均處理對應於具體進行用下式表示的計算。
/∑w ght(Icnt) …(5)對於成為多邊形的特徵信息的全部象素，進行這種處理。接著，使變量Ecnt的值僅增加1(步驟S2514)。
接著，比較計數器變量Ecnt的值和立體形狀構成要素數Emax的值(步驟S2516)。
在變量Ecnt的值比立體形狀構成要素數Emax小的場合，處理返回到步驟S2501。因此，對於全部的立體形狀構成要素，進行前述的特徵信息的加權平均處理。
另一方面，在計數器變量Ecnt的值比立體形狀構成要素數Emax大的場合(步驟S2516)，向色彩信息存儲單元240的特徵信息的存儲處理結束(步驟S2518)。
也就是說，實施形態4的特徵信息的賦予方法，首先，對於各多邊形進行參照圖像信息號碼(標記號碼)的對應。接著，對於包含對應的參照圖像信息號碼的規定數(例如對應的參照圖像信息號碼及其前後的1個畫面)的參照圖像信息號碼所對應的參照圖像信息，賦予進行對應於在各參照圖像信息上投影的立體形狀構成要素的面積的加權平均處理的結果，作為該立體形狀構成要素的特徵信息。
由於藉助於如前所述的根據規定數的參照圖像信息進行的特徵信息的加權平均處理，能得到對於對應的多邊形的特徵信息，所以能將進一步改善特徵連續性的特徵信息分配給該多邊形。
例如，在拍攝現實的對象物體的場合，由於照明等的關係，即使在從特定方向拍攝的參照圖像信息中，對於該多邊形的色彩信息所包含的光澤特別高的情況下，也能利用加權平均處理減小其影響。
利用記錄圖19所示的從步驟S2500到步驟S2518為止的程序的媒體，使計算機130動作，也能達到相同的效果。
實施形態5在實施形態4中，在預先對於各多邊形獲得特徵信息的參照圖像號碼的分配結束後，還根據規定數的相鄰的參照圖像信息對於對應的多邊形供給特徵信息，對這樣的結構進行了說明。
但是，若考慮到更加重視特徵連續性，則不必進行對於各多邊形的參照圖像畫面的分配，使能量函數E極小化。
實施形態5的特徵信息賦予方法是這樣構成，即對於各多邊形(立體形狀構成要素)，從具有對於該立體形狀構成要素的特徵信息的多個參照圖像信息，對於各多邊形賦予特徵信息。
例如，對於各多邊形(立體形狀構成要素)，也可以從具有對於該立體形狀構成要素的特徵信息的全部的參照圖像信息，對於該多邊形賦予特徵信息，對於各多邊形(立體形狀構成要素)，也可以從具有對於該立體形狀構成要素的特徵信息隨機地或者有規則地選擇參照圖像信息，並由它們對於該多邊形賦予特徵信息。
圖20是表示對這種多邊形的特徵信息的賦予方法的示意圖，示出了從具有對於立體形狀構成要素的特徵信息的全部的參照圖像信息，對於該多邊形賦予特徵信息的例。
按照實施形態4中的說明，對於色彩信息存儲單元240，存儲對應於本來的多邊形形狀的特徵信息而與在各參照圖像信息上投影的多邊形的形狀無關，因此，在著眼於特定的多邊形i的場合，藉助於從這種多邊形投影的面積不是0的全部的參照圖像信息，進行對應於其投影面積的加權平均處理，能獲得特徵信息。
圖21是表示這種特徵信息賦予方法的流程的流程圖。
在對於現實的物體的多個圖像拍攝(步驟S20和形狀模型生成步驟S22)後，進行各立體形狀構成要素和該立體形狀構成要素的投影面積不是0的參照圖像信息的對應(步驟S30)。
接著，基於前述的對應，藉助於對於色彩信息存儲單元240進行對應於投影面積的加權平均處理，對各個立體形狀構成要素進行特徵信息累積(步驟S32)。
也就是說，在實施形態5的特徵信息的賦予方法中，對於每個立體形狀構成要素，以分別投影在多個參照圖像信息上的該立體形狀構成要素的面積作為加權係數，進行對於多個參照圖像信息的加權平均處理。將每個這種立體形狀構成要素得到的加權平均處理的結果作為特徵信息賦予各立體形狀構成要素。
如前所述，對於各立體形狀構成要素，根據具有特徵信息的全部的參照圖像信息，賦予特徵信息，通過這樣的結構，進一步改善特徵連續性。
也就是說，從特定方向拍攝的參照圖像信息，即使有時由於例如照明的關係等與從其它的方向拍攝的參照圖像信息相比，光澤異常亮，但通過對來自全部相關的參照圖像信息的特徵信息進行加權平均，也能抑制這種特定方向的特徵信息的影響。
此外，在前述說明了的實施形態1～5中，是在將形狀模型300變換成多邊形數據後賦予特徵信息，但是本申請當然不限於這種結構，也可以在體元表現的形狀模型300中，對表面的面方向進行運算，並賦予特徵信息。
但是，變換成多邊形數據後賦予特徵信息的結構，因能一次處理向著同一方向的面(多邊形)，所以能顯著地減少運算量。
實施形態6圖22是表示本發明實施形態6的物體抽取裝置(圖像切出裝置)的整體結構圖。參照圖22，這種物體抽取裝置包括計算機130。計算機130按照記錄在CD-ROM260中的程序301，檢測並抽取物體圖像中的物體部分。這種程序301包括進行物體圖像的區域分割處理的步驟S1、進行區域信息的存儲處理的步驟S2、進行各區域的物體圖像和背景圖像的差分處理的步驟S3、在各區域中導出差分的絕對值的平均值的步驟S4、利用差分的絕對值的平均值和閾值的比較進行物體部分的檢測處理的步驟S5和抽取檢測的物體部分的步驟S6。後面將詳細地說明步驟S1～S6的細節。
圖23是表示本發明的實施形態6的物體抽取裝置(圖像切出裝置)的概略方框圖。參照圖23，作為物體抽取裝置的計算機130包括圖像存儲單元220、運算單元210、區域信息存儲單元241和抽取圖像存儲單元231。此外，各單元220、210、231、241的細節將在後面描述。
圖24是表示圖23的運算單元210的概略方框圖。參照圖24，運算單元210包括區域分割單元9和抽取單元10。抽取單元10包括差分處理單元11、平均值導出單元13、閾值處理單元15和物體部分抽取單元16。利用拍攝機等的拍攝裝置，藉助於與背景一起拍攝對象物體，得到物體圖像A。利用拍攝機等的拍攝裝置，藉助於僅拍攝對象物體的背景，得到背景圖像B。將背景圖像B和物體圖像A存儲在圖23的圖像存儲單元220中。這裡，作為拍攝物體的背景一般在對象物體的後方，但也有在對象物體的前方。
區域分割單元9將物體圖像A分割成多個區域(圖22的程序301的步驟S1)。將關於區域分割的信息存儲在圖23的區域信息存儲單元241中(圖22的程序301的步驟S2)。差分處理單元11以由區域分割單元9得到的區域為單位，在物體圖像A和背景圖像B之間進行差分處理，並求出差分(圖22的程序301的步驟S3)。差分是以象素為單位求得物體圖像A和背景圖像B的色彩信息的差。平均值導出單元13求得差分的絕對值，並以區域為單位導出差分的絕對值的平均值(圖22的程序301的步驟S4)。也就是說，平均值導出單元13導出每個區域的差分的絕對值的平均值。閾值處理單元15比較各區域的差分的絕對值的平均值和閾值，並檢測差分的絕對值的平均值大於閾值的區域作為物體部分(圖22的程序301的步驟S5)。此外，根據經驗設定閾值。物體部分抽取單元16抽取在閾值處理單元15檢測出的物體部分(圖22的程序301的步驟S6)。也就是說，物體部分抽取單元16從物體圖像取出在閾值處理單元15檢測出的物體部分。將抽取的物體部分的圖像存儲在圖23的抽取圖像存儲單元231中。
下面，對區域分割單元9進行的區域分割詳細地進行說明。例如，如「高木等編，增刊O plusE，圖像處理算法的最新動態，pp.227-233，新技術通訊」中敘述的那樣，區域分割採用一般使用的邊緣延長法，區域、邊緣並用法，Facetmodel的區域分割等。下面，對這種邊延長法進行說明。首先，第1步，從圖像的1次微分，計算各象素的邊緣強度和邊緣方向。第2步，根據對於邊緣強度的極大值抑制處理和閾值處理，抽取極大而且具有大於一定值的邊強度的邊緣要素(稱為強邊要素)。在這種階段，強邊要素未必連續。第3步，以強邊要素中的端點作為起點，進行邊緣延長。以上，稱為邊緣延長法。
圖25A到圖25C是用於詳細地說明圖24的差分處理單元11、平均值導出單元13、閾值處理單元15和物體部分抽取單元16所進行的處理的圖。參照圖25A，物體圖像17由物體部分19和背景部分21組成。背景圖像23僅由背景25組成。利用圖24的區域分割單元9，將物體圖像17分割成多個區域a1～an。
下面，著眼於區域a1，對圖24的差分處理單元11的動作進行說明。同時參照圖25B，求得區域a1的各象素的色彩信息和對應於區域a1的背景25的區域b1的各象素的色彩信息之差。這樣，得到區域a1的差分的集合c1。然後，圖24的平均值導出單元13求出構成差分的集合c1的差分的絕對值，並求出差分的絕對值的平均值。此外，圖24的閾值處理單元15比較構成差分的集合c1的差分的絕對值的平均值和閾值，在平均值大於閾值的場合，檢測對應於差分的集合c1的區域a1作為物體部分。差分處理單元11、平均值導出單元13和閾值處理單元15對於全部的區域a1～an，進行前述的差分處理，並進行差分的絕對值的平均值導出和閾值處理。然後，物體抽取部分16從物體圖像17抽取由閾值處理單元15檢測到的物體部分。圖25C示出了前述那樣抽取的物體部分19。因此，去除了背景圖像21那樣的不希望要的部分。當然，在位於對象物體的前方的物體包含在物體圖像17中的場合，也將這部分作為不要的部分去除。
這樣，基於本發明實施形態6的物體抽取裝置，將物體圖像分割成多個區域，以區域為單位求出差分的絕對值的平均值，並抽取平均值大於閾值的區域作為物體部分。因此，基於本發明實施形態6的物體抽取裝置、物體抽取方法和記錄物體抽取程序的媒體，即使在象素級即使在對象物體中存在與背景相同色彩的部分，但如果在區域級中存在與背景不同的色彩，則也能作為物體部分進行檢測、抽取。此外，人工作業少，同時不必使用同一色彩的背景板那樣的特殊的拍攝環境。
下面，對圖24的差分處理單元11中差分處理的其它例進行說明。在前述的說明中，差分處理單元11雖然以區域為單位求得差分，但也可以不以區域為單位，能在物體圖像全體和背景圖像全體間進行差分處理，求得差分。然後，在平均值導出單元13中，以在區域分割單元9求得的區域為單位，導出差分的絕對值的平均值。
此外，也可以算出物體圖像的各區域內的象素的平均值，算出該平均值和對應於該區域的背景圖像的區域內的象素的平均值之差的絕對值，並將該差的絕對值與預定的值進行比較，抽取該差的絕對值大於預定值的區域作為物體部分。
在前述實施形態6中，區域分割是求出邊緣作為參考，但本發明當然也可以以相同顏色的部分作為同一區域。此外，也可以組合多個區域分割方法。
此外，在前述實施形態6中，是對彩色圖像進行了敘述，當然本發明也適用於黑白圖像，此外，也可以用濃度信息(亮度信號電平)代替前述的色彩信息(色彩信號電平)。
此外，在前述實施形態6中，是以大於閾值的部分不加變化保持原樣地作為物體部分，但是，本申請不一定只限於1次處理。例如以用最初的處理檢測到的物體部分作為臨時的物體部分，並以其它的部分作為臨時的背景部分。然後，比較這種物體圖像的臨時的背景部分的亮度和對應於這種臨時的背景部分的背景圖像的區域的亮度，檢測背景圖像和輸入圖像的照明狀況的變化。然後，根據上述情況，也可以同樣地修正物體圖像的亮度，並再次進行相同的處理。
此外，在前述實施形態6中，閾值的值是固定的，但不限於此。例如，也可以在圖像的中央部分和周圍部分變更閾值的值。此外，也可以根據區域面積改變閾值的值。此外，如果進行再次處理，則也可以根據在附近是否存在物體部分進行變更。
此外，在前述實施形態6中，是將各區域的差分的絕對值進行平均並對其與閾值進行比較，但不一定限於此。例如還可以將差分的值的離亂性情況作為參考，判定是否為物體部分。
此外，在前述實施形態6中，最後抽取處理物體部分，但本申請不一定限於此。例如也可以不用抽取處理來判定物體的有無。此外，這種有無的判定用於大樓監視系統檢測侵入者。
實施形態7
圖26是表示本發明的實施形態7的物體抽取裝置的整體結構的流程圖。圖26的步驟S112～S118是計算機130從拍攝對象物體得到的物體圖像中去除背景部分抽取物體部分用的程序，存儲在CD-ROM260中。
這種程序包括對各象素(i，j)利用立體法算出在步驟S111得到的物體圖像的進深信息dp(i，j)的步驟S112、將物體圖像分割成多個區域R的步驟S113、對每個區域R算出進深信息的平均值mdp(R)的步驟S114、將進深信息的平均值mdp(R)與預定的閾值dpth進行比較的步驟S115、在進深信息的平均值mdp(R)比閾值dpth大時作為背景部分刪除該區域R、具體地說使該區域R內的各象素的值v(i，j)為0的步驟S116、在進深信息的平均值mdp(R)比閾值dpth小時抽取該區域R作為物體部分、具體地說使該區域R內的各象素的值v(i，j)為1的步驟S117、判定是否對全部區域R進行前述的步驟S115～步驟S117的處理的步驟S118。這裡，能用亮度(濃度)、色彩信息或者它們的組合等作為象素的值。
下面，參照圖26的流程圖對這種實施形態7的物體抽取裝置的動作進行說明。
首先，在步驟S111中，用數字靜止拍攝機等，與對象物體的背景一起同時拍攝對象物體，得到物體圖像。這種物體圖像存儲在計算機130內的圖像存儲單元220中。因此，得到v(i，j)作為各象素(i，j)的值。這裡，雖然用拍攝靜止畫面的靜止拍攝機，但也可以用拍攝活動圖像的視頻拍攝機和數字照攝機來代替。
接著，在步驟S112中，按照立體法等算出各象素(i，j)的進深信息dp(i，j)。例如在D.H.Ballard等著的「計算機圖形學」，Prentice Hall，pp.88～93中所揭示了立體法。採用立體法，則首先從僅離開規定距離的2個視點拍攝對象物體，確定由此得到的2個物體圖像間的對應點，用逆透視變換法或者單純的三角測量法算出進深信息dp(i，j)。例如日本特開平8-331607號公報中公開了立體法的應用例。此外，這裡，是為了算出進深信息使用立體法，但也可以用根據運動的進深推定方法(Shape-from-motion)，同時考慮類似性和連續性的重複改善法(一種緩和法)等。
與步驟S112並行，在步驟S113中，與前述的實施形態6相同將拍攝到物體圖像分割成多個區域R。也可以不必將步驟S113的區域分割與步驟S112的進深信息計算同時進行，而在進深信息的算出後進行區域分割，相反，也可以在區域分割後進行進深信息的計算。
圖27A表示分割成多個區域R後的物體圖像，圖27B所示為用象素的亮度表示進深信息的圖像。表示亮度大的象素離開拍攝位置的距離近，亮度小的象素離開拍攝位置的距離遠。因此，物體部分亮，背景部分暗。
接著，在步驟S114中，按照下式(6)對每個區域R算出進深信息的平均值mdp(R)。mdp(R)=Rdp(i,j)n---(6)]]>∑R區域R內的總和n區域R內的象素數接著，在步驟S115中，比較該算出的進深信息的平均值mdp(R)和閾值dpth。根據經驗預先確定該閾值dpth。
在進深信息的平均值mdp(R)比閾值dpth大的場合，該區域R內的象素的值v(i，j)全部置為0。也就是說，作為背景部分從物體圖像刪除該區域R。另一方面，在進深信息的平均值mdp(R)比閾值dpth小的場合，在步驟S117該區域R內的象素的值v(i，j)全部置為1。也就是說，從物體圖像抽取該區域R作為物體部分。
接著，在步驟S118中，判別前述步驟S115～S117的處理是否對於全部的區域R進行，在前述處理對於全部的區域R進行的場合，得到圖27C所示的圖像。
如前所述，採用本實施形態7，則將物體圖像分割成多個區域R，對每個區域R算出進深信息的平均值，因抽取其平均值比預定的閾值小的區域R作為物體部分，所以如圖27C所示，從物體圖像除去背景部分，用其輪廓能正確地僅切出物體部分。此外，因用進深信息，所以不必要用其它途徑僅拍攝對象物體的背景。
實施形態8圖28是表示基於本發明實施形態8的物體抽取裝置的主要結構的流程圖。在圖28中，步驟S222、S224～S227是計算機130基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像用於從物體圖像去除背景部分並抽取物體部分的程序，存儲在CD-ROM260中。
這種程序包括對每個象素算出在步驟S221中得到的多個背景圖像中相互位於相同坐標的象素的平均值m(i，j)和標準偏差σ(i，j)的步驟S222，算出在步驟S223中得到的物體圖像的各象素的值v(i，j)和與該象素對應的背景圖像的象素的平均值m(i，j)之差的絕對值(下面簡單地稱為「差」)|v(i，j)-m(i，j)|，並將該差|v(i，j)-m(i，j)|與標準偏差σ(i，j)的k倍進行比較的步驟S224，在差|v(i，j)-m(i，j)|比kσ(i，j)小的場合，刪除該象素作為背景部分，也就是說，使該象素的值v(i，j)為0的步驟S225，在差|v(i，j)-m(i，j)|比kσ(i，j)大的場合，抽取該象素作為物體部分，也就是說，使該象素的值v(i，j)為1的步驟S226，以及判定是否對全部的象素進行前述步驟S224～S226的處理的步驟S227。
下面，參照圖28對基於這種實施形態8的物體抽取裝置的動作進行說明。
首先，在步驟S221中用數位化靜止拍攝機等從同一個視點多次僅拍攝對象物體的背景，得到多個背景圖像。這裡，考慮到精度，背景圖像的張數在3張以上為佳，考慮到簡便性則以10張左右為佳。
接著，在步驟S222中，分別按照下式的(7)和(8)，對於各象素算出在多個背景圖像中相互位於相同坐標的象素的平均值m(i，j)和標準偏差σ(i，j)。由此，即使由於對圖像信號進行A/D變換的A/D變換器的變換特性和照明特性的變動或不穩定等原因而拍攝的背景圖像的象素值得到異常的值，也能算出平均值，所以能得到穩定的背景圖像。m(i,j)=v(i,j)N---(7)]]>(i,j)=v(i,j)2N-(v(i,j)N)2---(8)]]>這裡，N是物體圖像的全部區域R內的象素數。
接著，在步驟S223中，拍攝對象物體，得到物體圖像。這裡，得到v(i，j)作為物體圖像的各象素的值。
接著，在步驟224中，算出物體圖像的各象素的值v(i，j)和與該象素對應的背景圖像的象素的平均值m(i，j)之差的絕對值|v(i，j)-m(i，j)|。在差|v(i，j)-m(i，j)|比kσ(i，j)小的場合，在步驟225中使該象素的值v(i，j)為0。由此，作為背景部分從物體圖像刪除該象素。另一方面，在差|v(i，j)-m(i，j)|比kσ(i，j)大的場合，在步驟S226中使該象素的值v(i，j)為1，由此，從物體圖像抽取該象素作為物體部分。這裡，k以3左右為佳。
接著，在步驟S227中，判定是否對全部的象素進行前述步驟S224～S226的處理，在對全部的象素進行了前述處理的場合，該程序結束。
採用如前所述的實施形態8，則因基於多個背景圖像算出象素的平均值，所以能減少用於對圖像信號進行A/D變換的A/D變換器的變換特性或照明特性的影響，而且因用多個背景圖像的象素的標準偏差作為用於判別是物體圖像還是背景圖像的閾值，所以能自動地設定適合的閾值。因此，能從物體圖像僅去除背景部分，而正確地抽取物體部分。
實施形態9圖29是表示基於本發明實施形態9的物體抽取裝置的主要結構的流程圖。在圖29中，步驟S222、S333B～S336，S227是計算機130基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像用於從物體圖像去除背景部分並抽取物體部分的程序，存儲在CD-ROM260中。
前述實施形態8是在步驟S223中拍攝1次對象物體並得到1張物體圖像，而本實施形態9是在步驟S333A中多次拍攝對象物體並得到多張物體圖像。因此，這種程序包含對於每個象素算出在多個物體圖像中相互位於相同坐標的象素的平均值mv(i，j)的步驟S333B。在步驟S334～步驟S336中，用象素的平均值mv(i，j)代替圖28所示的象素的值v(i，j)。因此，在本實施形態9中，對於每個象素算出在步驟S333A中得到的多個物體圖像中相互位於相同坐標的象素的平均值mv(i，j)。
接著，在步驟S334中，算出物體圖像的各象素的平均值mv(i，j)和與該象素對應的背景圖像的象素的平均值m(i，j)之差|mv(i，j)-m(i，j)|，並比較該差|mv(i，j)-m(i，j)|和kσ(i，j)。
在差|mv(i，j)-m(i，j)|比kσ(i，j)小的場合，在步驟S335中使物體圖像的該象素的平均值mv(i，j)為0。由此，作為背景部分刪除該象素，另一方面，在差|mv(i，j)-m(i，j)|比kσ(i，j)大的場合，在步驟S336中使物體圖像的該象素的平均值mv(i，j)為1，由此，從物體圖像抽取該象素作為物體部分。
採用如前所述的實施形態9，則因用多次拍攝對象物體得到的多個物體圖像，所以能得到與背景圖像同樣穩定的物體圖像。因此，能從物體圖像去除背景部分，能更正確地抽取物體部分。
實施形態10圖30是表示基於本發明實施形態10的物體抽取裝置的主要結構的流程圖。在圖30中，步驟S222、S441～S447是計算機130基於拍攝對象物體得到的物體圖像和多次僅拍攝對象物體的背景得到的多個背景圖像用於從物體圖像去除背景部分並抽取物體部分的程序，存儲在CD-ROM260中。
相對於在圖28所示的實施形態5中是對於每個象素處理物體圖像，而在本實施形態10中，則是將物體圖像分割成多個區域R，並對每個區域R進行處理。
因此，這種程序包括將在步驟S223中得到的物體圖像分割成多個區域R的步驟S441，算出物體圖像的各區域R內的各象素的值v(i，j)和與該區域對應的背景圖像的區域R內的對應的象素的平均值m(i，j)之差、並對各區域R算出用下式(9)表示的該差的平均值md(R)的步驟S442，以及按照下式(10)對於每個區域R算出在步驟S223中算出的標準偏差的平均值mσ(R)的步驟S443。md(R)=R|v(i,j)-m(i,j)|n---(9)]]>m(R)=R(i,j)n---(10)]]>在步驟S444～S446中，用差的平均值md(R)代替圖28所示的差|v(i，j)-m(i，j)|，用標準偏差的平均值mσ(R)代替標準偏差σ(R)。並且，將在步驟S223中得到的物體圖像在步驟S441中分割成多個區域R。
接著，在步驟S442中，算出物體圖像的各區域R內的各象素的值v(i，j)和與該區域對應的背景圖像的區域R內的象素的平均值m(i，j)之差|v(i，j)-m(i，j)|，並對於每個區域R算出該差的平均值md(R)。
接著，在步驟S443中，對於每個區域R算出在步驟S222中算出的標準偏差σ(i，j)的平均值mσ(R)。
接著，在步驟S444中，比較差的平均值md(R)和kmσ(R)。在差的平均值md(R)比kmσ(R)小的場合，在步驟S445中使該區域R內的象素的值v(i，j)全部為0。由此，作為背景部分從物體圖像中刪除該區域R。另一方面，在差的平均值md(R)比kmσ(R)大的場合，在步驟S446中使該區域R內的象素的值v(i，j)全部為1，由此，從物體圖像抽取該區域作為物體部分。
最後，在步驟S447中，判定是否對於全部的區域R進行了前述的步驟S444～步驟S446的處理。在對於全部的區域R進行了前述處理的場合，結束該程序。
這樣，採用如前所述的實施形態10，則因將對象物體分割成多個區域R，對於每個區域R算出物體圖像的各區域R內的各象素的值和對應於該區域R的背景圖像的區域R內的對應的象素的平均值之差的平均值md(R)，並抽取該差的平均值md(R)比標準偏差的平均值mσ(R)的k倍大的區域R作為物體部分，所以能從物體圖像去除背景部分，能更正確地抽取物體部分。
此外，如前述實施形態10那樣，在步驟S442中，雖然算出物體圖像的各區域R內的各象素的值v(i，j)和與該區域R對應的背景圖像的區域R內的象素的平均值m(i，j)之差是比較理想的，但也能算出物體圖像的各區域R內的象素的平均值mv(i，j)，算出物體圖像的各區域R內的象素的平均值和對應於該區域R的背景圖像的區域R內的象素的平均值m(i，j)之差的絕對值。這種場合，在圖30的流程圖中，只要將物體圖像的各區域R內的各象素的值v(i，j)置換成物體圖像的各區域R內的象素的平均值mv(i，j)即可。
或者，也可以算出物體圖像的各區域R內的象素的平均值mv(i，j)，此外，算出對應於該區域R的背景圖像的區域R內的每個象素的平均值m(i，j)在區域R內的平均值mm(R)，再算出這些差的絕對值，並根據這種值抽取物體部分。這種場合，在圖30的流程圖中，在步驟S442求得md(R)時，只要計算|mv(R)-mm(R)|作為md(R)即可。
實施形態11圖31是表示基於本發明實施形態11的物體抽取裝置的主要結構的流程圖。在前述實施形態10的步驟S223中，是拍攝1次對象物體得到1張物體圖像，而在本實施形態11步驟S333A中與此不同，是與前述實施形態9相同從同一視點多次拍攝對象物體得到多個物體圖像。因此，在步驟S551中將多個物體圖像加以平均後的物體圖像分割成多個區域R。因此，在步驟S555和S556中，用象素的平均值mv(i，j)代替象素的值v(i，j)。
採用本實施形態11，則因從同一視點多次拍攝對象物體得到多個物體圖像，所以能減少對象物體拍攝時的A/D變換器的變換特性和照明特性的變動的影響，能從物體圖像去除背景部分，能更正確地抽取物體部分。
實施形態12基於本發明實施形態12的立體模型生成裝置與圖3所示的實施形態1相同，包括旋轉臺110、拍攝機120和計算機130。這裡，用機器人手臂等代替旋轉臺110。即能用使對象物體的方向變化的裝置代替旋轉臺110。
圖32是表示這種立體模型生成裝置的概略的方框圖。參照圖32，立體模型生成裝置包括拍攝單元109、圖像存儲單元220、運算/控制單元113、形狀存儲單元230和色彩信息存儲單元240。拍攝單元109由圖3的旋轉臺110和拍攝機120組成。圖像存儲單元220、運算/控制單元113、形狀存儲單元230和色彩信息存儲單元240包含在圖3的計算機130中。
圖33是用於說明圖3所示的立體模型生成裝置的處理流程的流程圖。圖6A到圖6E是用於說明圖3的立體模型生成裝置的具體處理內容的圖。圖6A是用於說明圖33的步驟S2的對象物體、背景的拍攝的圖。圖6B是用於說明圖33的步驟S12的輪廓圖像生成的圖。圖6C是用於說明圖33的步驟S14的表決處理的圖。圖6D是用於說明圖33的步驟S16的多邊形生成的圖。圖6E是用於說明圖33的步驟S18的特徵映射的圖。
下面，參照圖3、圖6A～圖6E、圖32和圖33進行說明。在步驟S8中進行校準。基於本實施形態12的校準是求得拍攝機120的內部參數(透視比)和拍攝機120與旋轉臺110的位置關係的處理。在步驟S10中，進行對象物體和背景的拍攝。即不把對象物體放置在旋轉臺110上，僅拍攝背景，得到1張背景圖像。此外，將對象物體100放置在旋轉臺110上，並使對象物體100旋轉。並且，由拍攝機120用每個規定的角度與背景一起拍攝得到物體圖像A1～An。例如，使對象物體100每隔10°旋轉，得到36張物體圖像A1～A36。在以下的說明中對以這樣得到的36張物體圖像A1～A36為基礎生成立體模型29的場合進行說明。
這裡，固定拍攝機120的位置和俯角(或者仰角)。此外，利用運算/控制單元113控制拍攝機120和旋轉臺110。此外，將在步驟S10求得的背景圖像和物體圖像存儲在圖像存儲單元220中。在本實施形態12中，固定拍攝機並使對象物體旋轉進行拍攝，為了使背景的拍攝次數僅可能少，僅拍攝1次背景，得到1張背景圖像。但是，為了得到有更好的可靠性的背景圖像，也可以拍攝2次以上背景並得到2張以上的背景圖像。
此外，如本實施形態12那樣，藉助於固定拍攝機120，並使對象物體100旋轉，從對象物體100的周圍的多個方向拍攝包含背景的對象物體100的場合，背景的拍攝也可以1次，但藉助於使對象物體100固定以對象物體100為中心旋轉拍攝機120，從對象物體100的周圍的多個方向拍攝包含背景的對象物體100的場合，必須多次拍攝背景。
在步驟S12中，未圖示的輪廓生成單元生成輪廓圖像。即進行各物體圖像A1～A36和背景圖像之間的差分處理，生成多個輪廓圖像B1～Bn。因物體圖像A1～A36是36張，所以輪廓圖像也是36張。這裡，差分處理(求得差分的處理)是指對於每個象素求得物體圖像的色彩信息和背景圖像的色彩信息的差。在步驟S14中，未圖示的表決單元進行表決處理。即以多個輪廓圖像B1～B36為基礎，對圓柱坐標系體元空間251進行表決處理。並且，未圖示的閾值處理單元(立體形狀獲得單元)以投票數在閾值以上的部分作為對象物體100的立體形狀(存在區域)。
此外，雖然也可以用直角坐標系體元空間作為體元空間，但多數情況用圓柱坐標系體元空間251能減少存儲量並能獲得良好的形狀的場合也很多。
在步驟S16中，以在步驟S14求得的對象物體100的立體形狀為基礎生成多個立體形狀表現要素(例如，三角形拼塊等的多邊形，下面為簡單起見將立體形狀表現要素記為多邊形)27，用多個多邊形27表示在步驟S14求得的對象物體100的立體形狀。將用多邊形27表示的立體形狀存儲在形狀存儲器230中。在步驟S18從物體圖像獲得在步驟S16生成的對應於各多邊形27的特徵，並映射到各多邊形27上。此外，將特徵(色彩信息)存儲在色彩信息存儲單元240中。此外，步驟S12～S18的處理由運算/控制單元113進行，輪廓生成單元、形體單元、閾值處理單元包含在運算/控制單元113中。下面，對步驟S8的校準、步驟S14的表決處理和步驟S16的多邊形生成詳細地進行說明。
(校準)作為校準是求得拍攝機120的內部參數(透視比)和拍攝機120與旋轉臺110的位置關係。首先，對拍攝機120的內部參數(透視比)進行說明。圖34是用於說明拍攝機120的內部參數(透視比)的圖。參照圖34，利用拍攝機120對基準塊31進行拍攝。這種場合，拍攝時使基準塊31正好進入屏幕33。測量這時的拍攝機120和基準塊31之間的距離L。此外，再預先測量基準塊31的高度T。透視比是用距離L除基準塊31的高度T。即用T/L表示透視比。在遠近法中投影到畫面上的物體尺寸是對應於從視點開始到物體為止的距離進行放大/縮小，決定其放大/縮小比例的參數是透視比。
下面，對拍攝機120和旋轉臺110的位置關係的測量進行說明。圖35A到圖35C是表示用於說明測量拍攝機和旋轉臺的位置關係的圖。圖35A是表示置於旋轉臺110的坐標系(xyz坐標系)中的拍攝機120的圖。參照圖35A，用旋轉臺110的坐標系(xyz坐標系)求得拍攝機120的位置(x0，y0，z0)。此外，求得繞拍攝機120的光軸35的旋轉角α。圖35B是表示對圖35A的拍攝機120的yz平面的正投影的圖。參照圖35B，求得拍攝機120的光軸35和y軸所成的角β。圖35C是表示對圖35A的拍攝機120的xy平面的正投影的圖。參照圖35C，求得拍攝機120的光軸35和y軸所成的角γ。
也就是說，作為拍攝機120和旋轉臺110的位置關係，求得使用旋轉臺110的坐標系(xyz坐標系)的拍攝機120的位置和角度α、β和γ。此外，在本實施形態12中，α、γ大致為0°。這裡，角度β是對於旋轉臺110的拍攝機120的俯角。此外，也稱角度β為對於放置在旋轉臺110上的對象物體的拍攝機120的俯角。這裡，在俯角中包含負的俯角、即仰角。
如前所述，在本實施形態12中，作為校準，求得對於對象物體的拍攝機俯角，因此能將以這種俯角拍攝對象物體的物體圖像作為基礎生成立體模型29。也就是說，不僅能從橫方向(與xy平面平行的方向)拍攝對象物體得到的物體圖像為基礎，而且能從斜上方拍攝對象物體得到的物體圖像為基礎，生成立體模型29。因此，還包含僅從橫方向的拍攝不能得到的對象物體的上面部分，所以能充分地得到色彩信息。此外，因也能識別對象物體的局部地方的凹部，所以能更精確地生成立體模型29。
(表決處理)下面，詳細地說明圖33的步驟S14的表決處理。圖36是用於說明進行表決處理的圓柱坐標系體元空間251的圖。參照圖36，圓柱坐標系體元空間251由多個體元39組成。這裡，為了方便地說明圓柱坐標系體元空間251的體元，考慮將圖36的圓柱坐標系體元空間251為具有中心軸40的圓柱。並且，用與中心軸40垂直的不同的多個平面，切斷這種圓柱25。此外，包含中心軸40而且用與中心軸40平行的多個平面，切斷圓柱25。此外，用以與中心軸40為軸的不同的多個旋轉面，切斷圓柱25。這樣，考慮藉助於切斷圓柱25得到的圓柱25的各要素。這種各個要素對應於圓柱坐標系體元空間251的各個體元39。
圖37是用於說明表決處理的圖。以圖33的步驟S12得到的36張輪廓圖像B1～B36為基礎，對圓柱坐標系體元空間251進行表決處理。此外，圖37僅示出了2個輪廓圖像B1、B2。
這裡，考慮假定存在區域50。圖7是用於說明假定存在區域的圖。在圖7中僅示出了1個輪廓圖像B1。參照圖37和圖7，並注意輪廓圖像B1，所謂的對於輪廓圖像B1的假定存在區域50是指以拍攝機的投影中心51為頂點，以輪廓圖像B1中的物體圖像42(對象物體100的輪廓)為斷面形狀的錐體狀的區域。此外，也能同樣地定義對於其它的輪廓圖像B2～B36的假定存在區域。對象物體100一定存在於這種假定存在區域的內側。
也參照圖36，在表決處理中將存在於假定存在區域50中的體元39全部投票成「1」。對於全部的輪廓圖像B1～B36進行這種表決處理。例如，存在於與36張輪廓圖像B1～B36對應的全部的假定存在區域重合的部分的體元39的投票數為「36」。
在圖33的步驟S10中，每隔10°拍攝對象物體得到36張物體圖像，在步驟S12中，生成36張輪廓圖像B1～B36。因此，假定存在區域的頂點(相當於拍攝機的投影中心)為圍繞中心軸40每隔10°的位置。此外，按照圖33的步驟S8的校準結果，決定假定存在區域的頂點(相當於拍攝機的投影中心)的位置。即根據透視比決定輪廓圖像B1～B36和與其對應的假定存在區域的頂點(相當於拍攝機的投影中心)的位置關係。也就是說，決定作為假定存在區域的錐體的展開角。此外，根據拍攝機120和旋轉臺110的位置關係，決定對應於輪廓圖像B1～B36的假定存在區域的頂點(相當於拍攝機的投影中心)與圓柱坐標系體元空間251的位置關係。
圖38是表示表決處理結果的圖。參照圖38，色彩濃的部分投票數多，色彩淡的部分投票數少。此外，圖38的z軸相當於圖37的中心軸40。
在對於全部的輪廓圖像B1～B36的表決處理結束後，進行閾值處理。即以具有規定的閾值以上的投票數的體元39存在的區域，作為對象物體100的存在區域。這種存在區域的形狀是對象物體的立體形狀。例如，假設閾值是「32」，則投票數「32」以上的體元39存在的區域的形狀為對象物體100的立體形狀。
如前所述，在本實施形態12中，根據表決處理求得對象物體的立體形狀。因此，即使在表決處理中用的多個輪廓圖像中有幾個不正確，也能高精度地生成立體模型29。此外，過去因利用多個假定存在區域的邏輯積得到立體形狀，所以在例如由於輪廓圖像中的物體圖像不正確而不能正確地表示對象物體的輪廓、表示的形狀缺少對象物體的形狀的一部分的場合，對於該缺少的部分不能作為對象物體的立體形狀被表示。這裡，是用表決處理推斷體元空間251中對象物體的存在區域，但如果不能求得體元空間251中對象物體的存在概率，則也可以用表決處理以外的任何處理，推斷對象物體的存在區域。
(多邊形生成)圖39A和圖39B是用於說明圖33的步驟S16的多邊形生成的具體內容的圖。圖40是用於說明圖33的步驟S16的多邊形生成的流程圖。圖39B是表示基於存在於圖39A中的39B部分的輪廓線43a，43b求得的多邊形的圖。參照圖39A和圖40，在步驟SA1中未圖示的切斷部用多個平面(在圖39A中僅圖示3個平面41a，41b，41c)切斷基於表決處理的結果求得的對象物體100的立體形狀(參照圖38)，求得各切斷面(在圖39A中僅圖示3個切斷面44a，44b，44c)的輪廓線(在圖39A中僅圖示3條輪廓線43a，43b，43c)。這裡，在圖33的步驟S10中，每隔10°拍攝對象物體，得到物體圖像，在步驟S12中，生成每隔10°的輪廓圖像B1～B36。因此，用多個平面圍繞著中心軸40每隔10°切斷對象物體100的立體形狀。即用相鄰的平面之間所成的角度θ為10°的多個平面，切斷對象物體100的立體形狀。切斷對象物體100的立體形狀的各平面是包含中心軸40的平面。
在步驟SA2中，未圖示的多邊形近似單元對各切斷面的各輪廓線進行多邊形近似，求得該多邊形的頂點坐標。這裡，作為多邊形近似方法能用例如U.Ramer，「An Tterative Procedure for the Polygonal Approximation of PlaneCurves」，CGIP，Vol.1，pp.244-256，1972所公開的方法等。然後，未圖示的連接單元在各切斷面中在相鄰的頂點之間用直線連接。在步驟SA3中，在相鄰的切斷面之間連接對應於各切斷面的輪廓線的頂點之間，並生成多邊形。此外，在步驟SA2的多邊形近似中，藉助於改變其近似精度，也能控制最終生成的多邊形數。
參照圖39B，對步驟SA2和步驟SA3的處理進行說明。在步驟SA2中，對輪廓線43a，43b進行多邊形近似，求得該多邊形的頂點45a，45b的坐標。然後，對於藉助於對輪廓線43a進行多邊形近似求得的多個頂點45a，對相鄰的頂點之間用直線進行連接。對於對輪廓線43b進行多邊形近似求得的多個頂點45b也進行同樣的處理。這裡，對應於輪廓線43a的是頂點45a，對應於輪廓線43b的是頂點45b。在步驟SA3中，用直線連接對應於切斷面44a的輪廓線43a的頂點45a和對應於切斷面44b的輪廓線43b的頂點45b之間，生成多邊形27。這裡，作為用直線連接頂點45a和頂點45b的方法有局部的最近接點連接策略和全局的最短連接策略。
局部的最近接點連接策略是在藉助於對相鄰的切斷面的一方的輪廓線進行多邊形近似得到的頂點和藉助於對相鄰的切斷面的另一方的輪廓線進行多邊形近似得到的頂點之間，對頂點間的長度最短的頂點之間用直線進行連接。全局的最短連接策略是在藉助於對相鄰的切斷面的一方的輪廓線進行多邊形近似得到的頂點和藉助於對相鄰的切斷面的另一方的輪廓線進行多邊形近似得到的頂點之間，對頂點間的長度的和為最小的頂點之間用直線進行連接。
下面，對局部的最近接點連接策略詳細地進行說明。圖41是表示對應於相鄰的切斷面的輪廓線的頂點間的關係的圖。這裡，作為相鄰的切斷面，考慮切斷面Scnt和切斷面Scnt+1。參照圖41，頂點a，b，c，d，e，f是對切斷面Scnt的輪廓線進行多邊形近似得到的。頂點A，B，C，D，E，F，G是對切斷面Scnt+1的輪廓線進行多邊形近似得到的。此外，因以利用圓柱坐標系體元空間251的多邊形生成為前提，所以頂點a和頂點A是同一點，頂點f和頂點G是同一點。
圖42是用於說明局部的最近接點連接策略的圖。參照圖42，橫方向對應於切斷面Scnt的頂點a～f，縱方向對應於切斷面Scnt+1的頂點A～G。並且，各格網點的數字(在0中記載的數字)是對應於切斷面Scnt的輪廓線的頂點a～f(圖41)和對應於切斷面Scnt+1的輪廓線的頂點A～G(圖41)之間的距離。例如在d和D的交點(d和D決定的格網點)記有圖41的頂點d和D之間的距離。也就是說，圖41的頂點d和D之間的距離是「2」。
參照圖41和圖42，在局部的最近接點連接策略中，首先生成初始多邊形。初始多邊形的生成方法考慮以下的2個方法。用於初始多邊形生成的第1方法是無條件地用直線連接頂點bB之間。初始多邊形生成的第2方法是在頂點bB之間、頂點aC之間和頂點Ac之間，選擇距離最小的並用直線連接這種頂點之間。在圖41和圖42的例中，在初始多邊形生成的2個方法中的任何一個方法中都選擇頂點bB之間並用直線連接頂點bB。
接著，考慮連接頂點cB之間或者頂點bC之間的哪一個。因頂點bC之間的距離比頂點cB之間的距離短，所以用直線連接頂點bC之間。接著，考慮連接頂點cC之間或者頂點bD之間的哪一個。因頂點bD之間的距離和頂點cC之間的距離相等，所以可以連接任何一個，但這裡用直線連接頂點bD之間。接著，考慮連接頂點cD之間或者頂點bE之間的哪一個。因頂點cD之間的距離比頂點bE之間的距離短，所以用直線連接頂點cD之間。下面，重複這種處理，用直線連接對應於切斷面Scnt的輪廓線的頂點和對應於切斷面Scnt+1的輪廓線的頂點。也就是說，在圖42的各格網點中比較位於右面的格網點對應的頂點之間的距離和位於下面的格網點對應的頂點之間的距離，用直線連接具有短距離的格網點的頂點之間。圖43是表示根據局部的最近接點連接策略連接圖41的頂點a～f和頂點A～G得到的多邊形的圖。此外，對於與圖41相同的部分，附以相同的參照標號並省略其說明。參照圖43，按照局部的最近接點連接策略連接頂點a～f和頂點A～G，形成多邊形(三角形拼塊)27。
圖44是表示用於說明根據局部的最近接點連接策略的多邊形生成的流程的一部分的圖。圖45是表示用於說明根據局部的最近接點連接策略的多邊形生成的流程的另外部分的圖。此外，作為初始多邊形生成方法，示出了用無條件地連接第1號的頂點之間的方法(初始多邊形生成的第1方法)的例子。參照圖44，在步驟SB1中，將用圖40的步驟SA1得到的切斷面的數代入到變量Smax中。此外，將「0」代入到變量Scnt中。在步驟SB2中，將第Scnt號的切斷面的頂點數代入到變量Vmax中。此外，將「0」代入到變量Vcnt中。在步驟SB3中，連接第Scnt號切斷面中第Vcnt號的頂點和第Scnt號的切斷面中第Vcnt+1號的頂點。這裡，在考慮例如圖41所示的頂點a～f和A～G的場合，頂點a，A是第0號頂點，頂點b，B是第1號頂點，頂點c，C是第3號頂點，在步驟SB4中，將Vcnt+1代入到變量Vcnt中。在步驟SB5中，在變量Vcnt大於Vmax-1的場合，進入到步驟SB6。另一方面，在步驟SB5中，當變量Vcnt小於Vmax-1時，進入到步驟SB3中。在步驟SB6中，將Scnt+1代入到變量Scnt中，在步驟SB7中，當變量Scnt大於Smax時，進入到圖45的步驟SB8中。另一方面，在步驟SB7中，當變量Scnt小於Smax時，進入到步驟SB2中。
參照圖45，在步驟SB8中，將「0」代入到變量Scnt中。在步驟SB9中，將第Scnt號的切斷面的頂點數代入到變量imax中。此外，將第Scnt+1號的切斷面的頂點數代入到變量jmax中。在步驟SB10中生成初始多邊形。這裡，示出了用無條件地連接第1號的頂點之間的方法(初始多邊形生成的第1方法)的例子，連接第Scnt號的切斷面的第1號的頂點和第Scnt+1號的切斷面的第1號的頂點。再將「1」代入到變量i中，並將「1」代入到變量j中。在步驟SB11中，將i+1代入到變量i_n中，並將j+1代入到變量j_n中。在步驟SB12中，dist([Scnti]，[Scnt+1j_n])表示第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j_n號的頂點之間的距離。此外，dist([Scnti_n]，[Scnt+1j])表示第Scnt號的切斷面的第i_n號的頂點和第Scnt+1號的切斷面的第j號的頂點之間的距離。也就是說，在步驟SB12中，在第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j_n號的頂點之間的距離比第Scnt號的切斷面的第i_n號的頂點和第Scnt+1號的切斷面的第j號的頂點之間的距離小的場合，進入到步驟SB13中，在其以外的場合，進入到步驟SB14中。
在步驟SB13中，連接第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j_n號的頂點。再將j_n代入到變量j中。在步驟SB14中，連接第Scnt號的切斷面的第i_n號的頂點和第Scnt+1號的切斷面的第j號的頂點。再將i_n代入到變量i中。在步驟SB15中，在變量i大於imax-1的場合，進入到步驟SB17中，另一方面，在變量i小於imax-1的場合，進入到步驟SB16中。在步驟SB17中，連接第Scnt號的切斷面的第i號的頂點和第Scnt+1號的切斷面的第j～jmax-1號的各頂點。在步驟SB16中，在變量j大於jmax-1的場合，進入到步驟SB18中。另一方面，在變量j小於jmax-1的場合，進入到步驟SB11中。在步驟SB18中，連接第Scnt+1號的切斷面的第j號的頂點和第Scnt號的切斷面的第i～imax-1號的各頂點。在步驟SB19中，將Scnt+1代入到變量Scnt中。在步驟SB20中，在變量Scnt小於Smax的場合，進入到步驟SB9中。另一方面，在變量Scnt大於Smax的場合，結束處理。此外，雖然切斷面存在於第0號到第Smax-1號，但在圖45中，在Scnt為Smax-1的場合，有時必須考慮第Smax號的切斷面的頂點。這種場合，第Smax號的切斷面看作與第0號的切斷面相同。
參照圖42，對於根據全局最短連接策略的多邊形的生成詳細地進行說明。考慮以格網點aA(a與A的交點)為起點，以格網點fG(f與G的交點)為終點的路徑。並且，在每經過格網點時加上分配到經過的格網點的距離的值作為補償，求得補償為最小的路徑。也就是說，在從格網點aA到格網點fG為止的多個路徑中求得最短的路徑。作為這種最短的路徑可以用雙列(diallele)法、分支限定法、Dijkstra算法和A*算法等求得。在圖42中，用粗的實線表示的路徑是最小補償路徑(最短路徑)。然後，連接存在於最小補償路徑(最短路徑)上的格網點對應的頂點之間(參照圖41)。例如，因最小補償路徑(粗的實線)通過格網點bB上，所以連接圖41的頂點b和B。圖43示出了根據全局最短連接策略用直線連接圖41的頂點a～f和頂點A～G得到的多邊形。
圖46是用於說明全局最短連接策略的多邊形生成的流程圖。此外，對於與圖44和圖45相同的步驟，附以相同的標號並適當地省略其說明。參照圖46，在步驟SC9中，連接第Scnt號的切斷面的頂點和第Scnt+1號的切斷面的頂點，使連接距離最短。在步驟SC10中，將Scnt+1代入到變量Scnt中。在步驟SC11中，在變量Scnt小於Smax的場合，進入到步驟SC9中，另一方面，在變量Scnt大於Smax的場合，結束處理。
這樣，在本實施形態12中，用圓柱坐標系體元空間251求得對象物體的立體形狀，用多個平面沿著圓柱坐標系體元空間251的中心軸，切斷這種立體形狀，並以切斷面的輪廓線為基礎生成形狀模型300。因此，與用直角坐標系體元空間生成形狀模型300的場合相比，用於生成形狀模型的數據量少並且能高速處理。此外，用多邊形近似和局部的最近接點連接策略或者全局最短連接策略生成構成形狀模型300的多邊形。因此，與用垂直於旋轉軸的多個平面來切斷對象物體的立體形狀而生成形狀模型300的以往技術相比，數據量少並且能進一步高速處理。即能實時生成形狀模型300。此外，用多邊形近似和局部的最近接點連接策略或者全局最短連接策略生成構成形狀模型300的多邊形27。因此，數據量少並且能高速處理。
在本實施形態12中，除去到此為止的說明的效果外，還有以下所述的效果。也就是說，在本實施形態12中，與用3維數位化儀生成形狀模型的場合相比，能減少人工的作業。此外，在本實施形態12中，沒有進行用雷射的測量。因此，不受對象物體的材料的限制，必須在暗室中測量等拍攝環境的限制少。此外，在本實施形態12中，用旋轉臺110、拍攝機120和計算機130簡單的結構就能生成立體模型29。此外，在本實施形態12中，藉助於進行差分處理，生成輪廓圖像，並用它生成形狀模型300。因此，不需要同一色彩的背景板等那樣的特殊的拍攝環境。
以上，是對用1臺拍攝機和旋轉臺每隔10°拍攝對象物體生成立體模型29的例子進行了說明，但拍攝機的臺數、拍攝視點的移動裝置、拍攝角度的間隔寬度不限於此。也可以用多臺拍攝機拍攝對象物體，生成立體模型29。這樣，能進一步獲得高精度的形狀。此外，作為拍攝視點的移動裝置，也可以用人工控制的旋轉臺和機器人手臂。此外，拍攝角度的間隔寬度對於複雜的物體也可以更加細，也可以根據方向改變拍攝角度的間隔寬度。也就是說，對於具有複雜的外形的方向也可以用更加細的刻度間隔進行旋轉及拍攝。此外，在變更對象物體的拍攝角度的間隔寬度的場合，也改變切斷體元空間251並再次構成多邊形表示的形狀模型300用的切斷面。拍攝角度和切斷面是相互關連而設定的。如果這樣的話，則能將來自拍攝得到的輪廓圖像的輪廓信息更高精度地反映在多邊形數據上。
圖47是表示記錄使圖3的計算機130生成對象物體的立體模型29用的程序301的CD-ROM的圖。參照圖47，計算機1 30按照記錄在CD-ROM260中的程序301，生成對象物體的立體模型29。記錄在CD-ROM260上的程序301包含生成對象物體的輪廓圖像的步驟S12、進行表決處理的步驟S14、進行多邊形生成的步驟S16和進行特徵映射的步驟S18。
在本實施形態12中，在從體元表示的形狀模型再次構成多邊形表示的形狀模型300的場合，使用了斷面的多邊形近似的技術，但是本發明不一定限於此。例如，也可以用變形球(metaball)表示的形狀模型代替線框表示的形狀模型300。此外，在本實施形態12中，是根據輪廓圖像進行對體元空間251的表決處理並生成多邊形，但也可以用多邊形近似法將輪廓圖像變換成多邊形。此外，這種場合，因輪廓圖像不正確，所以當然有必要進行基於人工操作的校正。
權利要求
1.一種物體抽取裝置，其特徵在於，在從拍攝對象物體得到的物體圖像中除去不希望要的部分並抽取物體部分的物體抽取裝置中，包括將所述物體圖像分割成多個區域的區域分割裝置，藉助於進行將所述物體圖像的各圖像信息匯總在所述每個區域中的處理，確定並抽取所述物體圖像中的物體部分的抽取裝置。
2.如權利要求1所述的物體抽取裝置，其特徵在於，在所述抽取裝置中，將所述物體圖像的各象素信息匯總在所述每個區域中的所述處理，是在所述每個區域中將所述物體圖像的各象素的信息加以平均化的處理。
3.如權利要求1或2所述的物體抽取裝置，其特徵在於，藉助於對於匯總在所述每個區域中的所述各象素的信息進行閾值處理，所述抽取裝置確定所述物體圖像中的物體部分並進行抽取。
4.如權利要求1至3中任一項所述的物體抽取裝置，其特徵在於，所述物體圖像的所述各象素的信息是在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理得到的差分信息。
5.如權利要求1至3中任一項所述的物體抽取裝置，其特徵在於，所述抽取裝置包括在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理的差分處理裝置，在所述各區域中求出由所述差分處理得到的差分的絕對值的平均值的平均值導出裝置，比較所述區域的差分的絕對值的所述平均值和預定值，並抽取所述平均值在所述預定值以上的區域作為物體部分的閾值處理裝置。
6.如權利要求1至3中任一項所述的物體抽取裝置，其特徵在於，所述抽取裝置包括算出所述物體圖像的各區域內的象素的平均值的平均值導出裝置，在所述物體圖像的各區域內的象素的平均值和與該區域對應的所述背景圖像的區域內的象素的平均值間進行差分處理的差分處理裝置，比較基於所述差分處理得到的差分的絕對值和預定值，並抽取所述差分的絕對值在所述預定值以上的區域作為物體部分的閾值處理裝置。
7.如權利要求1至3中任一項所述的物體抽取裝置，其特徵在於，所述物體圖像的各象素的信息是進深信息。
8.一種物體抽取方法，其特徵在於，在從拍攝對象物體得到的物體圖像中除去不希望要的部分並抽取物體部分的物體抽取方法中，包括將所述物體圖像分割成多個區域的區域分割步驟，藉助於進行將所述物體圖像的各圖像信息匯總在所述每個區域中的處理，確定並抽取所述物體圖像中的物體部分的抽取步驟。
9.如權利要求8所述的物體抽取方法，其特徵在於，在所述抽取步驟中，將所述物體圖像的各象素信息匯總在所述每個區域中的所述處理是在所述每個區域中將所述物體圖像的各象素的信息加以平均化的處理。
10.如權利要求8或9所述的物體抽取方法，其特徵在於，藉助於對於匯總在所述每個區域中的所述各象素的信息進行閾值處理，所述抽取步驟確定所述物體圖像中的物體部分並進行抽取。
11.如權利要求8至10中任一項所述的物體抽取方法，其特徵在於，所述物體圖像的所述各象素的信息是在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理得到的差分信息。
12.如權利要求8至10中任一項所述的物體抽取方法，其特徵在於，所述抽取步驟包括在僅拍攝對象物體的背景的背景圖像和所述物體圖像間進行差分處理的差分處理步驟，在所述各區域中求出由所述差分處理得到的差分的絕對值的平均值的平均值導出步驟，比較所述區域的差分的絕對值的所述平均值和預定值，並抽取所述平均值在所述預定值以上的區域作為物體部分的閾值處理步驟。
13.如權利要求8至10中任一項所述的物體抽取方法，其特徵在於，所述抽取步驟包括算出所述物體圖像的各區域內的象素的平均值的平均值導出步驟，在所述物體圖像的各區域內的象素的平均值和與該區域對應的所述背景圖像的區域內的象素的平均值間進行差分處理的差分處理步驟，比較基於所述差分處理得到的差分的絕對值和預定值，並抽取所述差分的絕對值在所述預定值以上的區域作為物體部分的閾值處理步驟。
14.如權利要求8至10中任一項所述的物體抽取方法，其特徵在於，所述物體圖像的各象素的信息是進深信息。
15.一種物體抽取裝置，其特徵在於，在從拍攝對象物體得到的物體圖像中除去不希望要的部分並抽取物體部分的物體抽取裝置中，包括算出所述物體圖像的進深信息的進深信息算出裝置，將所述物體圖像分割成多個區域的區域分割裝置，對每個區域算出所述進深信息的平均值的平均值算出裝置，抽取所述多個區域中所述平均值在預定的範圍內的區域作為所述物體部分的抽取裝置。
16.一種物體抽取方法，其特徵在於，在從拍攝對象物體得到的物體圖像中除去不希望要的部分並抽取物體部分的物體抽取方法中，包括算出所述物體圖像的進深信息的進深信息算出步驟，將所述物體圖像分割成多個區域的區域分割步驟，對每個區域算出所述進深信息的平均值的平均值算出步驟，抽取所述多個區域中所述平均值在預定的範圍內的區域作為所述物體部分的抽取步驟。
17.一種物體抽取裝置，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去背景部分並抽取物體部分的物體抽取裝置，包括算出所述物體圖像和所述背景圖像之差的絕對值的差分裝置，抽取所述物體圖像中所述差的絕對值比閾值大的部分作為所述物體部分的抽取裝置，基於所述多個背景圖像的圖像信息分布，統計決定所述閾值的閾值決定裝置。
18.一種物體抽取裝置，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置中，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的算出裝置，算出所述物體圖像的各象素的值和與該象素對應的所述背景圖像的象素的平均值之差的絕對值的差分裝置，抽取所述物體圖像的象素中所述差的絕對值比所述標準偏差的規定倍數大的象素作為所述物體部分的抽取裝置。
19.一種物體抽取裝置，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出裝置，將所述物體圖像分割成多個區域的區域分割裝置，算出所述物體圖像的各區域內的各象素值和與該區域對應的所述背景圖像的區域內對應的象素的平均值之差的絕對值的差分裝置，對每個區域算出所述差的絕對值的平均值的平均差算出裝置，對每個區域算出所述標準偏差的平均值的平均標準偏差算出裝置，抽取所述多個區域中所述差的絕對值的平均值比所述標準偏差的平均值的規定倍數大的區域作為所述物體部分的抽取裝置。
20.一種物體抽取裝置，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出裝置，將所述物體圖像分割成多個區域的區域分割裝置，算出所述物體圖像的各區域內的象素的平均值的平均算出裝置，算出所述物體圖像的各區域內的象素的平均值和與該區域對應的所述背景圖像的區域內的象素的平均值之差的絕對值的差分裝置，對每個區域算出所述差的絕對值的平均值的平均差算出裝置，對每個區域算出所述標準偏差的平均值的平均標準偏差算出裝置，抽取所述多個區域中所述差的絕對值的平均值比所述標準偏差的平均值的規定倍數大的區域作為所述物體部分的抽取裝置。
21.一種物體抽取裝置，其特徵在於，是基於多次拍攝對象物體得到的多個物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出裝置，在所述多個物體圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值的平均算出裝置，將所述物體圖像分割成多個區域的區域分割裝置，算出所述物體圖像的各區域內的各象素的平均值和與該區域對應的所述背景圖像的區域內的對應的象素的所述平均值之差的絕對值的差分裝置，對每個區域算出所述差的絕對值的平均值的平均差算出裝置，對每個區域算出所述標準偏差的平均值的平均標準偏差算出裝置，抽取所述多個區域中所述差的絕對值的平均值比所述標準偏差的平均值的規定倍數大的區域作為所述物體部分的抽取裝置。
22.一種物體抽取方法，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取方法中，包括基於所述多個背景圖像的分布，統計決定閾值的步驟，算出所述物體圖像和所述背景圖像之差的絕對值的步驟，抽取所述物體圖像中所述差的絕對值比閾值大的部分作為所述物體部分的步驟。
23.一種物體抽取方法，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的步驟，算出所述物體圖像的各象素的值和與該象素對應的所述背景圖像的象素的平均值之差的絕對值的步驟，抽取所述物體圖像的象素中所述差的絕對值比所述標準偏差的規定倍數大的象素作為所述物體部分的步驟。
24.一種物體抽取方法，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個背景圖像，從所述物體圖像除去背景部分並抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區域的步驟，算出所述物體圖像的各區域內的各象素值和與該區域對應的所述背景圖像的區域內對應的象素的平均值之差的絕對值的步驟，對每個區域算出所述差的絕對值的平均值的步驟，對每個區域算出所述標準偏差的平均值的步驟，抽取所述多個區域中所述差的絕對值的平均值比所述標準偏差的平均值的規定倍數大的區域作為所述物體部分的步驟。
25.一種物體抽取方法，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述物對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區域的步驟，算出所述物體圖像的各區域內的象素的平均值的步驟，算出所述物體圖像的各區域內的象素的平均值和與該區域對應的所述背景圖像的區域內的象素的平均值之差的絕對值的步驟，對每個區域算出所述差的絕對值的平均值的步驟，對每個區域算出所述標準偏差的平均值的步驟，抽取所述多個區域中所述差的絕對值的平均值比所述標準偏差的平均值的規定倍數大的區域作為所述物體部分的步驟。
26.一種物體抽取方法，其特徵在於，是基於多次拍攝對象物體得到的多個物體圖像和多次僅拍攝所述物對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的步驟，在所述多個物體圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值的步驟，將所述物體圖像分割成多個區域的步驟，算出所述物體圖像的各區域內的各象素的所述平均值和與該區域對應的所述背景圖像的區域內的對應的象素的所述平均值之差的絕對值的步驟，對每個區域算出所述差的絕對值的平均值的步驟，對每個區域算出所述標準偏差的平均值的步驟，抽取所述多個區域中所述差的絕對值的平均值比所述標準偏差的平均值的規定倍數大的區域作為所述物體部分的步驟。
27.一種立體模型生成裝置，其特徵在於，包括拍攝所述對象物體的背景而且包含所述背景拍攝所述對象物體的拍攝裝置，求出僅拍攝所述背景的背景圖像和包含所述背景拍攝所述對象物體得到的多個物體圖像的差分、並生成輪廓圖像的輪廓生成裝置，用所述多個輪廓圖像生成所述對象物體的立體模型進行描述的裝置。
28.如權利要求27所述的立體模型生成裝置，其特徵在於，還包括使所述對象物體旋轉的旋轉裝置。
29.一種立體模型生成裝置，其特徵在於，是生成對象物體的立體模型的立體模型生成裝置，包括生成所述對象物體的多個輪廓圖像的輪廓生成裝置，以所述多個輪廓圖像為基礎，推定體元空間的所述對象物體的存在區域的推定裝置，用由所述推定裝置得到的所述對象物體的存在區域，生成所述對象物體的立體模型進行描述的裝置。
30.如權利要求29所述的立體模型生成裝置，其特徵在於，所述推定裝置對所述體元空間進行表決處理。
31.如權利要求30所述的立體模型生成裝置，其特徵在於，還包括以所述表決處理的結果、投票數在規定的閾值以上的部分，作為所述對象物體的所述存在區域的閾值處理裝置。
32.一種立體模型生成方法，其特徵在於，由拍攝裝置僅拍攝所述對象物體的背景，並得到背景圖像的步驟，由所述拍攝裝置包含所述背景拍攝所述對象物體，得到多個物體圖像的步驟，求出所述背景圖像和所述多個物體圖像的差分，生成多個輪廓圖像的步驟，用所述多個輪廓圖像生成所述對象物體的立體模型的步驟。
33.如權利要求32所述的立體模型生成方法，其特徵在於，還包括使所述對象物體旋轉的步驟。
34.一種立體模型生成方法，其特徵在於，是生成對象物體的立體模型的立體模型生成方法，包括生成所述對象物體的多個輪廓圖像的步驟，以所述多個輪廓圖像為基礎，推定體元空間中所述對象物體的存在區域的步驟，用所述推定的所述對象物體的存在區域，生成所述立體模型的步驟。
35.如權利要求34所述的立體模型生成方法，其特徵在於，所述推定步驟對所述體元空間進行表決處理。
36.如權利要求35所述的立體模型生成方法，其特徵在於，還包括以所述表決處理的結果、投票數在規定的閾值以上的部分，作為所述對象物體的所述存在區域的步驟。
37.一種物體抽取裝置，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取裝置，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的平均/標準偏差算出裝置，將所述物體圖像分割成多個區域的區域分割裝置，算出所述物體圖像的各區域內的象素的平均值，同時算出背景圖像的象素的平均值的各區域內的平均值的平均算出裝置，算出所述物體圖像的各區域內的象素的平均值和與該區域對應的所述背景圖像的區域內的象素的區域內的平均值之差的絕對值的差分裝置，對每個區域算出所述標準偏差的平均值的平均標準偏差算出裝置，抽取所述多個區域中差的絕對值比標準偏差的平均值的規定倍數大的區域作為所述物體部分的抽取裝置。
38.一種物體抽取方法，其特徵在於，是基於拍攝對象物體得到的物體圖像和多次僅拍攝所述物對象物體的背景得到的多個背景圖像，從所述物體圖像除去不希望要的部分並抽取物體部分的物體抽取方法，包括在所述多個背景圖像中，對於每個象素算出相互位於相同坐標上的象素的平均值和標準偏差的步驟，將所述物體圖像分割成多個區域的步驟，算出所述物體圖像的各區域內的象素的平均值，同時算出背景圖像的象素的平均值的各區域內的平均值的步驟，算出所述物體圖像的各區域內的象素的平均值和與該區域對應的所述背景圖像的區域內的象素的區域內的平均值之差的絕對值的步驟，對每個區域算出所述標準偏差的平均值的步驟，抽取所述多個區域中差的絕對值比標準偏差的平均值的規定倍數大的區域作為所述物體部分的步驟。
全文摘要
本方法基於使實際存在的物體每旋轉任意的角度被拍攝的多個物體圖像信息，利用多邊形表示3維形狀模型，並對於各多邊形根據該多邊形具有最大的投影面積的物體圖像信息，賦予特徵信息。為了改善相鄰的多邊形間的色彩連續性，選擇對應於與所注意的多邊形和相鄰的多邊形的物體圖像信息，以便成為拍攝位置和拍攝方向接近的物體圖像信息。另一個方法是將物體圖像分割成多個區域，以區域為單位求得物體圖像和背景圖像的差分，以區域為單位導出差分的絕對值的平均值，並檢測差分的絕對值的平均值在閾值以上的區域作為物體部分。另一個其它的方法是僅拍攝對象物體的背景，同時一邊使對象物體旋轉一邊進行拍攝，得到多個物體圖像。然後，藉助於在物體圖像和背景圖像之間進行差分處理，生成輪廓圖像，以該輪廓圖像為基礎在體元空間進行表決處理，以利用表決處理得到的立體形狀為基礎生成多邊形，並將從物體圖像獲得的特徵映射到多邊形上。
文檔編號G06T15/10GK1480903SQ03104370
公開日2004年3月10日 申請日期1997年8月28日 優先權日1996年8月29日
發明者松本幸則, 寺崎肇, 杉本和英, 荒川勉, 英 申請人:三洋電機株式會社