視覺裝置的製作方法

2023-04-28 12:14:41 1

專利名稱：視覺裝置的製作方法
技術領域：
本發明系關於計算圖像中之物體數量之視覺裝置及其方法，詳言之，系關於計算攝像機或數字相機所拍攝之三原色波長、可視光波長、紅外線波長、紫外線波長，及其它所有電磁波中，任意頻帶所構成的圖像中之移動物體或靜止物體數量。
背景技術：
一直以來，開發有使用攝像機或數字相機將複數之物體拍攝於一個畫面，使用數位技術計算畫面中物體數量的裝置。作為其代表例而言，有透過顯微鏡計算所拍攝之細胞數量的裝置。由於將細胞之染色體染成紫色，因此藉切出圖像中一定以上大小的紫色區域作為一塊，即能計算細胞數量。然而，當細胞之染色有困難或無法染色時，即不易計算細胞數量。此系因一般來說細胞為透明之故，是以為了將整個細胞作成一塊，顏色信息並不太有效。當然，若放大細胞圖像的話，雖能捕捉細胞核及線粒體(mitochondria)之陰影，但這種情形是例外。因此，多數的情形是利用光之折射、反射所投影出的細胞輪廓來生成邊緣信息。只要使用這種邊緣信息，理論上，雖能將整個細胞作成一塊，但實際上，由於邊緣信息幾乎皆為不完全者，因此須使用細胞之形狀與大小信息來輔助邊緣信息。而且，為了自該邊緣信息將整個細胞作成一塊，必須施以塗黑等計算量較多的圖像處理，當然邊緣信息中不可有裂縫。再者，若自細胞中僅選出移動的細胞加以切出的話，勢必要進行光學流量等之計算，結果，為提高計算數之精度必須要有昂貴的裝置，另一方面，若使用便宜的裝置的話，計算時間將會變的非常龐大。
然而，除了細胞等部分例外之外，一般的物體皆有顏色。例如，大致說來，蝌蚪背面是深褐色，蘋果是紅色、黃色、綠色，馬是黑色、灰色，烏鴉是黑色。因此，為計算該物體之數量，只要自圖像中挑出物體固有的顏色信息即可，但事實上並非這麼簡單。其一，系由於顏色信息會受到陽光或照明的亮度，以及攝像機性能極大的影響。此外，若在攝影環鏡中有類似顏色的物體的話，即不易區別對象物體及其以外之物體。因此，一般系使用形狀或大小等信息自背景切割出對象物體後，再計算該物體的數量，為減少計算量，所使用的顏色信息僅限於針對對象物體的程度。假如，視覺裝置能捕捉顏色信息的變化作為物體之動態，照明及攝像機的性能雖不至成為太大的問題，但不僅不易從物體的動態正確再現物體的形狀，又會產生須塗黑被邊緣信息所圍住之區域以確定物體領域的問題，活用顏色信息變化的視覺裝置之相關研究，仍舊不足。
考慮上述事情，若能使視覺裝置根據顏色信息的變化等來捕捉物體的動態以生成邊緣信息，自該邊緣信息分離出物體以作成一塊的話，即能不依賴物體之特徵與攝影環境而計算物體的數量。此外，若能使物體本身振動、或使攝像機振動、再不然使所拍攝的圖像振動，據以根據顏色信息生成邊緣信息的話，即可期待視覺裝置即使在物體靜止的情況下，亦能計算物體數量。
此處，假設有能計算攝像機所拍攝之物體數量的前述視覺裝置。當攝像機所拍攝之物體系靜止的話，視覺裝置就能經常計算靜止物體的數量。但是，當物體在移動時，視覺裝置僅能在攝像機拍攝移動物體期間，計算移動物體的數量。若像培養皿中之細胞般，能預先特定靜止物體及移動物體之位置的話當然沒有問題，但若系計算室內或室外空間走動的人或動物時，或由於無法將整個屋內或屋外空間全部拍入攝像機之畫角中，或因為與攝像機之距離使得人或動物在圖像中變大或變小，因此若固定攝相機的話，視覺裝置的用途就會受到限制。再者，由於視覺裝置必須將室內裝飾與人或動物加以區別，因此為了辨識物體需要龐大的計算量。
考慮到上述事情，所期待的視覺裝置是這樣的。若移動式攝像機能自室內或室外空間中搜索出人或動物等特定之物體並僅拍攝該等物體，且視覺裝置能調整攝像機之倍率，以使該等物體在圖像中成適當之大小，視覺裝置即能容易辨識該等物體，亦能計算人或動物等無法預先特定其位置之移動物體的數量。當然，當人或動物等躺著幾乎不動時，視覺裝置亦能將人或動物與其它靜止物體加以區別，以計算人與動物等的數量。
因此，本發明之目的在於，以選擇性地選擇動態圖像中之移動物體或所有物體之任一者所生成的邊緣信息為基準，高速地計算移動物體或所有物體的數量。此外，其另一目的在於，自動態圖像中計算移動物體及靜止物體的數量，以高速地計算動態圖像中移動物體及靜止物體的比例。本案再一目的在於，藉搜索能以移動式攝像機拍攝之範圍內所存在之移動物體及靜止物體，高速地計算移動物體及靜止物體的數量。

發明內容
按照權利要求1所述的一種視覺裝置，針對動態圖像中之移動物體，其包含
取得前述動態圖像之框圖像的裝置；將前述框圖像作為數字圖像依序加以存儲的裝置；自前述數字圖像生成移動物體粗邊緣信息圖像的裝置；使用前述數字圖像、自前述移動物體粗邊緣信息圖像生成移動物體形成邊緣信息圖像的裝置；檢測根據前述移動物體形成邊緣信息圖像所區分出之移動物體領域位置及大小的裝置；計算移動物體領域數量的裝置；以及保持前述移動物體領域數量的裝置。
取得前述框圖像的前述裝置，在當前述動態圖像為模擬信號時，系將前述框圖像轉換為數位訊號，作為前述數字圖像。在當前述動態圖像為前述數位訊號時，若已被壓縮的話即解開壓縮，若未被壓縮的話即原封不動地加以輸入，之後，自前述動態圖像中切割出前述框圖像，作為前述數字圖像。將前述框圖像作為前述數字圖像依序存儲的前述裝置，系保持二次元相位關係，將前述所有框圖像之像素存儲於內存中。自前述數字圖像生成前述移動物體粗邊緣信息圖像的前述裝置，系對前述數字圖像之各像素生成移動物體的邊緣信息。使用前述數字圖像，根據前述移動物體粗邊緣信息圖像，生成前述移動物體形成邊緣信息圖像的前述裝置，系使用前述數字圖像，將前述移動物體的前述邊緣信息形成為更正確且明了的前述邊緣信息。檢測根據前述移動物體形成邊緣信息圖像所區分出之前述移動物體領域之前述位置及前述大小的前述裝置，系將位於前述移動物體領域之交界處的前述邊緣信息的重心位置及位於前述移動物體領域之交界處的前述邊緣信息數用一個像素加以代表。計算前述移動物體領域數量的前述裝置，系計算代表前述移動物體領域的前述像素的數量。保持前述移動物體領域數量的前述裝置，系將代表前述移動物體領域之前述像素之數量，以2之餘數表現或浮動小數點表現等輸出端所須之形式加以輸出。前述各裝置能分別並列動作，又，生成前述移動物體粗邊緣圖像的前述裝置、生成前述移動物體形成邊緣信息圖像的前述裝置、以及檢測前述移動物體領域之前述位置及前述大小的前述裝置，亦能在各自的內部，各像素並列動作。此外，該等前述裝置，全部皆系透過局部處理加以實現。因此，前述視覺裝置不至受前述移動物體之形狀或大小的影響，能高速地計算前述移動物體領域數量。又，與根據顏色信息的分類等抽出前述移動物體領域之情形相較，由於前述邊緣信息不易受照明等的影響，且對透明的前述移動體亦不進行染色，而利用折射或反射生成前述邊緣信息，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述移動物體計算的各種問題。
按照權利要求2所述的一種視覺裝置，針對動態圖像中之移動物體，其包含取得前述動態圖像之框圖像的裝置；將前述框圖像作為數字圖像依序加以存儲的裝置；自前述數字圖像生成移動物體粗邊緣信息圖像的裝置；使用前述數字圖像、自前述移動物體粗邊緣信息圖像生成移動物體形成邊緣信息圖像的裝置；使用前述移動物體形成邊緣信息圖像自背景分離移動物體領域的裝置；檢測前述移動物體領域位置及大小的裝置；計算移動物體領域數的裝置；以及保持前述移動物體領域數的裝置。
在按照本發明權利要求1所述的視覺裝置中，增加使用前述移動物體形成邊緣信息圖像，自前述背景分離出前述移動物體領域的前述裝置。使用前述移動物體形成邊緣信息圖像，自前述背景分離出前述移動物體領域的前述裝置，系能將前述移動物體的前述邊緣信息作為交界，並將包含於前述背景之像素與包含於前述移動物體領域之前述像素，分類為不同的組。同時，檢測前述移動物體領域之前述位置及前述大小的前述裝置，系將前述移動物體領域之前述重心位置及前述移動物體領域所包含的前述像素數，用一個前述像素加以代表。前述各裝置能分別並列動作，又，生成前述移動物體粗邊緣圖像的前述裝置、生成前述移動物體形成邊緣信息圖像的前述裝置、以及檢測前述移動物體領域之前述位置及前述大小的前述裝置，亦能在各自的內部，各像素並列動作。此外，該等前述裝置，全部皆系透過局部處理加以實現。因此，前述視覺裝置不至受前述移動物體之形狀或大小的影響，能高速地計算前述移動物體領域數量。又，與根據顏色信息的分類等抽出前述移動物體領域之情形相較，由於前述邊緣信息不易受照明等的影響，且對透明的前述移動體亦不進行染色，而利用折射或反射生成前述邊緣信息，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述移動物體計算的各種問題。
權利要求3的發明，系如權利要求1或2所述的視覺裝置，其具有使前述數字圖像振動的裝置，據以取代前述移動物體而對所有物體進行所有物體領域數量的計算。當在權利要求1的視覺裝置中，追加使前述數字圖像振動的前述裝置時，其作用如下。在當前述動態圖像為模擬信號時，系將前述框圖像轉換為數位訊號，作為前述數字圖像。在當前述動態圖像為前述數位訊號時，若已被壓縮的話即解開壓縮，若未被壓縮的話即原封不動地加以輸入，之後，自前述動態圖像中切割出前述框圖像，作為前述數字圖像。將前述框圖像作為前述數字圖像依序存儲的前述裝置，系保持二次元相位關係，將前述所有框圖像之像素存儲於內存中。自前述振動圖像生成前述所有物體粗邊緣信息圖像的前述裝置，系以圖像單位或像素單位使前述數字圖像上下左右振動，以生成前述振動圖像。據此，前述振動圖像中之前述所有物體看起來宛如在移動般。自前述數字圖像生成前述所有物體粗邊緣信息圖像的前述裝置，系對前述數字圖像之各像素生成前述所有物體的邊緣信息。使用前述數字圖像，根據前述所有物體粗邊緣信息圖像，生成前述所有物體形成邊緣信息圖像的前述裝置，系使用前述數字圖像，將前述所有物體的前述邊緣信息形成為更正確且明了的前述邊緣信息。檢測根據前述所有物體形成邊緣信息圖像所區分出之前述所有物體領域之前述位置及前述大小的前述裝置，系將位於前述所有物體領域之交界處的前述邊緣信息的重心位置及位於前述所有物體領域之交界處的前述邊緣信息數用一個像素加以代表。計算前述所有物體領域數量的前述裝置，系計算代表前述所有物體領域的前述像素的數量。保持前述所有物體領域數量的前述裝置，系將代表前述所有物體領域之前述像素之數量，以2之餘數表現或浮動小數點表現等輸出端所須之形式加以輸出。前述各裝置能分別並列動作，又，生成前述所有物體粗邊緣圖像的前述裝置、生成前述所有物體形成邊緣信息圖像的前述裝置、以及檢測前述所有物體領域之前述位置及前述大小的前述裝置，亦能在各自的內部，各像素並列動作。此外，該等前述裝置，全部皆系透過局部處理加以實現。因此，前述視覺裝置不至受前述所有物體之形狀或大小的影響，能高速地計算前述所有物體領域數量。又，與根據顏色信息的分類等抽出前述所有物體領域之情形相較，由於前述邊緣信息不易受照明等的影響，且對透明的前述所有物體亦不進行染色，而利用折射或反射生成前述邊緣信息，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述所有物體計算的各種問題。
另一方面，當在權利要求2所述的視覺裝置中，增追加使前述數字圖像振動的前述裝置時，其作用如下。使用前述所有物體形成邊緣信息圖像，自前述背景分離出前述所有物體領域的前述裝置，系能將前述所有物體之前述邊緣信息作為交界，並將前述背景所包含之前述像素與前述所有物體領域所包含之前述像素加以分類為不同的組。同時，檢測前述所有物體領域之前述位置及前述大小的前述裝置，系將前述所有物體領域之重心位置及前述所有物體領域所包含的前述像素數，以一個前述像素加以代表。前述各裝置能分別並列動作，又，生成前述所有物體粗邊緣圖像的前述裝置、生成前述所有物體形成邊緣信息圖像的前述裝置、以及檢測前述所有物體領域之前述位置及前述大小的前述裝置，亦能在各自的內部，各像素並列動作。此外，該等前述裝置，全部皆系透過局部處理加以實現。因此，前述視覺裝置不至受前述所有物體之形狀或大小的影響，能高速地計算前述所有物體領域數量。又，與根據顏色信息的分類等抽出前述所有物體領域之情形相較，由於前述邊緣信息不易受照明等的影響，且對透明的前述所有物體亦不進行染色，而利用折射或反射生成前述邊緣信息，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述所有物體計算的各種問題。
當組合權利要求1的視覺裝置，與在權利要求1的視覺裝置增加使前述數字圖像振動之前述裝置的權利要求3的視覺裝置時，本發明可在權利要求1的視覺裝置與權利要求3的視覺裝置間，共享自前述數字圖像生成前述移動物體粗邊緣信息圖像的前述裝置，與自前述振動圖像生成前述所有物體粗邊緣信息圖像的前述裝置；亦能共享使用前述數字圖像、自前述移動物體粗邊緣信息圖像生成前述移動物體形成邊緣信息圖像的前述裝置，與使用前述數字圖像、自前述所有物體粗邊緣信息圖像生成前述所有物體形成邊緣信息圖像的前述裝置；亦能共享使用前述移動物體形成邊緣信息圖像、檢測區分出之前述移動物體領域之前述位置及前述大小的前述裝置，與使用前述所有物體形成邊緣信息圖像、檢測區分出之前述所有物體領域之前述位置及前述大小的前述裝置；亦能共享計算前述移動物體領域數量的前述裝置，與計算前述所有物體領域數量的前述裝置；亦能共享保持前述移動物體領域數量的前述裝置，與保持前述所有物體領域數量的前述裝置。若有硬體量的限制，亦可共享該等前述裝置。當然，若不共享的話，即能縮短計數時間。又，與根據顏色信息的分類等抽出前述移動物體領域及前述所有物體領域之情形相較，由於前述邊緣信息不易受照明等的影響，且對透明的前述移動物體領域及前述所有物體亦不進行染色，而利用折射或反射生成前述邊緣信息，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述移動物體領域及前述所有物體計算的各種問題。
另一方面，當組合權利要求2的視覺裝置，與在權利要求2的視覺裝置中增加使前述數字圖像振動的前述裝置之權利要求3的視覺裝置時，本發明可在權利要求2的視覺裝置與權利要求3的視覺裝置間，共享自前述數字圖像、生成前述移動物體粗邊緣信息圖像的前述裝置，與根據前述振動圖像，生成前述所有物體粗邊緣信息圖像的前述裝置；亦能共享使用前述數字圖像、自前述移動物體粗邊緣信息圖像生成前述移動物體形成邊緣信息圖像的前述裝置，與使用前述數字圖像、自前述所有物體粗邊緣信息圖像、生成前述所有物體形成邊緣信息圖像的前述裝置；亦能共享使用前述移動物體形成邊緣信息圖像、自前述背景分離出前述移動物體領域的前述裝置，與使用前述所有物體形成邊緣信息圖像，自前述背景分離出前述所有物體領域的前述裝置；亦能共享檢測前述移動物體領域之前述位置及前述大小的前述裝置，與檢測前述所有物體領域之前述位置及前述大小的前述裝置；亦能共享計算前述移動物體領域數的前述裝置，與計算前述所有物體領域數的前述裝置；亦能共享保持前述移動物體領域數的前述裝置，與保持前述所有物體領域數的前述裝置。若有硬體量的限制，亦可共享該等前述裝置。當然，若不共享的話，即能縮短計數時間。又，與根據顏色信息的分類等抽出前述移動物體領域及前述所有物體領域之情形相較，由於前述邊緣信息不易受照明等的影響，且對透明的前述移動物體領域及前述所有物體亦不進行染色，而利用折射或反射生成前述邊緣信息，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述移動物體領域及前述所有物體計算的各種問題。
進一步的，當權利要求1的視覺裝置，與在權利要求1的視覺裝置中增追加使前述數字圖像振動之前述裝置的權利要求3的視覺裝置的視覺裝置，或組合權利要求2的視覺裝置，與在權利要求2的視覺裝置中增追加使前述數字圖像振動之前述裝置之權利要求3的視覺裝置的視覺裝置，可具備有保持前述移動物體領域數量、與自前述所有物體領域數量減去前述移動物體領域數量之靜止物體領域數量的機能，或保持前述移動物體比例、與自前述所有物體去除前述移動物體之靜止物體比例的機能。為前者時，本發明之保持前述所有物體領域數的前述裝置，能自前述所有物體領域數量減去前述移動物體領域數量，以求出前述靜止物體領域數量。是以，保持前述所有物體領域數的前述裝置，可視需要輸出前述靜止物體領域數量以取代輸出前述所有物體領域數量。若為後者時，本發明之保持前述移動物體領域數的前述裝置，能將前述移動物體領域數量除以前述所有物體領域數量，即能求出前述移動物體之比例。是以，保持前述移動物體領域數的前述裝置，可視需要輸出前述移動物體領域的比例以取代輸出前述移動物體領域數量。另外，保持前述所有物體領域數的前述裝置，由於可自前述所有物體領域數量減去前述移動物體領域數量，即能求出前述靜止物體領域數量，因此將前述靜止物體領域數量除以前述所有物體領域數量，即能求出前述靜止物體的比例。是以，保持前述所有物體領域數的前述裝置，可視需要輸出前述靜止物體領域的比例以取代輸出前述所有物體領域數。
又，權利要求1、2及3的視覺裝置中，使用攝像機所拍攝的前述動態圖像，系使複數之前述框圖像連續，以使前述框圖像中的前述移動物體看起來像是在移動。因此，藉由使數字相機或掃描儀等、於不同時刻或不同場所作成的前述靜止圖像連續，即能使前述框圖像中的前述移動物體看起來像是在移動。使用前述數字相機或前述掃描儀等以取代前述攝像機，即能在計算移動速度慢之前述移動物體的前述移動物體領域數量時，容易地調整前述靜止圖像攝影時刻的間隔。另外，當計算在培養皿中細胞之全部數量等不一定需要前述攝像機之情形時，由於能使用高解析度之前述數字相機來取代前述攝像機，故能實現便宜且精度高的視覺裝置。因此，能適當地解決有關前述移動物體及前述所有物體計算的各種問題。
權利要求4的發明，系一種視覺裝置，針對使用移動式攝像機所拍攝之動態圖像中的任意物體，具有取得前述動態圖像之框圖像的裝置；將前述框圖像作為數字圖像、依序加以存儲的裝置；自前述數字圖像、生成任意物體粗邊緣信息圖像的裝置；檢測以前述任意物體粗邊緣信息圖像所區分之任意物體領域的位置及大小的裝置；將前述移動式攝像機之方向及倍率轉換為環境坐標位置的裝置；將前述任意物體區域的前述位置及大小轉換為前述環境坐標的前述位置之裝置；自複數之前述任意物體領域的前述環境坐標之前述位置中，選擇一個的裝置；輸入來自外部之控制指令的裝置；生成為了使前述移動式攝像機振動之振動指令的裝置；控制前述移動式攝像機至所應移動之前述環境坐標之前述位置的裝置；以及生成控制前述移動式攝像機之攝像指令的裝置。
為了以適當大小拍攝前述移動式攝像機所拍攝之前述任意物體，前述視覺裝置調整移動式攝像機的前述方向及前述倍率。自前述動態圖像，生成前述任意物體的邊緣信息，使前述邊緣信息退縮之一連串的處理，系全部以局部處理加以實現。因此，前述視覺裝置不受前述任意物體之形狀及大小影響，能高速地以適當之大小拍攝前述任意物體。又，與根據顏色信息的分類等抽出前述任意物體之領域的情形相較，由於前述邊緣信息不易受照明等的影響，故前述視覺裝置的應用範圍很廣。因此，能適當地解決關於前述任意移動物體之攝影時的各種問題。
權利要求5的發明，系如權利要求4所述的視覺裝置，其具有使用前述數字圖像、自前述任意物體粗邊緣信息圖像，生成前述任意物體形成邊緣信息圖像的裝置；使用前述任意物體形成邊緣信息圖像，自背景分離出前述任意物體領域的裝置；
將前述任意物體領域規格化的裝置；保持任意物體規格化圖像的裝置；辨識前述任意物體規格化圖像的裝置；保持辨識結果的裝置；生成前述環境坐標所顯示之環境地圖的裝置；保持前述環境地圖的裝置；在前述環境地圖中，推算前述任意物體之前述位置的裝置；計算任意物體數量的裝置；保持前述任意物體數的裝置；以及對前述任意物體形成邊緣信息圖像進行幾何解析的裝置。
本發明之特徵如以下所述。第一，自前述動態圖像生成前述任意物體之前述邊緣信息，使用前述邊緣信息，將自前述背景分離出之前述任意物體領域加以規格化的一連串處理，系全部利用局部處理加以實現。因此，前述視覺裝置不受前述任意物體之形狀及大小的影響，能高速地生成前述任意物體規格化圖像，故前述視覺裝置的應用範圍很廣。因此，能適當地解決有關前述任意物體之的抽出及規格化的各種問題。第二，自前述動態圖像生成前述任意物體的前述邊緣信息，使用前述邊緣信息將自前述背景分離出之前述任意物體領域加以規格化之一連串的處理，系全部利用局部處理加以實現。因此，前述視覺裝置不受前述任意物體之形狀及大小的影響，能高速地生成前述任意物體規格化圖像。而且，由於前述任意物體規格化圖像不包含前述背景，故辨識前述任意物體規格化圖像的方法，與前述背景所包圍之前述任意物體領域的情形相較，不易受前述背景或前述任意物體領域之前述位置及大小等的影響，故前述視覺裝置的應用範圍很廣。因此，能適當地解決有關前述任意物體之辨識上的各種問題。第三，由於系自前述任意物體規格化圖像之辨識結果與前述移動式攝像機之前述方向及前述倍率，作成顯示前述任意物體之種類與前述環境坐標中之位置的環境數據，因此前述視覺裝置能作成前述環境地圖(前述環境數據的集合)。由於前述環境地圖包含一定期間之前述環境數據，因此能進行前述任意物體之前述各種類的分布與移動狀況之記錄，前述視覺裝置的應用範圍很廣。因此，能適當地解決有關前述任意物體之記錄的各種問題。第四，若使用前述環境地圖，即能求出尚未辨識的前述任意物體之前述環境坐標中之前述位置。又，由於前述移動式攝像機能推算在能攝影之範圍中所存在之前述任意物體的實際位置，故前述視覺裝置的應用範圍很廣。因此，能適當地解決有關前述任意物體搜索的各種問題。第五，由於自前述環境地圖所包含之前述環境數據中，抽出顯示特定之前述辨識結果者加以計算，前述視覺裝置即能計算前述任意物體中屬於特定之前述種類的數量，故前述視覺裝置的應用範圍很廣。因此，能適當地解決有關前述任意物體計算的各種問題。第六，由於能藉解析前述任意物體所生成之前述邊緣信息的大致形狀，推算前述任意物體規格化圖像中之前述任意物體之前述種類，因此辨識前述任意物體規格化圖像之前述裝置，能更高速且正確地辨識前述任意物體規格化圖像。此外，當前述任意物體規格化圖像中之前述任意物體非為辨識對象時，由於辨識前述任意物體規格化圖像的前述裝置能在生成前述辨識結果前，生成前述環境地圖，故前述視覺裝置的應用範圍很廣。因此，能適當地解決有關前述任意物體的辨識、搜索及計算上的各種問題。
權利要求6的發明，系一種視覺裝置，其特徵在於，針對能使數字圖像振動的數據處理裝置中之各個配置成網格狀的數組運算單元，系具備將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述數字圖像之各頻帶像素值的裝置；使前述數字圖像之前述各頻帶像素值上下左右振動的裝置；以及輸出振動圖像之各頻帶像素值的裝置。
也就是說，此係為了將前述數組運算單元所提供的前述數字圖像的振動機能以數位技術來加以實現之算法的組裝形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述數字圖像以像素單位適當地加以輸入，依序進行從前述數字圖像之各頻帶像素值的振動，到前述振動圖像之各頻帶像素值的輸出，反覆進行至前述數字圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。
權利要求7的發明，系一種視覺裝置，其特徵在於，針對能自數字圖像生成粗邊緣信息圖像的數據處理裝置中之配置成網格狀之各個數組運算單元，系具備將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述數字圖像之各頻帶像素值的裝置；將前述數字圖像之前述各頻帶像素值加以平滑化，以生成平滑化圖像之各頻帶像素值的裝置；取前述平滑化圖像之前述各頻帶像素值的對數，以生成對數轉換圖像之各頻帶像素值的裝置；
對前述對數轉換圖像之前述各頻帶像素值進行清晰化，以生成清晰化圖像之各頻帶像素值的裝置；自前述清晰化圖像之前述各頻帶像素值，減去輸入1個前清晰化圖像之各頻帶像素值，以生成時間差圖像之各頻帶像素值的裝置；將前述清晰化圖像之前述各頻帶像素值轉換為輸入1個前清晰化圖像之各頻帶像素值的裝置；算出前述時間差圖像之各頻帶像素值的拉普拉斯運算碼(Laplacian)，以生成時間差分拉普拉斯運算碼圖像的各頻帶像素值的裝置；抓出前述時間差拉普拉斯運算碼圖像之前述各頻帶像素值的零點，以生成時間差零點圖像之各頻帶像素值的裝置；求出前述時間差零點圖像之前述各頻帶像素值的最大值，以生成最大值的時間差零點圖像之前述各頻帶像素值的裝置；算出前述清晰化圖像之前述各頻帶像素值的拉普拉斯運算碼，以生成時間差拉普拉斯運算碼圖像之各頻帶像素值的裝置；抽出拉普拉斯運算碼圖像之前述各頻帶像素值之前述零點，以生成零點圖像之各頻帶像素值的裝置；求出前述零點圖像之前述各頻帶像素值的最大值，以生成最大值零點圖像之頻帶像素值的裝置；求出前述最大值零點圖像之前述頻帶像素值與前述最大值時間差零點圖像之前述頻帶像素值中較大者，以生成混合零點圖像之頻帶像素值的裝置；去除前述混合零點圖像之孔，以生成孔除去混合零點圖像之頻帶像素值的裝置；去除前述孔除去混合零點圖像之孤立點及孤立孔，以生成噪聲除去混合零點圖像之頻帶像素值的裝置；反轉前述噪聲除去混合零點圖像之前述各頻帶像素值，以生成粗邊緣信息圖像之頻帶像素值的裝置；以及輸出前述粗邊緣信息圖像之前述頻帶像素值的裝置。
也就是說，此係為了將前述數組運算單元所提供的前述數字圖像的振動機能以數位技術來加以實現之算法的實際形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述數字圖像以像素單位適當地加以輸入，依序進行從前述數字圖像之平化，到前述粗邊緣信息圖像之各頻帶像素值的輸出，反覆進行至前述數字圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用本身的前述頻帶像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用本身之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
權利要求8的發明，系一種視覺裝置，其特徵在於，針對能自粗邊緣信息圖像生成形成邊緣信息圖像的數據處理裝置中之配置成網格狀之各個數組運算單元，系具備將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述數字圖像之各頻帶像素值及前述粗邊緣信息圖像之各頻帶像素值的裝置；將前述數字圖像之各頻帶像素值及前述粗邊緣信息圖像之各頻帶像素值加以分離的裝置；將前述數字圖像之前述各頻帶像素值加以平滑化，以生成平滑化圖像之各頻帶像素值的裝置；取前述平滑化圖像之前述各頻帶像素值的對數，以生成對數轉換圖像之各頻帶像素值的裝置；對前述對數轉換圖像之前述各頻帶像素值進行清晰化，以生成清晰化圖像之各頻帶像素值的裝置；計算前述清晰化圖像之前述各頻帶像素值的拉普拉斯運算碼，以生成拉普拉斯運算碼圖像之各頻帶像素值的裝置；抽出前述拉普拉斯運算碼圖像之前述各頻帶像素值的零點，以生成零點圖像之各頻帶像素值的裝置的裝置；求出前述零點圖像之前述各頻帶像素值的最大值，以生成最大值零點圖像之頻帶像素值的裝置；反轉前述最大值零點圖像之前述頻帶像素值，以生成基礎邊緣信息圖像之頻帶像素值的裝置；為趨近基礎邊緣信息圖像之前述頻帶像素值，將前述粗邊緣信息圖像之頻帶像素值加以整形的裝置；內插前述粗邊緣信息圖像之前述頻帶像素值的線寬，以生成形成邊緣信息圖像之頻帶像素值的裝置；以及輸出前述形成邊緣信息圖像之前述頻帶像素值的裝置。
也就是說，此係為了將前述數組運算單元所提供的前述形成邊緣信息圖像的生成機能以數位技術來加以實現之算法的組裝形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述數字圖像及前述粗邊緣信息圖像以像素單位適當地加以輸入，依序進行從前述數字圖像與前述粗邊緣信息圖像之分離，到前述粗邊緣信息圖像之各頻帶像素值的輸出，反覆進行至前述數字圖像及前述粗邊緣信息圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用本身的前述頻帶像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用本身之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
權利要求9的發明，系一種視覺裝置，其特徵在於，針對能檢測物體領域之位置及大小之裝置的數據處理裝置中之配置成網格狀之各個數組運算單元，系具備將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述粗邊緣信息圖像之各頻帶像素值的裝置；將前述粗邊緣信息圖像之頻帶像素值轉換為重複信息圖像之頻帶像素值的裝置；將自前述重複信息圖像所計算的移動量圖像化為移動量圖像之頻帶像素值的裝置；將前述重複信息圖像之前述頻帶像素值移動至前述移動量圖像之前述頻帶像素值所示位置的裝置；將前述重複信息圖像之前述頻帶像素值更新為前述重複信息圖像之移動源之前述頻帶像素值之合計的裝置；以及輸出前述重複信息圖像之前述頻帶像素值的裝置。
也就是說，此係為了將前述數組運算單元所提供的前述粗邊緣信息圖像所指之顯示前述物體領域的前述位置及前述大小之前述重複信息圖像的生成機能以數位技術來加以實現之算法的組裝形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述數字圖像及前述粗邊緣信息圖像以像素單位適當地加以輸入，依序進行從變換為前述重複信息圖像，到前述重複信息圖像之各頻帶像素值的輸出，反覆進行至前述數字圖像及前述粗邊緣信息圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用相當於0之像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用相當於0之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
本發明，可輸入形成邊緣信息圖像以取代前述粗邊緣信息圖像。為了生成顯示前述形成邊緣信息圖像所指之前述物體領域之前述位置及前述大小的前述重複信息圖像，將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述數字圖像及前述粗邊緣信息圖像以像素單位適當地加以輸入，依序進行從變換為前述重複信息圖像，到前述重複信息圖像之各頻帶像素值的輸出，反覆進行至前述數字圖像及前述粗邊緣信息圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用相當於0之像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用相當於0之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
又，本發明可輸入前述物體領域圖像以取代前述粗邊緣信息圖像。為了生成顯示前述形成邊緣信息圖像所指之前述物體領域之前述位置及前述大小的前述重複信息圖像，將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述數字圖像及前述粗邊緣信息圖像以像素單位適當地加以輸入，依序進行從變換為前述重複信息圖像，到前述重複信息圖像之各頻帶像素值的輸出，反覆進行至前述數字圖像及前述粗邊緣信息圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用相當於0之像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用相當於0之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
權利要求10的發明，系一種視覺裝置，其特徵在於，針對能檢測物體領域之位置及大小之裝置的數據處理裝置中之配置成網格狀之各個數組運算單元，系具備將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述粗邊緣信息圖像之各頻帶像素值的裝置；輸入前述物體領域圖像之頻帶像素值及前述數字圖像之各頻帶像素值的裝置；分離前述物體領域圖像之前述頻帶像素值與前述數字圖像之前述各頻帶像素值，以生成更新物體領域圖像之頻帶像素值及數字圖像之各頻帶像素值的裝置；將自前述更新物體領域圖像所計算之移動量圖像化為移動量圖像之頻帶像素值的裝置；隨前述移動量圖像之前述頻帶像素所指之移動位置的重複數，生成能移動圖像之頻帶像素值的裝置；隨前述能移動圖像的判定，將前述更新物體領域圖像之前述頻帶像素值移動到前述移動位置的裝置；配合前述更新物體領域圖像之頻帶像素值的移動，移動前述數字圖像之前述各頻帶像素值的裝置；用前述物體區域所包含之附近頻帶像素值之平均值，以內插法推出前述物體領域所未包含之前述更新物體領域圖像的前述頻帶像素值的裝置；配合前述更新物體領域圖像之頻帶像素值的內插，以內插法推出前述數字圖像之前述各頻帶像素值的裝置；以及輸出內插前述數字圖像後所生成之規格化圖像之各頻帶像素值的裝置。
也就是說，此係為了將前述數組運算單元所提供的前述規格化圖像的生成機能以數位技術來加以實現之算法的組裝形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述物體領域圖像及前述數字圖像以像素單位適當地加以輸入，依序進行前述物體領域圖像與前述數字圖像之分離，到前述規格化圖像之各頻帶像素值的輸出，反覆進行至前述物體領域圖像及前述數字圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用相當於0之像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用相當於0之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
權利要求11的發明，系一種視覺裝置，其特徵在於，針對辨識規格化圖像之裝置中實現圖案匹配的數據處理裝置中之配置成網格狀之各個數組運算單元，系具備將前述數組運算單元以網格狀加以配置的裝置；將前述數組運算單元初始化的裝置；至應輸入之模板圖像完全沒有為止，輸入前述模板圖像之頻帶像素值的裝置；若無應輸入之前述規格化圖像時，即結束處理的裝置；輸入前述規格化圖像之頻帶像素值的裝置；計算匹配結果的裝置；更新匹配結果圖像的裝置；以及輸出前述匹配結果圖像之頻帶像素數的裝置。
也就是說，此系在辨識前述圖像辨識裝置中，為了用數位技術來實現前述數組運算單元所提供之圖形匹配之算法的組裝形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述模板圖像及前述規格化圖像以像素單位適當地加以輸入，依序進行自前述匹配結果之計算，到前述匹配結果圖像之各頻帶像素值的輸出，反覆進行至前述規格化圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用本身之前述頻帶像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用本身之前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
權利要求12的發明，系一種視覺裝置，其特徵在於，針對使用形成邊緣信息圖像以分離物體領域裝置的數據處理裝置中之配置成網格狀之各個數組運算單元，系具備將前述數組運算單元以網格狀加以配置的裝置；將前述數組運算單元中的非線性振蕩器與位於前述非線性振蕩器附近之前述非線性振蕩器，以結合值加以連接的裝置；將前述數組運算單元初始化的裝置；若無應輸入之前述形成邊緣信息圖像時，即結束處理的裝置；輸入前述形成邊緣信息圖像之頻帶像素值的裝置；計算幹擾的裝置；計算前述非線性振蕩器附近輸入合計的裝置；計算前述非線性振蕩器參數的裝置；計算前述非線性振蕩器輸出的裝置；計算輪廓參數的裝置計算交界參數的裝置；以及輸出包含有以前述非線性振蕩器所分離出之前述物體領域的物體領域圖像的頻帶像素值的裝置。
也就是說，此係為了以數位技術來實現前述數組運算單元所提供之前述物體領域圖像的生成機能之算法的組裝形態。將前述數組運算單元配置成網格狀，使鄰近之前述數組運算單元相互結合，待設定前述數組運算單元的各參數的初始值後，將前述形成邊緣信息圖像以像素單位適當地加以輸入，依序進行自前述幹擾之計算，到前述物體領域圖像之各頻帶像素值的輸出，反覆進行至前述形成邊緣信息圖像不再輸入為止。據此，能利用一般的處理器，容易地進行前述參數之修正。又，前述數組運算單元，未必需要嚴密進行等待位於附近之前述排列裝置所傳送來的各種前述圖像之附近圖像的接收。此系因為無法接收自位於附近之前述數組運算單元之各種前述圖像的前述附近像素時，等待接收之前述數組運算單元能使用本身之參數值或像素值加以取代的關係。此時，雖然前述數組運算單元所生成之各種前述圖像的像素中可能有若干的噪聲，但在本發明中，幾乎所有的噪聲都被前述各種裝置加以吸收。藉使用本身之前述參數值或前述頻帶像素值加以取代的裝置，能同時且簡單地實現邊緣處理與超時處理。
權利要求13的發明，系一種視覺裝置，其特徵在於，針對具有數據輸入裝置、依序存儲前述數據的裝置、於數組運算單元間傳送前述數據的裝置、使用前述數據進行計算的裝置、以及輸出前述數據的裝置之數組運算單元，系具備將前述數組運算單元配置成網格狀的裝置；根據前述數組運算單元之各自的位置關係，使附近數組運算單元相互結合的裝置；於相鄰之前述數組運算單元間，進行數據通信的裝置；以及使前述各數組運算單元獨立動作的裝置。
針對輸入前述數據的前述裝置，依序存儲前述數據的前述裝置，於前述數組運算單元間傳送前述數據的前述裝置，使用前述數據進行計算的前述裝置，以及輸出前述數據的前述裝置，前述各個數組運算單元與其網格狀排列之位置無關的，具有相同的動作步驟。因此，當使用硬體進行前述數組運算單元之組裝時，能將實現前述數組運算單元的相同電路，以正確之規則配置於平面上，由於該等電路僅需連接相鄰者即可，故配線量亦較少，只要配合處理之圖像的尺寸增減電路之數量即可，且能使各個電路並列動作。又，當利用軟體進行前述數組運算單元之組裝時，可使用並列性高的程序，執行將前述數組運算單元網格狀並列的視覺裝置。
權利要求14的發明，系一種視覺裝置，其特徵在於數組運算單元系具備具有輸入數據處理裝置的處理器，用來存儲前述數據之處理程序與變量的內存，以及用來與相鄰之數組運算單元進行通信的控制器；前述控制器系具備將輸入之前述數據存儲在前述內存中的裝置，將前述內存中之前述變量傳送到前述數組運算單元的裝置，以及將相鄰之前述數組運算單元所傳送的前述變量存儲在前述內存的裝置。
也就是說，系以硬體組裝前述數組運算單元的電路。前述數組運算單元，可使用用來處理輸入之前述數據的一般處理器，與用來存儲處理前述數據之程序與變量的一般內存。前述控制器，於前述數組運算單元為與最大4附近者相互結合時，只要對相鄰之前述數組運算單元傳送變量即可，但當前述數組運算單元必須與8附近以上者相互結合時，由於不包含在4附近者之前述數組運算單元的前述變量，暫時傳送至相鄰之前述數組運算單元，因此將前述前述變量再傳送給自己，即就能加以接收。又，利用將前述內存中之前述各變量傳送至相鄰之前述數組運算單元的前述裝置，亦能將自己的前述變量傳送至到未包含於4附近者的前述數組運算單元。據此，前述數組運算單元，就硬體裝置而言，雖僅與相鄰之前述數組運算單元接線，亦能與8附近以上之前述數組運算單元適當的進行前述數據之通信。又，能適當地解決前述課題中，有關硬體組裝及即實處理的各種問題。
附圖簡述第1圖系自框圖像計算移動物體數量之視覺裝置的方塊圖。
第2圖系使用物體/背景分離裝置，自框圖像計算移動物體數量之視覺裝置的方塊圖。
第3圖系自框圖像計算所有物體數量之視覺裝置的方塊圖。
第4圖系使用物體/背景分離裝置，自框圖像計算所有物體數量之視覺裝置的方塊圖。
第5圖系用來求出移動物體與靜止物體比例之視覺裝置的方塊圖。
第6圖系用來控制移動式攝像機之視覺裝置的方塊圖。
第7圖系生成物體規格化圖像之視覺裝置的方塊圖。
第8圖系輸出物體辨識結果之視覺裝置的方塊圖。
第9圖系生成環境地圖之視覺裝置的方塊圖。
第10圖系使用環境地圖，控制移動式攝像機之視覺裝置的方塊圖。
第11圖系計算任意物體數量之視覺裝置的方塊圖。
第12圖系利用幾何解析，進行高速化之視覺裝置的方塊圖。
第13圖系將數組運算單元配置成網格狀的方塊圖。
第14圖系顯示本實施形態之圖像存儲裝置之算法的流程圖。
第15圖系顯示本實施形態之圖像振動裝置之算法的流程圖。
第16圖系顯示本實施形態之邊緣信息生成裝置之算法的流程圖。
第17圖系使用數字圖像，將粗邊緣信息形成為形成邊緣信息時之說明圖。
第18圖系顯示本實施形態之邊緣信息形成裝置之算法的流程圖。
第19圖系將自低解析度數字圖像所生成之低解析度粗邊緣信息形成為形成邊緣信息時之說明圖。
第20圖系將自低解析度數字圖像所生成的低解析度粗邊緣信息領域切出後，形成為形成邊緣信息時的說明圖。
第21圖系檢測邊緣信息圖像中之物體位置及大小時的說明圖。
第22圖系顯示本實施形態之位置/大小檢測裝置之算法的流程圖。
第23圖系檢測物體領域圖像中之物體位置及大小時的說明圖。
第24圖系將數字圖像之切出領域加以規格化時的說明圖。
第25圖系顯示本實施形態之領域規格化裝置之算法的流程圖。
第26圖系顯示本實施形態之規格化圖像保持裝置之算法的流程圖。
第27圖系相對規格化圖像，自模板圖像中進行圖形匹配時的說明圖。
第28圖系顯示本實施形態之圖像辨識裝置中圖形匹配之算法的流程圖。
第29圖系顯示三角形之邊緣信息分離為三角形內側領域與外測領域之狀態的說明圖。
第30圖系顯示本實施形態之物體/背景分離裝置之算法的流程圖。
第31圖系顯示虛線狀態之三角形之邊緣信息分離為虛線三角形內側領域與外測領域之狀態的說明圖。
第32圖系顯示重疊兩個三角形之邊緣信息分離為兩個三角形領域與背景領域之狀態的說明圖。
第33圖系顯示重疊兩個圓形虛線狀態之邊緣信息分離為兩個圓形領域與背景領域之狀態的說明圖。
第34圖係數組運算單元之內部構造的方塊圖。
第35圖系控制器的方塊圖。
第36圖系顯示標記解碼器之輸入輸出信號的說明圖。
第37圖系顯示標記編碼器之輸入輸出信號的說明圖。
第38圖系顯示處理器透過控制器，將數據傳送至相鄰之的數組運算單元之算法的流程圖。
第39圖系顯示控制器自相鄰之數組運算單元接收數據之算法的流程圖。
第40圖系顯示處理器自上輸入緩存器接收數據之算法的流程圖。
實施發明的較佳方式以下，對顯示於第1～12圖之12個視覺裝置的實施形態加以說明。該等實施形態系利用圖像取得裝置11(參照第1圖)、圖像存儲裝置12(參照第1圖)、圖像振動裝置13(參照第3圖)、邊緣信息生成裝置14(參照第1圖及第3圖)、邊緣信息形成裝置15(參照第1圖)、物體/背景分離裝置16(參照第2圖)、位置/大小檢測裝置17(參照第1圖及第2圖)、像素計數裝置18(參照第1圖)、像素保持裝置19(參照第1圖及第5圖)等。圖像取得裝置11，是接收攝像機的攝像信號(框圖像1)，將之轉換為適當格式與大小的數字圖像111；圖像存儲裝置12是將數字圖像111存儲一定期間；圖像振動裝置13是使用數字電路，使數字圖像111振動；邊緣信息生成裝置14是根據兩種數字圖像111，生成移動物體2或靜止物體3的粗邊緣信息112；邊緣信息形成裝置15是將粗邊緣信息112形成為更明確的形成邊緣信息114；物體/背景分離裝置16是將形成邊緣信息114所區分的區域加以分離；位置/大小檢測裝置17是檢測形成邊緣信息114所區分或分離出之各區域的位置及大小；像素計數裝置18是自具有適當大小區域的位置，計算出區域數量；像素保持裝置19是輸出區域數量或區域數量的比例。
如第1圖所示，移動物體計數部101將攝像機所拍攝之動態圖像的框圖像1，輸入圖像取得裝置11，依照圖像存儲裝置12、邊緣信息生成裝置14、邊緣信息形成裝置15、位置/大小檢測裝置17、像素計數裝置18、像素保持裝置19的順序進行輸出入，輸出映在框圖像1之移動物體2的數量。又，框圖像1亦可是用數字相機連續拍攝的靜止圖像。
圖像取得裝置11從攝像機輸入動態圖像的框圖像1時，若動態圖像為模擬信號時，系使用一般的畫像框獲取板對框圖像1進行A/D轉換以轉換為數位訊號，形成數字圖像111。此外，特別是若能直接輸入CCD攝像組件等之電壓，亦可利用A/D轉換轉換為適當位數的數位訊號。當動態圖像為數位訊號時，若有被壓縮時，即加以展開，若未被壓縮，即原封不動地加以輸入。利用這種方法，因能切出動態圖像中任意的框圖像1，故切出該框圖像1形成數字圖像111。由於轉換後之數字圖像111會根據適當的格式而具有任意的圖像尺寸，故圖像取得裝置11能用像素單位，將圖像數據轉換為能參照的格式，於移動物體計數部101切出所需之圖像尺寸，作為數字圖像111加以輸出。若圖像取得裝置11能並行輸出數字圖像111的所有像素的話，自圖像取得裝置11至圖像存儲裝置12之通信，即能以各像素並行進行。
當圖像存儲裝置12從圖像取得裝置11輸入數字圖像111時，即配合移動物體計數部101的時間分辨能力或各裝置的計算能力，將數字圖像111存儲一定時間。也就是說，由於在此一定時間中，即使輸入數字圖像111，圖像存儲裝置12也不變更存儲圖像，因此後續各裝置能在不同的時點輸入相同的數字圖像111。而且，圖像存儲裝置12對數字圖像111並不施以圖像處理，故對數字圖像111的所有像素，系在保持二次元之相位關係下加以存儲。若圖像存儲裝置12能並行輸出數字圖像111之所有像素，自圖像存儲裝置12至邊緣信息生成裝置14之通信，即能以各像素並行進行。
當邊緣信息生成裝置14從圖像存儲裝置12輸入數字圖像111時，藉比較先前所輸入之數字圖像111，生成移動物體2之粗邊緣信息圖像113。由於邊緣信息生成裝置14能僅在各像素的附近處理時生成粗邊緣信息圖像113，因此適合併行化。若邊緣信息生成裝置14能並行輸出粗邊緣信息圖像113之所有像素，自邊緣信息生成裝置14至邊緣信息形成裝置15之通信，即能各像素並列進行。
當邊緣信息形成裝置15自邊緣信息生成裝置14輸入粗邊緣信息圖像113，即參照圖像存儲裝置12所存儲的數字圖像111，生成比數字圖像113更明確且明了的移動物體2之形成邊緣信息圖像115。由於邊緣信息形成裝置15能僅在各像素的附近處理生成形成邊緣信息圖像115，因此適合併列化。若邊緣信息形成裝置15能並列輸出形成邊緣信息圖像115的所有像素，自邊緣信息形成裝置15至位置/大小檢知裝置17之通信，即能各像素並列進行。
當位置/大小檢測裝置17自邊緣信息形成裝置15輸入形成邊緣信息圖像115時，即檢測形成邊緣信息114所指示之移動物體2的領域位置及大小。由於位置/大小檢知裝置17僅用各像素附近處理，即能生成顯示移動物體2之領域位置及大小之檢測結果的重複信息圖像132，因此適合併列化。若位置/大小檢知裝置17能並列輸出重複信息圖像132的所有像素，自位置/大小檢知裝置17至像素計數裝置18之通信，即能各像素並列進行。
當像素計數裝置18自位置/大小檢知裝置17輸入重複信息圖像132時，即能計算顯示適當大小之移動物體2之領域位置的像素數量。該處理，與其使用並列處理，不如使用逐次處理來進行較為方便。因此，重複信息圖像132的各像素系存儲於線性內存中。顯示移動物體2之領域位置的像素數量，系自像素計數裝置18輸出至像素數保持裝置19。
當像素數量保持裝置19自像素計數裝置18輸入像素數量時，即將像素數量轉換為2的補碼錶現或浮動小數點表現等輸出端所需的形式，進行必要期間之輸出。也就是說，移動物體計數部101能輸出移動物體數量。
前述各裝置，若能用獨立的硬體組裝的話，即能實施並行計算，故移動物體計數部101能具有實時性。因此，適用於計算移動速度快的物體數時，或以短時間處理大量的動態圖像時。另外，若幾個裝置能利用軟體組裝於一個處理器上的話，則計算速度雖然變慢但卻能價廉地加以製造。因此，非常適合即使輸出計數結果要花費數分鐘以上也無所謂的應用例。
當位置/大小檢測裝置17使用邊緣信息形成裝置15所生成的形成邊緣信息圖像115，檢測移動物體2的領域位置及大小時，有可能因移動物體2之密度，使顯示移動物體2之領域位置的像素數量與移動物體2之數量不同。主要原因是，形成邊緣信息114不一定是正確地抓出移動物體2之邊緣，以及位置/大小檢測裝置17無法從形成邊緣信息114辨別移動物體2的形狀。因此，若移動物體2的密度較高，就會組合不同移動物體2所生成的形成邊緣信息114，有時會與不存在的物體邊緣信息混在一起。為了解決這種問題，雖能根據形成邊緣信息114來辨別移動物體2之形狀，但以往的幾何解析方法由於系進行大區域處理，因此計算量變多，若欲提高辨別結果之精密度，計算時間即就會以指數函數變長。因此，利用附近處理，可使用物體/背景分離裝置16(參照第2圖)作為解決該問題的裝置。
當物體/背景分離裝置16自邊緣信息形成裝置15輸入形成邊緣信息圖像115時，即能將物體領域141所包含的像素與背景所包含的像素，分離成不同的組，將分離結果以組單位依序輸出。又，當物體領域141即使相鄰而能以形成邊緣信息114明確加以區別時，物體/背景分離裝置16，能將該等物體領域分離成不同的組。因此，組數也達到3以上。由於物體/背景分離裝置16能僅以附近處理分離出各像素中之物體領域141與背景，因此適合併列化。若物體/背景分離裝置16能並列輸出物體領域圖像142的所有像素，自物體/背景分離裝置16至位置/大小檢測裝置17之通信，即能各像素並列進行。
因此，如第2圖所示，藉使用物體/背景分離裝置16，即能僅以附近處理一面補足形成邊緣信息114，一面分離移動物體2的領域與其它的背景領域。此時，若移動物體2的領域類似圓形的話，換句話說，若移動物體2的領域中凹凸較少的話，位置/大小檢測裝置17就能抓出一定大小的領域，以特定位置。因此，若能事前知道移動物體2系類似圓形的話，像素計數裝置18即能藉使用物體/背景分離裝置16，能計算顯示特定大小之移動物體2之領域位置的像素數。也就是說，移動物體計數部101能輸出精度更高的移動物體數量。
以上，說明了計算動態圖像之二個以上的框圖像1中的移動物體2之數量時，移動物體計數部101是如何動作。接著，說明動態圖像之一個框圖像1中的移動物體2與靜止物體3的總數，也就是說，計算所有物體數量時之情形。
首先，基本動作與使用前述動態圖像之框圖像1計算移動物體2之數量的情形相同。也就是說，用適當的方法將框圖像1中之靜止物體3看起來是替換為框圖像1中的移動物體2即可。如此，由於會生成靜止物體3之粗邊緣信息112，因此移動物體計數部101亦能計算靜止物體3的數量。將靜止物體3視為移動物體2之最簡單的方法，即系使用振動臺等使攝像機(數字相機)或靜止物體3本身進行微細振動。但是，因該方法必須要有物理性裝置，故移動物體計數部101將會變的昂貴或複雜。另一方面，作為不使用物理性裝置的裝置，有圖像振動裝置13(參照第3圖)。
當圖像振動裝置13自圖像存儲裝置11輸入數字圖像111時，靜止物體3即在數字圖像111中，以圖像單位一起或像素單位個別之方式，在3像素前後的範圍上下左右地振動。若圖像振動裝置13能並列輸出數字圖像111的所有像素，自圖像振動裝置13至邊緣信息生成裝置14之通信，即能各像素並列進行。
因此，如第3圖所示，圖像振動裝置13，即使圖像取得裝置11所生成之數字圖像111中的靜止物體3，在3像素前後範圍上下左右地振動。據此，由於邊緣信息生成裝置14，就能將靜止物體3視為移動物體2，以生成靜止物體3的粗邊緣信息112，故所有物體計數部102，即能計算移動物體2與靜止物體3的總數，也就是說，能計算所有物體數量。
再者，與移動物體2及靜止物體3無關地，物體/背景分離裝置16僅利用形成邊緣信息114分離物體領域141與背景領域。因此，若能預先知道移動物體2及靜止物體3系類似於圓形的話，則如第4圖所示，將邊緣信息形成裝置15所生成的形成邊緣信息圖像115輸入物體/背景分離裝置16，將物體/背景分離裝置16所生成的物體領域圖像142輸入位置/大小檢測裝置17，據此，位置/大小檢測裝置17即能計算顯示特定大小的移動物體2及靜止物體3之領域位置的像素數量。也就是說，所有物體計數部102能輸出更高精度的所有物體數量。
另外，如上所述，視覺裝置使用計算動態圖像的框圖像1中的移動物體2之數量的移動物體計數部101，與大致具備相同裝置的所有物體計數部102，即能計算動態圖像1中的移動物體2及靜止物體3的總數。因此，考慮使用一個視覺裝置，同時計算移動物體2及靜止物體3的方法。此時，若能求出移動物體2及靜止物體3之數量的話，即能對所有物體容易地計算出移動物體2的比例，或靜止物體3的比例。以下，亦對用以求出移動物體2及靜止物體3之比例的視覺裝置加以說明。
求出移動物體2與所有物體的數量，且求出移動物體2及靜止物體3之比例之視覺裝置的整體構成，如第5圖所示，大致劃分為移動物體計數部101與所有物體計數部102所組成。移動物體計數部101與所有物體計數部102，是由前述各個裝置所構成。又，移動物體計數部101與所有物體計數部102的圖像取得裝置11及圖像存儲裝置12，由於系進行完全相同的動作，故在第5圖中，系共享圖像取得裝置11及圖像存儲裝置12。因此，重要的是移動物體計數部101的像素數保持裝置19，是從所有物體計數部102的像素計數裝置18輸入所有物體數，所有物體計數部102的像素數保持裝置19，是從移動物體計數部101的像素計數裝置18輸入移動物體數，利用比例切換信號等來自外部的信號，計算移動物體2及靜止物體3的比例進行切換以變換為浮動小數點表記等。當然，若不需計算移動物體2及靜止物體3的比例，或能利用別的裝置來實現的話，就不必將此機能加於像素數保持裝置19。相反的，當同時求移動物體數及靜止物體數時，只要在像素數保持裝置19追加對應之機能即可。藉在像素數保持裝置19中使用一般處理器，視覺裝置即能視用途自由地進行此種變更。
又，如上述之說明般，從權利要求1～3的視覺裝置(由移動物體計數部101及所有物體計數部102所構成)，是用來計算攝像機所拍攝之框圖像1中之移動物體2及靜止物體3之數量的裝置。因此，若移動物體2及靜止物體3是包含在框圖像1中的話，該等視覺裝置就能計算移動物體2及靜止物體3的數。但是，移動物體2及靜止物體3一旦偏離框圖像1的話，該等視覺裝置就無法計算移動物體2及靜止物體3的數量。因此，以下，就使用移動式攝像機10(參照第6圖)，一面常時搜索移動物體2及靜止物體3，一面計算其數量之權利要求4和5的視覺裝置加以說明。
首先，移動式攝像機10備有向水平方向及垂直方向移動的裝置，藉輸入來自外部之控制移動角度的指令，能進行各個搖動鏡頭及傾斜。又，移動式攝像機10備有變更拍攝圖像倍率的裝置，藉輸入來自外部之控制倍率的指令，能進行變焦。因此，移動式攝像機10，能根據來自外部的指令，使攝像機進行微細的振動。據此，移動式攝像機10所拍攝之動態圖像的框圖像1產生晃動，框圖像1中的物體被拍攝得宛如振動。也就是說，若使用移動式攝像機10的話，即不需使用所有物體計數部102的圖像振動裝置13，僅用移動物體計數部101即能計算所有物體的領域。這種方法為了使用移動式攝像機10之物理性裝置，在處理速度與計數精度等方面雖有問題，但由於僅用移動物體計數部101即能計算移動物體2與所有物體兩者的領域，故適合計算位於無法包含於框圖像1中之寬敞地方的移動物體2及靜止物體3。
此處，移動式攝像機10系能將根據搖動鏡頭、傾斜及變焦等移動指令之所移動之現在位置，視需要加以輸出，且亦能視需要將現在是移動中或是停止中等移動式攝像機10的狀態加以輸出者。此時，若視覺裝置能控制移動式攝像機10的搖動鏡頭、傾斜及變焦的話，該視覺裝置即能變更移動式攝像機10的方向及倍率，以使移動式攝像機10能常時用適當的大小拍攝移動物體2及靜止物體3。
因此，第6圖系顯示移動式攝像機10具備有能常時用適當的大小來拍攝移動物體2及靜止物體3的基本裝置之權利要求4的視覺裝置。此時，視覺裝置系根據機能，使用三種坐標系統，亦即使用攝像機坐標系統、圖像坐標系統及環境坐標系統。第一，攝像機坐標系統，如其字義，系移動式攝像機為了用各個最小控制單位控制移動鏡頭、傾斜及變焦所使用之攝像機內部的三次元球坐標系統。一般說來，攝像機坐標系統的原點，系稱為原點(home position)之移動式攝像機的固有位置。攝像機坐標系統是能顯示移動物體2及靜止物體3之物理位置的唯一坐標系統。即使如此，攝像機坐標系統，由於在每種移動式攝像機10中皆不同，故無一般性。因此，視覺裝置須對其他的裝置隱匿攝像機坐標系統。第二，圖像坐標系統系將移動式攝像機10所拍攝之框圖像1的中央作為原點、以像素為單位的二次元坐標系統。此系用來顯示移動物體2及靜止物體3究竟是位於框圖像1中的那一像素上。因此，圖像坐標系統，雖適合區別位於框圖像1中複數物體之微細的位置，但僅藉圖像坐標系統是無法顯示移動物體2及靜止物體3的物理位置。第三，環境坐標系統，是視覺裝置用來在內部邏輯上統一顯示移動物體2及靜止物體3之位置所使用的三次元球坐標系統。環境坐標系統在水平方向及垂直方向使用以弧度(radian)為單位的角度，為了顯示物體大小與離物體距離的積，在距離方向系使用以1.0為單位的實數。一般說來，由於物體的大小不會極端地變化，故可將到物體之距離與移動式攝像機10的倍率視為正比。環境坐標系統的原點為任意。亦即，原則上，環境坐標系統是用來顯示環境坐標系統上之任意2點的相對坐標。視覺裝置利用移動式攝像機10，藉將可攝影環境中的物體投影於環境坐標系統中，即能區別複數的物體。
因此，攝像機坐標系統及圖像坐標系統必須與各個環境坐標系統相互地進行轉換。擔負此角色的裝置即系攝像機/環境坐標轉換裝置20、圖像/環境坐標轉換裝置21及運動控制裝置23。該等裝置系自移動式攝像機10及圖像取得裝置11的規格，求出攝像機坐標系統及圖像坐標系統的各單位，以計算用以轉換為環境坐標系統之矩陣。又，亦可藉計算自攝像機坐標系統到環境坐標系統之轉換矩陣的逆矩陣，求出自環境坐標系統到攝像機坐標系統的轉換矩陣。不過，由於攝像機坐標系統的原點是移動式攝像機10的原點位置，因此自攝像機坐標系統轉換而來之環境坐標系統之位置，系環境坐標系統上移動式攝像機10之原點位置的相對位置。另一方面，自環境坐標系統轉換而來之攝像機坐標系統的位置，系攝像機坐標系統上自移動式攝像機10現在位置的相對位置。再者，由於圖像坐標系統是二次元坐標系統，故僅用圖像坐標系統是無法轉換為環境坐標系統。因此，圖像/環境坐標轉換裝置21，是使用環境坐標系統所顯示之移動式攝像機10的方向及倍率，與框圖像1中移動物體2及靜止物體3的領域大小，藉隨時計算隨時轉換矩陣，以自圖像坐標系統轉換為環境坐標系統。此外，自圖像坐標系統轉換而來之環境坐標系統的位置，成為自圖像中心的相對位置。
因此，權利要求4的視覺裝置的其它裝置，可視為為了常時以適當之大小拍攝移動物體2及靜止物體3，用來生成及轉換該三個坐標系統所顯示之移動物體2及靜止物體3位置的裝置。因此，以坐標系統攝像機坐標系統、圖像坐標系統及環境坐標系統為基礎，說明第6圖。
首先，圖像取得裝置11、邊緣信息生成裝置14及位置/大小檢測裝置14及大小檢測裝置17，系與移動物體計數部101及所有物體計數部102所構成之權利要求1～3的視覺裝置中所說明者相同。不過，權利要求1～3的視覺裝置中，系將生成邊緣信息形成裝置15所生成之形成邊緣信息圖像115輸入位置/大小檢測裝置17，至於權利要求4的視覺裝置中，則系將生成邊緣信息生成裝置14所生成之粗邊緣信息圖像113輸入位置/大小檢測裝置17。當然，在這種視覺裝置中，雖能藉使用邊緣信息形成裝置15，將形成邊緣信息圖像115輸入位置/大小檢測裝置17，但因下述之理由，該視覺裝置之性能，即使不使用邊緣信息形成裝置15亦已足夠。第一，該視覺裝置中，不需要如權利要求1～3的視覺裝置般，計算移動物體2及靜止物體3的領域數量。反而該視覺裝置中較重要的是，搜索移動物體2及靜止物體3，並將移動式攝像機10的方向與倍率對準於該方向。且，位置/大小檢測裝置17亦能自粗邊緣信息112，求出移動物體2及靜止物體3之領域數量的概略大小。第二，邊緣信息形成裝置15系使用邊緣信息生成裝置14所生成之粗邊緣信息圖像113，來生成形成邊緣信息圖像115。亦即，在邊緣信息形成裝置15生成形成邊緣信息圖像115之期間，移動物體2會產生移動。一般說來，由於移動式攝像機10具有物理性裝置，因此移動式攝像機10的移動速度不會太快。因此，當該視覺裝置使移動式攝像機10移動時，由於移動物體2的移動速度，而有來不及控制移動式攝像機10的可能。由於上述原因，權利要求4的視覺裝置，未必需要移動物體2及靜止物體3之明確且明了的形成邊緣信息114。
其次，攝像機/環境坐標轉換裝置20及圖像/環境坐標轉換裝置21，將用位置/大小檢測裝置17所生成之重複信息圖像132所顯示之移動物體2及靜止物體3的領域位置，轉換為環境坐標系統的位置。此時，若框圖像1中移動物體2及靜止物體3之領域位置的總數是2以上的話，環境坐標系統上亦存在兩個以上的位置。因此，為了控制移動式攝像機10之移動鏡頭、傾斜及變焦中任一項以使移動式攝像機10的方向及倍率對準一個物體，必須從環境坐標系統上的位置中選擇一個。位置選擇裝置22根據一定的判斷基準，選擇環境坐標系統上的一個位置。此處所使用之判斷基準主要如下。第一，選擇環境坐標系統上物體最近(或最大的)者。此系因物體較遠(或較小時)時，邊緣信息生成裝置14有可能生成噪聲，故儘量選擇環境坐標系統上之位置有物體之概率較高者。第二，當環境坐標系統上之一定範圍內，複數之位置集中時，選擇其中之一。這有兩種可能性。一是邊緣信息生成裝置14對一個物體生成分散的粗邊緣信息112的可能性，另一個是實際上存在複數個物體的可能性。第三，環境坐標系統上多數字置系大致相同距離(或大致相同大小)時，選擇離原點最近的位置，亦即，選擇離移動式攝像機10方向最近的位置。視用途與狀況適當組合上述事項，位置選擇裝置22即能選擇環境坐標系統上的一個位置。
又，權利要求4的視覺裝置，除了以位置選擇裝置22所選擇的位置外，亦能在下述位置求出搖動鏡頭、傾斜及變焦移動式攝像機10。首先，該視覺裝置必須使移動式攝像機10振動。因此，為了使移動式攝像機10振動，振動指令生成裝置25，將移動式攝像機10移動之位置指定為環境坐標系統上的位置。振動指令生成裝置25所指定之位置，系移動式攝像機10絕對不振動的範圍，而由擬似隨機數等加以決定。再者，權利要求4的視覺裝置，系藉輸入來自外部之控制指令以求出對移動式攝像機10進行搖動鏡頭、傾斜及變焦。至於一般的用途，由於系對移動式攝像機10現在面向的方向與倍率，進行移動鏡頭、傾斜及變焦，故使用控制指令輸入裝置24暫時存儲控制指令後，即算出將移動式攝像機10之現在位置作為原點之環境坐標系統上的位置。又，藉改良控制指令輸入裝置24，能容易地使移動式攝像機10移動至特定的位置。
因此，為了控制移動式攝像機10的移動鏡頭、傾斜及變焦，運動控制裝置23自前述環境坐標系統上的三個位置中選擇一個位置。運動控制裝置23自前述環境坐標系統上的三個位置中選擇一個位置時，以控制指令輸入裝置24、位置選擇裝置22、振動指令生成裝置25的順序，自有輸入位置之裝置加以選擇。所選擇的位置從環境坐標系統轉換為攝像機坐標系統。之後，利用攝像機指令生成裝置26，轉換為移動式攝像機10能辨識的指令，以傳送至移動式攝像機10。據此，權利要求4的視覺裝置，即能控制移動式攝像機10的移動鏡頭、傾斜及變焦。
又，視移動式攝像機10之機種，若不傳送特定指令給移動式攝像機10的話，就無法得到移動式攝像機10的狀態，亦即，無法得到移動式攝像機10之方向及倍率、與移動式攝像機10是在移動中還是停止中的信息。因此，運動控制裝置23自三個位置中選擇一個並輸出至在攝像機指令生成裝置26後，指示攝像機指令生成裝置26，以將詢問移動式攝像機10是否移動中的信息指令傳送給移動式攝像機10，從移動式攝像機10透過攝像機/環境坐標轉換裝置20，待機到接收該信息為止。若所接收的信息系顯示在移動中，即再一次指示攝像機指令生成裝置26，以將詢問移動式攝像機10是否移動中的信息指令傳送給移動式攝像機10。若所接收的信息系顯示停止中，即指示攝像機指令生成裝置26，以將詢問移動式攝像機10現在位置及倍率之指令傳送給移動式攝像機10。在此期間，運動控制裝置23不選擇三個位置。攝像機指令生成裝置26根據來自運動控制裝置23的指令，將對應的指令傳送給移動式攝像機10。攝像機/環境坐標轉換裝置20原封不動地將移動式攝像機10是否移動中的信息傳送給運動控制裝置23，另外，將移動式攝像機10的現在位置及倍率，自攝像機坐標系統轉換為環境坐標系統的位置。據此，權利要求4的視覺裝置，即能一面逐次調查移動式攝像機10的狀態，一面控制移動式攝像機10的移動鏡頭、傾斜及變焦。
到現在為止，已就具備有移動式攝像機10為常時以適當的大小拍攝框圖像1中之移動物體2及靜止物體3之基本裝置的權利要求4的視覺裝置，進行了說明。然而，並不表示移動物體2及靜止物體3是經常存在於移動式攝像機10所拍攝的範圍中，且移動物體2不久後即會自移動式攝像機10所拍攝的範圍移動到其它的位置。當然，若移動物體2移動，從移動式攝像機10所見之移動物體2的形狀及顏色當然變化。因此，以下所說明之權利要求5的視覺裝置，可視為在權利要求4的視覺裝置中，增加用來更正確地辨識框圖像1中之移動物體2及靜止物體3的形狀及顏色的若干裝置，與用來更正確地計算移動式攝像機10在一定時間內所拍攝之移動物體2及靜止物體3之數量的若干裝置，與更正確地使移動式攝像機10移動，以朝向在移動式攝像機10能拍攝之範圍內的移動物體2及靜止物體3之位置的裝置。
第7圖之視覺裝置，系在權利要求4的視覺裝置中追加邊緣信息形成裝置15、物體/背景分離裝置16、領域規格化裝置27及規格化圖像保持裝置28，以生成規格化圖像145者。邊緣信息形成裝置15、物體/背景分離裝置16，與由移動物體部101及所有物體計數部102所構成之權利要求1～3的視覺裝置的邊緣信息形成裝置15、物體/背景分離裝置16相同者。
當領域規格化裝置27分別輸入來自物體/背景分離裝置16及圖像取得裝置11之物體領域圖像142及數字圖像111時，即從數字圖像111切出分離物體領域143，一面使分離物體領域143變形，一面配合數字圖像111的圖像尺寸，儘可能利用內插及放大生成規格化圖像145。由於領域規格化裝置27僅用各像素之附近處理，即能將分離物體領域143進行規格化，因此適合併列化。若領域規格化裝置27能並列輸出規格化圖像145的全部像素，自領域規格化裝置27至規格化圖像保持裝置28之通信，即能各像素並列進行。
當規格化圖像保持裝置28自領域規格化裝置27輸入規格化圖像145時，若規格化圖像145之輸出端要求適當格式之規格化圖像145的話，即能將規格化圖像145轉換為規格化圖像145輸出端所要求的格式。之後，規格化圖像保持裝置28在將規格化圖像145確實地傳送至規格化圖像145的輸出端前，存儲規格化圖像145一定期間。規格化圖像保持裝置28若限定轉換格式的話，由於僅藉各像素附近處理即能轉換規格化圖像145，因此適合併列化。若規格化圖像保持裝置28能並列輸出規格化圖像145的全部像素，自規格化圖像保持裝置28至規格化圖像145之輸出端的通信，集能各像素並列進行。
因此，藉使用邊緣信息形成裝置15、物體/背景分離裝置16、領域規格化27及規格化圖像保持裝置28，即使權利要求4的視覺裝置所拍攝的移動物體2及靜止物體3，在框圖像1中的任意位置以任意的大小存在，第7圖之視覺裝置亦能儘量生成類似之移動物體2及靜止物體3的規格化圖像145。據此，當規格化圖像145之輸出端須辨識移動物體2及靜止物體3時，規格化圖像145的輸出端即不需考慮框圖像1中的移動物體2及靜止物體3的位置及大小，而能使用適當之辨識方法。
又，第7圖之視覺裝置中，在邊緣信息生成裝置14、邊緣信息形成裝置15、物體/背景分離裝置16、領域規格化27及規格化圖像保持裝置28間，各裝置所輸入之圖像解析度或影像大小並不一定要一致。例如，第7圖之視覺裝置，於邊緣信息生成裝置14中輸入降低數字圖像111之解析度的低解析度數字圖像116，另一方面，於邊緣信息形成裝置15中，輸入以適當之方法將邊緣信息生成裝置14所生成的低解析度粗邊緣信息圖像117之圖像尺寸放大為數字圖像111之圖像尺寸的粗邊緣信息圖像113，於物體/背景分離裝置16及領域規格化裝置27中輸入數字圖像111，即能減低邊緣信息生成裝置14的負載。亦即，幾乎不需改變邊緣信息形成裝置15以後所生成之規格化圖像145的品質，即能更高速地控制位置/大小檢測裝置17以後之移動式攝像機10的移動鏡頭、傾斜及變焦的控制。若進一步進行該方法，於邊緣信息形成裝置15中，輸入邊緣信息生成裝置14所生成之粗邊緣信息圖像117的圖像中切出存在粗邊緣信息112之領域的切出粗邊緣信息圖像119，於物體/背景分離裝置16及領域規格化27中，輸入自數字圖像111中切出與切出粗邊緣信息圖像119相同位置領域的數字圖像120，即能減低邊緣信息形成裝置15以後之規格化圖像145所生成的負載。此處，若能利用權利要求4的視覺裝置，使移動式攝像機10在框圖像1之中央以適當的大小拍攝移動物體2及靜止物體3的話，即能預先決定對數字圖像111的切出粗邊緣信息圖像119及切出數字圖像120的切出領域。據此，第7圖之視覺裝置，即能利用1臺移動式攝像機10，達成與使用廣角攝像機與高解析度攝像機的物體搜索裝置同樣的性能。
第8圖之視覺裝置，系在第7圖之視覺裝置中追加圖像辨識裝置29及辨識裝置保持裝置30，以生成辨識結果者。
當圖像辨識裝置29自領域規格化裝置輸入規格化圖像145時，使用適當之圖像辨識方法辨識規格化圖像145之移動物體2及靜止物體3的規格領域144，並輸出辨識結果。由於輸入圖像辨識裝置29之規格化圖像145，系利用領域規格化裝置27使移動物體2及靜止物體3變形，因此圖像辨識裝置29，與其使用行程抽出法、傅立葉轉換及哈佛轉換等對位置偏離較佳之方法進行幾何解析，倒不如進行輸入圖像與模板圖像之比較的圖像匹配方法較為合適。作為圖像匹配方法，可使用以誤差反傳播法(back propagation)而能學習模板圖像之傳播等的中性網絡。又，當使用中性網絡時，藉使用中性網絡的加速器，也能進行並列化及高速化。規格化圖像145的辨識結果，系自圖像辨識裝置29輸出到辨識結果保持裝置30。
當辨識結果保持裝置30自圖像辨識裝置29輸入規格化圖像145之辨識結果時，若辨識結果之輸出端要求適當格式之信號的話，即將辨識結果轉換為辨識結果輸出端所要求的格式。之後，辨識結果保持裝置30在能確實傳送辨識結果至辨識結果輸出端前，存儲辨識結果一定期間。
因此，藉使用圖像辨識裝置29及辨識結果保持裝置30，第8圖之視覺裝置能生成移動式攝像機10以適當之大小拍攝之移動物體2及靜止物體3的辨識結果。據此，辨識結果之輸出端，能利用第8圖之視覺裝置，作為移動式攝像機10所拍攝之移動物體2及靜止物體3的辨識裝置。
第9圖之視覺裝置，系在第8圖之視覺裝置增加環境理解裝置31、計時裝置32及環境地圖裝置保持33，以生成環境地圖。
計時裝置32系利用定時器電路以1釐米(mm)秒單位輸出現在時刻。現在時刻不斷地從計時裝置32輸出至環境理解裝置31。
當環境理解裝置31自圖像辨識裝置29輸入移動物體2及靜止物體3的辨識結果時，即作成由辨識結果、移動式攝像機10在環境坐標系統上的位置及現在時刻所構成的環境數據。又，當環境理解裝置31自圖像/環境坐標轉換裝置21，輸入框圖像1中全部之移動物體2及靜止物體3之領域在環境坐標系統上之位置時，即僅作成移動物體2及靜止物體3之領域數量的環境數據，該環境數據系由無效數據所構成的辨識結果、移動式攝像機10在環境坐標系統上的位置加上框圖像1中之一個移動物體2及靜止物體3之領域在環境坐標系統上之位置的位置，以及現在時刻所構成。此時，環境地圖系較現在時刻一定時間前所作成之環境數據的集合，環境數據中的位置系以將移動式攝像機10之原點作為原點的環境坐標系統來表示。環境理解裝置31，系隨時間之經過於對環境地圖追加及削除環境數據。此外，環境理解裝置31，在削除重複之內容的環境數據的同時，當辨識結果是無效數據的環境數據中的位置在辨識結果不是無效數據的其它環境數據中的位置附近時，削除辨識結果為無效數據的環境數據。再者，當辨識結果不是無效數據之環境數據中的位置，系在辨識結果不是無效數據之其它環境數據中的位置附近時，若該等環境數據中的辨識結果一致的話，即削除前者的環境數據，根據環境數據之記錄時間與環境數據中位置附近的範圍，決定環境地圖的精度。環境地圖系從環境理解裝置31輸出到環境地圖保持裝置33。
當環境地圖保持裝置33從環境理解裝置31輸入環境地圖時，若環境地圖之輸出端要求適當格式之信號的話，即將環境地圖轉換為環境地圖之輸出端所要求的格式。然後，環境地圖保持裝置33，在將環境地圖確實地傳送至環境地圖之輸出端前，存儲環境地圖一定時間。
因此，藉使用環境理解裝置31、計時裝置32及環境地圖保持裝置33，第9圖之視覺裝置，能特定移動式攝像機10所拍攝之移動物體2及靜止物體3的位置。據此，環境地圖之輸出端，能利用第9圖之視覺裝置，作為移動式攝像機10所能拍攝之移動物體2及靜止物體3之位置的特定裝置。
第10圖之視覺裝置，系在第9圖之視覺裝置中增加物體位置推算裝置，以將移動式攝像機10控制於物體之推算位置。
當物體位置推算裝置34從環境理解裝置31輸入環境地圖時，即選擇一個辨識結果為無效數據的環境數據，抽出該環境數據中的位置。從該位置減去利用攝像機/環境坐標轉換裝置20所計算之移動式攝像機10的環境坐標系統上的現在位置，物體位置推算裝置34，即能求出將移動式攝像機10之環境坐標系統上的現在位置作為原點，即使過去已生成粗邊緣信息112，但辨識結果尚未出現之移動物體2及靜止物體3在環境坐標系統上的相對位置。但是，於移動物體2之情形中，於現在該位置上不一定存在移動物體2。因此，該位置系有可能存在移動物體2及靜止物體3之移動物體2及靜止物體3的推算位置。另一方面，若環境地圖中沒有辨識結果為無效數據之環境數據的話，即在移動式攝像機10能移動之範圍內生成適當之環境坐標系統上的位置。此時，作為生成適當位置的基準，考率如下項目。第一，利用擬似隨機數，生成任意的位置。第二，計算環境地圖中之環境數據中的位置密度低的位置。第三，以適當之順序依序生成移動式攝像機10能移動之範圍內的位置。例如，於移動式攝像機10可移動之範圍內，從左上端的位置向右依序生成位置，到達右端後向下降一段，之後，向左依序生成位置，到達左端後向下降一段，之後，向右依序生成位置，反覆此種動作。視用途與狀況組合該等基準，即能有效地推算移動式攝像機10未拍攝之移動物體2及靜止物體3的推算位置。物體推算位置系從物體位置推算裝置34，輸出到運動控制裝置23。
此處，運動控制裝置23是以權利要求4的視覺裝置的運動控制裝置23為基準，作如下之變更。亦即，為了控制移動式攝像機10的移動鏡頭、傾斜及變焦，運動控制裝置23是用控制指令輸入裝置24、物體位置推算裝置34、位置選擇裝置22及振動指令生成裝置25的順序，從有輸入位置之裝置加以選擇。但是，運動控制裝置23必須不連續選擇來自物體位置推算裝置34的輸入位置。
因此，藉使用物體位置推算裝置34，第10圖之視覺裝置，即能搜索存在於移動式攝像機10能拍攝範圍的移動物體2及靜止物體3。據此，環境地圖之輸出端，能利用第10圖之視覺裝置，作為移動式攝像機10所能拍攝之移動物體2及靜止物體3之位置的特定裝置。
第11圖之視覺裝置，系在第10圖之視覺裝置中增加物體計數裝置35及物體數保持裝置36，以生成任意物體數。
當物體計數裝置35從環境理解裝置31輸入環境地圖時，即能在環境地圖中計算具有特定物體意義之辨識結果的環境數據數，以生成任意物體數。環境數據中之辨識結果，可從圖像辨識裝置29所辨識的物體種類中選擇任意數量。任意物體數是從物體計數裝置35輸出到物體數保持裝置36。又，若視用途而有需要時，藉變更物體計數裝置35，就能容易指定應從外部計數的物體種類。
當物體數保持裝置36從物體數裝置35輸入任意物體數時，在將任意物體數確實地傳送至任意物體數之輸出端前，存儲任意物體數一定時間。
因此，藉使用物體計數裝置35及物體數保持裝置36，第11圖之視覺裝置，能計算存在於移動式攝像機10能拍攝範圍內之特定移動物體2及靜止物體3的數量。據此，任意物體數輸出端，能利用第11圖之視覺裝置，作為移動式攝像機10所能拍攝之移動物體2及靜止物體3之位置的特定裝置。
如第12圖所示，權利要求5的視覺裝置，系在第11圖之視覺裝置中增加幾何解析裝置37，以正確且高速作成環境地圖。
當幾何解析裝置37從邊緣信息形成裝置15輸入形成邊緣信息圖像115時，即藉進行行程抽出法、傅立葉轉換及哈佛轉換等幾何解析，推算框圖像1中的移動物體2及靜止物體3的形狀，以生成幾何解析結果。而以往的圖像辨識，系從圖像本身直接抽出線部分，或使用不影響位置與大小等的各種轉換，進行辨識圖像中的物體。因此，雖然處理非常單純，但組合的數量龐大，其結果需要龐大的計算量，在得到所希望的結果前花費長的時間，或只能得到低品質的辨識結果。然而，權利要求5的視覺裝置，是對框圖像1中之移動物體2及靜止物體3的圖形辨識，由物體/背景分離裝置16、領域規格化裝置27及圖像辨識裝置29加以進行。因此，幾何解析裝置37使用形成邊緣信息圖像115，近對物體/背景分離裝置16、領域規格化裝置27及圖像認識裝置29所難以應付的移動物體2及靜止物體3的輪廓等圖形，以用簡單的方法大致進行解析，即能以圖像辨識裝置29省略不必要的圖形匹配，以環境理解裝置31正確且高速作成環境地圖，同時也能減低幾何解析裝置37本身的負載。幾何解析結果是從幾何解析裝置37，輸出到圖像辨識裝置29及環境理解裝置31。因此，圖像辨識裝置29及環境理解裝置31，分別進行如下的動作。
當圖像辨識裝置29從幾何解析裝置37輸入幾何解析結果時，首先，判斷是否為圖像辨識裝置29所辨識之對象的圖形。若幾何解析結果是對象外圖形的話，圖像辨識裝置29即不動作。若幾何解析結果是對象圖形的話，圖像辨識裝置29即使用對象圖形用的模板圖像，進行圖形匹配。例如，為以誤差逆傳播法進行學習之視感控制器(perceptron)時，對每一對象圖形進行視感控制器之學習，以作成學習數據，然後利用幾何解析結果，選擇學習數據，針對對象圖形有效地進行圖形匹配。亦即，若幾何解析結果是圓形的話，即僅利用人臉與球等圓形物體之學習數據，若幾何解析結果是三角形的話，即僅利用鐵路標誌與類似山等三角形物體之學習數據。如此，不僅能利用小型的視感控制器辨識多數物體之圖形，視感控制器本身也能有效地學習。
當環境理解裝置31從幾何解析裝置37輸入幾何解析結果時，首先，判斷是否為圖像辨識裝置29所辨識之對象的圖形。若幾何解析結果是對象外圖形的話，環境理解裝置31即立刻從環境地圖中削除環境數據(系位於移動式攝像機10之環境坐標系統上的位置附近，辨識結果為無效數據的環境資金)。據此，能從環境地圖中削除不必要的環境數據，即使不輸出物體位置推算裝置34等不必要的物體推算位置亦可。當幾何解析結果是對象圖形時，即待機到從圖像辨識裝置29輸入辨識結果。
因此，藉使用幾何解析裝置37，權利要求5的視覺裝置，能正確且高速計算存在於移動式攝像機10能拍攝範圍內之特定移動物體2及靜止物體3的數量。據此，任意物體數的輸出端，即能利用權利要求5的視覺裝置，作為高速計算移動式攝像機10能拍攝之特定移動物體2及靜止物體3之數量的裝置。
另外，從權利要求1～5的視覺裝置，所使用的圖像存儲裝置12、圖像振動裝置13、邊緣信息生成裝置14、邊緣信息形成裝置15、物體/背景分離裝置16、位置/大小檢測裝置17、領域規格化裝置27、規格化圖像保持裝置28及圖像辨識裝置29能使用由數組運算單元40(Array Operation Unit)所構成的數據處理裝置110，進行組裝。因此，以下以利用數組運算單元40之數據處理裝置110的實施形態為例，參照圖面說明從權利要求6～12的視覺裝置。
首先，數組運算單元40，使用輸入圖像的一個像素與其附近像素，生成輸出圖像的一個像素。因此，如第13圖所示，使數組運算單元40配合輸入圖像的大小，使用網格狀排列的數據處理裝置110，數據處理裝置110即能從輸入圖像生成輸出圖像。又，第13圖中，將數組運算單元40簡寫為AOU。其次，數組運算單元40可利用專用硬體來進行組裝，亦可在一般計算機上利用軟體來進行組裝。亦即，若能從輸入圖像生成輸出圖像的話，組裝裝置不受限制。因此，藉顯示數組運算單元40的算法，能顯示數據處理裝置110的圖像處理。因此，為了顯示數組運算單元40的算法，就圖像存儲裝置12(參照第1圖及第6圖)、圖像振動裝置13(參照第3圖、第4圖及第5圖)、邊緣信息生成裝置14(參照第1圖及第6圖)、邊緣信息形成裝置15(參照第1～5圖、第7～12圖)、物體/背景分離裝置16(參照第2、4、5、7～12圖)、位置/大小檢測裝置17(參照第1圖及第6圖)、領域規格化裝置27(參照第7圖)、規格化圖像保持裝置28(參照第7圖)及圖像辨識裝置29(參照第8圖)所使用的式，加以說明。
設寬度w、高度h、頻帶數b的任意2n色調為x、y、w,x、y、w是使用各個位置P(i、j、k)的頻帶像素值xijk、yijk、wijk，如式1、式2、式3所顯示。還有，粗體字是顯示向量。另外，n為非負的整數，w、h、b、i、j、k為自然數。
x={xijk｜xijkis value at p(i,j,k),l≤i≤w,1≤j≤h,1≤k≤b}(1)y={yijk｜yijkis value at p(i,j,k),l≤i≤w,l≤j≤h,1≤k≤b}(2)w={wijk｜wijkis value at p(i,j,k),1≤i≤w,1≤j≤h,1≤k≤b}(3)
首先，對前述圖像的各頻帶像素值，就有關點處理的函數，說明如下。
當圖像x轉換為二值圖像時，根據式4，將頻帶像素值加以二值化。ijk(x)={0otherwise1ifxijk>0,---(4)]]>當將圖像x轉換為頻帶最大值圖像時，根據式5，從i行j列像素的各頻帶值中，選擇最大值。又，由於前述頻帶最大值圖像為單頻帶圖像，故為了方便，將之作為頻帶數1之前述圖像加以處理。因此，函數Bijl(x)的第3附加字為1。Bijl(x)=maxk{xijk}---(5)]]>圖像x為二值圖像，當反轉圖像x時，根據式6加以計算。
Iijk(x)=1-xijk(6)圖像x的位置P(i、j、k)中的對數轉換是根據式7進行。在此式中，e為偏置，係為了使自然對數函數的輸出值在有效範圍而加以使用，一般說來，e=1即可。利用此對數化即能將頻帶像素彼此相除變為相減。另外，設圖像x為2n色調的數字圖像時，與頻帶數無關的，在內存上若具有包含2n個要素的一覽表的話，即不需每次計算自然對數函數，亦不需具有標準的對數表。
Lijk(x)=ln(xlmk+e)(7)另外，圖像的位置P(i、j、k)的q附近位置的集合Pijk(q)是以式8來顯示。但是，8q是4、8、24、48、80、120、(2r+1)2-1的連續序列，r是自然數。又，當超出圖像尺寸的位置包含於集合pijk(q)中時，即以無特別限定的位置p(i、j、k)加以取代。又，除此之外時，即根據指定，易像素值相當於0、且圖像所不包含的架空位置加以取代。據此，能自動地進行邊緣處理。因此，集合Pijk(q)的要素數Nijk經常為q。 接下來，就有關對圖像的各頻帶圖像值之最大8附近的附近處理的函數及運算子，說明如下。
圖像x的位置P(i、j、k)的振動是根據式9來進行。因此，從位置p(i、j、k)的q附近中，藉只選擇一個位置的方法，即能決定用圖像單位加以振動或用像素單位加以振動。若在圖像x的所有位置，以完全相同的方法從q附近中選擇一個的話，圖像x即以圖像單位振動。另一方面，若使用擬似隨機數等，隨機地從q附近中選擇一個的話，圖像x即以像素單位振動。
Ξijk(x)=xlmkfor only one of p(l,m,k)∈Pijk(q)(9)圖像x的位置p(i、j、k)的平滑化是根據式10來進行。但是，int(v)系捨去實數v的小數點以下之意。若圖像x的頻帶像素值是整數值的話，在組裝硬體時，藉變更電路以使Nijk=4時對x1mk的總和執行2次右偏移指令，Nijk=8時對x1mk的總和執行3次右偏移指令，即能省略執行相除的電路。Sijk(x)=int(1Nijkp(l,m,k)Pijk(q)xlmk)---(10)]]>雖是拉普拉斯運算碼的計算，但這是如式11所示，僅系2階差分運算子。在8的附近，捕捉噪聲的微妙變化零點及零交叉變多，故適合本發明。但，由於Nijk是4或8，因此若組裝硬體時，變更電路，以使Nijk=4時對xijk執行2次左偏移指令，Nijk=8時對xijK執行3次左偏移指令，即能省略實數之乘算的電路。ijk2x=p(l,m,k)Pijk(q)xlmk-Nijkxijk---(11)]]>根據利用拉普拉斯運算碼所求得的值，就尋找零點的方法而言，以往系尋找從正變化到負的像素，但本發明是根據式12，除了從負到正進行零交叉外的像素外，亦尋找從負到零或從零到正等經由零點、或持續零的像素。本發明，式12所尋找到的零點，並非在有邊緣的位置，而是在有噪聲的位置，亦即位於沒有邊緣的位置。又，亦同時根據式12進行實數值的二值化。Zijk(x)={0otherwise1ifxijk0andximk0for3p(l,m,k)Pijk(q),---(12)]]>就圖像x是任意的二值圖像而言，當彌補在圖像x中空孔的像素時，系根據式13進行計算。此處，f是顯示應彌補孔大小的參數，一般說來，f=1即可。又，4附近時，由於無法檢測其性質上的對角線，故儘量在8附近較佳。Fijk(x)={xijkotherwise1ifp(l,m,k)Pijk(q)xlmk+fNijk,---(13)]]>就圖像x是任意的二值圖像而言，當削除圖像x中孤立點或孤立孔時，系根據式14進行計算。又，4附近時，由於無法檢測其性質上的對角線，故儘量在8附近較佳。 就圖像x是任意的二值圖像而言，為了檢測圖像x中線寬為1的像素，系使用4附近像素，根據式15進行計算。Jijk(x)={0otherwisexijkifxi-ljk+xi+ljk=0orxij-lk+xij+lk=0,---(15)]]>若兩個圖像x、y是任意的二值圖像，圖像y系檢測圖像x中線寬為1之像素的話，為了擴充圖像x中線寬為1的像素線寬，系使用4附近像素，根據式16進行計算。Kijk(x,y)={xijkotherwise1ifyi-ljk+yi+ljk+yij-lk+yij+lk>0,---(16)]]>因此，若使用式15的線寬檢知與式16的線寬擴充的話，根據式17，即能簡單地記述二值圖像的線寬內插。
Cijk(x)=Kijk(x,J(x))(17)其次，就有關對圖像之各頻帶像素值之附近處理的函數及運算子，說明如下。當有兩個圖像x、y時，該等圖像的最大值圖像是根據式18來計算。Mijk(x,y)={yijkotherwise.xijkifxijkyijk,---(18)]]>當有兩個圖像x、y時，這些圖像的差分是根據式19來計算。
Dijk(x,y)=xijk-yijk(19)此處，若使用式11的算法與式19的差分的話，即能根據式20，簡單地記述圖像的清晰化。
Eijk(x)=Dijk(x,2ijkx)(20)當有兩個圖像x、y，圖像y是單頻帶二值圖像時，即能根據式21，使用圖像y的頻帶像素值函蓋圖像x各頻帶像素值。
Oijk(x,y)=xijkyijl(21)當有兩個圖像x、y，圖像x與圖像y是二值圖像時，即能根據式22，以圖像x為基準對圖像y進行整形。Qijk(x,y)={0otherwise.xijkifyijk+p(l,m,k)Pijk(q)ylmk>0,---(22)]]>當有兩個圖像x、y，圖像y是二值圖像時，根據式23，在圖像x的頻帶像素值附近中，用圖像y所指定圖像x的頻帶像素值的平均值，內插圖像y所未指定的圖像x的頻帶像素值。但是，int(v)系捨去實數v的小數點以下之意。Vijk(x,y)={xijkotherwise.int(p(l,m,l)Pijk(q)xlmkylmlp(l,m,l)Pijk(q)ylml)ifyijl=0andp(l,m,l)Pijl(q)ylml>0,---(23)]]>又，本發明中，像素位置與移動量等亦像圖像數據般單純地加以處理。這種處理叫做位置的圖像化。以下，就有關圖像化的幾個函數及運算子，加以說明。
首先，將位置p(l、m、o)的l、m、o各值作為圖像數據，將轉換為頻帶像素值的運算子作為#，將轉換的頻帶像素值作為#p(l、m、o)。其次，考慮頻帶像素值從位置P(i、j、k)移動到位置p(i+l、j+m、k+o)的情形。此時，頻帶像素值的移動量系以p(l、m、o)加以表示。亦即，可將移動量視為來自某位置的向量。最後，將從頻帶像素值取出位置的運算子作為#-1。因此，#-1#p(l、m、o)=p(l、m、o)。
此處，根據式24，可在以寬度方向與高度方向所顯示的平面內，將移動量p(i、j、k)朝向180度相反方向。
Υ(p(i,j, k))=p(-i,-j,k)(24)當有圖像x，圖像x是單頻帶二值圖像時，圖像x之位置p(i、j、k)的重心位置移動量是根據式25來計算。又，當計算本來重心時雖須進行除算，但由於計算有關8附近內的移動量時，除算被抵消，故式25省略了除算。Gijl(x)=p(p(l,m,l)Pijl(q)(l-i)xlml,p(l,m,l)Pijl(q)(m-j)xlml,0)---(25)]]>
從移動量P(i、j、k)，根據式26及27，計算有關至8附近內的移動量，即能使移動量圖像圖像化。又，式27，僅系利用在使用圖像的離散化用式26無法對應時。
因此，若使用式25、26及27的話，根據式28及29，能簡單地記述有關單頻帶二值圖像x之向重心方向的移動量圖像的頻帶像素值。又，移動量圖像的頻帶數為1。
Δ＇ijl(x)=θ(Gijl(x)) (28)Δ＇ijl(x)=θ′(Gijl(x))(29)另一方面，由於使用式24能求出重心位置的相反位置，故根據式30，能簡單地記述有關單頻帶二值圖像x之重心與向相反方向的移動量圖像的頻帶像素值。又，移動量圖像的頻帶數為1。
Rijl(x)=θ(γ(Gijl(x))) (30)當有兩個圖像x、y，圖像y是移動量圖像時，根據式31，將圖像x的頻帶像素值移動至圖像y所指示的移動位置後，能將移動至相同頻帶像素之頻帶像素值的總和作為為濃淡圖像。
Гijk(x,y)=∑xlmkfor p(l,m,1)∈Pijl(g)and#-1yiml=p(i-l,j-m,0)。 (31)此處，使用式4、28、29及31，根據式32或33，將單頻帶濃淡圖像x移動到附近的重心方向後，即能簡單地記述移動至相同頻帶像素之頻帶像素值的總和。
∧＇ijl(x)=Γij1(x,Δ(φ(x))) (32)∧＇ijl(x)=Γijl(x,Δ′(φ(x))) (33)當有兩個圖像x、y，圖像x為二值圖像，圖像y為移動量圖像時，由於能求出圖像x之各頻帶像素值之移動端的位置，故能找出移動端重複的頻帶像素值。因此，圖像x之各頻帶像素值的移動端不至重複，且，能顯示移動之各頻帶像素值存在之能移動圖像的頻帶像素值，是根據式34生成。又，能移動圖像的頻帶數為1。 當有三個圖像x、y、w，圖像x為能移動圖像，圖像w為移動量圖像時，能根據式35，移動圖像x的頻帶像素值。 此處，若使用式30、34及35的話，根據式36，在與二值圖像y所計算的重心位置相反方向，能移動圖像x的頻帶像素，簡單地記述所得到的圖像的頻帶像素值。
Uijk(x,y)=Τijk(x,H(y, R(y)),R(y)) (36)使用式1到式36，能記述組裝圖像存儲裝置12(參照

圖1及圖6)、圖像振動裝置13(參照第3圖、第4圖及第5圖)、邊緣信息生成裝置14(參照第1圖及第6圖)、邊緣信息形成裝置15(參照第1～5圖、第7～12圖)、物體/背景分離裝置16(參照第2、4、5、7～12圖)、位置/大小檢測裝置17(參照第1圖及第6圖)、領域規格化裝置27(參照第7圖)、及規格化圖像保持裝置28(參照第7圖)的數據處理裝置110的所有數組運算單元40的算法。以下，使用數據處理裝置110中的任意數組運算單元40的算法，就對應圖像振動裝置13、邊緣信息生成裝置14、邊緣信息形成裝置15、位置/大小檢測裝置17及領域規格化裝置27，從權利要求6～10的視覺裝置，加以說明。
數據處理裝置110所實現的圖像存儲裝置12(參照第1圖及第6圖)為了存儲數字圖像111，網格狀排列的數組運算單元40系同步並列地動作。假設格子上i行j列所配置的數組運算單元40為AOUij，則AOUij的算法如第14圖所示。
在步驟1201中，將AOUij配置在格子上的i行j列。無論在邏輯上或物理上，此係為了決定AOUij的附近所需者。
在步驟1202，設定AOUij的附近與變量的初始值。
在步驟1203中，判斷依序輸入的數字圖像111是否已經沒有。若無數字圖像111的話(步驟1203:YES)，即結束算法。若有數字圖像111的話(步驟1203:NO)，即移到步驟1204。但，當僅對特定的圖像尺寸進行組裝數組運算單元40時，即使是無限迴路亦可。
在步驟1204中，到數字圖像111準備完成止，進行輸入等待。
在步驟1205中，輸入數字圖像111的i行j列像素的頻帶數部分。因此，AOUij至少需要有存儲頻帶數部分的圖像數據的內存42。
在步驟1206中，為了在輸入等待期間能夠進行輸出，系存儲數字圖像111的i行j列的像素。
在步驟1207中，輸出數字圖像111的頻帶像素值。之後，回到步驟1203。
據此，使用由數組運算單元40所構成的數據處理裝置110，對應圖像存儲裝置12的視覺裝置即能存儲數字圖像111。
利用數據處理裝置110所實現的權利要求6的圖像振動裝置13(第3圖、第4圖及第5圖)，為了使數字圖像111振動，網格狀排列的數組運算單元40系同步並列動作。設網格狀排列的數組運算單元40為AOUij，則AOUij的算法如第15圖所示。
在步驟1301中，將AOUij配置在格子上的i行j列。無論在邏輯上或物理上，此係為了決定AOUij的附近所需者。
在步驟1302中，設定AOUij的附近與變量的初始值。
在步驟1303中，判斷依序輸入的數字圖像111是否已經沒有。若無數字圖像111的話(步驟1303:YES)，即結束算法。若有數字圖像111的話(步驟1303:NO)，即移到步驟1304。但，當僅對特定的圖像尺寸進行數組運算單元40時，即使是無限迴路亦可。
在步驟1304中，輸入數字圖像111的i行j列的像素的頻帶數部分。因此，AOUij至少需要有存儲頻帶數部分的圖像數據的內存42。
在步驟1305中，根據函數Ξjk(x)，將圖像111的i行j列的圖像移動到附近圖像的一個像素。
在步驟1306中，輸出數字圖像111的頻帶像素值。之後，回到步驟1303。
據此，使用由數組運算單元40所構成的數據處理裝置110，對應圖像存儲裝置13的權利要求6的視覺裝置，即能使數字圖像111振動。
利用數據處理裝置110所實現的權利要求7的邊緣信息生成裝置14(參照第1圖及第6圖)，為了從數字圖像111生成粗邊緣信息圖像113，網格狀排列的數組運算單元40系同步並列動作。設格子上i行j列所排列的數組運算單元40為AOUij，則對應邊緣信息生成裝置14的AOUij算法如第16圖所示。
在步驟1401中，將AOUij配置在格子上的i行j列。無論在邏輯上或物理上，此係為了決定AOUij的附近所需者。
在步驟1402中，設定AOUij的附近與變量的初始值。在附近的設定中，也可個別地決定前述各函數所使用的附近大小q為4或8，也可將全部統一為4或8。本發明的邊緣信息生成裝置14，為了提高所生成的粗邊緣信息112的正確度，藉控制計算時間與數字圖像111的頻帶數等，邊緣信息生成裝置14可視需要改變適當附近大小來加以處置。
在步驟1403中，判斷數字圖像111是否已結束。若無數字圖像111的話(步驟1403:YES)，即結束算法。若有數字圖像111的話(步驟1403:NO)，亦結束算法。但，當對特定的頻帶數與圖像尺寸，組裝數組運算單元40時，即使是無限迴路亦可。
在步驟1404中，輸入數字圖像111的i行j列像素的頻帶數部分。這是因為AOUij系一次性的處理數字圖像111的i行j列的像素的關係。因此，AOUij至少需要有存儲頻帶數部分的圖像數據的內存42。
在步驟1405中，AOUij利用與附近的數組運算單元40之通信，對所輸入之數字圖像111的各頻帶像素值，根據Sijk(x)進行平滑化。已平滑化的頻帶像素值被作為平滑化圖像的頻帶像素值加以處理。此處，函數Sijk(x)也可視需要反覆數次。一般的彩色圖像時，2次即足夠。
在步驟1406中，對平滑化的各頻帶像素值，根據函數Lijk(x)進行對數轉換。已進行對數轉換的頻帶像素值被作為對數轉換圖像的頻帶像素值加以處理。
在步驟1407中，AOUij利用與附近的數組運算單元40之通信，對對數轉換的各頻帶像素值，根據Eijk(x)進行清晰化。已清晰化的頻帶像素值被作為清晰化圖像的頻帶像素值加以處理。
在步驟1408中，對清晰化圖像的各頻帶像素值，根據函數Dijl(x,y)，減去輸入1前之清晰化圖像的各頻帶像素值。計算差分的頻帶像素值被作為時間差分圖像的頻帶像素值加以處理。
在步驟1409中，用清晰化圖像所對應的各頻帶像素值，取代輸入1前之清晰化圖像的各頻帶像素值。
在步驟1410中，AOUij是利用與附近的數組運算單元40之通信，對時間差分圖像的頻帶像素值，根據運算子2ijkx進行拉普拉斯運算碼的計算。計算拉普拉斯運算碼的頻帶像素值，被作為時間差分拉普拉斯運算碼圖像的頻帶像素值加以處理。
在步驟1411中，AOUij是利用與附近的數組運算單元40之通信，對時間差分拉普拉斯運算碼圖像的各頻帶像素值，根據函數Zijk(x)抽出零點。抽出零點的頻帶像素值被作為時間差分零點圖像的頻帶像素值加以處理。
在步驟1412中，對時間差分拉普拉斯運算碼圖像的各頻帶像素值，根據函數Bijl(x)在各頻帶像素中檢測最大值。經檢測的最大值頻帶像素值，被作為最大值時間差分零點圖像的頻帶像素值加以處理。又，為方便起見，頻帶數為1。
在步驟1413中，AOUij是利用與附近的數組運算單元40之通信，對清晰化圖像的各頻帶像素值，根據根據運算子2ijkx進行拉普拉斯運算碼的計算。計算拉普拉斯運算碼的頻帶像素值，被作為時間差分拉普拉斯運算碼圖像的頻帶像素值加以處理。
在步驟1414中，AOUij是利用與附近的數組運算單元40之通信，對拉普拉斯運算碼圖像的各頻帶像素值，根據函數Zijk(x)抽出零點。抽出零點的頻帶像素值被作為時間差分圖像的頻帶像素值加以處理。
在步驟1415中，對拉普拉斯運算碼圖像的各頻帶像素值，根據函數Bij1(x)在各頻帶像素中檢測最大值。經檢測的最大值頻帶像素值，被作為最大值時間差分零點圖像的頻帶像素值。又，為方便起見，頻帶數為1。
在步驟1416中，對拉普拉斯運算碼圖像的各頻帶像素值與時間差分拉普拉斯運算碼圖像的各頻帶像素值，根據函數Mijk(x,y)在位於各圖像相同位置的頻帶像素值中，檢測最大值。經檢測的最大頻帶像素值，被作為混合零點圖像的頻帶像素植。又，為方便起見，頻帶數為1。
在步驟1417中，AOUij是利用與附近的數組運算單元40之通信，對混合零點圖像的頻帶像素值，根據函數Fijk(x)除去孔。經除去孔的頻帶像素值，被作除去混合零點圖像的頻帶像素值。又，為方便起見，頻帶數為1。此處，函數Fijk(x)可視需要反覆數次。一般的彩色圖像時，1次即足夠。
在步驟1418中，AOUij是利用與附近的數組運算單元40之通信，對除去孔混合零點圖像的頻帶像素值，根據函數Aijk(x)除去孤立點及孤立孔。經除去孤立點及孤立孔的頻帶像素值，被作為除去噪聲混合零點圖像的頻帶像素值加以處理。又，為方便起見，頻帶數為1。
在步驟1419中，對除去混合零點圖像的頻帶像素值，根據函數Iijk(x)反轉0與1。經反轉的頻帶像素值，被作為粗邊緣信息圖像113的頻帶像素值加以處理。
在步驟1402中，輸出粗邊緣信息圖像113的頻帶像素值。之後，回到步驟1403。
因此，使用由數組運算單元40所構成的數據處理裝置110，對應邊緣信息生成裝置14的權利要求7的視覺裝置，能從數字圖像111生成粗邊緣信息圖像113。
如第17圖所示，根據數據處理裝置110所實現的邊緣信息形成裝置15(參照第1～5圖，7～12圖)，為了根據粗邊緣信息112所構成的權利要求8的粗邊緣信息圖像113及數字圖像111，生成由形成邊緣信息114所構成的形成邊緣信息圖像115，網格狀排列的數組運算單元40是同步並列動作。設格子上i行j列所配置的數組運算單元40為AOUij,AOUij的算法則如第18圖所示。
在步驟1501中，將AOUij配置在i行j列。無論在邏輯上或物理上，此係為了決定AOUij的附近所需者。
在步驟1502中，設定AOUij的附近與變量的初始值。在附近設定時，可個別決定前述各函數所使用的附近大小q為4或8，也可將全部統一為4或8。本發明的邊緣信息信息形成裝置15，為了提高所形成的形成邊緣信息114的正確性，將附近大小q全部設定為8較佳。但，為了形成粗邊緣信息112，利用計算時間的限制與所輸入的數字圖像111的頻帶數等，邊緣信息形成裝置15，可視需要適當地變更附近尺寸，以進行處置。
在步驟1503中，判斷依序輸入的數字圖像111或粗邊緣信息圖像113是否已經沒有。若數字圖像111或粗邊緣信息圖像113兩者皆無的話(步驟1503:YES)，即結束算法。若數字圖像111或粗邊緣信息圖像113兩者皆有的話(步驟1503:NO)，即移到步驟1504。但，當對特定的頻帶數與圖像尺寸組裝數組運算單元40時，作為無限迴路亦可。
在步驟1504中，輸入數字圖像111及粗邊緣信息圖像113的i行j列像素的頻帶數部分。這是因為AOUij為了一次性的處理數字圖像111及粗邊緣信息圖像113的i行j列的像素的關係。因此，AOUij至少需要存儲頻帶數部分的圖像數據的內存42。
在步驟1505中，分離數字圖像111的i行j列的像素與粗邊緣信息圖像113的i行j列的像素。這是因為AOUij將數字圖像111的i行j列的像素與粗邊緣信息圖像113的i行j列的像素，作為分別獨立的圖像像素加以處理的關係。若數字圖像111的i行j列的像素與粗邊緣信息圖像113的i行j列的像素，在一開始時即以分離狀態加以輸入的話，即無需進行任何處理。
在步驟1506中，AOUij利用與附近的數組運算單元40之通信，對所輸入的數字圖像111的各頻帶像素值，根據函數Sijk(x)進行平滑化。經平滑化的頻帶像素值，被作為平滑化圖像的頻帶像素值加以處理。此處，函數Sijk(x)也可視需要反覆數次。一般的彩色圖像時，2次即足夠。
在步驟1507中，對平滑化圖像的各頻帶像素，根據Lijk(x)進行對數轉換。經對數轉換的頻帶像素值，被作為對數轉換圖像的頻帶像素值加以處理。
在步驟1508中，AOUij是利用與附近的數組運算單元40之通信，對像素值根據函數Eijk(x)進行清晰化。經清晰化的頻帶像素值，被作為清晰化圖像的頻帶像素值加以處理。
在步驟1509中，AOUij是利用與附近的數組運算單元40之通信，對清晰化圖像的各頻帶像素值，根據操作2ijkx進行拉普拉斯運算碼計算。經計算拉普拉斯運算碼的頻帶像素值，被作為拉普拉斯運算碼圖像的頻帶像素值加以處理。
在步驟1510中，AOUij是利用與附近的數組運算單元40之通信，對拉普拉斯運算碼圖像的各頻帶像素值，根據函數Zijk(x)抽出零點。經抽出零點的頻帶像素值，被作為零點圖像的頻帶像素值加以處理。
在步驟1511中，對零點圖像的頻帶像素值，根據函數Bijl(x)在各頻帶像素值中檢測最大值。所檢測的最大頻帶像素值，被作為最大值零點圖像的頻帶像素值加以處理。又，為方便起見，頻帶數為1。
在步驟1512中，對最大值零點圖像的頻帶像素值，根據函數Iijk(x)反轉0與1。經反轉的頻帶像素值，被作為基礎邊緣信息圖像的頻帶像素值加以處理。
在步驟1513中，所輸入的粗邊緣信息圖像113的頻帶像素值，最初被作為整形粗邊緣信息圖像的頻帶像素值加以處理，AOUij利用與附近的數組運算單元40之通信，使用基礎邊緣信息圖像的頻帶像素值，對整形粗邊緣信息圖像的頻帶像素值，根據函數Qijk(x,y)進行整形。經整形的頻帶像素值，再被作為整形粗邊緣信息圖像的頻帶像素值加以處理。此處，函數Qijk(x,y)系反覆到本來整形粗邊緣信息圖像的頻帶像素值不再變化為止。但，根據計算時間的限制、所輸入的粗邊緣信息圖像113的品質、所形成的形成邊緣信息圖像115所求的品質等，整形處理藉適當的反覆次數來結束算法較佳。
在步驟1514中，AOUij是利用與附近的數組運算單元40之通信，對整形粗邊緣信息圖像的頻帶像素值，根據函數Cijk(x)進行線寬內插。經內插的頻帶像素值，被作為形成邊緣信息圖像115的頻帶像素值加以處理。
在步驟1515中，輸出形成邊緣信息圖像115的頻帶像素值。之後，回到步驟1503。
因此，使用由數組運算單元40所構成的數據處理裝置110，對應邊緣信息形成裝置15的權利要求8的視覺裝置，能生成由粗邊緣信息圖像113所構成的形成邊緣信息圖像115。
此處，所謂從粗邊緣信息圖像113到形成邊緣信息圖像115的形成，可視為從拍攝某情形之低解析度的數字圖像111所生成的邊緣信息，推算拍攝相同情形之高解析度之數字圖像111所生成的邊緣信息。此處，對自然數n，如第19圖所示，根據降低數字圖像111解析度1/n之低解析度數字圖像116，使用邊緣生成裝置14生成低解析度粗邊緣信息圖像117時，將低解析度粗邊緣信息圖像117放大n倍，即能生成粗邊緣信息圖像113。但，為了將數字圖像111的解析度設定在1/n，於水平及垂直方向單純地自數字圖像111的連續n個中抽出1個即可。此外，為了將低解析度粗邊緣信息圖像117放大n倍，於水平及垂直方向單純地將低解析度粗邊緣信息圖像117的連續像素間頻帶像素值為0的像素彌補n-1個即可。此時，若n不太大的話，實現邊緣信息形成裝置15的數據處理裝置110，形成放大低解析度粗邊緣信息圖像117的粗邊緣信息圖像113的形成邊緣信息圖像115，與實現邊緣信息形成裝置15的數據處理裝置110，形成由數字圖像111所生成的粗邊緣信息圖像113的形成邊緣信息圖像115，大致相同。其理由是因為邊緣信息形成裝置15，在使用數字圖像111於內部生成的邊緣信息中使用哪一個邊緣信息來做為參考，邊緣信息形成裝置15僅使用粗邊緣信息圖像113的關係。因此，當將放大低解析度粗邊緣信息圖像117的粗邊緣信息圖像113，輸入邊緣信息形成裝置15時，從低解析度數字圖像116實現生成粗邊緣信息圖像117的邊緣信息生成裝置13的數據處理裝置110，能減低硬體量。
若進一步發展該方法，如第20圖所示，在降低數字圖像111之解析度的低解析度數字圖像116所生成的低解析度粗邊緣信息圖像117中，能生成切出粗邊緣信息112周邊的低解析度切出粗邊緣信息圖像118。若將放大該低解析度切出粗邊緣信息圖像118的切出粗邊緣信息圖像119，與在數字圖像111中切出相同領域的切出數字圖像120，輸入實現邊緣信息形成裝置14的數據處理裝置110的話，即能生成切出形成邊緣信息圖像121。此時，實現邊緣信息形成裝置14的數據處理裝置110，能減低硬體量。
如第21圖所示，利用數據處理裝置110來實現的權利要求9的位置/大小檢測裝置17(參照第1圖及第6圖)，為了從將粗邊緣信息112作為像素的粗邊緣信息圖像113，生成將重複信息131作為像素的重複信息圖像132，網格狀排列的數組運算單元40系同步並列地動作。設格子上i行j列所配置的數組運算單元40為AOUij，則AOUij的算法如第22圖所示。
在步驟1701中，將AOUij配置在格子上i行j列。此系理論性或物理性，此係為了決定AOUij的附近所需者。
在步驟1702中，設定AOUij的附近與變量的初始值。在附近的設定時，可個別設定前述各函數所使用的附近大小q，亦可將全部統一。本發明的數據處理裝置110，為了提高所生成的重複信息圖像132的正確性，最好是能將附近大小q全部設定較大的值。但，若因為計算物體的粗邊緣信息112的重心所利用計算時間的限制、所輸入的粗邊緣信息圖像113的尺寸等，位置/大小檢測裝置17可視需要適當地變更附近尺寸，以進行處置。
在步驟1703中，判定依序輸入的粗邊緣信息圖像113是否已經沒有。若無粗邊緣信息圖像113的話(步驟1703:YES)，即結束算法。若有粗邊緣信息圖像113的話(步驟1703:NO)，即移到步驟1704。但，當僅對特定的圖像尺寸進行組裝數組運算單元40時，作為無限迴路亦可。
在步驟1704中，輸入粗邊緣信息圖像113的i行j列的像素1頻帶部分。因此，AOUij至少需要存儲1頻帶部分的圖像數據的內存42。
在步驟1705中，將粗邊緣信息圖像113的粗邊緣信息112轉換為重複信息圖像132的重複信息131。重複信息131為相當於1或0的頻帶像素值。
在步驟1706中，AOUij是利用與附近的數組運算單元40之通信，對重複信息圖像132的各頻帶像素值，根據函數Aijl(x)計算移動量。已將移動量圖像化的頻帶像素值，被作為移動量圖像的頻帶像素值加以處理。
在步驟1707中，AOUij是利用與附近的數組運算單元40之通信，根據函數Aijl(x)使重複信息圖像132的各頻帶像素值移動。移動的頻帶像素值，重新被作為重複信息圖像132的頻帶像素值加以處理。
在步驟1708中，判斷顯示從步驟1706到步驟1707的反覆次數是否已達到指定次數。若移動次數沒達到指定次數的話(步驟1708:NO)，即回到步驟1706。若移動次數已達到指定次數的話(步驟1708:YES)，即移到步驟1709。又，該指定次數是由粗邊緣信息圖像113的大小與顯示粗邊緣信息112的物體大小，及附近的大小q所決定。若視利用目的設定適當的參數，即使大致決定指定次數亦無問題，但若指定次數過多，檢測位置及大小所需要的時間就會變長。
在步驟1709中，AOUij是利用與附近的數組運算單元40之通信，對重複信息圖像132的各頻帶像素值，根據函數Δ』Cijl(x)計算移動量。已將移動量圖像化的頻帶像素值，被作為移動量圖像的頻帶像素值加以處理。
在步驟1710中，AOUij是利用與附近的數組運算單元40之通信，根據函數Λ』Cijl(x)使重複信息圖像132的各頻帶像素值移動。移動的頻帶像素值，重新被作為重複信息圖像132的各頻帶像素值加以處理。
在步驟1711中，輸出重複信息圖像132的頻帶像素值。之後，回到步驟1703。
又，重複信息圖像132的各重複信息131，由於系以其位置為中心之周邊的粗邊緣信息112的總數加以顯示，故其結果，意味著以其位置為中心的物體的大小。
據此，使用由數組運算單元40所構成的數據處理裝置110，對應位置/大小檢測裝置17的權利要求9的視覺裝置，能從粗邊緣信息圖像113生成重複信息圖像132。當然，權利要求9的視覺裝置，亦能不使用粗邊緣信息圖像113，從形成邊緣信息圖像115生成重複信息圖像132。因此，使用由數組運算單元40所構成的數據處理裝置110，對應位置/大小檢測裝置17的視覺裝置，能從形成邊緣信息圖像115生成重複信息圖像132。
在第22圖之算法中，若使用顯示物體領域141的物體領域圖像142取代由粗邊緣信息112所構成的粗邊緣信息圖像113的話，如第23圖所示，利用數據處理裝置110所實現的位置/大小檢測裝置17(參照圖2及圖4)，也能從顯示物體領域141的物體領域圖像142，生成顯示重複信息131的重複信息圖像132。但，當使用物體領域圖像142時，重複信息131的重複信息圖像132，系以其位置為中心的物體領域141的像素總數加以顯示，故其結果，意味著以其位置為中心的物體的面積。因此，當從重複信息圖像132求物體的大小時，要注意使用重複信息131的平方根等。
如第24圖所示，利用數據處理裝置110所實現的權利要求10的領域規格化裝置27(參照第7圖)，為了生成包含物體領域141的物體領域圖像142及從數字圖像111包含規格領域144的規格化圖像145，網格狀排列的數組運算單元40是同步並列進行動作。設配置在格子上i行j列的數組運算單元40為AOUij，則AOUij的算法如第25圖所示。
在步驟2701中，將AOUij配置在格子上i行j列。此系理論性或物理性，此係為了決定AOUij的附近所需者。
在步驟2702中，設定AOUij的附近與變量的初始值。在附近的設定時，可個別設定前述各函數所使用的附近大小q，亦可將全部統一。本發明的領域規格化裝置27，為了提高所生成的規格化圖像145的正確性，最好是能將附近大小q全部設定為較大的值。但，為了將分離物體領域143規格化所使用之計算時間的限制、所輸入的數字圖像111的大小等因素，領域規格化裝置27可視需要適當變更附近尺寸，以進行處置。
在步驟2703中，判斷依序輸入的物體領域圖像142或數字圖像111是否已經沒有。若無物體領域圖像142或數字圖像111的話(步驟2703:YES)，即結束算法。若有物體領域圖像142或數字圖像111的話(步驟2703:NO)，即移到2704。但，當僅對特定的頻帶數及圖像尺寸，組裝數組運算單元40時，設定為無限迴路亦可。
在步驟2704中，輸入1頻帶部分物體領域圖像142的i行j列的像素，與頻帶數部分數字圖像111的i行j列的像素。這是因為AOUij系一次性的處理物體領域圖像142的i行j列的像素與數字圖像111的i行j列的像素的關係。因此，AOUij至少需要存儲總頻帶數部分的圖像數據的內存42。
在步驟2705中，分離物體領域圖像142的i行j列的像素與數字圖像111的i行j列的像素。這是因為AOUij將物體領域圖像142的i行j列的像素與數字圖像111的i行j列的像素作為各自獨立的圖像像素來處理的關係。若物體領域圖像142的i行j列的像素與數字圖像111的i行j列的像素，從一開始就被分離輸入的話，無需進行任何處理。
在步驟2706中，AOUij是利用與附近的數組運算單元40之通信，對更新物體領域圖像的各頻帶像素值，根據函數Rijl(x)計算移動量。已將移動量圖像化的頻帶像素值，被作為移動量圖像的頻帶像素值加以處理。
在步驟2707中，AOUij是利用與附近的數組運算單元40之通信，可根據函數Hijk(x,y)自更新物體領域圖像的各頻帶像素值中找到能移動的移動端頻帶像素值。顯示是否為能移動之移動端的值，被作為能移動圖像的頻帶像素值加以處理。
在步驟2708中，AOUij是利用與附近的數組運算單元40之通信，根據函數Uijk(x,y)將更新物體領域圖像的各頻帶像素值移動到能移動端。移動的頻帶像素值，重新被作為更新物體領域圖像的各頻帶像素值加以處理。
在步驟2709中，AOUij是利用與附近的數組運算單元40之通信，根據函數Uijk(x,y)將更新物體領域圖像的各頻帶像素值移動到能移動端。移動的頻帶像素值，重新被作為更新物體領域圖像的各頻帶像素值加以處理。
在步驟2710中，判斷顯示從步驟2706到步驟2709的反覆次數的移動次數，是否已達到指定次數。若移動次數未達指定次數的話(步驟2710:NO)，即回到步驟2706。若移動次數達到指定次數的話(步驟2710:YES)，即移到步驟2711。又，該指定次數是由數字圖像111的大小與數字圖像111的分離物體領域143的大小，及附近的大小q來決定。若視利用目的設定適當之參數的話，即使大致決定指定次數亦無所謂，但若指定次數過多的話，規格化所需要的時間就會變長。
在步驟2711中，AOUij是利用與附近的數組運算單元40之通信，對完成移動的更新物體領域圖像的各頻帶像素值，根據函數Vijk(x,y)用附近的平均值進行內插。又，x與y同時成為更新物體領域圖像。用平均值彌補的頻帶像素值，被作為規格化的更新物體領域圖像的各頻帶像素值加以處理。
在步驟2712中，AOUij是利用與附近的數組運算單元40之通信，對完成移動的更新數字圖像的各頻帶像素值，根據函數Vijk(x,y)用附近的平均值進行內插。又，x為更新數字圖像，y為更新物體領域圖像。用平均值彌補的頻帶像素值，被作為規格化的更新數字圖像的頻帶像素值加以處理。
在步驟2713中，判斷顯示從步驟2711到步驟2712的反覆次數的內插次數，是否已達到指定次數。若內插次數未達到指定次數的話(步驟2713:NO)，即回到步驟2711。若內插次數達到指定次數的話(步驟2713:YES)，即移到步驟2714。一般的內插次數隻要附近大小q的一半左右次數，即已足夠。
在步驟2714中，判斷顯示從步驟2706到步驟2713的反覆次數的持續次數，是否已達到指定次數。若持續次數未達到指定次數的話(步驟2714:NO)，即回到步驟2706。若持續次數達到指定次數的話(步驟2714:YES)，即移到步驟2715。又，該指定次數是由數字圖像111的大小與數字圖像111的分離物體領域143的大小，及附近的大小q來決定。若視利用目的設定適當之參數的話，即使大致決定指定次數亦無所謂，但若指定次數過多的話，規格化所需要的時間就會變長。
在步驟2715中，更新數字圖像的頻帶像素值是以規格化圖像145的頻帶像素值加以輸出。之後，回到步驟2703。
因此，使用由數組運算單元40所構成的數據處理裝置110，對應領域規格化裝置27的權利要求10的視覺裝置，能從物體領域圖像142及數字圖像，生成規格化圖像145。
利用數據處理裝置110所實現的規格化圖像保持裝置28(參照第7圖)，為了存儲規格化圖像145，網格狀排列的數組運算單元40是同步並列進行動作。設格子上i行j列所配置的數組運算單元40為AOUij，則AOUij的算法如第26圖所示。
在步驟2801中，將AOUij配置在格子上i行j列上。無論在邏輯上或物理上，此係為了決定AOUij的附近所需者。
在步驟2802中，設定AOUij的附近與變量的初始值。
在步驟2803中，判斷依序輸入的規格化圖像145是否已經沒有。若無規格化圖像145的話(步驟2803:YES)，即結束算法。若有規格化圖像145的話(步驟2803:NO)，即移到步驟2804。但，當僅對特定的圖像尺寸組裝數組運算單元40時，作為無限迴路亦可。
在步驟2804中，輸入規格化圖像145的i行j列像素的頻帶數部分。因此，AOUij至少需要存儲頻帶數部分的圖像數據的內存42。
在步驟2805中，若需要輸出端的裝置的話，即轉換規格化圖像145的格式。特別是，當將規格化圖像145的頻帶數設定為1，或當數字圖像111的頻帶數為4以上時將規格化圖像145的頻帶數設定為3，以使模擬信號較易生成時非常方便。否則，不需進行任何處理。
在步驟2806中，為了能確實地傳送圖像數據至處理速度不同的輸出端裝置，存儲規格化圖像145的i行j列的像素。
在步驟2807中，輸出規格化圖像145的頻帶像素值。之後，回到步驟2803。
據此，使用由數組運算單元40所構成的數據處理裝置，對應規格化圖像保持裝置28的視覺裝置，能輸出規格化圖像145。
上述已說明了圖像存儲裝置12(參照第1圖及第6圖)、圖像振動裝置13(參照第3圖、第4圖及第5圖)、邊緣信息生成裝置14(參照第1圖及第6圖)、邊緣信息形成裝置15(參照第1～5圖、第7～12圖)、物體/背景分離裝置16(不參照第2、4、6、7～12圖)、位置/大小檢測裝置17(參照第1圖及第6圖)、領域規格化裝置27(參照第7圖)、及規格化圖像保持裝置28(參照第7圖)的算法。該等裝置能全部利用附近處理來實現，故該等裝置能使用網格狀排列的數組運算單元40所構成的數據處理裝置110。但，若僅用圖像辨識裝置29(參照第8圖)即不易實現。因此，在圖像辨識裝置29中，為了檢討是否能利用網格狀排列的數組運算單元40所構成的數據處理裝置110，系對圖像辨識裝置29的處理加以詳細分類。
圖像辨識裝置29，系對整個規格化圖像145(參照第24圖)要求自事先準備的候補中特定出放大之移動物體2或靜止物體3，以生成辨識結果。特定移動物體2或靜止物體3的最基本方法，是儘量準備多數之移動物體2或靜止物體3的模板圖像146(參照第27圖)，藉比較規格化圖像145與模板圖像146，即能找出最像規格化圖像145的模板圖像146。然而，圖像辨識裝置29，若僅從規格化圖像145及模板圖像146中抽出任意的像素進行比較，則由於不能找出最像規格化圖像145的模板圖像146，故必須比較規格化圖像145及模板圖像146的所有像素。因此，圖像辨識裝置29需要用最小平方法與中性網絡等的大區域處理。由於數據處理裝置110是適合附近處理的構造，故僅使用數據處理裝置110，不易實現圖像辨識裝置29。
然而，圖像辨識裝置29，不需要在從規格化圖像145到生成辨識結果的整徹過程中進行大區域處理。亦即，從規格化圖像145及模板圖像146中抽出任意的像素，根據比較的結果生成辨識結果的過程中，圖像辨識裝置29雖需要大區域處理，但從規格化圖像145及模板圖像146抽出任意的像素加以比較的過程中，圖像辨識裝置29未必需要大區域處理。此處，由於從規格化圖像145及模板圖像146中抽出任意的像素加以比較的過程，系最基本的圖形匹配，因此若該圖形匹配能利用附近處理加以實現的話，即能以執行多數決定等簡單的數值計算之一般處理器，僅實現根據此圖形匹配結果生成辨識結果的過程。因此，以下就使用數據處理裝置110來實現圖形匹配的方法，加以說明。
首先，設規格化圖像145為x，n個模板圖像146為y1、y2…yh…yn。當使用自然數g時，匹配結果圖像147的i行j列的匹配結果δijl，是根據式37比較規格化圖像145及模板圖像146的i行j列的像素，指出具有最像規格化圖像145像素的模板圖像146的號碼。又，因匹配結果圖像147為單頻帶圖像，故為方便起見，以頻帶數1的圖像進行處理。因此，匹配結果δijl的第3添加字為1。 此處，根據式37所生成的匹配結果δijl在整個匹配結果圖像147中，未必統一。當有許多模板圖像146時，匹配結果圖像147成為馬賽克狀的可能性很高。因此，數據處理裝置110即計算匹配結果δijl與相對該q附近內之匹配結果的直方圖，將集中匹配結果δijl的方法顯示如下。
當任意的單頻帶圖像x是匹配結果圖像147時，若使用自然數g、實數u與v的話，匹配圖像172即根據式38及39進行更新。又，匹配結果圖像147因為單頻帶圖像，為方便起見，以頻帶數1的圖像進行處理。因此，函數ψijl(x)的第3添加字為1。 eq(u,v)={0otherwise.1ifu=v,]]>在匹配結果圖像147不再變化為止，數據處理裝置110利用反覆計算式38及39，即能集中整個匹配結果圖像147的匹配結果。此時，藉組合規格化圖像145及模板圖像146，匹配結果集中如下。若規格化圖像145的約一半像素最類似特定的模板圖像146的圖像的話，則匹配結果圖像147的整個匹配結果，集中在特定的模板圖像146的號碼。然而，若規格化圖像145的若干像素塊類似一些不同模板圖像146的像素塊的話，則在匹配結果圖像147中，能形成用0圍住的若干模板圖像146的號碼塊。再者，若規格化圖像145與模板圖像146的集合不相關的話，則匹配結果圖像147的匹配結果大致為0。因此，利用數據處理裝置110來實現的圖形匹配，雖不易特定最類似規格化圖像145的模板圖像146，但能從模板圖像146中選擇若干類似的模板圖像146。因此，根據圖形匹配的結果生成辨識結果的過程中，只要使用圖形匹配所生成的匹配結果圖像147所列舉的模板圖像146的類似候補中，選擇一個最有力的候補即可。
如第27圖所示，利用數據處理裝置110所實現的權利要求11的圖形匹配，為了生成模板圖像146中從顯示與規格化圖像145最類似的圖像號碼的匹配結果所構成的匹配結果圖像147，網格狀排列的數組運算單元40是同步並列進行動作。設格子上i行j列所配置的數組運算單元40為AOUij,AOUij的算法是如第28圖所示。
在步驟2901中，將AOUij配置在格子上的i行j列中。無論在邏輯上或物理上，此係為了決定AOUij的附近所需者。
在步驟2902中，設定AOUij的附近與變量的初始值。在附近設定時，可各別決定前述各函數所使用的附近尺寸q，亦可全部加以統一。本發明的數據處理裝置110，為了提高所生成的匹配結果圖像147的正確性，最好是能將附近大小q全部設定為較大的值。但若因此更新匹配結果所使用之計算時間的限制、與輸入的規格化圖像145的尺寸等因素，圖形匹配亦可視需要適當變更附近尺寸，以進行處置。
在步驟2903中，判斷依序輸入的模板圖像146是否已經沒有。若無模板圖像146的話(步驟2903:YES)，即移到步驟2905。若有模板圖像146的話(步驟2903:NO)，即移到步驟2904。
在步驟2904中，輸入模板圖像146的i行j列像素頻帶數部分。因此，AOUij的至少需要存儲乘上頻帶數與模板圖像146的數部分的圖像數據的內存42。之後，回到步驟2903。
在步驟2905中，判斷依序輸入的規格化圖像145是否已經沒有。若無有規格化圖像145的話(步驟2905:YES)，即結束算法。若有規格化圖像145的話(步驟2905:NO)，即移到步驟2906。但，當僅對特定的圖像尺寸組裝數組運算單元40時，作為無限迴路亦可。
在步驟2906中，輸入規格化圖像145的i行j列像素頻帶數部分。因此，AOUij的至少需要存儲頻帶數部分的圖像數據的內存42。
在步驟2907中，從規格化圖像145與模板圖像146，計算匹配結果圖像147的匹配結果δijl。匹配結果為顯示最近規格化圖像145的模板圖像146的號碼的頻帶像素值。
在步驟2908中，AOUij是利用與附近的數組運算單元40之通信，對匹配結果圖像147的各頻帶像素值，根據函數ψijl(x)更新匹配結果。所更新的頻帶像素值，再被作為匹配結果圖像的頻帶像素值加以處理。此處，反覆函數ψijl(x)在本來匹配結果圖像147的頻帶像素值不再變化為止，反覆進行。但是，若因為計算時間的限制、所輸入之規格化圖像145的品質、更新之匹配結果圖像147所求的品質等，更新處理最好是能以適當的反覆次數結束算法。
在步驟2909中，輸出匹配結果圖像147的頻帶像素值。之後，回到步驟2905。
因此，使用由數組運算單元40所構成數據處理裝置110，對應圖像辨識裝置29中的圖形匹配的權利要求11的視覺裝置，能從規格化圖像145生成匹配結果圖像147。
以上，已就使用由數組運算單元40所構成數據處理裝置110，進行僅由附近處理所構成的圖像處理的方法加以說明。以下，使用由數組運算單元40所構成數據處理裝置110，就僅用附近處理，實現物體/背景分離裝置16(參照第2圖及第7圖)的權利要求11的視覺裝置加以說明。
首先，非線性振蕩器一般會引起拉入現象。該拉入現象，是在限制循環(limit cycle)與吸引器(attracter)等的周期動作中，具有不同周期的非線性振蕩器相互動作以簡單的常數比周期進行振動，而加以限制的現象。此時，若使一個非線性振蕩器變化的話，由於其它非線性振蕩器的振動也配合變化，故該等非線性振蕩器系同步。而且，藉調整非線性振蕩器的相互作用，能儘量減小或加大彼此振動的相位差。因此，若操作此相互作用，即能將非線性振蕩器的一群分割成具有不同相位的許多組。物體/背景分離裝置16即系利用此非線性振蕩器的拉入現象，將邊緣信息圖像中的邊緣信息作為交界，分離物體與背景，以生成顯示物體領域的物體領域圖像。又，此處，舉使用範德杆(Vander Pole)作為非線性振蕩器之情形加以說明。
首先，在由網格狀排列的非線性振蕩器所構成的非線性振蕩器網絡中，假設位於i行j列的非線性振蕩器為ωij，位於非線性振蕩器為ωij的q附近的非線性振蕩器的集合Ωij(q)，即能以式40加以顯示。但，q是4、8、24、48、80、120、(2r+1)2-1的連續序列，r是自然數。又，當超出網絡尺寸的非線性振蕩器包含在附近集合Ωij(q)時，即以非線性振蕩器ωij加以取代。據此，邊緣處理即能自動進行。因此，附近集合Ωij(q)之要素的數量經常為q。又，由此可知，非線性振蕩器網絡系與單頻帶圖像相同之方式加以處理。為了簡單地表現，在非線性振蕩器網絡中所添加字僅使用寬方向與高方向兩者。 其次，非線性振蕩器，系與位於qa附近所含的附近集合Ωij(qa)的非線性振蕩器之間，利用式41所計算的結合值τijkl進行結合。又，當不使用對數表時，亦可使用式42的近似。另外，μ、υ是適當正的常數。Tijkl=sinc((i-k)2+(j-l)2v2)forwklij(qa)---(41)]]> 當非線性振蕩器網絡之所有非線性振蕩器系完全同相位且同步時，只要是以處理器進行計算，非線性振蕩器ωij即會在永遠在同相位的狀態下持續動作。因此，若能賦予幹擾ρij的話就能迴避這種狀態。作為此幹擾，雖能使用擬似隨機數，但使用如式43般簡單的式加以求出即足夠。又，ζij是顯示邊緣信息圖像的i行j列的邊緣信息的有無。若有邊緣信息的話，則為1，若無邊緣信息的話，則為0。此外，k是適當之正的常數。
Pij=kζij(43)為了使非線性振蕩器為ωij與附近集合Ωij(qa)的非線性振蕩器ωkl同步，根據式44計算附近輸入合計σij。ij=wklij(qa)Tijkl(1-kl)kl(kl-ij)---(44)]]>構成範德杆非線性振蕩器ωij的兩個參數ψij與ψij，系根據式45與式46加以計算。又，γ、ε是適當之正的常數。dijdt=ij---(45)]]>dijdt=-ij-(1-ij2)ij+ij+ij---(46)]]>為了將非線性振蕩器分離為物體領域與背景領域，雖須計算所有非線性振蕩器的相位偏離，但由於系單純地分離為物體領域與背景領域二者，故參數ψij用臨界值θ以上或小於臨界值θ來計算相位偏移。輸出分離物體領域與背景領域之結果的輸出λij，是利用式47加以求出。又，θ是適當之正的常數。ij={0otherwise.1ifij,---(47)]]>為分離物體與背景而邊緣信息不充分時，必須內插邊緣信息。因此，必須在位於非線性振蕩器ωij的qb附近的非線性振蕩器的集合Qij(qb)中，求出若干非線性振蕩器是否引起相位偏離。因此，根據式48計算輪廓參數ηij。ij=lmlij(qb)ijkl+(ij)2---(48)]]>以此結果為基準，利用式49計算顯示邊緣信息的內插比例的交界參數ζij。又，α、β、ηmin、ηmax是適當之正的常數。dijdt={(1-ij)otherwise.-ijifminijmax,---(49)]]>以上，雖已就作為非線性振蕩器之範德杆的情形加以說明，但除此之外以布魯塞爾機(Brusselator)般之限制循環且穩定的非線性振蕩器，或產生洛倫茲吸引器與雷斯拉方程式的吸引器的無秩序振蕩器等，能引起拉入現象之任意的非線性形振蕩器也能動作。在此情況下，只要將參數ψij與ψij以非線性形振蕩器加以置換追加即可。此時，僅系在適當的參數中加入附近輸入合計σij與幹擾ρij。但，若系無秩序振蕩器時，並不需要幹擾ρij。
使用式40到式49，可記述能組裝物體/背景分離裝置16(參照第2圖及第7圖)之數據處理裝置110的所有數組運算單元40的算法。以下，使用數據處理裝置110中的任意數組運算單元40的算法，就對應物體/背景分離裝置16的權利要求12的視覺裝置，加以說明。
如第29圖所示，使用以數據處理裝置110所實現的物體/背景分離裝置16所形成的三角形的邊緣信息151，使分離成三角形的內側領域152與三角形的外側領域153，網格狀排列的數組運算單元40是同步並列動作。設格子上i行j列所配置的數組運算單元40為AOUij，則AOUij的算法如第30圖所示。
在步驟1601中，將AOUij配置在格子上的i行j列。
在步驟1602中，根據式41及42，用結合值τijkl連接ωij與ωkl。
在步驟1603中，於非線性振蕩器的參數φij與ψij設定適當的值。
在步驟1604中，判斷依序輸入的形成邊緣信息圖像115是否已經沒有。若無形成邊緣信息圖像115的話(步驟1604:YES)，即結束算法。若有形成邊緣信息圖像115的話(步驟1604:NO)，即移到步驟1605。但，當僅對特定的頻帶數及圖像尺寸組裝數組運算單元40時，作為無限迴路亦可。
在步驟1605中，輸入形成邊緣信息114的ζij。
在步驟1606中，從前一刻輸入的形成邊緣信息114的ζij，根據式43計算幹擾ρij。
在步驟1607中，自具有附近集合Ωij(qa)中的非線性振蕩器ωkl之數組運算單元40之AOUkl，輸入ζkl、ξkl、ψkl，根據式44計算合計值σij。
在步驟1608中，根據式45及46，計算非線性振蕩器的參數φij與ψij。亦即，以尤格庫塔(Runge Kutta)法，解該等式所顯示的微分方程式。
在步驟1609中，根據式47，計算非線性振蕩器的輸出λij。此處，若ψij≥θ的話，則λij=1，除此之外，λij=0。
在步驟16010中，自具有附近集合Ωij(qb)中之非線性振蕩器ωkl的數組運算單元40的AOUkl輸入λkl，根據式48計算輪廓參數nij。
在步驟1611中，根據式49計算交界參數ξkl。亦即，用差分法或尤格庫塔(RungeKutta)法，解該等式所顯示的微分方程式。
在步驟1612中，判斷顯示步驟1606到步驟1611的反覆次數的分離次數，是否已達到指定次數。若分離次數沒有達到指定次數的話(步驟1612:NO)，即回到步驟1606。若分離次數達到指定次數的話(步驟1612:YES)，即移到步驟1613。
在步驟1613中，輸出作為物體領域圖像142之頻帶像素值的非線性振蕩器的輸出λij。之後，回到步驟1604。
又，為了求步驟1612中之分離次數，能使用如下的方法。在物體/背景分離裝置16中，若圖像尺寸是一定的話，由於與非線性振蕩器的初始狀態無關的，在大致所有的形成邊緣信息114中經一定時間即結束分離，故預先計算此時間求出步驟1606到步驟1611之反覆次數即可。此系因若非線性振蕩器的初始狀態在一定範圍內的話，因拉入現象的影響，非線性振蕩器達到同步的時間沒有很大差異的關係。
因此，僅計算非線性振蕩器，即能使用形成之三角形的邊緣信息151分離三角形的內側領域152與三角形的外側領域153，是因為利用非線性振蕩器之性質的拉入現象的關係。亦即，當用正的結合值來結合兩個非線性振蕩器時系成為同相位，而用負的結合值結合時則系極力成為大的相位差。使用此性質的話，由於系用附近彼此正的結合值來結合網格狀並列的非線性振蕩器，因此不直接結合的非線性振蕩器彼此為同相位。而且，若用負的結合值來結合位於隔離形成邊緣信息114位置的非線性振蕩器的話，則邊緣信息的兩側極力錯開。以此方式進行，即使不結合所有的非線性振蕩器，在三角形的邊緣信息151的內側與外側亦能成為各自不同的相位集合。因此，物體/背景分離裝置16，分離成第29圖所示之三角形的內側領域152與三角形的外側領域153。此時，三角形的內側領域152與三角形的外側領域153的相位差超過90度而儘可能的接近180度，分離出三角形與背景領域。
此處，最重要的是，本實施形態，是用能得到形成邊緣信息114所示的方法，對結合值進行擬似變更。首先，如式41及42所規定般，將非線性振蕩器ωkl用來結合為非線性振蕩器ωij的結合值設為τijkl(參照步驟1602)。形成邊緣信息ζij與ζkl，在具有邊緣時，皆為1，沒有邊緣時，皆為0。輸入形成邊緣信息ζij與ζkl後(參照步驟1605)，從數組運算單元40的AOUkl，將形成邊緣信息ζkl傳送到AOUij，在AOUkl計算τijklA(1-ζkl)以取代結合值τijkl(參照步驟1607)。對此代用的接合值τijklA(1-ζkl)，交界參數ζij是作為從0到1的倍率作用(參照步驟1607)。
如第31圖所示，當形成邊緣信息114為虛線狀態的三角形的邊緣信息154時，必須進行虛線的內插。首先，當使用虛線狀態的三角形的邊緣信息154使系統動作時(參照步驟1605)，在虛線狀態的三角形的邊緣信息154的內側與外側相位差雖約超過90度，但三角形的內側與外側的交界部分則不明確，因此，各AOUij計算非線性振蕩器的輸出λij(參照步驟1609)。當此輸出λij為1時，在附近的非線性振蕩器中設λkl為1時的非線性振蕩器為ωkl，則參數ψij與ψkl同時為θ以上。亦即，λij與λkl約為同相位，若θ為正值的話，最差時相位差也不至超過90度。該相位差的最大值是藉θ值來決定，在λij與λkl同時為1的範圍下若加大θ的話，該相位差即趨近0度。因此，當使用λij與λkl的話，在附近的非線性振蕩器中，顯示約略同相位數的輪廓參數ηij是根據式48進行計算(參照步驟1610)。接著，若該輪廓參數ηij在整個附近中，約為一半的話，則根據式49減少結合值的倍率的交界參數ζij，除此以外，則根據式49使之增加(參照步驟1611)。例如，在8附近時，若是3到5之間，根據式49減少交界參數即即可。若反覆該過程使之持續動作的話，當得到第31圖所示的虛線狀態的三角形的邊緣信息154時，即分離為虛線三角形的內側領域155與虛線三角形的外側領域156。
如第32圖所示，當重疊兩個三角形時，能得到前方三角形的邊緣信息157與後方三角形的邊緣信息158。此時，利用前方三角形的內側領域159與後方三角形的內側領域160與雙重三角形的背景領域161的3個領域的非線性形振蕩器之相位的相互偏離，分離成三個領域。又，如第33圖所示，兩個重疊圓形的邊緣信息162即使是虛線，也被分離為前方圓形的內側領域163與後方圓形的內側領域164與雙重圓的背景領域165的三個領域。
因此，使用由數組運算單元40所構成的數據處理裝置110，以對應物體/背景分離裝置16的權利要求12的視覺裝置，能以形成邊緣信息圖像115的形成邊緣信息114為交界，分離物體領域141與背景。
以上，就權利要求6～12的視覺裝置，進行了說明。當然，該等視覺裝置雖能利用一般計算機進行組裝，但當將移動物體2作為計數對象時，必須根據移動物體2的移動速度高速地執行各個前述裝置。尤其是當提高框圖像1的圖像尺寸或解析度時，以圖像本身作為處理對象的圖像存儲裝置12(參照第1圖及第6圖)、圖像振動裝置13(參照第3圖、第4圖及第5圖)、邊緣信息生成裝置14(參照第1圖及第6圖)、邊緣信息形成裝置15(參照第1～5圖、第7～12圖)、物體/背景分離裝置16(參照第2、4、5、7～12圖)、位置/大小檢測裝置17(參照第1圖及第6圖)、領域規格化裝置27(參照第7圖)、規格化圖像保持裝置28(參照第7圖)及圖像辨識裝置29(參照第8圖)，對各寬方向及各高度方向之計算量，即與圖像尺寸或解析度成正比增大。因此，權利要求6～12的視覺裝置，有時可能會因用途之不同，而無法達到預期的性能。
此處，為了使用數位技術組裝圖像存儲裝置12、圖像振動裝置13、邊緣信息生成裝置14、邊緣信息形成裝置15、物體/背景分離裝置16、位置/大小檢測裝置17、領域規格化裝置27、及規格化圖像保持裝置28，權利要求13的數組運算單元40是在數據處理裝置110中，如第13圖所示般排列為網格狀，而且，數組運算單元40系以僅能與數據處理裝置110中的相鄰數組運算單元40相互通信之方式，加以配線。亦即，4附近彼此間系直接配線。因此，與8彼此間配線時比較起來，使用較少的電子零件與配線量，就能同程度高速地動作，且能在將來欲擴充附近尺寸時具有簡單地擴充性。
權利要求14的數組運算單元40，入第34圖所示，系由用來計算圖樣處理之式的處理器(Processor)41、用來存儲式中所使用的所有參數、常數、函數及運算子的內存(Memory)42、以及用來與附近的數組運算單元40進行通信的控制器(Controler)43所構成，處理器41可利用地址總線51所指定的地址(Address)，選擇內存42及控制器43的任意存儲元件及緩存器。此外，處理器41是透過地址總線51連接於內存42及控制器43以能雙向通信，以存取地址總線51所指定的任意內存組件及緩存器的數據(DATA)。當數組運算單元40輸入由一個以上的輸入像素所構成的前輸入數據群(Front Input Data Set)時，控制器43即將前輸入數據群存儲在內存42。又，控制器43將由函數所作成的內存42中的計算數據傳送到相鄰的數組運算單元40，同時將從相鄰的數組運算單元40所接收的計算數據存儲在內存42，若有需要，傳送到輸入以外的數組運算單元40。最後，控制器43將輸出圖像數據作為結果數據(Result Data)加以輸出。
如上所述，在數組運算單元40中搭載控制器43的理由，是由於在數組運算單元40彼此通信期間處理器41亦能動作，故處理器41在通信的等待時間中也能進行計算而實現高速處理，及即使變化附近的數組運算單元40的數量也不必變更硬體，以及控制器43進行圖像的邊緣處理，亦即，能自動進行對圖像中之邊緣像素的例外處理，故處理器41的程序不必進行邊緣處理而極為單純之故。
處理器41與內存42能使用一般的數字電路。控制器43的具體電路圖是如第35圖所示。地址緩衝器(Address Buffer)53是透過地址總線(Address Bus)51，從處理器41接收地址(Address)，根據地址解碼器(Address Decoder)54，選擇各緩存器及其它機能方塊。數據緩衝器(Data Buffer)55，經由數據總線(Data Bus)52，從處理器41接收數據(Data)，透過用地址解碼器54所選擇的緩存器與內部數據總線56進行排他的通信。通信方向藉讀取(Read)加以指定。當地址指定標記緩存器(Flag Register)57時，數據被存儲在標記緩存器57中，利用標記解碼器(Flag Decoder)58進行解碼，以複數信號(Signals)，傳送到相鄰的數組運算單元40。複數信號是利用標記編碼器(FlagEncoder)59加以接收，經解析後，存儲在狀態緩存器(Status Register)60中，又，作為接收(RECIEVER)送回傳送源的數組運算單元40。接收是用複數信號的傳送源的標記編碼器59來接收，其結果，確認複數信號的傳送結束。當用地址選擇狀態緩存器時，狀態緩存器60的內容即透過數據總線52以數據傳送到處理器41。當標記編碼器59接收對應一個以上的輸入圖像(Input Image)的一個以上的前輸入送達(Front InputSent)時，則由一個以上輸入圖像所構成的前輸入數據群(Front Input Data Set)，讀入準備有所需之存儲容量分的前輸入數據緩存器(Front Input Data Register)61。當使用地址來選擇前輸入數據緩存器61時，前輸入數據緩存器61的內容，以數據傳送到處理器41。當處理器41完成計算後，根據地址選擇結果數據緩存器(Result DataRegister)62，結果數據緩存器62即將輸出圖像的圖像數據作為結果數據(Result Data)加以讀取。與此同時，標記編碼器59傳送結果送達(Result Send)。
當自附近的數組運算單元40求出計算所需的數據後，即選擇輸出數據緩存器(Output Data Register)63作為地址，將應傳送到附近的數組運算單元40的數據作為計算數據(Calculation Data)，讀入輸出數據緩存器63。之後，作為計算數據傳送至相鄰的所有數組運算單元40。當從上側的數組運算單元40接收複數信號(Signals)後，即將計算數據讀入上輸入數據緩存器(Upper Input Data Regbter)64。之後，根據地址選擇上輸入數據緩存器64後，即將上輸入數據緩存器64的內容作為計算數據加以傳送。從下側、左側、右側的數組運算單元40接收複數信號時亦相同，下輸入數據緩存器65、左輸入數據緩存器66、右輸入數據緩存器67皆同樣地動作。
各種緩衝器、各種緩存器、地址解碼器54的各方塊是一般的電子電路。具體說來，標記解碼器58與標記編碼器59具有第36圖與第37圖所示的輸入輸出信號。種類(Type)是以5位顯示輸出數據緩存器(OutPut Data Register)63所讀入的內容種類。該位數系足以區別數組運算單元40所收發之所有計算數據的值。計數器-X(Count-X)及計數器-Y(Count-Y)系顯示各個無4位編碼之整數，顯示數組運算單元40間的傳送次數。當數組運算單元40傳送計算數據時，各個計數器為0，當再度傳送從左右的數組運算單元40所傳送的計算數據時，是在標記編碼器59的計數器-X中加1的值，當再度傳送從上下的數組運算單元40所傳送的計算數據時，是在標記編碼器59的計數器-Y中加1的值。處理器41是於標記緩存器57的送達標記(SendFlag)中，指定輸出數據緩存器63的內容是傳送至上下左右中那一任何方向後，當標記解碼器58接收指定輸出數據緩存器63的地址解碼器54的中央解碼(CentralDecoding)時，標記解碼器58即將送達(Send)配合送達標記的指定方向加以輸出。送達標記是用4位顯示，當數組運算單元40的計算數據傳送到四方的數組運算單元40時，處理器41系設定為1111，當將從右側的數組運算單元40所傳送來的計算數據傳送到上下左右側時，系設定為1101，當從下側傳送到上側時，設定為1000，當從上側傳送到下側時，設定為0100。以此方式，由於不僅不至重複傳送而能有效地傳送，而且傳送方向的決定規則變的明確，故藉組合種類、計數器-X及計數器-Y，標記編碼器59能判定是從哪一個數組運算單元40、傳送哪一種的計算數據。將計算數據作為結果數據讀入結果數據緩存器62中之同時，標記解碼器58亦接收結果解碼(Result Decoding)，傳送結果送達(Result Send)。
當標記編碼器59從四方之任一方向接收到送達時，即接收接收方向的種類與計數器-X、計數器-Y，更新該部分的狀態緩存器60的內容。在此更新的同時，將接收設定為1傳送至接收方向。傳送源的數組運算單元40的標記編碼器59，是在接收成為1的瞬間進行接收，更新狀態緩存器60的接收狀態(Receive Status)。因此，各數組運算單元40中，處理器41僅檢查狀態緩存器60的接收狀態，即能判斷有效的計算數據是存儲在哪一個輸入數據緩存器中。因此，例如，若將計算數據讀入上輸入數據緩存器64的話，雖然處理器41可藉指定地址從上輸入數據緩存器64讀入數據，但同時將上解碼(Upper Decoding)從地址解碼器54傳送到標記編碼器59，在接收狀態中之上部分回到0，將向上側的接收作為0加以傳送。下左右側之情形時也同樣地動作。當標記編碼器59即使只接收到一個輸入圖像用的前輸入送達，即將狀態緩存器60中對應接收前輸入送達的輸入圖像用的前輸入送達狀態(Front Input SendStatus)為1。又，當處理器41從輸入圖像用的前輸入數據緩存器61讀取數據時，地址解碼器54是將前解碼(Front Decoding)傳送到標記編碼器59，將接收的前輸入送達所對應的前輸入送達狀態設定為0。處理器41藉讀取狀態緩存器60的內容，即判斷前輸入數據緩存器61中是否存儲有最新的輸入圖像。
處理器41透過控制器43將計算數據傳送給四方的數組運算單元40時的算法顯示於第38圖。第38圖是顯示使用處理器41的程控，與使用標記解碼器58及標記編碼器59的硬體邏輯的混合處理。第38圖中，步驟71，系處理器41讀取狀態緩存器60的內容。步驟72，系判斷讀取的內容中接收狀態是否全部為0。若是NO的話，即結束處理，若是YES的話，即移到步驟73。在步驟73中，處理器41決定傳送到相鄰的數組運算單元40的數據種類與計數器與傳送方向，將其內容寫入標記緩存器57。在步驟73中，處理器41是將相鄰數組運算單元40所傳送的數據寫入輸出數據緩存器63中。在步驟75中，將輸出數據緩存器63的內容作為計算數據，傳送給相鄰之數組運算單元40。在步驟76中，僅在標記緩存器57的送達標記所指定的方向，將送達設定為1加以傳送。藉此，處理器41的1次傳送便告結束。處理器41，當每一次應傳送的數據在內存42內更新時，即開始該傳送算法。
控制器43從上側的數組運算單元40接收計算數據時之算法顯示於第39圖。第39圖是顯示使用標記解碼器58及標記編碼器59的硬體邏輯的處理。第39圖中，步驟81，系標記編碼器59輸入送達。在步驟82中，標記編碼器59判斷送達是否為1。若是NO的話，即結束處理，若是YES的話，即移到步驟83。在步驟83中，上輸入數據緩存器64讀取從上側所傳送來的計算數據。在步驟84中，標記編碼器59將狀態緩存器60中上側用的接收狀態設定為1，同時將接收設定為1傳送給上側的數組運算單元40。上下右側的情形亦相同。據此，控制器43的1次接收算法便告結束。控制器43隨時監視來自上下左右數組運算單元40的送達，每當接收到該送達時即開始該接收算法。
處理器41從上輸入數據緩存器64接收數據時之算法顯示於第40圖。第40圖是顯示使用處理器41的程控，與使用標記解碼器58及標記編碼器59的硬體邏輯的混合處理。第40圖中，步驟91，處理器41讀取狀態緩存器60的內容。在步驟92中，判斷讀入的內容中上側用的接收狀態是否為1。若是NO的話，即結束處理，若是YES的話，即移到步驟93。在步驟93中，處理器41從上輸入數據緩存器64讀取數據。在步驟94中，標記編碼器59將狀態緩存器60中上側用的接收狀態設定為0，同時將接收設定為0傳送到上側的數組運算單元40。下左右側的情形亦相同。據此，結束處理器41的1次接收算法。處理器41是用一定間隔，監視狀態緩存器60的內容，每當上下左右任何的接收狀態為1時即開始該接收算法。又，即使處理器41不用一定間隔監視狀態緩存器60的內容，亦可利用插入處理進行組裝。
又，該數組運算單元40，主要是根據一個以上的輸入圖像生成一個輸出圖像為前提加以說明，但在不同的用途時需變更電路以在計算途中輸出計算數據。此時，只要變更程序以僅增加應輸出標記解碼器58的結果送達的計算數據的數量，將對應結果數據緩存器62所讀入的計算數據的結果送達設定為1即可。
以上，說明了本實施形態，但本發明不限於上述實施形態，若是熟習該領域之業者的話，亦能實施各種的樣態，在不脫離本發明的技術思想範圍內，當然可適當改變本發明的構成，該改變也屬於本發明的技術範圍。
根據權利要求1和2的發明，當即使使用明度、彩度、色相等亦不易從動態圖像中將移動物體單體或其一部分，作為一塊的領域切出時，本發明能計算前述移動物體的數量。例如，當計算活的透明變形蟲(ameba)時，當然無法對整個變形蟲施以著色。又，即使將光源與背景設定為適當的顏色，變形蟲亦為相同的色，或因光的折射、反射等使變形蟲的中央與邊緣成為不同的色，亦不易得到全面塗抹變形蟲的圖像。大部分的情形中，因光的折射、反射等，在變形蟲的輪廓部分出現特異的輝度值。因此，若使用本發明的話，根據這種特異的輝度值生成邊緣信息，就能從背景切出整個變形蟲，故變形蟲之數量的計算較為容易。同樣地，也適用於微塵粉等的微生物、白血球與精子等細胞。當然，對於能根據蝌蚪與人臉的顏色信息容易地區別出背景的移動物體，也能適用本發明。由於在移動物體、光源及背景中，不必特別做任何處理，即能計算移動物體數量，故在能拍攝移動物體的現有裝置中連接本發明，即能廉價地實現移動物體用的物體計數裝置。此外，亦能在判定動態圖像中有無移動物體的前處理中亦能加以利用。再者，藉自本發明中直接取出從背景分離出的物體領域輸入另外的裝置，以辨識移動物體時的前處理中亦能加以利用，進而廉價地實現物體辨識裝置。
根據權利要求3的發明，當即使使用明度、彩度、色相等亦不易從靜止圖像或動態圖像的框圖像中，將物體單體或其一部分作為一塊的領域切出時，本發明能計算前述移動物體的數量。例如在計算透明的珠子(beads)時，當然無法對珠子進行著色。又，即使將光源與背景設定為適當的顏色，珠子亦會成為相同的色，或因光的折射、反射等，使珠子的中央與邊緣成為不同的色，皆不易得到全面塗抹珠子的圖像。大部分的情形中，因光的折射、反射等在珠子的輪廓部分出現特異的輝度值。因此，當使用本發明時，由於能根據該特異的輝度值生成邊緣信息，據以從背景切出整個珠子，故計算珠子的數量較為容易。同樣地，也適用於微塵粉等的微生物、白血球與精子等細胞。當然，根據蝌蚪與人臉的顏色信息容易地與背景區別的移動物體，亦能利用本發明。如上述般，由於不需對物體、光源及背景施以任何處理即能計算物體數量，故藉在能拍攝物體的現有裝置中連接本發明，即能廉價地實現物體用的物體計數裝置。此外，判定靜止圖像中有無物體的前處理中，亦能加以利用。再者，藉自本發明中直接取出從背景分離出的物體領域輸入另外的裝置，以辨識移動物體時的前處理中亦能加以利用，進而廉價地實現物體辨識裝置。
根據權利要求1、2及3的發明，當即使使用明度、彩度、色相等亦不易從動態圖像中，切出移動物體及靜止物體單體或其一部分作為一塊的領域時，本發明能計算前述物體中移動物體數與所有物體之數量。例如，當計算透明的變形蟲(ameba)中活的透明變形蟲與整個變形蟲時，能將一定時間內移動的變形蟲視為活的。藉使用動態圖像中相隔一定時間的兩個框圖像、或相隔一定時間拍攝的兩個靜止圖像，本發明能計算移動的變形蟲數與所有的變形蟲數。同樣的，也適用於微塵粉等的微生物、白血球與精子等細胞。當然，對根據蝌蚪與人臉的顏色信息而能容易地與背景區別的物體，也能利用本發明。如上述般，由於能以一種裝置計算移動物體數與所有物體數，故能廉價地實現計算移動物體數與所有物體數的裝置。此外，判定靜止圖像中有無物體的前處理中，亦能加以利用。再者，藉自本發明中直接取出從背景分離出的物體領域輸入另外的裝置，以辨識移動物體時的前處理中亦能加以利用，進而廉價地實現物體辨識裝置。
根據權利要求1、2及3的發明，當即使使用明度、彩度、色相等亦不易或無法從動態圖像中切出移動物體及靜止物體單體、或將其一部分作為一塊的領域時，本發明能計算前述物體中移動物體數與所有物體數，計算移動物體數與靜止物體數或其比例。例如，當求透明的變形蟲的生存率時，能將某一定時間內移動的變形蟲視為活的。藉使用動態圖像中相隔一定時間的兩個框圖像、或相隔一定時間拍攝的兩個靜止圖像，本發明能計算移動的變形蟲數與所有的變形蟲數，故能簡單地求出變形蟲的生存率。同樣的，也適用於微塵粉等的微生物、白血球與精子等細胞。當然，對根據蝌蚪與人臉的顏色信息而能容易地與背景區別的物體，也能利用本發明。如上述般，由於能用一種裝置計算移動物體的數量與靜止物體的數量，故能廉價地實現計算移動物體與靜止物體之比例的裝置。其它，在動態圖像中，也能利用在判定有無移動物體或靜止物體的前處理。再者，藉自本發明中直接取出從背景分離出的物體領域輸入另外的裝置，以辨識移動物體或靜止物體時的前處理中亦能加以利用，能廉價地實現物體辨識裝置。
根據權利要求4及5的發明，使用由三原色波長、可視光波長、紅外線波長，紫外線波長、及其它所有的電磁波中由任意的頻帶構成的動態圖像，本發明能搜索攝像機能拍攝範圍的物體。當物體移動時，能藉檢測移動物體的位置及大小，使移動式攝像機的方向對準物體，調整倍率以使圖像中的移動物體大小為一定。又，當物體靜止時，由於能使移動式攝像機微細地振動據以檢測靜止物體的位置與大小，故對靜止物體亦能與移動物體時相同的控制移動式攝像機。再者，由於亦能從外部控制移動式攝像機，故能與計算機等組合加以利用。因此，本發明能利用如下。例如，除了在走廊等照明較穩定的場所外，在玄關與屋外等噪聲較多的地方進行人、車或行李等物體之監視時，本發明能控制移動式攝像機以用適當的倍率拍攝該等物體。另外，在便利商店或超商等動態較少的地方藉集中拍攝顧客，本發明能達到防止偷竊等效果。如上述般，由於能用一個裝置對廣範圍的物體進行監視，故能廉價地實現物體監視裝置。除此之外，在判定動態圖像中有無特定物體的前處理中亦能加以利用。再者，藉自本發明中直接取出從背景分離出的物體領域加以規格化之圖像輸入另外的裝置，以辨識移動物體或靜止物體時的前處理中亦能加以利用，能廉價地實現物體辨識裝置。
又，根據權利要求5的發明，使用由三原色波長、可視光波長、紅外線波長，紫外線波長、及其它所有的電磁波中由任意的頻帶構成的動態圖像，本發明能搜索攝像機能拍攝範圍的物體。將該等物體以適當的辨識方法分類為若干種類後，與位置或時刻等之屬性同時加以記錄。因此，能計算一定時間內位於移動式攝像機能拍攝範圍之特定物體的數量，或記錄物體移動的軌跡。例如，在卡拉OK包廂與商店街等地方，本發明能計測顧客數量與通行量等。另外，在便利商店、超商及工場等處，能調查顧客的聚集場所或記錄作業員的作業步驟。另外，在遊樂園場等處，能使用於「不倒翁倒下」的移動物體搜索遊戲與或射擊遊戲等。更進一步的，藉將本發明組裝於機器人中，工業用機器人即能搜索製造線中的工件、或偵測人員之接近而使動作停止，是以本發明能實現人型機器人及導盲犬機器人等移動機器人的視覺裝置。因此，若在汽車、公共汽車、砂石車等車輛的前後左右安裝本發明的話，本發明能發現位於駕駛員死角的物體進而發出警報，亦能預先偵測接近而來之車輛等移動物體，也能取得發生交通事故時的記錄。對坐在輪椅的人而言，由於不必轉頭就能擴大視野，故能預先察知由後方逼近的自行車或汽車，能有效防止事故。此外，若在電車等之車門口設置本發明，本發明也能發現被門夾住或站在門旁的乘客。若車站的月臺設置本發明的話，本發明能發現掉落於軌道上的物品，或對站在月臺之軌道邊的人發出警告。另外，若將本發明設置在救難用機器人的話，救難用機器人即能找出在海岸、海上或河川等處的遇難者，自動地接近以將救生衣或繩索等搬送給遇難者，或將遇難者搬送到安全的地點。該救難用機器人亦能利用於搜索因地震而被埋在瓦礫下的人。如上述般，由於能用一個裝置進行物體的搜索、計數與移動軌跡的記錄，故能廉價地實現物體搜索裝置、物體辨識裝置、物體計數裝置及物體記錄裝置等。
根據權利要求6的發明，能在並列輸入數字圖像的各像素，以圖像單位或像素單位使數字圖像振動後，並列輸出數字圖像的各像素。由於本發明不使用振動臺等物理性裝置，故能高速地使數字圖像振動。因此，在移動物體系以高速移動之情形中，必須實時生成數字圖像中的所有物體的邊緣信息時，本發明能達成所需之處理速度。
根據申請專利第7項範圍之發明，能在並列輸入數字圖像的各圖像，以生成數字圖像的各像素的粗邊緣信息後，並列輸出粗邊緣信息。所生成的粗邊緣信息因受物體的移動方向、移動速度及物體與背景的顏色信息差等的影響，雖未必正確，但由於在有太陽光照射的屋外等噪聲較多的環境亦不必特別對數字圖像進行修正，而能生成任意形狀的移動物體的粗邊緣信息，因此本發明能不受使用環境的限制加以使用。又，本發明對紅外線、紫外線、甚至於放射線等能與可視光波長、三原色波長同樣地加以處理，且越增加頻帶數越能減少噪聲的影響。此時，由於本發明不必變更存儲容量以外之數據處理裝置的電路，故能容易地增加頻帶數。因此，對不僅在屋內且能在屋外活動的機器人來說，本發明能高速且便宜地提供移動物體的輪廓、位置及大小。此外，本發明對不限定對象物的視覺辨識裝置之前處理而言，亦能有效地動作。
根據權利要求8的發明，能在並列輸入粗邊緣信息及數字圖像的各圖像，利用數字圖像從粗邊緣信息生成形成邊緣信息後，並列輸出形成邊緣信息。由於本發明能將以任意方法生成的粗邊緣信息形成為更明了且明確之邊緣信息，因此能容易地減低生成粗邊緣信息之裝置所需要的負載。此外，由於本發明不太受粗邊緣信息的影響，因能將數字圖像設定為低解析度的低解析度數字圖像的特定領域所生成的粗邊緣信息，形成為更明了且明確之邊緣信息。因此，不需增加硬體量與計算量，本發明能對低倍率數字圖像中的物體生成高精度的邊緣信息。藉本發明，能使過去以廣角攝像機與高精細攝像機的物體辨識裝置，用一個攝像機實現物體辨識。
根據權利要求9的發明，能在並列輸入邊緣信息，檢測用邊緣信息所顯示的物體的位置及大小後，將物體的位置及大小作為重複信息加以並列輸出。本發明，能以需要大量的硬體量與計算量所檢測的圖像中之複數個物體的位置及大小相同程度之品質或之上的品質，一次性的從複數個物體的邊緣信息中檢測出位置及大小。從用攝錄像機所拍攝的動態圖像的框圖像或用數字相機所拍攝的靜止圖像中，檢測該圖像中的複數物體之位置及大小的前處理中亦能利用本發明，以高速且廉價地實現靜止圖像及動態圖像的圖形辨識算法。
又，根據權利要求9的發明，能在並列輸入物體領域圖像的各像素，檢測用物體領域圖像的各像素所顯示的物體的位置及大小後，將物體的位置及大小作為重複信息加以並列輸出。本發明，能以需要大量的硬體量與計算量所檢測的圖像中之複數個物體的位置及大小相同程度之品質或之上的品質，一次性的從複數個物體的邊緣信息中檢測出位置及大小。尤其是當檢測像細胞或精子般具有圓形部分的物體，或像人臉般可視為圓形的物體位置及大小時，由於不需從該等物體領域再度生成邊緣信息，故能高速且廉價地實現靜止圖像及動態圖像的圖形辨識算法。
根據權利要求10的發明，能在並列輸入物體領域圖像的各像素及數據圖像的各像素，以將數字圖像中的物體領域規格化後，並列輸出規格化圖像的各像素。本發明，能以需大量的硬體量與計算量所生成、對位置偏離較弱、多間隙的規格化圖像同程度之品質或之上的品質，使用物體領域圖像的物體領域以外，將被遮蔽的數字圖像的物體領域配合數字圖像的尺寸填補間隙，同時進行規格化。對用攝錄放機拍攝的動態圖像之框圖像或用數字相機拍攝的靜止圖像中切出的特定物體進行規格化的前處理中亦能加以利用，而能高速且廉價地實現靜止圖像及動態圖像的圖形辨識算法等。
根據權利要求11的發明，能在並列輸入若干模板圖像的各像素，並列輸入規格化圖像的各像素，進行模板圖像與圖形匹配後，並列輸出匹配結果圖像的各像素。若對不同位置與大小的相同物體之規格化圖像的再現性高的話，本發明能選擇僅用附近處理、類似於規格化圖像的若干模板圖像。是以，由於本發明能將最小平方誤差與中性網絡等的大區域處理抑制在最小限度，故能高速且廉價地實現靜止圖像及動態圖像的圖形辨識算法等。
根據權利要求12的發明，能在並列輸入形成邊緣信息，使用非線性振蕩器將物體領域與背景領域分離後，並列輸出物體領域圖像的各像素。奔發明，針對數字圖像，不需預先進行邊緣信息的生成以外之任何前處理，不受數字圖像中的物體形狀、位置、方向的影響，又，即使邊緣信息為虛線、或交差亦無所謂，再者，即使數字圖像中的物體領域重疊，亦能分離物體領域與背景領域。另外，本發明使用數位技術容易組裝硬體，亦能進行適合實時圖像處理的高速化。
根據權利要求13及14的發明，能使視覺裝置高速地動作。特別是由於並行性的關係，即使圖像尺寸變大，處理時間亦不變。是以，可利用視覺裝置於需要實時性之用途。又，由於只要變更程序，即能用同一晶片實現權利要求6～12的多個裝置，因此本發明能便宜地製造視覺裝置。再者，由於能用同一晶片實現權利要求6～12項的多個裝置，因此能將該晶片容易地組裝於移動式攝像機中，而增加方便性。最後，由於本發明全部用像素單位輸入、輸出信號，故藉重疊複數之晶片即能抑制配線量。因此，藉三次元VLSI等技術革新，本發明能容易地提升處理性能。
權利要求
1．一種視覺裝置，針對動態圖像中移動物體，其特徵在於包含取得前述動態圖像之框圖像的裝置；將前述框圖像作為數字圖像依序加以存儲的裝置；自前述數字圖像生成移動物體粗邊緣信息圖像的裝置；使用前述數字圖像、自前述移動物體粗邊緣信息圖像生成移動物體形成邊緣信息圖像的裝置；檢測根據前述移動物體形成邊緣信息圖像所區分出之移動物體領域位置及大小的裝置；計算移動物體領域數量的裝置；以及保持前述移動物體領域數量的裝置。
2．一種視覺裝置，針對動態圖像中之移動物體，其特徵在於包含取得前述動態圖像之框圖像的裝置；將前述框圖像作為數字圖像依序加以存儲的裝置；自前述數字圖像生成移動物體粗邊緣信息圖像的裝置；使用前述數字圖像、自前述移動物體粗邊緣信息圖像生成移動物體形成邊緣信息圖像的裝置；使用前述移動物體形成邊緣信息圖像自背景分離移動物體領域的裝置；檢測前述移動物體領域位置及大小的裝置；計算移動物體領域數的裝置；以及保持前述移動物體領域數的裝置。
3．如權利要求1或2所述的視覺裝置，系具有使前述數字圖像振動的裝置，據以取代前述移動物體而對所有物體進行所有物體領域數量的計算。
4．一種視覺裝置，針對使用移動式攝像機所拍攝之動態圖像中的任意物體，其特徵在於包含取得前述動態圖像之框圖像的裝置；將前述框圖像作為數字圖像、依序加以存儲的裝置；自前述數字圖像、生成任意物體粗邊緣信息圖像的裝置；檢測以前述任意物體粗邊緣信息圖像所區分之任意物體領域的位置及大小的裝置；將前述移動式攝像機之方向及倍率轉換為環境坐標位置的裝置；將前述任意物體區域的前述位置及大小轉換為前述環境坐標的前述位置之裝置；自複數之前述任意物體領域的前述環境坐標之前述位置中，選擇一個的裝置；輸入來自外部之控制指令的裝置；生成為了使前述移動式攝像機振動之振動指令的裝置；控制前述移動式攝像機至所應移動之前述環境坐標之前述位置的裝置；以及生成控制前述移動式攝像機之攝像指令的裝置。
5．如權利要求4所述的視覺裝置，其特徵在於包含使用前述數字圖像、自前述任意物體粗邊緣信息圖像，生成前述任意物體形成邊緣信息圖像的裝置；使用前述任意物體形成邊緣信息圖像，自背景分離出前述任意物體領域的裝置；將前述任意物體領域規格化的裝置；保持任意物體規格化圖像的裝置；辨識前述任意物體規格化圖像的裝置；保持辨識結果的裝置；生成前述環境坐標所顯示之環境地圖的裝置；保持前述環境地圖的裝置；在前述環境地圖中，推算前述任意物體之前述位置的裝置；計算任意物體數量的裝置；保持前述任意物體數的裝置；以及對前述任意物體形成邊緣信息圖像進行幾何解析的裝置。
6．一種視覺裝置，其特徵在於，針對能使數字圖像振動的數據處理裝置中之各個配置成網格狀的數組運算單元，包含將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述數字圖像之各頻帶像素值的裝置；使前述數字圖像之前述各頻帶像素值上下左右振動的裝置；以及輸出振動圖像之各頻帶像素值的裝置。
7．一種視覺裝置，其特徵在於，針對能自數字圖像生成粗邊緣信息圖像的數據處理裝置中之配置成網格狀之各個數組運算單元，包含將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述數字圖像之各頻帶像素值的裝置；將前述數字圖像之前述各頻帶像素值加以平滑化，以生成平滑化圖像之各頻帶像素值的裝置；取前述平滑化圖像之前述各頻帶像素值的對數，以生成對數轉換圖像之各頻帶像素值的裝置；對前述對數轉換圖像之前述各頻帶像素值進行清晰化，以生成清晰化圖像之各頻帶像素值的裝置；自前述清晰化圖像之前述各頻帶像素值，減去輸入1個前清晰化圖像之各頻帶像素值，以生成時間差圖像之各頻帶像素值的裝置；將前述清晰化圖像之前述各頻帶像素值轉換為輸入1個前清晰化圖像之各頻帶像素值的裝置；算出前述時間差圖像之各頻帶像素值的拉普拉斯運算碼(Laplacian)，以生成時間差分拉普拉斯運算碼圖像的各頻帶像素值的裝置；抓出前述時間差拉普拉斯運算碼圖像之前述各頻帶像素值的零點，以生成時間差零點圖像之各頻帶像素值的裝置；求出前述時間差零點圖像之前述各頻帶像素值的最大值，以生成最大值的時間差零點圖像之前述各頻帶像素值的裝置；算出前述清晰化圖像之前述各頻帶像素值的拉普拉斯運算碼，以生成時間差拉普拉斯運算碼圖像之各頻帶像素值的裝置；抽出拉普拉斯運算碼圖像之前述各頻帶像素值之前述零點，以生成零點圖像之各頻帶像素值的裝置；求出前述零點圖像之前述各頻帶像素值的最大值，以生成最大值零點圖像之頻帶像素值的裝置；求出前述最大值零點圖像之前述頻帶像素值與前述最大值時間差零點圖像之前述頻帶像素值中較大者，以生成混合零點圖像之頻帶像素值的裝置；去除前述混合零點圖像之孔，以生成孔除去混合零點圖像之頻帶像素值的裝置；去除前述孔除去混合零點圖像之孤立點及孤立孔，以生成噪聲除去混合零點圖像之頻帶像素值的裝置；反轉前述噪聲除去混合零點圖像之前述各頻帶像素值，以生成粗邊緣信息圖像之頻帶像素值的裝置；以及輸出前述粗邊緣信息圖像之前述頻帶像素值的裝置。
8．一種視覺裝置，其特徵在於，針對能自粗邊緣信息圖像生成形成邊緣信息圖像的數據處理裝置中之配置成網格狀之各個數組運算單元，包含將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述數字圖像之各頻帶像素值及前述粗邊緣信息圖像之各頻帶像素值的裝置；將前述數字圖像之各頻帶像素值及前述粗邊緣信息圖像之各頻帶像素值加以分離的裝置；將前述數字圖像之前述各頻帶像素值加以平滑化，以生成平滑化圖像之各頻帶像素值的裝置；取前述平滑化圖像之前述各頻帶像素值的對數，以生成對數轉換圖像之各頻帶像素值的裝置；對前述對數轉換圖像之前述各頻帶像素值進行清晰化，以生成清晰化圖像之各頻帶像素值的裝置；計算前述清晰化圖像之前述各頻帶像素值的拉普拉斯運算碼，以生成拉普拉斯運算碼圖像之各頻帶像素值的裝置；抽出前述拉普拉斯運算碼圖像之前述各頻帶像素值的零點，以生成零點圖像之各頻帶像素值的裝置的裝置；求出前述零點圖像之前述各頻帶像素值的最大值，以生成最大值零點圖像之頻帶像素值的裝置；反轉前述最大值零點圖像之前述頻帶像素值，以生成基礎邊緣信息圖像之頻帶像素值的裝置；為趨近基礎邊緣信息圖像之前述頻帶像素值，將前述粗邊緣信息圖像之頻帶像素值加以整形的裝置；內插前述粗邊緣信息圖像之前述頻帶像素值的線寬，以生成形成邊緣信息圖像之頻帶像素值的裝置；以及輸出前述形成邊緣信息圖像之前述頻帶像素值的裝置。
9．一種視覺裝置，其特徵在於，針對能檢測物體領域之位置及大小之裝置的數據處理裝置中之配置成網格狀之各個數組運算單元，包含將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述粗邊緣信息圖像之各頻帶像素值的裝置；將前述粗邊緣信息圖像之頻帶像素值轉換為重複信息圖像之頻帶像素值的裝置；將自前述重複信息圖像所計算的移動量圖像化為移動量圖像之頻帶像素值的裝置；將前述重複信息圖像之前述頻帶像素值移動至前述移動量圖像之前述頻帶像素值所示位置的裝置；將前述重複信息圖像之前述頻帶像素值更新為前述重複信息圖像之移動源之前述頻帶像素值之合計的裝置；以及輸出前述重複信息圖像之前述頻帶像素值的裝置。
10．一種視覺裝置，其特徵在於，針對能檢測物體領域之位置及大小之裝置的數據處理裝置中之配置成網格狀之各個數組運算單元，包含將前述數組運算單元初始化的裝置；若無應輸入之前述數字圖像時，即結束處理的裝置；輸入前述粗邊緣信息圖像之各頻帶像素值的裝置；輸入前述物體領域圖像之頻帶像素值及前述數字圖像之各頻帶像素值的裝置；分離前述物體領域圖像之前述頻帶像素值與前述數字圖像之前述各頻帶像素值，以生成更新物體領域圖像之頻帶像素值及數字圖像之各頻帶像素值的裝置；將自前述更新物體領域圖像所計算之移動量圖像化為移動量圖像之頻帶像素值的裝置；隨前述移動量圖像之前述頻帶像素所指之移動位置的重複數，生成能移動圖像之頻帶像素值的裝置；隨前述能移動圖像的判定，將前述更新物體領域圖像之前述頻帶像素值移動到前述移動位置的裝置；配合前述更新物體領域圖像之頻帶像素值的移動，移動前述數據圖像之前述各頻帶像素值的裝置；用前述物體區域所包含之附近頻帶像素值之平均值，以內插法推出前述物體領域所未包含之前述更新物體領域圖像的前述頻帶像素值的裝置；配合前述更新物體領域圖像之頻帶像素值的內插，以內插法推出前述更新數字圖像之前述各頻帶像素值的裝置；以及輸出內插前述更新圖像後所生成之規格化圖像之各頻帶像素值的裝置。
11．一種視覺裝置，其特徵在於，針對辨識規格化圖像之裝置中實現圖案匹配的數據處理裝置中之配置成網格狀之各個數組運算單元，包含將前述數組運算單元以網格狀加以配置的裝置；將前述數組運算單元初始化的裝置；至應輸入之模板圖像完全沒有為止，輸入前述模板圖像之頻帶像素值的裝置；若無應輸入之前述規格化圖像時，即結束處理的裝置；輸入前述規格化圖像之頻帶像素值的裝置；計算匹配結果的裝置；更新匹配結果圖像的裝置；以及輸出前述匹配結果圖像之頻帶像素數的裝置。
12．一種視覺裝置，其特徵在於，針對使用形成邊緣信息圖像以分離物體領域裝置的數據處理裝置中之配置成網格狀之各個數組運算單元，包含將前述數組運算單元以網格狀加以配置的裝置；將前述數組運算單元中的非線性振蕩器與位於前述非線性振蕩器附近之前述非線性振蕩器，以結合值加以連接的裝置；將前述數組運算單元初始化的裝置；若無應輸入之前述形成邊緣信息圖像時，即結束處理的裝置；輸入前述形成邊緣信息圖像之頻帶像素值的裝置；計算幹擾的裝置；計算前述非線性振蕩器附近輸入合計的裝置；計算前述非線性振蕩器參數的裝置；計算前述非線性振蕩器輸出的裝置；計算輪廓參數的裝置計算交界參數的裝置；以及輸出包含有以前述非線性振蕩器所分離出之前述物體領域的物體領域圖像的頻帶像素值的裝置。
13．一種視覺裝置，其特徵在於，針對具有數據輸入裝置、依序存儲前述數據的裝置、於數組運算單元間傳送前述數據的裝置、使用前述數據進行計算的裝置、以及輸出前述數據的裝置之數組運算單元，包含將前述數組運算單元配置成網格狀的裝置；根據前述數組運算單元之各自的位置關係，使附近數組運算單元相互結合的裝置；於相鄰之前述數組運算單元間，進行數據通信的裝置；以及使前述各數組運算單元獨立動作的裝置。
14．一種視覺裝置，其特徵在於數組運算單元系具備具有輸入數據處理裝置的處理器，用來存儲前述數據之處理程序與變量的內存，以及用來與相鄰之數組運算單元進行通信的控制器；前述控制器系具備將輸入之前述數據存儲在前述內存中的裝置，將前述內存中之前述變量傳送到前述數組運算單元的裝置，以及將相鄰之前述數組運算單元所傳送的前述變量存儲在前述內存的裝置。
全文摘要
視覺裝置系搜索移動物體及靜止物體，計算移動物體及靜止物體之數量。具體說來，具備有使用數組運算單元、使框圖像振動的裝置(25)，從框圖像、生成移動物體及靜止物體邊緣信息的裝置(14)，從框圖像之背景，分離出移動物體及靜止物體之物體領域的裝置(16)，檢測移動物體及靜止物體位置及大小的裝置(17)，將根據物體領域切出之分離物體領域，規格化為規格領域的裝置(27)，以及辨識此規格領域的裝置(29)。
文檔編號G06T7/20GK1317124SQ9981079
公開日2001年10月10日 申請日期1999年9月10日 優先權日1998年9月10日
發明者味岡義明 申請人:伊強德斯股份有限公司