圖像分析方法、圖像分析裝置、圖像分析系統以及圖像分析可攜式裝置與流程

2023-09-17 17:06:35

本發明涉及能夠高精度地進行圖像數據的分析且減輕分析員的分析負擔的圖像分析方法、圖像分析裝置、圖像分析系統以及圖像分析可攜式裝置。

背景技術：

在工廠從事作業的工作人員與總是以恆定速度動作的生產設備不同，有時作業執行的速度產生偏差。因此，分析這些工作人員的作業循環時間的偏差在分析工廠整體的生產率方面是重要的。作為進行這些工作人員的作業分析的方法，以往周知有工業工程(IE)的方法。

例如，如非專利文獻1所示，公開有將工作人員進行的一連串的作業分割為構成要素作業單位來測定、評價作業時間的長短的秒表(Stopwatch)法、膠片分析法(film analysis method)等方法。一般而言，在這些方法中，進行分析的分析員目視觀測作為觀測對象的工作人員，記錄觀測對象的工作人員的作業狀態的變化時刻、即作業開始時刻和作業結束時刻，對分析員要求巨大的勞動力。根據這樣的背景，近年來公開有使用各種分析裝置自動地掌握工作人員的作業狀態來減輕分析員的分析負擔的方法。

例如，如專利文獻1所示，提出有通過包括「動作字典」「作業字典」的資料庫來確定的方法，該「動作字典」「作業字典」是記載有從安裝於工作人員的傳感器得到的信號波形的出現模式與工作人員的動作的關係的對應表。

另外，例如，如專利文獻2所示，提出有如下方法：通過攝像機拍攝進行反覆作業的工作人員的動作，計算反覆地通過設定在再現顯示器上的基準點的所需時間，測量作業循環。

另外，作為利用攝像機而進行作業分析的技術，例如，如專利文獻3所示，提出有根據拍攝得到的圖像數據的顏色信息等的變化而對工作人員的人體的預定的一部分進行動作識別的技術。

另外，例如，如專利文獻4所示，提出有不將識別對象限定於人體，而對運動物體與背景進行識別的技術。

專利文獻1：日本專利第5159263號公報

專利文獻2：日本專利第2711548號公報

專利文獻3：日本專利第4792824號公報

專利文獻4：日本特開2003-6659號公報

非專利文獻1：藤田彰久著《新版IE的基礎》建帛社(2007年1月發行)

技術實現要素：

在以往的工廠中的工作人員的作業分析方法中，本應謀求減輕分析員的分析負擔的技術，但如專利文獻1所示，在使用傳感器信號與工作人員動作的對應表而進行作業分析的方法中存在如下問題：步行、停止這樣的簡單的動作的情況暫且不論，對複雜的作業的全部配備對應表需要耗費巨大的功夫，是不且實際的。

另外，如專利文獻2所示，在使用攝像機捕捉工作人員的動作的現有技術中，需要根據工作人員的人體的一部分是否通過預先在圖像上規定的基準空間來掌握動作，所以存在在進行該圖像上的基準空間的設定行為以及是否是人體的一部分的識別行為中需要勞力這樣的問題。

另外，如專利文獻3所示，在進行是否是人體的一部分的識別中使用圖像數據的顏色信息，但存在如下問題：工廠的工作人員一般佩戴頭盔、手套等各種防護用具的情況居多，多數情況下難以利用顏色信息來判定工作人員的人體的一部分。

另外，如專利文獻4所示，在識別運動物體和背景信息的技術中，通過在動畫數據的前後的幀之間比較同一像素的特徵量來識別是運動物體還是背景，但存在如下問題：在如工廠內那樣總是有某些物體在運動的情況下，例如在皮帶輸送機動作或者換氣扇旋轉這樣的情況下，連無關的運動物體也被識別了，從而導致分析困難。

也就是說，在任意的以往的情況下，都存在為了進行分析需要巨大的勞力或在工廠中分析精度惡化的問題。

本發明是為了解決上述那樣的課題而完成的，目的在於提供能夠高精度地進行圖像數據的分析且減輕分析員的分析負擔的圖像分析方法、圖像分析裝置、圖像分析系統以及圖像分析可攜式裝置。

本發明的圖像分析方法分析按時間序列取得的圖像數據，該圖像分析方法具備如下工序：

取得各所述圖像數據的各像素的顏色信息；

根據所述顏色信息計算表示各所述像素的特徵量的時間序列性的變化的特徵量時間序列數據；以及

根據所述特徵量時間序列數據計算所述圖像數據的變動周期。

另外，本發明的圖像分析裝置分析按時間序列取得的圖像數據，該圖像分析裝置具備：

特徵量計算部，根據各所述圖像數據的各像素的顏色信息計算表示特徵量的時間序列性的變化的特徵量時間序列數據；以及

變動周期計算部，根據所述特徵量時間序列數據計算各所述圖像數據的變動周期。

另外，本發明的圖像分析系統具備：

記載的所述圖像分析裝置；

攝像裝置，取得所述圖像數據；

顯示裝置，顯示所述圖像分析裝置的分析結果；

圖像資料庫，存儲所述圖像數據；

特徵量時間序列資料庫，存儲所述特徵量時間序列數據；以及

圖像分析資料庫，存儲所述分析結果。

另外，本發明的圖像分析可攜式裝置是所記載的所述圖像分析系統以一體式且可攜式形成所述圖像分析裝置、所述攝像裝置、所述顯示裝置、所述圖像資料庫、所述特徵量時間序列資料庫以及所述圖像分析資料庫而成的圖像分析可攜式裝置。

根據本發明的圖像分析方法、圖像分析裝置、圖像分析系統以及圖像分析可攜式裝置，能夠高精度地進行圖像數據的分析且減輕分析員的分析負擔。

附圖說明

圖1是示出具有本發明的實施方式1的圖像分析裝置的圖像分析系統的結構的圖。

圖2是用於說明圖1所示的圖像分析裝置的特徵量計算部的動作的圖。

圖3是示出在圖1所示的圖像分析裝置中使用的圖像數據的像素的結構的圖。

圖4是示出在圖1所示的圖像分析裝置的圖像數據的處理中使用的顏色信息的圖。

圖5是示出圖2所示的特徵量計算部中的圖像數據的顏色信息的取得順序的圖。

圖6是示出在圖2中取得的圖像數據的各像素的根據圖5而取得的顏色信息的圖。

圖7是示出在圖2所示的特徵量計算部中設定的調色板數據的圖。

圖8是示出在圖6中取得的顏色信息的各像素的調色板序號的圖。

圖9是示出用於在圖2所示的特徵量計算部中取得各像素的顏色信息熵的鄰近圖像區域的圖。

圖10是示出用於在圖2所示的特徵量計算部中取得各像素的顏色信息熵的其它鄰近圖像區域的圖。

圖11是示出在圖2所示的特徵量計算部中取得的任意的像素的顏色信息熵的取得例的圖。

圖12是用於說明在圖2所示的特徵量計算部中取得的任意的像素的顏色信息熵的變化的圖。

圖13是示出在圖2所示的特徵量計算部中取得的任意的像素的顏色信息熵的時間序列的變化狀態的圖。

圖14是示出在圖2所示的特徵量計算部中取得的各圖像的顏色信息熵的時間序列數據的圖。

圖15是以顏色深淺圖示化地示出在圖2所示的特徵量計算部中取得的圖像數據的顏色信息熵的任意的時刻的信息的圖。

圖16是用於說明圖1所示的圖像分析裝置的變動周期計算部的動作的圖。

圖17是示出在圖14中取得的顏色信息熵的時間序列數據的圖表的圖。

圖18是示出從圖17所示的顏色信息熵的時間序列數據抽出一部分的圖表的圖。

圖19是示出從圖17所示的顏色信息熵的時間序列數據抽出一部分的圖表的圖。

圖20是示出圖像數據上的像素位置與運動物體的關係的圖。

圖21是對圖17所示的時間序列數據的時間偏移進行說明的圖。

圖22是示出圖17所示的各像素的顏色信息熵中的時間偏移的自相關係數的圖。

圖23是以圖表示出圖22所示的各像素中的時間偏移和自相關係數的圖。

圖24是示出圖23所示的各時間偏移與各像素的自相關係數的平均值的圖。

圖25是以圖表示出圖24所示的各時間偏和各像素的自相關係數的平均值的圖。

圖26是示出對圖25所示的各時間偏移與各像素的自相關係數的平均值進行了傅立葉變換的圖表的圖。

圖27是從圖17所示的顏色信息熵以及圖23所示的自相關係數抽出在各像素的自相關係數的極大值處的時間偏移、自相關係數以及初次時刻的圖。

圖28是從圖27抽出具有變動周期的數據的圖。

圖29是用於說明在圖28中初次時刻不同的狀況的圖。

圖30是從圖29抽出作業點的圖。

圖31是抽出在圖30中抽出的作業點的自相關係數的極大值的時刻的圖。

圖32是根據圖30所示的時刻計算作業時間的圖。

圖33是示出圖32的作業時間的概率密度的圖。

圖34是示出在圖14中取得的圖像數據的任意的像素的顏色信息熵的時間序列數據的圖表的圖。

圖35是以圖表示出圖34所示的像素的時間偏移和自相關係數的圖。

圖36是示出對圖35所示的各時間偏移和像素的自相關係數進行了傅立葉變換的圖表的圖。

圖37是示出在圖14中取得的包含作業中斷的圖像數據的任意的像素的顏色信息熵的時間序列數據的圖表的圖。

圖38是以圖表示出圖37所示的像素的時間偏移和自相關係數的圖。

圖39是示出對圖38所示的各時間偏移和像素的自相關係數進行了傅立葉變換的圖表的圖。

圖40是示出對圖37所示的像素的顏色信息熵進行了傅立葉變換的圖表的圖。

圖41是用於說明本發明的實施方式2中的圖像分析裝置的特徵量計算部的動作的圖。

圖42是示出在圖41所示的特徵量計算部中取得的圖像數據的各色調的出現頻度的圖。

圖43是示出在色調中均勻分割圖41所示的各色調的出現頻度的狀態的圖。

圖44是按圖41所示的圖像數據的各色調中的出現頻度的降序示出並抽出峰色調的圖。

圖45是將圖44所示的出現頻度的降序按照色調順序重新排列並抽出谷色調的圖。

圖46是示出根據圖45所示的谷色調設定的調色板序號的狀態的圖。

圖47是示出在色調中將圖41所示的各色調的出現頻度分割成圖46所示的調色板序號的狀態下的圖。

圖48是示出本發明的實施方式3中的圖像分析可攜式裝置的結構的圖。

圖49是示出具有本發明的實施方式4的圖像分析裝置的圖像分析系統的結構的圖。

具體實施方式

實施方式1.

以下，對本發明的實施方式進行說明。對在以下的實施方式中說明的圖像分析以如下情況作為例子進行說明：當在工廠等設施內作為運動物體的工作人員進行作為周期性動作(反覆性動作)的作業的情況下，分析作為該作業中的反覆時間的作業循環時間。其中，即使是運動物體為工作人員以外的例如設備進行的作業，也能夠同樣地進行圖像分析。而且，除了作業以外，對反覆變化的圖像數據的分析也能夠起到相同的效果。

圖1是示出具有本發明的實施方式1的圖像分析裝置的圖像分析系統的結構的圖。圖2是用於說明圖1所示的圖像分析裝置的特徵量計算部的動作的圖。圖3是示出在圖1所示的圖像分析裝置中使用的圖像數據的像素的結構的圖。圖4是示出在圖1所示的圖像分析裝置的圖像數據的處理中使用的顏色信息的圖。圖5是示出圖2所示的特徵量計算部中的圖像數據的顏色信息的取得順序的圖。圖6是示出在圖2中取得的圖像數據的各像素的根據圖5所取得的顏色信息的圖。

圖7是示出在圖2所示的特徵量計算部中設定的調色板數據的圖。圖8是示出在圖6中取得的顏色信息的各像素的調色板序號的圖。圖9是示出用於在圖2所示的特徵量計算部中取得各像素的信息熵(以下稱作「顏色信息熵」)的鄰近圖像區域的圖。圖10是示出用於在圖2所示的特徵量計算部中取得各像素的顏色信息熵的其它鄰近圖像區域的圖。圖11是示出在圖2所示的特徵量計算部中取得的任意的像素的顏色信息熵的取得例的圖。

圖12是用於說明在圖2所示的特徵量計算部中取得的任意的像素的顏色信息熵的變化的圖。圖13是示出在圖2所示的特徵量計算部中取得的任意的像素的顏色信息熵的時間序列的變化狀態的圖。圖14是示出在圖2所示的特徵量計算部中取得的各圖像的顏色信息熵的時間序列數據的圖。圖15是以顏色深淺圖示化地示出在圖2所示的特徵量計算部中取得的圖像數據的顏色信息熵的任意的時刻的信息的圖。圖16是用於說明圖1所示的圖像分析裝置的變動周期計算部的動作的圖。

圖17是示出在圖14中取得的顏色信息熵的時間序列數據的圖表的圖。圖18以及圖19是示出從圖17所示的顏色信息熵的時間序列數據抽出一部分的圖表的圖。圖20是示出圖像數據上的像素位置與運動物體的關係的圖。圖21是對圖17所示的時間序列數據的時間偏移進行說明的圖。圖22是示出圖17所示的各像素的顏色信息熵中的時間偏移的自相關係數的圖。圖23是以圖表示出圖22所示的各像素中的時間偏移與自相關係數的圖。

圖24是示出圖23所示的各時間偏移和各像素的自相關係數的平均值的圖。圖25是以圖表示出圖24所示的各時間偏移與各像素的自相關係數的平均值的圖。圖26是示出對圖25所示的各時間偏移與各像素的自相關係數的平均值進行了傅立葉變換的圖表的圖。圖27是抽出在各像素的自相關係數的極大值處時間偏移、自相關係數以及初次時刻的圖。

圖28是從圖27抽出具有變動周期的數據的圖。圖29是用於說明在圖28中初次時刻不同的狀況的圖。圖30是從圖29抽出作業點的圖。圖31是抽出在圖30中抽出的作業點的自相關係數的極大值的時刻的圖。圖32是根據圖30所示的時刻計算作業時間的圖。圖33是示出圖32的作業時間的概率密度的圖。

圖34是示出在圖14中取得的圖像數據的任意的像素的顏色信息熵的時間序列數據的圖表的圖。圖35是以圖表示出圖34所示的像素的時間偏移和自相關係數的圖。圖36是示出對圖35所示的各時間偏移和像素的自相關係數進行了傅立葉變換的圖表的圖。圖37是示出在圖14中取得的包含作業中斷的圖像數據的任意的像素的顏色信息熵的時間序列數據的圖表的圖。圖38是以圖表示出圖37所示的像素的時間偏移和自相關係數的圖。圖39是示出對圖38所示的各時間偏移和像素的自相關係數進行了傅立葉變換的圖表的圖。圖40是示出對圖37所示的像素的顏色信息熵進行了傅立葉變換的圖表的圖。

在圖1中，圖像分析裝置5具備：圖像資料庫(以下，將資料庫略稱作DB而示出)6，存儲按時間序列取得的圖像數據；特徵量時間序列DB11，存儲圖像數據的特徵量時間序列數據；圖像分析DB12，存儲來自圖像數據的圖像分析數據；以及圖像分析單元9，根據圖像數據分析圖像分析數據。圖像分析單元9具備從圖像數據檢測特徵量的特徵量計算部7和檢測該圖像數據的特徵量的變動周期的變動周期計算部8。

另外，圖像分析裝置5與包括有線或無線的通信網絡4連接。而且，工作人員1A以及工作人員1B在固定的工作檯2A以及工作檯2B從事作業。然後，各作業狀態作為通過攝像裝置3A以及攝像裝置3B拍攝而得到的圖像數據而被輸出。接下來，各攝像裝置3A、各攝像裝置3B的各圖像數據經由通信網絡4被保存到圖像DB6。另外，通過圖像分析裝置5分析的圖像分析數據經由通信網絡4而被顯示於分析員14的顯示裝置13。

對如上所述地構成的實施方式1的圖像分析裝置的動作進行說明。首先，工作人員1A以及工作人員1B在工作檯2A以及工作檯2B進行作業。然後，各作業狀態作為通過攝像裝置3A以及攝像裝置3B拍攝而得到的多個時間序列的圖像數據而被輸出到通信網絡4。然後，各圖像數據經由通信網絡4被保存到圖像DB6。接下來，特徵量計算部7從圖像DB6取得圖像數據(圖2的步驟S01)。

接下來，取得各圖像數據的各像素的顏色信息(圖2的步驟S02)。具體而言，例如，如圖3所示，圖像數據包括具有x軸(水平)方向10像素×y軸(垂直)方向10像素的100個像素。圖像數據的各像素是指構成圖3中的圖像數據的各格柵區。例如，如圖3所示，像素C位於「x＝1，y＝1」的位置，像素D位於「x＝4，y＝3」的位置。而且，如圖4所示，此處取得的顏色信息例如使用由「色調」、「飽和度」、「亮度」這3個分量表現的HLS顏色空間(其中，圖4以黑白省略示出實際的彩色。)，其中，「色調」以0～360°(度)的角度表示色彩，「飽和度」以0～1(＝100％)表示顏色的鮮明度，「亮度」以0～1(＝100％)表示顏色的明亮度。

此外，在本實施方式中以使用HLS顏色空間的例子示出，但不限於此，只要能夠將各像素的顏色信息數值化表現，則可以使用任意的顏色空間，例如，也可以使用RGB顏色空間、HSV顏色空間等其它顏色空間。然後，如圖5的箭頭所示，對1個圖像數據(也稱作1幀圖像幀)內的所有像素，沿著x軸、y軸方向依次取得顏色信息。然後關於所取得的各像素的顏色信息，例如，如圖6所示，如像素位置「x＝1，y＝1」的像素C的顏色信息「色調＝0°，飽和度＝1，亮度＝0」、像素位置「x＝4，y＝3」的像素D的顏色信息「色調＝0°，飽和度＝1，亮度＝0.5」這樣取得包括色調、飽和度、亮度的3維顏色信息。

接下來，對該各圖像數據的各像素的顏色信息根據調色板數據15取得調色板序號(圖2的步驟S03)。具體而言，在調色板數據15中以將類似系統顏色作為同一顏色組、將不同系統顏色作為不同的顏色組的方式，按各調色板序號進行分類。進而，對各調色板序號分別設定用於檢測的優先次序。

此外，調色板序號以及優先次序是根據要分析的圖像數據而預先適當設定的。另外，該調色板數據15的數量是根據在要分析的圖像數據中出現的顏色信息的重要度適當設定的。具體而言，用要製作的調色板來分類識別的顏色數(調色板序號的數量)最好為在後述的顏色信息熵時所使用的「鄰近像素區域」的像素數的程度。此外，這些內容在以下的實施方式中也是相同的，所以適當省略其說明。

然後，例如，如圖7所示，從優先次序第1位開始依次如下預先確定優先次序：優先次序第1位為調色板序號(黑色)亮度小於0.1；優先次序第2位為調色板序號(白色)，亮度為0.9以上；優先次序第3位為調色板序號(灰色)，飽和度小於0.15；…。然後，按照如圖7所示的調色板數據15的優先次序的從高到低的順序，逐一讀入如圖6所示的各像素的各顏色信息，並賦予條件匹配的調色板序號。

這樣，例如，如圖6所示，像素位置「x＝1，y＝1」的顏色信息是「色調＝0°、飽和度＝1、亮度0」，所以與作為圖7所示的調色板數據15的優先次序第1位的「亮度小於0.1」的條件匹配，如圖8所示，調色板序號成為「」。然後，取得與全部圖像數據的全部像素匹配的調色板序號。

接下來，根據該各像素的調色板序號的數據，取得作為各圖像數據的各像素的特徵量的顏色信息熵(圖2的步驟S04)。顏色信息熵是對包含各像素的預先設定的像素區域、此處是對以某像素為中心而預先設定的近似像素區域取得的。而且，表示該鄰近像素區域的顏色信息量的多少、雜亂情況的示量性狀態量(特徵量)是顏色信息熵，能夠如以下所示地求出。由此，能夠通過利用該顏色信息熵來計算圖像的特徵量。

更具體而言，如圖9所示，例如對位於像素的坐標x＝5，y＝4的像素E將以「±3像素」量、即3≤x≤7、2≤y≤6示出的區域設定為鄰近像素區域。此外，鄰近像素區域是根據想要分析的圖像數據的內容適當設定的，此處預先設定為「±3像素」量。因而，也可以通過其它方法設定鄰近像素區域。作為其它鄰近像素區域的例子，也可以不是矩形，而是如圖10所示地對像素E設定成菱形。

另外，作為所設定的鄰近像素區域的像素數的標準，如果在圖像320×240像素的範圍中映出一個工作人員的情況下，可以認為作為能夠識別例如5cm見方的物體的能力的像素數，5×5像素左右是適宜的。由此，鄰近像素區域是根據能夠識別工作人員以及進行作業的物體的能力適當設定的。

接下來，通過下述的(式1)計算像素坐標x，y的像素的顏色信息熵EPYx,y。

數1

上述(式1)的px,y(c)表示像素位置x，y的鄰近像素區域內的包含調色板序號c的面積比例。因此，px,y(c)通過後述(式2)能夠求出包含在作為鄰近像素區域的像素數的鄰近像素數N中的調色板序號c的像素數Nx,y(c)的比例。

px,y(c)＝Nx,y(c)/N…(式2)

具體而言，在圖11中示出在計計算顏色信息熵的情況下的圖像數據的例子。該圖11將圖像數據內、包括5×5的25個像素的鄰近像素區域作為例子而示出。此外，在圖11至圖13中，雖然為了易於理解各圖而以顏色(白、黑和灰等)示出，但實際是通過調色板序號來處理的。因此適當省略其說明。

圖11(a)的鄰近像素區域61全部是單色的「白色」。另外，圖11(b)的鄰近像素區域62全部是單色的「灰色」。因此，在圖11(a)、圖11(b)中顏色信息量是1個、不雜亂，所以通過後述(式3)求出的顏色信息熵是「0」。

EPYx,y＝-1×log(1)＝0…(式3)

另一方面，圖11(c)的鄰近像素區域63是「黑色」7個、「暗灰色」5個、「淺灰色」6個、「白色」7個。因此，通過後述(式4)求出的顏色信息熵是「1.99」。

EPYx,y＝-(7/25)log2(7/25)-(5/25)log2(5/25)-(6/25)log2(6/25)-(7/25)log2(7/25)＝1.99…(式4)

這樣，在圖11(c)中，不同的調色板序號(顏色信息量)多、雜亂，所以顏色信息熵是「1.99」。此外，在先前示出的調色板數據15中不存在「深灰色」以及「淺灰色」的調色板序號的設定例，但為了易於理解圖11而將其分別示出。

然後，如圖12(a)至圖12(b)所示，說明在對圖像數據的像素F的鄰近像素區域64內格子形的圖案G從左下微量地移動到右上的情況。即使這樣從圖12(a)變化為圖12(b)，像素F的鄰近像素區域64的「灰色」和「白色」的比例也不發生變化。因此，鄰近像素區域64的圖像數據的雜亂情況不發生變化。因此，作為顏色信息熵從圖12(a)的「0.94」變成圖12(b)的「0.94」而不發生變化。

這樣，只要利用顏色信息熵的性質，就能夠排除例如在工廠中常常發生的振動等圖像的晃動等的影響。而且，即使在工廠以外的其它地方的拍攝中，也同樣地能夠排除容易發生圖像的晃動的情況等的影響。另外，可以認為也能夠排除誤差的影響。

接下來，圖13是示出在像素H的鄰近像素區域64內灰色圖案的一部分從下到上通過的狀況的例子的圖。在該例子中，隨著灰色圖案的通過，像素H的鄰近像素區域64的「灰色」和「白色」的比例發生變化。因此，顏色信息熵值如圖16(a)至圖16(j)所示地變化。也就是說，由於該圖像數據的雜亂情況發生變化，從而顏色信息熵變化。可知只要利用該性質，就能夠判斷在該圖像數據上運動物體是否移動了。

然後，如圖14所示，取得各像素位置的、每個時間經過即每個時間序列的圖像數據的顏色信息熵的信息，能夠確認時間經過中的顏色信息熵的變化。然後，取得全部圖像數據的各像素的顏色信息熵，作為特徵量時間序列數據而存儲到特徵量時間序列DB11並結束處理。

在通過顏色深淺來繪製這樣取得顏色信息熵的圖像數據的、各像素位置的某時刻的顏色信息熵的數值的大小時，例如，如圖15(a)所示，能夠識別具有複雜的形狀、顏色配合的工作人員等物體，能夠得到工作人員的作業情景圖像。另外，如圖15(b)所示，在觀察圖15(a)的Z-Z』線上的、橫軸為各位置、縱軸為該各位置的顏色信息熵的數值的圖表時，能夠確認可識別工作人員的信息等。

接下來，變動周期計算部8利用該特徵量時間序列數據，對工作人員的作業循環時間利用特徵量的時間序列變動周期進行圖像分析。具體而言，以3個階段來執行：計算特徵量時間序列數據的自相關係數的步驟；利用自相關係數來計算變動周期的步驟；以及利用變動周期來分析作業循環時間的步驟。

首先，讀入全部的各像素的特徵量時間序列數據(圖16的步驟S21)。然後，在將這些特徵量時間序列數據以橫軸為時刻(經過秒)、縱軸為顏色信息熵進行圖表化時，成為圖17所示的那樣。如圖17所示，在J1、K1、J2、K2處存在特徵性波形。在抽出該圖17中的、在J1處存在的像素的波形時，成為圖18所示的那樣。另外，在抽出圖17中的、在K1處存在的像素的波形時，成為圖19所示的那樣。

如圖18所示，可知「J1」和「J2」成對而存在特徵性波形。另外，如圖19所示，可知「K1」和「K2」成對而存在特徵性波形。因此，這樣可知相似波形周期性地反覆。這是因為，在工作人員進行反覆性作業的情況下，每當人體、工件、工作夾具等的一部分周期性地通過圖像上的確定的地點(像素坐標)時，顏色信息熵發生變動的緣故。

這樣，對在每個像素的顏色信息熵中各像素的波形的周期相位不一致、即J1和K1的峰值出現時刻偏移的理由進行說明。例如，在如圖20(a)所示的畫面中，像素J的位置和像素K的位置不同。然後，如圖20(b)所示運動物體80在通過像素J的坐標之後通過像素K的坐標，所以產生時間差。這是先前示出的峰值出現時刻偏移的原因。

接下來，對每個像素計算自相關係數(圖16的步驟S22)。這是在使具有周期性的時間序列數據移位某時間量(以下稱作「時間偏移」)時，如圖21(a)至圖21(b)所示，波形的一致性升高(即出現自相關增強的時刻)。該自相關增強的時刻的時間間隔視為作業循環時間，能夠通過查找各自時間偏移的自相關係數來檢測作業循環時間。

因此，通過後述(式5)求出時刻t的時間序列數據值Xt和從時刻t時間偏移了Δs量的時刻的時間序列數據值Xt+Δs值的自相關係數R(t，t+Δs)。此外，E[f(t)]是f(t)的期望值。另外，μ是X的平均值，σ是X的標準差。而且，該式中的「值」是指顏色特徵熵的「值」。

R(t，t+Δs)＝{E[(Xt-μ)(Xt+Δs-μ)]}/σ2…(式5)

然後，通過上述(式5)求出全部的各像素的各自時間偏移的自相關係數。之後，如圖22所示，求出各像素的每個時間偏移的自相關係數。然後，在以縱軸為自相關係數、橫軸為時間偏移來表示如圖22那樣求出的值時，成為如圖23所示的那樣。

接下來，利用該自相關係數計算變動周期(圖16的步驟S23)。首先，取全部像素的自相關係數的每個時間偏移的平均值。之後，如圖24所示地計算。然後，在以縱軸為自相關係數、橫軸為時間偏移來表示如圖24那樣求出的值時，成為如圖25所示。如根據圖25所知的那樣，能夠確認顏色信息熵的變動周期以「12秒至13秒」的間隔顯現強的相關。此外，利用自相關係數的平均值也能夠求出變動周期，不過為了提高變動周期的值的精度進行以下的動作。

接下來，對該自相關係數進行傅立葉變換，明確自相關係數的變動周期。對圖25所示的自相關係數進行傅立葉變換，在以縱軸為功率譜密度(PSD)、橫軸為周期示出其值時，變換為如圖26所示的那樣。然後，根據圖26能夠確認在「11.2秒」出現峰值。由此，計算該作業以「11.2秒」周期(變動周期)進行。

接下來，利用這樣求出的變動周期以及各像素的特徵量時間序列數據，分析作業循環時間(圖16的步驟S24)。首先，如圖27所示地抽出各像素的自相關係數的極大值出現的時刻的時間偏移及其自相關係數(極大值)和該極大值最初出現的初次時刻。當然，在圖27中抽出的數據中，因為各像素可能發生包含除了工作人員的作業以外的圖像數據的情況，所以假想也存在除了上述變動周期以外的極大值。

因此，為了在各像素中去除除了工作人員的作業以外的圖像，從圖27的數據僅抽出具有先前求出的「11.2秒」的變動周期的數據、即具有「11.2秒」的變動周期的自相關係數的極大值。然後，在圖28中示出從圖27這樣抽出的數據。在該例子中，以「11.2秒」的變動周期多個像素的自相關係數示出極大值。而且，各自的自相關係數的極大值出現的初次時刻既存在相同的情況也存在不同的情況。

關於這一點，如與圖28所示的各像素75、各像素76、各像素77的位置對應的圖29所示，運動物體80初次通過像素75的位置(x＝20，y＝157)的時刻是6.6秒後，通過像素76的位置(x＝147，y＝79)以及像素77的位置(x＝148，y＝80)的初次時刻是10.0秒後，初次通過時刻不同。這樣能夠推測出運動物體80為了從像素75移動到像素76以及像素77而需要3.4秒。

換言之，意味著為了將運動物體80從像素75的位置移動到像素76以及像素77的位置所需的作業時間需要3.4秒。只要利用該性質，就能夠分析在作業的1個循環時間內的、任意的區間(運動物體從任意的像素移動到別的任意的像素的區間)的期間需要多少時間。

接下來，利用圖30至圖32，說明作業循環時間(指作業的1個循環時間)的分析方法的具體例。圖30是從圖28的數據中去除初次時刻反覆的數據而得到的。具體而言，像素76和像素77的初次時刻反覆，所以僅留下像素76的數據而刪除了像素77的數據。然後這樣將初次時刻不反覆的數據按照初次時刻的從早到晚的順序重排為作業點「No.1」、「No.2」…。

接下來，從這些中選擇作業點「No.1」「No.2」，抽出與該選擇出的作業點對應的像素的像素特徵量時間序列數據。然後，按照時刻升序的順序分別重排成為自相關係數的極大值的時刻。然後，在圖31中示出這樣抽出的數據的例子。此外，圖30～圖32所示的作業點「No.1」「No.2」分別示出同一像素位置。

然後，該每個作業點的自相關係數的極大時刻(以下設為「作業時刻」)的出現順序原則上以「No.1」「No.2」、「No.1」「No.2」、…的方式交替出現。因此，能夠對每1個作業循環計算各作業點間的作業時刻差、即作業循環時間。

具體而言，利用圖32來說明。在圖32中，在第1次作業循環中作業點「No.1」的作業時刻是「6.6秒」，作業點「No.2」的作業時刻是「10.0秒」，在第2次作業循環中作業點「No.1」的作業時刻是「17.8秒」，作業點「No.2」的作業時刻是「21.1秒」。

在該情況下，將作業點「No.1」與作業點「No.2」之間的區間作為區間1，將作業點「No.2」與作業點「No.1」之間的區間作為區間2。於是，關於區間1的作業時間，在第1次作業循環中是作業點「No.2」的作業時刻「10.0秒」與作業點「No.1」的作業時刻「6.6秒」的差即「3.4秒」，在第2次作業循環中是作業點「No.2」的作業時刻「21.1秒」和作業點「No.1」的作業時刻「17.8秒」的差即「3.3秒」。

進而，關於區間2的作業時間，在第1次作業循環中是作業點「No.2」的作業時刻「10.0秒」與第2次作業循環的作業點「No.1」的作業時刻「17.8秒」的差即「7.8秒」，在第2次作業循環中是作業點「No.2」的作業時刻「21.1秒」與第3次作業循環的作業點「No.1」的作業時刻「28.9秒」的差即「7.8秒」。

然後，分別計算區間1和區間2的總和即「3.4秒」和「7.8秒」的總和「11.2秒」，還有「3.3秒」和「7.8秒」的總和「11.1秒」。這樣，能夠對每個作業循環測定各區間的作業點間的作業時間間隔。然後，通過這樣進行全部像素的測定，作為圖像分析數據將上述作業時間間隔數據保存到圖像分析DB12，結束處理。

然後，通過圖像分析裝置5分析過的圖像分析數據經由通信網絡4顯示於分析員14的顯示裝置13。而且，對分析員14例如將圖像分析數據顯示為如圖33所示的作業時間間隔的偏差。這樣，能夠向分析員14供給圖像分析數據。在該例子中，相比於區間1的作業時間偏差，區間2的作業時間偏差的一方更大，分析員14能夠圖像分析為可能在區間2的作業中產生了某種問題。

另外，在上述實施方式1中示出了在檢測用於抽出作業點的變動周期的情況下，利用全部像素的顏色信息熵來計算自相關係數，進而將其平均而求出的例子，但不限於此，以下對求出變動周期的其它方法進行說明。

如圖34所示，抽出任意的1個像素的顏色信息熵的時間序列數據。這表示例如對多個工作反覆進行以4組每次10秒的基本動作為1個循環的作業，例如，對1個工件螺絲擰緊4個位置的作業的情況。然後，與上述實施方式1同樣地，根據如該圖34所示的數據計算自相關係數，在縱軸取自相關係數、橫軸取時間偏移示出時，成為如圖35所示的那樣。

從圖35可知，能夠看到在時間偏移、約10秒處出現強的相關M，以時間偏移、約50秒的周期出現相關N。可以認為短的相關M是受1作業循環中進行的短的基礎動作的反覆影響而成的。另一方面，可以認為關於以4組為1個循環的作業，以約50秒周期取得相關N。

接下來，與上述實施方式1同樣地，為了明確該圖35的自相關係數的變動周期而進行傅立葉變換。對圖35所示的自相關係數進行傅立葉變換，在將其值以縱軸為功率譜密度(PSD)、橫軸為周期而示出時變換為如圖36所示。然後，根據圖36能夠確認在「50秒」出現峰值。由此，計算該作業以「50秒」周期(變動周期)進行。因此，以下利用該變動周期，能夠與上述實施方式1同樣地抽出作業點來進行作業的分析。

接下來，對利用自相關係數求出變動周期的情況的優點進行說明。例如，考慮圖像數據中包含工作人員的作業在中途被中斷的作業中斷的情況。作為主要原因，可以認為是休息時間、突發性故障、對他人的支援、自行脫離作業等各種主要原因。在這樣的作業中斷中也可以考慮例如中斷圖像數據的取得，但如先前示出的那樣由於何種原因而中斷是不明的，而且，即使在原因明了的情況下，中斷圖像數據的取得的作業或者重新開始圖像數據的取得的作業等作業繁瑣，根據其定時，有可能在圖像分析自身中發生故障什麼的。

因此，在本實施方式中，即使在發生作業中斷的情況下，也繼續取得圖像數據，儘管是包含該作業中斷的圖像數據，因為利用自相關係數求出變動周期所以能夠應對圖像分析，以下對此進行說明。

首先，如圖37所示，存在作業中斷的情況下的、圖像數據的顏色信息熵在作業中斷的期間是「0」。此外，在圖37中除了作業中斷以外進行與圖34相同的作業。然後，與上述實施方式1同樣地，根據如該圖37所示的數據計算自相關係數，在以縱軸為自相關係數、橫軸為時間偏移時，成為如圖38所示。比較圖38和圖35可知，圖38包含作業中斷，所以無法得到穩定的波形。

但是，對該自相關係數進行傅立葉變換，將其值以縱軸為功率譜密度(PSD)、橫軸為周期示出時，變換為如圖39所示。然後，根據圖39能夠確認在「50秒」出現峰值。由此，計算該作業以「50秒」周期(變動周期)進行。因此，以下，能夠與上述實施方式1同樣地進行圖像分析。

但是，如上述所示，在不計算自相關係數而僅對圖像數據的顏色信息熵進行傅立葉分析，並將其值以縱軸為功率譜密度(PSD)、橫軸為周期而示出時，得到如圖40所示的結果。如根據圖40所知的那樣，大量檢測出低頻分量，無法確認原本需要得到的、位於50秒處的峰值。

根據如上所述地構成的實施方式1的圖像分析裝置，因為能夠利用拍攝設施內的工作人員而得到的圖像數據的特徵量來進行圖像的分析，所以進行分析的分析員無需目視觀測作為觀測對象的工作人員，能夠減輕圖像分析的負擔。另外，能夠在分析中使用利用特徵量得到的變動周期，所以無需識別運動物體自身，另外，因為也無需配備動作字典等對應表，從而能夠高精度地進行圖像分析。另外，因為利用自相關係數求出變動周期，所以即使發生作業中斷等也能夠計算精度優良的變動周期。

另外，利用包含各像素的預先設定的像素區域中的顏色信息的時間序列的顏色信息熵來計算特徵量時間序列數據，所以無需識別在圖像數據中是否為運動物體，而能夠高精度地進行圖像分析。

另外，因為根據特徵量時間序列數據的自相關係數計算變動周期，所以能夠進行精度優良的圖像分析。

另外，根據被分類為預先設定的多個劃分的調色板數據來取得顏色信息，所以能夠簡便地進行圖像分析。

此外，在上述實施方式1中，示出了圖像分析裝置中具備圖像分析單元、圖像DB、特徵量時間序列DB以及圖像分析DB的例子，但不限於此，即使各自單獨形成，也能夠與上述實施方式1同樣地進行並能夠起到相同的效果。具體而言，如果作為圖像分析裝置僅存在圖像分析單元，則通過從外部得到其它數據，能夠與上述實施方式1同樣地進行並能夠起到相同的效果。這些內容在以下的實施方式中也是相同的，所以適當省略其說明。

另外，在上述實施方式1中示出了將拍攝位置設定為2處的例子，但拍攝位置不限於2處，即使1處或者3處以上，也能夠與上述實施方式1同樣地進行並能夠起到相同的效果。

實施方式2.

在上述實施方式1中，示出了預先設定有調色板數據的例子，但不限於此，在本實施方式中，說明根據圖像數據中的顏色信息的出現頻度來製作調色板數據的情況。因此，在本實施方式中，對特徵量計算部7的動作中的、特別是進行調色板數據的設定的動作進行說明。其它部分的結構以及動作與上述實施方式1相同，所以適當省略其說明。

圖41是用於說明本發明的實施方式2中的圖像分析裝置的特徵量計算部的動作的圖。圖42是示出在圖41所示的特徵量計算部中取得的圖像數據的各色調的出現頻度的圖。圖43是示出在色調中均勻分割圖41所示的各色調的出現頻度的狀態的圖。圖44是按圖41所示的圖像數據的各色調的出現頻度的降序示出並抽出峰色調的圖。圖45是將圖44所示的出現頻度的降序按照色調順序重新排列並抽出谷色調的圖。圖46是示出根據圖45所示的谷色調設定的調色板序號的狀態的圖。圖47是示出在色調中將圖41所示的各色調的出現頻度分割成圖46所示的調色板序號分割的狀態下的圖。

如上所述地構成的實施方式2的圖像分析裝置的特徵量計算部7取得並讀入預先設定的數量的圖像數據(圖41的步驟S11)。此時，取得的圖像數據的數量是根據要進行分析的圖像數據的種類或者分析的精度等適當設定的。接下來，進行與上述實施方式1相同的處理，取得所取得的各圖像數據的全部像素的顏色信息(圖41的步驟S12)。此外，也可以在後述的步驟S02中利用該取得的各圖像數據的各像素的顏色信息。

接下來，製作調色板數據(圖41的步驟S13)。首先，計算讀入的各圖像數據的全部像素的顏色信息的色調的出現頻度。然後，可知在將此時的色調的出現頻度以橫軸為色調、縱軸為出現頻度而圖表化時，得到如圖42所示的分布。其中，圖像數據如果在例如工廠之中的情況下，一般而言工作場所的情景不是原色而是素色的情況居多。

因此，如圖42所示，存在幾乎不出現的色帶Q的部分。相反，如圖42的以色帶P1、色帶P2示出的部分那樣，存在集中地出現於類似色的部分。因此，可以認為在分析中無需對以色帶Q示出的部分詳細分類調色板序號，通過對如色帶P1以及色帶P2那樣出現頻度多的部分區分設定調色板序號，能夠更高精度地進行分析。

但是，如果在色調中僅以等間隔分割圖42，則導致分類為如圖43所示，對不怎麼出現的色帶Q賦予2個調色板序號，或者對大量出現的色帶P1以及色帶P2這兩方賦予同一調色板序號。因而在該狀態下，無法高精度地取得工廠內的顏色信息。

因此，在本實施方式2中，從出現頻度多的色調開始依次設定調色板序號，所設定的調色板數為11個，不包括優先次序第1位的調色板序號(黑色)、優先次序第2位的調色板序號(白色)、優先次序第3位的調色板序號(灰色)這樣的不管色調如何而根據亮度、飽和度確定的調色板序號。

對出現頻度多的色調(在圖42中是成為山形的部分，以下稱作「峰色調」)從出現頻度多的位置開始從多到少依次分配～。在圖41中，出現頻度最多的位置是色調200°附近，因此以包含峰色調200°的方式，分配優先次序第4位的調色板序號。以包含第二多的色調220°的方式，分配優先次序第5位的調色板序號。然後，如圖44所示依次分配11個峰色調。然後，如圖45所示，以色調從小到大的順序重排這11個峰色調。然後，檢測出在峰色調和下一個峰色調之間出現頻度為最小的色調(以下指「谷色調」)。

然後，如圖46所示，將谷色調至下一個谷色調之間的色帶寬度作為調色板的邊界條件而設定各調色板序號。也就是說，例如，如果是優先次序第4位的調色板序號，對其分配色調180°以上且小於210°。通過這樣設定，在調色板數據中，能夠根據色調的出現頻度改變調色板序號的色帶寬度。

然後，將該調色板序號分別登錄到調色板數據。於是，如圖46所示，對以色帶Q示出部分設定1個調色板序號，對色帶P1以及色帶P2設定各自的調色板序號。因此，可以認為能夠高精度地進行分析。然後，利用根據該輸出頻率設定的調色板數據，以下與上述實施方式1同樣地進行處理。

根據如上所述地構成的實施方式2，當然起到與上述實施方式1相同的效果，因為能夠根據圖像數據的顏色信息的出現頻度來設定調色板數據，所以能夠根據圖像數據的內容高精度地進行圖像分析。

實施方式3.

在上述各實施方式中，作為圖像分析系統，示出了構成為分布式配置攝像裝置、圖像分析裝置以及顯示裝置的例子，但不限於此，如圖48所示，在平板式移動終端裝置20中具備拍攝圖像的攝像裝置21、顯示信息的顯示裝置22以及圖像分析裝置5。而且，與上述各實施方式同樣地，在圖像分析裝置5中具備圖像分析單元9、圖像DB6、特徵量時間序列DB11以及圖像分析DB12。並且，能夠與上述各實施方式同樣地動作。

根據如上所述地構成的實施方式3，當然能夠起到與上述各實施方式相同的效果，因為設為在移動終端裝置中具備各功能，所以能夠提高便攜性。另外，在分析作業的內容那樣的情況下，各工作人員或者分析員能夠在進行作業或者分析的位置持帶移動終端裝置而進行圖像分析，所以即使該位置沒有攝像裝置以及顯示裝置的設備也能夠進行圖像分析。另外，因為無需確保攝像裝置以及顯示裝置和圖像分析裝置的通信，所以具有良好的通用性。

實施方式4.

在上述各實施方式中，示出了圖像分析裝置中具備圖像分析單元、圖像DB、特徵量時間序列DB以及圖像分析DB的例子，但不限於此，也可以在攝像裝置側配備存儲圖像數據的圖像DB。

具體而言，如圖49所示，與上述各實施方式同樣地，在圖像分析裝置5中具備圖像分析單元9、特徵量時間序列DB11以及圖像分析DB12。而且，經由包括有線或者無線的通信網絡34與顯示裝置13連接。另外，經由通信網絡34，與例如包括家庭用的一般的攝像機的攝像單元301、攝像單元302分別連接。另外，各攝像單元301、攝像單元302分別具備拍攝圖像的攝像裝置311、攝像裝置312以及存儲通過各攝像裝置311、攝像裝置312拍攝得到的圖像數據的圖像DB313、圖像DB314(可以認為是攝像機的HD、SD卡等)。而且，能夠與上述各實施方式同樣地動作。

根據如上所述地構成的實施方式4的圖像分析系統，當然能夠起到與上述各實施方式相同的效果，對拍攝對象的增加而言，能夠低成本地擴充攝像單元。此外，在本實施方式4中示出了連接2臺攝像單元的例子，但不限於此，即使1臺或者3臺以上也能夠同樣地進行並能夠起到相同的效果。

此外，本發明在其發明的範圍內，能夠對各實施方式進行自由組合，或者對各實施方式進行適當變形、省略。