新四季網

用於計算機輔助識別運送容器為空的方法和用於計算機輔助識別運送容器為空的設備與流程

2023-05-24 19:06:56 1


相關申請的交叉引用

本申請要求於2016年2月24日提交的歐洲專利申請序列號16157106.2的優先權,其全部內容通過引用併入本文。

各種實施例一般涉及一種用於計算機輔助識別運送容器為空的方法以及用於計算機輔助識別運送容器為空的設備。



背景技術:

一般來說,運送容器可用於運送物體,例如在生產或銷售領域中的貨物。在這種情況下,例如當在結帳出口處登記貨物時可能需要識別是否某物——如果適當的話——什麼東西位於運送容器中(這也可以稱為「籃子底部」識別——bob)。因此,可以減少如果未登記的貨物未經識別地通過了結帳出口而出現的成本(這也可以稱為損失預防)。

傳統上使用圖案識別的計算機輔助方法來識別布置在運送容器中的物體。在這種情況下,識別物體的相區分的圖案,並將其與其中存儲了已知物體例如貨物的圖案的資料庫進行比較。

包含在運送容器中的物體的圖案與資料庫的比較以及資料庫的容量可能需要相當大的費用,特別是如果大量物體與它們各自的圖案一起存儲在資料庫中和/或如果意欲識別彼此相似的物體。作為示例,如果例如不能確保總是以相同的取向呈現物體,則可能需要在每種情況按照每個物體的各種視圖來為每個物體存儲數據集。彼此類似的物體可能需要更大量的特徵以進行比較從而實現可靠的識別。

隨著資料庫的容量增加,也就是說隨著數據集的數量增加和/或每個數據集的條目數量增加,所需的存儲需求和所要求的計算能力或所要求的數據分析速度可能增加以便確保對物體的時間上有效的識別——例如實時地識別。此外,隨著資料庫的容量增加,用於維護數據集(數據維護需求)以及因此所要求的人員的費用可能增加,以便防止由於過時的數據集而導致的資料庫的容量的不受控制的增長。因此,這些用於計算機輔助圖案識別的系統可能在採購方面和/或在維護方面產生相當大的成本支出——特別是如果例如每個結帳出口都需要相應的系統。此外,在要可區別的物體的數量非常大的情況下,圖案識別處理非常複雜,並且隨著彼此類似的圖案的數量增加,對圖案識別中的差錯的敏感性同樣也增加。

此外,例如在平面物體(例如在一個取向上具有小的橫截面);具有很少或沒有加重和/或著色的物體,例如僅具有低信息、顏色和/或紋理內容(例如,實質上均勻的布局例如黑色,白色,灰色等);和/或透明物體的情況下,運送容器的內容的常規識別可能是有限的和/或不準確的。此外,未被存儲在資料庫中的物體通常未被識別或者被不正確地識別。



技術實現要素:

提供了一種用於計算機輔助識別運送容器為空的方法。該方法包括:捕獲所述運送容器的區域的圖像數據;使用所述圖像數據來確定表示所述運送容器的輪廓圖案;確定偏差變量,其表示所述輪廓圖案與至少一個參考圖案的偏差,其中所述至少一個參考圖案表示空的運送容器;以及如果所述偏差變量滿足預定義準則,則輸出信號。

附圖說明

在附圖中,相似的附圖標記貫穿不同視圖一般指代相同的部分。附圖不一定按比例繪製,相反重點一般放在說明本發明的原理上。在下面的描述中,參考以下附圖來描述本發明的各種實施例,其中:

圖1以示意性流程圖示出了根據各種實施例的方法;

圖2以示意視圖示出了根據各種實施例的設備;

圖3以示意性透視視圖示出了根據各種實施例的設備;

圖4以示意性側視圖或橫截面視圖示出了根據各種實施例的運送容器;

圖5以示意性側視圖或橫截面視圖示出了根據各種實施例的運送容器;

圖6以示意性流程圖示出了根據各種實施例的方法;

圖7以示意性流程圖示出了根據各種實施例的方法;

圖8以示意性流程圖示出了根據各種實施例的方法;

圖9以示意性透視視圖示出了根據各種實施例的設備;

圖10以示意性透視視圖示出了根據各種實施例的設備;

圖11以示意性透視視圖示出根據各種實施例的圖像捕獲系統;

圖12以示意視圖示出了根據各種實施例的方法;

圖13以示意視圖示出了根據各種實施例的方法;

圖14以示意視圖示出了根據各種實施例的方法;

圖15以示意視圖示出了根據各種實施例的方法;

圖16以示意視圖示出了根據各種實施例的方法;

圖17以示意視圖示出了根據各種實施例的方法;

圖18以示意視圖示出了根據各種實施例的方法;

圖19以示意視圖示出了根據各種實施例的方法;

圖20以示意視圖示出了根據各種實施例的方法;和

圖21至圖37以示意視圖分別示出了根據各種實施例的方法。

具體實施方式

以下詳細描述對附圖進行參考,附圖通過圖示的方式示出了可以實踐本發明的具體細節和實施例。

詞語「示範性」在本文中用來意指「用作示例、實例或說明」。本文描述為「示範性」的任何實施例或設計不一定被解釋為比其它實施例或設計優選或有利。

在下面的詳細描述中,對附圖進行參考,附圖形成本描述的一部分並且為了說明的目的示出了在其中可以實現本發明的特定實施例。在這點上,關於所描述的(一個或多個)圖的取向來使用諸如例如「在頂部」、「在底部」、「在前面」、「在後面」、「前面」、「後面」等等之類的方向術語。由於實施例的組件可以以多個不同的取向進行定位,所以方向術語用於圖示並且無論如何不以任何方式進行限制。不言而喻,在不脫離本發明的保護範圍的情況下,可以使用其它實施例並且可以進行結構或邏輯改變。不言而喻,除非另外特別指出,否則本文所描述的各種示範性實施例的特徵可以彼此組合。因此,下面的詳細描述不應被解釋為限制性含義的,並且本發明的保護範圍由所附權利要求來限定。

在此描述的上下文中,術語「連接」和「耦合」用於描述直接和間接連接以及直接或間接耦合。在附圖中,相同或相似的元件提供有相同的附圖標記——就這是有利的來說。

根據各種實施例,提供了一種用於計算機輔助識別運送容器為空的方法(即,示例性地,用於識別運送容器是否為空,或者換句話說,包含在運送容器中是否沒有物體)和用於計算機輔助識別運送容器為空的設備,其具有較低的複雜性,由此可以減少計算複雜性和存儲費用。這使得可以使用更簡單的裝備,從而使得可以減少採購期間的成本支出。此外,可以減少資料庫的容量,使得可以減少用於維護和用於維持數據集的費用,這可以導致成本的節省。

示例性地,根據各種實施例,提供了一種用於計算機輔助識別運送容器為空的方法和用於計算機輔助識別運送容器為空的設備,其確定從——例如藉助於相機記錄的——運送容器(可能裝有一個或多個物體)的一個或多個圖像所確定的一個或多個圖案與處於空狀態(即,運送容器中沒有物體)中的運送容器的一個或多個已存儲圖案的圖案偏差。

圖案偏差例如由運送容器中的物體引起,也就是說,如果運送容器不是空的,則圖案偏差出現或變大。示例性地,將要檢查的運送容器的一個已記錄圖像或多個已記錄圖像(更精確地,從一個或多個圖像中提取的特徵)與空的一個或多個參考運送容器的一個或多個參考運送容器圖像(更精確地,與例如在先前的訓練方法中從一個或多個參考運送容器圖像中提取的參考運送容器特徵)進行比較,並且基於圖案偏差,做出關於待檢查的運送容器是否是空的判定。

根據各種實施例,不再需要使用其中存儲了要被識別的每個可能物體的資料庫,而是可以將資料庫的容量減少到所使用的運送容器。因此,資料庫的容量不再隨著可以藉助於運送容器運送並且要被識別的物體的數量和/或變化而增加。

根據各種實施例,此外還藉助於三維(3d)圖像捕獲來獲得深度信息。深度信息可以用來例如識別物體是否位於運送容器的不同區域中,例如,在下平面和/或上平面上。因此可以區分物體位於運送容器的哪個區域。作為示例,可以通過區域之一獲得深度信息,使得示例性而言可以從上面識別某物是位於運送容器的下部區域中還是位於運送容器下面的區域中。因此可以減少所需的圖像捕獲傳感器的數量——因為可以從同一個視角完全地檢查運送容器。

根據各種實施例,提供了一種用於對(例如打開的)運送容器(也可以稱為運送介質)中的物體(物品)進行計算機輔助分析的系統。該系統使得可以例如以自動的方式在特定的時間點和/或地點處確定運送容器的狀態(例如空的或不空的)。

根據各種實施例,一種用於計算機輔助識別運送容器為空的方法可以包括以下:捕獲運送容器的區域的圖像數據;使用所述圖像數據來(例如藉助於特徵識別)確定(例如,由運送容器引起的)表示所述運送容器的輪廓圖案;確定表示所述輪廓圖案與至少一個參考圖案的偏差的偏差變量。所述至少一個參考圖案表示空的運送容器。該方法還可以包括:如果所述偏差變量滿足預定義準則,則輸出信號。

根據各種實施例,該方法還可以包括:捕獲所述運送容器的附加區域的(例如附加的)圖像數據;基於所述(例如,附加的)圖像數據來確定(例如,由所述附加區域引起的)表示所述附加區域的附加輪廓圖案。所述至少一個參考圖案的參考圖案包括所述附加輪廓圖案。

根據各種實施例,該方法還可以包括:將所述附加輪廓圖案存儲在數據存儲介質上。

根據各種實施例,所述至少一個參考圖案可以是資料庫的一部分或者形成資料庫。

根據各種實施例,所述至少一個參考圖案或資料庫可以包括多個參考圖案(例如,兩個或多於兩個,例如三個,四個,五個,六個,七個,八個,九個,十個或多於十,例如二十,五十,例如一百或多於一百)。

根據各種實施例,該方法還可以包括:從數據存儲介質(例如,從所述資料庫)中讀出所述至少一個參考圖案的參考圖案。

根據各種實施例,可以將所述運送容器布置在用於捕獲所述圖像數據的圖像捕獲區域中,其中所述圖像捕獲區域限定(示例性地,運送容器的)圖像背景;其中所述至少一個參考圖案的參考圖案包括表示圖像背景的輪廓圖案(例如,如果在所述圖像捕獲區域中沒有布置運送容器或者布置了空運送容器)。示例性地,可以將運送容器布置在捕獲所述圖像數據的圖像捕獲系統和所述圖像背景之間。

根據各種實施例,所述偏差變量可以表示所述輪廓圖案與所述至少一個參考圖案的對比度偏差。

根據各種實施例,所述偏差變量可以表示所述輪廓圖案與所述至少一個參考圖案的輪廓分布偏差。

根據各種實施例,所述偏差變量可以表示所述輪廓圖案與所述至少一個參考圖案的區間佔據偏差。

根據各種實施例,該方法還可以包括:識別所述運送容器是否布置在其中執行捕獲所述圖像數據的圖像捕獲區域中。如果(例如在搜索階段期間)識別到所述運送容器布置在所述圖像捕獲區域中,則執行捕獲所述圖像數據。

所述搜索階段可以包括以下:捕獲反射(例如在ir範圍中),以及(例如,以基於特徵的方式)將所述反射與所述參考圖案(例如,與來自運送介質的所述參考圖像的特徵)進行比較。

根據各種實施例,該方法還可以包括:識別所述運送容器是否布置在其中執行捕獲所述圖像數據的圖像捕獲區域中,並且如果在所述圖像捕獲區域中沒有布置運送容器,則輸出另外的信號(也可以稱為未被識別信號)。

根據各種實施例,該方法還可以包括:識別所述運送容器是否是來自多個容器類型的容器類型,並且如果識別不是所述多個容器類型的容器類型,則輸出另外的信號(也可以稱為未被識別信號)。

根據各種實施例,所述預定義準則可以表示空的運送容器,並且所述信號可以包括識別為空的信號。

根據各種實施例,所述預定義準則可以表示非空的運送容器,並且所述信號可以包括識別為非空的信號。

根據各種實施例,所述預定義準則可以表示其中識別為空是不可靠的差錯區域,並且所述信號可以包括或構成差錯信號。

根據各種實施例,輸出所述信號可以包括輸出輸入請求,其中結帳系統處理轉換到待機狀態,直到響應於所述輸入請求而執行輸入。

根據各種實施例,輸出所述信號可以包括輸出輸入請求,其中所述方法還包括:如果響應於所述輸入請求的輸入表示所述運送容器的空狀態,則基於所述輪廓圖案來更新所述至少一個參考圖案。

根據各種實施例,輸出所述信號可以包括輸出輸入請求。該方法還包括:如果響應於所述輸入請求的輸入表示所述運送容器的空狀態,則基於所述輪廓圖案來形成附加參考圖案;以及將所述附加參考圖案添加到所述至少一個參考圖案(例如,到所述資料庫)。

根據各種實施例,捕獲所述運送容器的所述圖像數據可以包括以下:捕獲其中布置有所述運送容器的圖像捕獲區域的圖像數據;確定包括所述運送容器的區域的所述圖像數據的所述圖像捕獲區域的所述圖像數據的一部分(也可以稱為「感興趣區域」-roi或分析區域)。

根據各種實施例,可以使用所述運送容器的一個或多個標記來執行確定所述圖像數據的一部分。示例性地,一個標記或多個標記可以用於藉助於適用於其的識別算法來實現roi的界定。

根據各種實施例,所述運送容器可以包括一個或多個標記(例如灰度標記(例如:aruco)和/或反射標記)。

根據各種實施例,捕獲所述運送容器的圖像數據可以包括以下:捕獲其中布置有所述運送容器的圖像捕獲區域的圖像數據;其中確定所述輪廓圖案包括以下:確定表示由所述圖像捕獲區域限定的圖像背景的所述圖像捕獲區域的圖像數據的一部分;將所述圖像數據的所述部分與參考圖像數據進行比較,其中所述參考圖像數據表示空的圖像捕獲區域(也可以稱為圖像背景比較)。示例性地,可以通過確定所述圖像背景的什麼部分被所述運送容器隱藏來確定所述輪廓圖案(例如,網格結構)。

根據各種實施例,確定所述輪廓圖案可以包括以下:確定具有預定義輪廓密度的所述圖像數據的一部分(例如,感興趣區域);使用具有所述預定義輪廓密度的所述圖像數據的所述部分來確定所述輪廓圖案。示例性地,所述運送容器的特徵密集區域可以用於識別為空。

根據各種實施例,捕獲圖像數據可以包括以下:連續捕獲多個圖像數據;以及確定表示所述運送容器和/或具有預定義輪廓密度的所述多個圖像數據的圖像數據。示例性地,可以執行一系列記錄,其中示出所述運送容器的圖像用於識別為空。因此,如果所述運送容器沒有保留在所述圖像捕獲區域中和/或不總是相同地位於所述圖像捕獲區域中,則可以便於識別為空。

根據各種實施例,捕獲所述運送容器的所述圖像數據可以包括如下:捕獲其中布置有所述運送容器的圖像捕獲區域的圖像數據;確定所述運送容器相對於所述圖像捕獲區域的空間地點(位置和/或對準);基於所述空間地點(位置和/或對準)來確定包括所述區域的所述圖像數據的所述圖像捕獲區域的所述圖像數據的一部分(例如,感興趣區域)。

根據各種實施例,該方法還可以包括:識別所述運送容器的容器類型。所述運送容器是來自多種容器類型的容器類型。所述參考圖案表示所述容器類型的空運送容器。

根據各種實施例,該方法還可以包括:從多個參考圖案中選擇所述參考圖案,將其每個參考圖案分配給所述多個容器類型中的一個容器類型。

根據各種實施例,該方法還可以包括:識別所述運送容器的容器類型。所述運送容器是來自多個容器類型的容器類型;其中所述準則表示所述容器類型。

根據各種實施例,該方法還可以包括:從多個準則中選擇所述準則,將其每個準則分配給所述多個容器類型中的一個容器類型。

根據各種實施例,該方法還可以包括:基於所述圖像數據來確定(例如所述運送容器的)顏色信息。所述偏差變量還表示所述顏色信息與參考顏色信息的偏差。所述參考顏色信息表示空的運送容器。

根據各種實施例,確定所述偏差變量可以包括以下:根據預定義加權特性來對所述顏色信息的偏差和所述輪廓圖案的偏差進行加權。

根據各種實施例,該方法還可以包括:基於所述圖像數據來確定(例如所述運送容器的)地形信息。所述偏差變量還表示所述地形信息與參考地形信息的偏差。所述參考地形信息表示空的運送容器。

根據各種實施例,確定所述偏差變量可以包括以下:根據預定義加權特性來對所述地形信息的偏差和所述輪廓圖案的偏差進行加權。

根據各種實施例,該方法還可以包括:基於所述圖像數據來確定深度信息。所述偏差變量還表示所述深度信息與參考深度信息的偏差。所述參考深度信息表示空的運送容器。

根據各種實施例,確定所述偏差變量可以包括以下:根據預定義加權特性來對所述深度信息的偏差和所述輪廓圖案的偏差進行加權。

根據各種實施例,確定所述深度信息可以包括:通過所述區域和/或通過所述運送容器的區間元件捕獲所述運送容器的附加區域的圖像信息(其例如布置在第一區域和第二區域之間)。

根據各種實施例,該方法還可以包括:確定所述運送容器的所述圖像數據的第一部分,其表示所述運送容器的第一區間元件;以及確定所述運送容器的所述圖像數據的第二部分,其表示所述運送容器的第二區間元件。所述第一區間元件和所述第二區間元件相對於彼此成角度地延伸和/或彼此相隔一段距離地進行布置。通過所述第一區間元件來捕獲所述圖像數據的所述第二部分。所述輪廓圖案表示所述第一區間元件和/或所述第二區間元件。示例性地,根據各種實施例,可以區分所述運送容器的哪個區域被檢查——例如通過識別將所述區域彼此分開的所述區間元件、和/或例如通過識別界定所述區域的所述區間元件。

根據各種實施例,所述輪廓圖案可以表示以下中的至少一個:所述圖像背景的輪廓圖案(例如,基部結構和/或圖像背景結構的輪廓圖案);所述運送容器的網格結構和/或所述運送容器的區間元件;所述運送容器的和/或所述運送容器的區間元件的一個或多個支柱布置;所述運送容器的和/或所述運送容器的區間元件的廣告介質;如果將物體布置在所述運送容器中則由所述物體引起的幹擾;和/或由執行捕獲所述圖像數據的圖像捕獲區域所限定的圖像背景。

根據各種實施例,運送容器可以是購物手推車(例如,緊湊購物手推車)或購物籃。

根據各種實施例,所述運送容器可以包括第一區域(例如第一運送區域)和第二區域(例如第二運送區域)。所述第一區域和所述第二區域通過所述運送容器的至少一個區間元件彼此分開。

根據各種實施例,區間元件可以包括以下中的至少一個:網格結構;一個或多個支柱布置;和/或廣告介質。

根據各種實施例,所述運送容器可以包括底架。所述底架可以包括至少三個例如至少四個車輪(例如自動轉向腳輪)。

根據各種實施例,所述底架可以提供兩個平移自由度和可選地一個旋轉自由度,所述運送容器沿著所述自由度是可移動的。

根據各種實施例,所述兩個平移自由度的第一平移自由度和所述兩個平移自由度的第二平移自由度可以相對於彼此是不同的,例如彼此垂直。所述兩個平移自由度可以例如沿著由支撐表面限定的區間例如水平地延伸。

根據各種實施例,所述運送容器可以包括塑料和/或金屬,例如鋁和/或鋼。

根據各種實施例,所述第二區域可以布置在所述第一區域和所述底架之間。

根據各種實施例,所述第一區域可以包括可樞轉區間元件,該可樞轉區間元件被配置成使得能夠將至少兩個運送容器的一個推入另一個中。

根據各種實施例,所述運送容器可以包括抓緊條和/或把手。例如,把手可樞轉地安裝。

根據各種實施例,所述運送容器可以包括在第一側上的開口和在與所述第一側相對的第二側上的區間元件(例如,示例性地為基部或側壁)。所述區間元件的橫截面面積小於與其平行的開口的橫截面面積,使得所述區間元件配合到所述開口中。示例性地,多個運送容器可以被配置成一個配合到另一個中。

根據各種實施例,一種用於計算機輔助識別運送容器為空的設備可以包括以下:用於捕獲圖像數據的光學圖像捕獲系統;用於存儲至少一個參考圖案和/或其中存儲了至少一個參考圖案的數據存儲介質,其中所述參考圖案表示空的運送容器;處理器,所述處理器被配置為執行以下方法:捕獲所述運送容器的區域的圖像數據;使用所述圖像數據來確定(例如,由所述運送容器引起的)表示所述運送容器的輪廓圖案;確定表示所述輪廓圖案與至少一個參考圖案的偏差的偏差變量。所述至少一個參考圖案表示空的運送容器;如果所述偏差變量滿足預定義準則,則輸出信號。

根據各種實施例,光學圖像捕獲系統可以限定執行捕獲圖像數據的圖像捕獲區域。將所述運送容器布置在用於捕獲所述圖像數據的所述圖像捕獲區域中。所述圖像捕獲區域定義所述運送容器的圖像背景。所述至少一個參考圖案的參考圖案包括圖像背景的輪廓圖案(例如,如果在所述圖像捕獲區域中沒有布置運送容器和/或布置了空運送容器)。

處理器還可以被配置為執行本文所描述的方法之一,例如,如上所述。

根據各種實施例,圖像捕獲系統可以包括用於(例如,立體地)捕獲深度信息的(例如藉助於一個或兩個相機所提供的)至少兩個(光學)圖像捕獲傳感器。為了確定所述深度信息,藉助於兩個圖像捕獲傳感器捕獲的所述圖像數據可以彼此疊加,例如考慮所述兩個圖像捕獲傳感器相對於彼此的相對空間地點(位置和/或對準)。

替代地或者附加地,所述圖像捕獲系統可以包括用於捕獲深度信息的至少一個全光相機(也可稱為光場相機)。

替代地或者附加地,所述圖像捕獲系統可以包括被配置為將光學圖案投影到所述圖像捕獲區域中的投影儀,並且包括被配置為捕獲用於捕獲深度信息的所述光學圖案的圖像捕獲傳感器。

相機可以包括(光學)圖像捕獲傳感器和被分配給所述圖像捕獲傳感器的至少一個透鏡布置。全光相機的透鏡布置可以包括由多個微透鏡組成的光柵。

圖像捕獲傳感器(也可以稱為圖像傳感器或光學傳感器)可以包括例如響應於電磁輻射(例如光,例如可見光)而生成和/或修改電信號的一個或多個光電有源區域(也可以稱為像素)。所述圖像捕獲傳感器可以包括例如ccd傳感器(電荷耦合器件傳感器)和/或有源像素傳感器(也可以稱為cmos傳感器)或由其形成。

根據各種實施例,可以以波長敏感的方式配置圖像捕獲傳感器(例如,用於捕獲顏色信息和/或用於捕獲投影到所述圖像捕獲區域中的圖案)。

根據各種實施例,所述處理器可以被配置為確定用於確定所述偏差變量的所述輪廓圖案的對比度偏差。

根據各種實施例,所述處理器可以被配置為確定用於確定所述偏差變量的所述輪廓圖案的區間佔據偏差。

根據各種實施例,所述處理器可以被配置為確定用於確定所述偏差變量的所述輪廓圖案的輪廓分布偏差。

根據各種實施例,所述數據存儲介質可以是非易失性數據存儲器。所述數據存儲介質可以包括例如硬碟和/或至少一個半導體存儲器(諸如例如只讀存儲器、隨機存取存儲器和/或快閃記憶體)或由其形成。所述只讀存儲器例如可以是可擦除可編程只讀存儲器(也可以稱為eprom)。所述隨機存取存儲器可以是非易失性隨機存取存儲器(也可以稱為nvram)。

根據各種實施例,所述設備還可以包括被配置為執行一個或多個結帳系統處理的(例如數字)結帳系統。結帳系統處理例如可以是計算處理、庫存處理和/或登記處理。

結帳系統可以包括以下中的至少一個:屏幕(也可以稱為主屏幕,例如觸敏屏幕),印表機(例如用於列印出發票和/或標籤),用於登記物體的掃描器(例如條形碼掃描器),收銀機抽屜,(例如可編程的)結帳鍵盤(也可以是觸敏屏幕的一部分),電子支付手段終端(也可以稱為ec終端,「ec」——電子現金,例如用於讀取借記卡和/或信用卡),和/或附加屏幕(也可以稱為輔助屏幕,例如顧客監視器),信號輸出(也可以是屏幕的一部分),操作員站(其中可以安排操作所述結帳系統的用戶)。

可以將表示結帳處理的狀態的信息顯示在主屏幕上。可以將顯示在所述主屏幕上的信息的一部分顯示在輔助屏幕上。

根據各種實施例,可以藉助於信號輸出——例如通過藉助於屏幕所輸出的輸入請求和/或例如通過藉助於聲學信號輸出所輸出的聲學信號——來輸出信號。

例如可以以這樣的方式輸出輸入請求,即只有在已經執行了響應於所述輸入請求的輸入時才繼續登記處理是可能。

根據各種實施例,可以將包括一個或多個數據集的資料庫(也可以被稱為參考資料庫)存儲在所述數據存儲介質中。每個數據集可以包括參考圖案。此外,每個數據集可以包括以下信息項中的至少一個:參考深度信息;參考地形信息;參考顏色信息;分配給所述參考圖案的空間地點(例如,運送容器的位置和/或對準);加權特性;和/或分配給所述參考圖案的運送容器類型。

替代地,可以使用相對於平移和/或旋轉而言是不變的算法來執行識別和/或捕獲。作為示例,可以使用用於圖像特徵的快速且魯棒的識別的算法,所謂的「魯棒特徵識別算法」(surf——加速魯棒特徵——算法)。用於基於特徵的識別的算法可以是旋轉不變的,例如,使得運送容器的識別可以獨立於其對準而被執行。然後可以省去關於運送容器的空間地點的信息。

根據各種實施例,所述圖像捕獲系統可以以使得所述圖像捕獲區域(或所述圖像背景)具有支撐表面(例如,大廳的地板)的方式對準。

根據各種實施例,一種用於計算機輔助識別運送容器為空的方法可以包括以下:捕獲其中布置有運送容器的圖像捕獲區域的圖像數據。所述圖像捕獲區域限定圖像背景;使用所述圖像數據來確定表示所述運送容器和/或所述圖像背景的輪廓圖案;確定表示所述輪廓圖案與至少一個參考圖案的至少一個偏差的偏差變量。所述至少一個參考圖案表示空的運送容器。該方法還可以包括:如果所述偏差變量滿足預定義準則,則輸出信號。示例性地,可以確定所述圖像背景的和/或所述運送容器的輪廓是否被物體隱藏和/或幹擾。

所述地形信息可以表示例如三維分布(例如,位置空間中的區間)。基於所述深度信息,可以確定例如位置空間中的空間地點(例如,相對於參考點的位置、對準和/或距離)。例如,可以基於所述顏色信息來確定顏色直方圖和/或顏色光譜。偏差變量可以表示例如三維分布、空間地點,顏色光譜和/或顏色直方圖與相應參考數據的偏差。

根據各種實施例,所述準則可以表示閾值。例如,如果所述偏差變量小於所述閾值,則可以輸出識別為空的信號。例如,如果所述偏差變量大於所述閾值,則可以輸出識別為非空的信號。

根據各種實施例,所述運送容器可以包括購物車、購物籃或某些其它手推車(和/或籃)或由其形成。

根據各種實施例,識別已經保留在所述運送容器內——例如在購物車的下部板條箱支撐件上——的物體可以成為可能。

根據各種實施例,與常規圖案識別相比,可以改進和/或使得能夠識別在所述運送容器中是否布置了以下物體(例如貨物,也可以稱為物品)中的一個(例如藉助於顏色直方圖或深度信息不能可靠地確定那些物體):平面物體(其可以限制例如3d捕獲),幾乎沒有任何或沒有加重和/或著色的物體(例如僅具有極少信息、顏色和/或紋理內容),單色和/或均勻物體(例如,實質上均勻的布局,諸如黑色、白色、灰色等),透明物體。

根據各種實施例,識別物體可以基於以下事實:物體幹擾(或阻擋)所述運送容器的和/或所述圖像背景的所述輪廓圖案(例如網格輪廓)和/或引起相對於所述運送容器和/或相對於所述圖像背景(例如,支撐表面和/或地板)的對比度。

根據各種實施例,提供了在打開的運送容器中的物體的計算機輔助識別。因此,可以在特定的時間和/或地點中的點處例如以自動的方式識別所述運送容器的狀態(空狀態,非空狀態和/或裝滿狀態)。

根據各種實施例,圖像捕獲系統(例如:英特爾實感f200,英特爾r200和/或英特爾sr300)可以包括2d圖像捕獲傳感器和/或3d圖像捕獲傳感器。

可以藉助於電子(可編程的)數據處理系統來提供處理器。電子數據處理系統還可以包括數據存儲介質。作為示例,電子數據處理系統可以包括微型計算機或由其形成,微型計算機例如pc系統(個人計算機系統)或數字結帳系統。

處理器可以藉助於usb接口(通用串行總線接口)——例如經由usb3.0——而耦合到圖像捕獲系統。

根據各種實施例,數據處理系統可以包括(例如藉助於協處理器卡或外部圖形卡提供的)至少一個協處理器,例如圖形處理單元(gpu)。藉助於協處理器,可以通過將計算密集型處理交換到協處理器中來實現計算密集型處理的加速。

圖1以示意性流程圖示出了根據各種實施例的方法100。

根據各種實施例,方法100可以包括:在101中,捕獲運送容器的區域的圖像數據。方法100還可以包括:在103中,使用圖像數據來確定(例如,由運送容器引起的)表示運送容器的輪廓圖案。方法100還可以包括:在105中,確定表示輪廓圖案與至少一個參考圖案的偏差的偏差變量。所述至少一個參考圖案表示空的運送容器。方法100還可以包括:在107中,如果偏差變量滿足預定義準則,則輸出信號。

圖2以示意視圖示出了根據各種實施例的設備200。

設備200可以包括光學圖像捕獲系統202,數據存儲介質204和處理器206。例如藉助於數據線,處理器206可以耦合到光學圖像捕獲系統202和數據存儲介質204(即,使得數據可以在它們之間傳送)。

作為示例,處理器206可以被配置為藉助於光學圖像捕獲系統202捕獲圖像數據。作為示例,處理器206可以控制圖像捕獲系統202。

作為示例,可以將圖像數據存儲在圖像捕獲系統202的數據存儲介質202d(也可以稱為緩衝存儲器202d)中。可以藉助於光學傳感器202s(也可以稱為圖像捕獲傳感器202s)來捕獲圖像數據。至少藉助於處理器206處理圖像數據使得能夠從緩衝存儲器202d讀出所述圖像數據。

光學傳感器202s可以包括指向圖像捕獲區域208——例如在方向208b(也可以稱為圖像捕獲方向208b)中——的光電活性表面202o。

圖3以示意性透視視圖示出了根據各種實施例的設備300。

根據各種實施例,如圖3中所示,在圖像捕獲區域208中可以布置運送容器400例如購物手推車。運送容器400可以包括具有多個可旋轉地安裝的輪子312r的底架312和運送框架322。可以藉助於底架312可移動地安裝運送框架322。運送框架322可以提供至少一個運送區域322a。

運送容器400可以包括把手302g,藉助於該把手302g,可以引導運送容器400——例如由人引導。運送容器400可以在支撐表面208u上豎立和/或移動。支撐表面208u可以界定圖像捕獲區域208。支撐表面208u可以限定例如圖像捕獲區域208的圖像背景。

作為示例,圖像捕獲傳感器202s的圖像捕獲方向208b可以指向支撐表面208u。圖像捕獲方向208b可以可選地被配置用於改變圖像捕獲方向208b,例如用於改變至少一個角度202w(例如,立體角)。作為示例,因此,例如基於圖像數據和/或對圖像捕獲區域208中的運送容器的地點的識別,可以適配圖像捕獲方向208b。示例性地,作為示例,可以將圖像捕獲方向208b跟蹤到移動的運送容器400,和/或將其適配於未被精確定位的運送容器400。

替代地或者附加地,角度202w可以限定圖像捕獲角202w(也可稱為視角)。圖像捕獲角202w可以理解為意指由記錄格式的邊緣所界定的位置空間中的角度。在常規矩形圖像格式的情況下,圖像捕獲角度202w可以被認為意指與圖像對角線相關聯的值。水平和垂直圖像捕獲角202w可以小於與圖像對角線相關聯的值。

圖像捕獲系統202可以藉助於載體320例如藉助於結帳臺320來保持。可選地,可以將結帳系統的多個元件例如屏幕、印表機、掃描器和/或支付手段終端布置在結帳臺320上。

根據各種實施例,可以在圖像捕獲區域208(也可以稱為相機的視場)中搜索運送容器400。

為了捕獲運送容器400的圖像數據(以及基於其識別為空),可以在圖像捕獲系統202和運送容器400之間提供直接的視覺連結。換句話說,可以執行在運送容器400中的物體的光學識別。

圖4以示意性側視圖或橫截面視圖示出了根據各種實施例的運送容器400,例如第一運送容器類型的運送容器400。

運送框架322可以包括多個運送區域322a,322b(第一運送區域322a和第二運送區域322b),每個運送區域322a和322b可以被配置用於接收(意圖被運送的)物體。作為示例,可以藉助於支撐區間元件402a,402b(例如基部元件)來提供和/或界定每個運送區域322a,322b。

運送框架322可以包括多個區間元件,例如一個或多個支撐區間元件402a,402b(例如基部元件402a,402b),一個或多個側部區間元件412a,412b(例如側部元件412a,412b)。每個運送區域322a,322b可以由一個或多個區間元件界定——例如由至少一個支撐區間元件402a,402b以及可選地由多個(涉及四個)側部區間元件412a,412b來界定。例如在打開狀態和關閉狀態之間可樞轉地安裝401至少一個第一側部區間元件412b。在打開狀態中,可以形成開口402o,將其(大小和地點)配置為使得第二側部區間元件412b配合到開口402o中。因此,多個運送容器400可以例如沿著方向403一個推入到另一個中。

作為示例,第一運送區域322a的橫截面面積(例如,橫向地關於方向403截取的截面)可以在從第一側部區間元件412a指向第二側部區間元件412b的方向403上減小。

在至少一個方向上,每個運送區域322a,322b可以被打開502o(即具有開口502o),使得例如示例性地,物體可以穿過開口502o進入運送區域322a,322b。

根據各種實施例,運送容器400可以包括具有多個通孔(例如網格或者格子)的區間元件(例如支撐區間元件402a,402b和/或側部區間元件412a,412b))。作為示例,運送容器400可以包括未完全關閉的中間基部區域402a,以便能夠從預定義的視角(例如從上方)在第二運送區域322b(示例性地為下部運送區域322b)中進行識別,其中該中間基部區域402a布置在圖像捕獲系統202和第二運送區域322b之間。

根據各種實施例,第一支撐區間元件402a(也可以稱為中間基部區域402a)和/或第二支撐區間元件402b可以具有多個通孔。換句話說,第一支撐區間元件402a和/或第二支撐區間元件402b可以不是視覺上不透明的。這使得通過第一支撐區間元件402a,可以例如藉助於深度信息來確定物體是否布置在第二運送區域322b中成為可能。作為示例,基於深度信息,可以確定將特定特徵分配給第一支撐區間元件402a,並且如果例如只意圖檢查第二運送區域322b則可以拒絕該特定特徵以形成輪廓圖案。

替代地或附加地,這可以使得通過第一支撐區間元件402a,可以使用第二支撐區間元件402b的和/或圖像背景602h的輪廓來形成輪廓圖案成為可能。類似地,這可以使得通過第二支撐區間元件402b,可以使用圖像背景的輪廓來形成輪廓圖案。因此可以便於識別為空(示例性地,因為輪廓圖案具有更多特徵)。

替代地或者附加地,側部區間元件412a,412b(例如面向圖像捕獲系統202的那些)可以具有多個通孔。這可以使得通過側部區間元件412a,412b,可以使用第一支撐區間元件402b的、第二支撐區間元件402b的、和/或圖像背景的輪廓以形成輪廓圖案。作為示例,基於深度信息,可以確定將特定特徵分配給側部區間元件412a,412b並且可以將其拒絕以形成輪廓圖案。

作為示例,(不是視覺上不透明的)區間元件402a,402b,412a,412b可以包括(例如金屬或非金屬)網格結構或由其形成。替代地或者附加地,(非視覺上不透明的)區間元件402a,402b,412a,412b可以包括連續的(例如透明或部分透明)區間或者連續的區間和網格結構的組合(例如透明和/或半透明)或由其形成。

多個運送容器類型可以包括底架312和運送框架322。作為示例,兩個運送容器類型可以在以下中的至少一個方面不同:在存在第一區域322a和/或第二區域322b的情況下,第一區域322a的和/或第二區域322b的範圍。

圖5以示意性側視圖或橫截面視圖示出了根據各種實施例的運送容器400,例如第二運送容器類型的運送容器400。

在至少存在底架312方面,第一運送容器類型可以與第二運送容器類型不同。

運送容器400可以包括開放運送區域322a(具有開口502o)。運送區域322a可以由支撐區間元件402a和多個側部區間元件412a,412b來界定。

根據各種實施例,第一運送區域322a的橫截面面積(例如,橫向地關於方向403截取的截面)可以在從開口502o指向支撐區間元件402a的方向403上減小。因此可以實現的是,多個運送容器400可以例如沿著方向403而一個配合到另一個中,例如用於堆疊多個運送容器400。

運送容器400可以包括把手502,其可以可選地可樞轉地安裝。

類似於上面給出的描述,可選地通過支撐區間元件402a,可以捕獲圖像背景的輪廓並且將其用於形成輪廓圖案——如果這具有例如多個通孔。因此可以便於識別為空。

類似於上面給出的描述,可選地通過側部區間元件412a,412b,可以捕獲圖像背景的和/或支撐區間元件402a的輪廓,並且將其用於形成輪廓圖案——如果這具有例如多個通孔。因此可以便於識別為空。

多個運送容器類型可以不具有底架312。作為示例,兩個運送容器類型可以在區域322a的至少一個範圍(例如高度和/或寬度)方面不同。

圖6以示意性流程圖示出了根據各種實施例的方法600。

根據各種實施例,可以捕獲602e運送容器400的區域的圖像數據602。可以使用圖像數據602來確定表示運送容器400的輪廓圖案604a,604b,604c。

第一輪廓圖案604a可以表示例如由於運送容器400而被幹擾612h的圖像捕獲區域(例如,支撐表面208u)的圖像背景602h。示例性地,運送容器400的結構400s(例如網格)可以隱藏圖像背景602h的一部分,使得其輪廓分布被幹擾612,例如,被阻擋612s。

替代地,第二輪廓圖案604b可以表示例如運送容器400的結構400s(例如網格400s)。

根據各種實施例,第三輪廓圖案604c可以表示運送容器400的結構400s(例如網格)和圖像捕獲區域208的圖像背景602h。

此外,第一輪廓圖案604a,第二輪廓圖案604b和/或第三輪廓圖案604c可以用於確定偏差變量。

例如,如果運送容器400是空的,則輪廓圖案604(例如輪廓圖案604a,輪廓圖案604b和/或輪廓圖案604c)可以用作參考圖案。示例性地,可以學習參考輪廓圖案。

示例性地,可以最初學習運送容器400(諸如例如購物手推車)的或其特徵密集區域的和/或支撐表面/圖像背景的光學特徵。可以將所識別的特徵存儲在參考資料庫中。

圖7以示意性流程圖示出了根據各種實施例的方法700。

根據各種實施例,如果物體702被布置在運送容器400中,則確定的輪廓圖案604(例如輪廓圖案604a,輪廓圖案604b和/或輪廓圖案604c)可以具有表示物體702的輪廓。示例性地,運送容器400的和/或圖像背景的輪廓可以被物體702幹擾,例如(至少部分地)隱藏。作為示例,輪廓圖案604可以具有由物體702引起的一個或多個幹擾702u(例如阻擋)。

可以將輪廓圖案604與參考輪廓圖案704(也可以稱為參考圖案704)進行比較。如果運送容器400是空的,則參考圖案704可以表示圖像捕獲區域的圖像背景602h和/或運送容器400的結構400s。

可以基於輪廓圖案604和參考圖案704來確定表示輪廓圖案604與參考圖案704的偏差的偏差變量706。參考圖案704可以包括其中沒有布置運送容器400或者布置了空運送容器400(例如,以圖像背景602h為背景的空運送容器400)的圖像捕獲區域的輪廓圖案。

偏差變量706可以表示對比度偏差706a,顏色偏差706a,輪廓分布偏差706b和/或區間佔據偏差706c。對比度偏差706a可以示例性地指示參考圖案704和輪廓圖案604之間的對比度706k中的偏差的幅度。輪廓分布偏差706b可以示例性地指示參考圖案704和輪廓圖案604之間的輪廓的分布中的阻擋的幅度。區間佔據偏差706c可以示例性地指示在每種情況下由參考圖案704和輪廓圖案604的輪廓所佔據的區域中的偏差的幅度。

可以例如通過比較參考圖案704和輪廓圖案604的相互對應的像素的值706w(例如,對比度值706w和/或亮度值706w)例如逐像素地確定對比度偏差706a。

作為對比度偏差706a的替代或附加,可以例如通過比較參考圖案704和輪廓圖案604的相互對應的像素的值706w(例如,顏色值706w和/或亮度值706w)例如逐像素地確定顏色偏差706a。

對於輪廓分布偏差706b,作為示例,可以將參考圖案704的參考輪廓704k分配給輪廓圖案604的輪廓604k並且可以確定輪廓604k與參考輪廓704k的偏差706(例如空間和/或逐像素)。可以例如在由至少兩個坐標706x,706y(空間坐標和/或像素坐標)跨越的位置空間和/或像素空間中確定輪廓604k與參考輪廓704k的偏差706。

可以例如通過比較參考圖案704的和輪廓圖案604的區間佔據706f(例如,佔據的像素的數量和/或圖案的佔據比例)來確定區間佔據偏差706c。

偏差變量706可以具有數值(例如區間佔據偏差706c,對比度偏差706a和/或顏色偏差),矢量(例如輪廓偏差,深度偏差,空間坐標和/或像素坐標)和/或矩陣(例如,地形偏差)。

圖8以示意性流程圖示出了根據各種實施例的方法800。

根據各種實施例,偏差變量706可以與預定義準則806進行比較。此外,如果偏差變量706滿足準則806,則可以輸出信號。該信號可以包括例如視覺信號(例如彩色信號和/或幾何信號)、輸入請求和/或聲學信號,或者由它們形成。

預定義準則806可以包括表示空運送容器的第一準則806a(也可以稱為空準則806a)。然後,該信號可以包括表示識別為空的第一信號802a(也可以稱為識別為空的信號802a)。示例性地,例如如果偏差變量706小於由第一準則806a表示的第一閾值,則可以輸出第一信號802a。

預定義準則806可以包括表示差錯區域的第二準則806b(也可以被稱為差錯準則806b)。然後,該信號可以包括表示差錯識別的第二信號802b(也可以稱為差錯信號802b)。示例性地,例如如果偏差變量706大於第一閾值並且小於由第三準則806c表示的第二閾值,則可以輸出第二信號802b。

預定義準則806可以包括表示非空運送容器的第三準則806c(也可以稱為非空準則806c)。然後,該信號可以包括表示識別為非空的第三信號802c(也可以稱為識別為非空的信號802c)。示例性地,如果偏差變量706大於由第三準則806c表示的第二閾值,則可以輸出第三信號802c。

示例性地,差錯區域可以位於空準則806a和非空準則806c之間,並且表示其中不能可靠地進行關於運送容器400是否為空的明確判定的區域。

在差錯識別的情況下,方法100可以從開始起始。作為示例,運送容器400的不同區域和/或不同的分析區域可以用於形成輪廓圖案604。

圖9以示意性透視視圖示出了根據各種實施例的設備900。

結帳系統可以包括主屏幕802,條形碼掃描器804,輔助屏幕808和ec終端816。屏幕802可以被配置用於輸出信號。作為示例,可以在屏幕上顯示彩色信號、幾何信號和/或輸入請求,其表示運送容器400(這裡布置在圖像捕獲區域208外部)的狀態(例如空或非空)和/或圖像捕獲區域208的狀態(例如具有或不具有運送容器400)。

設備900可以包括圖像捕獲系統202,所述圖像捕獲系統202包括多個光學傳感器202s。每個傳感器202s可以限定捕獲區域208s,所述捕獲區域208s一起限定圖像捕獲區域208。作為示例,圖像捕獲系統202的至少兩個傳感器202s的捕獲區域208s可以重疊。所示出的安裝位置可以被理解為是作為示例。替代地,兩個傳感器202s可以以這樣的方式安裝,使得它們的捕獲區域彼此相距一定距離或彼此相鄰。

支撐表面208u可以具有表示例如地板覆蓋物(例如,其瓷磚和/或其接縫)的輪廓。

根據各種實施例,可以在圖像捕獲區域208中搜索運送容器400。在這種情況下,可以識別運送容器400是否是來自多個(已知的)容器類型中的容器類型,例如第一容器類型或第二容器類型。替代地或附加地,可以識別運送容器400是否被布置在圖像捕獲區域208中。

此外,如果在圖像捕獲區域208中沒有識別到多個容器類型的容器類型和/或沒有識別到​​運送容器400,則可以輸出信號(也可以稱為未被識別信號)。在圖像捕獲區域208中沒有識別到多個容器類型的容器類型和/或沒有識別到運送容器400的情況下,差錯識別可能是明顯的。未被識別信號然後可以是差錯信號。

在差錯識別的情況下,方法100可以從開始起始。作為示例,來自圖像捕獲區域208的不同區域的圖像數據可以用於形成輪廓圖案604。

根據各種實施例,信號(例如,差錯信號)可以包括輸入請求,其中結帳系統處理轉換到待機狀態,直到執行了響應於輸入請求的輸入。因此可以激勵操作者(例如結帳收銀員)(例如通過移動運送容器400)建立狀態,其中可以識別運送容器400和/或其運送容器類型。因此可以進一步減少未登記的物品。

如果識別了運送容器和/或運送容器類型,則可以確定輪廓圖案604。替代地或者附加地,可以選擇表示運送容器類型的參考圖案。因此,可以更精確地執行偏差變量的確定,或者可以減少差錯識別。示例性地,參考圖案可以適配於所確定的運送容器類型,使得識別的運送容器類型的參考圖案用於確定偏差變量。

可選地,可以基於所識別的運送容器類型來適配預定義的準則。作為示例,第一準則可以用於第一運送容器類型,而第二準則可以用於第二運送容器類型。因此,可以更準確地執行識別為空或者可以減少差錯識別。

主屏幕802可以被配置用於顯示表示藉助於條形碼掃描器804登記的一個物品或多個物品的信息。登記的物品例如可以與分配給它的信息(例如,登記信息)例如商品編號信息、商品名稱信息和/或價格信息一起列出並顯示在主要屏幕802上。

圖10以示意性透視視圖示出了根據各種實施例的設備1000。

根據各種實施例,可以將至少一個光學傳感器202s固定到保持輔助屏幕808的保持器808h(例如,杆)。輔助屏幕808可以示例性地被配置用於顯示藉助於主屏幕802所顯示的信息的一部分,例如物品名稱信息和/或價格信息。

圖11以示意性透視視圖示出了根據各種實施例的圖像捕獲系統202。

圖像捕獲系統202可以包括多個(例如兩個或多於兩個)圖像捕獲傳感器202s。圖像捕獲系統202可以包括固定結構,可以將圖像捕獲系統202固定在該固定結構處。此外,圖像捕獲系統202可以包括數據線202k,藉助於該數據線202k,圖像捕獲系統202例如可以耦合到處理器206。

圖像捕獲系統202可以被配置為捕獲表示例如在位置空間中的二維(2d)信息的圖像數據。可選地,圖像捕獲系統202可以被配置為捕獲表示例如在位置空間中的三維(3d)信息(也可以稱為深度信息)的圖像數據。

圖像捕獲系統202可以可選地包括被配置為例如藉助於結構化雷射(即,以圖案的形式結構化的光)來將光學圖案投影到圖像捕獲區域208中的雷射投影儀202p。換句話說,雷射投影儀202p可以根據圖案(例如,以網格的形式)將光發射到圖像捕獲區域208中。發射的光可以在可見光範圍之外,例如在紅外(ir)光譜範圍(大於約780nm)中。替代地或者附加地,可使用其它光譜範圍,例如也在可見光範圍(約380nm至約780nm)中。如果將來自外部光源的光發射到圖像捕獲區域中,則可以使用例如位於外部光源發射的光的光譜範圍之外的光譜範圍。至少一個圖像捕獲傳感器202s可以被配置為捕獲雷射投影儀202p的光譜範圍。因此,可以藉助於圖像捕獲傳感器202s捕獲由圖像捕獲區域中的物體的和/或圖像捕獲區域中的地形引起的圖案的變形(即,可以確定地形信息)。換句話說,圖像捕獲傳感器202s可以捕獲3d圖像數據。然後可以由處理器進一步處理3d圖像數據。基於投影到圖像捕獲區域208中的光學圖案,替代地或者附加地,例如通過確定圖像捕獲系統202與圖像捕獲區域中的輪廓、物體和/或結構之間的距離和/或通過評估地形信息,可以獲得深度信息。

替代地或者附加地,可以將圖像捕獲系統202設計來藉助於至少兩個圖像捕獲傳感器202s來捕獲立體圖像數據。然後,圖像數據可以包括分配給彼此的並且從不同角度同時記錄的兩個圖像數據部分。

可以藉助於處理器來處理圖像數據,以便從而例如測量圖像捕獲系統202與圖像捕獲區域中的輪廓、物體和/或結構之間的距離(即,確定深度信息)。

圖12以示意視圖示出了根據各種實施例的方法1200。

在2d模式中,首先可以識別運送容器400是否布置在圖像捕獲區域208中(即,是否存在運送容器400)。作為示例,可以藉助於檢測(物體上的)例如在ir範圍中的反射來執行識別。可以識別反射是否源自於運送容器,例如源自於其結構和/或源自於標記。這使得可以更快地執行識別。反射可以可選地與參考圖案進行比較。為此目的,參考圖案可以包括參考反射數據。

可以基於圖像數據602來執行運送容器400的識別。作為示例,基於圖像數據602,可以執行圖案識別和/或輪廓識別,將其與資料庫進行比較。輪廓識別例如可以僅僅確定輪廓是否存在。

替代地或者附加地,可以確定(在圖示中疊加在圖像數據上的)輪廓圖案604,以便識別運送容器400是否布置在圖像捕獲區域208中。

此外,在2d模式中,例如如果識別到運送容器400布置在圖像捕獲區域208中,則基於輪廓圖案604,可以確定物體是否布置在運送容器400中。如果輪廓圖案604與參考圖案704的偏差滿足準則(例如,輪廓圖案604的所有元素對應於參考圖案704的元素),可以例如在主屏幕802上輸出識別為空的信號802a。識別為空的信號802a可以顯示例如表示運送容器400被識別為空的事實的信息,例如,字母和/或顏色(例如綠色)。

可選地,在2d模式中,可以使用顏色信息1204的偏差,以便確定偏差變量。作為示例,可以確定圖像數據602的像素是否(以及如果有的話,是多少)具有偏離參考顏色信息的顏色值。如果運送容器400僅具有灰色色調,則例如可以確定圖像數據602是否具有顏色值。

替代地或者附加地,在3d模式中,可以確定圖像數據602的像素是否(以及如果有的話,是多少)具有從參考深度信息偏離的深度值(例如,相對於圖像捕獲系統202的距離)。可選地,可以基於圖像數據602來確定表示運送容器400的地形(或者其內容——如果合適的話)。

通過示例,首先在2d模式中可以檢查第一運送區域322a,並且可選地,之後可以以3d模式檢查位於其後面的第二運送區域322b(即,將第一運送區域322a布置在第二運送區域322b和圖像捕獲系統202之間)。

圖13以示意視圖示出了根據各種實施例的方法1300。

在2d圖像模式中,可以確定運送容器400是否未布置在圖像捕獲區域208中(例如,未放置在結帳系統的前面和/或至少部分地被隱藏)。作為示例,輪廓圖案604可以具有比由準則預定義的特徵更少的特徵。替代地或者附加地,輪廓圖案604可以具有表示運送容器400的邊緣的特徵。示例性地,可以確定運送容器400是否未完全布置在圖像捕獲區域208中和/或是否至少部分地(例如被人)隱藏。

如果在圖像捕獲區域208中沒有識別​​運送容器400和/或識別到所述運送容器沒有完全布置在圖像捕獲區域208中和/或至少部分地被隱藏,則可以輸出差錯信號802b,例如差錯信號802b(例如,未被識別信號)。例如可以在主屏幕802上輸出差錯信號802b。差錯信號802b可以顯示例如表示沒有識別運送容器400的事實的信息,例如,字母和/或顏色(例如黃色)。

可選地,另外,可以使用(在2d模式中)顏色信息1204和/或(在3d模式中)深度信息1206,以便識別運送容器400是否布置在圖像捕獲區域208中。作為示例,如果將圖像捕獲區域208照射到極度大的程度,則不能明確地識別輪廓圖案604。在這種情況下,如果基於輪廓圖案和/或顏色信息1204和/或深度信息1206識別運送容器400導致不同的結果,則差錯信號802b可以包括表示差錯原因的信息。

可選地,如果沒有識別運送容器類型,則差錯信號802b可以包括表示差錯原因「沒有識別運送容器類型」的信息。

如果運送容器400包括傾向於差錯識別(例如,廣告區間或高反射差錯)的區域,則可以掩蔽掉這些區域(差錯區域)(即,不用於確定輪廓圖案604)。替代地或者附加地,差錯信號802b可以包括表示對應差錯原因的信息(例如「識別的差錯區域」)。

圖14以示意視圖示出了根據各種實施例的方法1400。

在圖像捕獲區域208中識別出運送容器400(例如,在2d模式中)但是不能做出關於所述運送容器是空的還是非空(也就是說物體布置在運送容器400中)的判定的情況下,可以輸出差錯信號802b。作為示例,如果圖像數據有噪點、曝光不足和/或過度曝光,則如果沒有輪廓圖案可以被確定,則可以輸出差錯信號802b。作為示例,在2d模式中,透明物體、薄物體和/或小物體可能僅部分地幹擾輪廓圖案,但是達到這樣很大程度使得確定輪廓圖案被損害。

可選地,附加地,可以使用顏色信息1204(在2d模式下)和/或深度信息1206(在3d模式下),以便識別是否存在運送容器400。然而,也可能發生這樣的情況:在其中不能明確地分配顏色信息1204——例如如果物體具有低飽和度(例如白色)、高反射率或至少部分地被運送容器400的一部分覆蓋。

差錯信號802b可以表示例如表示差錯原因「識別運送容器類型」和/或「無可能判定」的信息,例如,字母和/或顏色(例如橙色)。

圖15以示意視圖示出了根據各種實施例的方法1500。

根據各種實施例,基於輪廓圖案604(這裡以與圖像數據602重疊的方式示出),可以識別物體702是否布置在運送容器400中,例如在第一運送區域322a中。

如果在2d模式中在運送容器400中識別到物體702(例如物品),則可以例如在主屏幕802上輸出識別為非空的信號802c。識別為非空的信號802c可以顯示例如表示將運送容器400識別為非空的事實的信息,例如字母和/或顏色(例如紅色)。替代地或者附加地,識別為非空的信號802c可以包括輸入請求1402。輸入請求1402可以要求例如關於識別為非空的信號802c是否正確的確認(即,未觸發假警報)。如果識別為非空的信號802c不正確(即,觸發了假警報),即,不正確地識別到物體布置在運送容器400中,則可選地,例如可以以這樣的方式適配準則:類似於導致假警報的圖案的輪廓圖案604將在未來觸發差錯信號(例如所確定的輪廓圖案落入差錯區域內)。

可選地,基於顏色信息1204,可以識別和/或確認物體702是否布置在運送容器400中,例如在第一運送區域322a中。作為示例,可以同時觸發輪廓和顏色識別。

圖16以示意視圖示出了根據各種實施例的方法1600。

根據各種實施例,基於輪廓圖案604,可以識別物體702是否布置在運送容器400中,例如在第一運送區域322a中。作為示例,物體702可以隱藏圖像背景的和/或底架312(參見圖3)的第一支撐區間元件402a(參見圖3和圖4)的一部分。可以基於輪廓圖案604確定隱藏和/或隱藏的區間佔據。

如果物體702是透明的,則顏色信息1204可能具有例如太小以致不能滿足準則的偏差。

可選地,基於深度信息1206,可以識別和/或確認物體702布置在運送容器400中,例如在第一運送區域322a中。作為示例,可以同時觸發輪廓和地形識別。

圖17以示意視圖示出了根據各種實施例的方法1700。

如果物體702布置在運送容器400的第二區域中,該第二區域至少部分地例如被第一區域322a隱藏,則可以基於輪廓圖案604來識別由物體702引起的偏差。作為示例,物體702可以隱藏底架312的和/或圖像背景602h的第二支撐區間元件402b的一部分(參見圖3)。

可選地,基於顏色信息1204和/或深度信息1206,可以識別和/或確認物體702布置在運送容器400中,例如在第二運送區域322b中。作為示例,可以觸發輪廓識別並且同時觸發顏色識別和/或深度識別。

為了將運送容器400識別為空,根據各種實施例,可以使用輪廓圖案604,以及可選地,顏色信息1204和/或深度信息1206。資料庫可以包括表示空運送容器400的參考圖像數據和/或參考顏色信息和/或參考深度信息。為了將運送容器400識別為空,因此可以省去物品資料庫。

圖18以示意視圖示出了根據各種實施例的方法1800。

根據各種實施例,圖像數據可以表示第一運送區域322a的第一部分1802(也可稱為第一部分區域1802)。

根據各種實施例,可以捕獲運送容器的附加區域的附加圖像數據。附加區域的附加圖像數據可以表示第一運送區域322a的第二部分1804(也可以稱為第二部分區域1804)。可以一次地(例如同時地和/或藉助於同一光學傳感器)、連續地和/或藉助於不同光學傳感器來捕獲圖像數據和附加圖像數據。

基於附加圖像數據,可以確定附加輪廓圖案614(第二輪廓圖案614),其可以用作參考圖案704。示例性地,第二部分區域1804可以用作參考以便確定物體是否布置在第一部分區域1802中。

替代地或附加地,附加區域的附加圖像數據可以表示第二運送區域322b。基於附加圖像數據,可以確定另一附加輪廓圖案624(第三輪廓圖案624)。可以一次地(例如同時地和/或藉助於同一光學傳感器)、連續地和/或通過不同光學傳感器來捕獲圖像數據和附加圖像數據。偏差變量然後可以表示例如由物體702引起的第三輪廓圖案624的幹擾702u。

在界定運送區域322a,322b(例如在籃子的情況下,示例性地,如果存在的話,是籃子內部區間,諸如例如相對大區間的網格)的區間元件、例如支撐區間元件402a,402b(在籃子的情況下,示例性地為例如具有支柱布置和/或連續的插入基部的籃子儲存庫)布置在圖像捕獲區域208(示例性地為相機的視場)中的情況下,可以確定物體702存在於運送容器400中,例如擱置在支撐區間元件402a,402b上。為此目的,可以從先前學習的輪廓圖案704(即已存儲的參考圖案704)的和/或當前確定的輪廓圖案614(即,附加輪廓圖案614)的特性性質中確定由物體的可見表面引起的偏差。偏差可以由偏差變量表示。

示例性地,偏差變量可以是在運送容器400的檢查區域中的預期輪廓(例如,網格結構或網格區間)和/或其幹擾702u的不存在702u的度量,這是由物體702所引起的。作為示例,預期的輪廓圖案(例如,網格結構或網格區間)可以存在於第二部分區域1804中(例如圍繞物體702)和/或存在於圖像數據的不同部分中。

替代地或者附加地,偏差變量可以是例如在相鄰區域和/或區間之間(例如在支撐區間元件402a,402b和物體702之間)的對比度轉變和/或對比度躍變的度量。這可以基於學習的(例如已存儲的)參考圖案704和/或基於兩個已確定的輪廓圖案604,614,624來實現——例如藉助於建立已確定的(例如連續的和/或相鄰的)輪廓圖案604,614,624彼此之間的關係或者與參考圖案704的關係。

替代地或者附加地,可以確定表示支撐表面208u(例如具有接縫的瓷磚地板,應用的設計元素比如地板上的廣告標誌,直到周期性地學習的汙染物等)的輪廓圖案1814。然後,例如以偏離參考圖案704和/或已確定輪廓圖案604,614,624(示例性地為預期的輪廓/紋理)的方式,偏差變量可以是物體702引起的支撐表面208u的和/或其幹擾702u的預期輪廓的不存在702u的度量。

根據各種實施例,通過使用本文所述的方法(例如,用於在所檢查的區間和附近之間的比較),可以識別在第二運送區域322b(示例性地在下部儲存庫上的籃子下方)中藉助於3d和/或顏色識別(例如具有窄瓶子以及因此對於3d投影對應分析來說太小的表面積的瓶子板條箱,無色物體和/或具有很少顏色的物體)不能檢測和/或難以檢測的物體。

根據各種實施例,可以確定不是由物體702引起的幹擾(也可以稱為寄生幹擾)(例如,對金屬的反射,由於生鏽導致的運送容器400的變色、運送容器400的變形等)。因此,寄生幹擾(也可以稱為負情況)可以與運送容器400中的物體702的存在(也可以稱為正情況)區分開。結果,可以避免或減少假警報。

根據各種實施例,可以可選地藉助於顏色識別來提供顏色信息。作為示例,偏差變量可以包括在空運送容器400的情況下圖像數據的顏色信息與表示運送容器400和/或圖像背景602h(例如支撐表面208u)的參考圖像數據的偏差。示例性地,可以執行輪廓差異識別和色差識別(相對於參考數據集的偏離特徵)。最初可以學習圖像捕獲區域208中的支撐表面208u的顏色信息並將其存儲在資料庫中。

如果在分析區域中識別出相對於參考顏色光譜的改變,例如,這可以用作運送容器400不是空的事實的指示符。

根據各種實施例,可以動態地評估在顏色空間中相對於參考顏色信息的偏差。因此可以減少由於環境光的影響引起的假警報。換句話說,例如基於附加輪廓圖案614,可以考慮圖像捕獲區域208的照明狀態以用於確定偏差變量。

根據各種實施例,可以可選地藉助於深度識別來提供3d信息(深度信息)。最初可以學習其中要意圖確定深度信息的區域的位置(例如,在第二支撐區間元件402b上方,支撐表面208u和第一支撐區間元件402a之間的可調節區域)(可以示例性地限定為要檢查的區)。作為示例,這可以基於所識別的運送容器類型來執行。可以將要檢查的區域的位置(例如其邊界和/或其閾值)存儲在例如分配給相應的運送容器類型的資料庫中。

如果在待識別的區域(可以是例如第二運送區域322b)中識別深度信息與參考深度信息的偏差,則這可以用作運送容器400不為空的指示符。

根據各種實施例,可以可選地藉助於加權特性來提供組合方差。

示例性地,由偏差變量表示的、來自不同參考信息項的每個偏差可以用於識別非空狀態(運送容器400不為空)。每個有源傳感器可以有助於識別非空狀態。個體傳感器的數據可以藉助於加權特性來進行加權。因此,可以提供用於提高評估質量的智能(例如可學習的)組合。作為示例,如果識別到假警報,則可以適配加權特性。在這種情況下,例如基於差錯原因,可以向與差錯原因相關聯的數據(輪廓圖案,深度信息和/或顏色信息)給予較小的加權。替代地或附加地,加權特性可以取決於運送容器類型。加權特性和/或其相關性可以存儲在資料庫中。

根據各種實施例,用於計算機輔助識別運送容器400為空的方法和用於計算機輔助識別運送容器400為空的設備可以成本有效地改裝。

根據各種實施例,可以省去對目標物體(要識別的物體702)的複雜學習。換句話說,可以省去物體資料庫。可以使用運送容器資料庫來代替它。

根據各種實施例,可以提供圖像捕獲傳感器202s在現有外圍設備例如結帳系統(示例性地是結帳器具)的元件的安裝件上的簡單(例如,隨後)安裝。

根據各種實施例,圖像捕獲方向208b可以指向支撐表面208u。因此,由於圖像捕捉傳感器202s以非關鍵視角安裝,所以可以減少對人(例如,顧客)的私人領域的侵犯。

根據各種實施例,可以同時執行捕獲附加圖像數據和圖像數據。作為附加輪廓圖案614的替代或附加,可以從數據存儲介質讀出參考圖案704。

可以為所使用的圖像數據提供足夠大的維度以便示例性地提供最高可能的信噪比和/或足夠的閾值。可以為所使用的圖像數據提供足夠小的維度以便示例性地要求儘可能小的計算複雜度。

圖19以示意視圖示出了根據各種實施例的方法1900。

根據各種實施例,可以首先執行(例如,支撐表面602h的基礎結構的,比如結構和/或紋理的)圖像背景602h的(例如,特徵密集區域的)和/或運送容器400的輪廓圖案614學習,例如輪廓圖案614的特徵、輪廓和/或圖案(例如藉助於圖案識別),以及可選地運送容器400的和/或圖像背景602h的深度信息和/或顏色信息。這些數據可以存儲在資料庫(參考資料庫)中。

為此目的,可以藉助於圖像捕獲系統202捕獲空運送容器400的圖像信息(例如在支撐表面208u之前)。可以基於圖像信息確定參考圖案704,614。可以藉助於數據存儲介質204存儲參考圖案704,614。

圖20以示意視圖示出了根據各種實施例的方法2000。

根據各種實施例,可以基於圖像數據602來執行在圖像捕獲區域208中識別運送容器400和/或其空間地點(位置確定)。替代地或者附加地,在圖像捕獲區域208中識別運送容器400和/或其空間地點可以使用聲學傳感器(例如使用聲音反射)、光電傳感器(例如遮光板)和/或無線電標籤傳感器(例如rfid——藉助電磁波的識別)來執行。作為示例,運送容器400可以包括無線電標籤(也可以稱為rfid應答器)和/或光學反射器(光學標記)。

根據各種實施例,例如在2d圖像空間中可以(以反射數據的形式)捕獲反射,例如其區別形式。反射可以例如通過以限定角度發射到圖像捕獲區域208中的和/或用限定波長範圍(例如,ir,例如由ir保護器發射的)發射的光來施加。反射可以通過運送容器和/或光學反射器的金屬網格結構引起。基於捕獲的反射數據(例如通過特徵比較)與參考數據的比較,可以確定運送容器是否位於圖像捕獲區域208中。這可以導致相當優化的反應時間。

可選地,可以基於空間地點來確定分析區域602b(roi)。分析區域602b可以示例性地表示例如藉助於處理器206在進一步的進程中處理的圖像數據的區域。

根據各種實施例,藉助於處理器206,可以確定輪廓圖案604的狀態,例如運送容器400的網格結構的輪廓是否完整或者是否被物體阻擋或隱藏。

可選地,基於圖像數據602或分析區域602b,可以確定由運送容器400中的物體702引起的(示例性地,由存在於籃子或在運送介質的下部區域中的物品所引起的)相對於例如表示位於運送容器400下方的基部結構208u和/或運送容器400的其它部分的參考圖案704的顏色偏差和/或紋理偏差。

可選地,偏差數據可以與聲學傳感器、光電傳感器和/或無線標籤傳感器的數據組合。因此可以減少朝向假警報的趨勢(示例性地是判定確定性的優化)。

可選地,可以基於圖像數據602或分析區域602b確定深度信息。作為示例,可以基於深度信息來適配分析區域602b,例如使得其與第二運送區域322b重疊。

根據各種實施例,可以例如向操作人員和/或藉助於屏幕802輸出表示識別為空的結果的信號。

根據各種實施例,可以執行用於識別運送容器400為空的組合處理,所述處理包括以下步驟:

-可以識別表示要分析的運送容器400的已確定的輪廓圖案是否具有由運送容器400中的物體702引起的幹擾702u。換句話說,可以確定與系統已知的輪廓圖案(所述輪廓圖案表示例如暴露的晶格結構)的偏差。

-可選地,例如限制於分析區域602b,可以執行相對於參考圖像數據——例如相對於圖像背景顏色和特徵信息——的色差分析。

-可選地,可以識別物體702是否布置在(例如可縮放和/或可調整的)分析區域602b中,該物體引起運送容器400的至少部分隱藏的區域;

-可以識別運送容器400是否具有空的狀態(空狀態);

-如果識別到​​與空狀態不同的狀態(例如,如果物體702布置在運送容器400中)和/或沒有運送容器400,則可以輸出(例如生成)信號(指示信號);

-可選地,可以執行對時間上可變的物體(具有例如改變的表面,例如廣告材料保持器)的學習和/或屏蔽,以便提供對空運送容器400的可靠識別(例如,即使其輪廓圖案偏離參考圖案)。學習可以包括確定表示可變物體的輪廓圖案,以及更新參考圖案和/或資料庫以慮及該可變物體。

圖21以示意性流程圖示出了根據各種實施例的方法2100。

可選地,方法2100可以包括:在2101(也可以稱為初始階段2101)中,啟動圖像捕獲系統。

此外,方法2100可以包括:在2103(也可以稱為運送容器搜索階段2103)中,在圖像捕獲系統的圖像捕獲區域中搜索運送容器。

此外,方法2100可以包括:在2105(也可以稱為識別為空的階段2105或檢測階段2105或物品檢測階段2105)中,識別運送容器是否為空。根據各種實施例,識別為空的階段2105可以包括:確定偏差變量;以及確定所述偏差變量是否滿足預定義準則。

此外,方法2100可以包括:在2107(也可以稱為評估階段2107)中,確定識別為空是否成功。

此外,方法2100可以包括:在2109中(也可以稱為信號輸出階段2109)輸出表示識別為空的結果的信號。

圖22以示意性流程圖示出了根據各種實施例的初始階段2101。

初始階段2101可以可選地包括:在2201(也可以稱為程序開啟2101)中,開啟被配置為執行根據各種實施例的方法的程序。作為示例,可以將處理器置於準備好操作的狀態。處理器可以被配置為例如憑藉所述處理器執行所述程序從而來執行根據各種實施例的方法。

此外,初始階段2101可以包括:在2203(也可以稱為相機初始化2203)中,啟動圖像捕獲系統,例如圖像捕獲系統的一個圖像捕獲傳感器或多個圖像捕獲傳感器。作為示例,可以將圖像捕獲系統(例如,一個圖像捕獲傳感器或多個圖像捕獲傳感器)置於準備好操作的狀態。替代地或者附加地,可以啟動至少一個另外的(例如,非光學)傳感器,例如至少一個聲學傳感器、至少一個光電傳感器和/或至少一個無線電標籤傳感器。

此外,初始階段2101可以包括:在2205中,提供(例如,加載和/或創建)一個參考圖案或多個參考圖案。可以例如從參考資料庫加載(即調用)參考圖案。

此外,初始階段2101可以包括:在2207中,提供(例如,加載和/或創建)參考數據。參考數據可以包括一個或多個參考圖案、參考地形信息、參考顏色信息和/或參考深度信息或由其形成。可以為傳感器生成參考數據。

圖23以示意性流程圖示出了根據各種實施例的運送容器搜索階段2103。

運送容器搜索階段2103可以包括:在2301中,提供(例如,加載和/或創建)圖像數據(也可以稱為相機幀)。圖像數據可以表示個體圖像。可以為了加載目的捕獲圖像數據。

此外,運送容器搜索階段2103可以包括:在2303(也可以稱為識別2303圖像捕獲區域為空)中,識別運送容器是否布置在圖像捕獲區域中。為了識別圖像捕獲區域中的運送容器的目的,可以執行捕獲圖像捕獲區域中的3d數據(例如地形數據和/或深度信息)。作為示例,為此目的,可以將光學圖案發射(例如投影)到圖像捕獲區域中,並且可以捕獲表示光學圖案的圖像捕獲區域的圖像數據。可以基於光學圖案來執行捕獲3d數據(例如,地形數據和/或深度信息)(然後也可以稱為ir搜索階段2303)。示例性地,光學圖案可能受到圖像捕獲區域中的運送容器的影響。示例性地,如果運送容器布置在圖像捕獲區域中時,為了捕獲3d數據,可以捕獲由運送容器引起的光學圖案的改變。圖像捕獲系統的至少一個圖像捕獲傳感器可以被配置為捕獲光學圖案的光譜範圍。

此外,運送容器搜索階段2103可以包括:在2305中,判定在圖像捕獲區域中是否識別運送容器。如果在圖像捕獲區域中沒有識別到​​運送容器2305b(判定=否2305b),則可以通過提供另外的圖像數據繼續2301。如果在圖像捕獲區域中識別到運送容器2305a(判定=是2305a),則可以繼續2307。例如可以基於3d數據來執行有關在圖像捕獲區域中是否識別到運送容器的判定。作為示例,3d數據可以表示:如果運送容器布置在圖像捕獲區域中時光學圖案是否改變和/或在何種程度上改變。示例性地,運送容器搜索階段2103可以形成循環,在該循環中捕獲圖像數據,直到已經識別到將運送容器引入到圖像捕獲區域中和/或已經布置在其中。

為了判定在圖像捕獲區域中是否識別到運送容器的目的,可以執行確定表示3d數據與參考3d數據的偏差的3d偏差變量,其中參考3d數據表示空圖像捕獲區域。示例性地,可以將3d數據與參考3d數據進行比較。如果偏差滿足預定義準則,則可以判定在圖像捕獲區域中識別到運送容器(判定=是2305a)。如果偏差不滿足預定義準則,則可以判定在圖像捕獲區域中沒有識別到​​運送容器(判定=否2305b)。

運送容器搜索階段2103可以可選地包括:在2307中,使用另外的圖像數據(也可以稱為另外的相機幀)來形成多個圖像數據。另外的圖像數據可以表示至少一個另外的個體圖像。多個圖像數據可以示例性地表示圖像序列(例如,以時間和/或空間序列)。為了形成多個圖像數據的目的,可以在已經識別到將運送容器引入到圖像捕獲區域中和/或布置在圖像捕獲區域中之後捕獲該另外的圖像數據。示例性地,因此可以捕獲例如表示在不同地點中的運送容器的大量圖像數據。

如果存在多個圖像數據,則運送容器搜索階段2103可以包括:在2309中,選擇表示運送容器和/或具有預定義輪廓密度的圖像數據。作為示例,為此目的,可以從多個圖像數據中確定(示例性地,選擇)表示運送容器和/或具有預定義輪廓密度的圖像數據。為了選擇圖像數據的目的,可以丟棄(即,不考慮)多個圖像數據中的已經處理過的圖像數據。

此外,運送容器搜索階段2103可以包括:在2311中,使用輪廓圖案來識別運送容器。為此目的,可以使用圖像數據來執行確定表示運送容器的輪廓圖案。在2311中,例如,可以識別運送容器類型和/或運送容器的地點(圖像捕獲區域中的對準和/或位置)。

此外,運送容器搜索階段2103可以包括:在2313中,判定是否識別運送容器。

圖24以示意性流程圖示出了根據各種實施例的方法2400。

方法2400可以包括運送容器搜索階段2103和識別為空的階段2105。

此外,方法2400可以包括:在2401中,判定是否存在另外的圖像數據。

如果判定2313在圖像捕獲區域中識別到運送容器2103a(判定=是2103a),則可以繼續識別為空的階段2105。

如果判定2313沒有識別到​​運送容器2103b(判定=否2103b),則可以執行2401有關是否存在另外的圖像數據(其例如還沒有被分析)的判定。

如果判定2401另外的圖像數據存在2401a(判定=是2401a),則可以在2309中執行從多個圖像數據中選擇其它圖像數據。如果判定2401沒有另外的圖像數據存在2401b(判定=否2401b),則可以繼續運送容器搜索階段2103;例如在2301中,可以提供(例如,捕獲和/或加載)其它圖像數據。

圖25以示意性流程圖示出了根據各種實施例的方法2500。

方法2500可以包括運送容器搜索階段2503和識別為空的階段2505。

可選地,方法2500可以包括:在2501中,確定分析區域。示例性地,可以從圖像數據中選擇在識別為空的階段2105(識別運送容器為空)中使用的部分。因此可以減少費用。

圖26以示意性流程圖示出了根據各種實施例的識別為空的階段2105。

識別為空的階段2105可以包括:在2601中,基於輪廓圖案來確定偏差變量。為此目的,可以使用圖像數據(或圖像數據的一部分)來確定表示運送容器的輪廓圖案;以及確定表示該輪廓圖案與至少一個參考圖案的偏差的偏差變量。該至少一個參考圖案表示空的運送容器。

可選地,識別為空的階段2105可以包括:在2603中,基於顏色信息來確定偏差變量。為此目的,可以執行使用圖像數據(或圖像數據的一部分)來確定表示運送容器的顏色信息;以及確定表示該顏色信息與參考顏色信息的偏差的偏差變量。該參考顏色信息表示空的運送容器。

可選地,識別為空的階段2105可以包括:在2605中,基於深度信息來確定偏差變量。為此目的,可以執行使用圖像數據(或圖像數據的一部分)來確定表示運送容器的深度信息;以及確定表示該深度信息與參考深度信息的偏差的偏差變量。該參考深度信息表示空的運送容器。

可選地,識別為空的階段2105可以包括:在2607中,基於地形信息來確定偏差變量。為此目的,可以執行使用圖像數據(或圖像數據的一部分)來確定表示運送容器的地形信息;以及確定表示該地形信息與參考地形信息的偏差的偏差變量。該參考地形信息表示空的運送容器。例如可以使用光學圖案來確定地形信息。

可以連續地(也可以稱為單線程)執行圖26中示出的序列。作為示例,在確定偏差變量2601,2603,2605,2607的每個處理之後,可以確定是否可以可靠地進行明確判定(例如,運送容器是否為空)(參見差錯區域的識別)。為此目的可以確定偏差變量的可靠性。

作為示例,可以通過諮詢用於確定偏差變量的其它信息(顏色信息,深度信息和/或地形信息)來改善(就其可靠性方面而言為提高)偏差變量。作為示例,如果確定不能可靠地進行明確的判定,則可以執行確定偏差變量2603,2605,2607的另一處理。示例性地,偏差變量的數據可以逐步連續地疊加,直到獲得足夠的判定可靠性。

圖27以類似於圖26的示意性流程圖示出了根據各種實施例的識別為空的階段2105。

可以至少部分地彼此並行地執行(也可以稱為多線程)圖27中示出的序列。作為示例,可以同時處理至少兩個(例如三個或四個)信息項以用於確定偏差變量2601,2603,2605,2607。

圖28以示意性流程圖示出了根據各種實施例的評估階段2107。

評估階段2107可以包括:在2801中,判定在運送容器中是否識別到物體(例如物品)。如果在運送容器中識別到物體2801a(判定=是2801a),則可以輸出相應的信號2109(例如,識別為非空的信號)。如果在運送容器中沒有識別到​​物體2801b(判定=否2801b),則可以可選地輸出相應的信號2109(例如,識別為空的信號)。

如果在運送容器中沒有識別到​​物體2801b(判定=否2801b),則可選地在評估階段2107的2803中,可以執行確定是否不可能藉助於所使用的圖像數據進行判定的處理,例如因為偏差變量不夠可靠和/或因為圖像數據不具有足夠的代表性。

如果確定基於所使用的圖像數據的判定不可能2803a(判定=是2803a),則可以輸出對應的信號2109(例如,差錯信號)。如果藉助於所使用的圖像數據的判定是可能的2803b(判定=否2803b),則在評估階段2107的2805中,可選地,可以執行最終判定在運送容器中是否識別到沒有物體(例如物品)的處理。

如果最終判定在運送容器中沒有識別到物體2805a(判定=是2805a),則可以從運送容器搜索階段2103開始,例如,可以例如通過提供運送容器的新圖像數據來繼續2301。示例性地,然後可以執行循環2301,2303,2305,直到已經識別到下一個運送容器。

如果沒有最終判定在運送容器中沒有識別到物體2805b(判定=否2805b),則在2401中可以執行判定是否存在另外的圖像數據(其例如尚未被分析)的處理。示例性地,可以使用多個圖像數據的另外的圖像數據來檢查關於在運送容器中沒有布置物體的判定。

根據各種實施例,如果基於相同的多個圖像數據的預定義數量的決策對應,則可以執行最終判定2805的處理。因此可以減少不正確識別的風險。

如果存在另外的圖像數據2401a(判定=是2401a),則可以執行從多個圖像數據中選擇2309其它圖像數據。如果沒有另外的圖像數據存在2401a(判定=否2401b),則可以從以運送容器搜索階段2103開始而起始,例如可以繼續2301。在這種情況下,例如可以從相同的運送容器捕獲新的圖像數據。

圖29以示意性流程圖示出了根據各種實施例的信號輸出階段2109。

信號輸出階段2109可以包括:在2901中,輸出輸入請求和/或將結帳系統處理轉送到待機狀態(也可以稱為程序停止和/或等待用戶輸入)。作為示例,可以停止程序。

信號輸出階段2109可以包括:在2903中,確定是否已經執行了響應於輸入請求的輸入。

如果已經執行了響應於輸入請求的輸入2903a(判定=是2903a),則可以從以運送容器搜索階段2103開始而起始,例如可以繼續2301。如果尚未執行響應於輸入請求的輸入2903b(判定=否2903b),則可以保持待機狀態和/或輸入請求的輸出。

圖30以類似於圖21到圖29的示意性流程圖示出了根據各種實施例的方法3000。

圖31以示意性流程圖示出了根據各種實施例的方法3100。

方法3100可以包括:在3101中,處理圖像數據(也可以稱為處理階段3101)。

方法3100可以可選地包括:在3103中,例如如果不存在(例如適當的)參考圖案和/或存在太少的參考圖案,則形成和/或適配參考圖案(也可以稱為參考圖案學習階段3103)。

方法3100可以可選地包括:在3105中,形成和/或適配準則(也可以稱為準則學習階段3105)。

方法3100還可以包括:在3107中,確定偏差變量(也可以稱為識別階段3107)。

方法3100還可以包括:在3109中,輸出結果(也可以稱為輸出階段3109),例如,輸出偏差變量。

圖32以示意性流程圖示出了根據各種實施例的處理階段3101。

處理階段3101可以包括:在3201中,捕獲圖像數據。

處理階段3101還可以包括:在3203中,使用圖像數據確定輪廓圖案。作為示例,可以使用高斯差分(dog)算法來形成輪廓圖案。高斯差分算法可以包括基於圖像數據來形成圖像數據的模糊版本,並且從圖像數據中減去它。可以使用高斯內核來形成模糊版本——例如通過使用高斯內核對圖像數據進行卷積。替代地或者附加地,模糊版本可以使用軟焦透鏡來形成。

處理階段3101還可以包括:在3205中,請求參考圖案。

處理階段3101還可以包括:在3207中,判定是否存在參考圖案。如果存在參考圖案3207a(判定=是3207a),則可以繼續3209。如果不存在參考圖案3207b(判定=否3207b),則可以例如通過形成參考圖案來繼續3103。

處理階段3101可以可選地包括:在3209中,針對輪廓圖案與參考圖案的每個偏差,形成分析區域。為此目的,可以確定輪廓圖案與參考圖案的一個或多個偏差。

圖33以示意性流程圖示出了根據各種實施例的參考圖案學習階段3103。

參考圖案學習階段3103可以包括:在3301中,提供(例如形成)灰色圖像數據。為此目的,可以將圖像數據轉換成灰色色調(就它們不是以灰色色調存在來說)。

參考圖案學習階段3103可以可選地包括:在3303中,確定灰色圖像數據的平均波動。平均波動可以表示灰色圖像數據的灰度值的平均波動。為了確定平均波動的目的,可以確定平均值偏差和/或標準偏差。

參考圖案學習階段3103可以可選地包括:在3305中,使用灰色圖像數據形成灰度等級值矩陣。

參考圖案學習階段3103可以可選地包括:在3307中,確定灰度等級值矩陣的波動,例如,灰度等級值矩陣中的相鄰條目的波動和/或平均波動。波動可以表示灰度等級值矩陣的對比度、均勻性和/或能量。

參考圖案學習階段3103還可以包括:在3309中,基於灰色圖像數據例如使用波動來形成參考圖案(根據灰度等級值矩陣和/或根據灰色圖像數據)。

參考圖案學習階段3103可以可選地包括:在3311中,例如在參考資料庫中存儲參考圖案和可選地存儲波動。替代地或者附加地,可以進一步直接處理參考圖案。

替代地或者附加地,如果最終判定在運送容器中沒有布置物體,和/或如果輸入表示在運送容器中沒有布置物體的事實,則可以執行參考圖案學習階段3103。

圖34以示意性流程圖示出了根據各種實施例的準則學習階段3105。

準則學習階段3105可以包括:在3401中,形成分析區域的灰色圖像數據。為此目的,可以將圖像數據的分析區域轉換成灰色色調(就其不以灰色色調存在來說)。

準則學習階段3105還可以包括:在3403中,確定分析區域的灰色圖像數據的平均波動。平均波動可以表示灰色圖像數據的灰度等級值的平均波動。為了確定平均波動的目的,可以確定平均值偏差和/或標準偏差。

替代地或者附加地,準則學習階段3105可以包括:在3405中,使用分析區域的灰色圖像數據形成灰度等級值矩陣。在這種情況下,準則學習階段3105可以包括:在3407中,確定分析區域的灰度等級值矩陣的波動,例如,灰度等級值矩陣中的相鄰條目的波動和/或平均波動。波動可以表示灰度等級值矩陣的對比度、均勻性和/或能量。

圖35以示意性流程圖示出了根據各種實施例的方法3500。

方法3500可以包括處理階段3101和輸出階段3109。可選地,方法3500可以包括準則學習階段3105。

方法3500還可以包括:在3501中,識別輪廓圖案與參考圖案的偏差是否存在,例如如果已經識別了至少一個偏差,則識別是否存在另外的偏差。

在處理階段3101之後例如在針對輪廓圖案與參考圖案的每個偏差形成分析區域3209之後,可以執行識別輪廓圖案與參考圖案的偏差是否存在。示例性地,因此可以將分析區域迭代地分配給每個偏差。

在3109中,可以輸出輪廓圖案與參考圖案的偏差是否存在的結果。

如果識別到輪廓圖案與參考圖案的偏差3605a(判定=是3605a),則可以可選地執行準則學習階段3105,例如繼續形成3401分析區域的灰色圖像數據。

圖36以示意性流程圖示出了根據各種實施例的識別階段3107。

識別階段3107可以包括:在3601中,將輪廓圖案與參考圖案進行比較。為此目的,可以將輪廓圖案與參考資料庫進行比較,例如以便選擇相應的輪廓圖案。可以基於比較來確定偏差變量。

識別階段3107還可以包括:在3603中,將偏差變量與準則進行比較。

識別階段3607還可以包括:在3603中,判定在運送容器中是否識別到物體。如果偏差變量符合準則,則可以判定在運送容器中已經識別到物體。如果偏差變量不符合準則,則可以判定在運送容器中沒有識別到物體。

如果在運送容器中識別到物體3605a(判定=是3605a),則可以繼續3109,也就是說,可以輸出3109在運送容器中識別了物體的結果。如果在運送容器中沒有識別到​​物體3605b(判定=否3605b),則可以繼續3501。示例性地,然後可以處理下一個偏差和/或下一個分析區域。

如果已經處理了圖像數據的所有偏差和/或分析區域,則可以繼續2401。

圖37以類似於圖31到圖36的示意性流程圖示出了根據各種實施例的方法3700。

可以進一步處理輸出3109的結果,例如用於輸出信號。

儘管已經參考具體實施例特別地示出和描述了本發明,但是本領域技術人員應當理解,在不脫離由所附權利要求限定的本發明的精神和範圍的情況下,可以在此在形式和細節上進行各種改變。因此,本發明的範圍由所附權利要求來指出,並且因此旨在涵蓋落入權利要求的等同物的含義和範圍內的所有變化。

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀