使用從運動恢復結構算法的體積確定方法和系統的製作方法

2023-10-08 17:58:04 2

使用從運動恢復結構算法的體積確定方法和系統的製作方法
【專利摘要】本發明提供了一種使用從運動恢復結構算法的體積確定方法和系統。用於建築場所的對象的體積確定方法包括：在將相機反覆地取向到對象上的同時沿著圍繞對象的路徑移動移動相機，在該過程中，利用相機捕獲對象的一系列圖像，該一系列圖像包括從路徑上的不同點以相機的不同取向捕獲的多個圖像，該一系列圖像由由此收集的圖像數據組來表示，使用該一系列圖像利用定義的算法來執行從運動評估恢復結構並且從其生成空間表示，包括對象(1)的表面，利用關於已知的關於標度的絕對參考的給定信息的幫助來縮放該空間表示，定義針對對象的地表面並且將其應用於所述空間表示，以及基於縮放後的空間表示和所定義的地表面來計算並且輸出對象的絕對體積。
【專利說明】使用從運動恢復結構算法的體積確定方法和系統

【技術領域】
[0001]本發明涉及一種在建築場地確定對象的體積的方法和系統。

【背景技術】
[0002]在建築場地，常常需要確定對象(例如，料堆或諸如壺穴的中空空間、間隙或礦)的體積。
[0003]傳統的用於確定這樣的體積的方法是利用諸如雷射掃描器、全站儀、立體相機或一組固定安裝的相機的測量裝置掃描對象。由於從一個站點，僅能夠測量料堆的一部分，而其它表面點被擋住了，因此，需要在相對於例如料堆的至少三個不同位置設置測量裝置，從而能夠以組合的方式測量料堆的整個表面。從每個站點捕獲料堆，即，測量料堆的表面點相對於測量裝置的空間位置。接下來，對從三個或更多設置位置獲得的點雲進行組合和網格化。然後，計算網格化表面與地表面之間的體積。這樣的方法主要的缺點在於下述事實:諸如雷射掃描器、全站儀、立體相機或多個相機是昂貴的硬體並且需要由技術人員來操作和定位。另外，將這樣的測量裝置設置在三個不同位置並且至少彼此相對地確定這些位置是耗時的。然而，在一些情況下，這樣的時間和金錢上的付出由於不要求由如全站儀的大地測量裝置執行的位置測量的高準確性以及所獲得的體積確定的高準確性而相對粗糙的體積值將是足夠的而在某種程度是浪費的。
[0004]為了確定大的對象的體積或者為了覆蓋大面積中的多個對象，進一步了解的是，使用配備有GNSS位置傳感器和用於確定地面對象的尺寸數據的裝置的無人駕駛飛行器(UAV) ο


【發明內容】

[0005]因此，本發明的目的在於提供一種用於確定建築場所的對象的體積的簡化的方法和系統。
[0006]本發明的另一目的在於提供一種用於確定建築場所的對象的體積的耗時較少的方法。
[0007]本發明的另一目的在於提供一種用於確定建築場所的對象的體積的成本有效的系統。
[0008]通過根據權利要求1的確定建築場所的對象的體積的方法、根據權利要求5的建築場所的對象的體積確定系統、根據權利要求14的確定建築場所的對象的體積的電腦程式產品和/或本發明的從屬權利要求來實現這些目的中的至少一個。
[0009]根據本發明，一種確定建築場所的對象或中空空間的體積的方法包括下述步驟:
[0010](a)在將相機反覆地，特別是連續地取向到對象上的同時沿著圍繞對象的路徑移動移動相機，
[0011](b)在該過程中，利用相機捕獲對象的一系列圖像，該一系列圖像包括從路徑上的不同點以相機的不同取向捕獲的多個圖像，該一系列圖像由由此收集的圖像數據組來表示，
[0012](c)使用該一系列圖像利用定義的算法來從運動評估恢復結構並且從其生成對象的表面的空間表示，
[0013](d)利用關於已知的關於標度的絕對參考的給定信息的幫助並且特別地還利用關於絕對豎直方向的給定信息的幫助來調整並且特別地豎直地取向該空間表示，
[0014](e)定義針對該對象的地表面並且將其應用於該空間表示，以及
[0015](f)基於調整後的並且豎直取向的空間表示和所定義的地表面來計算並且輸出對象的絕對體積。
[0016]在本發明中，術語「絕對」(參考、豎直方向、體積、……)意味著能夠以一個且同樣已知的尺度為單位，特別是以一個標準長度單位(米、英寸、……)為單位來對量的值進行量化。
[0017]移動相機能夠捕獲一系列圖像，該系列圖像能夠被存儲為圖像數據組，例如，靜態圖像的組、視頻序列或者其組合。移動相機是用於建築場所的對象的體積確定的系統的一部分，該系統進一步包括控制評估單元。圖像數據組能夠存儲在移動相機上或者存儲在系統的存儲單元上。系統可以包括顯示器，其特別地具有觸敏接口。例如，該系統能夠是智慧型電話或者GNSS測量系統或全站儀的控制器，其存儲有具有代碼的程序以控制和執行體積確定功能，該體積確定功能包括上述方法。控制評估單元能夠位於智慧型電話中、控制器中和/或移動相機中和/或系統的另外部分中，從而利用智慧型電話、控制器和/或在移動相機中和/或在系統的另一部分中執行步驟(C)至(f)中的一些或全部或者步驟(C)至(f)的一部分。該系統可以包括計算伺服器和數據發送單元，從而能夠在場外執行步驟(C)至(f)中的一些或全部或者步驟(C)至(f)的一部分，這能夠對於系統的移動部分的功耗或對於處理功率以及因此對於處理時間來說是有利的。作為示例，利用智慧型電話捕獲的圖像數據組能夠被傳輸到雲伺服器，其中，根據本發明來處理圖像數據，從而最終計算並輸出體積。輸出的體積能夠被傳輸回智慧型電話並且顯示給用戶。
[0018]步驟(c)至(f)不需要在建築場所執行並且能夠在步驟(a)和(b)之後的任何時間來執行。能夠按照任何適合的順序來執行該方法的步驟。特別地，步驟⑷和(e)的順序是能夠交換的，並且能夠同時執行這兩個步驟。如果在一個仍在執行的步驟中生成了足夠的數據，從而下述步驟能夠已經開始，可以同時執行這兩個步驟。例如，能夠根據步驟(C)生成點雲的一部分，其由於該部分點雲包括了足夠的地表面相關點而足以定義地表面，和/或由於給定的關於已知的絕對參考的信息指向該部分點雲而足以對點雲進行調整。又如，由於一系列圖像的圖像的數目能夠足以生成對象的一部分的空間表示(即，生成整個對象的第一粗略空間表示)，因此，根據步驟(C)的生成空間表示的步驟能夠在步驟(a)和(b)仍然在進行的同時開始。在之前步驟中生成的另外的數據能夠用於細化後續步驟的結果。
[0019]在本發明的實施方式中，相機是手持單元(特別地，包括全站儀和/或GNSS組件的測量系統(surveying system))的移動場控制器的內置組件。手持單元可以進一步包括傳感器裝置，用於根據相機的運動利用絕對參考來確定位置和/或位置的變化和/或加速度，特別地，相對於相機固定並且還形成手持單元的內置組件慣性測量單元和/或相對於相機固定並且也形成手持單元的內置組件GNSS傳感器。
[0020]沿著圍繞對象的路徑利用相機捕獲對象的一系列圖像的步驟(步驟b)能夠由用戶通過圍繞對象行走同時永久地保持相機或者將相機保持在路徑的任意選擇的不同點處，從而對象的面對相機的至少主要，特別地整個，可見側處於相機的視野中。從而不需要保持相機的某一取向。相機能夠在以每秒至少一個圖片的速率在圍繞對象移動的同時反覆地捕獲圖像。特別地，以至少15 Hz的視頻幀速率生成視頻流。
[0021]根據圖像數據組，在步驟(C)中，計算對象的表面的空間表示，例如，3D模型，特別地，點雲。這是通過所定義的從運動恢復結構(SfM)或及時定位與地圖構建(SLAM)算法來進行，這些算法是所存儲的具有代碼的程序的一部分。算法能夠基於具有觀察源的透視或仿射相機投射模型，其包括圖像對、圖像元組和/或視頻序列以及諸如稀疏特徵對應性、密集的光流場、線或曲線的表徵類型，或者沒有從圖像提取任何表徵的直接SfM技術。
[0022]作為示例，描述下述SfM算法，其包括對於圖像數據組中的圖像中的至少一些尋找一定數目的圖像對應性的步驟。這是使用諸如SIFT、SURF、BRISK、BRIEF等等的特徵檢測匹配算法來進行的。替選地，在視頻序列的情況下，能夠對於每個視頻幀使用追蹤算法來尋找對應性。能夠使用例如Kanade-Lucas-Tomasi(KLT)特徵追蹤器或另外的追蹤算法來進打追蹤。
[0023]使用一對適合的圖像，在局部坐標幀中確定相對相機姿態(即，位置和取向)。算法使用魯棒搜索以尋找所選擇的對的圖像的相機的3D平移和旋轉(例如，第二圖像相對於第一圖像的相對位置和取向)。利用這些位置，使用前方交會來計算在兩個圖像中看到的所有特徵的3D位置。這提供了一組3D點以及兩個初始幀的位置和取向。
[0024]在接下來的步驟中，額外的幀被添加到現有的重建。使用已經重建的3D點，能夠使用後方交會來計算在圖像的捕獲期間相機具有的位置和取向。在添加了新的圖像之後，使用重建幀中的所有測量來細化3D點的位置。
[0025]作為最終或中間步驟，使用光束平差法來細化整個解。算法的該部分是重投射誤差的非線性最小二乘法最小化。其將優化所有3D點和所有相機位置的位置和取向。
[0026]如果記錄包含來自同一位置的多個圖像，例如，當圍繞對象移動的用戶走到開始點並且走過了幾米(這引起了交疊)，這些來自同一位置的圖像被匹配並且圍繞對象的環閉合。這將增加整體準確性。
[0027]額外的約束(例如，來自GNSS測量的相機的位置、來自利用全站儀的測量的參考目標的位置)能夠包括在光束平差法中以增加算法的魯棒性。
[0028]替選地，能夠使用其它的SLAM或SFM算法來恢復相機的位置和取向。為了進一步加速處理，圖像能夠在數據的記錄期間傳輸到控制評估單元。
[0029]在方法的又一發展中，能夠通過下述來實現對象的表面的空間表示的進一步的改進，即利用諸如稠密匹配算法(例如，深度圖融合或平面掃描)的算法來計算稠密點雲，例如,針對每個圖像像素的3D坐標。
[0030]作為上述用於確定空間表示的替選方案，能夠使用視覺赫爾方法來創建空間表示。在該空間雕刻技術中，首先尋找圖像中的前景對象的側影輪廓。側影的每個圖像區域外部表示其中不能夠存在對象的空間的區域。這些區域能夠被雕刻掉。獲得的體積(被稱為視覺赫爾(visual hull))是對於對象的實際幾何形狀的保守近似。常常容易在圖像中檢測到對象側影，並且這些方法能夠是非常魯棒的。在本發明中，能夠使用視覺赫爾方法來在圖像中將對象的表示與背景分離，因此利用所定義的輪廓來定義形狀。根據相機的投射中心，分別為三角形的半線被定義為穿過輪廓的各部分的點，其一起形成了錐形金字塔。使用所有圖像定義的所有錐形金字塔的空間交叉定義了對象的空間表示。
[0031]根據步驟(d)，利用給定的關於已知的絕對參考的信息來調整空間表示。有利的是，還使用已知的豎直參考來確定空間表示的豎直取向。這是有下述選項之一來執行的:
[0032]使用參考體，特別地，使用細長的參考體，其由於其細長的形狀而限定長軸並且包括至少兩個定義的視覺上可檢測的標記，從而在參考體上定義至少兩個點，例如，定標條或具有彼此隔開預定距離的兩個或更多光學標記的條。至少兩個點之間的絕對距離，特別地，至少兩個點相對於該參考體的長軸的空間關係是已知的。該參考體將在捕獲一系列圖像之前由用戶放置，如果空間表示被額外地豎直取向，則其長軸豎直地對齊在待確定其體積的對象上或與對象緊鄰。參考體被與對象一起成像在至少一些圖像上。還基於從運動評估恢復結構對於至少兩個點確定關於對象的空間表示的至少兩個空間位置。然後，基於所確定的至少兩個空間位置之間的所測量的距離以及參考體的至少兩個點之間的已知的絕對距離來調整空間表示。
[0033]另外，如果參考體被豎直地放置在對象上，則能夠基於所確定的關於空間表示的至少兩個空間位置和相對於長軸的至少兩個點的已知的空間關係來豎直地取向空間表示。
[0034]這樣的參考體還能夠由待測量對象上的定義為具有已知距離的點來形成,這些點在具有已知距離的至少一些圖像中額外地捕獲的對象上或至少一些圖像中是可檢測的。該已知距離能夠由利用能夠集成在系統中的諸如測距儀的測量裝置的測量來獲得。能夠利用具有不同於周圍的性質的諸如邊緣或點的對象上/對象的獨特點來定義待測量對象或額外的對象上的可視覺檢測的點。可視覺檢測的點能夠進一步包括諸如彩色點的光學標記或者如圓圈的幾何形狀。作為示例，參考體能夠因此形成為待測量對象的長度或者具有已知尺寸的額外的對象，例如，對象的高度或寬度或其一部分。這樣的額外的對象可以特別地包括定標條。有利地，這些捕獲的可視覺檢測的點和/或標記中的至少兩個被彼此豎直地對齊。替選地，諸如定標條的兩個或更多個細長參考體能夠被布置在對象上或其附近。如果兩個定標條被水平地對齊，例如，利用氣泡水平儀，則它們能夠定義水平面。該平面的法向量定義豎直方向。
[0035]根據相機沿著其圍繞對象的路徑的運動，利用絕對參考(即，關於定義的標度)確定相機的位置和/或位置變化和/或加速度。然後分別基於所確定的位置和/或位置變化和/或加速度來調整空間表示並且優選地對其進行豎直取向。能夠利用下述選項中的一個或其組合來確定位置和/或位置變化和/或加速度:
[0036]利用相對於相機固定的GNSS傳感器來對於至少兩個不同的相機位置測量相機的GNSS位置。如果空間表示也被豎直地對齊和/或空間參考，則對於至少三個相機位置測量GNSS位置。確定對點雲進行調整並且可選地還進行移位和旋轉的變換，從而GNSS測量的位置(相中心)與由從運動恢復結構獲得的對應的位置之間的差異最小。
[0037]使用相對於相機固定的慣性測量單元(IMU)。所測量的加速度和角速度被用於測量成對的圖像之間的相對位置和取向。使用該相對位置，能夠找到使得所測量的相對位置與變換後的相機位置的相對位置之間的差異最小的點雲的移位旋轉和標度。
[0038]諸如視距儀、全站儀、雷射追蹤器的測量裝置測量，或者追蹤3d位置確定相機系統，特別地立體相機系統或圖案投射器相機系統，對於至少兩個不同的相機位置測量相機的位置。能夠與捕獲圖像同步地或者以預定時間間隔執行相機的位置和/或取向的確定，從而所確定的位置和取向被清楚地指派給圖像。為此，能夠利用控制評估單元生成觸發信號並且將其傳輸給相機和GNSS傳感器、IMU、單元或測量裝置。替選地，相機能夠在捕獲圖像時或在預定數目的捕獲圖像之後或以預定的時間間隔觸發利用所述位置確定裝置的位置和/或取向確定。
[0039]至少兩個預定的可視覺檢測標記(例如，編碼標記)被布置在對象上或其附近。通過預定標記，定義至少兩個參考點。利用測量儀器(例如，全站儀或GNSS極)測量參考點，即確定它們的絕對空間位置。還與對象一起在一系列圖像中的至少一些圖像中捕獲標記。能夠在從SfM獲得的點雲中自動地檢測標記。還基於SfM評估確定關於點雲的相對空間位置。基於絕對空間位置到每個參考點的相對空間位置的指派執行變換(調整並且有利地還進行豎直取向)。
[0040]在步驟(e)，確定對象的地表面並且將其應用於空間表示。利用分析空間表示的形狀的預定評估算法來從點雲自動地獲得地表面。能夠基於位於地表面上的一組點的分類來獲得地表面。該分類能夠基於相對於z軸(向上方向)的點的分布和具有較小的z坐標的點是地表面的一部分的假設。替選地，用戶能夠通過在系統的顯示器上繪製曲線來對點進行分類。然後，數學形狀(例如，平面)擬合到分類後的點，其表示地表面。替選地，能夠使用3D Hough變換或RANSAC算法來確定地表面。
[0041]替選地，能夠使用全站儀測量或來自GNSS標杆的測量，利用地上的對象周圍放置的三個或更多個標記或者利用諸如放置在地上的對象周圍的定標條的兩個或更多個細長參考體來確定地表面。
[0042]替選地或額外地，地表面本身由用戶輸入手動地獲得。用戶能夠視覺地分析顯示在系統的顯示器上的空間表示並且手動地確定地表面或者調整自動獲得的地表面。特別地，顯示空間表示的哦鋪面(例如截面)並且能夠在所顯示的剖面中與所顯示的剖面相關地設置代表地表面的線。
[0043]在步驟(f)中，計算對象的絕對體積。首先，數學地定義的表面擬合到點雲或者基於網格化從點雲計算表面。用於數學地定義的表面的示例是3D樣條、錐形、自由形式表面或旋轉的拋物面。能夠使用3D或2D三角測量基於空間表示的網格化來獲得計算的表面。體積被計算為數學地定義的表面與地表面之間的差或者確定為三角測量的表面與地表面之間的圍閉體積。
[0044]在一些情況下，用戶可能不能夠完全地圍繞對象移動相機。因此，表面表示僅表示對象的一部分。然後，使用對稱假設來確定對象的體積。用戶能夠定義對稱面並且計算地表面與對稱面之間包含的部分的體積。然後近似的體積將是將所計算的體積乘以2獲得的體積。作為替選方案，能夠指定對稱軸，並且將通過從對象的剪影創建旋轉表面來近似對象的體積。例如，從貫穿點雲的截面，能夠確定輪廓(例如，拋物曲線)。圍繞豎直的中心軸旋轉該曲線獲得了旋轉的拋物面。
[0045]除了對象的體積之外，用戶也可能對對象的體積改變或體積差感興趣。能夠使用所描述的方法來確定例如沙子移除前後的沙包的體積，以確定體積差。
[0046]在本發明的另一有利的應用中，能夠從空間表示確定對象的尺寸，即長度、寬度、高度和形狀。了解了剛性對象(例如，石頭)的尺寸和形狀，能夠決定其是否適合於卡車的裝載平臺。此外，能夠確定對象是否適合通過裝載空間的開口，即對象的寬度是否小於開口的寬度。另外，該方法能夠進一步發展為執行斜率分析。基於對象(例如，沙包)的形狀，並且考慮材料性質(例如，傾斜角)，能夠分析出，在特定位置移除沙子將影響沙包的穩定性，即移除是否會引起滑動。
[0047]在該方法的又一發展中，確定的體積與密度值一起用於計算對象(例如，料堆)的絕對重量。密度值由用戶輸入，由用戶在包括材料的若干定義的類型及其各自的密度值的查找表的幫助下選擇和/或通過從一系列圖像中的至少一個圖像自動地評估材料來自動地確定。在後一種情況中，能夠使用對象的紋理信息。
[0048]如果對象由不同材料的部分構成，則能夠通過手動地標記各部分或者基於圖像分割算法來評估各部分的絕對重量。
[0049]在該方法的又一發展中，基於其空間表示來計算對象的質心，該質心是不能夠出於該目的而進行調整的。計算能夠在異質對象的情況下考慮諸如材料的各部分的重量的進一步的信息。此外，計算出的質心能夠與其它存儲的或計算的對象性質組合。例如，關於對象的硬度的信息和其質心能夠用於提示用戶如何握持該對象以便於防止損壞。例如，了解質心的位置，能夠決定，是否放置繩索以利用支架提升剛性對象或者如何為了良好的平衡性而利用叉車抓住該對象。此外，了解質心，能夠最優地將對象放置在卡車的裝載平臺上，例如以在前車軸和後車軸之間同等地平衡負載。
[0050]本發明進一步包括用於執行本體積確定方法的步驟(C)至(f)的電腦程式產品O

【專利附圖】

【附圖說明】
[0051]下面將參考伴隨著附圖的示例性實施方式詳細描述本發明，在附圖中:
[0052]圖1示出了現有技術的示例；
[0053]圖2a、圖2b示出了一組圖像的獲取的示例；
[0054]圖3示出了不同相機位置以及從運動評估恢復結構的一部分的示例；
[0055]圖4a、圖4b示出了對象的空間表示的調整和豎直取向的示例；
[0056]圖5a至圖5d示出了地表面的定義的示例；
[0057]圖6a、圖6b示出了對象的體積的計算的示例；
[0058]圖7a、圖7b示出了生成對象的空間表示的替選方法的示例；
[0059]圖8示出了重量確定功能的示例；
[0060]圖9a、圖9b示出了本發明的另外的功能的示例。

【具體實施方式】
[0061]圖1示出了用於確定物體1(例如，料堆)的體積的現有技術示例。用戶2將全站儀5設置在對象I附近的位置6處。對對象I進行掃描(即，測量對象I的可見表面點4)並且計算點雲。由於從位置6不能夠看到整個表面，因此，全站儀5需要設置在至少兩個其它位置處以便於測量從位置6看不到的表面點3，以便於能夠建立對象I的完整的表面表示。從三個或更多個設置獲得的點雲被組合併且網格化。然後，計算網格表面與地表面之間的體積。
[0062]在圖2a中，根據本發明的用於體積確定的系統被示出為智慧型電話7的形式，其包括相機8和控制評估單元9。替選地，用於體積確定的系統可以是測量儀器的一部分。智慧型電話7由用戶把持，從而相機面朝對象I並且對象的相機8所面對的表面的整個部分處於相機8的視野8a內。在圖2a和圖2b(頂視圖)中，用戶2沿著圍繞對象I的路徑10行走，同時相機8捕獲對象I的一系列圖像。獲取圖像的速率可以使得能夠生成視頻流。例如，相機每秒拍攝至少15張圖片。圖像將對象I示出為好像是從沿著路徑10的不同位置看的。該一系列圖像被存儲在智慧型電話7上作為圖像數據組，例如作為電影文件。在對象I上放置有參考體11，其長軸Ila豎直地取向。參考體11可以包括諸如氣泡水平儀的傾斜指示器。參考體11包括兩個可視覺地檢測的標記11b，其定義了彼此間隔已知距離的兩個參考點。參考體11被與對象I 一起捕獲在圖像數據組的至少一個圖像子組中並且用於對由圖像數據組生成的對象I的空間表示進行調整(縮放)。由於被豎直地對齊，因此圖像參考體11還能夠用於豎直地對齊空間表示。在將被豎直地對齊的參考體11的情況下，可視覺地檢測的標記Iib優選地具有不同的形狀(例如，不同的代碼)，以便於允許直立方向的自動確定。
[0063]在圖3中，對象I的頂視圖被與拍攝對象的圖像的路徑10上的點12的若干示例一起不出。在該不例中，每個位置處的相機的投射中心與點12相同。當然,投射中心不必與相機位置相同，而是能夠根據已知的相機位置來計算。圖像13由其圖像平面來表示。對於圖像13的所有對，例如通過獲得公共特徵點14的特徵提取，尋找多個圖像對應性。這是使用諸如SIFT、SURF、BRISK、BRIEF等等的特徵檢測和匹配算法來進行的。使用圖像的想要的對，在局部坐標幀中確定圖像13的相對位置和取向並且計算特徵點14的3D重構，建造點雲。在下一步驟中，每個額外的幀被添加到現有的3D重構。使用已經重構的3D點，能夠使用去除來計算相機8的位置和取向。在添加了新的幀之後，使用重構的幀中的所有測量來細化3D點的位置。
[0064]獲得的點雲能夠用於計算體積或者能夠由稠密匹配算法來進一步細化。稠密匹配的目標在於在原始圖像中找到稠密點雲，即，針對每個像素或子集的3D坐標，例如在常規3X3網格上的3D坐標，S卩，對於行和列方向上的每三個像素的3D坐標。該算法由兩個主要步驟構成。
[0065]首先，對於所有交疊的相機，計算視差圖。該視差圖包含兩個圖像中的像素的偏移，即，將施加於第一圖像中的像素的在第二圖像中的對應的點的位置處結束的偏移。存在計算這些圖的多種方法、關聯技術、半全局匹配等等。
[0066]使用該組視差圖，通過前方交會來計算3D點。從每個像素開始，在其它圖像13中尋找最大數目的對應像素。使用圖像之間的視差，能夠找到對應點。然後使用來自所有有用圖像13的該組圖像位置計算3D點。
[0067]使用關於測量質量的若干標準來過濾最終的點雲。這包括觀察到點的圖像13的數目、測量的基線、所有測量的一致性的測量等等。
[0068]使用包括對象I和細長參考體11 (其放置在對象I上)的圖像13確定從SfM獲得的點雲的標度(圖4a)。在所有可用圖像13中，藉助於圖像處理自動地識別兩個可視覺地檢測的標記lib。確定每個圖像13中的參考點的位置並且將其用於使用前方交會(由線40指示)確定標記的3D位置。由於參考點之間的真實距離是已知的，因此能夠通過比較點雲中的距離與真實距離而將標度應用於點雲。由於參考點被豎直地對齊，因此，它們用於對點雲進行變換使得其被豎直地取向。該變換(調整(縮放)和可能的豎直取向)能夠作為後續步驟來執行。
[0069]能夠有利的是，使用超過一個的細長參考體11。在該情況下，一個細長參考體11能夠用於獲得標度並且另一個用於檢查。如果至少兩個細長的參考體11被水平地對齊(非平行)(例如，通過氣泡水平儀)，則它們定義了其法向量豎直的水平面。因此，由細長的參考體11的標記定義的點能夠用於對點雲進行變換，使得其豎直地取向。
[0070]替選地，能夠在光束平差法中直接引入從細長的參考體11獲得的信息，該光束平差法在從運動恢復結構內執行。附加的約束對於算法的穩定性具有積極的影響。
[0071]圖4b示出了空間表示的標度的確定的另一示例。至少兩個可視覺地檢測的標記Ilb (例如，編碼標記)被放置在對象I上或其附近，從而被與對象I 一起成像在由相機8捕獲的圖像組中的至少一些圖像上。由可檢測的標記Ilb定義至少兩個點。例如使用用於特徵檢測的圖像處理算法在點雲中自動地檢測點雲中可視覺地檢測的標記Ilb的位置。基於由利用例如視距儀的測量儀器41的測量確定的兩個定義的點的絕對距離來調整表示由兩個可視覺地檢測的標記Ilb定義的兩個點的點雲的點之間的距離。定義的點的絕對空間位置(由線42指示)的測量能夠被作為預先步驟、後續步驟或與其它步驟同時執行。利用調整後的距離，整個點雲被絕對地參考。如果點雲的至少三個點被絕對地參考或者如果兩個絕對參考的點被彼此豎直地對齊，則該點雲也能夠被豎直地取向。變換(調整(縮放)和可能的豎直取向)能夠作為後續步驟來執行。
[0072]圖5a示出了點雲20形式的對象I的空間表示。為了確定地表面17，點15被分類為位於地表面17上,而點16被分類為不屬於地表面17。
[0073]該分類能夠基於點雲20的點相對於豎直的分布。圖5b的直方圖不出了點雲20的點對於點雲20的坐標系的z軸的分布，當點雲20已經豎直地取向時,其與豎直相同。由於點雲的一部分能夠在一些情況下傳遞足夠準確的完整的分布，因此這樣的分布也能夠僅基於點雲20的一部分。例如，基於部分點雲20的點分布來執行該分類,該部分點雲20的點分布是在圖像的捕獲和點雲20的另外的點的計算仍然在進行時從示出對象I的多個圖像以及地的一部分一起計算出來的。假設的是，具有小的z坐標的點是地表面17的點。因此，引入了特定閾值19。所有具有處於閾值19內的z坐標的點被分類為地表面17。閾值19是從所存儲的值自動地獲得的，或者例如根據N(Z)的變化速率(梯度)自動地設置，或者由用戶手動地設置。
[0074]替選地，由用戶2手動地執行點雲20的點的分類。
[0075]圖5c示出了智慧型電話7的形式的系統。在顯示器21 (其是觸敏的)上，點雲20在頂視圖中以剖面23的形式顯示。用戶能夠通過例如利用觸摸筆或其手指在顯示器上繪製曲線22來對點15進行分類。
[0076]作為通過點分類確定地表面17的替選方案，能夠由用戶2手動地定義地表面17。圖5d示出了智慧型電話7，其在顯示器21上顯示點雲20的剖面23 (截面)以及地表面17的截面24。截面24相對於截面23的位置和取向由用戶2例如通過上下移動(箭頭25)或者通過以定義的手指姿勢旋轉來設置和/或調整。
[0077]圖6a示出了基於調整後的豎直對齊的點雲20和定義的地表面17來確定對象I的體積的示例。數學地定義的表面擬合到點雲20。考慮地表面17，生成數學對象26，在該示例中，數學對象為錐形，並且具有定義的高度h和半徑r。對象I的體積被確定為使用用於這樣的數學對象26的體積計算的等式計算的數學對象26的體積。為了數學對象26的參數化，能夠假設旋轉軸是豎直的。如果材料是已知的(例如，為碎石或沙子)，則能夠從材料性質獲得斜度，例如，對於沙子來說，休止角為大約30°。這樣的假設也能夠在擬合3D樣條或自由形式表面時應用，即，表面的最上面的點處切面應該是大致水平的。在沙子的情況下，表面的切面應該傾斜30°等等。
[0078]作為擬合數學地定義的表面的替選方案，能夠利用點雲20的3D三角測量來確定對象I (例如，堆料)的表面。替選地，使用2D三角測量來確定對象I的表面。首先，點被正交地投射到地表面17。然後，執行2D的德勞內(Delaunay)三角測量。最終，點被反投射到3D。另外，能夠例如通過應用3D樣條或自由形式表面來對點雲20進行平滑和過濾。對象I的體積被確定為三角化表面與地表面17之間的圍閉體積。
[0079]在一些情況下，對象I的拍攝圖像的組可能僅覆蓋其一部分。在這樣的情況下，能夠使用對稱假設來近似整個對象I的體積，如圖6b中所示。輪廓27(例如，拋物曲線)被擬合到點雲20的截面23。根據輪廓27自動地定義對稱軸28或者由用戶2手動地定義對稱軸28。然後，輪廓27相對於對稱軸28的旋轉獲得了旋轉29的拋物面。在插入地表面17之後，對象I的近似體積被計算為地表面17與旋轉29的拋物面之間圍閉的體積。
[0080]圖7a和圖7b示出了在沒有生成點雲的情況下生成空間表示的方法。該方法是基於視覺赫爾(visual hull)方法。這裡，通過分段，在圖像數據組的每個圖像中，將對象I的圖像中的定義的形狀43與背景44分離(圖7a)。圖7b以頂視圖示出了使用從運動算法恢復的結構確定的並且在示例中與相機的投射中心相同的多個相機位置12中的三個。同樣從SfM 了解相機的取向。從投射中心12出發，利用形狀43定義錐形45。利用所有錐形的空間交會定義空間表示46，從而直接計算空間表示46的體積。
[0081]圖8示出了具有用於確定對象I的重量的功能的用於體積確定的系統的顯示21。顯示的是對象I的圖像30，其是從點雲20獲得的。此外，顯示了用戶菜單31，用戶2能夠從該菜單31選擇諸如沙子、木頭、混凝土、鋼鐵…的不同材料的列表中構成對象I的材料。在示例中，窗口 32顯示所選擇的材料「木頭」。系統然後從其之前確定的體積和用於所選擇的材料的密度的值(其是在能夠本地地存儲在系統中或者使用無線連接從伺服器發送來的查找表中查找的)計算對象I的重量。計算出的對象的重量的值被與其體積一起輸出
(33)。對於更精確的值，能夠通過在子菜單中選擇更具體地的材料來更精確地定義材料。例如，一旦選擇了 「木頭」，用戶2能夠在若干顯示的建議中選擇是哪種木頭。
[0082]圖9a不出了具有用於確定對象I的質心34的用於體積確定的系統的顯不21。基於對象I僅由一種至少幾乎同質材料構成的假設，能夠根據確定的空間表示計算對象I的質心34。在對象I由不同材料的子對象構成的情況下，由用戶2或自動地定義點雲20的對應的陣列，然後指定針對每個陣列的材料並且計算整個對象I的質心34。在該示例中，使用對象I的圖像30在顯示21上將質心的位置指示給用戶2，其是由箭頭34從電源20與關於其到對象的邊界的距離(36)以及用於提升其所需的力(35)的信息一起獲得的。
[0083]如果根據用戶輸入或者根據查找表了解了對象I的進一步的材料性質，則能夠獲得更多信息並且將其在顯示21上顯示給用戶2，如圖9b中所示。對象I的體積和硬度用於計算並輸出用於提升對象I的裝置(例如繩索)放置在對象I的哪個部分處以及關於在每個部分處提升對象I所需的力的信息(37)。
[0084]雖然在上面部分地參考一些優選實施方式示出了本發明，但是必須理解的是，能夠進行實施方式的不同特徵的多種修改和組合。所有這些修改都裸在所附權利要求的範圍內。
【權利要求】
1.一種用於建築場所的對象(I)，特別地料堆的體積確定方法，所述體積確定方法包括: 在將移動相機(8)反覆地，特別是連續地取向到對象(I)上的同時沿著圍繞對象(I)的路徑(10)移動該相機⑶， 在該過程中，利用相機(8)捕獲對象(I)的一系列圖像(13)，該一系列圖像包括從路徑(10)上的不同點(12)以相機⑶的不同取向捕獲的多個圖像(13)，該一系列圖像由由此收集的圖像數據組來表示， 使用該一系列圖像(13)利用定義的算法來執行從運動評估恢復結構並且從其生成空間表示(20,46),特別地,生成點雲(20),所述點雲(20)包括對象(I)的表面， 利用關於已知的關於標度的絕對參考的給定信息的幫助來調整該空間表示， 定義針對對象(I)的地表面(17)並且將其應用於所述空間表示(20，46)，以及基於調整後的空間表示(20，46)和所定義的地表面(17)來計算並且輸出(33b)對象(I)的絕對體積。
2.根據權利要求1所述的體積確定方法，其特徵在於 以下述方式捕獲一系列圖像(13)，即相機⑶以每秒至少一張圖片的速率自動地反覆捕獲圖像(13)，特別地以至少15Hz的幀率捕獲視頻流。
3.根據權利要求1或2所述的體積確定方法，其特徵在於 在移動相機(8)並捕獲所述一系列圖像(13)之前，布置參考體(11)，特別地細長的參考體，該參考體由於其細長形狀而限定長軸，並且包括至少兩個定義的可視覺地檢測的標記(lib), 其中，特別地利用所述標記(Ilb)在所述參考體(11)上限定至少兩個點，並且其中，已知所述至少兩個點之間的絕對距離，特別地還已知所述至少兩個點相對於所述參考體(11)的長軸的空間關係， 特別地，所述參考體的長軸豎直地對齊在其體積待確定的對象(I)上或其附近， 所述一系列圖像(13)包括多個圖像中的圖像(13)的子組，在該圖像(13)的子組中還捕獲被放置在對象(I)上或其附近的參考體(U)， 也基於從運動評估恢復結構對於所述至少兩個點確定關於空間表示(20，46)的至少兩個空間位置，特別地，使用圖像(13)的子組來確定關於空間表示(20，46)的至少兩個空間位置，並且 基於所確定的至少兩個空間位置之間的測量距離以及所述至少兩個點之間的已知的絕對距離對所述空間表示(20，46)進行調整，並且 特別地，基於所確定的關於所述空間表示的至少兩個空間位置和已知的所述至少兩個點相對於所述長軸的空間關係以及參考體(11)被布置為其長軸豎直地對齊的假設來對所述空間表示(20，46)進行豎直取向。
4.根據權利要求1至3中的任一項所述的體積確定方法，其特徵在於 根據相機(8)沿著其圍繞對象(I)的路徑的運動以絕對參考確定位置和/或位置變化和/或加速度，特別地，該位置和/或位置變化和/或加速度的確定是使用下述裝置進行的: 慣性測量單元，所述慣性測量單元被相對於相機(8)固定， GNSS傳感器，所述GNSS傳感器被相對於相機(8)固定，和/或測量相機(8)的位置的視距儀、全站儀、雷射追蹤器或追蹤3d位置確定相機系統，特別地，立體相機系統或圖案投射器相機系統，並且 與利用相機⑶捕獲所述一系列圖像(13)中的圖像(13)的路徑(10)上的點(12)的所獲得的相對位置相關地，分別基於所確定的位置和/或位置變化和/或加速度對空間表示(20，46)進行調整並且特別地進行豎直取向，所述位置和取向是基於與空間表示(20，46)相關的從運動評估恢復結構而獲得的。
5.根據權利要求1至4中的任一項所述的體積確定方法，其特徵在於 在移動相機(8)並捕獲一系列圖像(13)之前，在其體積待確定的對象(I)上或其附近布置用於限定至少兩個點的至少兩個定義的可視覺檢測的標記(Ilb)， 對於所述至少兩個點中的每個點，利用測量儀器(41)，特別地利用視距儀和/或利用GNSS以絕對參考確定絕對空間位置， 所述一系列圖像(13)包括圖像(13)，在該圖像(13)中，還捕獲被布置在對象上或其附近的標記(Ilb), 對於所述至少兩個點中的每個點，還基於從運動評估恢復結構來確定空間位置，並且基於其絕對空間位置被確定的所述至少兩個點中的每個點到基於從運動評估恢復結構確定的其空間位置的指派來對所述空間表示(20，46)進行調整並且特別地進行豎直取向。
6.根據權利要求1至5中的任一項所述的體積確定方法，其特徵在於 基於對象(I)的計算出的體積和給定的密度計算該對象(I)的絕對重量並且輸出計算出的絕對重量(33b)， 特別地，其中 用戶(2)輸入密度值， 存儲具有針對材料的若干定義的類型的若干密度值的查找表並且用戶輸入對象(I)的材料的類型或者通過處理一系列圖像(13)中的至少一個圖像(13)來自動地對材料進行分類，並且 特別地，還計算並輸出對象(I)的質心(34)的位置，特別地，其中，基於空間表示和所計算出的質心(34)的位置獲得動作指令，特別地基於對象(I)上用於提升該對象(I)的適合的抓持位置(37)獲得動作指令。
7.根據權利要求1至6中的任一項所述的體積確定方法，其特徵在於 利用用戶輸入定義用於對象⑴的地表面(17)，特別地，向用戶顯示空間表示(20，46)的剖面(23)並且能夠在所顯示的剖面(23)中相對於所顯示的剖面(23)在想要的位置處設置代表地表面(17)的線(24)，或者 利用定義的評估算法來定義用於對象(I)的地表面，特別地，其中 對空間表示(20，46)的形狀進行分析，和/或 改變地表面(17)直到達到所述空間表示(20，46)內的最佳擬合。
8.根據權利要求1至7中的任一項所述的體積確定方法，其特徵在於， 利用定義的算法的從運動評估恢復結構的步驟包括: 基於使用在至少兩個圖像(13)中表示的對象的點(14)的切除確定一系列圖像(13)中的圖像(13)相對於彼此的取向和相機位置(12)，特別地，其中，使用特徵提取和/或追蹤算法來定義用於切除的對象點(14)， 基於所確定的相機位置(12)和取向，利用一系列圖像(13)中的圖像(13)中的前方交會計算對象(I)的點的相對於彼此的3D位置，從而形成對象(I)的空間表示(20，46)，特別地，其中，使用光束平差法和/或稠密匹配算法來細化所述空間表示(20，46)。
9.一種用於建築場所的對象(I)的體積確定的系統，所述對象(I)特別地是料堆，特別地，其中，所述系統適於在根據權利要求1至8中的任一項所述的方法內使用，所述系統包括: 移動相機(8)，所述移動相機(8)用於捕獲圖像(13)，以及 控制評估單元(9)，所述控制評估單元(9)存儲有具有代碼的程序以控制和執行體積確定功能，其中，使用利用相機(8)捕獲的對象(I)的一系列圖像(13)並且使用關於已知的關於標度的絕對參考的給定信息，該一系列圖像(13)包括從圍繞對象(I)的路徑(10)上的不同點以相機(8)的不同取向捕獲的多個圖像(13)， 執行使用所述一系列圖像(13)的利用定義的算法的從運動評估恢復結構，並且從其生成空間表示(20,46),特別地,生成點雲(20),所述點雲(20)包括對象(I)的表面， 利用給定的已知的絕對參考的幫助來調整該空間表示(20，46)， 定義針對對象(I)的地表面(17)並且將其應用於所述空間表示(20，46)，特別地，其中，所述地表面(17)是通過自動地執行的預定評估而獲得的，或者其中，向用戶發出詢問以輸入定義所述地表面(17)的信息，以及 基於調整後的空間表示(20，46)和所定義的地表面(17)來計算並且輸出(33b)對象(I)的絕對體積。
10.根據權利要求9所述的用於體積確定的系統，其特徵在於， 在由控制評估單元(9)控制並執行的功能中，相機(8)被使得以每秒至少一張圖片的速率自動地反覆捕獲圖像(13)，特別地以至少15Hz的幀率捕獲視頻流。
11.根據權利要求9或10所述的用於體積確定的系統，其特徵在於， 相機(8)是手持單元的內置組件，特別地是包括全站儀和/或GNSS組件的測量系統的移動場控制器，所述手持單元進一步包括傳感器裝置，其用於根據相機(8)的運動確定具有絕對參考的位置和/或位置變化和/或加速度，特別地， 慣性測量單元，所述慣性測量單元被相對於相機(8)固定，並且也形成所述手持單元的內置組件，和/或 GNSS傳感器，所述GNSS傳感器被相對於相機(8)固定，並且也形成所述手持單元的內置組件， 其中，在由所述控制評估單元(9)控制並執行的功能中， 與利用相機⑶捕獲所述一系列圖像(13)中的圖像(13)的路徑上的點的所獲得的相對位置相關地，分別基於所確定的位置和/或位置變化和/或加速度對空間表示(20，46)進行調整並且特別地進行豎直取向，所述位置是基於與空間表示(20，46)相關的從運動評估恢復結構而獲得的。
12.根據權利要求9至11中的任一項所述的用於體積確定的系統，其特徵在於， 參考體(11)，特別地細長的參考體，該參考體由於其細長形狀而限定長軸，並且包括至少兩個定義的可視覺地檢測的標記(11b)， 其中，特別地利用所述標記(Ilb)在所述參考體(11)上限定至少兩個點，並且其中，已知所述至少兩個點之間的絕對距離，特別地還已知所述至少兩個點相對於所述參考體(11)的長軸的空間關係，並且 其中，所述參考體(11)被在捕獲所述一系列圖像(13)之前預先由用戶(2)放置在其體積待確定的對象(I)上或其附近，特別地放置為其長軸被豎直地對齊， 其中，當所述一系列圖像(13)包括多個圖像(13)中的其中還捕獲被放置在對象(I)上或其附近的參考體(11)的圖像(13)的子組時，在由所述控制評估單元(9)控制並執行的功能中， 也基於從運動評估恢復結構對於所述至少兩個點確定關於空間表示(20，46)的至少兩個空間位置，特別地，使用圖像(13)的子組來確定關於空間表示(20，46)的至少兩個空間位置，並且 基於所確定的至少兩個空間位置之間的測量距離以及所述至少兩個點之間的已知的絕對距離對所述空間表示(20，46)進行調整，並且 特別地，基於所確定的關於所述空間表示(20，46)的至少兩個空間位置和已知的所述至少兩個點相對於所述長軸的空間關係來對所述空間表示(20，46)進行豎直取向。
13.一種電腦程式產品，所述電腦程式產品特別地適於在根據權利要求1至8中的任一項所述的方法內使用， 所述電腦程式產品存儲有用於控制和執行用於確定建築場所的對象(I)的體積的功能的計算機可執行指令，所述對象(I)特別地為料堆，在該功能中，使用相機(8)捕獲對象(I)的一系列圖像(13)並且使用關於已知的關於標度的絕對參考的信息，該一系列圖像包括從圍繞對象的路徑(10)上的不同點以相機(8)的不同取向捕獲的多個圖像(13)，使用該一系列圖像(13)利用定義的算法來執行從運動評估恢復結構並且從其生成空間表示(20,46),特別地,生成點雲(20),所述點雲(20)包括對象(I)的表面， 利用給定的已知的絕對參考的幫助來調整該空間表示(20，46)， 定義針對對象(I)的地表面(17)並且將其應用於所述空間表示(20，46)，特別地，其中，所述地表面(17)是通過自動地執行的預定評估而獲得的，或者其中，向用戶發出詢問以輸入定義所述地表面(17)的信息，以及 基於調整後的空間表示和所定義的地表面(17)來計算並且輸出(33b)對象(I)的絕對體積。
14.一種生成並且地理定位待測量的對象(I)的空間表示(20，46)的方法，該空間表示(20,46)特別地是點雲(20)，所述方法包括: 在對象(I)上或其附近布置至少三個定義的可視覺地檢測的標記(11b)，從而定義至少三個點， 對於所述至少三個點中的每個點，通過使用測量儀器(41)，特別地使用視距儀確定具有地理位置參考的絕對空間位置， 在將相機(I)反覆地，特別是連續地取向到對象(I)上的同時沿著圍繞對象(I)的路徑(10)移動移動相機⑶， 在該過程中，利用相機(8)捕獲對象(I)的一系列圖像，該一系列圖像包括從路徑(10)上的不同點以相機(8)的不同取向捕獲的多個圖像(13)，所述多個圖像(13)還包括針對所述至少三個標記中的每個標記的其中所述對象(I)被與各自的標記(Ilb) —起捕獲的若干圖像(13)，並且該一系列圖像由由此收集的圖像數據組來表示， 使用該一系列圖像(13)利用定義的算法來執行從運動評估恢復結構， 基於從運動評估恢復結構生成對象(I)的空間表示(20，46)，特別地生成點雲(20)，並且對於所述至少三個點中的每個點確定與所述空間表示(20，46)相關的相對空間位置，對於所述至少三個點中的每個點，將其絕對空間位置指派給其相對空間位置，並且使用所述絕對空間位置的地理位置參考與分別指派的相對空間位置和其與空間表示(20，46)的各關係來地理定位所述空間表示(20，46)。
15.一種生成並且地理定位待測量的對象(I)的空間表示(20，46)的系統，該空間表示(20，46)特別地是點雲(20)， 特別地，其中，所述系統適於在根據權利要求14所述的方法內使用，所述系統包括: 移動相機(8)，所述移動相機(8)用於捕獲圖像(13)， 控制評估單元(9)，以及 至少三個定義的可視覺地檢測的標記(11b)，利用所述標記(Ilb)定義至少三個點，其中，所述可視覺地檢測的標記(Ilb)由用戶預先放置在對象(I)上或其附近並且由測量儀器(41)測量，從而對於所述至少三個點中的每個點，確定具有地理位置參考的絕對空間位置， 所述控制評估單元(9)存儲有具有代碼的程序以控制和執行用於生成和地理定位空間表示(20，46)的功能，其中，使用利用相機⑶捕獲的對象⑴的一系列圖像(13)，並且使用基於利用測量儀器(41)測量所述至少三個標記確定的針對所述至少三個點的絕對空間位置，其中，該一系列圖像(13)包括從圍繞對象⑴的路徑(10)上的不同點以相機(8)的不同取向捕獲的多個圖像(13)，其中，所述多個圖像(13)包括針對所述至少個三個標記中的每個標記的其中對象(I)被與各自的標記(Ilb) —起捕獲的若干圖像(13)， 執行使用所述一系列圖像(13)的利用定義的算法的從運動評估恢復結構， 基於從運動評估恢復結構生成對象(I)的空間表示(20，46)，特別地生成點雲(20)，並且對於所述至少三個點中的每個點確定與所述空間表示(20，46)相關的相對空間位置，對於所述至少三個點中的每個點，將絕對空間位置指派給各自的相對空間位置，並且使用所述絕對空間位置的地理位置參考與分別指派的相對空間位置和其與空間表示(20，46)的各關係來地理定位所述空間表示(20，46)。
16.根據權利要求15所述的系統，其特徵在於 測量儀器(41)，特別地，視距儀，用於對於由所述至少三個標記(Ilb)定義的所述至少三個點中的每個點確定具有地理位置參考的絕對空間位置，並且/或者其特徵在於 在由所述控制評估單元(9)控制並執行的功能中， 相機(8)被使得以每秒至少一張圖片的速率自動地反覆捕獲圖像(13)，特別地以至少15Hz的幀率捕獲視頻流， 特別地，其中，相機(8)是手持單元的內置組件，特別地，相機(8)是用於測量儀器(41)的移動場控制器。
【文檔編號】G01B11/00GK104330022SQ201410350225
【公開日】2015年2月4日 申請日期:2014年7月22日 優先權日:2013年7月22日
【發明者】伯恩哈德·麥茨勒, 克努特·西爾克斯, A·普菲斯特, R·帕雷斯, T·菲德勒 申請人:赫克斯岡技術中心