一種基於雙視圖三維重建的食物體積估計方法與流程
2023-10-08 12:25:44
本發明涉及圖像重建領域，尤其是涉及了一種基於雙視圖三維重建的食物體積估計方法。
背景技術：
隨著生活水平的提高，與飲食相關的慢性疾病，如肥胖症和糖尿病等，在全世界的患病率逐漸上升，死亡率也有上升趨勢。肥胖症等疾病的病因除了家族遺傳因素以外，主要和人的日常飲食密切相關，通過對用戶飲食情況進行監測和分析，能夠幫助用戶獲得更加健康的飲食習慣。傳統上，人們需要通過記錄自身的飲食內容和查找了解相關資料，大致計算攝入食品的量，這樣既不方便，準確性也不高。本發明提出的食物體積估計方法，可以通過圖像重建，幫助用戶評估食物攝取量。
本發明提出了一種基於雙視圖三維重建的食物體積估計方法，先進行圖像3D重建，再通過顯著點匹配、相對姿態提取和尺度提取進行外部校準，接著通過圖像的校正，立體匹配和點雲生成進行密集重建，最後使用分割圖消除背景提取食物表面，通過對盤上方的食物表面高度進行積分計算食物體積。本發明通過獲取食物圖像，經過圖像重建估計食物體積，計算處理簡便，速度快，結果準確；為一般人群和有特殊營養需求的人們提供準確的自動的膳食評估工具，為人們提供了新穎的全自動飲食評估方法。
技術實現要素：
針對使用不方便和準確性不高等問題，本發明的目的在於提供一種基於雙視圖三維重建的食物體積估計方法，先進行圖像3D重建，再通過顯著點匹配、相對姿態提取和尺度提取進行外部校準，接著通過圖像的校正，立體匹配和點雲生成進行密集重建，最後使用分割圖消除背景提取食物表面，通過對盤上方的食物表面高度進行積分計算食物體積。
為解決上述問題，本發明提供一種基於雙視圖三維重建的食物體積估計方法，其主要內容包括：
(一)圖像3D重建；
(二)外部校準；
(三)密集重建；
(四)體積估計。
其中，所述的圖像3D重建，在單視圖重建中，提取相機的絕對姿態，通過形狀先驗(即，適合場景的給定形狀)獲得3D形狀；在多視圖方法中，外部校準引起場景的低解析度稀疏重建，其中兩個圖像之間的每個點匹配產生3D點；多視圖方法中的密集重建使用所有可用像素來構建3D模型；存在對圖像進行密集重建的路徑，例如從剪影形狀，其與通過非投影對象的輪廓而獲得的體積相交，立體匹配方法更常見；密集立體匹配利用由相對相機姿態定義的約束來簡化圖像之間的一對一像素匹配；這些約束用於變換圖像對，使點對應位於同一行上，稱為整流的過程。
其中，所述的外部校準，校準包括三個步驟：顯著點匹配，相對姿態提取和尺度提取。
進一步地，所述的顯著點匹配，在圖像之間的查找點匹配需要先檢測和描述突出點；第一個定義圖像的突出部分，而第二個以通用格式描述突出部分，用於比較；在兩個圖像中檢測並描述突出點，通過比較k-d樹分層搜索提供支持，搜索範例中的描述符，在兩個圖像之間匹配點對；對於兩個圖像中的每個檢測點，獲得另一圖像中的最高等級匹配，並且定向匹配集合相交，找到對稱的情況。
進一步地，所述的相對姿態提取，為了提取相對姿態模型，基於隨機抽樣共識(RANSAC)的方法作為基礎，迭代細化解，在算法的每次迭代中，隨機抽樣5個匹配；利用樣本集，使用五點相對姿態模型生成器創建模型；在所有匹配上評估所生成的模型，並根據內層的比例，即內層率來評分；保存具有最大內在速率的模型，直到找到更好的速率；最佳模型的不確定率重新定義了最大迭代次數；之後算法終止，並且從匹配集合中移除異常值；使用列文伯格-馬誇爾特法(LM)優化算法對距離的總和迭代進行改進，從而得到模型；最後，通過非投影從內部匹配創建稀疏點雲；通過包括局部優化和新穎的自適應閾值估計方法來修改經典的RANSAC算法；
當找到新的最佳模型時，RANSAC算法通過局部優化(LO)：從最佳模型的內點中隨機抽取10個匹配的集合以產生新的更好的模型；LO使用公式(1)的適應度函數代替不確定性率，對模型進行評分，明確地最大化了正確率計數，並最小化了離群點距離；
其中，M是模型，D是匹配集合，Thrinl是內部閾值，dist是對稱的極距；
為了改進這一原理，在LO中找到新的最佳模型時，使用該模型的內在集合重新開始局部優化，從而測試更多的高質量模型；
通過反向方法確定每個圖像對和每個最佳模型；通過隨機匹配現有點創建數據噪聲分布，使用該分布來找到適當的閾值並過濾掉離群值；在主循環中，為每個模型本地估計閾值，找到姿勢模型，使用相同的方法來定義全局閾值，用更好的模型更新；
為了找到給定模型的閾值，令Cdfdata:[0；∞[→[0；1]為距離到輸入匹配的累積分布函數，對於給定的內部閾值T，比率FDRB(T)＝Cdfnoise(T)/Cdfdata(T)是可以由隨機匹配產生的模型的內在的最大百分比：它是錯誤發現率的上限；該公式等價於其中，δ＝Cdfdata(T)是離群率；選擇的閾值給出最大的內在率，同時保持錯誤發現速率限制在固定值p：之下，最大噪聲汙染率p設置為3％。
進一步地，所述的尺度提取，兩個相機之間的相對姿態被定義為任意的比例因子；從參考卡上的匹配點提取真實比例；每個匹配包括每個圖像上的一個突出點，兩個點與參考卡匹配以建立三角形點匹配(軌跡)；此外，每個軌跡中的兩個像點對應於稀疏雲中的第4個點；使用具有參考卡長度的3％的內部距離閾值的RANSAC來提取第一圖像和參考卡之間的單應性；最後，估計稀疏點雲中的每個距離與參考模式中的等價物之間的比率，選擇它們的分布模式作為尺度。
其中，所述的密集重建，包括圖像的校正，立體匹配和點雲生成；
(1)圖像的校正：整流通過限制行之間的匹配過程來簡化兩個圖像之間的點的密集匹配；該方法在一致的徑向坐標系統中描述兩個圖像，其中每個視圖的中心是另一相機中心的投影，並且圍繞其匹配角度；為了簡化立體匹配，強制顯著點匹配也滿足一致的成對水平順序；如果一對匹配的水平順序在整流圖像中相同，則標記為「一致」，否則為「反轉」；如果多於一半的匹配對被標記為「反轉」，則第二整流圖像被水平鏡像；
(2)立體匹配：通過比較每個像素周圍的圖像塊來尋找沿校正圖像的對應行的密集像素匹配的過程，產生視差圖；匹配通過匹配成本，聚合，優化和細化完成；
(3)點雲生成：使用整流的逆變換將立體匹配傳送回原始圖像坐標來提取密集匹配的3D位置；使用相對姿態直接對每個匹配進行直接投影以生成3D點，將深度合併到第一圖像的深度圖中。
其中，所述的體積估計，包括食物表面提取，盤表面提取和體積計算。
進一步地，所述的食物表面提取和盤表面提取，食物表面提取使用分割圖消除背景，在規則網格上對形狀進行採樣，生成具有固定總點數的網格；然後使用採樣點的2D圖像坐標，通過德洛內三角法將表面分割成三角形，捨棄屬於不同段的三角形，產生一組不同的表面；
對於盤表面提取，由於大多數塑料或釉面陶瓷盤是光滑和反光的，依賴於普通盤的性質比在線擬合更好；使用在平臺上方移動的平面來表示盤的「底部」；使用參考卡和盤表面的高度定義平面方程；結合盤邊界和參考卡的三重過程構建盤表面；首先提取盤邊緣的平面，其次從基準卡獲得其離桌子的距離，接著將平面移動到桌子上方的給定高度；為了提取盤的3D邊緣，密集地匹配盤的邊界點，並將它們饋送到RANSAC以找到最具代表性的平面；此後，使用參考卡獲得模態盤高度來定義桌面，並且輪緣平面移動到高於桌子水平的固定高度。
進一步地，所述的體積計算，盤面定義通過其法線的垂直方向，因此通過對盤上方的食物表面的高度進行積分來計算體積；這種積分是水平面積的所有表面三角形乘以它們的角的平均高度的總和。
附圖說明
圖1是本發明一種基於雙視圖三維重建的食物體積估計方法的系統流程圖。
圖2是本發明一種基於雙視圖三維重建的食物體積估計方法的三維重建方法的分類。
圖3是本發明一種基於雙視圖三維重建的食物體積估計方法的外部校準。
圖4是本發明一種基於雙視圖三維重建的食物體積估計方法的密集重建。
具體實施方式
需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互結合，下面結合附圖和具體實施例對本發明作進一步詳細說明。
圖1是本發明一種基於雙視圖三維重建的食物體積估計方法的系統流程圖。主要包括圖像3D重建，外部校準，密集重建和體積估計。
外部校準包括三個步驟：顯著點匹配，相對姿態提取和尺度提取；
密集重建包括圖像的校正，立體匹配和點雲生成；
體積估計包括食物表面提取，盤表面提取和體積計算；
食物表面提取使用分割圖消除背景，在規則網格上對形狀進行採樣，生成具有固定總點數的網格；然後使用採樣點的2D圖像坐標，通過德洛內三角法將表面分割成三角形，捨棄屬於不同段的三角形，產生一組不同的表面；
對於盤表面提取，由於大多數塑料或釉面陶瓷盤是光滑和反光的，依賴於普通盤的性質比在線擬合更好；使用在平臺上方移動的平面來表示盤的「底部」；使用參考卡和盤表面的高度定義平面方程；結合盤邊界和參考卡的三重過程構建盤表面；首先提取盤邊緣的平面，其次從基準卡獲得其離桌子的距離，接著將平面移動到桌子上方的給定高度；為了提取盤的3D邊緣，密集地匹配盤的邊界點，並將它們饋送到RANSAC以找到最具代表性的平面；此後，使用參考卡獲得模態盤高度來定義桌面，並且輪緣平面移動到高於桌子水平的固定高度。
盤面定義通過其法線的垂直方向，因此通過對盤上方的食物表面的高度進行積分來計算體積；這種積分是水平面積的所有表面三角形乘以它們的角的平均高度的總和。
圖2是本發明一種基於雙視圖三維重建的食物體積估計方法的三維重建方法的分類。在單視圖重建中，提取相機的絕對姿態，通過形狀先驗(即，適合場景的給定形狀)獲得3D形狀；在多視圖方法中，外部校準引起場景的低解析度稀疏重建，其中兩個圖像之間的每個點匹配產生3D點；多視圖方法中的密集重建使用所有可用像素來構建3D模型；存在對圖像進行密集重建的路徑，例如從剪影形狀，其與通過非投影對象的輪廓而獲得的體積相交，立體匹配方法更常見；密集立體匹配利用由相對相機姿態定義的約束來簡化圖像之間的一對一像素匹配；這些約束用於變換圖像對，使點對應位於同一行上，稱為整流的過程。
圖3是本發明一種基於雙視圖三維重建的食物體積估計方法的外部校準。校準包括三個步驟：顯著點匹配，相對姿態提取和尺度提取。
如圖3(a)所示的顯著點匹配，在圖像之間的查找點匹配需要先檢測和描述突出點；第一個定義圖像的突出部分，而第二個以通用格式描述突出部分，用於比較；在兩個圖像中檢測並描述突出點，通過比較k-d樹分層搜索提供支持，搜索範例中的描述符，在兩個圖像之間匹配點對；對於兩個圖像中的每個檢測點，獲得另一圖像中的最高等級匹配，並且定向匹配集合相交，找到對稱的情況。
如圖3(b)所示的相對姿態提取，為了提取相對姿態模型，基於隨機抽樣共識(RANSAC)的方法作為基礎，迭代細化解，在算法的每次迭代中，隨機抽樣5個匹配；利用樣本集，使用五點相對姿態模型生成器創建模型；在所有匹配上評估所生成的模型，並根據內層的比例，即內層率來評分；保存具有最大內在速率的模型，直到找到更好的速率；最佳模型的不確定率重新定義了最大迭代次數；之後算法終止，並且從匹配集合中移除異常值；使用列文伯格-馬誇爾特法(LM)優化算法對距離的總和迭代進行改進，從而得到模型；最後，通過非投影從內部匹配創建稀疏點雲；通過包括局部優化和新穎的自適應閾值估計方法來修改經典的RANSAC算法；
當找到新的最佳模型時，RANSAC算法通過局部優化(LO)：從最佳模型的內點中隨機抽取10個匹配的集合以產生新的更好的模型；LO使用公式(1)的適應度函數代替不確定性率，對模型進行評分，明確地最大化了正確率計數，並最小化了離群點距離；
其中，M是模型，D是匹配集合，Thrinl是內部閾值，dist是對稱的極距；
為了改進這一原理，在LO中找到新的最佳模型時，使用該模型的內在集合重新開始局部優化，從而測試更多的高質量模型；
通過反向方法確定每個圖像對和每個最佳模型；通過隨機匹配現有點創建數據噪聲分布，使用該分布來找到適當的閾值並過濾掉離群值；在主循環中，為每個模型本地估計閾值，找到姿勢模型，使用相同的方法來定義全局閾值，用更好的模型更新；
為了找到給定模型的閾值，令Cdfdata:[0；∞[→[0；1]為距離到輸入匹配的累積分布函數，對於給定的內部閾值T，比率FDRB(T)＝Cdfnoise(T)/Cdfdata(T)是可以由隨機匹配產生的模型的內在的最大百分比：它是錯誤發現率的上限；該公式等價於其中，δ＝Cdfdata(T)是離群率；選擇的閾值給出最大的內在率，同時保持錯誤發現速率限制在固定值p：之下，最大噪聲汙染率p設置為3％。
如圖3(c)所示的尺度提取，兩個相機之間的相對姿態被定義為任意的比例因子；從參考卡上的匹配點提取真實比例；每個匹配包括每個圖像上的一個突出點，兩個點與參考卡匹配以建立三角形點匹配(軌跡)；此外，每個軌跡中的兩個像點對應於稀疏雲中的第4個點；使用具有參考卡長度的3％的內部距離閾值的RANSAC來提取第一圖像和參考卡之間的單應性；最後，估計稀疏點雲中的每個距離與參考模式中的等價物之間的比率，選擇它們的分布模式作為尺度。
圖4是本發明一種基於雙視圖三維重建的食物體積估計方法的密集重建。包括圖像的校正，立體匹配和點雲生成；
(1)圖像的校正：整流通過限制行之間的匹配過程來簡化兩個圖像之間的點的密集匹配；該方法在一致的徑向坐標系統中描述兩個圖像，其中每個視圖的中心是另一相機中心的投影，並且圍繞其匹配角度；為了簡化立體匹配，強制顯著點匹配也滿足一致的成對水平順序；如果一對匹配的水平順序在整流圖像中相同，則標記為「一致」，否則為「反轉」；如果多於一半的匹配對被標記為「反轉」，則第二整流圖像被水平鏡像；如圖4(a)所示。
(2)立體匹配：通過比較每個像素周圍的圖像塊來尋找沿校正圖像的對應行的密集像素匹配的過程，產生視差圖；匹配通過匹配成本，聚合，優化和細化完成；如圖4(b)所示。
(3)點雲生成：使用整流的逆變換將立體匹配傳送回原始圖像坐標來提取密集匹配的3D位置；使用相對姿態直接對每個匹配進行直接投影以生成3D點，將深度合併到第一圖像的深度圖中；如圖4(c)所示。
對於本領域技術人員，本發明不限制於上述實施例的細節，在不背離本發明的精神和範圍的情況下，能夠以其他具體形式實現本發明。此外，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍，這些改進和變型也應視為本發明的保護範圍。因此，所附權利要求意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。