基於電梯場景的興趣區域判斷系統及方法與流程
2023-06-01 18:49:31 2
本發明涉及計算機視覺技術領域，尤其涉及計算機視覺技術領域在電梯轎廂內設計方面的應用。
背景技術：
電梯中投放廣告主要分為以下幾種：1、轎廂內安裝相框，2、電梯門上安裝廣告，轎廂內媒體廣告有如下優勢：高頻性，高頻次高到達率，每天平均四次以上的閱讀頻次；表現性，表現力強，較強的畫面衝擊力；強制性，幹擾小，強迫性強，電梯空間封閉，免受其他眾多廣告幹擾，強迫性閱讀大；低成本：低廣告成本，高性價比。
但是一個重要的問題，沒人知道廣告投放的效果怎麼樣，具體來說有多少人關注投放的廣告，直接對應的話題是投放的廣告能給品牌帶來多大的價值，這裡面涉及到兩個問題：廣告投放效果好壞一方面是與廣告本身的質量有關，是不是吸引人，廣告投放效果好壞另一方面與受眾群體息息相關，例如高檔小區需要稍微高檔一些的品牌投放。如何有效地統計電梯轎廂內的廣告投放效率、被關注程度，讓電梯轎廂內的廣告投放更加集中和高效，是電梯轎廂布置需要重點考慮的問題。
技術實現要素：
本發明首先要解決的技術問題是提供一種基於電梯場景的興趣區域判斷系統，利用該系統能夠對電梯轎廂內廣告牌的受關注程度進行統計。
本發明解決上述技術問題所採用的技術方案是：基於電梯場景的興趣區域判斷系統，包括影像採集單元、人體特徵點檢測單元、立體特徵匹配單元、視線朝向分析單元以及關注時間獲取單元，影像採集單元安裝在電梯轎廂內並能夠採集電梯轎廂內乘客的多角度的影像信息，影像採集單元與人體特徵點檢測單元建立數據連接並將所採集的影像信息發送至人體特徵點檢測單元，人體特徵點檢測單元根據對採集的影像信息進行視頻分析得到對應的人體特徵點，人體特徵點採集單元與立體特徵匹配單元建立數據連接並將分析所得人體特徵點發送至立體特徵匹配單元，立體特徵匹配單元將人體特徵點進行匹配得到每一點對應的三維坐標，立體特徵匹配單元與視線朝向分析單元建立數據連接並將匹配得到的三維坐標發送至視線朝向分析單元，視線朝向分析單元根據三維坐標分析得到電梯轎廂內乘客的視線朝向，視線朝向分析單元與關注時間獲取單元建立數據連接並將乘客的視線朝向信息發送至關注時間獲取單元，關注時間獲取單元根據視線朝向信息計算得到電梯轎廂內廣告牌收到關注的時間佔比。
進一步地，影像採集單元是雙目相機。
本發明所要解決的另一個技術問題是提供一種基於電梯場景的興趣區域判斷方法，該方法利用上述的系統，並包括以下步驟：
(1)影像採集單元採集電梯轎廂內乘客的多角度影像信息並發送至人體特徵點檢測單元，
(2)人體特徵點檢測單元對採集的影像信息進行視頻分析得到對應的人體特徵點並將該人體特徵點發送至立體特徵匹配單元，
(3)立體特徵匹配單元將人體特徵點進行匹配得到每一點對應的三維坐標並將該三維坐標發送至視線朝向分析單元，
(4)視線朝向分析單元根據三維坐標分析得到電梯轎廂內乘客的視線朝向並將視線朝向信息發送至關注時間獲取單元，
(5)關注時間獲取單元根據視線朝向信息計算得到電梯轎廂內廣告牌收到關注的時間佔比。
進一步地，影像採集單元是雙目相機，雙目相機分別採集圖像並各自保存。
進一步地，人體特徵點檢測單元利用姿勢估計技術得到人體關節點在圖像中的位置，並將這些位置定義為人體特徵點，這些人體特徵點包括頭頂、雙眼、雙耳、雙肩、雙肘、雙腕、雙臀、雙膝和雙踝，共計17個人體特徵點。
進一步地，立體特徵匹配單元將人體特徵點映射到三維空間，並利用立體匹配技術，得到每個人體特徵點在雙目相機分別採集的圖像中的視差圖，從而得到每一個人體特徵點在圖像中的三維坐標。
進一步地，視線朝向分析單元將兩個對應雙臀的人體特徵點和兩個對應雙肩的人體特徵點的四個三維坐標，利用奇異值分解得到最小特徵值所對應的特徵向量，該特徵向量即表徵人的視線朝向。
進一步地，關注時間獲取單元計算視線朝向矢量與電梯轎廂前後左右四個面相交情況，得到每一個面被注意的時間，從而得到轎廂內廣告牌受到關注的時間佔比，關注時間佔比的計算公式如下：
per＝人關注某個廣告牌時間/人在轎廂內總時間×100％。
本發明的有益效果是：首先利用姿勢估計技術，檢測出人體特徵點，然後利用立體匹配技術把這些特徵點映射到三維空間，最後利用空間中特徵點的拓撲分布信息估算出人的朝向，最終得到人在電梯時候某個廣告牌所獲得的關注時間佔比，關注事件佔比這個指標能夠用來衡量某一個廣告被關注的程度指標，從而判斷該廣告投放的效率，同時能夠根據該指標統計某一個區域中，例如某個小區的電梯轎廂內，什麼類型的廣告牌比較容易受到關注，從而可以有目的性地投放廣告，提高廣告投放的有效性。
附圖說明
圖1是本發明的人體特徵點分布圖。
圖2是本發明的結構圖。
圖3是本發明的流程圖。
圖4是本發明的相機成像的模型圖。
圖5是人站在電梯轎廂內的三維建模圖。
具體實施方式
參照附圖。
本發明的基於電梯場景的興趣區域判斷系統，其包括影像採集單元1、人體特徵點檢測單元2、立體特徵匹配單元3、視線朝向分析單元4以及關注時間獲取單元5，影像採集單元1安裝在電梯轎廂內並能夠採集電梯轎廂內乘客的多角度的影像信息，影像採集單元1與人體特徵點檢測單元2建立數據連接並將所採集的影像信息發送至人體特徵點檢測單元2，人體特徵點檢測單元2根據對採集的影像信息進行視頻分析得到對應的人體特徵點，人體特徵點採集單元2與立體特徵匹配單元3建立數據連接並將分析所得人體特徵點發送至立體特徵匹配單元3，立體特徵匹配單元3將人體特徵點進行匹配得到每一點對應的三維坐標，立體特徵匹配單元3與視線朝向分析單元4建立連接並將匹配得到的三維坐標發送至視線朝向分析單元4，視線朝向分析單元4根據三維坐標分析得到電梯轎廂內乘客的視線朝向，視線朝向分析單元4與關注時間獲取單元5建立數據連接並將乘客的視線朝向信息發送至關注時間獲取單元5，關注時間獲取單元5根據視線朝向信息計算得到電梯轎廂內廣告牌收到關注的時間佔比。在上述結構中，只有影像採集單元1需要安裝在電梯轎廂內，其他的結構可以通過無線(例如wifi)等無線連接的方式與影像採集單元1建立數據連接，並不一定要求也要安裝在電梯轎廂內。
利用本發明的系統進行判斷的方法，具體包括以下步驟：
(1)影像採集單元採集電梯轎廂內乘客的多角度影像信息並發送至人體特徵點檢測單元，影像採集單元是雙目相機，雙目相機分別採集圖像並各自保存。
(2)人體特徵點檢測單元對採集的影像信息進行視頻分析得到對應的人體特徵點並將該人體特徵點發送至立體特徵匹配單元，人體特徵點檢測單元利用姿勢估計技術得到人體關節點在圖像中的位置，並將這些位置定義為人體特徵點，這些人體特徵點包括頭頂、雙眼、雙耳、雙肩、雙肘、雙腕、雙臀、雙膝和雙踝，共計17個人體特徵點，如圖1所示，目前利用cnn(卷積神經網絡)等深度學習技術，人體特徵點檢測準確度已經達到一個相當的高度。
(3)立體特徵匹配單元將人體特徵點進行匹配得到每一點對應的三維坐標並將該三維坐標發送至視線朝向分析單元，立體特徵匹配單元將人體特徵點映射到三維空間，並利用立體匹配技術，得到每個人體特徵點在雙目相機分別採集的圖像中的視差圖，從而得到每一個人體特徵點在圖像中的三維坐標。
相機成像的模型如圖4所示：
p為空間中的點，p1和p2是點p在左右像平面上的成像點，f是焦距，or和ot是左右相機的光心。由圖可見左右兩個相機的光軸是平行的。xr和xt是兩個成像點在左右兩個像面上距離圖像左邊緣的距離。z為空間中p點在相機坐標系下的z軸坐標，且視差d＝xr-xt。同時雙目攝像機之間的距離為b。若兩個相機已經校正完成即達到極線平行，兩條光軸方向也平行。則視差和物體深度的關係式如下：
可推導出
同理根據相似三角形關係可知
推導出
推導出其中x,y為以圖像中心為坐標原點的圖像坐標。至此，雙目相機標定以後，已知圖像中一點坐標x,y，根據左右圖像得到的視差d即可知道其對應的空間坐標xyz。
(4)視線朝向分析單元根據三維坐標分析得到電梯轎廂內乘客的視線朝向並將視線朝向信息發送至關注時間獲取單元，視線朝向分析單元將兩個對應雙臀的人體特徵點和兩個對應雙肩的人體特徵點的四個三維坐標，利用奇異值分解得到最小特徵值所對應的特徵向量，該特徵向量即表徵人的視線朝向。
如圖5所示，人站在電梯轎廂中間，由上面推導可知，假設肩膀與臀部的四個人體特徵點的三維坐標x1y1z1，x2y2z2，x3y3z3，x4y4z4，表示為p1,p2,p3,p4，得到人視線朝向步驟如下：
√得到四個點的均值：
√得到協方差矩陣：
√對m進行svd分解，因為m是對稱矩陣，等同於正交分解，即m＝qλqt,其中q為正交陣，其中的每一個列向量為m的特徵向量，λ為對角陣，每一個元素為m的特徵值。這裡只需要q的第三個列向量q3。
√現在已知均值點以及向量q3,可以得到直線方程，
所以假設轎廂中的人面對電梯門口，那麼q3與向量[0,1,0]接近，如果背對電梯門口q3與向量[0,-1,0]接近，面向電梯左邊q3與向量[-1,0,0]接近，面向電梯右邊q3與向量[1,0,0]接近。
(5)關注時間獲取單元根據視線朝向信息計算得到電梯轎廂內廣告牌收到關注的時間佔比。計算視線朝向矢量與電梯轎廂前後左右四個面相交情況，得到每一個面被注意的時間，從而得到轎廂內廣告牌受到關注的時間佔比，關注時間佔比的計算公式如下：
per＝人關注某個廣告牌時間/人在轎廂內總時間×100％。
如上所述，已經得到直線方程，那確定人看轎廂內那個平面只需要計算直線與四個面的相交情況，設電梯的長寬高分別為a，b，c四個面的方程分別為
√電梯開關門這個面：
y＝b(0<x<a,0<z<c)，
√電梯後面：
y＝0(0<x<a,0<z<c)，
√電梯左面：
x＝0(0<y<b,0<z<c)，
√電梯右面：
x＝a(0<y<b,0<z<c)，
所以正常來講直線只可能與四個面中的一個面相交，及判斷為該面被關注。