立體視覺測量系統和立體視覺測量方法與流程

2023-07-23 00:05:26

本公開至少一實施例涉及一種立體視覺測量系統和立體視覺測量方法。

背景技術：

目前圍繞智能電視產生了很多以三維場景重建為核心的應用，如體感遊戲和虛擬實境電影等，這些應用的關鍵是識別場景中用戶的位置、姿態等三維數據信息。

技術實現要素：

本公開至少一實施例涉及一種立體視覺測量系統和立體視覺測量方法，可搭建多圖像獲取部的三維視覺重建系統，從而可實現長距離/距離可調的多圖像獲取部的立體測量。

本公開至少一實施例提供一種立體視覺測量系統，包括主控裝置和至少兩個協同裝置，其中，所述主控裝置與所述至少兩個協同裝置通信連接，並被配置為控制各所述協同裝置；各所述協同裝置為可移動裝置，並帶有圖像獲取部；

各所述協同裝置被配置為在標定階段獲取第一場景的第一圖像和所述第一圖像的第一圖像信息，並將所述第一圖像和所述第一圖像信息發送給所述主控裝置，各所述協同裝置還被配置為在測量階段獲取第二場景的第二圖像和所述第二圖像的第二圖像信息，並將所述第二圖像信息發送給所述主控裝置；

所述主控裝置被配置為在所述標定階段獲取各圖像獲取部的參數信息；所述主控裝置還被配置為在所述測量階段根據所述參數信息和所述第二圖像信息獲得所述第二場景的三維重建信息。

根據本公開一實施例提供的立體視覺測量系統，所述主控裝置包括標定部，所述標定部被配置為根據各所述協同裝置發送的所述第一圖像和所述第一圖像信息獲取各圖像獲取部的所述參數信息，所述參數信息包括內參數和外參數，所述內參數是指各圖像獲取部的物理參數，所述外參數是指圖像獲取部之間的位置關係。

根據本公開一實施例提供的立體視覺測量系統，所述標定部被配置為將所述圖像獲取部分組，每組包括兩個圖像獲取部，採用圖像獲取部配對標定。

根據本公開一實施例提供的立體視覺測量系統，所述主控裝置包括三維數據形成部，所述三維數據形成部被配置為根據所述參數信息和各所述協同裝置發送的所述第二圖像信息獲得所述三維重建信息。

根據本公開一實施例提供的立體視覺測量系統，各所述協同裝置包括圖像處理部，所述第一圖像信息包括第一關鍵點信息，所述第二圖像信息包括第二關鍵點信息，所述圖像處理部被配置為在所述標定階段提取所述第一圖像的所述第一關鍵點信息，並被配置為在所述測量階段提取所述第二圖像的所述第二關鍵點信息。

根據本公開一實施例提供的立體視覺測量系統，所述三維數據形成部包括關鍵點組合單元、三維空間坐標計算單元和關鍵點數據統計單元，所述關鍵點組合單元被配置為根據各協同裝置發送的所述第二關鍵點信息，進行關鍵點匹配，篩選得到成功匹配的關鍵點組合，所述三維空間坐標計算單元被配置為根據所述關鍵點組合、所述參數信息，計算得到所述關鍵點組合的三維空間坐標；所述關鍵點數據統計單元被配置為統計關鍵區域的關鍵點數據，完成立體視覺計算，獲得所述三維重建信息。

根據本公開一實施例提供的立體視覺測量系統，所述主控裝置包括智能電視，所述協同裝置包括移動終端。

本公開至少一實施例提供的立體視覺測量系統，一種立體視覺測量方法，包括：

標定階段，至少兩個協同裝置獲取第一場景的第一圖像和所述第一圖像的第一圖像信息，並將所述第一圖像和所述第一圖像信息發送給主控裝置，所述主控裝置被配置為在所述標定階段獲取各圖像獲取部的參數信息；所述主控裝置與所述至少兩個協同裝置通信連接，並控制各所述協同裝置；各所述協同裝置為可移動裝置，並帶有圖像獲取部；

測量階段，各所述協同裝置獲取第二場景的第二圖像和所述第二圖像的第二圖像信息，並將所述第二圖像信息發送給所述主控裝置，所述主控裝置根據所述參數信息和所述第二圖像信息獲得所述第二場景的三維重建信息。

根據本公開一實施例提供的立體視覺測量方法，根據各所述協同裝置發送的所述第一圖像和所述第一圖像信息獲取各圖像獲取部的所述參數信息，所述參數信息包括內參數和外參數，所述內參數是指各圖像獲取部的物理參數，所述外參數是指圖像獲取部之間的位置關係。

根據本公開一實施例提供的立體視覺測量方法，所述第一圖像信息包括第一關鍵點信息，所述第二圖像信息包括第二關鍵點信息。

根據本公開一實施例提供的立體視覺測量方法，根據各協同裝置發送的所述第二關鍵點信息，進行關鍵點匹配，篩選得到成功匹配的關鍵點組合；根據所述關鍵點組合、所述參數信息，計算得到所述關鍵點組合的三維空間坐標；統計關鍵區域的關鍵點數據，完成立體視覺計算，獲得所述三維重建信息。

根據本公開一實施例提供的立體視覺測量方法，所述主控裝置將所述圖像獲取部分組，每組包括兩個圖像獲取部，形成多組雙目立體視覺測量單元。

根據本公開一實施例提供的立體視覺測量方法，還包括在所述標定階段和所述測量階段至少之一的階段同步所述主控裝置和所述協同裝置的信號，其中，所述同步所述主控裝置和所述協同裝置的信號包括：獲取網絡延遲；

所述獲取網絡延遲包括：所述主控裝置連續發送兩條消息給所述協同裝置，所述協同裝置收到後立即返回，所述主控裝置收到返回的兩條消息的時間間隔，即是所述主控裝置到所述協同裝置通信的網絡延遲。

根據本公開一實施例提供的立體視覺測量方法，還包括在所述標定階段和所述測量階段至少之一的階段同步所述主控裝置和所述協同裝置的信號，其中，所述同步所述主控裝置和所述協同裝置的信號包括：同步採集；

所述同步採集包括：所述主控裝置將時間戳和採集指令一起發送給所述協同裝置，所述協同裝置獲得指令並獲取圖像後，將時間戳和對所述圖像進行處理得到的圖像信息一起返回到所述主控裝置；所述主控裝置根據收到的返回時間戳來對齊各所述協同裝置的圖像信息，所述圖像包括所述第一圖像或所述第二圖像，所述圖像信息包括所述第一圖像信息或所述第二圖像信息。

根據本公開一實施例提供的立體視覺測量方法，所述主控裝置包括智能電視，所述協同裝置包括移動終端。

附圖說明

為了更清楚地說明本公開實施例的技術方案，下面將對實施例的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅涉及本公開的一些實施例，而非對本公開的限制。

圖1a為本公開一實施例提供的一種立體視覺測量系統示意圖；

圖1b為本公開一實施例提供的一種立體視覺測量系統中參數信息的示意圖；

圖2為本公開一實施例提供的一種立體視覺測量系統中各協同裝置的示意圖；

圖3為本公開一實施例提供的立體視覺測量系統在標定階段，各協同裝置獲取的第一圖像和第一圖像信息的示意圖；

圖4為本公開另一實施例提供的一種立體視覺測量系統中一種主控裝置的示意圖；

圖5為本公開一實施例提供的立體視覺測量系統中主控裝置獲得各圖像獲取部的參數信息的示意圖；

圖6為本公開一實施例提供的立體視覺測量系統在測量階段，各協同裝置獲取的第二圖像和第二圖像信息的示意圖；

圖7為本公開一實施例提供的立體視覺測量系統中主控裝置獲得三維重建信息的示意圖；

圖8為本公開另一實施例提供的一種立體視覺測量系統中一種主控裝置的示意圖；

圖9為本公開另一實施例提供的一種立體視覺測量系統中一種主控裝置的示意圖；

圖10為本公開一實施例提供的立體視覺測量系統中將相鄰兩個圖像獲取部分為一組的示意圖；

圖11為本公開一實施例提供的一種立體視覺測量方法示意圖；

圖12為本公開一實施例提供的一種立體視覺測量方法中標定階段示意圖；

圖13為本公開一實施例提供的一種立體視覺測量方法中測量階段示意圖。

具體實施方式

為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例的附圖，對本公開實施例的技術方案進行清楚、完整地描述。顯然，所描述的實施例是本公開的一部分實施例，而不是全部的實施例。基於所描述的本公開的實施例，本領域普通技術人員在無需創造性勞動的前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。

除非另外定義，本公開使用的技術術語或者科學術語應當為本公開所屬領域內具有一般技能的人士所理解的通常意義。本公開中使用的「第一」、「第二」以及類似的詞語並不表示任何順序、數量或者重要性，而只是用來區分不同的組成部分。同樣，「包括」或者「包含」等類似的詞語意指出現該詞前面的元件或者物件涵蓋出現在該詞後面列舉的元件或者物件及其等同，而不排除其他元件或者物件。「連接」或者「相連」等類似的詞語並非限定於物理的或者機械的連接，而是可以包括電性的連接，不管是直接的還是間接的。「上」、「下」、「左」、「右」等僅用於表示相對位置關係，當被描述對象的絕對位置改變後，則該相對位置關係也可能相應地改變。

通常的智能電視如果要運行基於三維場景測量的應用，如體感遊戲等，為了識別場景中用戶的位置、姿態等三維數據信息，用戶需要額外夠買相應的三維測量設備，如微軟的kinect等。但是，這種設備的缺點包括以下幾點。

第一，用戶需距離設備較遠距離，因為三維測量設備是固定裝置一個支架上，考慮設備體積以及攝像頭的間距不能太長，導致用戶必須站在攝像頭一定距離以外才能有效測量，如kinect要求用戶距離設備1.2米以外(實際使用時，通常至少需要1.5米)，這樣大大增加了該設備的使用限制。

第二，場景大小受限。從立體視覺原理上來說，攝像頭之間的距離越大，則測量越精確，可以接受的目標與攝像頭之間的距離越短。但是，通常的測量設備都是一個獨立的裝置，通常是兩個攝像頭平行固定在一個支架上，限於體積要求，只能小於一定長度，所以測量的有效距離較短；同樣是考慮到體積，通常的設備只攜帶兩個攝像頭，因此僅對攝像頭正前方位置的用戶能夠有效測量，無法對大角度場景的多人獲取準確數據。

第三，場景角度受限。因為通常的設備最多只有兩個攝像頭，並且一旦安裝在使用環境中(如電視機上沿)，則不能再改變，所以，當不同身高的用戶，甚至多個用戶同時出現在場景時，通常的設備的測量精度將會大大下降，甚至不能使用或者需要重新標定。

如圖1a所示，本公開至少一實施例提供一種立體視覺測量系統，包括主控裝置10和至少兩個協同裝置20，主控裝置10與至少兩個協同裝置20通信連接，並被配置為控制各協同裝置20；各協同裝置20為可移動裝置，並帶有圖像獲取部201。

圖1a中示出了三個協同裝置20：第一協同裝置2001、第二協同裝置2002和第三協同裝置2003，各協同裝置20包括圖像獲取部201，即，第一協同裝置2001包括第一圖像獲取部2011，第二協同裝置2002包括第二圖像獲取部2012，第三協同裝置2003包括第三圖像獲取部2013。各協同裝置20的圖像獲取部201可被配置為獲取場景的圖像。例如，各協同裝置20的圖像獲取部201獲取的圖像可為同一場景的不同視角的圖像。例如，各協同裝置20的圖像獲取部201獲取的圖像可為同一場景的同一時刻的不同視角的圖像。例如，各協同裝置可負責與主控裝置的通信，以及打開圖像獲取部獲取當前場景視頻圖像，檢測圖像的關鍵點，並識別預定目標(如人臉、人體姿態等)。例如，主控裝置可以與各協同裝置20不限於基於wifi、藍牙、近場通信(nearfieldcommunication，nfc)或者3g、4g移動通信網絡等通信技術所實現的通信連接。

如圖1b所示，主控裝置10被配置為在標定階段獲取各圖像獲取部201的參數信息23。例如，參數信息23包括內參數231和外參數232，內參數231是指各圖像獲取部201的物理參數，外參數232是指圖像獲取部201之間的位置關係；

如圖2所示，根據本公開一實施例提供的立體視覺測量系統，各協同裝置20包括圖像處理部202，圖像處理部202可對其所屬的協同裝置20的圖像獲取部拍攝的圖像進行處理。例如，第一協同裝置2001包括第一圖像處理部2021，第二協同裝置2002包括第二圖像處理部2022，第三協同裝置2003包括第三圖像處理部2023。

圖3示出了在標定階段，各協同裝置獲取的第一圖像211和第一圖像信息221的示意圖。如圖3所示，各協同裝置20被配置為在標定階段獲取第一場景的第一圖像211和第一圖像211的第一圖像信息221，並將第一圖像211和第一圖像信息221發送給主控裝置10。例如，在標定階段，將場景稱作第一場景，第一場景可變換，比如，用戶可調整姿態，第一圖像可根據場景不同而不同，對第一場景連續取景(拍攝)可形成視頻。例如，第一圖像可為同一場景的同一時刻的不同視角的圖像。例如，第一圖像信息221包括第一關鍵點信息2211，圖像處理部202被配置為提取第一圖像211的第一關鍵點信息2211。第一關鍵點信息2211包括sift關鍵點和/或harris角點等。尺度不變特徵變換(scale-invariantfeaturetransform，sift)法是常用的局部特徵提取方法，其可基於局部特徵把圖像數據轉換到尺度不變的坐標上。例如，sift首先檢測出圖像中的顯著性結構即尺寸空間極值點，這些顯著結構在圖像中往往稱作關鍵點或特徵點。角點例如是指圖像灰度發生較大變化的點。

例如，協同裝置可作為主控裝置的協同計算設備，協同裝置完成視頻內容的分析，將識別結果發送到主控裝置。例如，關鍵點可包括可包括人體各部位至少之一，例如可包括眉、眼、耳、鼻口、手、臂、腿部、腳部等至少之一，但不限於此，關鍵點可根據需要選擇。例如，每個關鍵點有三個信息：位置、所在尺度、方向。由此，可以確定一個sift特徵區域。例如，圖像處理中，關鍵點指的是圖像灰度值發生劇烈變化的點或者在圖像邊緣上曲率較大的點(即兩個邊緣的交點)。圖像關鍵點在基於關鍵點的圖像匹配算法中有著十分重要的作用。圖像關鍵點能夠反映圖像本質特徵，能夠標識圖像中目標物體。通過關鍵點的匹配能夠完成圖像的匹配。

圖4為本公開一實施例提供的立體視覺測量系統中主控裝置的示意圖，根據本公開一實施例提供的立體視覺測量系統，主控裝置10包括標定部101。

如圖4所示，根據本公開一實施例提供的立體視覺測量系統，主控裝置10還可包括控制部102，控制部102可被配置為控制各協同裝置20。例如，控制部102可發送指令給各協同裝置20。

圖5示出了主控裝置10根據各協同裝置20發送的第一圖像211和第一圖像信息221獲取各圖像獲取部201的內參數231和外參數232的示意圖。如圖5所示，標定部101可被配置為根據各協同裝置20發送的第一圖像211和第一圖像信息221獲取各圖像獲取部201的參數信息，例如獲取內參數231和外參數232。主控裝置可控制多個協同裝置完成整個視覺測量系統的標定。

圖6示出了協同裝置在測量階段各協同裝置20獲取的第二圖像212和第二圖像信息222的示意圖。例如，如圖6所示，各協同裝置20還被配置為在測量階段獲取第二場景的第二圖像212和第二圖像21的第二圖像信息222，並將各第二圖像信息222發送給主控裝置10。例如，可在主控裝置10的控制下在測量階段各協同裝置獲取第二圖像212和第二圖像信息222。例如，各協同裝置20的圖像獲取部201在測量階段獲取第二場景的第二圖像212，各圖像處理部202可對其所屬協同裝置20的圖像獲取部201獲取的第二圖像212進行處理以獲得第二圖像信息222，第二圖像212可根據場景不同而不同，例如，可通過各協同裝置20的圖像獲取部201(例如包括第一圖像獲取部2011、第二圖像獲取部2012和第三圖像獲取部2013)獲取第二圖像212。例如，在測量階段，將場景稱作第二場景，第二場景可變換，比如，用戶可調整姿態，對第二場景連續取景(拍攝)可形成視頻。例如，第二圖像可為同一場景的同一時刻的不同視角的圖像。第二圖像可根據場景不同而不同。例如，第二圖像信息222包括第二關鍵點信息2221，圖像處理部202還可被配置為提取第二圖像212的第二關鍵點信息2221。第二關鍵點信息2221也可包括sift關鍵點和/或harris角點等，可參照之前有關sift關鍵點和/或harris角點的敘述。

如圖7所示，主控裝置10可被配置為在測量階段根據參數信息23和第二圖像信息222獲得第二場景的三維重建信息240。主控裝置可負責與第三方的需求軟體(如體感遊戲、ar/vr應用等)通信，以及建立與協同裝置的連接和控制，並綜合各協同裝置的圖像獲取部的識別結果，得到當前場景的三維重建數據。測量階段通常都是視頻實時處理，協同裝置可不發送完整的圖像到主控裝置10，而是發送第二關鍵點信息到主控裝置10，否則將大大增加系統傳輸負載，並且也沒有必要。

本公開至少一實施例提供的立體視覺測量系統，通過主控裝置作為控制(主控)中心，以及多個協同裝置作為客戶端，各協同裝置的圖像獲取部可共享給主控裝置，以搭建多圖像獲取部的三維視覺重建系統，從而解決了用戶需要額外購買三維測量設備以及通常的設備測量不準確、使用距離受限等問題，並且因各協同裝置可移動，可調節各協同裝置之間的位置關係，可以通過靈活布置多個協同裝置的相對位置，實現長距離/距離可調的多圖像獲取部的立體測量，從而更加靈活準確，可為各種基於立體視覺測量的體感遊戲、ar/vr應用提供更加精確的解決方案，將極大的提高用戶的視覺體驗。

例如，主控裝置10包括智能電視，協同裝置20包括移動終端，移動終端包括智慧型手機或平板電腦，圖像獲取部包括攝像頭。例如，內參數是指圖像獲取部本身的焦距等物理參數，外參數是指攝像頭之間的旋轉平移等位置關係，只有標定後的圖像獲取部組合，才能實現立體視覺測量。

本公開至少一實施例提供的立體視覺測量系統，可以充分利用用戶的現有資源，不需要再額外購買三維測量設備(如微軟的kinect)，就能搭建起長距離(長基線)的多攝像頭的立體視覺測量系統，將極大推動相關產業的發展。

圖8本公開一實施例提供的立體視覺測量系統中的主控裝置的示意圖，根據本公開一實施例提供的立體視覺測量系統，如圖8所示，主控裝置10包括三維數據形成部103。三維數據形成部103被配置為根據參數信息(例如包括內參數231和外參數232)和各協同裝置20發送的第二圖像信息222獲得三維重建信息240。可根據各協同裝置20發送的同一場景的同一時刻的不同視角的第二圖像212的第二圖像信息222(第二關鍵點信息2221)進行三維重建。

圖9示出了本公開一實施例提供的立體視覺測量系統中的三維數據形成部103的示意圖，根據本公開一實施例提供的立體視覺測量系統，如圖9所示，三維數據形成部103包括關鍵點組合單元1031、三維空間坐標計算單元1032和關鍵點數據統計單元1033。關鍵點組合單元1031被配置為根據各協同裝置20發送的第二關鍵點信息2221，進行關鍵點匹配，篩選得到成功匹配的關鍵點組合。例如，可將眼睛，鼻子和嘴巴作為一個關鍵點組合，當然，也可以採用其他形式的關鍵點組合。三維空間坐標計算單元1032被配置為根據關鍵點組合和參數信息23(例如包括內參數231和外參數232)，計算得到關鍵點組合(各關鍵點)的三維空間坐標。例如，可根據眼睛，鼻子和嘴巴的組合和參數信息23獲得眼睛，鼻子和嘴巴的三維空間坐標。關鍵點數據統計單元1033被配置為統計關鍵區域的關鍵點數據，例如，可合成人體姿態，從而，完成立體視覺計算，獲得三維重建信息240。例如，關鍵區域包括人臉、四肢等。例如，可根據人臉、四肢等的關鍵點數據獲得人體(例如用戶)的三維重建信息240。例如，三維重建信息240可包括人臉、人體體態等的三維重建信息。例如，第二圖像信息主要是獲取場景中用戶的信息，例如，用戶的臉部、四肢等特徵，以形成人臉、體態特徵等信息。

如圖10所示，根據本公開一實施例提供的立體視覺測量系統，為了提高標定的準確性，標定部101被配置為將圖像獲取部201分組，每組包括兩個圖像獲取部201，採用圖像獲取部201配對標定。例如，可第一圖像獲取部2011、第二圖像獲取部2012和第三圖像獲取部2013依次設置，將第一圖像獲取部2011和第二圖像獲取部2012為第一組，將第二圖像獲取部2012和第三圖像獲取部2013為第二組，即可採用相鄰兩個圖像獲取部201兩兩配對標定。圖6中以包括三個圖像獲取部201為例進行說明。

如圖11所示，本公開至少一實施例提供一種立體視覺測量方法，包括以下步驟。

標定階段：至少兩個協同裝置20獲取第一場景的第一圖像211和第一圖像211的第一圖像信息221，並將第一圖像211和第一圖像信息221發送給主控裝置10。主控裝置10被配置為在標定階段獲取各圖像獲取部201參數信息23。主控裝置10與至少兩個協同裝置20通信連接，並控制各協同裝置20；各協同裝置20為可移動裝置，並帶有圖像獲取部201。

測量階段：各協同裝置20獲取第二場景的第二圖像212和第二圖像212的第二圖像信息222，並將第二圖像信息222發送給主控裝置10，主控裝置10獲得第二場景的三維重建信息240。

本公開至少一實施例提供的立體視覺測量方法，以搭建多圖像獲取部的三維視覺重建系統，從而解決了用戶需要額外購買三維測量設備以及通常的設備測量不準確、使用距離受限等問題，並且因各協同裝置可移動，可調節各協同裝置之間的位置關係，可以通過靈活布置多個協同裝置的相對位置，實現長距離/距離可調的多圖像獲取部的立體測量。長距離例如是指圖像獲取部之間可具有較長的距離，距離可調例如是指圖像獲取部之間的距離可調節。

根據本公開一實施例提供的立體視覺測量方法，根據各協同裝置20發送的第一圖像211和第一圖像信息221獲取各圖像獲取部201的參數信息23，例如參數信息23包括內參數231和外參數232，內參數231是指各圖像獲取部201的物理參數，外參數232是指圖像獲取部201之間的位置關係。

根據本公開一實施例提供的立體視覺測量方法，根據參數信息23和各協同裝置20發送的第二圖像信息222獲得三維重建信息240。

根據本公開一實施例提供的立體視覺測量方法，第一圖像信息221包括第一關鍵點信息2211，第二圖像信息222包括第二關鍵點信息2221。為了便於標定和測量，減少網絡負荷，可在標定階段不發送全部的第一圖像信息，而是僅發送第一關鍵點信息2211，可在測量階段不發送全部的第二圖像信息，而是僅發送第二關鍵點信息2221。

根據本公開一實施例提供的立體視覺測量方法，根據各協同裝置20發送的第二關鍵點信息2221，進行關鍵點匹配，篩選得到成功匹配的關鍵點組合；根據關鍵點組合、內參數231和外參數232，計算得到三維空間坐標；統計關鍵區域的關鍵點數據，完成立體視覺計算，獲得三維重建信息240。三維重建信息240也可採用其他方式獲得，本公開的實施例對此不作限定。

根據本公開一實施例提供的立體視覺測量方法，為了減少標定階段和/或測量階段的誤差，提高準確性，主控裝置10可將圖像獲取部201分組，每組包括兩個圖像獲取部201，從而，可形成多組雙目立體視覺測量單元。例如可減小圖像關鍵點的匹配誤差等。

根據本公開一實施例提供的立體視覺測量方法，為了避免無線網絡阻塞以及協同裝置拍攝等原因造成的延遲，還可包括在標定階段和/或測量階段同步主控裝置10和協同裝置20的信號，同步主控裝置10和協同裝置20的信號包括：獲取網絡延遲或同步採集。

獲取網絡延遲包括：主控裝置10連續發送兩條消息給協同裝置20，協同裝置20收到後立即返回，主控裝置10收到返回的兩條消息的時間間隔，即是主控裝置10到協同裝置20通信的網絡延遲；

同步採集包括：主控裝置10將時間戳和採集指令一起發送給協同裝置20，協同裝置20獲得指令並獲取圖像後，將時間戳和對圖像進行處理得到的圖像信息一起返回到主控裝置10；主控裝置10根據收到的返回時間戳來對齊各協同裝置20的圖像信息。圖像包括第一圖像211或第二圖像212，圖像信息包括第一圖像信息2211或第二圖像信息2221，可根據所處的階段是標定階段還是測量階段來確定發送的是第一圖像信息2211還是第二圖像信息2221。

根據本公開一實施例提供的立體視覺測量方法，主控裝置10包括智能電視，協同裝置20可包括移動終端。

參照圖12和圖13，並以主控裝置為智能電視，協同裝置可為智慧型手機，圖像獲取部為智慧型手機上的攝像頭為例進行說明。

標定是指當用戶放置智慧型手機在固定位置後，需要採取一定的方式獲取當前攝像頭組合的參數信息(內參數和外參數等)；測量是指系統搭建完成後，智能電視控制各智慧型手機完成當前場景圖像的捕捉和計算，從而獲取場景中用戶的三維數據信息(三維重建信息)。

如圖12所示，標定階段可包括如下步驟。

1、用戶將兩臺以上的智慧型手機放置於場景中適當位置，將智能電視和智慧型手機中的相應軟體打開，智能電視作為主控中心，搜索當前區域網中的智慧型手機；智慧型手機打開攝像頭。

2、用戶站立於場景中間，可張開雙臂，智能電視發出指令，控制智慧型手機同步連續採集第一場景圖像，智慧型手機獲取圖像中的關鍵點(sift關鍵點\harris角點等)，然後，將第一圖像和第一圖像信息(關鍵點信息)發送給智能電視。

3、用戶變換姿態，系統重複上一步驟的計算流程。

4、智能電視根據獲取到不同攝像頭的第一圖像和第一圖像信息(第一關鍵點信息)，利用標定部進行標定，獲取本次攝像頭組合的內參數和外參數，並可將其記錄在智能電視的不可擦除存儲體中。標定完畢。

在實際的標定過程中，電視界面可以通過播放相應的畫面和實時圖像來引導用戶完成該標定步驟；如果放置兩臺以上的智慧型手機，則系統可根據捕獲到的圖像，進行相鄰兩個攝像頭的兩兩配對的標定，對於用戶來說，無需進行額外的活動。

如圖13所示，測量階段可包括如下步驟。

1、用戶完成攝像頭組合的標定後，系統即可進行三維立體測量，基本流程類似標定階段。首先，智能電視作為主控中心，搜索當前區域網中的多個智慧型手機；控制各智慧型手機打開攝像頭。

2、智能電視發出指令，控制智慧型手機同步連續採集第二場景的第二圖像，智慧型手機通過圖像處理部獲取第二圖像信息(第二關鍵點信息)；考慮到大多數基於立體視覺的應用都是與用戶的互動，智慧型手機還可進行人臉識別、體態檢測等更高層次的分析。然後，智慧型手機可將第二關鍵點信息和識別結果發送給智能電視。例如，因為測量階段通常都是視頻實時處理，智慧型手機端沒有必要發送完整的圖像到電視端，僅發送第二關鍵點信息給智能電視即可，否則將大大增加系統傳輸負載，並且也沒有必要。

3、智能電視根據獲取到不同攝像頭的第二關鍵點信息，首先進行關鍵點匹配，篩選得到成功匹配的關鍵點組合，然後根據預先標定的攝像頭內外參數，計算得到三維空間坐標，最後統計關鍵區域(人臉/四肢等)內得到關鍵點數據，完成當前場景的立體視覺計算。

此外，由於無線網絡阻塞以及手機攝像頭拍攝等原因造成的延遲，智能電視和智慧型手機的通信加入同步信號，實現的方法是包括獲取網絡延遲和/或同步採集：

1、獲取網絡延遲：智能電視連續發送兩條消息給智慧型手機，智慧型手機收到後立即返回，智能電視收到返回的兩條消息的時間間隔，即是智能電視到智慧型手機通信的網絡延遲；

2、同步採集：智能電視可將自身的64位系統時間作為時間戳，將時間戳和採集指令一起發送給智慧型手機；智慧型手機獲得指令並拍攝照片後，將時間戳和處理後的數據一起返回給智能電視；智能電視根據收到的返回時間戳來對齊各個智慧型手機的處理數據。

可在標定階段和測量階段至少之一的階段採用上述任一方法進行信號同步。

測量階段，當用戶放置了兩臺以上的智慧型手機在系統中時，智能電視控制部可將相鄰智慧型手機進行兩兩組合，形成多組雙目立體視覺測量系統，這樣將進一步減少系統的各個階段誤差，例如圖像關鍵點的匹配誤差等。

智能電視結合智慧型手機可搭建三維立體視覺測量系統；智能電視作為主控中心，智慧型手機作為協同客戶端，提供攝像頭以及計算資源。立體視覺測量方法可分為標定和測量兩個階段，其中，標定方法可採用基於場景關鍵點檢測的自標定算法；當智慧型手機數量大於兩個時，系統可形成多組雙目立體視覺組合，達到更精確的測量。

本公開實施例的立體視覺測量系統還可以包括一個或多個處理器以及一個或多個存儲器。處理器可以處理數據信號，可以包括各種計算結構，例如複雜指令集計算機(cisc)結構、結構精簡指令集計算機(risc)結構或者一種實行多種指令集組合的結構。存儲器可以保存處理器執行的指令和/或數據。這些指令和/或數據可以包括代碼，用於實現本公開實施例描述的一個或多個裝置、部件或單元的一些功能或全部功能。例如，存儲器包括動態隨機存取存儲器(dram)、靜態隨機存取存儲器(sram)、快閃記憶體(flashmemory)、光存儲器(opticalmemory)，或其他的本領域技術人員熟知的存儲器。

在本公開的一些實施例中，圖像處理部、標定部、三維數據形成部、關鍵點組合單元、三維空間坐標計算單元和關鍵點數據統計單元等部件/單元包括存儲在存儲器中的代碼和程序；處理器可以執行該代碼和程序以實現如上所述的灰度值提取裝置、脈搏波繪製裝置、脈搏波傳播時間確定裝置和/或血壓獲取裝置的一些功能或全部功能。

在本公開的一些實施例中，圖像處理部、標定部、三維數據形成部、關鍵點組合單元、三維空間坐標計算單元和關鍵點數據統計單元等可以是特殊硬體器件，用來實現如上所述的該圖像處理部、標定部、三維數據形成部、關鍵點組合單元、三維空間坐標計算單元和關鍵點數據統計單元等的一些或全部功能。例如，圖像處理部、標定部、三維數據形成部、關鍵點組合單元、三維空間坐標計算單元和關鍵點數據統計單元等可以是一個電路板或多個電路板的組合，用於實現如上所述的功能。在本公開實施例中，該一個電路板或多個電路板的組合可以包括：(1)一個或多個處理器；(2)與處理器相連接的一個或多個非暫時的計算機可讀的存儲器；以及(3)處理器可執行的存儲在存儲器中的固件。

有以下幾點需要說明：

(1)除非另作定義，本公開實施例以及附圖中，同一附圖標記代表同一含義。

(2)本公開實施例附圖中，只涉及到與本公開實施例涉及到的結構，其他結構可參考通常設計。

(3)為了清晰起見，在用於描述本公開的實施例的附圖中，層或區域的厚度被放大。可以理解，當諸如層、膜、區域或基板之類的元件被稱作位於另一元件「上」或「下」時，該元件可以「直接」位於另一元件「上」或「下」，或者可以存在中間元件。

(4)在不衝突的情況下，本公開的同一實施例及不同實施例中的特徵可以相互組合。

以上所述，僅為本公開的具體實施方式，但本公開的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以所述權利要求的保護範圍為準。