基於平面鏡和標定板的遠焦結構光測量系統的標定方法與流程
2023-08-07 02:08:06
本發明涉及結構光測量系統的標定方法，尤其涉及一種基於平面鏡和標定板的遠焦結構光測量系統的標定方法。
背景技術：
結構光測量是圖像測量中一種重要的測量方法。對於由相機和投影儀搭建的結構光測量系統，其中標定相機和投影儀各自的內參以及投影儀和相機之間的位置關係是結構光測量系統的首要步驟，且從根本上影響測量精度。對於遠焦結構光測量系統，結構光測量系統的相機和投影儀的光軸夾角小(甚至平行)，聚焦面遠離相機和投影儀，導致相機視角區域與投影儀視角區域重疊形成的遠焦重疊區域距離相機和投影儀都較遠，為了能夠檢測到設置在遠焦重疊區域中的標定板上的標誌點，並達到一定的檢測精度，標定板及上面的標誌點的尺寸要求足夠大，從而造成成本增加。
技術實現要素：
鑑於現有技術存在的缺陷，本發明的目的在於提供一種基於平面鏡和標定板的遠焦結構光測量系統的標定方法，在保證標定精度的前提下有效節省了為遠焦結構光測量系統特別定製尺寸足夠大的標定板的成本。
為了實現上述目的，本發明提供了一種基於平面鏡和標定板的遠焦結構光測量系統的標定方法，包括步驟S1、S2、S3和S4。
S1：固定遠焦結構光測量系統的遠焦的投影儀和遠焦的相機的位置，在靠近相機的一側設置一平面鏡，平面鏡傾斜設置，以使相機在平面鏡中能形成像且將形成的像定義為虛擬相機，虛擬相機的視角區域與投影儀的視角區域能夠重疊形成第一區域，相機的視角區域與虛擬相機的視角區域能夠重疊形成第二區域，相機的視角區域與投影儀的視角區域能夠重疊形成遠焦重疊區域，平面鏡、第一區域以及第二區域均比遠焦重疊區域靠近相機；
S2：在第一區域中設置一標定板，使相機能拍攝到標定板在平面鏡中的像，標定板上設有多個標誌點，改變標定板的位姿共記錄M組標定板的不同位姿posi，i＝1,2,3,...,M；對各位姿posi的標定板，用投影儀將模板圖片組投影在標定板5上，用相機拍攝標定板在平面鏡中的像，共獲得M組標定板上的多個標誌點的標誌點中心在世界坐標系下的坐標並計算得到M組標定板上的多個標誌點的標誌點中心在虛擬相機的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T和M組標定板上的多個標誌點的標誌點中心在投影儀的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T，利用OpenCV或者Matlab相機標定工具箱計算得投影儀的內參和投影儀坐標系對虛擬相機坐標系的外參矩陣其中i＝1,2,3,...,M；
S3：將標定板設置在第二區域，使相機能拍攝到標定板和標定板在平面鏡中的像，改變標定板的位姿共記錄M'次標定板的不同位姿pos'j，j＝2,3,...,M'，分別對不同位姿pos'j的標定板，用相機拍攝標定板和標定板在平面鏡中的像，共獲得M'組標定板上的多個標誌點的標誌點中心在世界坐標系下的坐標並計算得到M'組標定板上的多個標誌點的標誌點中心在相機的圖像坐標系下的亞像素級的坐標和M'組標定板上的多個標誌點的標誌點中心在虛擬相機的圖像坐標系下的亞像素級的坐標，利用OpenCV或者Matlab相機標定工具箱計算得相機的內參和虛擬相機坐標系對相機坐標系的外參矩陣
S4：根據步驟S2中得到的投影儀坐標系對虛擬相機坐標系的外參矩陣和步驟S3中得到的虛擬相機坐標系對相機坐標系的外參矩陣得到投影儀坐標系對相機坐標系的外參矩陣
本發明的有益效果如下：
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，只需要在靠近相機的一側設置一平面鏡，在比遠焦重疊區域靠近的由虛擬相機的視角區域與投影儀的視角區域重疊形成的第一區域和由相機的視角區域與虛擬相機的視角區域重疊形成的第二區域中設置普通尺寸或小尺寸的標定板，並利用OpenCV或者Matlab相機標定工具箱就可以實現遠焦結構光測量系統的標定，得到投影儀的內參、相機的內參以及投影儀坐標系對相機坐標系的外參矩陣，在保證標定精度的前提下有效節省了為遠焦結構光測量系統特別定製尺寸足夠大的標定板的成本。
附圖說明
圖1是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的結構光測量系統的示意圖；
圖2是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的模板圖片組中的圖片和等效模板圖片組中的圖片，其中，左圖示出了模板圖片組的高頻水平方向條紋柵格圖片組中的一張圖片，右圖示出了等效模板圖片組的高頻水平方向諧波條紋柵格圖片組中的一張圖片；
圖3是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的模板圖片組中的圖片和等效模板圖片組中的圖片，其中，左圖示出了模板圖片組的低頻水平方向條紋柵格圖片組中的一張圖片，右圖示出了等效模板圖片組的低頻水平方向諧波條紋柵格圖片組中的一張圖片；
圖4是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的模板圖片組中的圖片和等效模板圖片組中的圖片，其中，左圖示出了模板圖片組的高頻豎直方向條紋柵格圖片組中的一張圖片，右圖示出了等效模板圖片組的高頻豎直方向諧波條紋柵格圖片組中的一張圖片；
圖5是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的模板圖片組中的圖片和等效模板圖片組中的圖片，其中，左圖示出了模板圖片組的低頻豎直方向條紋柵格圖片組中的一張圖片，右圖示出了等效模板圖片組的低頻豎直方向諧波條紋柵格圖片組中的一張圖片；
圖6是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的各坐標系的位置關係示意圖，其中示出了世界坐標系、相機坐標系和相機的圖像坐標系；
圖7是本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中的標定板的示意圖。
其中，附圖標記說明如下：
1 投影儀 5 標定板
2 相機 A1 第一區域
3 平面鏡 A2 第二區域
4 虛擬相機 A3 遠焦重疊區域
具體實施方式
下面參照附圖來詳細說明根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法。
參照圖1至圖7，本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法包括步驟S1、S2、S3及S4。
S1：固定遠焦結構光測量系統的遠焦的投影儀1和遠焦的相機2的位置，在靠近相機2的一側設置一平面鏡3，平面鏡3傾斜設置，以使相機2在平面鏡3中能形成像且將形成的像定義為虛擬相機4，虛擬相機4的視角區域與投影儀1的視角區域能夠重疊形成第一區域A1，相機2的視角區域與虛擬相機4的視角區域能夠重疊形成第二區域A2，相機2的視角區域與投影儀1的視角區域能夠重疊形成遠焦重疊區域A3，平面鏡3、第一區域A1以及第二區域A2均比遠焦重疊區域A3靠近相機2；
S2：在第一區域A1中設置一標定板5，使相機2能拍攝到標定板5在平面鏡3中的像，標定板5上設有多個標誌點51，改變標定板5的位姿共記錄M組標定板5的不同位姿posi，i＝1,2,3,...,M；對各位姿posi的標定板5，用投影儀1將模板圖片組投影在標定板5上，用相機2拍攝標定板5在平面鏡3中的像，共獲得M組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標並計算得到M組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T和M組標定板5上的多個標誌點51的標誌點中心在投影儀1的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T，利用OpenCV或者Matlab相機標定工具箱計算得投影儀1的內參和投影儀坐標系對虛擬相機坐標系的外參矩陣其中i＝1,2,3,...,M；
S3：將標定板5設置在第二區域A2，使相機2能拍攝到標定板5和標定板5在平面鏡3中的像，改變標定板5的位姿共記錄M'次標定板5的不同位姿pos'j，j＝2,3,...,M'，分別對不同位姿pos'j的標定板5，用相機2拍攝標定板5和標定板5在平面鏡3中的像，共獲得M'組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標並計算得到M'組標定板5上的多個標誌點51的標誌點中心在相機2的圖像坐標系下的亞像素級的坐標和M'組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標，利用OpenCV或者Matlab相機標定工具箱計算得相機2的內參和虛擬相機坐標系對相機坐標系的外參矩陣
S4：根據步驟S2中得到的投影儀坐標系對虛擬相機坐標系的外參矩陣和步驟S3中得到的虛擬相機坐標系對相機坐標系的外參矩陣得到投影儀坐標系對相機坐標系的外參矩陣
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，只需要在靠近相機2的一側設置一平面鏡3，在比遠焦重疊區域A3靠近的由虛擬相機4的視角區域與投影儀1的視角區域重疊形成的第一區域A1和由相機2的視角區域與虛擬相機4的視角區域重疊形成的第二區域A2中設置普通尺寸或小尺寸的標定板，並利用OpenCV或者Matlab相機標定工具箱就可以實現遠焦結構光測量系統的標定，得到投影儀的內參、相機的內參以及投影儀坐標系對相機坐標系的外參矩陣，在保證標定精度的前提下有效節省了為遠焦結構光測量系統特別定製尺寸足夠大的標定板的成本。
在這裡補充說明的是，參照圖6，世界坐標系是指原點在標定板左上角的坐標系，坐標單位是毫米(mm)，相機坐標系是指原點在相機光心的坐標系，坐標單位是毫米(mm)，相機2的圖像坐標系是指原點在相機成像平面上的圖像的左上角的坐標系，坐標單位是像素(pixel)。同樣，對於投影儀1，投影儀坐標系是指原點在投影儀光心的坐標系，坐標單位是毫米(mm)，投影儀1的圖像坐標系是指原點在投影儀成像平面上的圖像的左上角的坐標系坐標單位是像素(pixel)。實現對遠焦結構光測量系統的標定即要得到相機的內參、投影儀的內參和投影儀坐標系對相機坐標系的外參矩陣。其中，相機2的內參和投影儀1的內參分別表達相機坐標系和投影儀坐標系分別到相機的圖像坐標系和投影儀的圖像坐標系的變換，具體地相機2的內參和投影儀1的內參分別包括相機2和投影儀1的水平方向和豎直方向的焦距、圖像的主點以及畸變係數。投影儀坐標系對虛擬相機坐標系的外參矩陣表達了投影儀坐標繫到虛擬相機坐標系的變換，虛擬相機坐標系對相機坐標系的外參矩陣表達了虛擬相機坐標繫到相機坐標系的變換，進而用於實現投影儀坐標繫到相機坐標系的變換即為投影儀坐標系對相機坐標系的外參矩陣投影儀坐標系對相機坐標系的外參矩陣描述相機和投影儀之間的位置關係，所有的外參矩陣包括旋轉矩陣和平移矩陣。
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，平面鏡3傾斜設置的角度可為45度，但是這個角度不受限制，只要能實現本發明即可。
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，參照圖1和圖7，步驟S2具體包括步驟S21、S22和S23。
S21：在第一區域A1中設置標定板5，使相機2能拍攝到標定板5在平面鏡3中的像，對位姿為posi的標定板5得到標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標並計算標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T和標定板5上的多個標誌點51的標誌點中心在投影儀1的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T，共得到M組標定板5的不同位姿posi、M組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標、M組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T和M組標定板5上的多個標誌點51的標誌點中心在投影儀1的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T；
S22：根據步驟S21中得到的M組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標、M組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T和M組標定板5上的多個標誌點51的標誌點中心在投影儀1的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T，利用OpenCV或者Matlab相機標定工具箱計算得到虛擬相機4的內參、投影儀1的內參、標定板5在虛擬相機坐標系下的外參矩陣和標定板5在投影儀坐標系下的外參矩陣
S23：根據步驟S22中得到的標定板5在虛擬相機坐標系下的外參矩陣和標定板5在投影儀坐標系下的外參矩陣得到投影儀坐標系對虛擬相機坐標系的外參矩陣其中，表示投影儀坐標系對虛擬相機坐標系的旋轉矩陣，表示投影儀坐標系對虛擬相機坐標系的平移矩陣。
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，參照圖1至圖5和圖7，步驟S21中M組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標的獲得與M組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T和M組標定板5上的多個標誌點51的標誌點中心在投影儀1的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T的計算包括步驟S211至S217。
S211：設計四組二值化條紋柵格圖片作為四個模板圖片組用於投影儀1投影，四個模板圖片組分別為低頻水平方向條紋柵格圖片組、高頻水平方向條紋柵格圖片組、低頻豎直方向條紋柵格圖片組以及高頻豎直方向條紋柵格圖片組，四個模板圖片組的條紋周期數分別為nThl、nThh、nTvl、nTvh，其中，取nThl＝1，nTvl＝1，每個模板圖片組均有N張圖片，四個模板圖片組將用於由投影儀1投影以得到四個等效模板圖片組，即為低頻水平方向諧波條紋柵格圖片組、高頻水平方向諧波條紋柵格圖片組、低頻豎直方向諧波條紋柵格圖片組圖片、高頻豎直方向諧波條紋柵格圖片組；
S212：對位姿為posi的標定板5，得到標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標；
S213：用投影儀1將一張全白投影圖片投影在位姿為posi的標定板5上，並用相機2拍攝標定板5在平面鏡3中的像得第一圖片C0i，然後用投影儀1將步驟S211中的四個模板圖片組依次投影在標定板5上，並用相機2拍攝此時標定板5在平面鏡3中的像得到第一標定板像圖片組、第二標定板像圖片組、第三標定板像圖片組和第四標定板像圖片組；
S214：根據步驟S213中得到的第一圖片C0i，通過計算第一圖片C0i的圖像梯度、邊緣檢測、橢圓擬合進而計算得到標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T，其中u0i為標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的橫坐標值，v0i為標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的縱坐標值；
S215：根據步驟S213中得到的第一標定板像圖片組、第二標定板像圖片組、第三標定板像圖片組和第四標定板像圖片組計算得到標定板5上的多個標誌點51的標誌點中心的亞像素級的坐標U0i＝[u0i,v0i]T處水平方向的絕對相位值為和豎直方向的絕對相位值為
S216：利用步驟S211中得到的四個等效模板圖片組計算得到模板圖片的整數坐標處水平方向的絕對相位值為和豎直方向的絕對相位值
S217：根據步驟S215中得到的標定板5上的多個標誌點51的標誌點中心的亞像素級的坐標U0i＝[u0i,v0i]T處水平方向的絕對相位值為和豎直方向的絕對相位值為與步驟S216中得到的模板圖片的整數坐標處水平方向的絕對相位值為和豎直方向的絕對相位值對應相等求得標定板5上的多個標誌點51的標誌點中心在投影儀1的圖像坐標系下的亞像素級的坐標U'0i＝[u'0i,v'0i]T。
在這裡補充說明的是，參照圖2至圖5，在計算機圖形學中，圖像由圖像的灰度值體現，圖像的灰度值又和圖像的頻率有關，低頻水平方向條紋柵格圖片組、高頻水平方向條紋柵格圖片組、低頻豎直方向條紋柵格圖片組以及高頻豎直方向條紋柵格圖片組中的高頻和低頻是相對而言的，在設計用於投影的模板圖片組時，可根據需要自行合理的設定兩個不同的頻率值，頻率值高的就是相對的高頻，分別得到高頻的水平方向和豎直方向的條紋柵格圖片組，頻率值低的就是相對的低頻，分別得到低頻的水平方向和豎直方向的條紋柵格圖片組。如圖3和圖5所示，一般將低頻的周期數取為1，以便更加準確的求得模板圖片的絕對相位值。
對標定板5，因為標定板5上的多個標誌點51的間距是已知的，所以標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標便可知。
通過計算第一圖片C0i的圖像梯度、邊緣檢測、橢圓擬合進而計算得到標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標U0i＝[u0i,v0i]T，這裡對相機拍攝的圖片，通過計算圖片的圖像梯度、邊緣檢測、橢圓擬合得到標誌點的圓心以作為標誌點中心從而求得其亞像素級的坐標屬公知方法，在這裡不再贅述。
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，步驟S215中的標定板5上的多個標誌點51的標誌點中心的亞像素級的坐標U0i＝[u0i,v0i]T處水平方向的絕對相位值為的計算過程為：
首先用第一標定板像圖片組、第二標定板像圖片組計算標定板5上的整數坐標處水平方向的絕對相位值為：
其中，[·]為取整符號，和分別為低頻水平方向和高頻水平方向的相對相位值，表達為：
其中，c1k表示第一標定板像圖片組中的第k張圖片的灰度值，c2k表示第二標定板像圖片組中的第k張圖片的灰度值，k＝1,2,...,N，
然後用插值法得到標定板5上的多個標誌點51的標誌點中心的亞像素級的坐標U0i＝[u0i,v0i]T處的水平方向的絕對相位值為
步驟S215中的標定板5上的多個標誌點51的標誌點中心的亞像素級的坐標U0i＝[u0i,v0i]T處豎直方向的絕對相位值為計算過程為：
首先用第三標定板像圖片組和第四標定板像圖片組計算標定板5上的整數坐標處豎直方向的絕對相位值為：
其中，[·]為取整符號，和分別為低頻豎直方向和高頻豎直方向的相對相位值，表達為：
其中，c3k表示第三標定板像圖片組中的第k張圖片的灰度值，c4k表示第四標定板像圖片組中的第k張圖片的灰度值，k＝1,2,...,N，
然後用插值法得到標定板5上的多個標誌點51的標誌點中心的亞像素級的坐標U0i＝[u0i,v0i]T處的豎直方向的絕對相位值為
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，步驟S216中的模板圖片的整數坐標處水平方向的絕對相位值為和豎直方向的絕對相位值計算過程為：
首先用等效模板圖片組，即低頻水平方向諧波條紋柵格圖片組和高頻水平方向諧波條紋柵格圖片組計算模板圖片的整數坐標處水平方向的絕對相位值為：
其中，[·]為取整符號，和分別為低頻水平方向和高頻水平方向的相對相位值，表達為
其中，p1k表示低頻水平方向諧波條紋柵格圖片組中的第k張圖片，p2k表示高頻水平方向諧波條紋柵格圖片組的第k張圖片，k＝1,2,...,N，
然後用等效模板圖片組，即低頻豎直方向諧波條紋柵格圖片組和高頻豎直方向諧波條紋柵格圖片組計算模板圖片的整數坐標處豎直方向的絕對相位值為：
其中，[·]為取整符號，和分別為低頻豎直方向和高頻豎直方向的相對相位值，表達為：
其中，p3k表示低頻豎直方向諧波條紋柵格圖片組中的第k張圖片的灰度值，p4k表示高頻豎直方向諧波條紋柵格圖片組中的第k張圖片的灰度值，k＝1,2,...,N。
在根據本發明的基於平面鏡和標定板的遠焦結構光測量系統的標定方法中，步驟S3中M'組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標的獲得與M'組標定板5上的多個標誌點51的標誌點中心在相機2的圖像坐標系下的亞像素級的坐標、M'組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標以及相機2的內參和虛擬相機坐標系對相機坐標系的外參矩陣的計算包括步驟S31、S32、S33和S34。
S31：在第二區域A2中設置標定板5，使相機2能拍攝到標定板5和標定板5在平面鏡3中的像，對位姿為pos'j的標定板5獲得標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標，用相機2同時拍攝標定板5和標定板5在平面鏡3中的像得到標定板圖片，共得到M'組標定板5的不同位姿pos'j、M'組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標、M'張標定板圖片，其中j＝2,3,...,M'；
S32：根據步驟S31中得到的M'張標定板圖片中的標定板5的圖像部分通過計算圖像梯度、邊緣檢測、橢圓擬合計算得到M'組標定板5上的多個標誌點51的標誌點中心在相機2的圖像坐標系下的亞像素級的坐標，左右翻轉M'張標定板圖片對標定板圖片中的標定板5在平面鏡3中的像的圖像部分通過計算圖像梯度、邊緣檢測、橢圓擬合計算得到M'組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標；
S33：根據步驟S31中得到的M'組標定板5上的多個標誌點51的標誌點中心在世界坐標系下的坐標、步驟S32中得到的M'組標定板5上的多個標誌點51的標誌點中心在相機2的圖像坐標系下的亞像素級的坐標和M'組標定板5上的多個標誌點51的標誌點中心在虛擬相機4的圖像坐標系下的亞像素級的坐標，利用OpenCV或者Matlab相機標定工具箱計算得到相機2的內參、虛擬相機4的內參、標定板5在相機坐標系下的外參矩陣和標定板5在虛擬相機坐標系下的外參矩陣
S34，根據步驟S33中得到的標定板5在相機坐標系下的外參矩陣和標定板5在虛擬相機坐標系下的外參矩陣得到虛擬相機坐標系對相機坐標系的外參矩陣其中，表示虛擬相機坐標系對相機坐標系的旋轉矩陣，表示虛擬相機坐標系對相機坐標系的平移矩陣。