一種實現實景影像增強現實的方法、系統、設備及介質與流程
2024-04-15 20:58:05
1.本發明涉及增強現實影像識別技術領域，特別是涉及一種實現實景影像增強現實的方法、系統、設備及介質。
背景技術：
2.近年來，隨著虛擬實境相關技術的快速發展，虛擬實境在各領域的應用也蓬勃展開。在三維設計成果的基礎上，將虛擬仿真技術和建築信息模型(bim)相結合，利用虛擬實境技術vr仿真可交互以及沉浸式的特點，可以為工程設計、施工和管理提供一種全新的環境，實現真正的所見即所得和實時交互。使用該技術，能夠更直觀立體展示設計、更準確優化方案以及更精準的指導作業。
3.現有的技術方案是將已建成的項目建築物與標識物進行虛擬場景的三維動畫的展現、3d結構建模以及實際的立體結構製作。並對製作後的三維場景進行標識、場景展示以及一些基本的互動。
4.現有的技術方案存有以下缺點：實際製作的動畫與真實的山體、風機以及環境有差別，使人的感官不真實，而有類似於動畫片的感覺；當要求更高更形象的動畫效果時，通常要求工程技術人員要更全面更細節化建模，此時，會導致建模的工作量大大的提高；此外，人處於封閉的vr動畫環境中，真實體驗性不強。
技術實現要素：
5.本發明的目的是提供一種實現實景影像增強現實的方法、系統、設備及介質，可形成真實影像，提高體驗感。
6.為實現上述目的，本發明提供了如下方案：
7.一種實現實景影像增強現實的方法，所述方法包括：
8.按照設定的行進路線，獲取目標區域的實景影像；
9.確定所述實景影像中各建築物的位置坐標；
10.獲取預先存儲的不同的建築物圖像和對應的建築名稱；
11.將所述實景影像與不同的建築物圖像進行匹配識別，得到匹配結果；
12.根據所述匹配結果和存儲的建築名稱確定所述實景影像中各建築物的名稱，得到匹配建築名稱；
13.將所述匹配建築名稱和所述實景影像中各建築物的位置坐標添加至所述實景影像中，得到所述目標區域的添加後的實景影像；
14.採用現實增強技術顯示所述添加後的實景影像。
15.可選地，所述將所述實景影像與不同的建築物圖像進行匹配識別，得到匹配結果，具體包括：
16.對於所述實景影像中的建築物和不同的建築物圖像中的建築物，在建築物的外形輪廓的邊緣位置設置多個標識點；多個所述標識點不全部共線；
17.對所述實景影像進行縮放處理，得到處理後的實景影像；
18.將所述處理後的實景影像中的標識點情況與不同的建築物圖像中的標識點情況進行比對；若比對結果在設定的誤差範圍內，則匹配成功，得到所述匹配結果；所述標識點情況包括：任兩點所述標識點的距離和任三點所述標識點連線成的夾角。
19.可選地，所述設定的行進路線的確定方法，包括：
20.獲取預先存儲的目標區域內各建築物的位置坐標；
21.根據目標區域內各建築物的位置坐標繪製所述設定的行進路線。
22.可選地，所述設定的行進路線的確定方法，還包括：
23.確定所述目標區域的起始點和終止點；
24.根據所述起始點和所述終止點確定初始行進路線；
25.將所述初始行進路線中經過所述目標區域中所有建築物的路線，確定為所述設定的行進路線。
26.一種實現實景影像增強現實的系統，所述系統包括：
27.實景影像獲取模塊，用於按照設定的行進路線，獲取目標區域的實景影像；
28.位置坐標確定模塊，用於確定所述實景影像中各建築物的位置坐標；
29.數據獲取模塊，用於獲取預先存儲的不同的建築物圖像和對應的建築名稱；
30.匹配模塊，用於將所述實景影像與不同的建築物圖像進行匹配識別，得到匹配結果；
31.名稱匹配模塊，用於根據所述匹配結果和存儲的建築名稱確定所述實景影像中各建築物的名稱，得到匹配建築名稱；
32.添加模塊，用於將所述匹配建築名稱和所述實景影像中各建築物的位置坐標添加至所述實景影像中，得到所述目標區域的添加後的實景影像；
33.顯示模塊，用於採用現實增強技術顯示所述添加後的實景影像。
34.可選地，所述匹配模塊包括：
35.第一處理子模塊，用於對於所述實景影像中的建築物和不同的建築物圖像中的建築物，在建築物的外形輪廓的邊緣位置設置多個標識點；多個所述標識點不全部共線；
36.縮放處理子模塊，用於對所述實景影像進行縮放處理，得到處理後的實景影像；
37.比對子模塊，用於將所述處理後的實景影像中的標識點情況與不同的建築物圖像中的標識點情況進行比對，若比對結果在設定的誤差範圍內，則匹配成功，得到所述匹配結果；所述標識點情況包括：任兩點所述標識點的距離和任三點所述標識點連線成的夾角。
38.一種電子設備，包括存儲器及處理器，所述存儲器用於存儲電腦程式，所述處理器運行所述電腦程式以使所述電子設備執行所述實現實景影像增強現實的方法。
39.一種計算機可讀存儲介質，其存儲有電腦程式，所述電腦程式被處理器執行時實現所述實現實景影像增強現實的方法。
40.根據本發明提供的具體實施例，本發明公開了以下技術效果：
41.本發明實施例提供了一種實現實景影像增強現實的方法、系統、設備及介質，通過按照設定的行進路線，獲取目標區域的實景影像，確定實景影像中各建築物的位置坐標；然後將實景影像與獲取到的預先存儲的不同的建築物圖像進行匹配識別，得到匹配結果；根據匹配結果和存儲的建築名稱確定實景影像中各建築物的名稱，得到匹配建築名稱；將匹
配建築名稱和實景影像中各建築物的位置坐標添加至實景影像中，得到目標區域的添加後的實景影像；最後，採用現實增強技術顯示添加後的實景影像；由於能夠通過對真實的環境信息即實景影像進行互動交互，使得最終觀測到的影像感官更加的真實，由此，本發明能夠形成真實影像，提高體驗感。
附圖說明
42.為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
43.圖1為本發明實施例提供的實現實景影像增強現實的方法的流程圖；
44.圖2為本發明實施例提供的實現實景影像增強現實的系統的結構圖；
45.圖3為本發明實施例提供的行進路線確定因素的示意圖；
46.圖4為本發明實施例提供的一種行進路線的確定方法示意圖；
47.圖5為本發明實施例提供的另一種行進路線的確定方法示意圖；
48.圖6為本發明實施例提供的行進路線的信息串的示意圖；
49.圖7為本發明實施例提供的建築物上非共線的物體標識點的示意圖；
50.圖8為本發明實施例提供的等比例影像形變示意圖；
51.圖9為本發明實施例提供的橫向方向上的形變示意圖；
52.圖10為本發明實施例提供的縱向方向上的形變示意圖；
53.圖11為本發明實施例提供的特定軸向角度的形變的示意圖；
54.圖12為本發明實施例提供的標識點間縮放比不同的變換示意圖；
55.圖13為本發明實施例提供的實際中需要標註的圖像示意圖；
56.圖14為本發明實施例提供的進行增強現實物體標識後的圖像示意圖。
57.符號說明：
58.實景影像獲取模塊-1、位置坐標確定模塊-2、數據獲取模塊-3、匹配模塊-4、名稱匹配模塊-5、添加模塊-6、顯示模塊-7。
具體實施方式
59.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
60.本發明的目的是提供一種實現實景影像增強現實的方法、系統、設備及介質，可形成真實影像，提高體驗感。
61.為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。
62.實施例1
63.如圖1所示，本發明實施例提供了一種實現實景影像增強現實的方法，該方法包
括：
64.步驟100：按照設定的行進路線，獲取目標區域的實景影像。
65.在一種實施例中，設定的行進路線的確定方法，包括：
66.獲取預先存儲的目標區域內各建築物的位置坐標；根據目標區域內各建築物的位置坐標繪製設定的行進路線。
67.在另一實施例中，設定的行進路線的確定方法，還可以為：
68.確定目標區域的起始點和終止點；根據起始點和終止點確定初始行進路線；將初始行進路線中經過目標區域中所有建築物的路線，確定為設定的行進路線。
69.在實際應用中，可以選用無人機獲取目標區域的實景影像。具體地，通過兩個位置點以上的位置坐標信息作為無人機坐標，形成無人機行進路線，獲取影像，如圖3所示。具體的位置坐標包括經度、緯度以及高度。無人機在確定的經緯度位置上，隨後爬升到指定的高度，按照行進路線，依次巡邏前進。
70.影像路徑的形成方法有兩種：
71.路徑形成方法1：行進路線可以通過圖3中兩個位置點以上的坐標形成，如a點位置為東經113.583423，北緯38.722114；此處的坐標不僅僅是平面二維坐標，由兩個參數確定的，由於要採集實景影像，因此需要另外一個維度，即高度位置的影像信息。如設置高度h為34米。
72.其中，設置經緯度坐標時，要求達到小數點後第六位，從而使得二維位置精度能到了10釐米；如果只是精確到小數點後第五位，只能保證位置精度在1米範圍內，精度過於粗糙。
73.對無人機的設備輸入a、b、
……
n等各點參數信息，使得無人機依次巡邏前進，採集影像。
74.圖4為設置各個位置點的行進路線。具體的路線根據實際的環境以及建築物的形態對行進路線進行布局。
75.路徑形成方法2：通過無人機飛手實際操控無人機進行單次路線實飛，並記錄飛行過程中的各個位置點數據串，隨後輸入該數據串，實現無人機的自動巡航的影像採集。圖5為該種情形下的行進路線圖。在本方法下形成的行進路線的信息串為三列三維數據信息形式，見圖6。此外，可以根據具體的需求的數據串大小，確定數據位置步長，以達到最優的數據保存的大小。
76.步驟200：確定實景影像中各建築物的位置坐標。
77.步驟300：獲取預先存儲的不同的建築物圖像和對應的建築名稱。
78.步驟400：將實景影像與不同的建築物圖像進行匹配識別，得到匹配結果。
79.步驟500：根據匹配結果和存儲的建築名稱確定實景影像中各建築物的名稱，得到匹配建築名稱。
80.其中，步驟300具體包括：
81.對於實景影像中的建築物和不同的建築物圖像中的建築物，在建築物的外形輪廓的邊緣位置設置多個標識點；多個標識點不全部共線。
82.對實景影像進行縮放處理，得到處理後的實景影像。
83.將處理後的實景影像中的標識點情況與不同的建築物圖像中的標識點情況進行
比對，若比對結果在設定的誤差範圍內，則匹配成功，得到匹配結果；標識點情況包括：任兩點標識點的距離和任三點標識點連線成的夾角。
84.比對結果在設定的誤差範圍內即，建築物影像中任兩點標識點的距離與建築物圖像中對應的兩點標識點的距離的差值在設定的距離誤差範圍內，以及，建築物影像中任三點標識點連線成的夾角與的建築物圖像中對應的三點標識點連線成的夾角的差值在設定的夾角誤差範圍內。
85.步驟600：將匹配建築名稱和實景影像中各建築物的位置坐標添加至實景影像中，得到目標區域的添加後的實景影像。
86.簡而言之，在影像生成的過程中，需要對實際的標誌性的物體進行識別，標註物體信息，使得在ar增強顯示中可以實現自動物體的識別提示。
87.由於實際採集影像的過程中，影像是在不同的角度對標誌物物體進行獲取，這時候物體影像會隨著位置的不同而產生的不同形態的變化。需要確保標誌性物體在不同變化的過程中，能夠依然準確地識別物體，並對物體進行增強現實信息標註。
88.確定影像中待識別的建築物上四個非共線的物體標識點，如圖7中的標記點，四個標識點的確定原則為：第一，四個標識點非共線；第二，四個標識點選取在標誌基建物即建築物的外形結構的邊緣位置，由此能夠代表標誌物的外形輪廓特徵。對獲取到的實景影像中的建築物均布設四個標識點。
89.然後將建築物的影像進行橫向縮放、縱向縮放或等比例縮放，以及特定軸向的縮放，得到縮放後的圖像，並獲取每種縮放後圖像中標識點的位置。
90.由於所有的圖片或者影像都是由陣列像素點組成的，如1280*720個像素點組成圖像；進行縱向縮放時，可以表現為橫向上依然有1280個像素，但是在縱向上，可以把720像素點變成對應的600像素。600個像素依舊保持原有720像素的信息，不同的是信息的密度略有下降，圖像的特徵依然保持。縮放後標識點的相應的距離會由於縮放進行變大或變小。縮放後標識點的位置，由於只是信息的壓縮，標誌點位置依然在，不同的是標識點的坐標位置有所改變，或者相對應的距離有所改變。
91.如圖8-圖11所示，以字母a為例，通常的形態變化會包括如下形態：左側為原物體，右側為獲取影像的實際發生形變的物體；發生的形變包括等比例形變、橫向形變、縱向形變以及特定形象角度的形變。在實際增強現實標註過程中，都應正確的標註該物體信息。圖8為等比例影像形變。圖9橫向方向上的形變。圖10為縱向方向上的形變。圖11為特定軸向角度的形變。
92.將每種縮放後得到的標識點位置與原圖像中的四個標識點位置進行對比，當位置重合時，則判定為是同一物體，並進行增強現實信息標記。信息標記的意思就是在特定物體，比如右上方會出現提示文字信息，標識這個東西的名稱、或者高壓參數等。
93.縮放前後標識點位置的匹配對應方法為：對比的包括兩點的相對距離，以及任意三點連線形成的角度夾角；當標識點的相對距離以及對應的標識點，形成線的夾角，與原圖像標識點，控制在一定百分比範圍內，則認為縮放後的標識點與縮放前的標識點位置是匹配的。
94.選取的四個位置點如圖12所示的a、b、c和d；假設a和b處的縮放比例是k2，c和d處的縮放比例是k1。當兩者縮放比不一樣時，也會產生特定的圖像形變。實際圖像識別的過程
就是對這個形變的一個逆變換來契合原圖像的標識點位置。當標識點位置匹配時，則認為是同一物體，並進行增強現實物體標識。如圖13是需要標註的圖像，圖14是進行增強現實物體標識後的圖像。
95.此外，還可以根據實際的特定的特徵物體標識，然後產生對應的場景信息，如火警演示或其他電力和參數增強現實信息標識。
96.步驟700：採用現實增強技術顯示添加後的實景影像。
97.將待標識的物體，即將實景影像中的各個建築物全部進行標識後，就能得到一個逼真的、適用於大型基建的宣傳影像。
98.採用現實增強技術顯示添加後的實景影像，簡而言之，使得遠端攝像頭按照設定的行進路線進行影像的重現。此時，區別在於獲取實景影像的形成的過程，是先將實景素材記錄到存儲介質中。當實際需要實時的對大型基建場景進行互動時，則使遠端攝像頭按照實際路徑進行再一次，循經採集實時的影像數據，並同步傳輸到ar端，並可伴有基建物體識別及增強現實信息標識。
99.此外，本發明能夠進行實時的觀測，監測實時基建標識物實時情況。例如，在實際應用中當風機出現折斷的情況，能通過ar終端觀看到實時的基建場景狀態。
100.實施例2
101.如圖2所示，本發明實施例提供了一種實現實景影像增強現實的系統，該系統包括：實景影像獲取模塊1、位置坐標確定模塊2、數據獲取模塊3、匹配模塊4、名稱匹配模塊5、添加模塊6和顯示模塊7。
102.實景影像獲取模塊1，用於按照設定的行進路線，獲取目標區域的實景影像。
103.位置坐標確定模塊2，用於確定實景影像中各建築物的位置坐標。
104.數據獲取模塊3，用於獲取預先存儲的不同的建築物圖像和對應的建築名稱。
105.匹配模塊4，用於將實景影像與不同的建築物圖像進行匹配識別，得到匹配結果。
106.名稱匹配模塊5，用於根據匹配結果和存儲的建築名稱確定實景影像中各建築物的名稱，得到匹配建築名稱。
107.添加模塊6，用於將匹配建築名稱和實景影像中各建築物的位置添加至實景影像中，得到目標區域的添加後的實景影像。
108.顯示模塊7，用於採用現實增強技術顯示添加後的實景影像。
109.其中，匹配模塊包括：第一處理子模塊、縮放處理子模塊和比對子模塊。
110.第一處理子模塊，用於對於實景影像中的建築物和不同的建築物圖像中的建築物，在建築物的外形輪廓的邊緣位置設置多個標識點；多個標識點不全部共線。
111.縮放處理子模塊，用於對實景影像進行縮放處理，得到處理後的實景影像。
112.比對子模塊，用於將處理後的實景影像中的標識點情況與不同的建築物圖像中的標識點情況進行比對，若比對結果在設定的誤差範圍內，則匹配成功，得到匹配結果；標識點情況包括：任兩點標識點的距離和任三點標識點連線成的夾角。
113.實施例3
114.本發明實施例提供了一種電子設備，包括存儲器及處理器，存儲器用於存儲電腦程式，處理器運行電腦程式以使電子設備執行實施例1中任意一項實現實景影像增強現實的方法。
115.可選地，上述電子設備可以是伺服器。
116.另外，本發明實施例還提供一種計算機可讀存儲介質，其存儲有電腦程式，電腦程式被處理器執行時實現實施例1中任意一項實現實景影像增強現實的方法。
117.本技術形象而逼真的展示大型基建，可以對真實的環境進行互動交互。現有技術是對真實的環境進行模擬，建模花草樹木以及標誌性建築，並顯示在封閉式的環境中，本發明的優勢在於區別傳統的通過虛擬建模形成的影像，可以通過佩戴ar終端，可以使得用戶能夠直觀實時的感受震撼的基建成果。
118.本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的系統而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
119.本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處。綜上所述，本說明書內容不應理解為對本發明的限制。