一種增強現實處理方法及裝置與流程

2023-05-26 16:50:16 2

本發明屬於圖像處理領域，尤其涉及一種增強現實處理方法及裝置。

背景技術：

隨著幼兒教育事業的快速發展，增強現實技術也逐步被應用到各種幼兒教育系統或設備中來。增強現實(augmentedreality，ar)是一種將真實世界信息和虛擬世界信息「無縫」集成的新技術，是把原本在現實世界的一定時間空間範圍內很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學技術，模擬仿真後再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在，虛擬信息與真實世界重新組成擁有逼真的視覺、聽覺、觸覺的環境，實現用戶與環境的自然交互。

現有的幼教設備增強現實處理方法一般都是通過掃描特定的內置隱形二維碼的單個圖形(圖形的載體一般為圖書、卡片等)在手機、平板電腦等終端上呈現出預先存儲的單個增強現實形象，但當掃描到多個圖形時，也只能呈現出一個增強現實形象，形式單一、靈活性差。

技術實現要素：

鑑於此，本發明實施例提供了一種增強現實處理方法及裝置，以解決現有的幼教設備增強現實處理方法存在的形式單一、靈活性差的問題。

本發明實施例提供的一種增強現實處理方法，可以包括：

通過攝像頭實時採集現實影像；

通過預設的識別模型對採集的所述現實影像進行圖像識別處理，識別出預設的目標物體；

若識別出的所述目標物體的個數為兩個以上，則獲取與識別出的所述目標物體的集合對應的預設的第一虛擬動畫影像，所述獲取的第一虛擬動畫影像中包含識別出的各個所述目標物體對應的預設虛擬影像；

將獲取的所述第一虛擬動畫影像添加至採集的所述現實影像，並在顯示設備上實時顯示添加後的所述現實影像。

進一步地，在所述通過預設的識別模型對採集的所述現實影像進行圖像識別處理之前，還可以包括：

獲取所述目標物體的訓練樣本；

將獲取的所述訓練樣本作為人工神經網絡算法的輸入，對所述識別模型進行校正，得到校正後的識別模型。

進一步地，在所述在顯示設備上實時顯示添加後的所述現實影像之前，還可以包括：

獲取當前的現實信息，所述現實信息包括天氣信息和/或時間信息和/或地理位置信息；

將第二虛擬動畫影像添加至採集的所述現實影像中，所述第二虛擬動畫影像為與獲取的所述現實信息對應的虛擬動畫影像。

進一步地，在所述在顯示設備上實時顯示添加後的所述現實影像之前，還可以包括：

獲取當前用戶的面部特徵；

將獲取的所述第一虛擬動畫影像中指定目標物體的虛擬影像的指定區域替換為獲取的所述當前用戶的面部特徵。

進一步地，在所述在顯示設備上實時顯示添加後的所述現實影像之前，還包括：

獲取當前用戶的人體圖像；

將獲取的所述當前用戶的人體圖像添加至採集的所述現實影像中。

本發明實施例提供的一種增強現實處理裝置，可以包括：

採集模塊，用於通過攝像頭實時採集現實影像；

識別模塊，用於通過預設的識別模型對採集的所述現實影像進行圖像識別處理，識別出預設的目標物體；

影像獲取模塊，用於若識別出的所述目標物體的個數為兩個以上，則獲取與識別出的所述目標物體的集合對應的預設的第一虛擬動畫影像，所述獲取的第一虛擬動畫影像中包含識別出的各個所述目標物體對應的預設虛擬影像；

第一添加模塊，用於將獲取的所述第一虛擬動畫影像添加至採集的所述現實影像；

顯示模塊，用於在顯示設備上實時顯示添加後的所述現實影像。

進一步地，所述的增強現實處理裝置還可以包括：

樣本獲取模塊，用於獲取所述目標物體的訓練樣本；

校正模塊，用於將獲取的所述訓練樣本作為人工神經網絡算法的輸入，對所述識別模型進行校正，得到校正後的識別模型。

進一步地，所述的增強現實處理裝置還可以包括：

現實信息獲取模塊，用於獲取當前的現實信息，所述現實信息包括天氣信息和/或時間信息和/或地理位置信息；

第二添加模塊，用於將第二虛擬動畫影像添加至採集的所述現實影像中，所述第二虛擬動畫影像為與獲取的所述現實信息對應的虛擬動畫影像。

進一步地，所述的增強現實處理裝置還可以包括：

面部特徵獲取模塊，用於獲取當前用戶的面部特徵；

替換模塊，用於將獲取的所述第一虛擬動畫影像中指定目標物體的虛擬影像的指定區域替換為獲取的所述當前用戶的面部特徵。

進一步地，所述的增強現實處理裝置還可以包括：

人體圖像獲取模塊，用於獲取當前用戶的人體圖像；

第三添加模塊，用於將獲取的所述當前用戶的人體圖像添加至採集的所述現實影像中。

本發明實施例提供的一種終端，可以包括以上任意一種所述增強現實處理裝置。

本發明實施例與現有技術相比存在的有益效果是：本發明實施例通過攝像頭實時採集現實影像；通過預設的識別模型對採集的所述現實影像進行圖像識別處理，識別出預設的目標物體；若識別出的所述目標物體的個數為兩個以上，則獲取與識別出的所述目標物體的集合對應的第一虛擬動畫影像，所述獲取的第一虛擬動畫影像中包含識別出的各個所述目標物體對應的預設虛擬影像；將獲取的所述第一虛擬動畫影像添加至採集的所述現實影像，並在顯示設備上實時顯示添加後的所述現實影像。通過本發明實施例，當從採集的現實影像中識別出多個預設的目標物體時，則會獲取對應的虛擬動畫影像並添加至現實影像，並在顯示設備上實時顯示添加後的所述現實影像。即在不同的目標物體的組合下，現實影像中會加入不同的虛擬影像，形式多變，靈活性強。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例一提供的一種增強現實處理方法的示意流程圖；

圖2是本發明實施例一提供的優選步驟的示意流程圖；

圖3是本發明實施例一提供的步驟s103中的解釋例的示意圖；

圖4是本發明實施例二提供的一種增強現實處理裝置的示意框圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

應當理解，當在本說明書和所附權利要求書中使用時，術語「包括」指示所描述特徵、整體、步驟、操作、元素和/或組件的存在，但並不排除一個或多個其它特徵、整體、步驟、操作、元素、組件和/或其集合的存在或添加。

還應當理解，在此本發明說明書中所使用的術語僅僅是出於描述特定實施例的目的而並不意在限制本發明。如在本發明說明書和所附權利要求書中所使用的那樣，除非上下文清楚地指明其它情況，否則單數形式的「一」、「一個」及「該」意在包括複數形式。

還應當進一步理解，在本發明說明書和所附權利要求書中使用的術語「和/或」是指相關聯列出的項中的一個或多個的任何組合以及所有可能組合，並且包括這些組合。

如在本說明書和所附權利要求書中所使用的那樣，術語「如果」可以依據上下文被解釋為「當...時」或「一旦」或「響應於確定」或「響應於檢測到」。類似地，短語「如果確定」或「如果檢測到[所描述條件或事件]」可以依據上下文被解釋為意指「一旦確定」或「響應於確定」或「一旦檢測到[所描述條件或事件]」或「響應於檢測到[所描述條件或事件]」。

為了說明本發明所述的技術方案，下面通過具體實施例來進行說明。

實施例一：

參見圖1，是本發明實施例一提供的一種增強現實處理方法的示意流程圖，具體闡述如下：

步驟s101，通過攝像頭實時採集現實影像。

目前市面上的產品大都是通過掃描隱形二維碼的方式來進行ar展示的，這種方式必須依賴於特定的載體(如卡片、貼畫、圖書等)才能實現，用戶體驗較差，本實施中通過手機、平板電腦等終端的攝像頭直接實時採集現實影像來進行ar展示，使用更加便捷，體驗效果更加真實。

步驟s102，通過預設的識別模型對採集的所述現實影像進行圖像識別處理，識別出預設的目標物體。

所述目標物體可以是公主、王子、女巫等人物，可以是貓、狗、狼、兔子等動物，可以是花、草、樹木等植物，還可以是桌、椅、板凳等物品，即所有現實或者想像中的物體均可作為所述目標物體，具體選擇哪些物體作為所述目標物體可以根據實際情況來選取，本實施例對此不做具體限定。

若識別出的所述目標物體的個數為兩個以上，則執行步驟s103和步驟s104；若識別出的所述目標物體的個數只有一個，則執行步驟s105和步驟s106；若未識別出任何所述目標物體，則可以繼續執行步驟s101中的現實影像採集過程，也可以先在顯示設備上彈出未識別出目標物體的提示信息後再繼續執行步驟s101中的現實影像採集過程。

優選地，在步驟s102之前還可以包括，建立目標物體庫，根據實際情況在所述目標物體庫中添加各個所述目標物體。

優選的，在步驟s102之前還可以包括圖2所示的優選步驟：

步驟s201，獲取所述目標物體的訓練樣本；

步驟s202，將獲取的所述訓練樣本作為人工神經網絡算法的輸入，對所述識別模型進行校正，得到校正後的識別模型。

一般神經網絡圖像識別系統由預處理，特徵提取和神經網絡分類器組成。預處理就是將原始數據中的無用信息刪除、平滑、二值化和進行幅度歸一化等。神經網絡圖像識別系統中的特徵提取部分不一定存在，這樣就分為兩大類：第一類，有特徵提取部分的：這一類系統實際上是傳統方法與神經網絡方法技術的結合，這種方法可以充分利用人的經驗來獲取模式特徵以及神經網絡分類能力來識別目標圖像。特徵提取必須能反應整個圖像的特徵。但它的抗幹擾能力不如第二類。第二類，無特徵提取部分的：省去特徵抽取，整副圖像直接作為神經網絡的輸入，這種方式下，系統的神經網絡結構的複雜度大大增加了，輸入模式維數的增加導致了網絡規模的龐大。此外，神經網絡結構需要完全自己消除模式變形的影響。但是網絡的抗幹擾性能好，識別率高。

首先要選擇各類的樣本進行訓練，每類樣本的個數要近似相等。其原因在於一方面防止訓練後網絡對樣本多的類別響應過於敏感，而對樣本數少的類別不敏感。

要使網絡對模式的平移、旋轉、伸縮具有不變性，要儘可能選擇各種可能情況的樣本。例如要選擇不同姿態、不同方位、不同角度、不同背景等有代表性的樣本，這樣可以保證網絡有較高的識別率。

以所述目標物體為貓來舉例說明，首先需要儘可能多的獲取各種貓的圖片資料來作為訓練樣本，這些圖片資料中要包含各種品種的貓，如暹羅貓、波斯貓、埃及貓等，要包含貓所做出的各種姿勢，如站姿、臥姿、睡姿等，要包含貓的各種拍照角度，還要包含處在各種環境中的貓，只有保證訓練樣本足夠多，最終得到的識別模型的準確性才會越高。

在學習階段應該用大量的樣本進行訓練學習，通過樣本的大量學習對神經網絡的各層網絡的連接權值進行修正，使其對樣本有正確的識別結果，這就像人記數字一樣，網絡中的神經元就像是人腦細胞，權值的改變就像是人腦細胞的相互作用的改變，神經網絡在樣本學習中就像人記數字一樣，學習樣本時的網絡權值調整就相當於人記住各個數字的形象，網絡權值就是網絡記住的內容，網絡學習階段就像人由不認識數字到認識數字反覆學習過程是一樣的。神經網絡是按整個特徵向量的整體來記憶圖像的，只要大多數特徵符合曾學習過的樣本就可識別為同一類別，所以當樣本存在較大噪聲時神經網絡分類器仍可正確識別。

步驟s103，獲取與識別出的所述目標物體的集合對應的預設的第一虛擬動畫影像，所述獲取的第一虛擬動畫影像中包含識別出的各個所述目標物體對應的預設虛擬影像。

所述第一虛擬動畫影像隨著所述目標物體的集合的變化而變化，如圖3所示，若在步驟s101中實時採集的現實影像為一面牆，牆上繪著公主和王子的圖案，在步驟s102中識別出了公主和王子這兩個目標物體，即識別出的所述目標物體的集合為公主和王子這兩個目標物體元素所組成的集合，則在所述第一虛擬動畫影像中要包含公主的虛擬影像和王子的虛擬影像，所述第一虛擬動畫影像展示的可以是公主與王子幸福生活的場景；若在步驟s101中實時採集的現實影像為一面牆，牆上繪著公主和女巫的圖案，在步驟s102中識別出了公主和女巫這兩個目標物體，即識別出的所述目標物體的集合為公主和女巫這兩個目標物體元素所組成的集合，則在所述第一虛擬動畫影像中要包含公主的虛擬影像和女巫的虛擬影像，所述第一虛擬動畫影像展示的可以是女巫毒害公主的場景；若在步驟s101中實時採集的現實影像為一面牆，牆上繪著王子和女巫的圖案，在步驟s102中識別出了王子和女巫這兩個目標物體，即識別出的所述目標物體的集合為王子和女巫這兩個目標物體元素所組成的集合，則在所述第一虛擬動畫影像中要包含王子的虛擬影像和女巫的虛擬影像，所述第一虛擬動畫影像展示的可以是王子與女巫搏鬥的場景。

步驟s104，將獲取的所述第一虛擬動畫影像添加至採集的所述現實影像，並在顯示設備上實時顯示添加後的所述現實影像。

也就是將虛擬動畫影像疊加到實時採集的顯示影像中，將虛擬和現實有機地結合在一起，通過顯示設備呈現給用戶。

一般地，所述顯示設備可以手機或者平板電腦，通過其屏幕將上述虛擬和現實疊加的ar影像呈現給用戶。

步驟s105，獲取與識別出的所述目標物體對應的預設的第三虛擬動畫影像，所述獲取的第三虛擬動畫影像中包含識別出的所述目標物體對應的預設虛擬影像；

步驟s106，將獲取的所述第三虛擬動畫影像添加至採集的所述現實影像，並在顯示設備上實時顯示添加後的所述現實影像。

容易理解地，步驟s105和步驟s106是針對識別出的所述目標物體的個數只有一個時的情形，在這種情形下，不涉及與其他目標物體進行組合，可以作為步驟s103和步驟s104的特例。

優選地，在步驟s104之前，還可以包括：

獲取當前的現實信息，所述現實信息包括天氣信息和/或時間信息和/或地理位置信息；

將第二虛擬動畫影像添加至採集的所述現實影像中，所述第二虛擬動畫影像為與獲取的所述現實信息對應的虛擬動畫影像。

例如，自動聯網獲取當前的天氣信息，若當前是陰雨天，則所述第二虛擬動畫影像為陰雨綿綿的虛擬動畫影像；若當前是晴天，則所述第二虛擬動畫影像為豔陽高照的虛擬動畫影像。

又如，自動聯網獲取當前的時間信息，若當前時刻為早上7點，則所述第二虛擬動畫影像為太陽正從東方升起的虛擬動畫影像；若當前時刻為晚上9點，則所述第二虛擬動畫影像為繁星滿天的虛擬動畫影像。優選的，還可以從所述時間信息中判斷當前是否為特定的節日，則在所述第二虛擬動畫影像中加入節日相關的元素，若當前是聖誕節，則在所述第二虛擬動畫影像中加入聖誕樹、禮物盒等元素；若當前是萬聖節，則在所述第二虛擬動畫影像中加入南瓜燈、鬼臉面具等元素；若當前是春節，則在所述第二虛擬動畫影像中加入燈籠、春聯、鞭炮等元素。

再如，自動聯網獲取當前地理位置信息，若當前地點在北京，則在所述第二虛擬動畫影像中加入故宮、鳥巢等元素；若當前地點在重慶，則在所述第二虛擬動畫影像中加入火鍋等元素；若當前地點在哈爾濱，則在所述第二虛擬動畫影像中加入冰雕等元素。

優選地，在步驟s104之前，還可以包括：

獲取當前用戶的面部特徵；所述當前用戶的面部特徵可以是通過手機、平板電腦等終端的前置攝像頭實時獲取的，也可以是從預先拍攝好的照片中獲取的。

將獲取的所述第一虛擬動畫影像中指定目標物體的虛擬影像的指定區域替換為獲取的所述當前用戶的面部特徵。

優選地，所述替換過程是實時進行的，即在虛擬影像的指定區域一直展示所述當前用戶的面部特徵，且隨著當前用戶的面部特徵的變化而變化。

例如，若所述第一虛擬動畫影像中包含有公主的虛擬影像，則將公主的虛擬影響的面部特徵替換為獲取的所述當前用戶的面部特徵，若當前用戶做出大笑的表情，公主的虛擬影像也做出大笑的表情，若當前用戶做出憤怒的表情，公主的虛擬影像也做出憤怒的表情。

優選地，在步驟s104之前，還可以包括：

獲取當前用戶的人體圖像；

將獲取的所述當前用戶的人體圖像添加至採集的所述現實影像中。

容易理解地，通過以上優選步驟，可以實現將當前用戶的面部特徵或者人體圖像融入到最終的ar展示效果中去，使用戶獲得更強的參與感，提升用戶體驗。

綜上所述，本發明實施例通過攝像頭實時採集現實影像；通過預設的識別模型對採集的所述現實影像進行圖像識別處理，識別出預設的目標物體；若識別出的所述目標物體的個數為兩個以上，則獲取與識別出的所述目標物體的集合對應的第一虛擬動畫影像，所述獲取的第一虛擬動畫影像中包含識別出的各個所述目標物體對應的預設虛擬影像；將獲取的所述第一虛擬動畫影像添加至採集的所述現實影像，並在顯示設備上實時顯示添加後的所述現實影像。通過本發明實施例，當從採集的現實影像中識別出多個預設的目標物體時，則會獲取對應的虛擬動畫影像並添加至現實影像，並在顯示設備上實時顯示添加後的所述現實影像。即在不同的目標物體的組合下，現實影像中會加入不同的虛擬影像，形式多變，靈活性強。

實施例二：

參見圖4，是本發明實施例二提供的一種增強現實處理裝置的示意框圖，為了便於說明，僅示出與本發明實施例相關的部分。

該增強現實處理裝置可以是內置於終端(例如手機、平板電腦等)內的軟體單元、硬體單元或者軟硬結合的單元，也可以作為獨立的掛件集成到所述終端中。

所述增強現實處理裝置可以包括：

採集模塊401，用於通過攝像頭實時採集現實影像；

識別模塊402，用於通過預設的識別模型對採集的所述現實影像進行圖像識別處理，識別出預設的目標物體；

影像獲取模塊403，用於若識別出的所述目標物體的個數為兩個以上，則獲取與識別出的所述目標物體的集合對應的預設的第一虛擬動畫影像，所述獲取的第一虛擬動畫影像中包含識別出的各個所述目標物體對應的預設虛擬影像；

第一添加模塊404，用於將獲取的所述第一虛擬動畫影像添加至採集的所述現實影像；

顯示模塊405，用於在顯示設備上實時顯示添加後的所述現實影像。

進一步地，所述的增強現實處理裝置還可以包括：

樣本獲取模塊406，用於獲取所述目標物體的訓練樣本；

校正模塊407，用於將獲取的所述訓練樣本作為人工神經網絡算法的輸入，對所述識別模型進行校正，得到校正後的識別模型。

進一步地，所述的增強現實處理裝置還可以包括：

現實信息獲取模塊408，用於獲取當前的現實信息，所述現實信息包括天氣信息和/或時間信息和/或地理位置信息；

第二添加模塊409，用於將第二虛擬動畫影像添加至採集的所述現實影像中，所述第二虛擬動畫影像為與獲取的所述現實信息對應的虛擬動畫影像。

進一步地，所述的增強現實處理裝置還可以包括：

面部特徵獲取模塊410，用於獲取當前用戶的面部特徵；

替換模塊411，用於將獲取的所述第一虛擬動畫影像中指定目標物體的虛擬影像的指定區域替換為獲取的所述當前用戶的面部特徵。

進一步地，所述的增強現實處理裝置還可以包括：

人體圖像獲取模塊412，用於獲取當前用戶的人體圖像；

第三添加模塊413，用於將獲取的所述當前用戶的人體圖像添加至採集的所述現實影像中。

本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的模塊及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。

在本發明所提供的實施例中，應該理解到，所揭露的裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些接口，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

另外，在本發明各個實施例中的各功能模塊可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。

所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)或處理器(processor)執行本發明實施例各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光碟等各種可以存儲程序代碼的介質。

實施例三：

本發明實施例提供一種終端，該終端可以包括圖4對應的實施例中描述的任意一種增強現實處理裝置。

以上所述實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明實施例各實施例技術方案的精神和範圍。