面向公共安全領域的智能體認知圖譜的構建方法和系統與流程

2024-04-13 01:45:05

1.本發明涉及大數據與人工智慧技術領域，更具體的，涉及一種面向公共安全領域的智能體認知圖譜的構建方法和系統。


背景技術：

2.人工智慧已經從計算智能、感知智能，進入到認知智能階段。智能體圖譜作為人工智慧技術的重要組成部分，因其強大的多模態語義處理、互聯組織、信息檢索以及認知推理能力，將為各領域的人工智慧應用提供技術基礎。本質上，智能體圖譜是一張巨大的多模態語義網絡圖，描述各種具象實體和抽象概念以及其關係。
3.公共安全領域隨著大數據、雲計算、人工智慧等技術的應用，提升了情報研判、偵查打擊等能力。但是隨著公共安全形勢的變化，以及技術手段的變化，公共安全對更加深入、更加智能化、更加全面的預警預測、分析研判能力提出了更迫切的需求。將智能體圖譜應用於公共安全領域，運用智能體圖譜強大的認知推理能力，進行預警預測、分析研判，在公共安全領域的應用還處於空白階段。


技術實現要素：

4.本發明的目的是提供一種面向公共安全領域的智能體認知圖譜的構建方法和系統，能夠有效構建面向公共安全領域的智能體圖譜。
5.本發明第一方面提供了一種面向公共安全領域的智能體認知圖譜的構建方法，包括以下步驟：構建初始智能體認知圖譜，其中，所述初始智能體認知圖譜至少包括空間坐標系、虛擬實境場景以及多模態認知關係圖譜；基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別和認知抽取，其中，多模態識別方式至少包括圖像分割、視頻理解、音頻識別以及自然語言處理，認知抽取方式至少包括實體抽取、實體消歧、實體屬性抽取、實體關係抽取以及事件抽取；對公共安全領域抽取得到的多模態認知數據進行融合，其中，融合方式至少包括多模態實體連結和認知合併；根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建。
6.本方案中，所述構建初始智能體認知圖譜具體包括：基於opengl構建所述空間坐標系與比例尺，其中，所述空間坐標系至少包括物體坐標系、世界坐標系以及觀察坐標系；基於opengl建立景物模型以構建所述虛擬實境場景，其中，所述景物模型通過光柵化轉換成像素；基於所述空間坐標系和時序，映射各種事物在時空上的對應關係以及邏輯上的關聯關係，從而構建所述多模態認知關係圖譜。
7.本方案中，基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別，具體包括：基於deeplabv3以及預設網絡進行圖像分割，其中，所述預設網絡包括encoder以及decoder兩部分；基於tsm網絡進行視頻理解，其中，基於雙向tsm來構建離線視頻識別模型，利用單向tsm將特徵圖從前一幀轉移到當前幀；利用ars算法進行音頻識別；利用bert網絡進行自然語言處理。
8.本方案中，基於所述初始智能體認知圖譜對公共安全領域數據進行實體抽取時採用lstm+crf模型進行抽取。
9.本方案中，所述對公共安全領域抽取得到的多模態認知數據進行融合，具體包括：運用圖像分割識別網絡、視頻理解網絡以及bert網絡進行實體連結；合併外部認知庫以及關係資料庫以完成認知合併，其中，合併外部認知庫包括融合數據層和模式層，模式層的融合包括概念的融合、概念上下位關係的融合以及概念屬性定義的融合，數據層的融合包括實體的融合以及實體屬性的融合。
10.本方案中，所述根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建，具體包括：識別實體並列關係以及實體上下位關係，從而對各層次的概念進行聚類生成本體；完成基於邏輯的推理以及基於圖的推理，其中，基於邏輯的推理至少包括一階謂詞邏輯、描述邏輯以及基於規則的推理，基於神經網絡模型或path ranking算法完成基於圖的推理；對智能體認知圖譜的準確率以及覆蓋率進行評估，待評估合格後完成智能體認知圖譜的構建，其中，準確率至少包括句法準確性、語義準確性以及及時性。
11.本發明第二方面還提供一種面向公共安全領域的智能體認知圖譜的構建系統，包括存儲器和處理器，所述存儲器中包括面向公共安全領域的智能體認知圖譜的構建方法程序，所述面向公共安全領域的智能體認知圖譜的構建方法程序被所述處理器執行時實現如下步驟：構建初始智能體認知圖譜，其中，所述初始智能體認知圖譜至少包括空間坐標系、虛擬實境場景以及多模態認知關係圖譜；基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別和認知抽取，其中，多模態識別方式至少包括圖像分割、視頻理解、音頻識別以及自然語言處理，認知抽取方式至少包括實體抽取、實體消歧、實體屬性抽取、實體關係抽取以及事件抽取；對公共安全領域抽取得到的多模態認知數據進行融合，其中，融合方式至少包括多模態實體連結和認知合併；根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建。
12.本方案中，所述構建初始智能體認知圖譜具體包括：基於opengl構建所述空間坐標系與比例尺，其中，所述空間坐標系至少包括物體
坐標系、世界坐標系以及觀察坐標系；基於opengl建立景物模型以構建所述虛擬實境場景，其中，所述景物模型通過光柵化轉換成像素；基於所述空間坐標系和時序，映射各種事物在時空上的對應關係以及邏輯上的關聯關係，從而構建所述多模態認知關係圖譜。
13.本方案中，基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別，具體包括：基於deeplabv3以及預設網絡進行圖像分割，其中，所述預設網絡包括encoder以及decoder兩部分；基於tsm網絡進行視頻理解，其中，基於雙向tsm來構建離線視頻識別模型，利用單向tsm將特徵圖從前一幀轉移到當前幀；利用ars算法進行音頻識別；利用bert網絡進行自然語言處理。
14.本方案中，基於所述初始智能體認知圖譜對公共安全領域數據進行實體抽取時採用lstm+crf模型進行抽取。
15.本方案中，所述對公共安全領域抽取得到的多模態認知數據進行融合，具體包括：運用圖像分割識別網絡、視頻理解網絡以及bert網絡進行實體連結；合併外部認知庫以及關係資料庫以完成認知合併，其中，合併外部認知庫包括融合數據層和模式層，模式層的融合包括概念的融合、概念上下位關係的融合以及概念屬性定義的融合，數據層的融合包括實體的融合以及實體屬性的融合。
16.本方案中，所述根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建，具體包括：識別實體並列關係以及實體上下位關係，從而對各層次的概念進行聚類生成本體；完成基於邏輯的推理以及基於圖的推理，其中，基於邏輯的推理至少包括一階謂詞邏輯、描述邏輯以及基於規則的推理，基於神經網絡模型或path ranking算法完成基於圖的推理；對智能體認知圖譜的準確率以及覆蓋率進行評估，待評估合格後完成智能體認知圖譜的構建，其中，準確率至少包括句法準確性、語義準確性以及及時性。
17.本發明第三方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中包括機器的一種面向公共安全領域的智能體認知圖譜的構建方法程序，所述面向公共安全領域的智能體認知圖譜的構建方法程序被處理器執行時，實現如上述任一項所述的一種面向公共安全領域的智能體認知圖譜的構建方法的步驟。
18.本發明公開的一種面向公共安全領域的智能體認知圖譜的構建方法和系統，通過將智能體圖譜應用於公共安全領域，運用智能體圖譜強大的認知推理能力，進行預警預測、分析研判，能夠在公共安全領域的應用增加更多的可控性和便利性。
附圖說明
19.圖1示出了本發明一種面向公共安全領域的智能體認知圖譜的構建方法的流程
圖；圖2示出了本發明一種面向公共安全領域的智能體認知圖譜的構建方法的語音識別流程圖；圖3示出了本發明一種面向公共安全領域的智能體認知圖譜的構建系統的框圖。
具體實施方式
20.為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施方式對本發明進行進一步的詳細描述。需要說明的是，在不衝突的情況下，本技術的實施例及實施例中的特徵可以相互組合。
21.在下面的描述中闡述了很多具體細節以便於充分理解本發明，但是，本發明還可以採用其他不同於在此描述的其他方式來實施，因此，本發明的保護範圍並不受下面公開的具體實施例的限制。
22.圖1示出了本技術一種面向公共安全領域的智能體認知圖譜的構建方法的流程圖。
23.如圖1所示，本技術公開了一種面向公共安全領域的智能體認知圖譜的構建方法，包括以下步驟：s102，構建初始智能體認知圖譜；s104，基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別和認知抽取；s106，對公共安全領域抽取得到的多模態認知數據進行融合；s108，根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建。
24.需要說明的是，於本實施例中，通過空間坐標系、虛擬實境場景以及多模態認知關係圖譜構建初始智能體認知圖譜，其中，空間坐標系可以在以知覺者自己為中心的參考系，和以知覺者以外的事物所建立的參考系之間切換；多模態認知關係圖譜，是依託於空間坐標系和時序，映射各種事物在空間和時間上的對應關係，以及各種邏輯上的關聯關係的多模態網絡圖譜。
25.進一步地，在基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別時，至少包括圖像分割、視頻理解、音頻識別以及自然語言處理，在進行認知抽取時，至少包括實體抽取、實體消歧、實體屬性抽取、實體關係抽取以及事件抽取；而後對對公共安全領域抽取得到的多模態認知數據進行融合，其中，融合方式至少包括多模態實體連結和認知合併，例如綜合運用圖像分割識別網絡、視頻理解網絡、bert網絡進行實體連結，而對於認知合併而言，是指構建好智能體認知圖譜時，可以把第三方的認知庫融入到自己的認知圖譜中以補充內容，最後根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建，其中，進行認知加工時，採用的步驟例如本體構建、認知推理以及質量評估。
26.根據本發明實施例，所述構建初始智能體認知圖譜具體包括：基於opengl構建所述空間坐標系與比例尺，其中，所述空間坐標系至少包括物體坐標系、世界坐標系以及觀察坐標系；
基於opengl建立景物模型以構建所述虛擬實境場景，其中，所述景物模型通過光柵化轉換成像素；基於所述空間坐標系和時序，映射各種事物在時空上的對應關係以及邏輯上的關聯關係，從而構建所述多模態認知關係圖譜。
27.需要說明的是，於本實施例中，基於opengl構建所述空間坐標系與比例尺，其中，物體坐標系：物體坐標系（local coordinate）是和特定物體相關的坐標系。每個物體都有它們獨立的坐標系，當物體移動或改變方向時，和物體相關的坐標系也會改變。某些情況下，物體坐標系也稱為模型坐標系。因為模型頂點的坐標是在模型坐標中描述的；世界坐標系：世界坐標系建立了描述其他坐標系所需要的參考框架。也就是說，能夠用世界坐標系描述其他坐標系的位置，而不能用更大的、外部的坐標系來描述世界坐標系；觀察坐標系：觀察坐標系又稱目坐標系( eye coordinates)，簡稱ec，該坐標系是一個可定義在用戶坐標系中任何方向、任何地方的三維直角輔助坐標系。在觀察坐標系中通常要定義一個垂直於該坐標系z軸的平面，稱觀察平面。該坐標系主要用於指定裁剪空間，確定三維幾何形體哪一部分需要在屏幕上輸出；此外，通過觀察平面可以把世界坐標系中三維幾何形體需輸岀部分的坐標值轉換為規格化坐標系中的坐標值。
28.進一步地，使用opengl構建虛擬實境場景，包括各種現實世界的事物，其中，構建場景的主要圖形操作的基本步驟是：a）根據基本圖形單元建立景物模型，並且對所建立的模型進行數學描述（opengl中把：點、線、多邊形、圖像和位圖都作為基本圖形單元）；b）把景物模型放在三維空間中的合適的位置，並且設置視點（viewpoint）以觀察所感興趣的景觀；c）計算模型中所有物體的色彩，其中的色彩根據應用要求來確定，同時確定光照條件、紋理粘貼方式等；d）把景物模型的數學描述及其色彩信息轉換至計算機屏幕上的象素，這個過程也就是光柵化（rasterization）。
29.另外，基於所述空間坐標系和時序，映射各種事物在時空上的對應關係以及邏輯上的關聯關係，從而構建所述多模態認知關係圖譜，其中，有向圖, 其中 分別代表實體、關係、屬性和屬性值；和
ꢀꢀ
分別代表關係三元組和屬性三元組；三元組
ꢀꢀ
表示實體與實體具有關係
ꢀꢀ
；三元組表示實體具有屬性，其屬性值為
ꢀꢀ
。
30.實體分為具象實體和抽象實體。具象實體就是指可視化的三維物體或場景，抽象實體是基於具象實體抽象出來的文字概念、標籤。抽象實體又分為物體實體和事件實體。物體實體可以和具象物體一一對應。事件實體是事物的一系列動態變化過程的組合，比如，「日出」是地球和太陽在相對運動的過程中，產生的一系列場景視覺效果變化的過程的組合。
31.實體可以具有多種屬性，比如人具有身高、體重、性別、年齡、動作、表情等屬性，屬性可以是文字概念形式，比如身高：「170cm」，也可以是圖形或動畫形式的，比如，「跑」對應一個動作的動畫。實體之間可以具有多種關係，可以是空間、時序上的關係，比如上下、左右、前後、先後等，可以是邏輯上的關係，比如朋友、師生等等。
transformers)網絡進行自然語言處理，具體地，使用了兩種訓練策略：其一是掩碼語言模型 (mlm)，在將單詞序列輸入 bert 之前，每個序列中 15% 的單詞被替換為 [mask] 標記，然後，該模型嘗試根據序列中其他非掩碼單詞提供的上下文來預測掩碼單詞的原始值，具體來講，輸出詞的預測需要：（1）在編碼器輸出之上添加一個分類層；（2）將輸出向量乘以嵌入矩陣，將它們轉換為詞彙維度；（3）用 softmax 計算詞彙表中每個單詞的概率。其二是下一句預測（nsp），在 bert 訓練過程中，模型接收成對的句子作為輸入，並學習預測該對中的第二個句子是否是原始文檔中的後續句子，在訓練期間，50% 的輸入是一對句子，其中第二個句子是原始文檔中的後續句子，而在另外 50% 的輸入中，從語料庫中隨機選擇一個句子作為第二個句子，並假設該隨機句子與第一句不相連，為了幫助模型在訓練中區分兩個句子，輸入在進入模型之前按如下方式處理：（1）在第一句的開頭插入一個 [cls] 標記，在每個句子的結尾插入一個 [sep] 標記；（2）將指示句子 a 或句子 b 的sentence embedding添加到每個標記中；entence embedding在概念上類似於當詞彙表長度為 2 的token embedding；（3）positional embedding 被添加到每個標記以指示其在序列中的位置。
[0040]
根據本發明實施例，基於所述初始智能體認知圖譜對公共安全領域數據進行實體抽取時採用lstm+crf模型進行抽取。
[0041]
需要說明的是，於本實施例中，建立多模態數據的對應和依賴關係，並基於多模態數據進行實體抽取、實體消歧、實體屬性抽取、實體關係抽取、事件抽取等。其中，以實體抽取為例，採用lstm+crf模型進行實體抽取，將lstm和crf結合在一起，可以捕捉到輸入的過去特徵和句子級的標籤信息，crf層有一個狀態轉換矩陣參數，通過crf層，可以有效地使用過去和未來的標籤信息來預測當前標籤，這與雙向lstm有點類似，每個句子按照詞序逐個輸入雙向lstm中，結合正反向隱層輸出得到每個詞屬於每個實體類別標籤的概率，輸入crf中，優化目標函數，從而得到每個詞所屬的實體類別。其中，長短期記憶（long short-term memory, lstm）是一種特殊的rnn,主要是為了解決長序列訓練過程中的梯度消失和梯度爆炸問題；而固定速率係數（constant ratefactor）是指保證「一定質量」，智能分配碼率，包括同一幀內分配碼率、幀間分配碼率。
[0042]
根據本發明實施例，所述對公共安全領域抽取得到的多模態認知數據進行融合，具體包括：運用圖像分割識別網絡、視頻理解網絡以及bert網絡進行實體連結；合併外部認知庫以及關係資料庫以完成認知合併，其中，合併外部認知庫包括融合數據層和模式層，模式層的融合包括概念的融合、概念上下位關係的融合以及概念屬性定義的融合，數據層的融合包括實體的融合以及實體屬性的融合。
[0043]
需要說明的是，於本實施例中，對公共安全領域抽取的多模態認知數據進行融合，包括多模態實體連結和認知合併，其中，實體連結是指將獲得的所有的相同實體、 相關實體都對應到認知庫中同一個正確的實體上的操作。 首先要通過圖像分割識別網絡、視頻理解網絡、bert網絡等技術，判斷現有知識庫中的實體是否有相同實體或者相關實體，也就是說將表示相同含義的實體合併為一個正確的實體；接著通過實體抽取的相關技術獲取到實體對象；最後將實體對象對應到認知庫中正確的實體上。
[0044]
而認知合併是指構建好智能體認知圖譜時，可以把第三方的認知庫融入到自己的
認知圖譜中。融入外部的認知庫，需要分別融入數據層和模式層。模式層的融合包括：概念的融合、概念上下位關係的融合、概念屬性定義的融合。數據層的融合包括：實體的融合、實體屬性的融合。認知合併包括合併外部認知庫，以及合併關係資料庫，將外部認知庫融合到本地認知庫需要處理兩個層面的問題：數據層的融合，包括實體的指稱、屬性、關係以及所屬類別等，主要的問題是如何避免實例以及關係的衝突問題，造成不必要的冗餘。通過模式層的融合，將新得到的本體融入已有的本體庫中然後是合併關係資料庫，在智能體認知圖譜構建過程中，一個重要的高質量認知來源是企業或者機構自己的關係資料庫。為了將這些結構化的歷史數據融入到認知圖譜中，可以採用資源描述框架（rdf）作為數據模型。
[0045]
根據本發明實施例，所述根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建，具體包括：識別實體並列關係以及實體上下位關係，從而對各層次的概念進行聚類生成本體；完成基於邏輯的推理以及基於圖的推理，其中，基於邏輯的推理至少包括一階謂詞邏輯、描述邏輯以及基於規則的推理，基於神經網絡模型或path ranking算法完成基於圖的推理；對智能體認知圖譜的準確率以及覆蓋率進行評估，待評估合格後完成智能體認知圖譜的構建，其中，準確率至少包括句法準確性、語義準確性以及及時性。
[0046]
需要說明的是，於本實施例中，本體可以採用人工編輯的方式手動構建（藉助本體編輯軟體），也可以以數據驅動的自動化方式構建本體。其中，自動化本體構建過程包含三個階段：a）實體並列關係相似度是用於考察任意給定的兩個實體在多大程度上屬於同一概念分類的指標測度，相似度越高，表明這兩個實體越有可能屬於同一語義類別。所謂並列關係，是相對於縱向的概念隸屬關係而言的。例如「中國」和「美國」作為國家名稱的實體，具有較高的並列關係相似度；而「美國」和「手機」這兩個實體，屬於同一語義類別的可能性較低，因此具有較低的並列關係相似度。當前主流的實體並列關係相似度計算方法有兩種：模式匹配法和分布相似度法。其中，模式匹配法採用預先定義實體對模式的方式，通過模式匹配取得給定關鍵字組合在同一語料單位中共同出現的頻率，據此計算實體對之間的相似度。分布相似度（distributional similarity）方法的前提假設是：在相似的上下文環境中頻繁出現的實體之間具有語義上的相似性。在具體計算時，首先將每個實體表示成1個n維向量，其中，向量的每個維度表示1個預先定義的上下文環境，向量元素值表示該實體出現在各上下文環境中的概率，然後就可以通過求解向量間的相似度，得到實體間的並列關係相似度；b）實體上下位關係抽取是用於確定概念之間的隸屬（isa）關係，這種關係也稱為上下位關係，例如，詞組（飛彈，武器）構成上下位關係，其中的「飛彈」為下位詞，「武器」為上位詞。實體上下位關係抽取是該領域的研究重點，主要的研究方法是基於語法模式（如hearst模式）抽取isa實體對。當前主流的信息抽取系統，如knowitall，textrunner，nell等，都可以在語法層面抽取實體上下位關係，而probase則是採用基於語義的迭代抽取技術，以逐步求精的方式抽取實體上下位關係。基於語義的迭代抽取技術，一般是利用概率模型判定isa關係和區分上下位詞，通常會藉助百科類網站提供的概念分類知識來幫助訓練模型，以提高算法精度。例如probase在處理「domestic animals other than dogs such as cats」這樣的句子時，可以通過抽取isa實體對中的上下位詞得到兩個備選事實：（cat，isa，dog）和
（cat，isa，domestic animal）。如果probase中已經有關於這些實體的概念，就可以得到正確的結果；c）本體的生成，主要任務是對各層次得到的概念進行聚類，並對其進行語義類的標定，為該類的中的實體指定一個或多個公共上位詞。
[0047]
進一步地，認知推理是指從認知庫中已有的實體關係數據出發，經過計算機推理，建立實體間的新關聯，從而拓展和豐富認知網絡。認知推理是認知圖譜構建的重要手段和關鍵環節，通過認知推理，能夠從現有認知中發現新的認知。例如已知（乾隆，父親，雍正）和（雍正，父親，康熙），可以得到（乾隆，祖父，康熙）或（康熙，孫子，乾隆）。認知推理的對象並不局限於實體間的關係，也可以是實體的屬性值、本體的概念層次關係等。例如已知某實體的生日屬性，可以通過推理得到該實體的年齡屬性。根據本體庫中的概念繼承關係，也可以進行概念推理，例如已知（老虎，科，貓科）和（貓科，目，食肉目），可以推出（老虎，目，食肉目）。認知推理方法可以分為兩大類：基於邏輯的推理和基於圖的推理。基於邏輯的推理主要包括一階謂詞邏輯、描述邏輯以及基於規則的推理。一階謂詞邏輯建立在命題的基礎上，在一階謂詞邏輯中，命題被分解為個體（individuals）和謂詞（predication）兩部分。個體是指可獨立存在的客體，可以是一個具體的事物，例如書桌，也可以是一個抽象的概念，例如學生。謂詞是用來刻畫個體的性質及事物關係的詞，例如三元組（a，friend，b）中friend就是表達個體a和b關係的謂詞。舉例來說，對於人際關係可以採用一階謂詞邏輯進行推理，方法是將關係視為謂詞，將人物視為變元，採用邏輯運算符號表達人際關係，然後設定關係推理的邏輯和約束條件，就可以實現簡單關係的邏輯推理。對於複雜的實體關係，可以採用描述邏輯進行推理。描述邏輯（description logic）是一種基於對象的知識表示的形式化工具，是一階謂詞邏輯的子集，它是本體語言推理的重要設計基礎。基於描述邏輯的知識庫一般包含tbox（terminology box）與abox（assertion box），其中，tbox是用於描述概念之間和關係之間的關係的公理集合，abox是描述具體事實的公理集合。藉助這兩個工具，可以將基於描述邏輯的推理最終歸結為abox的一致性檢驗問題，從而簡化並最終實現關係推理。當基於本體的概念層次進行推理時，對象主要是以web本體語言（owl）描述的概念，owl提供豐富的語句，具有很強的知識描述能力。然而在描述屬性合成和屬性值轉移方面，網絡本體語言的表達能力就顯得不足，為了實現推理，可以利用專門的規則語言（如semantic web rule language，swrl）對本體模型添加自定義規則進行功能拓展。其中，基於圖的推理方法主要基於神經網絡模型或path ranking算法。將知識庫中的實體表達為詞向量的形式，進而採用神經張量網絡模型（neural tensor networks）進行關係推理。
[0048]
進一步地，質量評估是認知加工最後的「質檢」環節，確保智能體多模態認知圖譜的合理性，具體地，a）accuracy 準確率是指實體和關係（由圖中的節點和邊編碼）正確地表示現實生活中的現象的程度。準確率可以進一步細分為三個維度：syntactic accuracy 句法準確性、semantic accuracy 語義準確性和 timeliness 及時性； b）coverage 覆蓋率是指避免遺漏與域相關的元素，否則可能會產生不完整的查詢結果或推導結果、有偏差的模型等。
[0049]
圖3示出了本發明一種面向公共安全領域的智能體認知圖譜的構建系統的框圖。
[0050]
如圖3所示，本發明公開了一種面向公共安全領域的智能體認知圖譜的構建系統，包括存儲器和處理器，所述存儲器中包括面向公共安全領域的智能體認知圖譜的構建方法程序，所述面向公共安全領域的智能體認知圖譜的構建方法程序被所述處理器執行時實現
如下步驟：構建初始智能體認知圖譜，其中，所述初始智能體認知圖譜至少包括空間坐標系、虛擬實境場景以及多模態認知關係圖譜；基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別和認知抽取，其中，多模態識別方式至少包括圖像分割、視頻理解、音頻識別以及自然語言處理，認知抽取方式至少包括實體抽取、實體消歧、實體屬性抽取、實體關係抽取以及事件抽取；對公共安全領域抽取得到的多模態認知數據進行融合，其中，融合方式至少包括多模態實體連結和認知合併；根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建。
[0051]
需要說明的是，於本實施例中，通過空間坐標系、虛擬實境場景以及多模態認知關係圖譜構建初始智能體認知圖譜，其中，空間坐標系可以在以知覺者自己為中心的參考系，和以知覺者以外的事物所建立的參考系之間切換；多模態認知關係圖譜，是依託於空間坐標系和時序，映射各種事物在空間和時間上的對應關係，以及各種邏輯上的關聯關係的多模態網絡圖譜。
[0052]
進一步地，在基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別時，至少包括圖像分割、視頻理解、音頻識別以及自然語言處理，在進行認知抽取時，至少包括實體抽取、實體消歧、實體屬性抽取、實體關係抽取以及事件抽取；而後對對公共安全領域抽取得到的多模態認知數據進行融合，其中，融合方式至少包括多模態實體連結和認知合併，例如綜合運用圖像分割識別網絡、視頻理解網絡、bert網絡進行實體連結，而對於認知合併而言，是指構建好智能體認知圖譜時，可以把第三方的認知庫融入到自己的認知圖譜中以補充內容，最後根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建，其中，進行認知加工時，採用的步驟例如本體構建、認知推理以及質量評估。
[0053]
根據本發明實施例，所述構建初始智能體認知圖譜具體包括：基於opengl構建所述空間坐標系與比例尺，其中，所述空間坐標系至少包括物體坐標系、世界坐標系以及觀察坐標系；基於opengl建立景物模型以構建所述虛擬實境場景，其中，所述景物模型通過光柵化轉換成像素；基於所述空間坐標系和時序，映射各種事物在時空上的對應關係以及邏輯上的關聯關係，從而構建所述多模態認知關係圖譜。
[0054]
需要說明的是，於本實施例中，基於opengl構建所述空間坐標系與比例尺，其中，物體坐標系：物體坐標系（local coordinate）是和特定物體相關的坐標系。每個物體都有它們獨立的坐標系，當物體移動或改變方向時，和物體相關的坐標系也會改變。某些情況下，物體坐標系也稱為模型坐標系。因為模型頂點的坐標是在模型坐標中描述的；世界坐標系：世界坐標系建立了描述其他坐標系所需要的參考框架。也就是說，能夠用世界坐標系描述其他坐標系的位置，而不能用更大的、外部的坐標系來描述世界坐標系；觀察坐標系：觀察坐標系又稱目坐標系( eye coordinates)，簡稱ec，該坐標系是一個可定義在用戶坐標系中任何方向、任何地方的三維直角輔助坐標系。在觀察坐標系中通常要定義一個垂直於
該坐標系z軸的平面，稱觀察平面。該坐標系主要用於指定裁剪空間，確定三維幾何形體哪一部分需要在屏幕上輸出；此外，通過觀察平面可以把世界坐標系中三維幾何形體需輸岀部分的坐標值轉換為規格化坐標系中的坐標值。
[0055]
進一步地，使用opengl構建虛擬實境場景，包括各種現實世界的事物，其中，構建場景的主要圖形操作的基本步驟是：a）根據基本圖形單元建立景物模型，並且對所建立的模型進行數學描述（opengl中把：點、線、多邊形、圖像和位圖都作為基本圖形單元）；b）把景物模型放在三維空間中的合適的位置，並且設置視點（viewpoint）以觀察所感興趣的景觀；c）計算模型中所有物體的色彩，其中的色彩根據應用要求來確定，同時確定光照條件、紋理粘貼方式等；d）把景物模型的數學描述及其色彩信息轉換至計算機屏幕上的象素，這個過程也就是光柵化（rasterization）。
[0056]
另外，基於所述空間坐標系和時序，映射各種事物在時空上的對應關係以及邏輯上的關聯關係，從而構建所述多模態認知關係圖譜，其中，有向圖 , 其中 分別代表實體、關係、屬性和屬性值；和
ꢀꢀ
分別代表關係三元組和屬性三元組；三元組
ꢀꢀ
表示實體與實體具有關係
ꢀꢀ
；三元組 表示實體具有屬性，其屬性值為
ꢀꢀ
。
[0057]
實體分為具象實體和抽象實體。具象實體就是指可視化的三維物體或場景，抽象實體是基於具象實體抽象出來的文字概念、標籤。抽象實體又分為物體實體和事件實體。物體實體可以和具象物體一一對應。事件實體是事物的一系列動態變化過程的組合，比如，「日出」是地球和太陽在相對運動的過程中，產生的一系列場景視覺效果變化的過程的組合。
[0058]
實體可以具有多種屬性，比如人具有身高、體重、性別、年齡、動作、表情等屬性，屬性可以是文字概念形式，比如身高：「170cm」，也可以是圖形或動畫形式的，比如，「跑」對應一個動作的動畫。實體之間可以具有多種關係，可以是空間、時序上的關係，比如上下、左右、前後、先後等，可以是邏輯上的關係，比如朋友、師生等等。
[0059]
根據本發明實施例，基於所述初始智能體認知圖譜對公共安全領域數據進行多模態識別，具體包括：基於deeplabv3以及預設網絡進行圖像分割，其中，所述預設網絡包括encoder以及decoder兩部分；基於tsm網絡進行視頻理解，其中，基於雙向tsm來構建離線視頻識別模型，利用單向tsm將特徵圖從前一幀轉移到當前幀；利用ars算法進行音頻識別；利用bert網絡進行自然語言處理。
[0060]
需要說明的是，於本實施例中，運用基於提高特徵解析度的deeplabv3+網絡進行圖像分割和識別，預設網絡主要分為兩個部分，encoder,decoder，其中，採用xception作為主幹網絡，使用aspp結構，解決多尺度問題。為了將底層特徵與高層特徵融合，提高分割邊界準確度，引入decoder部分。
[0061]
1、在encoder部分，對壓縮四次的初步有效特徵層利用aspp結構特徵提取，然後進行合併，再進行1x1卷積壓縮特徵。
[0062]
2、在decoder中，會對壓縮兩次的初步有效特徵層利用1x1卷積調整通道數，與上面經過aspp處理的特徵進行連接，之後進行兩次卷積操作得到最終的特徵圖。
[0063]
3、利用得到的最終特徵圖，進行預測，還需兩步操作（1）利用一個1x1卷積進行通道調整，調整成類別總數目（2）resize，上採樣使輸出預測圖片恢復原圖大小。
[0064]
進一步地，基於tsm（trusted services module，可信服務模塊）網絡進行視頻理解，具體地，使用雙向tsm來構建離線視頻識別模型。給定視頻 v，首先從視頻中採樣t幀 $f_1, ..., f_t$，幀採樣後，2d cnn單獨處理每個幀，並對輸出logits求平均值以給出最終預測，為每個殘差模塊插入了tsm，無需計算即可實現時間信息融合，backbone為resnet50（也可以是其他預訓練的模型，mobilenetv2則可放移動端），在每個殘差模塊（residual block）都嵌入tsm，時間域感受野增大1倍，僅僅通過移位的操作就能實現偽3d模型的效果。單向tsm將特徵從前一幀轉移到當前幀，用於在線識別的單向tsm在推理過程中，對於每一幀，我們保存每個殘差塊的前「1/8」特徵圖並將其緩存在內存中，對於下一幀，我們用緩存的特徵圖來替換當前特徵圖的前「1/8」，我們使用
ꢀ「
7/8」當前特徵圖和
ꢀ「
1/8」前一幀的特徵圖組合來生成下一層，並重複。
[0065]
進一步地，利用ars算法進行音頻識別；具體地，如圖2所示，asr算法遵循「輸入-編碼-解碼-輸出」的過程，其中，編碼過程：語音識別的輸入是聲音，需要編碼過程將其轉變為數字信息，並提取其中的特徵進行處理，編碼時會將聲音信號按照很短的時間間隔，切成小段，成為幀，對於每一幀，可以通過mfcc特徵提取信號中的特徵，將其變成一個多維向量，向量中的每個維度都是這幀信號的一個特徵。解碼過程：解碼過程則是將編碼得到的向量變成文字的過程，需要經過兩個模型的處理，一個模型是聲學模型，一個模型是語言模型，聲學模型通過處理編碼得到的向量，將相鄰的幀組合起來變成音素，如中文拼音中的聲母和韻母，再組合起來變成單個單詞或漢字。語言模型用來調整聲學模型所得到的不合邏輯的字詞，使識別結果變得通順。
[0066]
進一步地，利用bert (bidirectional encoder representations from transformers)網絡進行自然語言處理，具體地，使用了兩種訓練策略：其一是掩碼語言模型 (mlm)，在將單詞序列輸入 bert 之前，每個序列中 15% 的單詞被替換為 [mask] 標記，然後，該模型嘗試根據序列中其他非掩碼單詞提供的上下文來預測掩碼單詞的原始值，具體來講，輸出詞的預測需要：（1）在編碼器輸出之上添加一個分類層；（2）將輸出向量乘以嵌入矩陣，將它們轉換為詞彙維度；（3）用 softmax 計算詞彙表中每個單詞的概率。其二是下一句預測（nsp），在 bert 訓練過程中，模型接收成對的句子作為輸入，並學習預測該對中的第二個句子是否是原始文檔中的後續句子，在訓練期間，50% 的輸入是一對句子，其中第二個句子是原始文檔中的後續句子，而在另外 50% 的輸入中，從語料庫中隨機選擇一個句子作為第二個句子，並假設該隨機句子與第一句不相連，為了幫助模型在訓練中區分兩個句子，輸入在進入模型之前按如下方式處理：（1）在第一句的開頭插入一個 [cls] 標記，在每個句子的結尾插入一個 [sep] 標記；（2）將指示句子 a 或句子 b 的sentence embedding添加到每個標記中；entence embedding在概念上類似於當詞彙表長度為 2 的
token embedding；（3）positional embedding 被添加到每個標記以指示其在序列中的位置。
[0067]
根據本發明實施例，基於所述初始智能體認知圖譜對公共安全領域數據進行實體抽取時採用lstm+crf模型進行抽取。
[0068]
需要說明的是，於本實施例中，建立多模態數據的對應和依賴關係，並基於多模態數據進行實體抽取、實體消歧、實體屬性抽取、實體關係抽取、事件抽取等。其中，以實體抽取為例，採用lstm+crf模型進行實體抽取，將lstm和crf結合在一起，可以捕捉到輸入的過去特徵和句子級的標籤信息，crf層有一個狀態轉換矩陣參數，通過crf層，可以有效地使用過去和未來的標籤信息來預測當前標籤，這與雙向lstm有點類似，每個句子按照詞序逐個輸入雙向lstm中，結合正反向隱層輸出得到每個詞屬於每個實體類別標籤的概率，輸入crf中，優化目標函數，從而得到每個詞所屬的實體類別。其中，長短期記憶（long short-term memory, lstm）是一種特殊的rnn,主要是為了解決長序列訓練過程中的梯度消失和梯度爆炸問題；而固定速率係數（constant ratefactor）是指保證「一定質量」，智能分配碼率，包括同一幀內分配碼率、幀間分配碼率。
[0069]
根據本發明實施例，所述對公共安全領域抽取得到的多模態認知數據進行融合，具體包括：運用圖像分割識別網絡、視頻理解網絡以及bert網絡進行實體連結；合併外部認知庫以及關係資料庫以完成認知合併，其中，合併外部認知庫包括融合數據層和模式層，模式層的融合包括概念的融合、概念上下位關係的融合以及概念屬性定義的融合，數據層的融合包括實體的融合以及實體屬性的融合。
[0070]
需要說明的是，於本實施例中，對公共安全領域抽取的多模態認知數據進行融合，包括多模態實體連結和認知合併，其中，實體連結是指將獲得的所有的相同實體、 相關實體都對應到認知庫中同一個正確的實體上的操作。 首先要通過圖像分割識別網絡、視頻理解網絡、bert網絡等技術，判斷現有知識庫中的實體是否有相同實體或者相關實體，也就是說將表示相同含義的實體合併為一個正確的實體；接著通過實體抽取的相關技術獲取到實體對象；最後將實體對象對應到認知庫中正確的實體上。
[0071]
而認知合併是指構建好智能體認知圖譜時，可以把第三方的認知庫融入到自己的認知圖譜中。融入外部的認知庫，需要分別融入數據層和模式層。模式層的融合包括：概念的融合、概念上下位關係的融合、概念屬性定義的融合。數據層的融合包括：實體的融合、實體屬性的融合。認知合併包括合併外部認知庫，以及合併關係資料庫，將外部認知庫融合到本地認知庫需要處理兩個層面的問題：數據層的融合，包括實體的指稱、屬性、關係以及所屬類別等，主要的問題是如何避免實例以及關係的衝突問題，造成不必要的冗餘。通過模式層的融合，將新得到的本體融入已有的本體庫中然後是合併關係資料庫，在智能體認知圖譜構建過程中，一個重要的高質量認知來源是企業或者機構自己的關係資料庫。為了將這些結構化的歷史數據融入到認知圖譜中，可以採用資源描述框架（rdf）作為數據模型。
[0072]
根據本發明實施例，所述根據公共安全領域預設的邏輯推理規則進行認知加工，以完成智能體認知圖譜的構建，具體包括：識別實體並列關係以及實體上下位關係，從而對各層次的概念進行聚類生成本體；
完成基於邏輯的推理以及基於圖的推理，其中，基於邏輯的推理至少包括一階謂詞邏輯、描述邏輯以及基於規則的推理，基於神經網絡模型或path ranking算法完成基於圖的推理；對智能體認知圖譜的準確率以及覆蓋率進行評估，待評估合格後完成智能體認知圖譜的構建，其中，準確率至少包括句法準確性、語義準確性以及及時性。
[0073]
需要說明的是，於本實施例中，本體可以採用人工編輯的方式手動構建（藉助本體編輯軟體），也可以以數據驅動的自動化方式構建本體。其中，自動化本體構建過程包含三個階段：a）實體並列關係相似度是用於考察任意給定的兩個實體在多大程度上屬於同一概念分類的指標測度，相似度越高，表明這兩個實體越有可能屬於同一語義類別。所謂並列關係，是相對於縱向的概念隸屬關係而言的。例如「中國」和「美國」作為國家名稱的實體，具有較高的並列關係相似度；而「美國」和「手機」這兩個實體，屬於同一語義類別的可能性較低，因此具有較低的並列關係相似度。當前主流的實體並列關係相似度計算方法有兩種：模式匹配法和分布相似度法。其中，模式匹配法採用預先定義實體對模式的方式，通過模式匹配取得給定關鍵字組合在同一語料單位中共同出現的頻率，據此計算實體對之間的相似度。分布相似度（distributional similarity）方法的前提假設是：在相似的上下文環境中頻繁出現的實體之間具有語義上的相似性。在具體計算時，首先將每個實體表示成1個n維向量，其中，向量的每個維度表示1個預先定義的上下文環境，向量元素值表示該實體出現在各上下文環境中的概率，然後就可以通過求解向量間的相似度，得到實體間的並列關係相似度；b）實體上下位關係抽取是用於確定概念之間的隸屬（isa）關係，這種關係也稱為上下位關係，例如，詞組（飛彈，武器）構成上下位關係，其中的「飛彈」為下位詞，「武器」為上位詞。實體上下位關係抽取是該領域的研究重點，主要的研究方法是基於語法模式（如hearst模式）抽取isa實體對。當前主流的信息抽取系統，如knowitall，textrunner，nell等，都可以在語法層面抽取實體上下位關係，而probase則是採用基於語義的迭代抽取技術，以逐步求精的方式抽取實體上下位關係。基於語義的迭代抽取技術，一般是利用概率模型判定isa關係和區分上下位詞，通常會藉助百科類網站提供的概念分類知識來幫助訓練模型，以提高算法精度。例如probase在處理「domestic animals other than dogs such as cats」這樣的句子時，可以通過抽取isa實體對中的上下位詞得到兩個備選事實：（cat，isa，dog）和（cat，isa，domestic animal）。如果probase中已經有關於這些實體的概念，就可以得到正確的結果；c）本體的生成，主要任務是對各層次得到的概念進行聚類，並對其進行語義類的標定，為該類的中的實體指定一個或多個公共上位詞。
[0074]
進一步地，認知推理是指從認知庫中已有的實體關係數據出發，經過計算機推理，建立實體間的新關聯，從而拓展和豐富認知網絡。認知推理是認知圖譜構建的重要手段和關鍵環節，通過認知推理，能夠從現有認知中發現新的認知。例如已知（乾隆，父親，雍正）和（雍正，父親，康熙），可以得到（乾隆，祖父，康熙）或（康熙，孫子，乾隆）。認知推理的對象並不局限於實體間的關係，也可以是實體的屬性值、本體的概念層次關係等。例如已知某實體的生日屬性，可以通過推理得到該實體的年齡屬性。根據本體庫中的概念繼承關係，也可以進行概念推理，例如已知（老虎，科，貓科）和（貓科，目，食肉目），可以推出（老虎，目，食肉目）。認知推理方法可以分為兩大類：基於邏輯的推理和基於圖的推理。基於邏輯的推理主要包括一階謂詞邏輯、描述邏輯以及基於規則的推理。一階謂詞邏輯建立在命題的基礎上，
在一階謂詞邏輯中，命題被分解為個體（individuals）和謂詞（predication）兩部分。個體是指可獨立存在的客體，可以是一個具體的事物，例如書桌，也可以是一個抽象的概念，例如學生。謂詞是用來刻畫個體的性質及事物關係的詞，例如三元組（a，friend，b）中friend就是表達個體a和b關係的謂詞。舉例來說，對於人際關係可以採用一階謂詞邏輯進行推理，方法是將關係視為謂詞，將人物視為變元，採用邏輯運算符號表達人際關係，然後設定關係推理的邏輯和約束條件，就可以實現簡單關係的邏輯推理。對於複雜的實體關係，可以採用描述邏輯進行推理。描述邏輯（description logic）是一種基於對象的知識表示的形式化工具，是一階謂詞邏輯的子集，它是本體語言推理的重要設計基礎。基於描述邏輯的知識庫一般包含tbox（terminology box）與abox（assertion box），其中，tbox是用於描述概念之間和關係之間的關係的公理集合，abox是描述具體事實的公理集合。藉助這兩個工具，可以將基於描述邏輯的推理最終歸結為abox的一致性檢驗問題，從而簡化並最終實現關係推理。當基於本體的概念層次進行推理時，對象主要是以web本體語言（owl）描述的概念，owl提供豐富的語句，具有很強的知識描述能力。然而在描述屬性合成和屬性值轉移方面，網絡本體語言的表達能力就顯得不足，為了實現推理，可以利用專門的規則語言（如semantic web rule language，swrl）對本體模型添加自定義規則進行功能拓展。其中，基於圖的推理方法主要基於神經網絡模型或path ranking算法。將知識庫中的實體表達為詞向量的形式，進而採用神經張量網絡模型（neural tensor networks）進行關係推理。
[0075]
進一步地，質量評估是認知加工最後的「質檢」環節，確保智能體多模態認知圖譜的合理性，具體地，a）accuracy 準確率是指實體和關係（由圖中的節點和邊編碼）正確地表示現實生活中的現象的程度。準確率可以進一步細分為三個維度：syntactic accuracy 句法準確性、semantic accuracy 語義準確性和 timeliness 及時性； b）coverage 覆蓋率是指避免遺漏與域相關的元素，否則可能會產生不完整的查詢結果或推導結果、有偏差的模型等。
[0076]
本發明第三方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中包括一種面向公共安全領域的智能體認知圖譜的構建方法程序，所述面向公共安全領域的智能體認知圖譜的構建方法程序被處理器執行時，實現如上述任一項所述的一種面向公共安全領域的智能體認知圖譜的構建方法的步驟。
[0077]
本發明公開的一種面向公共安全領域的智能體認知圖譜的構建方法和系統，通過將智能體圖譜應用於公共安全領域，運用智能體圖譜強大的認知推理能力，進行預警預測、分析研判，能夠在公共安全領域的應用增加更多的可控性和便利性。
[0078]
在本技術所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或組件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
[0079]
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元；既可以位於一個地方，也可以分布到多個網絡單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
[0080]
另外，在本發明各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
[0081]
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程序指令相關的硬體來完成，前述的程序可以存儲於計算機可讀取存儲介質中，該程序在執行時，執行包括上述方法實施例的步驟；而前述的存儲介質包括：移動存儲設備、只讀存儲器（rom，read-only memory）、隨機存取存儲器（ram，random access memory）、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0082]
或者，本發明上述集成的單元如果以軟體功能模塊的形式實現並作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備（可以是個人計算機、伺服器、或者網絡設備等）執行本發明各個實施例所述方法的全部或部分。而前述的存儲介質包括：移動存儲設備、rom、ram、磁碟或者光碟等各種可以存儲程序代碼的介質。