一種命名實體識別方法、裝置、設備及存儲介質與流程

2024-04-13 01:26:05

1.本發明涉及自然語言處理技術領域，尤其涉及一種命名實體識別方法、裝置、設備及存儲介質。


背景技術：

2.命名實體識別(named entity recognition，簡稱ner)，又稱作"專名識別"，是指識別文本中具有特定意義的實體，主要包括人名、地名、機構名、專有名詞等。
3.目前，某些非英文的命名實體識別方案通過對英文命名實體識別方案進行改動而來，比如，中文命名實體識別方案即通過對英文命名實體識別方案進行改動而來。
4.由於某些非英文(比如中文)的文本有其自身的特點，對英文命名實體識別方案進行改動而來的命名實體識別方案並未充分考慮這些非英文(比如中文)文本的特點，這導致這些非英文(比如中文)的實體識別方案的識別準確度不高。


技術實現要素：

5.有鑑於此，本發明提供了一種命名實體識別方法、裝置、設備及存儲介質，用以解決某些非英文(比如中文)的命名實體識別方案的識別準確度不高的問題，其技術方案如下：
6.一種命名實體識別方法，包括：
7.獲取目標文本；
8.確定所述目標文本中各個字分別對應的第一目標向量，其中，所述第一目標向量能夠表徵對應字所在詞的邊界信息和對應字的語義信息；
9.基於所述目標文本中各個字分別對應的第一目標向量，確定所述目標文本中各個字分別對應的第二目標向量，其中，所述第二目標向量能夠表徵對應字與所述目標文本中各個字的相關性信息；
10.基於所述目標文本中各個字分別對應的第二目標向量，確定所述目標文本中的命名實體。
11.可選的，所述確定所述目標文本中各個字分別對應的第一目標向量，包括：
12.獲取所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的影響力傳播向量，其中，所述影響力傳播向量通過對多個訓練文本進行學習得到，一個字對應的影響力傳播向量為該字對應的影響力信息的表示向量，該字對應的影響力信息包括周邊字對該字的影響力信息和/或該字對周邊字的影響力信息；
13.基於所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的影響力傳播向量，確定所述目標文本中各個字分別對應的影響力傳播參數；
14.基於所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的影響力傳播參數，確定所述目標文本中各個字分別對應的第一目標向量。
15.可選的，一個字對應的影響力傳播向量包括收斂傳播向量和/或輻射傳播向量，一
個字對應的收斂傳播向量、輻射傳播向量依次為表徵周邊字對該字的影響力的向量、表徵該字對周邊字的影響力的向量；
16.所述基於所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的影響力傳播向量，確定所述目標文本中各個字分別對應的影響力傳播參數，包括：
17.基於所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的收斂傳播向量，確定所述目標文本中各個字分別對應的收斂傳播參數；
18.和/或，基於所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的輻射傳播向量，確定所述目標文本中各個字分別對應的輻射傳播參數。
19.可選的，所述基於所述目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的影響力傳播參數，確定所述目標文本中各個字分別對應的第一目標向量，包括：
20.針對所述目標文本中待確定對應的第一目標向量的目標字：
21.基於所述目標字對應的收斂傳播參數、所述目標文本中各個字分別相對於所述目標字的位置以及所述目標文本中各個字分別對應的字嵌入向量，確定能夠表徵所述目標字所在詞的邊界信息和所述目標字的語義信息的向量，作為所述目標字在第一維度上對應的向量；
22.和/或，基於所述目標文本中各個字分別對應的輻射傳播參數、所述目標文本中各個字分別相對於所述目標字的位置以及所述目標文本中各個字分別對應的字嵌入向量，確定能夠表徵所述目標字所在詞的邊界信息和所述目標字的語義信息的向量，作為所述目標字在第二維度上對應的向量；
23.將所述目標字在第一維度上對應的向量，或者在第二維度上對應的向量，或者在第一對維度上對應的向量與在第二維度上對應的向量的融合向量，確定為所述目標字對應的第一目標向量。
24.可選的，基於所述目標字對應的收斂傳播參數、所述目標文本中各個字分別相對於所述目標字的位置以及所述目標文本中各個字分別對應的字嵌入向量，確定所述目標字在第一維度上對應的向量，包括：
25.基於所述目標字對應的收斂傳播參數以及所述目標文本中各個字分別相對於所述目標字的位置，確定所述目標文本中的各個字分別對所述目標字的影響力權重，一個字對所述目標字的影響力權重作為該字對應的第一權重；
26.對所述目標文本中各個字分別對應的字嵌入向量用對應的第一權重加權，將加權後的各向量融合，融合後向量作為所述目標字在第一維度上對應的向量。
27.可選的，基於所述目標文本中各個字分別對應的輻射傳播參數、所述目標文本中各個字分別相對於所述目標字的位置以及所述目標文本中各個字分別對應的字嵌入向量，確定所述目標字在第二維度上對應的向量，包括：
28.基於所述目標文本中各個字分別對應的輻射傳播參數以及所述目標文本中各個字分別相對於所述目標字的位置，確定所述目標字分別對所述目標文本包含的各個字的影響力權重，所述目標字對一個字的影響力權重作為該字對應的第二權重；
29.對所述目標文本包含的各個字分別對應的字嵌入向量用對應的第二權重加權，將
加權後的各向量融合，融合後向量作為所述目標字在第二維度上對應的向量。
30.可選的，所述基於所述目標字對應的收斂傳播參數以及所述目標文本中各個字分別相對於所述目標字的位置，確定所述目標文本中的各個字分別對所述目標字的影響力權重，包括：
31.針對所述目標文本中的每個字：
32.將該字相對於所述目標字的位置以及所述目標字對應的收斂傳播參數代入高斯核函數，得到該字對所述目標字的影響力權重。
33.可選的，所述基於所述目標文本中各個字分別對應的輻射傳播參數以及所述目標文本中各個字分別相對於所述目標字的位置，確定所述目標字分別對所述目標文本包含的各個字的影響力權重，包括：
34.針對所述目標文本中的每個字：
35.將該字相對於所述目標字的位置以及該字對應的輻射傳播參數代入高斯核函數，得到所述目標字對該字的影響力權重。
36.可選的，所述基於所述目標文本中各個字分別對應的第一目標向量，確定所述目標文本中各個字分別對應的第二目標向量，包括：
37.基於所述目標文本中各個字分別對應的第一目標向量，以及查詢向量參數矩陣，確定所述目標文本中各個字分別對應的查詢向量；
38.基於所述目標文本中各個字分別對應的第一目標向量，以及鍵向量參數矩陣，確定所述目標文本中各個字分別對應的鍵向量；
39.基於所述目標文本中各個字分別對應的第一目標向量，以及值向量參數矩陣，確定所述目標文本中各個字分別對應的值向量；
40.基於所述目標文本中各個字分別對應的查詢向量、所述目標文本中各個字分別對應的鍵向量以及所述目標文本中各個字分別對應的值向量，確定所述目標文本中各個字分別對應的第二目標向量。
41.可選的，所述確定所述目標文本中各個字分別對應的第一目標向量，基於所述目標文本中各個字分別對應的第一目標向量，確定所述目標文本中各個字分別對應的第二目標向量，基於所述目標文本中各個字分別對應的第二目標向量，確定所述目標文本中的命名實體，包括：
42.基於預先訓練得到的命名實體識別模型對所述目標文本進行編碼，得到所述目標文本中各個字分別對應的第一目標向量；
43.以所述目標文本中各個字分別對應的第一目標向量為依據，基於所述命名實體識別模型確定所述目標文本中各個字分別對應的第二目標向量；
44.以所述目標文本中各個字分別對應的第二目標向量為依據，預測所述目標文本中各個字分別對應的實體標籤；
45.基於所述目標文本中各個字分別對應的實體標籤，確定所述目標文本中的命名實體；
46.其中，所述命名實體識別模型採用訓練文本和所述訓練文本中各個字分別對應的真實實體標籤訓練得到。
47.一種命名實體識別方法，包括：文本獲取模塊、第一向量確定模塊、第二向量確定
模塊和命名實體確定模塊；
48.所述文本獲取模塊，用於獲取目標文本；
49.所述第一向量確定模塊，用於確定所述目標文本中各個字分別對應的第一目標向量，其中，所述第一目標向量能夠表徵對應字所在詞的邊界信息和對應字的語義信息；
50.所述第二向量確定模塊，用於基於所述目標文本中各個字分別對應的第一目標向量，確定所述目標文本中各個字分別對應的第二目標向量，其中，所述第二目標向量能夠表徵對應字與所述目標文本中各個字的相關性信息；
51.所述命名實體確定模塊，用於基於所述目標文本中各個字分別對應的第二目標向量，確定所述目標文本中的命名實體。
52.一種命名實體識別設備，包括：存儲器和處理器；
53.所述存儲器，用於存儲程序；
54.所述處理器，用於執行所述程序，實現上述任一項所述的命名實體識別方法的各個步驟。
55.一種計算機可讀存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時，實現上述任一項所述的命名實體識別方法的各個步驟。
56.本發明提供的命名實體識別方法、裝置、設備及存儲介質，在獲得目標文本後，首先確定目標文本中各個字分別對應的第一目標向量，然後基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量，最後基於目標文本中各個字分別對應的第二目標向量，確定所述目標文本中的命名實體。考慮到某些語種(比如中文，或者與中文具有相同或相似特點的語種)的詞邊界信息和語義信息對於命名實體的識別至關重要，本發明提供的命名實體識別方法先確定目標文本中各個字分別對應的表徵字所在詞的邊界信息以及字的語義信息的第一目標向量，在獲得目標文本中各個字分別對應的第一目標向量後，進一步獲取目標文本中各個字分別對應的表徵全局上下文信息的第二目標向量，進而基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體，由於在確定命名實體時，既考慮了字所在詞的邊界信息以及字的語義信息，又考慮了字的全局上下文信息，因此，最終能夠獲得較為準確的命名實體識別結果。
附圖說明
57.為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
58.圖1為本發明本發明涉及的硬體架構的示意圖；
59.圖2為本發明實施例提供的命名實體識別方法的流程示意圖；
60.圖3為本發明實施例提供的確定目標文本中各個字分別對應的第一目標向量的流程示意圖；
61.圖4為本發明實施例提供的確定目標字在第一維度上對應的包含字所在詞的邊界信息和字的語義信息的向量的示意圖；
62.圖5為本發明實施例提供的確定目標字在第二維度上對應的包含字所在詞的邊界
信息和字的語義信息的向量的示意圖；
63.圖6為本發明實施例提供的基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量的流程示意圖；
64.圖7為本發明實施例提供的基於命名實體識別模型實現命名實體識別的流程示意圖；
65.圖8為本發明實施例提供的命名實體識別模型的一示例；
66.圖9為本發明實施例提供的命名實體識別裝置的結構示意圖；
67.圖10為本發明實施例提供的命名實體識別設備的結構示意圖。
具體實施方式
68.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
69.目前，某些非英文的命名實體識別方案通過對英文命名實體識別方案改動而來，以中文為例，由於中文的命名實體識別方案通過對英文命名實體識別方案改動而來，其未充分中文文本的特點，因此，中文的命名實體識別方案的識別準確度不高。
70.鑑於目前某些非英文(比如中文)的命名實體識別方案的識別準確度不高，本案發明人進行了研究，在研究過程中發現，某些非英文(比如中文)文本中字所在詞的邊界信息和字的語義信息對於命名實體的識別至關重要，基於該發現，本案發明人繼續進行研究，通過不斷研究，最終提出了一種準確度較高的命名實體識別方法。
71.在介紹本發明提供的命名實體識別方法之前，先對本發明涉及的硬體架構進行說明。
72.在一種可能的實現方式中，如圖1所示，本發明涉及的硬體架構可以包括：電子設備101和伺服器102。
73.示例性的，電子設備101可以是任何一種可與用戶進行人機互動的電子產品，例如，pc、筆記本電腦、平板電腦、掌上電腦、pad、手機、可穿戴設備等。
74.應注意的是，圖1僅僅是一種示例，電子設備的類型可以有多種，不限於圖1中的筆記本電腦。
75.示例性的，伺服器102可以是一臺伺服器，也可以是由多臺伺服器組成的伺服器集群，或者是一個雲計算伺服器中心。伺服器102可以包括處理器、存儲器以及網絡接口等。
76.示例性的，電子設備101可以通過無線通信網絡與伺服器102建立連接並通信；示例性的，電子設備101可以通過有線通信網絡與伺服器102建立連接並通信。
77.電子設備101可獲取待識別的文本即目標文本，將目標文本發送至伺服器102，伺服器102按本發明提供的命名實體識別方法對目標文本進行命名實體識別，將命名實體識別結果發送至電子設備101，或者對命名實體識別結果進行其它處理。
78.在另一種可能的實現方式中，本發明涉及的硬體架構可以包括：電子設備。電子設備為具有較強數據處理能力的電子產品，例如，pc、筆記本電腦、平板電腦、掌上電腦、pad、手機、可穿戴設備等。
79.電子設備按本發明提供的命名實體識別方法對待識別的文本即目標文本進行命名實體識別，並將命名實體識別結果輸出。
80.本領域技術人員應能理解上述電子設備和伺服器僅為舉例，其它現有的或今後可能出現的電子設備或伺服器如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
81.接下來通過下述實施例對本發明提供的命名實體識別方法進行介紹。
82.第一實施例
83.請參閱圖2，示出了本發明實施例提供的命名實體識別方法的流程示意圖，可以包括：
84.步驟s201：獲取目標文本。
85.其中，目標文本為待識別命名實體的文本。示例性的，目標文本可以為中文文本，也可以為與中文文本具有相同或相似特點的語種的文本。
86.步驟s202：確定目標文本中各個字分別對應的第一目標向量。
87.在獲得目標文本後，可先對目標文本按字切分，然後確定切分得到的每個字對應的第一目標向量。
88.其中，第一目標向量能夠表徵對應字所在詞的邊界信息和對應字的語義信息。
89.以中文為例：中文不同於英文，英文的單詞之間有分隔符，而中文的字之間沒有分隔符，再加之，中文的同一字在不同詞中的語義通常不同，這意味著，對於中文而言，通過單個字難以確定字的語義信息，因此，確定出字所在詞的邊界信息以及字的語義信息對於中文命名實體的識別至關重要。需要說明的是，獲知字所在詞的邊界，有助於明確字的語義。
90.步驟s203：基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量。
91.其中，第二目標向量為上下文向量，其能夠表徵對應字的全局上下文信息，即對應字與目標文本中各個字的相關性信息。需要說明的是，針對目標文本中的每個字，在確定該字對應的第二目標向量時，需要關注目標文本中的各個字，確定各個字與該字的相關性。
92.另外需要說明的是，在確定第一目標向量時，重點關注的是局部信息，在確定第二目標向量時，重點關注的是全局信息。
93.步驟s204：基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體。
94.具體的，基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體的過程可以包括：基於目標文本中各個字分別對應的第二目標向量，確定目標文本中各個字分別對應的實體標籤；基於目標文本中各個字分別對應的實體標籤，確定目標文本中的命名實體。
95.其中，基於目標文本中各個字分別對應的第二目標向量，確定目標文本中各個字分別對應的實體標籤的過程可以包括：針對目標文本中的每個字，基於該字對應的第二目標向量，預測該字對應的實體標籤為各設定實體標籤的概率(即該字在各設定實體標籤上的概率分布)，基於該字對應的實體標籤為各設定實體標籤的概率，確定該字對應的實體標籤，比如，從該字對應的實體標籤為各設定實體標籤的概率中確定最大概率，將最大概率對應的設定實體標籤確定為該字對應的實體標籤。
96.示例性的，設定命名實體有3個，分別為命名實體1、命名實體2和命名實體3，針對3個命名實體設定的實體標籤有：b-實體1、i-實體1、e-實體1、b-實體2、i-實體2、e-實體2、b-實體3、i-實體3、e-實體3、o，針對目標文本中的每個字，基於該字對應的第二目標向量，預測該字對應的實體標籤為上述10個設定實體標籤的概率，經預測，可獲得10個概率，假設該字對應的實體標籤為b-實體1的概率最大，則確定該字對應的實體標籤為b-實體1。需要說明的是，若一個字對應的實體標籤為b-實體i，則說明該字為命名實體i的首個字，若一個字對應的實體標籤為e-實體i，說明該字為命名實體i的最後一個字，若一個字對應的實體標籤為i-實體i，則說明該字為命名實體i的首個字與最後一個字之間的字，若一個字對應的實體標籤為o，則說明該字不是命名實體中的字。
97.本發明實施例提供的命名實體識別方法，在獲得目標文本後，首先確定目標文本中各個字分別對應的第一目標向量，然後基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量，最後基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體。考慮到中文(或者與中文有相同或相似特點的語種)的詞邊界信息和語義信息對於命名實體的識別至關重要，本發明實施例提供的命名實體識別方法先確定目標文本中各個字分別對應的包含字所在詞的邊界信息以及字的語義信息的第一目標向量，在獲得目標文本中各個字分別對應的第一目標向量後，進一步基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的包含全局上下文信息的第二目標向量，進而基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體，由於在確定命名實體時，既考慮了字所在詞的邊界信息以及字的語義信息，又考慮了字的全局上下文信息，因此，最終能夠獲得較為準確的命名實體識別結果。
98.第二實施例
99.本實施例對上述實施例中「步驟s202：確定目標文本中各個字分別對應的第一目標向量」的具體實現過程進行介紹。
100.請參閱圖3，示出了本實施例提供的確定目標文本中各個字分別對應的第一目標向量的流程示意圖，可以包括：
101.步驟s301：獲取目標文本中各個字分別對應的字嵌入向量，以及目標文本中各個字分別對應的影響力傳播向量。
102.具體的，從預先獲得的字嵌入矩陣中，獲取目標文本中各個字分別對應的字嵌入向量，從預先獲得的影響力傳播矩陣中，獲取目標文本中各個字分別對應的影響力傳播向量。
103.其中，字嵌入矩陣包含字庫中各個字分別對應的字嵌入向量，一個字對應的字嵌入向量為該字的表示向量。
104.其中，影響力傳播矩陣包含字庫中各個字分別對應的影響力傳播向量，一個字對應的影響力傳播向量為該字對應的影響力信息的表示向量。
105.可選的，本實施例中的影響力傳播矩陣可以包括收斂傳播矩陣和輻射傳播矩陣，收斂傳播矩陣中包含字庫中各個字分別對應的收斂傳播向量，輻射傳播矩陣中包含字庫中各個字分別對應的輻射傳播向量，一個字對應的收斂傳播向量為表徵周邊字對該字的影響力的向量，一個字對應的輻射傳播向量為表徵該字對周邊字的影響力的向量。
106.在從預先獲得的影響力傳播矩陣中，獲取目標文本中各個字分別對應的影響力傳播向量時，從預先構建的收斂傳播矩陣中，獲取目標文本中各個字分別對應的收斂傳播向量，從預先構建的輻射傳播矩陣中，獲取目標文本中各個字分別對應的輻射傳播向量。
107.可選的，本實施例中的字嵌入矩陣可基於預訓練模型對大量訓練文本進行學習得到，即通過預訓練模型對大量訓練文本中各個字的信息進行學習，通過不斷學習，逐漸獲得字庫中各個字分別對應的字嵌入向量，進而最終構建出字嵌入矩陣。
108.可選的，本實施例中的收斂傳播矩陣同樣可基於預訓練模型對大量訓練文本進行學習得到，針對訓練文本中的每個字，預訓練模型對周邊字對該字的影響力信息進行學習，通過對大量訓練文本不斷學習，逐漸獲得字庫中各個字分別對應的收斂傳播向量，進而最終構建出收斂傳播矩陣。
109.可選的，本實施例中的輻射傳播矩陣同樣可基於預訓練模型對大量訓練文本進行學習得到，針對訓練文本中的每個字，預訓練模型對該字對周邊字的影響力信息進行學習，通過對大量訓練文本不斷學習，逐漸獲得字庫中各個字分別對應的輻射傳播向量，進而最終構建出輻射傳播矩陣。
110.步驟s302：基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的影響力傳播向量，確定目標文本中各個字分別對應的影響力傳播參數。
111.具體的，步驟s302的實現過程可以包括：
112.步驟s302a、基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的收斂傳播向量，確定目標文本中各個字分別對應的收斂傳播參數。
113.具體的，針對目標文本中的每個字，基於該字對應的字嵌入向量以及該字對應的收斂傳播向量，確定該字對應的收斂傳播參數。
114.可選的，針對目標文本中的每個字，可將該字對應的收斂傳播向量與該字對應的字嵌入向量點乘，點乘結果作為該字對應的收斂傳播參數。
115.步驟s302b、基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的輻射傳播向量，確定目標文本中各個字分別對應的輻射傳播參數。
116.具體的，針對目標文本中的每個字，基於該字對應的字嵌入向量以及該字對應的輻射傳播向量，確定該字對應的輻射傳播參數。
117.可選的，針對目標文本中的每個字，可將該字對應的輻射傳播向量與該字對應的字嵌入向量點乘，點乘結果作為該字對應的輻射傳播參數。
118.步驟s303：基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的影響力傳播參數，確定目標文本中各個字分別對應的第一目標向量。
119.具體的，基於目標文本中各個字分別對應的字嵌入向量、目標文本中各個字分別對應的收斂傳播參數以及目標文本中各個字分別對應的輻射傳播參數，確定目標文本中各個字分別對應的第一目標向量。
120.更為具體的，針對目標文本中待確定對應的第一目標向量的目標字ci，執行如下步驟：
121.步驟a1-a、基於目標字ci對應的收斂傳播參數、目標文本中各個字分別相對於目標字ci的位置以及目標文本中各個字分別對應的字嵌入向量，確定目標字ci在第一維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量。
122.具體的，步驟a1-a的實現過程可以包括：
123.步驟a1-a-1、基於目標字ci對應的收斂傳播參數以及目標文本中各個字分別相對於目標字ci的位置，確定目標文本中的各個字分別對目標字ci的影響力權重，一個字cj對目標字ci的影響力權重作為該字cj對應的第一權重β
ij
。
124.具體的，針對目標文本中的每個字，將該字相對於目標字ci的位置以及目標字ci對應的收斂傳播參數代入高斯核函數，得到該字對目標字ci的影響力權重。
125.本實施例設定目標字ci的位置為「0」，目標字ci的左側第1個字對於目標字ci的位置為
「‑
1」，目標字ci的左側第2個字對於目標字ci的位置為
「‑
2」，
…
，目標字ci的右側第1個字對於目標字ci的位置為「1」，目標字ci的右側第2個字對於目標字ci的位置為「2」，
…
。
126.其中，高斯核函數為：
[0127][0128]
示例性的，目標文本為「周健在谷歌工作」，目標字為目標文本中的第4個字「谷」，目標字的位置為「0」，「在」相對於目標字「谷」的位置為
「‑
1」，「健」相對於目標字「谷」的位置為
「‑
2」，「周」相對於目標字「谷」的位置為
「‑
3」，「歌」相對於目標字「谷」的位置為「1」，「工」相對於目標字「谷」的位置為「2」，「作」相對於目標字「谷」的位置為「3」，「谷」對應的收斂傳播參數為c4，確定「周」、「健」、「在」、「谷」、「歌」、「工」、「作」分別對目標字「谷」的影響力權重的過程如下：
[0129]
將(μ＝-3，σ＝c4)代入高斯核函數，得到k(-3)，作為「周」對目標字「谷」的影響力權重β
41
(「周」對應的第一權重)；將(μ＝-2，σ＝c4)代入高斯核函數，得到k(-2)，作為「健」對目標字「谷」的影響力權重β
42
(「健」對應的第一權重)；將(μ＝-1，σ＝c4)代入高斯核函數，得到k(-1)，作為「在」對目標字「谷」的影響力權重β
43
(「在」對應的第一權重)；將(μ＝0，σ＝c4)代入高斯核函數，得到k(0)，作為「谷」對目標字「谷」的影響力權重β
44
(「谷」對應的第一權重)；將(μ＝1，σ＝c4)代入高斯核函數，得到k(1)，作為「歌」對目標字「谷」的影響力權重β
45
(「歌」對應的第一權重)；將(μ＝2，σ＝c4)代入高斯核函數，得到k(2)，作為「工」對目標字「谷」的影響力權重β
46
(「工」對應的第一權重)；將(μ＝3，σ＝c4)代入高斯核函數，得到k(3)，作為「作」對目標字「谷」的影響力權重β
47
(「作」對應的第一權重)。
[0130]
步驟a1-a-2、對目標文本中各個字分別對應的字嵌入向量用對應的第一權重加權，將加權後的各向量融合，融合後向量作為目標字cj在第一維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量。
[0131]
對於目標文本中的第j個字cj，用cj對應的第一權重β
ij
對cj對應的字嵌入向量ej加權後得到的向量ej×
β
ij
為cj傳遞給目標字ci的收斂傳播信息。
[0132]
將加權後的各向量融合的方式有多種，在一種可能的實現方式中，可將加權後的各向量求和，求和後向量作為目標字ci在第一維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量，在另一種可能的實現方式中，可將加權後的各向量拼接，拼接後向量作為目標字ci在第一維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量。
[0133]
若將加權後的各向量求和，則目標字ci在第一維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量pi可表示為：
[0134][0135]
其中，l表示目標文本所包含的字的數量。
[0136]
請參閱圖4，示出了基於目標字(圖4中的目標字為第4個字)對應的收斂傳播參數以及目標文本中各個字分別相對於目標字的位置以及高斯核函數，確定目標文本中的各個字分別對目標字的影響力權重(圖4中的β
41
～β
48
)，以及基於確定出的影響力權重對對應的字嵌入向量加權後融合的示意圖。
[0137]
步驟a1-b、基於目標文本中各個字分別對應的輻射傳播參數、目標文本中各個字分別相對於目標字ci的位置以及目標文本中各個字分別對應的字嵌入向量，確定目標字在第二維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量。
[0138]
步驟a1-b-1、基於目標字ci對應的輻射傳播參數以及目標文本中各個字分別相對於目標字ci的位置，確定目標字ci分別對目標文本中各個字的影響力權重，目標字ci對目標文本中一個字cj對應的影響力權重作為字cj對應的第二權重γ
ij
。
[0139]
具體的，針對目標文本中的每個字，將該字相對於目標字ci的位置以及該字對應的輻射傳播參數代入高斯核函數，得到目標字對該字的影響力權重。
[0140]
示例性的，目標文本為「周健在谷歌工作」，目標字為「谷」，目標字的位置為「0」，「在」相對於目標字「谷」的位置為
「‑
1」，「健」相對於目標字「谷」的位置為
「‑
2」，「周」相對於目標字「谷」的位置為
「‑
3」，「歌」相對於目標字「谷」的位置為「1」，「工」相對於目標字「谷」的位置為「2」，「作」相對於目標字「谷」的位置為「3」，「周」對應的輻射傳播參數為r1，「健」對應的輻射傳播參數為r2，「在」對應的輻射傳播參數為r3，「谷」對應的輻射傳播參數為r4，「歌」對應的輻射傳播參數為r5，「工」對應的輻射傳播參數為r6，「作」對應的輻射傳播參數為r7，確定目標字「谷」分別對「周」、「健」、「在」、「谷」、「歌」、「工」、「作」的影響力權重的過程如下：
[0141]
將(μ＝-3，σ＝r1)代入高斯核函數，得到k(-3)，作為目標字「谷」對「周」的影響力權重γ
41
(「周」對應的第二權重)；將(μ＝-2，σ＝r2)代入高斯核函數，得到k(-2)，作為目標字「谷」對「健」的影響力權重γ
42
(「健」對應的第二權重)；將(μ＝-1，σ＝r3)代入高斯核函數，得到k(-1)，作為目標字「谷」對「在」的影響力權重γ
43
(「在」對應的第二權重)；將(μ＝0，σ＝r4)代入高斯核函數，得到k(0)，作為目標字「谷」對「谷」的影響力權重γ
44
(「谷」對應的第二權重)；將(μ＝1，σ＝r5)代入高斯核函數，得到k(1)，作為目標字「谷」對「歌」的影響力權重γ
45
(「歌」對應的第二權重)；將(μ＝2，σ＝r6)代入高斯核函數，得到k(2)，作為目標字「谷」對「工」的影響力權重γ
46
(「工」對應的第二權重)；將(μ＝3，σ＝r7)代入高斯核函數，得到k(3)，作為目標字「谷」對「作」的影響力權重γ
47
(「作」對應的第二權重)。
[0142]
步驟a1-b-2、對目標文本中各個字分別對應的字嵌入向量用對應的第二權重加權，將加權後的各向量融合，融合後向量作為目標字ci在第二維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量。
[0143]
對於目標文本中的第j個字cj，用cj對應的第二權重γ
ij
對cj對應的字嵌入向量ej加權後得到的向量ej×
γ
ij
為cj傳遞給目標字ci的輻射傳播信息。
[0144]
在一種可能的實現方式中，可將加權後的各向量求和，求和後向量作為目標字ci在第二維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量，在另一種可能的實現方式中，可將加權後的各向量拼接，拼接後向量作為目標字ci在第二維度
上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量。
[0145]
若將加權後的各向量求和，則目標字ci在第二維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量pri可表示為：
[0146][0147]
步驟a2、將目標字ci在第一維度上對應的向量pi與目標字在第二維度上對應的向量pri融合，融合後向量作為目標字ci對應的第一目標向量。
[0148]
在一種可能的實現方式中，可將目標字ci在第一維度上對應的向量pi與目標字ci在第二維度上對應的向量pri求和，求和後向量作為目標字ci對應的第一目標向量，在另一種可能的實現方式中，可將目標字ci在第一維度上對應的向量pi與目標字ci在第二維度上對應的向量pri拼接，拼接後向量作為目標字ci對應的第一目標向量。
[0149]
請參閱圖5，示出了基於目標文本中各個字分別對應的輻射傳播參數、目標文本中各個字分別相對於目標字(圖5中的目標字為第3個字)的位置以及高斯核函數，確定目標字分別對目標文本中的各個字的影響力權重(γ
31
～γ
35
)，以及基於確定出的影響力權重對對應的字嵌入向量加權後融合的示意圖。
[0150]
上述內容提到，本實施例中的影響力傳播矩陣可以包括收斂傳播矩陣和輻射傳播矩陣，在另一種可能的實現方式中，影響力傳播矩陣可以只包括收斂傳播矩陣，相應的，步驟s301獲得的只是目標文本中各個字分別對應的收斂傳播向量，步驟s302確定的只是目標文本中各個字分別對應的收斂傳播參數，步驟s303基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的收斂傳播參數，確定目標文本中各個字分別對應的第一目標向量(即針對目標文本中待確定對應的第一目標向量的目標字ci，只執行上述的步驟a1-a，將目標字ci在第一維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量作為目標字ci對應的第一目標向量)。
[0151]
在再一種實現方式中，影響力傳播矩陣可以只包括輻射傳播矩陣，相應的，步驟s301獲得的只是目標文本中各個字分別對應的輻射傳播向量，步驟s302確定的只是目標文本中各個字分別對應的輻射傳播參數，步驟s303基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的輻射傳播參數，確定目標文本中各個字分別對應的第一目標向量(即針對目標文本中待確定對應的第一目標向量的目標字ci，只執行上述的步驟a1-b，將目標字ci在第二維度上對應的包含目標字ci所在詞的邊界信息和目標字ci的語義信息的向量作為目標字ci對應的第一目標向量)。
[0152]
為了最終能夠獲得更加準確的命名實體識別結果，優選影響力傳播矩陣可以包括收斂傳播矩陣和輻射傳播矩陣，相應的，步驟s301獲取目標文本中各個字分別對應的收斂傳播向量和輻射傳播向量，步驟s302確定目標文本中各個字分別對應的收斂傳播參數和輻射傳播參數，步驟s303基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的收斂傳播參數和輻射傳播參數，確定目標文本中各個字分別對應的第一目標向量。
[0153]
經由本實施例提供的方法可獲得目標文本中各個字分別對應的第一目標向量。
[0154]
第三實施例
[0155]
本實施例重點對上述實施例中的「步驟s203：基於目標文本中各個字分別對應的
第一目標向量，確定目標文本中各個字分別對應的第二目標向量」的具體實現過程進行介紹。
[0156]
請參閱圖6，示出了基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量的流程示意圖，可以包括：
[0157]
步驟s601a：基於目標文本中各個字分別對應的第一目標向量，以及查詢向量參數矩陣wq，確定目標文本中各個字分別對應的查詢向量。
[0158]
具體的，目標文本中各個字分別對應的查詢向量可通過下式計算得到：
[0159]
[q1,q2,q3,q4,
…
]＝[e1′
,e2′
,e3′
,e4′
,
…
]
×
wqꢀꢀꢀ
(4)
[0160]
其中，e1′
為目標文本中第1個字對應的第一目標向量，q1為目標文本中第1個字對應的查詢向量，e2′
為目標文本中第2個字對應的第一目標向量，q2為目標文本中第2個字對應的查詢向量，e3′
為目標文本中第3個字對應的第一目標向量，q3為目標文本中第3個字對應的查詢向量，其它以此類推。
[0161]
步驟s601b：基於目標文本中各個字分別對應的第一目標向量，以及鍵向量參數矩陣wk，確定目標文本中各個字分別對應的鍵向量。
[0162]
具體的，目標文本中各個字分別對應的鍵向量可通過下式計算得到：
[0163]
[k1,k2,k3,k4,
…
]＝[e1′
,e2′
,e3′
,e4′
,
…
]
×
wkꢀꢀꢀ
(5)
[0164]
其中，k1為目標文本中第1個字對應的鍵向量，k2為目標文本中第2個字對應的鍵向量，k3為目標文本中第3個字對應的鍵向量，其它以此類推。
[0165]
步驟s601c：基於目標文本中各個字分別對應的第一目標向量，以及值向量參數矩陣wv，確定目標文本中各個字分別對應的值向量。
[0166]
具體的，目標文本中各個字分別對應的值向量可通過下式計算得到：
[0167]
[v1,v2,v3,v4,
…
]＝[e1′
,e2′
,e3′
,e4′
,
…
]
×
wvꢀꢀꢀ
(6)
[0168]
其中，v1為目標文本中第1個字對應的值向量，v2為目標文本中第2個字對應的值向量，v3為目標文本中第3個字對應的值向量，其它以此類推。
[0169]
步驟s602：基於目標文本中各個字分別對應的查詢向量、目標文本中各個字分別對應的鍵向量以及目標文本中各個字分別對應的值向量，確定目標文本中各個字分別對應的第二目標向量。
[0170]
具體的，步驟s602的實現過程包括：針對目標文本中的每個字執行如下步驟：
[0171]
步驟b1、基於該字對應的查詢向量和目標文本中各個字分別對應的鍵向量，確定目標文本中各個字分別與該字的相關性權重，作為目標文本中各個字分別在該字上對應的相關性權重。
[0172]
假設該字為目標文本中的第j個字cj，則目標文本中的各個字分別在該字cj上對應的相關性權重可通過下式計算得到：
[0173]
[α
j1
,α
j2
,α
j3
,α
j4
,
…
]＝softmax(qj×
[k1,k2,k3,k4,
…
])
ꢀꢀꢀ
(7)
[0174]
其中，α
j1
表示目標文本中的第1個字在字cj上對應的相關性權重，α
j2
表示目標文本中的第2個字在字cj上對應的相關性權重，α
j3
表示目標文本中的第3個字在字cj上對應的相關性權重，其它以此類推。
[0175]
步驟b2、對目標文本中各個字分別對應的值向量用在該字上對應的相關性權重加權，得到目標文本中各個字在該字上分別對應的加權後值向量。
[0176]
步驟b3、將目標文本中各個字在該字上分別對應的加權後值向量融合，融合後向量作為該字對應的第二目標向量。
[0177]
在一種可能的實現方式中，可將目標文本中各個字在該字上分別對應的加權後值向量求和，求和後向量作為該字對應的第二目標向量；在另一種可能的實現方式中，可將目標文本中各個字在該字上分別對應的加權後值向量拼接，拼接後向量作為該字對應的第二目標向量。
[0178]
若採用上述的第二種實現方式，則目標文本中的第j個字cj對應的第二目標向量aj可表示為：
[0179]aj
＝concat([v1,v2,v3,v4,
…
]
×
([α
j1
,α
j2
,α
j3
,α
j4
,
…
])
t
)
ꢀꢀꢀ
(8)
[0180]
在獲得目標文本中各個字分別對應的第二目標向量後，針對目標文本中的每個字，可以該字對應的第二目標向量為預測依據，預測該字對應的實體標籤為各設定實體標籤的概率，進而根據該字對應的實體標籤為各設定實體標籤的概率，確定該字對應的實體標籤，在獲得目標文本中各個字分別對應的實體標籤後，便可根據目標文本中各個字分別對應的實體標籤確定出目標文本中的命名實體。
[0181]
第四實施例
[0182]
在一種可能的實現方式中，上述實施例提供的命名實體識別過程可基於模型實現，當然，本實施例並不限定於此，即，本發明不對上述實施例提供的命名實體識別過程的具體實現形式進行限定。接下來以上述實施例提供的命名實體識別過程基於模型實現為例，對本發明提供的命名實體識別方法進行介紹。
[0183]
請參閱圖7，示出了基於命名實體識別模型實現命名實體識別的流程示意圖，可以包括：
[0184]
步驟s701：獲取目標文本。
[0185]
其中，目標文本為待識別命名實體的文本。示例性的，目標文本可以為中文文本，也可以為與中文文本具有相同或相似特點的語種的文本。
[0186]
步驟s702：基於預先訓練得到的命名實體識別模型對目標文本進行編碼，得到目標文本中各個字分別對應的第一目標向量。
[0187]
可選的，如圖8所示，命名實體識別模型可以包括編碼模塊801，將目標文本輸入命名實體識別模型後，編碼模塊801對目標文本進行字符級的編碼，輸出目標文本中各個字分別對應的第一目標向量。
[0188]
具體的，編碼模塊801對目標文本進行字符級的編碼的過程包括：獲取目標文本中各個字分別對應的字嵌入向量，以及目標文本中各個字分別對應的影響力傳播向量(收斂傳播向量和/或輻射傳播向量)；基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的影響力傳播向量，確定目標文本中各個字分別對應的影響力傳播參數(收斂傳播參數和/或輻射傳播參數)；基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的影響力傳播參數，確定目標文本中各個字分別對應的第一目標向量。編碼模塊801對目標文本進行字符級編碼更為具體的實現過程可參見第二實施例，本實施例在此不做贅述。
[0189]
步驟s703：以目標文本中各個字分別對應的第一目標向量為依據，基於命名實體識別模型確定目標文本中各個字分別對應的第二目標向量。
[0190]
如圖8所示，命名實體識別模型可以包括注意力模塊802，注意力模塊802的輸入為編碼模塊801的輸出，即目標文本中各個字分別對應的第一目標向量，注意力模塊802對輸入進行處理，輸出目標文本中各個字分別對應的第二目標向量。
[0191]
注意力模塊802對目標文本中各個字分別對應的第一目標向量進行處理的過程包括：基於目標文本中各個字分別對應的第一目標向量，以及查詢向量參數矩陣wq，確定目標文本中各個字分別對應的查詢向量；基於目標文本中各個字分別對應的第一目標向量，以及鍵向量參數矩陣wk，確定目標文本中各個字分別對應的鍵向量；基於目標文本中各個字分別對應的第一目標向量，以及值向量參數矩陣wv，確定目標文本中各個字分別對應的值向量；基於目標文本中各個字分別對應的查詢向量、目標文本中各個字分別對應的鍵向量以及目標文本中各個字分別對應的值向量，確定目標文本中各個字分別對應的第二目標向量。注意力模塊802對目標文本中各個字分別對應的第一目標向量進行處理更為具體的實現過程可參見第三實施例，本實施例在此不做贅述。
[0192]
步驟s704：以目標文本中各個字分別對應的第二目標向量為依據，基於命名實體識別模型預測目標文本中的各個字分別在各設定實體標籤上的概率分布。
[0193]
如圖8所示，命名實體識別模型可以包括實體識別模塊803，實體識別模塊803的輸入為注意力模塊802的輸出，即目標文本中各個字分別對應的第二目標向量，實體識別模塊803對目標文本中各個字分別對應的第二目標向量進行處理，輸出目標文本中的各個字分別在各設定實體標籤上的概率分布。
[0194]
可選的，實體識別模塊803可以包括全連接層和softmax層，目標文本中各個字分別對應的第二目標向量先輸入全連接層進行處理，全連接層的輸出輸入softmax層，softmax層輸出目標文本中的各個字分別在各設定實體標籤上的概率分布，即目標文本中的每個字對應的實體標籤為各設定實體標籤的概率。
[0195]
步驟s705：基於目標文本中的各個字分別在各設定實體標籤上的概率分布，確定目標文本中的命名實體。
[0196]
具體的，基於目標文本中的各個字分別在各設定實體標籤上的概率分布，確定目標文本中的各個字分別對應的實體標籤，基於目標文本中的各個字分別對應的實體標籤，確定目標文本中的命名實體。
[0197]
本實施例中的命名實體識別模型採用訓練文本以及訓練文本中各個字分別對應的真實實體標籤訓練得到。
[0198]
具體的，命名實體識別模型的訓練過程包括：
[0199]
步驟c1、從訓練數據集中獲取訓練文本以及訓練文本對應的真實實體標籤。
[0200]
其中，訓練數據集中包括多條訓練數據，每條訓練數據包括一訓練文本以及該訓練文本對應的真實實體標籤。示例性的，命名實體識別模型為針對中文的命名實體識別模型，則訓練數據集中的每條訓練數據為一訓練中文文本以及該訓練中文文本對應的真實實體標籤。
[0201]
步驟c2、基於命名實體識別模型對訓練文本進行編碼，得到訓練文本中各個字分別對應的第一目標向量。
[0202]
其中，訓練文本中一個字對應的第一目標向量能夠表徵該字所在詞的邊界信息和該字的語義信息。
[0203]
步驟c3、以目標文本中各個字分別對應的第一目標向量為依據，基於命名實體識別模型確定目標文本中各個字分別對應的第二目標向量。
[0204]
其中，訓練文本中一個字對應的第二目標向量為該字對應的上下文向量，其能夠表徵該字的全局上下文信息，即該字與訓練文本中各個字的相關性信息。
[0205]
步驟c4、以訓練文本中各個字分別對應的第二目標向量為依據，基於命名實體識別模型預測目標文本中的各個字分別在各設定實體標籤上的概率分布，以得到訓練文本對應的預測結果。
[0206]
步驟c2～步驟c4的具體實現過程與步驟s702～步驟s704的具體實現過程類似，本實施例在此不做贅述。
[0207]
步驟c5、根據訓練文本對應的預測結果以及訓練文本中各個字分別對應的真實實體標籤，確定命名實體識別模型的預測損失。
[0208]
可選的，可根據訓練文本對應的預測結果以及訓練文本中各個字分別對應的真實實體標籤確定命名實體識別模型的交叉熵損失，交叉熵損失的確定方式為現有技術，本實施例在此不做贅述。
[0209]
步驟c6、根據命名實體識別模型的預測損失，對命名實體識別模型進行參數更新。
[0210]
採用訓練數據集中的不同訓練數據，按上述步驟c1～步驟c6的過程進行多次迭代訓練，直至滿足訓練結束條件(比如模型收斂，或者，達到預設的訓練次數)。
[0211]
第五實施例
[0212]
本發明實施例還提供了一種命名實體識別裝置，下面對本發明實施例提供的命名實體識別裝置進行描述，下文描述的命名實體識別裝置與上文描述的命名實體識別方法可相互對應參照。
[0213]
請參閱圖9，示出了本發明實施例提供的命名實體識別裝置的結構示意圖，可以包括：文本獲取模塊901、第一向量確定模塊902、第二向量確定模塊903和命名實體確定模塊904。
[0214]
文本獲取模塊901，用於獲取目標文本；
[0215]
第一向量確定模塊902，用於確定目標文本中各個字分別對應的第一目標向量。
[0216]
其中，第一目標向量能夠表徵對應字所在詞的邊界信息和對應字的語義信息。
[0217]
第二向量確定模塊903，用於基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量。
[0218]
其中，第二目標向量能夠表徵對應字與目標文本中各個字的相關性信息。
[0219]
命名實體確定模塊904，用於基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體。
[0220]
可選的，第一向量確定模塊902包括：字嵌入向量獲取子模塊、影響力傳播向量獲取子模塊、影響力傳播參數確定子模塊和第一目標向量確定子模塊。
[0221]
字嵌入向量獲取子模塊，用於獲取目標文本中各個字分別對應的字嵌入向量。
[0222]
影響力傳播參數確定子模塊，用於獲取目標文本中各個字分別對應的影響力傳播向量。
[0223]
其中，影響力傳播向量通過對多個訓練文本進行學習得到，一個字對應的影響力傳播向量為該字對應的影響力信息的表示向量，該字對應的影響力信息包括周邊字對該字
的影響力信息和/或該字對周邊字的影響力信息。
[0224]
影響力傳播參數確定子模塊，用於基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的影響力傳播向量，確定目標文本中各個字分別對應的影響力傳播參數。
[0225]
第一目標向量確定子模塊，用於基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的影響力傳播參數，確定目標文本中各個字分別對應的第一目標向量。
[0226]
可選的，一個字對應的影響力傳播向量包括收斂傳播向量和/或輻射傳播向量，一個字對應的收斂傳播向量、輻射傳播向量依次為表徵周邊字對該字的影響力的向量、表徵該字對周邊字的影響力的向量。
[0227]
影響力傳播參數確定子模塊，具體用於基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的收斂傳播向量，確定目標文本中各個字分別對應的收斂傳播參數；和/或，基於目標文本中各個字分別對應的字嵌入向量以及目標文本中各個字分別對應的輻射傳播向量，確定目標文本中各個字分別對應的輻射傳播參數。
[0228]
可選的，第一目標向量確定子模塊在基於目標文本中各個字分別對應的字嵌入向量以及所述目標文本中各個字分別對應的影響力傳播參數，確定所述目標文本中各個字分別對應的第一目標向量時，具體用於：
[0229]
針對目標文本中待確定對應的第一目標向量的目標字：
[0230]
基於目標字對應的收斂傳播參數、目標文本中各個字分別相對於目標字的位置以及目標文本中各個字分別對應的字嵌入向量，確定能夠表徵目標字所在詞的邊界信息和目標字的語義信息的向量，作為目標字在第一維度上對應的向量；
[0231]
和/或，基於目標文本中各個字分別對應的輻射傳播參數、目標文本中各個字分別相對於目標字的位置以及目標文本中各個字分別對應的字嵌入向量，確定能夠表徵目標字所在詞的邊界信息和目標字的語義信息的向量，作為目標字在第二維度上對應的向量；
[0232]
將目標字在第一維度上對應的向量，或者在第二維度上對應的向量，或者在第一對維度上對應的向量與在第二維度上對應的向量的融合向量，確定為所述目標字對應的第一目標向量。
[0233]
可選的，第一目標向量確定子模塊在基於目標字對應的收斂傳播參數、目標文本中各個字分別相對於目標字的位置以及目標文本中各個字分別對應的字嵌入向量，確定目標字在第一維度上對應的向量時，具體用於：
[0234]
基於目標字對應的收斂傳播參數以及目標文本中各個字分別相對於目標字的位置，確定目標文本中的各個字分別對目標字的影響力權重，一個字對目標字的影響力權重作為該字對應的第一權重；對目標文本中各個字分別對應的字嵌入向量用對應的第一權重加權，將加權後的各向量融合，融合後向量作為目標字在第一維度上對應的向量。
[0235]
可選的，第一目標向量確定子模塊在基於所述目標文本中各個字分別對應的輻射傳播參數、所述目標文本中各個字分別相對於所述目標字的位置以及所述目標文本中各個字分別對應的字嵌入向量，確定所述目標字在第二維度上對應的向量時，具體用於：
[0236]
基於目標文本中各個字分別對應的輻射傳播參數以及目標文本中各個字分別相對於目標字的位置，確定目標字分別對目標文本包含的各個字的影響力權重，目標字對一
個字的影響力權重作為該字對應的第二權重；對目標文本包含的各個字分別對應的字嵌入向量用對應的第二權重加權，將加權後的各向量融合，融合後向量作為目標字在第二維度上對應的向量。
[0237]
可選的，第一目標向量確定子模塊在基於目標字對應的收斂傳播參數以及目標文本中各個字分別相對於目標字的位置，確定目標文本中的各個字分別對目標字的影響力權重時，具體用於：
[0238]
針對所述目標文本中的每個字：將該字相對於所述目標字的位置以及所述目標字對應的收斂傳播參數代入高斯核函數，得到該字對所述目標字的影響力權重。
[0239]
可選的，第一目標向量確定子模塊在基於目標文本中各個字分別對應的輻射傳播參數以及目標文本中各個字分別相對於目標字的位置，確定目標字分別對目標文本包含的各個字的影響力權重時，具體用於包括：
[0240]
針對所述目標文本中的每個字：將該字相對於所述目標字的位置以及該字對應的輻射傳播參數代入高斯核函數，得到所述目標字對該字的影響力權重。
[0241]
可選的，第二向量確定模塊903在基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的第二目標向量時，具體用於：
[0242]
基於目標文本中各個字分別對應的第一目標向量，以及查詢向量參數矩陣，確定目標文本中各個字分別對應的查詢向量；基於目標文本中各個字分別對應的第一目標向量，以及鍵向量參數矩陣，確定目標文本中各個字分別對應的鍵向量；基於目標文本中各個字分別對應的第一目標向量，以及值向量參數矩陣，確定目標文本中各個字分別對應的值向量；基於目標文本中各個字分別對應的查詢向量、目標文本中各個字分別對應的鍵向量以及目標文本中各個字分別對應的值向量，確定目標文本中各個字分別對應的第二目標向量。
[0243]
可選的，第一向量確定模塊902、第二向量確定模塊903和命名實體確定模塊904的實現過程可基於命名實體識別模型，具體的：
[0244]
基於預先訓練得到的命名實體識別模型對所述目標文本進行編碼，得到所述目標文本中各個字分別對應的第一目標向量；以所述目標文本中各個字分別對應的第一目標向量為依據，基於所述命名實體識別模型確定所述目標文本中各個字分別對應的第二目標向量；以所述目標文本中各個字分別對應的第二目標向量為依據，預測所述目標文本中各個字分別對應的實體標籤；基於所述目標文本中各個字分別對應的實體標籤，確定所述目標文本中的命名實體。其中，所述命名實體識別模型採用訓練文本和所述訓練文本中各個字分別對應的真實實體標籤訓練得到。
[0245]
考慮到某些語種(比如中文、或者與中文有相同或相似特點的語種)的詞邊界信息和語義信息對於命名實體的識別至關重要，針對這些語種，本發明實施例提供的命名實體識別裝置先確定目標文本中各個字分別對應的包含字所在詞的邊界信息以及字的語義信息的第一目標向量，在獲得目標文本中各個字分別對應的第一目標向量後，進一步基於目標文本中各個字分別對應的第一目標向量，確定目標文本中各個字分別對應的包含全局上下文信息的第二目標向量，進而基於目標文本中各個字分別對應的第二目標向量，確定目標文本中的命名實體，由於在確定命名實體時，既考慮了字所在詞的邊界信息以及字的語義信息，又考慮了字的全局上下文信息，因此，最終能夠獲得較為準確的命名實體識別結
果。
[0246]
第六實施例
[0247]
本發明實施例還提供了一種命名實體識別設備，請參閱圖10，示出了該命名實體識別設備的結構示意圖，該命名實體識別設備可以包括：至少一個處理器1001，至少一個通信接口1002，至少一個存儲器1003和至少一個通信總線1004；
[0248]
在本發明實施例中，處理器1001、通信接口1002、存儲器1003、通信總線1004的數量為至少一個，且處理器1001、通信接口1002、存儲器1003通過通信總線1004完成相互間的通信；
[0249]
處理器1001可能是一個中央處理器cpu，或者是特定集成電路asic(application specific integrated circuit)，或者是被配置成實施本發明實施例的一個或多個集成電路等；
[0250]
存儲器1003可能包含高速ram存儲器，也可能還包括非易失性存儲器(non-volatile memory)等，例如至少一個磁碟存儲器；
[0251]
其中，存儲器存儲有程序，處理器可調用存儲器存儲的程序，所述程序用於：
[0252]
獲取目標文本；
[0253]
確定所述目標文本中各個字分別對應的第一目標向量，其中，所述第一目標向量能夠表徵對應字所在詞的邊界信息和對應字的語義信息；
[0254]
基於所述目標文本中各個字分別對應的第一目標向量，確定所述目標文本中各個字分別對應的第二目標向量，其中，所述第二目標向量能夠表徵對應字與所述目標文本中各個字的相關性信息；
[0255]
基於所述目標文本中各個字分別對應的第二目標向量，確定所述目標文本中的命名實體。
[0256]
可選的，所述程序的細化功能和擴展功能可參照上文描述。
[0257]
第七實施例
[0258]
本發明實施例還提供一種可讀存儲介質，該可讀存儲介質可存儲有適於處理器執行的程序，所述程序用於：
[0259]
獲取目標文本；
[0260]
確定所述目標文本中各個字分別對應的第一目標向量，其中，所述第一目標向量能夠表徵對應字所在詞的邊界信息和對應字的語義信息；
[0261]
基於所述目標文本中各個字分別對應的第一目標向量，確定所述目標文本中各個字分別對應的第二目標向量，其中，所述第二目標向量能夠表徵對應字與所述目標文本中各個字的相關性信息；
[0262]
基於所述目標文本中各個字分別對應的第二目標向量，確定所述目標文本中的命名實體。
[0263]
可選的，所述程序的細化功能和擴展功能可參照上文描述。
[0264]
最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那
些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個
……」
限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
[0265]
本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。
[0266]
對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本發明。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發明的精神或範圍的情況下，在其它實施例中實現。因此，本發明將不會被限制於本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。