一種引入輔助樣本進行對比學習的句子嵌入方法及系統

2023-12-02 17:21:12 2

1.本發明屬於機器學習領域，具體涉及一種引入輔助樣本進行對比學習的句子嵌入方法及系統。


背景技術：

2.近年來，基於bert的預訓練語言模型在有監督任務下取得了較好的性能，而不經過微調的句子嵌入被證明質量較低。生成良好的句子嵌入對於提高下遊任務的性能至關重要，特別是在大規模的語義相似度比較中。為此，有研究者們提出simcse，一種對比學習框架，在無監督的情況下，能夠生成良好的句向量。具體做法是將句子本身作為正樣本，同個batch內的其他樣本作為負樣本。但是，這種將自身作為正樣本的做法，終究缺乏一定的泛化性能。


技術實現要素：

3.本發明的目的在於提出一種引入輔助樣本進行對比學習的句子嵌入方法及系統，以解決現有技術中所存在的一個或多個技術問題，至少提供一種有益的選擇或創造條件。
4.clvns（contrastive learning with virtual neutral samples）為一種無監督句子表徵方法，通過引入中性樣本來進行對比學習。類中性樣本能夠增加句子表示的泛化性，從而得到更好的句子表徵。首先，隨機擾亂原始輸入的token embedding空間分布，再利用虛擬標籤進行梯度下降，從而構造一種有效的中性樣本；然後，將對比損失與排序損失相結合進行聯合訓練，採用對比損失使得一個樣本更接近其中性樣本；排序損失被重新定義，以將一個樣本和它的負樣本分開。clvns利用中性樣本優化句子表示，使模型幾乎不依賴於構建正樣本。在評估了clvns在標準語義文本相似(sts)任務中的性能後，實驗結果表明，clvns的性能優於一系列有競爭力的基線。
5.本發明提供了一種引入輔助樣本進行對比學習的句子嵌入方法及系統，其中，clvns包括如下兩個部分即構建中性樣本的部分和引入中性樣本進行學習的部分，具體為：首先，隨機擾亂原始輸入的token embedding空間分布，再利用虛擬標籤進行梯度下降，從而構造一種有效的中性樣本；然後，將對比損失與排序損失相結合進行聯合訓練，採用對比損失使得一個樣本更接近其中性樣本；排序損失被重新定義，以將一個樣本和它的負樣本分開。
6.為了實現上述目的，根據本發明的一方面，提供一種引入輔助樣本進行對比學習的句子嵌入方法，所述一種引入輔助樣本進行對比學習的句子嵌入方法中包括模型clvns，所述clvns包括如下兩個部分即構建中性樣本的部分和引入中性樣本進行學習的部分。
7.進一步地，所述clvns使用原生編碼器生成與simcse相同的樣本，其中，所述樣本包括正樣本和負樣本，其中還包括虛擬編碼器，所述虛擬編碼器是指用於生成中性樣本的編碼器。
8.進一步地，在所述構建中性樣本的部分中，使用了一種特殊的無監督句子表徵：
9.在所述一種特殊的無監督句子表徵任務中，目標為檢測兩個句子的語義是否相關，利用對比學習構造正樣本和負樣本時，其標籤為0或1，當標籤為1時，兩個句子表達同一個語義，當標籤為0時，代表兩個句子語義毫不相關；
10.在所述一種引入輔助樣本進行對比學習的句子嵌入方法中還使用了一種特殊的虛擬訓練，所述一種特殊的虛擬訓練的方法具體為：設立虛擬標籤0.5，為使兩個句子的語義能夠僅有一點相關，從而構造中性樣本，如此構造中性樣本的過程稱為虛擬訓練；在所述一種特殊的虛擬訓練的過程中，將輸入層的token embedding取出，添加均勻分布隨機數，擾亂原有的空間分布，再與原token embedding進行相似度計算，並利用mse損失進行梯度下降，使其相似度與虛擬標籤的一致性在概率上最大化，經過一輪梯度下降後，更新後的token embedding即為中性樣本對應的token embedding，其最後輸出的cls即為中性樣本的句向量。
11.進一步地，在所述引入中性樣本進行學習的部分中，clvns模型由聯合損失l進行訓練, 所述聯合損失l的計算公式為：l=l
rc
+l
aux
*γ，
12.其中，以l
aux
表示排序損失，排序損失將一個樣本和其負樣本推開，以所述l
rc
作為訓練的主要任務；
13.以l
aux 表示附加損失，附加損失將一個樣本和其中性樣本的距離拉近，以所述l
aux
為訓練的附加任務, γ為權重係數；
14.l
aux
的計算公式為：
15.，
16.其中， n 表示batch size的大小, i 和 j 表示樣本id, a 表示集合 {(0, 2), (1, 2), (2, 0), (2,1)},以(a,
ß
)表示從 a 集合中取出的四種情況，即為樣本選取； h 表示句向量, h
0 和 h
1 表示由原生編碼器生成的正樣本, h2表示中性樣本,τ表示溫度係數, sim(, ) 表示餘弦相似度函數，公式中log函數裡面的分子的自然常數e的指數裡面的帶有上標α、β以及下標i、j的兩個h變量之間通過相似度sim獲取的相似度（h
ai
,h
βj
）表示的是，第i個樣本衍生出的四種情況，通過上標的α和β來表示α和β的組合為（α，β）∈{(0, 2), (1, 2), (2, 0), (2,1)}的情況，分母中同理i和j的下標表示樣本的id（即序號）；所述附加任務利用三種樣本，計算每個句子樣本與(3n-1)個其他樣本的相似度，計算同一批內兩個句向量之間(即h表示的句向量之間)的餘弦相似度形成相似度矩陣；
17.l
rank （l
rank
也可記作l
rc
）的計算公式為：
18.，
19.其中，作為所述標籤，h上面可以同時有0和1，是表達兩組（0,1）的排列組合，即2*2=4種排列，h也可以僅有0或1的上標則表示上面（0,1）的排列組合中其中選取的一種組合，上標的0、1還可以表示排列組合中對h的具體數值的抽樣並且編號，即是說抽樣出來兩個變量h的具體數值分別標號上0、1然後進行排列組合以方便計算相似度的數值；
20.將句子本身作為正樣本，同批內的其他樣本作為負樣本，設置一個超參數來選擇
特定的樣本對參與訓練，通過同一批內的兩個句向量計算餘弦相似度，形成相似度矩陣。
21.其中，未定義具體數值的變量可以使用預設的閾值進行調控以方便實施中的參數優化，（例如上述各係數、閾值、權重等）這樣有利於進行對照實驗中對神經網絡模型進行調參，因為本方法需要對輔助樣本的採樣進行多次的重複的調控來調整神經網絡模型，以此加快操作流程。
22.本發明還提供了一種引入輔助樣本進行對比學習的句子嵌入系統，所述一種引入輔助樣本進行對比學習的句子嵌入系統包括：處理器、存儲器及存儲在所述存儲器中並可在所述處理器上運行的電腦程式，所述處理器執行所述電腦程式時實現所述一種引入輔助樣本進行對比學習的句子嵌入方法中的步驟，所述一種引入輔助樣本進行對比學習的句子嵌入系統可以運行於桌上型計算機、筆記本電腦、掌上電腦及雲端數據中心等計算設備中，可運行的系統可包括，但不僅限於，處理器、存儲器、伺服器集群。
23.本發明的有益效果為：本發明提供了一種引入輔助樣本進行對比學習的句子嵌入方法及系統，clvns包括如下兩個部分即構建中性樣本的部分和引入中性樣本進行學習的部分；首先，隨機擾亂原始輸入的token embedding空間分布，再利用虛擬標籤進行梯度下降，從而構造一種有效的中性樣本；然後，將對比損失與排序損失相結合進行聯合訓練，採用對比損失使得一個樣本更接近其中性樣本；排序損失被重新定義，以將一個樣本和它的負樣本分開；由此，能夠較好的提高句向量的泛化性，從而生成更好的句子表徵。
附圖說明
24.通過對結合附圖所示出的實施方式進行詳細說明，本發明的上述以及其他特徵將更加明顯，本發明附圖中相同的參考標號表示相同或相似的元素，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖，在附圖中：
25.圖1所示為附加任務中利用三種樣本計算每個句子樣本與(3n-1)個其他樣本的相似度的示意圖；
26.圖2所示為將句子本身作為正樣本而同批內的其他樣本作為負樣本並設置一個超參數來選擇特定的樣本對參與訓練的示意圖；
27.圖3所示為實驗結果數據結果對比表。
28.圖4所示為展示了對比損失、排序損失和輔助損失三者之間不同組合的對比表。
29.圖5所示為將不加中性樣本情況下的性能與利用均勻分布和正態分布所生成的隨機數來作為另外兩種中性樣本來和本發明所述方法進行對比的對比表。
具體實施方式
30.以下將結合實施例和附圖對本發明的構思、具體結構及產生的技術效果進行清楚、完整的描述，以充分地理解本發明的目的、方案和效果。需要說明的是，在不衝突的情況下，本技術中的實施例及實施例中的特徵可以相互組合。
31.在本發明的描述中，若干的含義是一個或者多個，多個的含義是兩個以上，大於、小於、超過等理解為不包括本數，以上、以下、以內等理解為包括本數。如果有描述到第一、第二隻是用於區分技術特徵為目的，而不能理解為指示或暗示相對重要性或者隱含指明所
指示的技術特徵的數量或者隱含指明所指示的技術特徵的先後關係。
32.一種引入輔助樣本進行對比學習的句子嵌入方法，所述一種引入輔助樣本進行對比學習的句子嵌入方法中包括模型clvns，所述clvns包括如下兩個部分即構建中性樣本的部分和引入中性樣本進行學習的部分，其中使用原生編碼器生成與simcse相同的樣本，包括正樣本和負樣本，虛擬編碼器是指用於生成中性樣本的編碼器。
33.進一步地，所述clvns使用原生編碼器生成與simcse相同的樣本，其中，所述樣本包括正樣本和負樣本，其中還包括虛擬編碼器，所述虛擬編碼器是指用於生成中性樣本的編碼器。
34.進一步地，在所述構建中性樣本的部分中，使用了一種特殊的無監督句子表徵：
35.在所述一種特殊的無監督句子表徵任務中，目標為檢測兩個句子的語義是否相關，利用對比學習構造正樣本和負樣本時，其標籤為0或1，當標籤為1時，兩個句子表達同一個語義，當標籤為0時，代表兩個句子語義毫不相關；
36.在所述一種引入輔助樣本進行對比學習的句子嵌入方法中還使用了一種特殊的虛擬訓練，所述一種特殊的虛擬訓練的方法具體為：設立虛擬標籤0.5，為使兩個句子的語義能夠僅有一點相關，從而構造中性樣本，該過程稱為虛擬訓練；在所述一種特殊的虛擬訓練的過程中，將輸入層的token embedding取出，添加均勻分布隨機數，擾亂原有的空間分布，再與原token embedding進行相似度計算，並利用mse損失進行梯度下降，使其相似度與虛擬標籤的一致性在概率上最大化，經過一輪梯度下降後，更新後的token embedding即為中性樣本對應的token embedding，其最後輸出的cls即為中性樣本的句向量。
37.進一步地，在所述引入中性樣本進行學習的部分中，clvns模型由聯合損失l進行訓練, 所述聯合損失l的計算公式為：
38.，
39.其中，以l
aux
表示排序損失，排序損失將一個樣本和其負樣本推開，以所述l
rc
作為訓練的主要任務；
40.以l
aux 表示附加損失，附加損失將一個樣本和其中性樣本的距離拉近，以所述l
aux
為訓練的附加任務, γ為權重係數；
41.l
aux
的計算公式為：
42.，
43.其中， n 表示batch size的大小, i 和 j 表示樣本id, a 表示集合 {(0, 2), (1, 2), (2, 0), (2,1)},以(a,
ß
)表示從 a 集合中取出的四種情況，即為樣本選取； h 表示句向量, h
0 和 h
1 表示由原生編碼器生成的正樣本, h2表示中性樣本,τ表示溫度係數, sim(, ) 表示餘弦相似度函數，公式中log函數裡面的分子的自然常數e的指數裡面的帶有上標α、β以及下標i、j的兩個h變量之間通過相似度sim獲取的相似度（h
ai
,h
βj
）表示的是，第i個樣本衍生出的四種情況，通過上標的α和β來表示α和β的組合為（α，β）∈{(0, 2), (1, 2), (2, 0), (2,1)}的情況，分母中同理i和j的下標表示樣本的id（即序號）；所述附
加任務利用三種樣本，計算每個句子樣本與(3n-1)個其他樣本的相似度，計算同一批內兩個句向量之間(即h表示的句向量之間)的餘弦相似度形成相似度矩陣；
44.l
rank
（兩者等同，l
rank
也可記作l
rc
）的計算公式為：
45.，
46.將句子本身作為正樣本，同批內的其他樣本作為負樣本，如圖1-2所示的2n
×
2n大小的l
rc
的相似度矩陣，設置一個超參數λ來選擇特定的樣本對參與訓練，通過同一批內的兩個句向量計算餘弦相似度，形成相似度矩陣，圖1-2中矩陣的填色區域表示為計算損失時所選取的樣本。
47.本發明提供了在具體實施方式中的實驗數據：
48.實驗配置：
49.對於無監督任務，本發明還使用了由simcse開源存儲庫提供的100萬個維基百科英語句子的語料庫；
50.本發明使用公開的senteval評價工具在7個語義文本語義相似度任務上評估本發明的模型,任務包括sts2012-2016,stsbenchmark和sick-relatedness.評價指標為斯皮爾曼相關係數；
51.在實驗中，為了更好的與基線simcse對比,本發明遵從simcse的設置。本發明同樣使用bert
base
和robert
base
作為句子的編碼器。
52.實驗結果：
53.本發明將模型的性能與一系列有競爭力的基線做對比，包括simcse,is-bert,cmlm,declutr,ct-bert,sg-opt和一些後處理方法，例如bert-flow和bert-whitening,還有一些最原始的基線，例如averagedgloveembeddings和averagedfirstandlastlayerbertembeddings；
54.在圖3中，展示了實驗結果,不同句子表示模型（各種句子表示模型的名字及對應項目列在圖3所述表的最左邊「model」一列）在各sts任務（包括各項斯皮爾曼相關性測試，spearman’scorrelation）上的表現，可以看到本發明的模型clvns在bert
base
和robert
base
上的表現都優於無監督simcse，其中圖上第一行在「model」往後的多個以「sts」開頭的實驗項目表示的是stsbenchmark數據集，所述stsbenchmark數據集是在文本相似度任務上的數據集，所述stsbenchmark數據集裡面包括sts12，sts13，sts14，sts15，sts16，sts-b，sick-r等數據集，從sts12至sts16分別為semeval比賽2012至2016年的數據集，sts-b和sick-r也是semeval比賽數據集，sts-b-dev是sts-b中包括的一組可用於進行測試的數據可以用來測試本發明提供的方法及系統，「model」一列裡面使用的各模型也在stsbenchmark數據集的論文裡面有公開（參考文獻：[1]cerd,diabm,agirree,etal.semeval-2017task1:semantictextualsimilaritymultilingualandcross-lingualfocusedevaluation[j].2017.；[2]zhut,manl.systemdescriptionofsemantictextualsimilarity(sts)inthesemeval-2012(task6)[c]//jointconferenceonlexicalcomputationalsemantics.associationforcomputationallinguistics,2013.；[3]agirree,baneac,cerd,etal.
semeval-2016 task 1: semantic textual similarity, monolingual and cross-lingual evaluation[c]// international workshop on semantic evaluation. 2016.）。
[0055]
損失消融：
[0056]
如圖4所示展示了對比損失、排序損失和輔助損失三者之間不同組合的比較，其中l
cl 表示simcse中的對比損失, l
rank
表示本文所提出的排序損失，l
aux 表示本文提出的輔助損失。
[0057]
可以觀察到，當只有輔助損失時，效果很差。由於輔助任務也將正樣本往中性樣本的方向上拉，這有助於提高模型識別正樣本對的泛化能力，但也對正樣本有一定的負面影響。另外，就負樣本而言，負樣本會被推得更遠，這是本發明想要的積極影響。
[0058]
為了減輕中性樣本的負面影響，同時保留中性樣本的積極影響，分別進行了l
rank 和l
cl 的實驗。結果從圖4可看到單獨使用時，l
rank 和l
cl
有著同樣的效果；附加上l
aux
時, l
rank
被證實更能夠減輕中性樣本所帶來的負面影響且更多的保留其帶來的正面影響。
[0059]
中性樣本：
[0060]
為了證明增益效果是由中性樣本所產生，本發明測試了不加中性樣本情況下的性能。而且，本發明利用均勻分布和正態分布所生成的隨機數來作為另外兩種中性樣本，將它們與本發明的方法進行對比，結果如圖5所示，證明本發明所述中性樣本所帶來的增益已經優於現有技術。
[0061]
可以看出，添加本發明所述方法所構建的中性樣本，效果會發生顯著變化，用其他隨機數構造的中性樣本也遠不如本發明所述方法的分數優秀。其中，未定義具體數值的變量可使用預設的閾值進行調控以方便實施中的參數優化，如圖3-5的測試數據可見，可有利於進行對照實驗中對神經網絡模型進行調參。因此，本發明所述方法提出的虛擬訓練能夠生成一種與現有模型相比性能更為領先的中性樣本，更有利於在網際網路工業生產實踐中對社交網絡、通信軟體的文本數據的數據概率的學習和更新，提供智能化的服務。
[0062]
所述一種引入輔助樣本進行對比學習的句子嵌入系統運行於桌上型計算機、筆記本電腦、掌上電腦或雲端數據中心的任一計算設備中，所述計算設備包括：處理器、存儲器及存儲在所述存儲器中並在所述處理器上運行的電腦程式，所述處理器執行所述電腦程式時實現所述一種引入輔助樣本進行對比學習的句子嵌入方法中的步驟,可運行的系統可包括，但不僅限於，處理器、存儲器、伺服器集群。
[0063]
本發明的實施例提供的一種引入輔助樣本進行對比學習的句子嵌入系統，該實施例的一種引入輔助樣本進行對比學習的句子嵌入系統包括：處理器、存儲器以及存儲在所述存儲器中並可在所述處理器上運行的電腦程式，所述處理器執行所述電腦程式時實現上述一種引入輔助樣本進行對比學習的句子嵌入方法實施例中的步驟。
[0064]
其中，優選地，本發明中所有未定義的變量，若未有明確定義，均可為人工設置的閾值。
[0065]
所述一種引入輔助樣本進行對比學習的句子嵌入系統可以運行於桌上型計算機、筆記本電腦、掌上電腦及雲端數據中心等計算設備中。所述一種引入輔助樣本進行對比學習的句子嵌入系統包括，但不僅限於，處理器、存儲器。本領域技術人員可以理解，所述例子僅僅是一種引入輔助樣本進行對比學習的句子嵌入方法及系統的示例，並不構成對一種引
入輔助樣本進行對比學習的句子嵌入方法及系統的限定，可以包括比例子更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述一種引入輔助樣本進行對比學習的句子嵌入系統還可以包括輸入輸出設備、網絡接入設備、總線等。
[0066]
所稱處理器可以是中央處理單元(central processing unit，cpu)，還可以是其他通用處理器、數位訊號處理器 (digital signal processor，dsp)、專用集成電路 (application specific integrated circuit，asic)、現場可編程門陣列 (field-programmable gate array，fpga) 或者其他可編程邏輯器件、分立元器件門電路或者電晶體邏輯器件、分立硬體組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等，所述處理器是所述一種引入輔助樣本進行對比學習的句子嵌入系統的控制中心，利用各種接口和線路連接整個一種引入輔助樣本進行對比學習的句子嵌入系統的各個分區域。
[0067]
所述存儲器可用於存儲所述電腦程式和/或模塊，所述處理器通過運行或執行存儲在所述存儲器內的電腦程式和/或模塊，以及調用存儲在存儲器內的數據，實現所述一種引入輔助樣本進行對比學習的句子嵌入方法及系統的各種功能。所述存儲器可主要包括存儲程序區和存儲數據區，其中，存儲程序區可存儲作業系統、至少一個功能所需的應用程式（比如聲音播放功能、圖像播放功能等）等；存儲數據區可存儲根據手機的使用所創建的數據（比如音頻數據、電話本等）等。此外，存儲器可以包括高速隨機存取存儲器，還可以包括非易失性存儲器，例如硬碟、內存、插接式硬碟，智能存儲卡（smart media card, smc），安全數字（secure digital, sd）卡，快閃記憶體卡（flash card）、至少一個磁碟存儲器件、快閃記憶體器件、或其他易失性固態存儲器件。
[0068]
本發明提供了一種引入輔助樣本進行對比學習的句子嵌入方法及系統，clvns包括如下兩個部分即構建中性樣本的部分和引入中性樣本進行學習的部分；首先，隨機擾亂原始輸入的token embedding空間分布，再利用虛擬標籤進行梯度下降，從而構造一種有效的中性樣本；然後，將對比損失與排序損失相結合進行聯合訓練，採用對比損失使得一個樣本更接近其中性樣本；排序損失被重新定義，以將一個樣本和它的負樣本分開；由此，能夠較好的提高句向量的泛化性，從而生成更好的句子表徵。
[0069]
儘管本發明的描述已經相當詳盡且特別對幾個所述實施例進行了描述，但其並非旨在局限於任何這些細節或實施例或任何特殊實施例，從而有效地涵蓋本發明的預定範圍。此外，上文以發明人可預見的實施例對本發明進行描述，其目的是為了提供有用的描述，而那些目前尚未預見的對本發明的非實質性改動仍可代表本發明的等效改動。