文章生成方法、電子設備及存儲介質

2023-09-21 16:18:57 2

1.本技術涉及文本處理技術領域，特別是文章生成方法、電子設備及存儲介質。


背景技術：

2.目前，常見的文本生成技術生成的文本對篇幅有要求，一般只支持生成較短的句子，且這種文本生成技術使用的文本生成模型，可以進行規劃和寫作的解碼器隸屬於同一個解碼器，也就是說，規劃和寫作是同步進行的，基於一個解碼器生成的文本在邏輯、結構布局上有所欠缺，容易存在句子不通順等問題。


技術實現要素：

3.本技術提供了一種文章生成方法、電子設備及存儲介質，通過將規劃解碼器和寫作解碼器分開使用，以先規劃後寫作的方式實現基於文章題目獲取預測文章的目的，可以提高預測的文章的邏輯性和可讀性。
4.為了解決上述技術問題，本技術採用的一個技術方案是：提供一種文章生成方法，該方法包括：獲取文章題目；利用題目編碼器對文章題目進行編碼，得到題目編碼特徵；利用規劃解碼器對題目編碼特徵進行文章規劃預測，得到目標規劃特徵；利用寫作解碼器按照目標規劃特徵和題目編碼特徵進行文章預測，得到與文章題目對應的目標預測文章。
5.其中，利用規劃解碼器對題目編碼特徵進行文章規劃預測，得到目標規劃特徵，包括：獲取規劃解碼器的歷史規劃特徵；利用規劃解碼器結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到目標規劃特徵。
6.其中，規劃解碼器包括規劃注意力層，利用規劃解碼器結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到目標規劃特徵，包括：利用規劃注意力層結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到規劃注意力矩陣，將規劃注意力矩陣作為目標規劃特徵。
7.其中，利用規劃解碼器結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到目標規劃特徵，包括：利用規劃解碼器結合題目編碼特徵對歷史規劃特徵進行關鍵詞特徵抽取或實體關係特徵抽取；根據抽取的關鍵詞特徵或實體關係特徵進行文章規劃預測，得到目標規劃特徵。
8.其中，利用寫作解碼器按照目標規劃特徵和題目編碼特徵進行文章預測，得到與文章題目對應的目標預測文章，包括：獲取寫作解碼器的歷史預測文章；利用寫作解碼器結合目標規劃特徵、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章。
9.其中，目標規劃特徵包括規劃注意力矩陣；利用寫作解碼器結合目標規劃特徵、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章，包括：利用寫作解碼器結合規劃注意力矩陣、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章。
10.其中，寫作解碼器包括寫作注意力層，利用寫作解碼器結合規劃注意力矩陣、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章，包括：利用寫作注意力層結合規劃注意力矩陣，得到寫作注意力層對應的寫作注意力矩陣；利用寫作注意力矩陣對題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章。
11.其中，利用寫作解碼器按照目標規劃特徵和題目編碼特徵進行文章預測，得到與文章題目對應的目標預測文章之後，包括：獲取文章題目對應的真實規劃和真實文章；利用真實規劃和目標規劃特徵確定出第一損失值；利用真實文章和目標預測文章確定出第二損失值；根據第一損失值和第二損失值調整題目編碼器、規劃解碼器和寫作解碼器的參數。
12.為了解決上述技術問題，本技術採用的另一技術方案是：提供一種電子設備，該電子設備包括存儲器和處理器，其中，存儲器用於存儲電腦程式，處理器用於執行電腦程式以實現上述文章生成方法。
13.為了解決上述技術問題，本技術採用的另一技術方案是：提供一種計算機可讀存儲介質，該計算機可讀存儲介質用於存儲電腦程式，電腦程式在被處理器執行時用於實現上述文章生成方法。
14.本技術的有益效果是：區別於現有技術，本技術提供的文章生成方法首先利用題目編碼器對文章題目進行編碼，以得到題目編碼特徵，進而，先利用規劃解碼器對題目編碼特徵進行文章規劃預測，得到目標規劃特徵，然後利用寫作解碼器按照目標規劃特徵和題目編碼特徵進行文章預測，得到與文章題目對應的目標預測文章的方式，將規劃和寫作使用不同的解碼器按照先規劃後寫作的方式進行解碼，不僅能夠降低文章預測的難度，還提高預測的文章的邏輯性和可讀性，進而提高生成文章的質量和多樣性。
附圖說明
15.為了更清楚地說明本技術實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本技術的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。其中：
16.圖1是本技術提供的文章生成方法第一實施例的流程示意圖；
17.圖2是本技術提供的步驟13一實施例的流程示意圖；
18.圖3是本技術提供的步驟14一實施例的流程示意圖；
19.圖4是本技術提供的文章生成方法第二實施例的流程示意圖；
20.圖5是本技術提供的議論文生成方法一實施例的示意圖；
21.圖6是本技術提供的電子設備一實施例的結構示意圖；
22.圖7是本技術提供的計算機可讀存儲介質一實施例的結構示意圖。
具體實施方式
23.下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本技術的一部分實施例，而不是全部的實施例。基於本技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他
實施例，都屬於本技術保護的範圍。
24.參閱圖1，圖1是本技術提供的文章生成方法第一實施例的流程示意圖，該方法包括：
25.步驟11：獲取文章題目。
26.在一些實施例中，響應於用戶的輸入指令，將文章題目輸入至訓練好的文章生成模型中，以利用文章生成模型對文章題目進行相應操作，生成與輸入的文章題目對應的文章。
27.其中，文章生成模型可以是基於transformer結構的模型，如bert(bidirectional encoder representations from transformer，基於transformer的雙向編碼器表示)模型、t5(text-to-text transfer transformer，基於transformer的文本到文本轉換)模型，這裡不做限制。bert模型是一個基於transformer結構，且能夠結合雙向和自回歸的語言模型。t5模型是一個基於transformer結構，且可以將所有nlp(natural language processing，自然語言處理)任務都轉換成同一的文本到文本格式，任務的輸入和輸出都是文本字符串。
28.步驟12：利用題目編碼器對文章題目進行編碼，得到題目編碼特徵。
29.題目編碼器是文章生成模型內嵌的編碼器。
30.在一些實施例中，文章生成模型是bert模型，利用bert模型的編碼器對獲取的文章題目進行編碼，以得到對應的題目編碼特徵，即he＝encoder(x)，其中x表示文章題目，he表示題目編碼特徵。
31.具體地，將文章題目用x＝{x1，x2，
…
，xn}表示，文章生成器的編碼器使用嵌入映射函數/embedding映射函數將x＝{x1，x2，
…
，xn}映射成emb(x)＝{e1，e2，
…
，en}，接著利用上下文映射函數/enc函數映射成he＝enc(emb(x))＝{h1，h2，
…
，hn}。
32.步驟13：利用規劃解碼器對題目編碼特徵進行文章規劃預測，得到目標規劃特徵。
33.規劃解碼器是基於transformer結構、用於根據文章題目生成文章規劃的解碼器，規劃解碼器可以以回歸的方式生成文章規劃，即將歷史規劃作為當前的輸入，結合題目編碼特徵一個詞一個詞地進行預測，得到預測的規劃。
34.在一些實施例中，參閱圖2，步驟13可以包括以下流程：
35.步驟21：獲取規劃解碼器的歷史規劃特徵。
36.可以理解地，歷史規劃特徵是歷史預測得到的規劃。在一些實施例中，歷史規劃特徵用y
p《t
來表示。
37.步驟22：利用規劃解碼器結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到目標規劃特徵。
38.在一些實施例中，規劃解碼器是bert模型的解碼器，可以基於題目編碼特徵和歷史規劃特徵進行文章規劃預測，以得到目標規劃特徵。
39.首先，利用規劃解碼器對題目編碼特徵和歷史規劃特徵進行處理，得到h
pt
＝pd(he，y
p《t
)，其中，pd表示規劃解碼器plan decoder。h
pt
表示第t個字符的隱狀態表示。
40.在一些實施例中，獲取h
pt
之後，可以基於可學習的網絡參數w
p
、b
p
，利用歸一化函數對h
pt
進行處理，得到目標規劃特徵(w
p
*h
pt
+b
p
)，其中，表示規劃解碼器預測的目標規劃特徵中的第t個字符。
41.在一些實施例中，規劃解碼器包括規劃注意力層，可以利用規劃注意力層結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到規劃注意力矩陣，將規劃注意力矩陣作為目標規劃特徵。
42.規劃解碼器的每一個transformer層都包含有三個子層，即自注意力層、交互注意力層和前饋網絡層。自注意力層為規劃解碼器的規劃注意力層，可以利用自注意力層結合題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到規劃注意力矩陣，其中，規劃注意力矩陣包括key矩陣和value矩陣，key矩陣和value矩陣可以作為目標規劃特徵，其中，key矩陣記為k
p
，value矩陣記為v
p
。
43.在一些實施例中，利用規劃解碼器結合題目編碼特徵對歷史規劃特徵進行關鍵詞特徵抽取或實體關係特徵抽取，以根據抽取的關鍵詞特徵或實體關係特徵進行文章規劃預測，得到目標規劃特徵。
44.具體地，利用規劃解碼器結合題目編碼特徵對歷史規劃特徵進行關鍵詞特徵抽取，可以通過使用tf-idf(term frequency-inverse document frequency，詞頻-逆向文件頻率)實現，tf-idf是一種用於信息檢索與數據挖掘的常用加權技術，其中，tf是詞頻，idf是逆向文件頻率。tf-idf也是一種統計方法，可以用於評估一個字詞對於一個文件集/語料庫中某一份文件的重要程度。
45.利用tf-idf抽取關鍵詞特徵的表達式為y
p
＝k1#1|k2#2|
…
|ki#i，其中，ki指的是第i個關鍵詞，另外，加上「#i」的目的是為了使文章生成模型能夠感知到預測的關鍵詞特徵的數量。其中，可以將此處的y
p
作為歷史規劃特徵。
46.具體地，利用規劃解碼器結合題目編碼特徵對歷史規劃特徵進行實體關係特徵抽取，可以通過使用openie工具實現，openie工具是一種開放域只是抽取工具，其是一種無本體的信息抽取範式，openie工具的提取形式為(主語：關係：對象)，(主語：關係：對象)又稱三元組，其中「關係」為實體關係，實體關係分為兩種，一種是屬性(property)，另一種是關係(relation)。若實體關係是property，三元組包含的兩個實體為主題(topic)、字符串，如屬性是類型，主題是人、字符串是小明，此時三元組是(小明，類型，人)；若實體關係是relation，三元組包含的兩個實體通常是兩個主題(topic)，如關係是出生地，主題是人和地名，此時三元組是(小明，出生地，倫敦)。在本技術的實施例中，使用的三元組中的實體關係是relation。
47.利用openie工具抽取實體關係特徵的表達式為y
p
＝s1#r1#o1#1|s2#r2#o2#2|
…
|si#ri#oi#i，對應的三元組為(si，ri，oi)，其中，si表示第i個主實體，ri表示第i個關係，oi表示第i個目標實體，且加上「#i」的目的是為了使文章生成模型能夠感知到預測的實體關係特徵的數量。其中，可以將此處的y
p
作為歷史規劃特徵。
48.在其他實施例中，利用規劃解碼器結合題目編碼特徵對歷史規劃特徵進行語義角色信息特徵抽取，以根據抽取的語音角色信息特徵進行文章規劃預測，得到目標規劃特徵。
49.在其他實施例中，可以人為生成文章規劃，以得到目標規劃特徵。
50.步驟14：利用寫作解碼器按照目標規劃特徵和題目編碼特徵進行文章預測，得到與文章題目對應的目標預測文章。
51.在一些實施例中，參閱圖3，步驟14可以包括以下流程：
52.步驟31：獲取寫作解碼器的歷史預測文章。
53.可以理解地，歷史預測文章與歷史規劃特徵、歷史文章題目對應，歷史預測文章用y
e《t
表示。
54.步驟32：利用寫作解碼器結合目標規劃特徵、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章。
55.在一些實施例中，目標規劃特徵包括規劃注意力矩陣，可以利用寫作解碼器結合規劃注意力矩陣、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章。
56.寫作解碼器可以基於歷史規劃特徵、題目編碼特徵和歷史預測文章進行文章預測，即h
wt
＝wd(he，k
p
，v
p
，y
e《t
)，其中wd是寫作解碼器word decoder，k
p
和v
p
分別是規劃解碼器的key矩陣和value矩陣。
57.獲取h
wt
之後，可以基於神經網絡中可學習的網絡參數ww、bw，利用歸一化函數對h
wt
進行處理，即其中，表示寫作解碼器預測的目標預測文章中的第t個字符。
58.在一些實施例中，寫作解碼器包括寫作注意力層，可以利用寫作注意力層結合規劃注意力矩陣，得到寫作注意力層對應的寫作注意力矩陣，進而利用寫作注意力矩陣對題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章。
59.寫作解碼器中每一transformer層的寫作注意力層包括key矩陣、value矩陣和query矩陣，key矩陣、value矩陣和query矩陣分別用kw、vw、qw表示。
60.其中，qw＝q'w；q'w、k'w和v'w分別表示寫作解碼器中原始的query矩陣、key矩陣和value矩陣。
61.表示矩陣在第一個維度進行拼接操作，如「矩陣矩陣2」，其中，矩陣1為[[[1],[2]]，[[5],[6]]，[[9],[8]]]，矩陣2為[[[3],[4]]，[[7],[8]]，[[3],[2]]]，則「矩陣矩陣2」表示[[[1],[2],[3],[4]]，[[5],[6],[7],[8]]，[[9],[8],[3],[2]]]。
[0062]
通過使用兩個解碼器分別實現文本規劃和文章寫作，同時規劃解碼器通過規劃注意力來引導寫作解碼器的寫作。這種方式能夠避免規划過程和寫作過程相互幹擾，從而提升文本規劃的預測質量。
[0063]
區別於現有技術，本技術提供的文章生成方法通過題目編碼器對文章題目進行編碼，得到題目編碼特徵，接著利用規劃解碼器對題目編碼特徵進行文章規劃預測，以得到目標規劃特徵，最後再利用寫作解碼器基於目標規劃特徵和文章題目進行文章預測，以得到目標預測文章，上述方式通過先規劃後寫作的方式，將規劃解碼器和寫作解碼器分開，可以提高預測的文章的邏輯性和可讀性，以獲取更符合要求的文章。
[0064]
在一些實施例中，可以對上述的題目編碼器、規劃解碼器和寫作解碼器進行訓練，利用訓練好的題目編碼器、規劃解碼器和寫作解碼器實現文章的預測。
[0065]
參閱圖4，圖4是本技術提供的文章生成方法第二實施例的流程示意圖，該方法包括：
[0066]
步驟41：獲取文章題目。
[0067]
步驟42：利用題目編碼器對文章題目進行編碼，得到題目編碼特徵。
[0068]
步驟43：利用規劃解碼器對題目編碼特徵進行文章規劃預測，得到目標規劃特徵。
[0069]
步驟44：利用寫作解碼器按照目標規劃特徵和題目編碼特徵進行文章預測，得到與文章題目對應的目標預測文章。
[0070]
步驟41至步驟44可以與上述任一實施例具備相同或相似的技術特徵，這裡不再贅述。
[0071]
步驟45：獲取文章題目對應的真實規劃和真實文章。
[0072]
在一些實施例中，真實規劃可以屬於歷史規劃特徵，用y
p《t
表示，真實文章可以屬於歷史預測文章，用y
e《t
表示。
[0073]
步驟46：利用真實規劃和目標規劃特徵確定出第一損失值。
[0074]
在一些實施例中，真實規劃用y
p《t
表示，目標規劃特徵y
p
由若干個y
pt
組成(其中t的取值不同)，由於此處可以使用求和符合∑，故目標規劃特徵用y
pt
表示，第一損失值的計算可以使用負對數似然作為損失函數，表達公式為lw＝-∑
it＝1
logp(y
pt
|y
p《t
，x)，其中t的取值範圍是[1，i]，i表示y
pt
的數量，其中，x表示文章題目。
[0075]
步驟47：利用真實文章和目標預測文章確定出第二損失值。
[0076]
在一些實施例中，真實文章可以屬於歷史預測文章，用y
e《t
表示，目標預測文章ye由若干個y
et
組成(其中t的取值不同)，由於此處可以使用求和符合∑，故目標預測文章用y
et
表示，第二損失值的計算可以使用負對數似然作為損失函數，表達式為l
p
＝-∑
nt＝1
logp(y
et
|y
e《t
，y
p
，x)，其中t的取值範圍是[1，n]，n表示預測文章中y
et
的數量。
[0077]
步驟48：根據第一損失值和第二損失值調整題目編碼器、規劃解碼器和寫作解碼器的參數。
[0078]
基於第一損失值和第二損失值，可以獲取總的損失值為l＝lw+l
p
。
[0079]
另外，第一損失值的計算涉及到題目編碼器和規劃解碼器，因此可以基於第一損失值對題目編碼器和規劃解碼器的參數進行更改，以使第一損失值達到最小；第二損失值的計算涉及題目編碼器、規劃解碼器和寫作解碼器，因此可以基於第二損失值對題目編碼器、規劃解碼器和寫作解碼器的參數進行更改，以使第二損失值達到最小。總的來說，調整題目編碼器、規劃解碼器和寫作解碼器的參數的目的，是為了使得總的損失函數l最小，在調整的時候，可以基於第一損失值和第二損失值動態調整題目編碼器、規劃解碼器和寫作解碼器的參數。
[0080]
區別於現有技術，本技術提供的文章生成方法可以通過先規劃後寫作的方式，將規劃解碼器和寫作解碼器分開，以獲取更符合要求的文章，且獲取文章之後，可以獲取第一損失值和第二損失值，以基於第一損失值和第二損失值動態調整題目編碼器、規劃解碼器和寫作解碼器的參數，以不斷訓練文章生成模型，使得文章生成模型生成的目標預測文章的準確性更高，提高預測的文章的邏輯性和可讀性。
[0081]
本技術的文章可以是邏輯性較強的文章，如議論文，參閱圖5，圖5是本技術提供的議論文生成方法一實施例的示意圖，可以將議論文的文章題目輸入題目編碼器，以得到題目編碼特徵，進而利用規劃解碼器基於題目編碼特徵和歷史規劃特徵進行文章規劃預測，得到目標規劃特徵和規劃輸出概率分布，進而利用規劃解碼器中的規劃注意力機制對目標規劃特徵進行處理，以得到規劃注意力矩陣，接著可以利用寫作解碼器結合規劃注意力矩陣、題目編碼特徵和歷史預測文章進行文章預測，得到與文章題目對應的目標預測文章和議論文輸出概率分布。
[0082]
其中，規劃輸出概率分布可以是文章規劃中包含的關鍵詞的概率分布；議論文輸出概率分布可以是議論文中包含的文章規劃的概率分布。
[0083]
通過上述方式，可以將規劃和寫作使用不同的解碼器按照先規劃後寫作的方式進行解碼，不僅能夠降低文章預測的難度，還提高預測的文章的邏輯性和可讀性，進而提高生成文章的質量和多樣性。
[0084]
參閱圖6，圖6是本技術提供的電子設備一實施例的結構示意圖，該電子設備60包括存儲器601和處理器602，存儲器601用於存儲電腦程式，處理器602用於執行電腦程式以實現上述任一實施例的文章生成方法，這裡不再贅述。
[0085]
參閱圖7，圖7是本技術提供的計算機可讀存儲介質一實施例的結構示意圖，該計算機可讀存儲介質70存儲有電腦程式701，電腦程式701在被處理器執行時用於實現上述任一實施例的文章生成方法，這裡不再贅述。
[0086]
綜上所述，本技術提供的文章生成方法可以通過先規劃後寫作的方式，將規劃和寫作使用不同的解碼器按照先規劃後寫作的方式進行解碼，不僅能夠降低文章預測的難度，還提高預測的文章的邏輯性和可讀性，進而提高生成文章的質量和多樣性。獲取文章之後，可以獲取第一損失值和第二損失值，以基於第一損失值和第二損失值動態調整題目編碼器、規劃解碼器和寫作解碼器的參數，以不斷訓練文章生成模型，使得文章生成模型生成的目標預測文章的準確性更高，可以提高預測的文章的邏輯性和可讀性。
[0087]
本技術還可以基於上述任一實施例所述的方法，設計一應用於終端設備(如筆記本電腦、智慧型手機)的文章生成工具，文章生成工具在終端設備上的顯示界面可以包括a區和b區，a區支持用戶自定義輸入文章題目、並將輸入的文章題目進行顯示，b區用於顯示與文章題目相關的預測的文章。
[0088]
本技術涉及的處理器可以稱為cpu(central processing unit，中央處理單元)，可能是一種集成電路晶片，還可以是通用處理器、數位訊號處理器(dsp)、專用集成電路(asic)、現場可編程門陣列(fpga)或者其他可編程邏輯器件、分立門或者電晶體邏輯器件、分立硬體組件。
[0089]
本技術使用的存儲介質包括u盤、移動硬碟、只讀存儲器(rom，read-only memory)、隨機存取存儲器(ram，random access memory)或者光碟等各種可以存儲程序代碼的介質。
[0090]
以上所述僅為本技術的實施方式，並非因此限制本技術的專利範圍，凡是利用本技術說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本技術的專利保護範圍內。