數據處理方法、表格處理方法、裝置、設備和存儲介質與流程

2024-04-15 11:29:05

1.本公開涉及人工智慧
技術領域：
：，尤其涉及深度學習以及nlp(naturallanguageprocessing，自然語言處理)領域。
背景技術：
：：2.在web(worldwideweb，全球廣域網)網頁及行業文檔中，存在著形形色色的表格數據。表格數量龐大且結構多樣，人工從這些表格中獲取所需信息需要巨大的成本。為此，nlp領域定義了大量表格理解任務，例如單元格分類、單元格之間的關係分類、基於問答的單元格定位等。為了實現這些任務，可以先採用表格預訓練模型對表格進行處理。表格預訓練模型可以綜合利用表格的結構信息以及表格內的文本信息獲取相應的語義表示，從而有效提升下遊表格理解任務的處理效果。3.由於表格預訓練模型不能掌握在預訓練階段未學習到的模式與知識，因此，用於預訓練的訓練數據集對於表格預訓練模型的泛化能力至關重要。實際應用中，表格預訓練模型的訓練數據一般是真實的簡單表格。技術實現要素：4.本公開提供了一種數據處理方法、表格處理方法、裝置、設備和存儲介質。5.根據本公開的一方面，提供了一種數據處理方法，包括：6.獲取多個實體關係數據；7.基於所述多個實體關係數據，構建多個第一表格；8.基於所述多個第一表格，得到訓練數據集；其中，所述訓練數據集用於訓練得到表格預訓練模型。9.根據本公開的另一方面，提供了一種表格處理方法，包括：10.利用表格預訓練模型對目標表格進行處理，得到目標表格的語義表示；其中，表格預訓練模型是基於本公開任一實施例的訓練數據集得到的；11.基於語義表示執行表格理解任務，得到任務處理結果。12.根據本公開的一方面，提供了一種數據處理裝置，包括：13.數據獲取模塊，用於獲取多個實體關係數據；14.表格構建模塊，用於基於所述多個實體關係數據，構建多個第一表格；15.數據集確定模塊，用於基於所述多個第一表格，得到訓練數據集；其中，所述訓練數據集用於訓練得到表格預訓練模型。16.根據本公開的另一方面，提供了一種表格處理裝置，包括：17.語義表示輸出模塊，用於利用表格預訓練模型對目標表格進行處理，得到所述目標表格的語義表示；其中，所述表格預訓練模型是基於本公開任一實施例中的訓練數據集得到的；18.任務處理模塊，用於基於所述語義表示執行表格理解任務，得到任務處理結果。19.根據本公開的另一方面，提供了一種電子設備，包括：20.至少一個處理器；以及21.與該至少一個處理器通信連接的存儲器；其中，22.該存儲器存儲有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠執行本公開實施例中任一的方法。23.根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，該計算機指令用於使該計算機執行根據本公開實施例中任一的方法。24.根據本公開的另一方面，提供了一種電腦程式產品，包括電腦程式，該電腦程式在被處理器執行時實現根據本公開實施例中任一的方法。25.本公開實施例的技術方案，可以提升表格預訓練模型的訓練數據的多樣性，從而提升表格預訓練模型的泛化能力。26.應當理解，本部分所描述的內容並非旨在標識本公開的實施例的關鍵或重要特徵，也不用於限制本公開的範圍。本公開的其它特徵將通過以下的說明書而變得容易理解。附圖說明27.附圖用於更好地理解本方案，不構成對本公開的限定。其中：28.圖1是本公開一實施例提供的數據處理方法的流程示意圖；29.圖2是本公開實施例中各類表格的單元格數量的分位數分布情況的示意圖；30.圖3是是本公開實施例的一個應用示例的示意圖。31.圖4是本公開另一實施例提供的表格處理方法的流程示意圖；32.圖5是本公開一實施例提供的數據處理裝置的示意性框圖；33.圖6是本公開另一實施例提供的數據處理裝置的示意性框圖；34.圖7是本公開又一實施例提供的數據處理裝置的示意性框圖；35.圖8是本公開一實施例提供的表格處理裝置的示意性框圖；36.圖9是用來實現本公開實施例的方法的電子設備的框圖。具體實施方式37.以下結合附圖對本公開的示範性實施例做出說明，其中包括本公開實施例的各種細節以助於理解，應當將它們認為僅僅是示範性的。因此，本領域普通技術人員應當認識到，可以對這裡描述的實施例做出各種改變和修改，而不會背離本公開的範圍。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。38.圖1是本公開一實施例提供的數據處理方法的流程示意圖。如圖1所示，該方法可以包括：39.步驟s110、獲取多個實體關係數據；40.步驟s120、基於多個實體關係數據，構建多個第一表格；41.步驟s130、基於多個第一表格，得到訓練數據集，該訓練數據集用於訓練得到表格預訓練模型。42.在本公開實施例中，實體關係數據用於表示兩個實體之間的關係。示例性地，實體關係數據為三元組數據，該三元組數據的結構可以是(subject(主語)，predicate(謂語)，object(賓語))，也可以稱為spo數據。例如，兩個實體包括「李白」和「靜夜思」，該兩個實體之間的關係為「李白的代表作是靜夜思」，則該關係可以採用spo數據(李白，代表作，靜夜思)進行表示。43.在一些示例中，兩個實體之間的關係往往是實體之間的屬性關係。示例性地，上述spo數據的結構往往也可以理解為(實體，屬性，屬性值)。例如，spo數據(李白，代表作，靜夜思)也可以理解為：實體「李白」的屬性「代表作」的屬性值為「靜夜思」。因此，在一些示例中，實體關係數據也可以稱為實體屬性數據。44.示例性地，在本公開實施例中，第一表格為響應於表格預訓練的需求構建的表格，即第一表格不是真實表格。可選地，可以根據預先配置的表格模板，將各個實體關係數據填充到表格模板中，從而構建得到第一表格。45.示例性地，預先在表格模板中設定用於填充spo數據中的主語信息的單元格區域、用於填充spo數據中的謂語信息的單元格區域以及用於填充spo數據中的賓語信息的單元格區域。實際應用中，將每個spo數據中的主語信息、謂語信息和賓語信息對應地填入相應的單元格區域，則可以得到第一表格。46.可選地，多個第一表格可以包括不同類型的表格，也可以包括同一類型的多個表格。這裡，不同類型的表格可以指採用了不同的模板進行填充的表格。具體實施時，可以將多個實體關係數據中的至少部分數據填充到不同的表格模板中，從而得到不同類型的多個表格。還可以對多個實體關係數據中的至少部分數據進行分組，將每組數據分別填充到同一表格模板中，從而得到同一類型的多個表格，每個表格對應於一組數據。47.示例性地，在上述步驟s130中，可以將多個第一表格進行聚合，得到訓練數據集。也可以將多個第一表格與多個真實表格進行聚合，得到訓練數據集。基於此，在本公開實施例中的訓練數據集至少包括多個第一表格。48.本公開實施例中的訓練數據集用於訓練得到表格預訓練模型。示例性地，該表格預訓練模型可以用於針對輸入的表格，得到對應的語義表示。該語義表示用於完成表格理解任務。其中，表格理解任務可以包括自監督任務和有監督任務。有監督任務包括例如表格中的基於問答的單元格定位(cellretrieval)、問題解析(questionparsing)、表格定位(tableretrieval)、單元格分類(celltypeclassification)、單元格之間的關係分類(cellpairrelationclassification)、表格分類(tabletypeclassification)等。自監督任務包括例如單元格填空(cell-levelcloze)、單元格取值修復(cellvaluerecovery)、異常單元格檢測(corruptcelldetection)等。49.可選地，在本公開實施例中，可以對構建得到的多個表格進行與不同的任務對應的不同處理操作，從而得到相應的訓練數據子集，使表格預訓練模型能夠針對不同任務的模式與相關知識輸出準確的語義表示。50.可以看到，本公開實施例提供的數據處理方法，利用實體關係數據構建表格，並基於構建得到的表格得到表格預訓練模型的訓練數據集。相比於僅採用真實表格構建表格預訓練模型的訓練數據集，本公開實施例的方法可以提升表格預訓練模型的訓練數據的多樣性，從而提升表格預訓練模型的泛化能力。51.在本公開的一些實施例中，還提供上述實體關係數據的獲取方式。可選地，在上述步驟s110中，獲取多個實體關係數據，包括：52.在實體描述信息中，提取多個鍵值對數據；53.基於實體描述信息所描述的實體以及多個鍵值對數據中的每個鍵值對數據，得到與每個鍵值對數據對應的實體關係數據。54.示例性地，實體描述信息可以包括任意用於描述實體的文檔、頁面等。例如，實體描述信息可以包括實體的網絡百科頁面，網絡百科頁面中包含大量的kv(key-value，鍵值對)數據，可轉化為spo數據。55.舉例而言，針對實體「知識圖譜」的實體描述信息中，包含多個kv數據，具體如下：56.別名：科學知識圖譜；57.外文名：knowledgegraph；58.應用：理論與方法與計量學引文分析。59.利用實體「知識圖譜」以及以上kv數據，可以構建多個實體關係數據，具體如下：60.(知識圖譜，別名，科學知識圖譜)；61.(知識圖譜，外文名，knowledgegraph)；62.(知識圖譜，應用，理論與方法與計量學引文分析)。63.採用上述實體關係數據的獲取方式，能夠獲取到高質量的實體關係數據，有利於構建符合真實情況的第一表格，從而在提升表格預訓練模型的訓練數據集的多樣性的同時，提升該訓練數據集的質量。64.可以理解，在一些實施例中，也可以結合其他方式提取用於構建實體關係數據的kv數據。例如，部分行業的網站中包含完善的行業kv頁面，可以從該行業kv頁面中提取kv數據。可選地，上述kv頁面以及網絡百科頁面均可通過網頁爬取得到。65.可選地，在一些實施例中，上述步驟s120、基於多個實體關係數據，構建多個第一表格，可以包括：66.基於多個實體關係數據，確定與m個主語信息分別對應的m個實體關係數據集合，m為大於或等於2的整數；67.基於m個實體關係數據集合，構建多個第一表格。68.具體地，可以匯總從各種渠道獲取的多個實體關係數據，並按照各實體關係數據中的主語信息對多個實體關係數據進行劃分，得到與多個主語信息分別對應的多個實體關係數據集合。其中，每個實體關係數據集合包括同一主語信息的多個實體關係數據，不同的實體關係數據集合中的實體關係數據對應於不同的主語信息。69.根據上述實施方式，將對應於同一主語信息的實體關係數據聚合在一起，有利於在構建表格的過程中，根據數據之間的關聯性構建更符合真實情況的第一表格，從而提升訓練數據集的質量。70.下面提供幾種示例性的基於實體關係數據集合構建第一表格的方式。71.示例1：在本示例中，多個第一表格可以包括關係表，即sql(structuredquerylanguage，結構化查詢語言)表。一個關係表中可以包含多個實體信息，且多個實體具有相同的一組屬性，實體行與屬性列交叉或實體列與屬性行交叉填充實體的屬性值。72.具體地，在本示例中，基於m個實體關係數據集合，構建多個第一表格，包括：73.在m個實體關係數據集合中，確定出具有至少n個相同的謂語信息的k個實體關係數據集合，其中，n為大於或等於1的整數，k為大於或等於2的整數且k小於或等於m；74.基於k個實體關係數據集合所對應的k個主語信息以及n個相同的謂語信息，填充表格模板中的表頭信息；75.利用k個實體關係數據集合中的賓語信息，填充表格模板中的表值區域，得到k個主語信息的關係表。76.其中，主語信息即spo數據中的s數據，謂語信息即spo數據中的p數據，賓語信息即spo數據中的o數據。77.舉例而言，設置n＝5，並假設m個實體關係數據集合中包含主語信息為電視節目a的實體關係數據集合、主語信息為電視節目b的實體關係數據集合以及主語信息為連載小說c的實體關係數據集合。其中，電視節目a的實體關係數據集合中的多個實體關係數據的謂語信息包括最後一期時間、播出狀態、類型、在線播放平臺、首播時間以及導演；電視節目b的實體關係數據集合中的多個實體關係數據的謂語信息包括最後一期時間、播出狀態、類型、在線播放平臺、首播時間以及類型；連載小說c的實體關係數據集合中的多個實體關係數據的謂語信息包括最後一期時間、作者、連載平臺以及作品性質。可以看到，電視節目a的實體關係數據集合以及電視節目b的實體關係數據集合具有5個相同的謂語信息(最後一期時間、播出狀態、類型、在線播放平臺、首播時間)，則可以基於電視節目a的實體關係數據集合以及電視節目b的實體關係集合填充表格模板，得到的關係表如表1所示：[0078][0079]在該示例中，將至少共享n個相同的p的spo數據集合聚合在一起，再基於聚合的spo數據集合進行關係表構建。如此，可以構造符合真實情況的關係表，並且具有一定的複雜性。基於該方式構造的關係表訓練得到的表格預訓練模型，可以提升表格預訓練模型處理複雜關係表的能力。[0080]示例2：在本示例中，多個第一表格可以包括橫向堆疊表。橫向堆疊表即一個表格的左右部分結構相同的表格，其中可以包含多個實體信息，且多個實體具有相同的一組屬性。[0081]具體地，在本示例中，基於m個實體關係數據集合，構建多個第一表格，包括：[0082]在m個實體關係數據集合中，確定出具有至少n個相同的謂語信息的k個實體關係數據集合，其中，n為大於或等於1的整數，k為大於或等於2的整數且k小於或等於m；[0083]將k個實體關係數據集合分成l組實體關係數據集合；其中，l為大於或等於2的整數；[0084]基於l組實體關係數據集合中的每組實體關係數據集合，得到每組實體關係數據集合所對應的多個主語信息的關係表；[0085]基於每組實體關係數據集合所對應的關係表進行橫向組合，得到橫向堆疊表。[0086]本示例與示例1類似，將至少共享n個p的spo數據集合(實體關係數據集合)聚合在一起。不同之處在於，本示例中將這些spo數據集合劃分為l組，每組包括至少一個spo數據集合。針對每組spo數據集合，可以按照示例1的方式構建關係表，進而將l個關係表橫向組合得到橫向堆疊表。其中，l的取值可以預先設置，也可以是隨機從多個數值中選取，例如l可以隨機取2或3，即橫向堆疊2個或3個關係表。[0087]例如，若n＝2，l＝2，則構建的橫向堆疊表的可以如表2所示：[0088][0089]在該示例中，對共享n個相同的p的spo數據集合進行分組，再分別構建關係表後進行橫向組合，得到橫向堆疊表。如此，可以構造符合真實情況的關係表，並且具有一定的複雜性。基於該方式構造的橫向堆疊表訓練得到的表格預訓練模型，可以提升表格預訓練模型處理複雜的橫向堆疊表的能力。[0090]示例3：在本示例中，多個第一表格可以包括實體表。一個實體表用於描述一個實體的屬性信息，其表頭和表值通常成對出現。[0091]具體地，在本示例中，基於m個實體關係數據集合，構建多個第一表格，包括：基於與m個主語信息中的第i個主語信息對應的實體關係數據集合，構建與第i個主語信息對應的實體表，其中，i為小於或等於m的正整數。[0092]實際應用中，針對某個實體關係數據集合，可以將其中的每個實體關係數據中的謂語信息和賓語信息成對地填充到表格模板中，從而構建得到該實體關係數據集合對應的主語信息的實體表。[0093]舉例而言，對於連載小說c，其對應的實體關係數據集合中包括連載小說c的多項屬性，構建的實體表可以如表3所示：[0094][0095]表3[0096]示例性地，可以將實體關係數據集合中來源於實體描述信息的前y個實體關係數據填充在實體表中的前y行，以使關鍵信息位於實體表中的前y行，其中y為正整數，例如2或3等。其他實體關係數據可以隨機填入。[0097]示例性地，如表3所示，在將每個實體關係數據中的謂語信息和賓語信息成對地填充到表格模板時，可以基於表頭對齊和表頭不對齊的方式填入。[0098]其中，表頭對齊的方式指spo數據中的p數據均填入序號為單數的列，o數據可以填入p數據右側的2n-1列，其中n為整數，即o數據佔的列數為單數。例如，表3中的第1行至第3行，p數據均填入第1列，o數據佔3列；表3中的第4、第5行，p數據填入第1、3、5列，o數據佔1列或3列。[0099]表頭不對齊的方式指spo數據中的p數據與o數據所在列以及列數不限。例如，表3中的第5行，p數據填入第1、4列，o數據佔2列。[0100]實際應用中，可以設置概率p，基於概率p將實體關係數據以表頭對齊的方式填入表格模板，基於概率(1-p)將實體關係數據以表頭不對齊的方式填入表格模板。其中，p為小於1的正數，例如p為0.8。[0101]在該示例中，基於同一實體對應的實體關係數據集合，構建該實體的實體表。如此，可以構造符合真實情況的實體表。基於該方式構造的實體表訓練得到的表格預訓練模型，可以提升表格預訓練模型處理複雜的實體表的能力。[0102]示例4：在本示例中，多個第一表格可以包括縱向堆疊表。縱向堆疊表即一個表格的上下部分結構相同的表格，其中可以包含多個實體信息。[0103]具體地，在本示例中，基於m個實體關係數據集合，構建多個第一表格，包括：基於與m個主語信息中的每個主語信息對應的實體表進行縱向組合，得到縱向堆疊表。[0104]也就是說，縱向堆疊表可以通過將多個實體表進行縱向組合得到。可選地，在縱向堆疊表中的每個實體表中，可以將實體名稱作為一整行合併單元格並設置於實體表的第一行。[0105]例如，縱向堆疊表可以如下表4所示，其包含電視節目a的實體表和連載小說c的實體表：[0106][0107]表4[0108]在該示例中，基於不同實體的實體表，構建縱向堆疊表。如此，可以構造符合真實情況的縱向堆疊表，並且具有一定的複雜性。基於該方式構造的縱向堆疊表表訓練得到的表格預訓練模型，可以提升表格預訓練模型處理複雜的縱向堆疊表的能力。[0109]以上示例1～示例4提供了基於實體關係數據集合構建第一表格的多種實施方式，可以理解，上述示例可以單獨實施，也可以組合實施，從而使得表格預訓練模型的訓練數據集中包含多樣化的表格。[0110]可選地，還可以基於實體關係數據中謂語信息之間的層級關係，構建層級表，以進一步提升訓練數據集中的表格多樣性。示例性地，上述步驟s120、基於多個實體關係數據，構建多個第一表格，可以包括：確定多個謂語信息之間的層級關係；基於多個謂語信息之間的層級關係，將多個謂語信息所對應的多個實體關係數據填充至表格模板，得到層級表。[0111]其中，多個謂語信息之間的層級關係，即多個屬性之間的層級關係。例如，電影的屬性「電影攝製組成員」一般包括子屬性「攝影指導」、「編劇」等。[0112]示例性地，可以通過爬取網頁的方式確定多個謂語信息的層級關係。例如，部分網絡百科頁面中的kv數據包含了多層級的k數據以及對應的v數據，則可以基於這類網絡百科頁面中的多層級的k數據得到多個謂語信息的層級關係。[0113]實際應用中，可以基於多個謂語信息之間的層級關係，將多個謂語信息作為表頭，並將對應的多個實體關係數據中的賓語信息填充至表格模板中作為表值。例如，層級表可以如以下表5所示：[0114][0115]表5[0116]在該示例中，利用多個謂語信息之間的層級關係構建層級表，從而進一步提升了構建的第一表格的複雜性。採用該層級表得到訓練數據集，基於該訓練數據集訓練得到的表格預訓練模型，可以具備處理複雜層級表的能力，從而進一步提升表格預訓練模型的泛化能力。[0117]可以看到，在上述構建第一表格的過程中，需要使用至少一個表格超參數明確構建的表格的規模。該表格超參數具體可以是數量參數，如關係表中包含的實體的數量、用於構建關係表的實體關係數據的共享屬性的數量、橫向堆疊表中橫向組合的關係表的數量、縱向堆疊表中縱向組合的實體表的數量等。實際應用中，可以通過超參迭代，確定表格超參數。[0118]具體地，在基於多個實體關係數據，構建多個第一表格之前，上述方法還可以包括：[0119]基於多個實體關係數據進行x次迭代操作，確定表格超參數，該表格超參數包括用於構建多個第一表格的至少一個數量參數；其中，x為大於或等於2的整數。[0120]其中，x次迭代操作中的第j次迭代操作，包括：[0121]基於多個實體關係數據以及第j-1次更新的表格超參數，構建多個第三表格；[0122]基於多個第三表格中的每個第三表格的規模信息，確定多個第三表格的規模信息分布情況；[0123]基於規模信息分布情況，對表格超參數進行第j次更新；其中，j為大於或等於1的整數。[0124]需要說明的是，對於j＝1的情況，第j-1次(即第0次)更新的表格超參數可以是預先設置的表格超參數初始值。[0125]可選地，迭代操作的次數x可以是預先確定的數值，也可以是由迭代處理情況確定的數值。當x為預先確定的數值時，當迭代次數達到x，即j＝x時，最後更新的表格超參數為用於構建第一表格的表格超參數。當x由迭代處理情況確定時，當規模信息分布情況符合預設條件(例如接近真實表格的規模信息分布情況)時，最後更新的表格超參數為用於構建第一表格的表格超參數。[0126]實際應用中，可以通過比對構建出的多個第三表格的規模信息分布情況與真實表格的規模信息分布情況，確定表格超參數的更新策略。[0127]舉例而言，表格的規模信息可以指表格中的單元格數量。圖2示出了各類表格的單元格數量的分位數分布情況。其中曲線201為網絡百科頁面中的真實表格的單元格數量分布曲線，曲線202為行業標準文檔中的真實表格的單元格數量分布曲線，曲線203為構建的關係表的單元格數量分布曲線，曲線204為構建的實體表的單元格數量分布曲線。可以看到，相比於曲線201和曲線202兩個真實表格的分布曲線，曲線203的單元格數量分位數較大，說明構建的關係表中單元格數量偏多，不符合真實數據分布。曲線204的單元格數量分位數較小，說明單元格數量偏少，不符合真實數據分布。需要基於此結論，調整表格超參數，進行二次數據構建。[0128]上述實施方式通過分布控制機制，保證構建的第一表格的規模分布符合真實分布，從而提升了第一表格的真實性，相應地提升了訓練數據集的質量和表格預訓練模型輸出的語義表示的準確性。[0129]可選地，在上述超參迭代的過程中，表格的規模信息包括單元格數量、行數、列數、單元格中的字符元素的數量、表格內的字符元素的數量中的至少之一。[0130]通過設置一種或多種規模信息控制表格超參數的迭代，可以進一步保證構建的第一表格的規模分布符合真實分布。[0131]以上通過多個示例展示本公開實施例中基於實體關係數據構建表格的實現方式。實際應用中，訓練數據集中不限於包含構建的第一表格，還可以包含真實的第二表格。[0132]示例性地，上述數據處理方法還可以包括：獲取目標行業的標準文檔；在標準文檔中提取多個第二表格。相應地，基於多個第一表格，得到訓練數據集，包括：基於多個第一表格以及多個第二表格，得到訓練數據集。[0133]可以理解，在本公開實施例中的第二表格為真實表格，該真實表格可以在特定行業的標準文檔中提取。示例性地，可以將爬取的標準文檔解析為結構化數據後提取結構化的第二表格。[0134]實際應用中，目標行業的數量可以是一個多個。示例性地，目標行業可以包括電力能源、金融、醫療和jg行業中的至少一個。在目標行業的數量為多個的情況下，可以基於每個目標行業，分別通過網頁爬取得到對應的標準文檔，從而在各標準文檔中提取真實表格。[0135]由於標準文檔是在特定範圍內的統一技術要求，面向專業人員，行業語義強，表格數量多，結構豐富且複雜，因此，對於提升預訓練模型對行業表格、複雜表格的理解能力非常重要。其次，標準文檔中表格數據的出現大概率伴隨著表格的解釋/描述文本，引入標準文檔作為數據源，能提升預訓練模型對表格和文檔的聯合建模能力。[0136]可以理解，實際應用中，用於提取真實表格的文檔不限於標準文檔。示例性地，也可以從行業涉及的說明書、臺帳、合同、公告、方案等各種類型的文檔中提取表格。[0137]示例性地，可以預先確定各類型的文檔的優先級，並採用不同的採樣比例從不同優先級的文檔中的表格中採樣得到多個第二表格。例如優先級越高則採樣比例越高。從而使得訓練數據集中的表格更加多樣化。[0138]示例性地，將標準文檔的優先級設為最高，其他類型的文檔的優先級設置可參考以下內容確定。[0139]1、說明書：說明書是面向大眾開放的，通過人工分析部分數據發現，說明書中的表格結構比較簡單，且通用性強，故可以認為通過通用領域的數據學習，已經能夠理解說明書類型文檔中的表格，因此設置為低優先級。[0140]2、臺帳：臺帳指作業過程中的詳細記錄，面向專業人員，文檔通篇都是表格，部分內容需要填寫而留空，是非常典型的離散型表格；此外，臺帳表格基本不涉及文本交互，設置為中優先級。[0141]3、合同：合同指交易協議，面向大眾(偏專業)，根據標的物的不同會在表格中涉及其他行業的知識，表格結構比較簡單，設置為中優先級。[0142]4、公告：與說明書類似，設置為低優先級。[0143]6、方案：方案指具體計劃，與標準類似，設置為高優先級。[0144]根據上述示例性方式，訓練數據集中可以包括基於通用領域的網絡百科頁面構建的第一表格，也可以包括基於目標行業的標準文檔提取的第二表格，可見，訓練數據集中的數據來源豐富，可以保證表格預訓練模型的訓練量充足，大幅提升表格預訓練模型的泛化能力。[0145]從上述示例可以看到，訓練數據集可以包括構建得到的多個表格，還可以包括通過其他方式獲取的真實表格。利用該訓練數據集訓練得到的表格預訓練模型，可以針對自監督任務的處理模式輸出準確的語義表示。[0146]可選地，在本公開實施例中，還可以針對有監督任務，提供對訓練數據集中的數據進行打標的方式。[0147]示例性地，針對真實的第二表格，在一些實施例中，上述數據處理方法還可以包括：[0148]針對訓練數據集中的每個第二表格，在標準文檔中檢索與第二表格對應的引用文本；[0149]基於引用文本確定第二表格對應的監督標籤信息；[0150]基於第二表格以及第二表格對應的監督標籤信息，得到針對有監督任務的第一訓練數據子集。[0151]其中，引用文本可以指標準文檔中引用表格的序號對表格進行介紹的文本，例如語句「表1為燈具中各部件的說明」。通過該引用文本可以識別到第二表格的表名，將第二表格的表名作為第二表格的監督標籤信息，可以提升表格預訓練模型在表格檢索任務中的語義表示能力。[0152]實際應用中，對於標準文檔中提取到的結構化的第二表格，還可以通過提取表格的結構信息得到表格的表名、單元格類型、單元格關係等信息。[0153]例如，通過第二表格中的《caption》標記可以得到表名，將表名作為第二表格的監督標籤信息，可以提升表格預訓練模型在表格定位任務中的語義表示能力。[0154]又例如，通過第二表格中的《th》標記可以識別第二表格中的表頭，從而確定表格中各單元格為表頭或表值，即可識別各單元格的類型。將單元格的類型作為第二表格的監督標籤信息，可以提升表格預訓練模型在單元格類型分類任務中的語義表示能力。[0155]又例如，通過第二表格中的《th》標記可以識別第二表格中的表頭，從而確定第二表格中表頭與表值之間的成對關係，進一步地可通過規則擴展成一對單元格的關係標籤，可以提升表格預訓練模型在單元格關係分類任務中的語義表示能力。[0156]可選地，還可以通過表格cvt抽取的方式，在第二表格中識別表頭和表值，從而針對不同的表格理解任務構造相應的監督標籤信息。[0157]示例性地，針對構建的第二表格，在一些實施例中，上述數據處理方法還可以包括：[0158]針對訓練數據集中的每個第一表格，獲取對應的實體關係數據；[0159]基於實體關係數據，確定第一表格對應的監督標籤信息；[0160]基於第一表格以及監督標籤信息，得到針對有監督任務的第二訓練數據子集。[0161]由於構建的第一表格是基於實體關係數據得到的，相應地對於第一表格可以獲取其對應的實體關係數據，以利用實體關係數據中的s-p-o的結構化信息構造監督標籤信息，從而提升監督標籤信息的準確率，以及保證有監督任務的訓練量充足。[0162]可選地，針對有文本交互的有監督的表格理解任務，基於實體關係數據，確定第一表格對應的監督標籤信息，可以包括：[0163]基於實體關係數據以及預設的問答模板，構造第一表格對應的查詢語句和答案；[0164]將答案作為第一表格和查詢語句的監督標籤信息。[0165]示例性地，問答模板可以包括如下幾種模板：[0166](1)sp-o：即查詢語句中包含s數據和p數據，答案中包含o數據。例如對於實體關係數據(李白，代表作，靜夜思)，可以構造查詢語句為「李白的代表作是什麼」，答案為「靜夜思」。[0167](2)so-p：即查詢語句中包含s數據和o數據，答案中包含p數據。例如對於實體關係數據(李白，代表作，靜夜思)，可以構造查詢語句為「李白和靜夜思的關係是什麼」，答案為「李白的代表作是靜夜思」。[0168](3)op-s：即查詢語句中包含o數據和p數據，答案中包含s數據。例如對於實體關係數據(李白，代表作，靜夜思)，可以構造查詢語句為「靜夜思是誰的代表作」，答案為「李白」。[0169](4)s：即問題是關於該s數據的詢問，例如問題為「李白的代表作是什麼」、「李白的愛好是什麼」等。[0170](5)p：即問題是關於該p數據的詢問，例如問題為「唐朝各位詩人的代表作分別是什麼」。[0171]此外，還可以構造一些與表格中單元格的布爾運算(boolean)、數值比較、數值計算、日期比較相關的查詢語句，並在第一表格中標註對應的答案，以提升監督標籤信息的多樣性。[0172]根據上述問答模板，可以為各個第一表格構造多種形式的查詢語句和答案，從而可以提升表格預訓練模型在與問答相關的表格理解任務(例如單元格定位、問題解析、表格定位)中的語義表示能力。[0173]可選地，針對無文本交互的有監督的表格理解任務，基於實體關係數據，確定第一表格對應的監督標籤信息，包括：[0174]基於實體關係數據中多個信息的信息類型，確定第一表格中的多個單元格的單元格類型和/或多個單元格之間的關係；[0175]將多個單元格的單元格類型和/或多個單元格之間的關係作為第一表格的監督標籤信息。[0176]示例性地，對於實體關係數據中的s數據和p數據，可以確定對應的單元格類型為表頭。對於實體關係數據中的o數據，可以確定對應的單元格類型為表值。對於同一實體關係數據中的s數據和p數據，或s數據和o數據，或p數據和o數據，可以將其對應的一對單元格標記為相關。對於不同實體關係數據中的信息，可以將其對應的一對單元格標記為無關。[0177]可見，根據上述方式，可以為各個第一表格中的多個單元格或多對單元格構造類型標籤和關係標籤，從而可以提升表格預訓練模型在與分類相關的任務(例如單元格類型分類、單元格關係分類和表格類型分類)中的語義表示能力。[0178]為了便於理解上述數據處理方法，圖3示出了一個應用示例的示意圖。如圖3所示，在應用示例中，數據處理方法包括以下步驟：[0179]1、明確領域：數據構建需要覆蓋的領域，包括通用領域和多個目標行業。[0180]2、明確數據源：確定各個領域內數據的質量和獲取難度，綜合選定構建數據源。例如選定通用領域web網頁和行業標準文檔作為數據源，其中通用領域web網頁中可以提取到結構化數據(例如鍵值對數據)以及半結構化數據，行業標準文檔中可以提取到結構化數據(例如完整表格)以及無結構化數據。[0181]3、數據構建：確定各個數據源的挖掘方案及策略方案。[0182]4、打標：根據數據源類型不同，按不同的方式進行有監督任務打標籤。[0183]5、分布控制：在關鍵參數上，控制策略構建數據和真實數據分布趨近。[0184]6、輸出：產出數據及標籤結果，用於表格預訓練。其中產出的數據包括簡單表和複雜表，簡單表包括關係表，複雜表包括實體表、堆疊表和層級表等。[0185]圖4示出了本公開另一實施例提供的表格處理方法的流程示意圖。如圖4所示，該方法可以包括：[0186]步驟s410、利用表格預訓練模型對目標表格進行處理，得到目標表格的語義表示；其中，表格預訓練模型是基於本公開任一實施例獲取的訓練數據集得到的；[0187]步驟s420、基於語義表示執行表格理解任務，得到任務處理結果。[0188]其中，目標表格為待處理的表格。針對目標表格理解任務可以包括自監督任務和有監督任務。有監督任務包括例如表格中的基於問答的單元格定位(cellretrieval)、問題解析(questionparsing)、表格定位(tableretrieval)、單元格分類(celltypeclassification)、單元格之間的關係分類(cellpairrelationclassification)、表格分類(tabletypeclassification)等。自監督任務包括例如單元格填空(cell-levelcloze)、單元格取值修復(cellvaluerecovery)、異常單元格檢測(corruptcelldetection)等。[0189]由於執行表格理解任務所依賴的語義表示，是基於表格預訓練模型得到的，而該表格預訓練模型是基於本公開前述實施例獲取的訓練數據集訓練得到的，因此，該表格預訓練模型具有較強的泛化處理能力，針對多種類型的表格理解任務均能準確輸出語義表示，從而提升了表格理解任務的處理效果。[0190]根據本公開的實施例，本公開還提供了一種數據處理裝置。圖5示出了本公開一實施例提供的數據處理裝置的示意性框圖。如圖5所示，該數據處理裝置可以包括：[0191]數據獲取模塊510，用於獲取多個實體關係數據；[0192]表格構建模塊520，用於基於多個實體關係數據，構建多個第一表格；[0193]數據集確定模塊530，用於基於多個第一表格，得到訓練數據集；其中，訓練數據集用於訓練得到表格預訓練模型。[0194]圖6示出了本公開另一實施例提供的數據處理裝置的示意性框圖。如圖6所示，在本公開的一些實施例中，數據處理裝置的數據獲取模塊可以包括：[0195]鍵值對提取單元611，用於在實體描述信息中，提取多個鍵值對數據；[0196]數據構造單元612，用於基於實體描述信息所描述的實體以及多個鍵值對數據中的每個鍵值對數據，得到與每個鍵值對數據對應的實體關係數據。[0197]可選地，如圖6所示，在本公開的一些實施例中，數據處理裝置的表格構建模塊可以包括：[0198]集合確定單元621，用於基於多個實體關係數據，確定與m個主語信息分別對應的m個實體關係數據集合，m為大於或等於2的整數；[0199]表格獲取單元622，用於基於m個實體關係數據集合，構建多個第一表格。[0200]可選地，表格獲取單元622具體用於：[0201]在m個實體關係數據集合中，確定出具有至少n個相同的謂語信息的k個實體關係數據集合，其中，n為大於或等於1的整數，k為大於或等於2的整數；[0202]基於k個實體關係數據集合所對應的k個主語信息以及n個相同的謂語信息，填充表格模板中的表頭信息；[0203]利用k個實體關係數據集合中的賓語信息，填充表格模板中的表值區域，得到k個主語信息的關係表。[0204]可選地，表格獲取單元622具體用於：[0205]將k個實體關係數據集合分成l組實體關係數據集合；其中，l為大於或等於2的整數；[0206]基於l組實體關係數據集合中的每組實體關係數據集合，得到每組實體關係數據集合所對應的多個主語信息的關係表；[0207]基於每組實體關係數據集合所對應的關係表進行橫向組合，得到橫向堆疊表。[0208]可選地，表格獲取單元622具體用於：[0209]基於與m個主語信息中的第i個主語信息對應的實體關係數據集合，構建與第i個主語信息對應的實體表；其中，i為小於或等於m的正整數。[0210]可選地，表格獲取單元622具體用於：[0211]基於與m個主語信息中的每個主語信息對應的實體表進行縱向組合，得到縱向堆疊表。[0212]圖7示出了本公開另一實施例提供的數據處理裝置的示意性框圖。如圖7所示，在該實施例中，表格構建模塊包括：[0213]關係確定單元711，用於確定多個謂語信息之間的層級關係；[0214]表格填充單元712，用於基於多個謂語信息之間的層級關係，將多個謂語信息所對應的多個實體關係數據填充至表格模板，得到層級表。[0215]可選地，如圖7所示，數據處理裝置還可以包括：[0216]超參迭代模塊720，用於基於多個實體關係數據進行x次迭代操作，確定表格超參數，表格超參數包括用於構建多個第一表格的至少一個數量參數；其中，x為大於或等於2的整數；[0217]其中，x次迭代操作中的第j次迭代操作，包括：[0218]基於多個實體關係數據以及第j-1次更新的表格超參數，構建多個第三表格；[0219]基於多個第三表格中的每個第三表格的規模信息，確定多個第三表格的規模信息分布情況；[0220]基於規模信息分布情況，對表格超參數進行第j次更新；其中，j為大於或等於1的整數。[0221]可選地，規模信息包括單元格數量、行數、列數、單元格中的字符元素的數量、表格內的字符元素的數量中的至少之一。[0222]可選地，如圖7所示，數據處理裝置還可以包括：[0223]標準獲取模塊730，用於獲取目標行業的標準文檔；[0224]表格提取模塊740，用於在標準文檔中提取多個第二表格；[0225]其中，數據處理裝置中的數據集確定模塊具體可以用於：[0226]基於多個第一表格以及多個第二表格，得到訓練數據集。[0227]可選地，如圖7所示，數據處理裝置還可以包括打標模塊750。[0228]在一個示例中，打標模塊750用於：[0229]針對訓練數據集中的每個第二表格，在標準文檔中檢索與第二表格對應的引用文本；[0230]基於引用文本確定第二表格對應的監督標籤信息；[0231]基於第二表格以及第二表格對應的監督標籤信息，得到針對有監督任務的第一訓練數據子集。[0232]在另一個示例中，打標模塊750用於：[0233]針對訓練數據集中的每個第一表格，獲取對應的實體關係數據；[0234]基於實體關係數據，確定第一表格對應的監督標籤信息；[0235]基於第一表格以及監督標籤信息，得到針對有監督任務的第二訓練數據子集。[0236]示例性地，打標模塊750用於：[0237]基於實體關係數據以及預設的問答模板，構造第一表格對應的查詢語句和答案；[0238]將答案作為第一表格和查詢語句的監督標籤信息。[0239]示例性地，打標模塊750用於：[0240]基於實體關係數據中多個信息的信息類型，確定第一表格中的多個單元格的單元格類型和/或多個單元格之間的關係；[0241]將多個單元格的單元格類型和/或多個單元格之間的關係作為第一表格的監督標籤信息。[0242]根據本公開的實施例，本公開還提供了一種表格處理裝置。圖8示出了本公開一實施例提供的表格處理裝置的示意性框圖。如圖8所示，該表格處理裝置可以包括：[0243]語義表示輸出模塊810，用於利用表格預訓練模型對目標表格進行處理，得到目標表格的語義表示；其中，表格預訓練模型是基於本公開任一實施例中的訓練數據集得到的；[0244]任務處理模塊820，用於基於語義表示執行表格理解任務，得到任務處理結果。[0245]本公開實施例的裝置的各模塊、子模塊的具體功能和示例的描述，可以參見上述方法實施例中對應步驟的相關描述，在此不再贅述。[0246]本公開的技術方案中，所涉及的用戶個人信息的獲取，存儲和應用等，均符合相關法律法規的規定，且不違背公序良俗。[0247]根據本公開的實施例，本公開還提供了一種電子設備、一種可讀存儲介質和一種電腦程式產品。[0248]圖9示出了可以用來實施本公開的實施例的示例電子設備900的示意性框圖。電子設備旨在表示各種形式的數字計算機，諸如，膝上型計算機、臺式計算機、工作檯、個人數字助理、伺服器、刀片式伺服器、大型計算機、和其它適合的計算機。電子設備還可以表示各種形式的移動裝置，諸如，個人數字助理、蜂窩電話、智慧型電話、可穿戴設備和其它類似的計算裝置。本文所示的部件、它們的連接和關係、以及它們的功能僅僅作為示例，並且不意在限制本文中描述的和/或者要求的本公開的實現。[0249]如圖9所示，設備900包括計算單元901，其可以根據存儲在只讀存儲器(rom)902中的電腦程式或者從存儲單元908加載到隨機訪問存儲器(ram)903中的電腦程式，來執行各種適當的動作和處理。在ram903中，還可存儲設備900操作所需的各種程序和數據。計算單元901、rom902以及ram903通過總線904彼此相連。輸入/輸出(i/o)接口905也連接至總線904。[0250]設備900中的多個部件連接至i/o接口905，包括：輸入單元906，例如鍵盤、滑鼠等；輸出單元907，例如各種類型的顯示器、揚聲器等；存儲單元908，例如磁碟、光碟等；以及通信單元909，例如網卡、數據機、無線通信收發機等。通信單元909允許設備900通過諸如網際網路的計算機網絡和/或各種電信網絡與其他設備交換信息/數據。[0251]計算單元901可以是各種具有處理和計算能力的通用和/或專用處理組件。計算單元901的一些示例包括但不限於中央處理單元(cpu)、圖形處理單元(gpu)、各種專用的人工智慧(ai)計算晶片、各種運行機器學習模型算法的計算單元、數位訊號處理器(dsp)、以及任何適當的處理器、控制器、微控制器等。計算單元901執行上文所描述的各個方法和處理，例如數據處理方法或表格處理方法。例如，在一些實施例中，數據處理方法或表格處理方法可被實現為計算機軟體程序，其被有形地包含於機器可讀介質，例如存儲單元908。在一些實施例中，電腦程式的部分或者全部可以經由rom902和/或通信單元909而被載入和/或安裝到設備900上。當電腦程式加載到ram903並由計算單元901執行時，可以執行上文描述的數據處理方法或表格處理方法的一個或多個步驟。備選地，在其他實施例中，計算單元901可以通過其他任何適當的方式(例如，藉助於固件)而被配置為執行數據處理方法或表格處理方法。[0252]本文中以上描述的系統和技術的各種實施方式可以在數字電子電路系統、集成電路系統、現場可編程門陣列(fpga)、專用集成電路(asic)、專用標準產品(assp)、晶片上系統的系統(soc)、負載可編程邏輯設備(cpld)、計算機硬體、固件、軟體、和/或它們的組合中實現。這些各種實施方式可以包括：實施在一個或者多個電腦程式中，該一個或者多個電腦程式可在包括至少一個可編程處理器的可編程系統上執行和/或解釋，該可編程處理器可以是專用或者通用可編程處理器，可以從存儲系統、至少一個輸入裝置、和至少一個輸出裝置接收數據和指令，並且將數據和指令傳輸至該存儲系統、該至少一個輸入裝置、和該至少一個輸出裝置。[0253]用於實施本公開的方法的程序代碼可以採用一個或多個程式語言的任何組合來編寫。這些程序代碼可以提供給通用計算機、專用計算機或其他可編程數據處理裝置的處理器或控制器，使得程序代碼當由處理器或控制器執行時使流程圖和/或框圖中所規定的功能/操作被實施。程序代碼可以完全在機器上執行、部分地在機器上執行，作為獨立軟體包部分地在機器上執行且部分地在遠程機器上執行或完全在遠程機器或伺服器上執行。[0254]在本公開的上下文中，機器可讀介質可以是有形的介質，其可以包含或存儲以供指令執行系統、裝置或設備使用或與指令執行系統、裝置或設備結合地使用的程序。機器可讀介質可以是機器可讀信號介質或機器可讀儲存介質。機器可讀介質可以包括但不限於電子的、磁性的、光學的、電磁的、紅外的、或半導體系統、裝置或設備，或者上述內容的任何合適組合。機器可讀存儲介質的更具體示例會包括基於一個或多個線的電氣連接、可攜式計算機盤、硬碟、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦除可編程只讀存儲器(eprom或快閃記憶體)、光纖、便捷式緊湊盤只讀存儲器(cd-rom)、光學儲存設備、磁儲存設備、或上述內容的任何合適組合。[0255]為了提供與用戶的交互，可以在計算機上實施此處描述的系統和技術，該計算機具有：用於向用戶顯示信息的顯示裝置(例如，crt(陰極射線管)或者lcd(液晶顯示器)監視器)；以及鍵盤和指向裝置(例如，滑鼠或者軌跡球)，用戶可以通過該鍵盤和該指向裝置來將輸入提供給計算機。其它種類的裝置還可以用於提供與用戶的交互；例如，提供給用戶的反饋可以是任何形式的傳感反饋(例如，視覺反饋、聽覺反饋、或者觸覺反饋)；並且可以用任何形式(包括聲輸入、語音輸入、或者觸覺輸入)來接收來自用戶的輸入。[0256]可以將此處描述的系統和技術實施在包括後臺部件的計算系統(例如，作為數據伺服器)、或者包括中間件部件的計算系統(例如，應用伺服器)、或者包括前端部件的計算系統(例如，具有圖形用戶界面或者網絡瀏覽器的用戶計算機，用戶可以通過該圖形用戶界面或者該網絡瀏覽器來與此處描述的系統和技術的實施方式交互)、或者包括這種後臺部件、中間件部件、或者前端部件的任何組合的計算系統中。可以通過任何形式或者介質的數字數據通信(例如，通信網絡)來將系統的部件相互連接。通信網絡的示例包括：區域網(lan)、廣域網(wan)和網際網路。[0257]計算機系統可以包括客戶端和伺服器。客戶端和伺服器一般遠離彼此並且通常通過通信網絡進行交互。通過在相應的計算機上運行並且彼此具有客戶端-伺服器關係的電腦程式來產生客戶端和伺服器的關係。伺服器可以是雲伺服器，也可以為分布式系統的伺服器，或者是結合了區塊鏈的伺服器。[0258]應該理解，可以使用上面所示的各種形式的流程，重新排序、增加或刪除步驟。例如，本公開中記載的各步驟可以並行地執行也可以順序地執行也可以不同的次序執行，只要能夠實現本公開公開的技術方案所期望的結果，本文在此不進行限制。[0259]上述具體實施方式，並不構成對本公開保護範圍的限制。本領域技術人員應該明白的是，根據設計要求和其他因素，可以進行各種修改、組合、子組合和替代。任何在本公開的原則之內所作的修改、等同替換和改進等，均應包含在本公開保護範圍之內。當前第1頁12當前第1頁12