一種將文本解析成鍵值對的方法和裝置製造方法
2023-09-22 23:23:15
一種將文本解析成鍵值對的方法和裝置製造方法
【專利摘要】本申請提供了一種將文本解析成鍵值對的方法和裝置，其中的方法具體包括：預置文本格式的文本解析模板；所述文本解析模板用於描述待處理文本的格式和目標鍵值對的格式；對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果，所述編譯結果包括：與待處理文本的格式相應的源變量和分隔符，以及與目標鍵值對的格式相應的目標變量；依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值；保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對。本申請能夠提高將文本解析成鍵值對的效率。
【專利說明】一種將文本解析成鍵值對的方法和裝置
【技術領域】
[0001]本申請涉及數據處理【技術領域】，特別是涉及一種將文本解析成鍵值對的方法和裝置。
【背景技術】
[0002]鍵值(Key-value)對是電腦程式的一種數據存儲結構，其通過一個主鍵(key)可以快速唯一定位到一個鍵值(value)，在需要快速查找和一對一保存數據等場景中得到了廣泛應用。
[0003]在實際應用中，經常存在這樣的需求:將一段文本中有價值的信息提取出來，並且通過鍵值對的形式進行存儲。例如，待處理文本為「icbcOOl，123456」，其中隱藏了渠道編號(api)和流水號(no)這樣的信息，需要將其中的內容提取出來，最終形成如下鍵值對{ap1:1cbcOOl, no:123456}。
[0004]對待處理文本的格式進行分析，可以得知文本是通過一個既定的符號分隔的字符串，文本中包含不規則的分隔符。故參考已有的字符串操作方法，將文本解析成鍵值對需要使用獲取子串的方式，其中獲取子串需要提前知道提取的子串在文本中的起始位置和終止位置；另外，還需要獲知「，」等分隔符的位置；在分隔符處截取兩個子串，並賦值給相應的變量，即能得到鍵值對。
[0005]依據上述解析思想，現有將文本解析成鍵值對的方法主要採用一個字符一個字符處理的方式，具體過程如下:
[0006]首先，針對待處理文本，從第一個字符開始向後查找，判斷有沒有一個字符是「，」，找到這個符號後獲取該符號所在的位置；
[0007]其次，依據獲取的「，」的位置，獲知「，」前面的子串在整個字符串中的起始位置和終止位置，以及，後面的子串在整個字符串中的起始位置和終止位置；
[0008]再次，通過程序設計語言的提取子串的功能分別提取出這兩個子串；
[0009]最後,將兩個子串分別賦值給api和no。
[0010]綜上，現有將文本解析成鍵值對的方法需要對文本進行一個字符一個字符的查找以確定文本格式，並且在查找後，需要根據複雜的文本格式確定變量格式，然後在確定變量格式後，需要將這些變量對應的字符串提取出來，然後將其賦值，形成鍵值對，也即現有將文本解析成鍵值對的方法需要很多次的全量遍歷。然而，在文本格式非常複雜(例如具有多種分隔符)，而且文本長度很長(例如子串長度很長)的情況下，多次全量遍歷會導致解析效率的大幅下降。
[0011]總之，需要本領域技術人員迫切解決的一個技術問題就是:如何能夠提高將文本解析成鍵值對的效率。
【發明內容】
[0012]本申請所要解決的技術問題是提供一種將文本解析成鍵值對的方法和裝置，能夠提高將文本解析成鍵值對的效率。
[0013]為了解決上述問題，本申請公開了一種將文本解析成鍵值對的方法，包括:
[0014]預置文本格式的文本解析模板；所述文本解析模板用於描述待處理文本的格式和目標鍵值對的格式；
[0015]對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果，所述編譯結果包括:與待處理文本的格式相應的源變量和分隔符，以及與目標鍵值對的格式相應的目標變量；
[0016]依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值；
[0017]保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對。
[0018]優選的，所述文本解析模板包括若干行文本；所述對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果的步驟，包括:
[0019]讀取所述文本解析模板的行文本的內容；
[0020]確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構和保留語法結構；
[0021]從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符；
[0022]從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量。
[0023]優選的，所述依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值的步驟，包括:
[0024]從待處理文本的第一個字符開始，按照所述源變量和分隔符的順序在待處理文本中進行匹配，得到的匹配結果中，第一個字符到第一個分隔符之間的文本為第一個源變量的值，兩個分隔符之間的文本為對應順序的源變量的值。
[0025]優選的，所述編譯結果的數據結構為類對象。
[0026]優選的，所述文本解析模板還用於描述解析的數據校驗規則；所述編譯結果還包括與所述數據校驗規則相應的源變量及相應的校驗函數；
[0027]所述方法還包括:
[0028]利用校驗函數對所述源變量的值進行校驗，若校驗通過，則執行所述保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對的步驟，若校驗不通過，則丟棄所述待處理文本。
[0029]優選的，所述文本解析模板還用於描述解析的二次數據處理需求；所述編譯結果還包括與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，所述二次數據處理函數用於將所述二次數據處理源變量中主鍵的值賦值給所述
新變量；
[0030]則所述方法還包括:
[0031]依據所述與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，對所述源變量及相應的值進行二次數據處理，得到相應新變量及相應的值；[0032]保留與所述目標變量相同的源變量和新變量及相應的值，作為與所述待處理文本相應的鍵值對。
[0033]優選的，所述文本解析模板包括若干行文本；所述對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果的步驟，包括:
[0034]讀取所述文本解析模板的行文本的內容；
[0035]確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構、保留語法結構和校驗語法結構；
[0036]從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符；
[0037]從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量；
[0038]從符合所述校驗語法結構的所述行文本的內容中識別出與所述數據校驗規則相應的源變量及相應的校驗函數。
[0039]優選的，所述文本解析模板包括若干行文本；所述對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果的步驟，包括:
[0040]讀取所述文本解析模板的行文本的內容；
[0041]確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構、保留語法結構和二次數據處理語法結構；
[0042]從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符；
[0043]從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量；
[0044]從符合所述二次數據處理語法結構的所述行文本的內容中識別出與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數。
[0045]優選的，所述校驗函數對應正則表達式。
[0046]另一方面，本申請還公開了一種將文本解析成鍵值對的裝置，包括:
[0047]模板預置模塊，用於預置文本格式的文本解析模板；所述文本解析模板用於描述待處理文本的格式和目標鍵值對的格式；
[0048]模板編譯模塊，用於對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果，所述編譯結果包括:與待處理文本的格式相應的源變量和分隔符，以及與目標鍵值對的格式相應的目標變量；
[0049]文本匹配模塊，用於依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值 '及
[0050]變量保留模塊，用於保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對。
[0051]優選的，所述文本解析模板包括若干行文本；所述模板編譯模塊包括:
[0052]讀取子模塊，用於讀取所述文本解析模板的行文本的內容；
[0053]語法結構確定子模塊，用於確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構和保留語法結構；[0054]第一識別子模塊，用於從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符；
[0055]第二識別子模塊，用於從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量。
[0056]優選的，所述文本匹配模塊，具體用於從待處理文本的第一個字符開始，按照所述源變量和分隔符的順序在待處理文本中進行匹配，得到的匹配結果中，第一個字符到第一個分隔符之間的文本為第一個源變量的值，兩個分隔符之間的文本為對應順序的源變量的值。
[0057]優選的，所述編譯結果的數據結構為類對象。
[0058]優選的，所述文本解析模板還用於描述解析的數據校驗規則；所述編譯結果還包括與所述數據校驗規則相應的源變量及相應的校驗函數；
[0059]所述裝置還包括:
[0060]校驗模塊，用於利用校驗函數對所述源變量的值進行校驗，若校驗通過，則執行所述保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對的步驟，若校驗不通過，則丟棄所述待處理文本。
[0061]優選的，所述文本解析模板還用於描述解析的二次數據處理需求；所述編譯結果還包括與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，所述二次數據處理函數用於將所述二次數據處理源變量中主鍵的值賦值給所述
新變量；
[0062]則所述裝置還包括:
[0063]二次處理模塊，用於依據所述與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，對所述源變量及相應的值進行二次數據處理，得到相應新變量及相應的值；
[0064]第二變量保留模塊，用於保留與所述目標變量相同的源變量和新變量及相應的值，作為與所述待處理文本相應的鍵值對。
[0065]與現有技術相比，本申請具有以下優點:
[0066]本申請採用預置的文本解析模板與待處理文本匹配的方式，從待處理文本中提取有價值的信息以實現文本解析；相對於現有技術中多次全量遍歷，本申請中文本解析模板與待處理文本的匹配只需一次全量遍歷，故能夠有效提高解析效率，尤其在文本格式非常複雜或文本長度很長的情況下，本申請提高解析效率的優勢更為顯著。
[0067]另外，如果在解析過程中存在文本格式變更、數據二次數據處理、數據校驗等不斷變更的解析需求，現有技術中需要頻繁、大量地修改代碼，也即現有技術具有靈活性差的缺點；而本申請通過預先配置的方式將文本解析模板和電腦程式代碼(解析過程中文本解析模板與待處理文本的匹配等操作對應的電腦程式代碼)分開，在存在不斷變更的解析需求時，電腦程式代碼無需變動，只需更改文本解析模板即可，故相對於現有技術，本申請能夠大大提高將文本解析成鍵值對的靈活性。
【專利附圖】
【附圖說明】
[0068]圖1是本申請一種將文本解析成鍵值對的方法實施例1的流程圖；[0069]圖2是本申請一種將文本解析成鍵值對的方法實施例2的流程圖；
[0070]圖3是本申請一種將文本解析成鍵值對的方法實施例3的流程圖；
[0071]圖4是本申請一種將文本解析成鍵值對的裝置實施例的結構圖。
【具體實施方式】
[0072]為使本申請的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和【具體實施方式】對本申請作進一步詳細的說明。
[0073]本申請實施例採用文本解析模板描述待處理文本的格式和目標鍵值對的格式，並採用文本解析模板與待處理文本匹配的方式從中提取有價值的信息以實現文本解析。相對於現有技術中多次全量遍歷,本申請中文本解析模板與待處理文本的匹配只需一次全量遍歷，故能夠有效提高解析效率，尤其在文本格式非常複雜或文本長度很長的情況下，本申請提高解析效率的優勢更為顯著。
[0074]參照圖1，示出了本申請一種將文本解析成鍵值對的方法實施例1的流程圖，具體可以包括:
[0075]步驟101、預置文本格式的文本解析模板；所述文本解析模板用於描述待處理文本的格式和目標鍵值對的格式；
[0076]本申請實施例中，文本解析模板本身也是一種自定義的程序設計語言，這種語言是用來描述待處理文本的格式和目標鍵值對的格式。
[0077]在本申請的一種應用示例中，所述文本解析模板具體可以包括定義語句和保留輸出語句兩部分，其中，定義語 句可用於描述待處理文本的格式，保留輸出語句可用於描述目標鍵值對的格式。
[0078]在實際應用中，可由本【技術領域】的程式設計師根據待處理文本的格式情況及目標鍵值對的格式情況，預置所述文本解析模板。
[0079]參照表1，示出了本申請一種文本解析模板中定義語句和保留輸出語句的示例。
[0080]表I
[0081]
文本解析模板
示倒說明組成部分__:_
#define(@api@,@action@,@state@ 格式為#def1ne5 內用來描述待 | 定義語句...___)丨處理文本的格式，文本通過κ廣分I
[0082]
【權利要求】
1.一種將文本解析成鍵值對的方法，其特徵在於，包括: 預置文本格式的文本解析模板；所述文本解析模板用於描述待處理文本的格式和目標鍵值對的格式； 對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果，所述編譯結果包括:與待處理文本的格式相應的源變量和分隔符，以及與目標鍵值對的格式相應的目標變量； 依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值； 保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對。
2.如權利要求1所述的方法，其特徵在於，所述文本解析模板包括若干行文本；所述對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果的步驟，包括: 讀取所述文本解析模板的行文本的內容； 確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構和保留語法結構； 從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符； 從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量 。
3.如權利要求1所述的方法，其特徵在於，所述依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值的步驟，包括: 從待處理文本的第一個字符開始，按照所述源變量和分隔符的順序在待處理文本中進行匹配，得到的匹配結果中，第一個字符到第一個分隔符之間的文本為第一個源變量的值，兩個分隔符之間的文本為對應順序的源變量的值。
4.如權利要求1或2或3所述的方法，其特徵在於，所述編譯結果的數據結構為類對象。
5.如權利要求1或2或3所述的方法，其特徵在於，所述文本解析模板還用於描述解析的數據校驗規則；所述編譯結果還包括與所述數據校驗規則相應的源變量及相應的校驗函數； 所述方法還包括: 利用校驗函數對所述源變量的值進行校驗，若校驗通過，則執行所述保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對的步驟，若校驗不通過，則丟棄所述待處理文本。
6.如權利要求1或2或3所述的方法，其特徵在於，所述文本解析模板還用於描述解析的二次數據處理需求；所述編譯結果還包括與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，所述二次數據處理函數用於將所述二次數據處理源變量中主鍵的值賦值給所述新變量； 所述方法還包括: 依據所述與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，對所述源變量及相應的值進行二次數據處理，得到相應新變量及相應的值； 保留與所述目標變量相同的源變量和新變量及相應的值，作為與所述待處理文本相應的鍵值對。
7.如權利要求5所述的方法，其特徵在於，所述文本解析模板包括若干行文本；所述對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果的步驟，包括: 讀取所述文本解析模板的行文本的內容； 確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構、保留語法結構和校驗語法結構； 從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符； 從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量； 從符合所述校驗語法結構的所述行文本的內容中識別出與所述數據校驗規則相應的源變量及相應的校驗函數。
8.如權利要求6所述的方法，其特徵在於，所述文本解析模板包括若干行文本；所述對所述文本格式的文本解 析模板進行編譯，得到電腦程式可識別的編譯結果的步驟，包括: 讀取所述文本解析模板的行文本的內容； 確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構、保留語法結構和二次數據處理語法結構； 從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符； 從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量； 從符合所述二次數據處理語法結構的所述行文本的內容中識別出與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數。
9.如權利要求5所述的方法，其特徵在於，所述校驗函數對應正則表達式。
10.一種將文本解析成鍵值對的裝置，其特徵在於，包括: 模板預置模塊，用於預置文本格式的文本解析模板；所述文本解析模板用於描述待處理文本的格式和目標鍵值對的格式； 模板編譯模塊，用於對所述文本格式的文本解析模板進行編譯，得到電腦程式可識別的編譯結果，所述編譯結果包括:與待處理文本的格式相應的源變量和分隔符，以及與目標鍵值對的格式相應的目標變量； 文本匹配模塊，用於依據所述源變量和分隔符在待處理文本中進行匹配，得到所述源變量的值；及 變量保留模塊，用於保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對。
11.如權利要求10所述的裝置，其特徵在於，所述文本解析模板包括若干行文本；所述模板編譯模塊包括: 讀取子模塊，用於讀取所述文本解析模板的行文本的內容； 語法結構確定子模塊，用於確定所述行文本的內容符合的既定語法結構；所述既定語法結構包括定義語法結構和保留語法結構； 第一識別子模塊，用於從符合所述定義語法結構的所述行文本的內容中識別出與待處理文本的格式相應的源變量和分隔符； 第二識別子模塊，用於從符合所述保留語法結構的所述行文本的內容中識別出與目標鍵值對的格式相應的目標變量。
12.如權利要求10所述的裝置，其特徵在於，所述文本匹配模塊，具體用於從待處理文本的第一個字符開始，按照所述源變量和分隔符的順序在待處理文本中進行匹配，得到的匹配結果中，第一個字符到第一個分隔符之間的文本為第一個源變量的值，兩個分隔符之間的文本為對應順序的源變量的值。
13.如權利要求10或11或12所述的裝置，其特徵在於，所述編譯結果的數據結構為類對象。
14.如權利要求10或11或12所述的裝置，其特徵在於，所述文本解析模板還用於描述解析的數據校驗規則；所述編譯結果還包括與所述數據校驗規則相應的源變量及相應的校驗函數； 所述裝置還包括:` 校驗模塊，用於利用校驗函數對所述源變量的值進行校驗，若校驗通過，則執行所述保留與所述目標變量相同的源變量及相應的值，作為與所述待處理文本相應的鍵值對的步驟，若校驗不通過，則丟棄所述待處理文本。
15.如權利要求10或11或12所述的裝置，其特徵在於，所述文本解析模板還用於描述解析的二次數據處理需求；所述編譯結果還包括與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，所述二次數據處理函數用於將所述二次數據處理源變量中主鍵的值賦值給所述新變量； 所述裝置還包括: 二次處理模塊，用於依據所述與所述二次數據處理需求相應的二次數據處理源變量及相應的新變量和二次數據處理函數，對所述源變量及相應的值進行二次數據處理，得到相應新變量及相應的值； 第二變量保留模塊，用於保留與所述目標變量相同的源變量和新變量及相應的值，作為與所述待處理文本相應的鍵值對。
【文檔編號】G06F17/22GK103455471SQ201210180496
【公開日】2013年12月18日 申請日期:2012年6月1日 優先權日:2012年6月1日
【發明者】王尹 申請人:阿里巴巴集團控股有限公司