一種報文映射、HTTP請求的報文轉換方法及裝置與流程
2024-04-13 02:31:05
一種報文映射、http請求的報文轉換方法及裝置
技術領域
1.本發明涉及數據處理領域，尤其涉及一種報文映射、http請求的報文轉換方法及裝置。
背景技術：
2.銀企直聯作為企業連接銀行的中間平臺，依靠網際網路或專線連接的方式，承載著企業財務系統和銀行金融服務的對接能力，要對接的企業有很多，每一個企業要對接銀行的各種金融服務也不在少數。而各個企業財務系統的數據接口規範都各不相同。在這種銀企合作模式下，銀行需要一個靈活高效的解決方案來適配各個請求方接口，將請求發送方接口報文映射成為請求接收方接口報文，滿足業務的快速拓展、保證已輸出金融服務的穩定的同時，實現企業的快速對接。
3.現有一種報文轉換方法，校驗邏輯是對轉換後的目標報文進行校驗，校驗粒度比較大，數據傳輸錯誤率較高，且轉換規則不支持內置函數，內置函數僅用於邏輯運算的封裝，不支持拓展，在使用時靈活性差。
技術實現要素：
4.本發明提供了一種報文映射、http請求的報文轉換方法及裝置，以解決報文轉換過程只對目標報文進行校驗，校驗粒度比較大，數據傳輸錯誤率較高的技術問題。
5.為了解決上述技術問題，第一方面，本發明實施例提供了一種報文映射方法，包括：
6.獲取源報文，根據請求參數，結合映射規則對源報文進行解析，識別映射策略；
7.基於所述映射策略識別欄位映射規則，根據欄位映射規則解析和校驗源報文欄位，獲得目標欄位集合；
8.基於目標欄位集合將所述目標欄位集合轉換為目標報文。
9.本發明提供了欄位級的映射規則，通過欄位映射規則解析和校驗源報文欄位，提供了欄位級的校驗邏輯，校驗粒度細，提高了數據傳輸的準確性。
10.進一步地，所述基於所述映射策略識別欄位映射規則，根據欄位映射規則解析和校驗源報文欄位，獲得目標欄位集合，具體為：
11.根據所述映射策略，確定所述源報文中各欄位對應的欄位映射規則，並篩選出需執行欄位映射規則的所有欄位作為第一欄位集合；
12.根據各第一欄位對應的欄位映射規則，分別計算各第一欄位對應表達式的值；
13.根據各第一欄位對應的欄位映射規則，分別對各第一欄位對應表達式的值進行校驗，並篩選出所有通過校驗的第一欄位作為目標欄位集合；其中，所述目標欄位集合還記錄各目標欄位對應的表達式的值。
14.本發明通過映射策略識別欄位映射規則，所述欄位映射規則提供了靈活且高效的表達式計算方式，提高了解析源報文欄位的效率和計算源報文欄位的值的計算速度。
15.進一步地，所述根據各第一欄位對應的欄位映射規則，分別對各第一欄位對應表達式的值進行校驗，並篩選出所有通過校驗的第一欄位作為目標欄位集合，具體為：
16.根據各第一欄位對應的欄位映射規則，篩選出所有必填欄位作為第二欄位合集；
17.根據第二欄位對應的欄位映射規則，篩選出所有通過數據類型校驗和長度校驗的欄位作為目標欄位合集。
18.本發明提供了欄位級的校驗邏輯，對欄位的值進行確認，判斷其數據類型和長度，避免後續數據溢出和錯誤，減小了校驗粒度，提高了數據處理和數據傳輸的準確性。
19.進一步地，所述獲取源報文，根據請求參數，結合映射規則對源報文進行解析，識別映射策略之前，還包括：
20.構建表達式解析器並將映射規則配置到緩存中，所述緩存設置有一級本地緩存和二級red i s緩存。
21.本發明通過設置二級緩存，避免了本地緩存出現內存溢出的風險，提高了映射規則的執行效率。
22.進一步地，所述構建表達式解析器並將映射規則配置到緩存中，具體為:
23.基於jsonpath構建表達式解析器，所述表達式解析器包含變量表達式、函數表達式、常量表達式和path表達式；
24.基於表達式解析器對所述映射規則進行建模，並在資料庫中插入模型數據，並將所述映射規則和模型數據配置到緩存中；其中，所述映射規則包括映射策略、欄位映射規則。
25.本發明通過構建表達式解析器，提供了靈活的表達式語法，能夠靈活配置欄位級的映射規則，且由於表達式解析器內置函數表達式，因此能夠支持內置函數和自定義函數。
26.進一步地，所述獲取源報文，具體為：
27.首先在一級本地緩存中讀取數據，若一級本地緩存中無數據，則從二級red i s緩存讀取，若二級red i s緩存中無數據，再從資料庫中讀取。
28.本發明通過設置二級緩存，避免了本地緩存出現內存溢出的風險，在獲取數據時，先從基於lru緩存策略的本地緩存中獲取數據，若無數據則從二級red i s緩存讀取，提高了獲取數據的速度和提升了映射規則的執行效率。
29.第二方面，本發明實施例提供了一種http請求的報文轉換方法，包括：
30.獲取發送方發送的請求源報文，通過本發明所述的報文映射方法，生成目標請求報文，並將所述目標請求報文轉發給接收方；
31.獲取接收方根據目標請求報文生成的應答源報文；通過本發明所述的報文映射方法，生成目標應答報文，並將所述目標應答報文轉發給發送方。
32.在本實施例中，通過所述報文轉換方法，將請求源報文映射成為接收方目標請求報文，將應答源報文映射成為目標應答報文。在數據接口規範各不相同的的發送方和接收方之間建立連接，減少了接口適配的硬編碼工作量，降低編碼可能帶來的缺陷，加快接口聯調進度。提高了數據傳輸效率，實現了發送方和接收方的快速對接。
33.第三方面，本發明實施例提供了一種報文映射裝置，包括：映射策略識別模塊、欄位解析校驗模塊和報文轉換模塊；
34.所述映射策略識別模塊用於獲取源報文，根據請求參數，結合映射規則對源報文
進行解析，識別映射策略；
35.所述欄位解析校驗模塊用於根據所述映射策略識別欄位映射規則，根據欄位映射規則解析和校驗源報文欄位，獲得目標欄位集合；
36.所述報文轉換模塊用於根據目標欄位集合，將所述目標欄位集合轉換為目標報文。
37.第四方面，本發明實施例提供了一種http請求的報文轉換裝置，包括請求報文映射模塊和應答報文映射模塊；
38.所述請求報文映射模塊，用於獲取發送方發送的請求源報文，通過本發明所述的報文映射方法，生成目標請求報文，並將所述目標請求報文轉發給接收方；
39.所述應答報文映射模塊，用於獲取接收方根據目標請求報文生成的應答源報文；通過本發明所述的報文映射方法，生成目標應答報文，並將所述目標應答報文轉發給發送方。
40.第五方面，本發明實施例提供了一種數據傳輸系統，包括發送方、接收方和應用本發明所述的http請求的報文轉換裝置，所述發送方與所述接收方通過所述報文轉換裝置完成數據交互。
41.本發明提供了欄位級的映射規則，通過欄位映射規則解析和校驗源報文欄位，提供了欄位級的校驗邏輯，校驗粒度細，提高了數據傳輸的準確性。
附圖說明
42.圖1為本發明實施例一提供的報文映射方法的一種流程示意圖；
43.圖2為本發明實施例一提供的步驟101的數據讀取流向圖；
44.圖3是本發明實施例一提供的步驟102的一種流程示意圖；
45.圖4為本發明實施例一提供的報文映射裝置的一種結構示意圖；
46.圖5為本發明實施例二提供的http請求的報文轉換方法的一種流程示意圖；
47.圖6為本發明實施例二提供的http請求的報文轉換裝置的一種結構示意圖；
48.圖7為本發明實施例提供的數據傳輸系統的一種數據流向圖；
49.圖8為本發明實施例三提供的報文映射系統的一種結構示意圖。
具體實施方式
50.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
51.實施例一
52.請參照圖1，圖1為本發明實施例提供的報文映射方法的一種流程示意圖，其主要包括步驟101至步驟103，具體如下：
53.步驟101：獲取源報文，根據請求參數，結合映射規則對源報文進行解析，識別映射策略。
54.在本實施例中，使用http請求ur l中的路徑參數、http header中的約定參數作為
篩選依據，結合映射規則，即可篩選出對應的映射策略。
55.在本實施例中，在所述獲取源報文，根據請求參數，結合映射規則對源報文進行解析，識別映射策略之前，還包括：構建表達式解析器並將映射規則配置到緩存中，所述緩存設置有一級本地緩存和二級red i s緩存。
56.在本實施例中，通過設置二級緩存，避免了本地緩存出現內存溢出的風險，提高了映射規則的執行效率。
57.在本實施例中，基於jsonpath構建表達式解析器，所述表達式解析器包含變量表達式、函數表達式、常量表達式和path表達式。通過構建表達式解析器，提供了靈活的表達式語法，表達式解析器內置函數表達式，因此能夠支持內置函數和自定義函數。
58.表1為本實施例提供的表達式解析器的一種具體舉例；
[0059][0060]
表1
[0061]
在本實施例中，基於表達式解析器對所述映射規則進行建模，並在資料庫中插入模型數據，並將所述映射規則和模型數據配置到緩存中；其中，所述映射規則包括映射策略、欄位映射規則。
[0062]
在本實施例中，映射策略表示請求報文、應答報文要完成報文映射的基本策略。它定義了發起方標識、接收方標識、接口名及策略i d等能標識的基本要素。這些要素都需滿足唯一標識。
[0063]
在本實施例中，欄位映射規則表示要完成一次報文映射所要執行的規則。因為完成一次http請求需要請求與應答兩個步驟，所以報文映射需要請求報文的報文映射與應答報文的報文映射，欄位映射規則也就因此分為請求報文的欄位映射規則與應答報文的欄位映射規則，請求報文的欄位映射規則與應答報文的欄位映射規則的區別在於應答報文的欄位映射規則還包括響應碼映射規則，所述響應碼映射規則包括策略i d、源報文響應碼、目標響應碼和目標相應信息。
[0064]
表2為本實施例提供的欄位映射規則的一種具體舉例，表3為本實施例提供的響應碼映射規則的一種具體舉例；
[0065]
[0066][0067]
表2
[0068][0069]
表3
[0070]
在本實施例中，獲取源報文時，首先在一級本地緩存中讀取數據，若一級本地緩存中無數據，則從二級red i s緩存讀取，若二級red i s緩存中無數據，再從資料庫中讀取。通過設置二級緩存，避免了本地緩存出現內存溢出的風險，在獲取數據時，先從基於lru緩存策略的本地緩存中獲取數據，若無數據則從二級red i s緩存讀取，提高了獲取數據的速度和提升了映射規則的執行效率。參照圖2，圖2為本發明實施例提供的步驟101的數據讀取流向圖。
[0071]
步驟102：基於所述映射策略識別欄位映射規則，根據欄位映射規則解析和校驗源報文欄位，獲得目標欄位集合。
[0072]
在本實施例中，通過映射策略識別欄位映射規則，所述欄位映射規則提供了靈活且高效的表達式計算方式，提高了解析源報文欄位的效率和計算源報文欄位的值的計算速度。
[0073]
步驟103：基於目標欄位集合將所述目標欄位集合轉換為目標報文。
[0074]
在本實施例中，使用josn開源工具對目標欄位集合進行轉換，所述目標欄位集合為中間態數據map對象，json開源工具將中間態數據map對象轉換為json字符串，得到目標報文。
[0075]
請參照圖3，圖3是本發明實施例提供的步驟102的一種流程示意圖，其主要包括步
驟301至步驟303，具體如下：
[0076]
步驟301：根據所述映射策略，確定所述源報文中各欄位對應的欄位映射規則，並篩選出需執行欄位映射規則的所有欄位作為第一欄位集合。
[0077]
步驟302：根據各第一欄位對應的欄位映射規則，分別計算各第一欄位對應表達式的值。
[0078]
在本實施例中，基於開源組件jsonpath進行了優化和擴展，計算源報文欄位表達式，計算結果或放入到目標路徑中、或作為中間變量暫存、或作為方法返回結果。
[0079]
步驟303：根據各第一欄位對應的欄位映射規則，篩選出所有必填欄位作為第二欄位合集；根據第二欄位對應的欄位映射規則，篩選出所有通過數據類型校驗和長度校驗的欄位作為目標欄位合集。其中，所述目標欄位集合還記錄各目標欄位對應的表達式的值。
[0080]
在本實施例中，計算後的表達式的值，會使用欄位映射規則中的預期類型欄位進行類型校驗。
[0081]
在本實施例中，本發明提供了欄位級的校驗邏輯，對欄位的值進行確認，判斷其數據類型和長度，避免後續數據溢出和錯誤，減小了校驗粒度，提高了數據處理和數據傳輸的準確性。
[0082]
請參照圖4，圖4為本發明實施例提供的報文映射裝置的一種結構示意圖，其主要包括映射策略識別模塊401、欄位解析校驗模塊402和報文轉換模塊403。
[0083]
在本實施例中，映射策略識別模塊401，用於獲取源報文，根據http請求參數，結合映射規則對源報文進行解析，識別映射策略；
[0084]
所述欄位解析校驗模塊402，用於根據所述映射策略識別欄位映射規則，根據欄位映射規則解析和校驗源報文欄位，獲得目標欄位集合；
[0085]
所述報文轉換模塊403，用於根據目標欄位集合，將所述目標欄位集合轉換為目標報文。
[0086]
在本實施例中，本發明提供了欄位級的映射規則，通過欄位映射規則解析和校驗源報文欄位，提供了欄位級的校驗邏輯，校驗粒度細，提高了數據傳輸的準確性。
[0087]
實施例二
[0088]
請參照圖5，圖5為本發明實施例提供的http請求的報文轉換方法的一種流程示意圖，其主要包括步驟501至步驟502，具體如下：
[0089]
步驟501：獲取發送方發送的請求源報文，通過本發明實施例提供的報文映射方法，生成目標請求報文，並將所述目標請求報文轉發給接收方。
[0090]
步驟502：獲取接收方根據目標請求報文生成的應答源報文；通過本發明實施例提供的報文映射方法，生成目標應答報文，並將所述目標應答報文轉發給發送方。
[0091]
在本實施例中，通過所述報文轉換方法，將請求源報文映射成為與接收方接口報文。在數據接口規範各不相同的發送方和接收方之間建立連接，減少了接口適配的硬編碼工作量，降低編碼可能帶來的缺陷，加快接口聯調進度。提高了數據傳輸效率，實現了發送方和接收方的快速對接。
[0092]
請參照圖6，圖6為本發明實施例提供的http請求的報文轉換裝置的一種結構示意圖，其主要請求報文映射模塊601和應答報文映射模塊602；
[0093]
所述請求報文映射模塊601，用於獲取發送方發送的請求源報文，通過本發明提供
的報文映射方法，生成目標請求報文，並將所述目標請求報文轉發給接收方。
[0094]
所述應答報文映射模塊602，用於獲取接收方根據目標請求報文生成的應答源報文；通過本發明提供的報文映射方法，生成目標應答報文，並將所述目標應答報文轉發給發送方。
[0095]
請參照圖7，圖7為本發明實施例提供的數據傳輸系統的一種數據流向圖，其主要包括發送方、接收方和所述的報文轉換裝置，所述發送方與所述接收方通過所述報文轉換裝置完成數據交互。
[0096]
在本實施例中，發送方向所述報文轉換裝置發送請求源報文，所述報文轉換裝置將所述請求源報文映射成與接收方接口規範相適配的目標請求報文，並將所屬目標請求報文轉發給接收方。
[0097]
接收方接收目標請求報文後做出響應，並向報文轉換裝置發送應答源報文，報文轉換裝置將應答源報文映射成與發送方接口規範相適配的目標應答報文，並轉發給發送方。
[0098]
實施例三
[0099]
作為本發明實施例提供的報文映射方法的一種舉例，本實施例提供了一種應用本發明提供的報文映射方法的系統，請參照圖8，圖8為本發明實施例提供的報文映射系統的一種結構示意圖，其主要包括映射規則執行模塊801、映射規則管理模塊802、緩存模塊803和表達式模塊804。
[0100]
在本實施例中，所述映射規則執行模塊801，用於根據請求參數識別映射策略，再由已識別映射策略篩選出對應的欄位映射規則及響應碼映射規則。根據源報文構建表達式解析器，再使用映射規則執行器遍歷執行已篩選出的欄位映射規則。對於每一條欄位映射規則，都會執行本規則源報文欄位表達式的值，並對該值做校驗。
[0101]
在本實施例中，所述映射規則執行模塊801，具體包括映射策略識別模塊和映射規則執行模塊。
[0102]
所述映射策略識別模塊，用於根據http請求參數，識別映射策略，得到策略i d，所述請求參數包括請求方標識、接收方標識、接口名。根據該策略i d及請求標識或者應答標識從緩存模塊讀取對應的欄位映射規則。
[0103]
所述映射規則執行模塊，對欄位映射規則進行遍歷。首先篩選出需執行欄位映射規則的所有欄位作為第一欄位合計，其次根據各第一欄位對應的欄位映射規則，分別計算各第一欄位對應表達式的值；接著根據各第一欄位對應的欄位映射規則，篩選出所有必填欄位作為第二欄位合集；再接著根據第二欄位對應的欄位映射規則，篩選出所有通過數據類型校驗和長度校驗的欄位作為目標欄位合集，在篩選目標欄位合集時，需要判斷該欄位映射規則的「是否臨時變量」，若是則將所述欄位的值及變量做好映射存入上下文中，供後續欄位映射規則使用，若不是則將所述欄位和欄位的值加入目標欄位合集。
[0104]
在本實施例中，所述映射規則管理模塊802，用於負責映射規則的加載、讀取和更新。在系統啟動時加載並存入緩存模塊803中，供映射規則執行模塊801讀取並執行。在映射規則更新時，將映射規則更新到資料庫後再將其從緩存模塊803中刪除。
[0105]
在本實施例中，所述映射規則管理模塊包括映射規則維護模塊和映射規則讀取模塊。
[0106]
在本實施例中，所述映射規則維護模塊用於負責映射規則的配置，更新與刪除操作。映射規則包括映射策略、欄位映射規則及響應碼映射規則。配置時，先配置映射策略，再配置欄位映射規則與響應碼映射規則。更新時，先更新資料庫中的映射規則，刪除緩存模塊803中的映射規則。刪除時，同時刪除資料庫和緩存模塊中的映射規則。
[0107]
所述映射策略表示請求報文、應答報文要完成報文映射的基本策略。它定義了發起方標識、接收方標識、接口名及策略i d等能標識的基本要素。這些要素都需滿足唯一標識。
[0108]
所述欄位映射規則表示要完成一次報文映射所要執行的規則。因為完成一次http請求需要請求與應答兩個步驟，所以報文映射需要請求報文的報文映射與應答報文的報文映射，欄位映射規則也就因此分為請求報文的欄位映射規則與應答報文的欄位映射規則。
[0109]
所述應答報文的欄位映射規則還包括響應碼映射規則，所述響應碼映射規則配置了應答報文中響應碼的映射規則。
[0110]
在本實施例中，映射規則讀取模塊用於，負責在系統啟動時加載映射規則，在執行規則時從緩存模塊803讀取映射規則。
[0111]
在本實施例中，所述緩存模塊803，用於緩存模塊對外提供統一的數據讀、寫、更新及刪除操作，封裝了兩層緩存：一級本地緩存及二級red i s緩存。本地緩存主要存儲經常使用的或系統初始化時加載的配置；red i s緩存存儲資料庫全量配置信息。
[0112]
在本實施例中，一級本地緩存使用兩個jdk自帶的數據結構來實現基於lru的緩存策略。一個是concurrenthashmap對象map用來存放key及其值，該數據結構除了能快速判斷緩存中是否包含指定的key以外，自身還帶著key不可重複的特性。一個是li nkedli st對象queue用來管理最近最少使用的key。red i s中存放全量的映射規則。在系統啟動時，映射規則被加載並加入到緩存模塊中。讀取數據時，優先從一級本地緩存讀取，若無數據再從二級red i s緩存讀取。如果緩存模塊中無數據，最後再從資料庫中讀取。
[0113]
作為本實施例的一種具體舉例，所述緩存模塊503的本地緩存維護具體包括：
[0114]
s1:使用key查詢本地緩存；
[0115]
s2:若map中包含key，則刪除queue中第一次出現的key，並將key加入到queue的頭部,並結束本次本地緩存維護；否則執行s3；
[0116]
s3:查詢red i s緩存；若有數據，則執行s4；否則執行s5；
[0117]
s4:判斷當前map的大小是否大於本地緩存的大小閾值減1；若是，則直接返回，不做任何操作；否則將數據及key保存至map中，同時刪除queue中第一次出現的key，並將key加入到queue的頭部，並結束本次本地緩存維護；
[0118]
s5:查詢資料庫，若無數據，終止數據讀取操作；否則執行s6；
[0119]
s6:將查詢的數據插入red i s中，並執行s4。
[0120]
在本實施例中，所述表達式模塊504，基於開源組件jsonpath進行了優化和擴展。優化方面，解決了jsonsmartjsonprovi der中setproperty方法的內存溢出問題。擴展方面，在json path路徑表達式的基礎之上，分別支持變量表達式(型如$sponsor i d)、常量表達式(型如字面量字符a、123等)、原生的path表達式(型如$.body.name)、函數表達式(型如$concat(「a」,
「‑」
))以及函數表達式與各種表達式之間的嵌套使用(型如$concat(「a」,$sponsor i d))，用於配置映射規則。
[0121]
在本實施例中，所述表達式模塊支持json path表達式、變量表達式、常量表達式和函數表達式。所述表達式模塊用於對表達式字符串進行編譯，生成對應的表達式對象，並將該對象進行緩存，減少下一次同一份json文檔相同路徑需要再次編譯的性能消耗；再調用該表達式對象的getva l ue方法完成對表達式的計算，最終返回計算結果。
[0122]
以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步的詳細說明，應當理解，以上所述僅為本發明的具體實施例而已，並不用於限定本發明的保護範圍。特別指出，對於本領域技術人員來說，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。