基於影響分析進行數據表查找的方法及裝置與流程

2023-05-20 12:28:16

本發明涉及計算機技術領域，尤其涉及基於影響分析進行數據表查找的方法及裝置。

背景技術：

大數據是繼雲計算、物聯網之後，已經成為IT產業的又一次顛覆性技術變革，對國家治理方式、決策、組織和業務流程、提供公共服務的方式等都將產生巨大的影響。而伴隨著智慧城市建設對網際網路、雲計算、物聯網等信息技術的要求，大量數據的收集、儲存、分析、處理及其應用變得更加方便，政府或公眾的決策行為將逐漸基於數據和分析而做出。大數據系統開發中，數據影響分析是對數據在不同類型數據源中的流向對該系統產生的影響分析。此類分析在很多方面發揮著重要的作用。目前，大數據系統開發中，沒有基於影響分析的針對多種不同數據源的數據項去向的查找方法。

技術實現要素：

針對現有技術的缺陷，本發明旨在提供一種基於影響分析進行數據表查找的方法及裝置，可以對隸屬於多種不同類型數據源的數據表進行有效查找，直觀的定位出現錯誤的數據表對隸屬於不同數據源的數據表的影響範圍，可快速通過確定該質量問題的影響範圍。

第一方面，本發明提供了一種基於影響分析進行數據表查找的方法，具體包括以下步驟：

步驟S1：配置需要進行查找操作的數據表的映射關係轉換模式；

步驟S2：根據步驟S1配置完成的映射關係轉換模式制定轉換規則；

步驟S3：根據步驟S1配置的映射關係轉換模式以及步驟S2制定的轉換規則建立映射關係表；

步驟S4：依據所述映射關係表進行數據表的查找。

進一步地，在步驟S1進行映射關係轉換模式配置前判斷需進行查找操作的數據表所隸屬的數據源類型。

進一步地，所述步驟S3中根據步驟S1配置的映射關係轉換模式以及步驟S2制定的轉換規則建立映射關係表的具體操作步驟為：

步驟S301：為所述映射關係轉換模式以及轉換規則建立相應欄位，並將其固定在映射關係表的欄位中；

步驟S302：為所述映射關係表的每個固定的欄位分配欄位長度和欄位類型並為每個固定的欄位添加備註信息。

進一步地，所述步驟S4中依據所述映射關係表進行目標數據表的查找的具體操作步驟為：

步驟S401：以要進行查找的數據表做為源數據表，進行檢索所述源數據表的目標數據表；

步驟S402：判斷目標數據表是否仍存在目標數據表；

步驟S403：若步驟S402中判斷結果為是則重複進行步驟S402的判斷操作，直到最終檢索不出目標數據表後進入步驟S404；

步驟S404：記錄檢索到的目標數據表，並按檢索到的時間先後順序依次排列並輸出。

進一步地，所述步驟S402中判斷源數據表是否仍存在目標數據表的判斷方法為：將該目標數據表作為源數據表進行步驟S401的檢索操作；檢索完成後對其檢索結果進行判斷。

由上述技術方案可知，本發明提供的基於影響分析進行數據表查找的方法可以對隸屬於多種不同類型數據源的數據表進行有效查找，根據映射關係表直觀地定位隸屬於不同數據源的數據表的目標數據表，可快速通過判斷出現質量問題的源數據表對其他關聯的目標數據表的影響。

一旦出現任意數據表中的元數據出現質量問題，即可通過本發明的基於影響分析進行數據表查找的方法對出現問題的數據表進行影響分析檢索，通過檢索其目標數據表，定位該出現質量問題的元數據對包含有多個不同種類數據源的大數據系統所造成的影響。本方法可直接客觀的定位出數據質量的問題所造成的影響，其定位效率高、速度快。使用戶可以快速判斷所出現的問題影響規模的大小，從而提高系統使用者的決策能力，並可以快速識別使用其它分析方式無法發現的影響決策的因素。

第二方面，本發明提供了基於影響分析進行數據表查找的裝置，包括：

模式配置模塊：用於配置需要進行查找操作的數據表的映射關係轉換模式；

規則制定模塊：用於根據映射關係轉換模式制定轉換規則；

映射關係表建立模塊：用於根據映射關係轉換模式以及轉換規則建立映射關係表；

查找模塊：用於依據所述映射關係表進行目標數據表的查找。

進一步地，所述基於影響分析進行數據表查找的裝置還包括：

判斷模塊：用於判斷需進行查找操作的數據表所隸屬的數據源類型。

進一步地，所述映射關係表建立模塊包括：

欄位建立單元：為所述映射關係轉換模式以及轉換規則建立相應欄位，並將其固定在映射關係表的欄位中；

欄位配置單元：為所述映射關係表的每個固定的欄位分配欄位長度和欄位類型並為每個固定的欄位添加備註信息；

進一步地，所述查找模塊包括：

檢索單元：用於以要進行查找的數據表做為源數據表，進行檢索所述源數據表的目標數據表；

判斷單元：用於判斷目標數據表是否仍存在目標數據表；

遞歸計算單元：用於判斷目標數據表是否仍存在目標數據表；若結果為是則仍進行判斷操作，直到最終找不出目標數數據表時進入記錄單元；

記錄輸出單元：用於記錄檢索到的目標數據表，並按檢索到的時間先後順序依次排列並輸出。

進一步地，所述判斷單元進行判斷源數據表是否仍存在目標數據表的方法為將該目標數據表作為源數據表在檢索單元進行檢索操作，若仍檢索出目標數據表則判定結果為是，若檢索不出目標數據表則判定結果為否。

由上述技術方案可知，本發明提供的基於影響分析進行數據表查找的裝置可以對隸屬於多種不同類型數據源的數據表進行有效查找，根據映射關係表直觀地定位隸屬於不同數據源的數據表的目標數據表，可快速通過判斷出現質量問題的源數據表對其他關聯的目標數據表的影響。

一旦出現任意數據表中的元數據出現質量問題，即可通過本發明的基於影響分析進行數據表查找的裝置對出現問題的數據表進行影響分析檢索，通過檢索其目標數據表，定位該出現質量問題的元數據對包含有多個不同種類數據源的大數據系統所造成的影響。本裝置可直接客觀的定位出數據質量的問題所造成的影響，其定位效率高、速度快。使用戶可以快速判斷所出現的問題影響規模的大小，從而提高系統使用者的決策能力，並可以快速識別使用其它分析方式無法發現的影響決策的因素。

附圖說明

為了更清楚地說明本發明具體實施方式或現有技術中的技術方案，下面將對具體實施方式或現有技術描述中所需要使用的附圖作簡單地介紹。在所有附圖中，類似的元件或部分一般由類似的附圖標記標識。附圖中，各元件或部分並不一定按照實際的比例繪製。

圖1示出了本發明實施例所提供的基於影響分析進行數據表查找的方法的流程圖；

圖2示出了本發明實施例所提供的基於影響分析進行數據表查找的方法的查找操作具體步驟的流程圖；

圖3出了本發明實施例所提供的基於影響分析進行數據表查找的裝置的模塊圖；

圖4出了本發明實施例所提供的基於影響分析進行數據表查找的裝置的映射關係表建立模塊的單元結構圖；

圖5出了本發明實施例所提供的基於影響分析進行數據表查找的裝置的查找模塊的單元結構圖。

具體實施方式

下面將結合附圖對本發明技術方案的實施例進行詳細的描述。以下實施例僅用於更加清楚地說明本發明的技術方案，因此只是作為示例，而不能以此來限制本發明的保護範圍。需要注意的是，除非另有說明，本申請使用的技術術語或者科學術語應當為本發明所屬領域技術人員所理解的通常意義。

步驟S1：配置需要進行查找操作的數據表的映射關係轉換模式；

步驟S2：根據步驟S1配置完成的映射關係轉換模式制定轉換規則；

步驟S3：根據步驟S1配置的映射關係轉換模式以及步驟S2制定的轉換規則建立映射關係表；

步驟S4：依據所述映射關係表進行數據表的查找。

本實施例中，映射關係表固定的格式如表1所示：

表1

本實施例中，在步驟S1進行映射關係轉換模式配置前判斷需進行查找操作的數據表所隸屬的數據源類型。

本實施例中，所述步驟S3中根據步驟S1配置的映射關係轉換模式以及步驟S2制定的轉換規則建立映射關係表的具體操作步驟為：

步驟S301：為所述映射關係轉換模式以及轉換規則建立相應欄位，並將其固定在映射關係表的欄位中；

步驟S302：為所述映射關係表的每個固定的欄位分配欄位長度和欄位類型並為每個固定的欄位添加備註信息；

本實施例中，所述步驟S4中依據所述映射關係表進行目標數據表的查找的具體操作步驟為：

步驟S401：以要進行查找的數據表做為源數據表，進行檢索所述源數據表的目標數據表；

步驟S402：判斷目標數據表是否仍存在目標數據表；

步驟S403：若步驟S402中判斷結果為是則重複進行步驟S402的判斷操作，直到最終檢索不出目標數據表後進入步驟S404；

步驟S404：記錄檢索到的目標數據表，並按檢索到的時間先後順序依次排列並輸出。

本實施例中，所述步驟S402中判斷源數據表是否仍存在目標數據表的判斷方法為：將該目標數據表作為源數據表進行步驟S401的檢索操作；檢索完成後對其檢索結果進行判斷。

例如，現有PEOPLE、TEST、TEST1隸屬於三種不同類型數據源的數據表，如果想查找當PEOPLE數據表的任意列或任意源數據錯誤對其他數據表造成的影響則：

首先在步驟S401中以PEOPLE數據表作為源數據表，進行檢索PEOPLE數據表的目標數據表。

根據源模式、目標模式以及轉換規則(如表2所示)檢索出所述PEOPLE數據表的目標數據表為TEST數據表。

表2

在步驟S402中判斷TEST數據表是否仍存在目標數據表。判斷過程需根據源模式、目標模式以及轉換規則(如表2所示)將TEST數據表作為源數據表進行檢索其目標數據表。此處檢索的結果為檢索到TEST數據表的目標數據表為TEST1數據表。

在步驟S403中重複進行步驟S402的判斷步驟，判斷TEST1數據表是否仍存在目標數據表。判斷過程需根據判斷過程需根據源模式、目標模式以及轉換規則(如表2所示)將TEST1數據表作為源數據表進行檢索其目標數據表。此處的檢索結果為TEST1數據表不存在目標數據表。

在步驟S404中記錄檢索到的目標數據表TEST、TEST1，並按檢索到的時間先後順序依次向前排列並輸出。此處得出的輸出結果為TEST-＞TEST1

本發明實施例一提供的基於影響分析進行數據表查找的方法可以對隸屬於多種不同類型數據源的數據表進行有效查找，根據映射關係表直觀地定位隸屬於不同數據源的數據表的目標數據表，可快速通過判斷出現質量問題的源數據表對其他關聯的目標數據表的影響。

一旦出現任意數據表中的元數據出現質量問題，即可通過本發明的基於影響分析進行數據表查找的方法對出現問題的數據表進行影響分析檢索，通過檢索其目標數據表，定位該出現質量問題的元數據對包含有多個不同種類數據源的大數據系統所造成的影響。本方法可直接客觀的定位出數據質量的問題所造成的影響，其定位效率高、速度快。使用戶可以快速判斷所出現的問題影響規模的大小，從而提高系統使用者的決策能力，並可以快速識別使用其它分析方式無法發現的影響決策的因素。

本發明實施例二提供了基於影響分析進行數據表查找的裝置，包括

模式配置模塊：用於配置需要進行查找操作的數據表的映射關係轉換模式；

規則制定模塊：用於根據映射關係轉換模式制定轉換規則；

映射關係表建立模塊：用於根據映射關係轉換模式以及轉換規則建立映射關係表；

查找模塊：用於依據所述映射關係表進行目標數據表的查找。

本實施例中，所述基於影響分析進行數據表查找的裝置還包括：

判斷模塊：用於判斷需進行查找操作的數據表所隸屬的數據源類型。

進一步地，所述映射關係表建立模塊包括：

欄位建立單元：為所述映射關係轉換模式以及轉換規則建立相應欄位，並將其固定在映射關係表的欄位中；

欄位配置單元：為所述映射關係表的每個固定的欄位分配欄位長度和欄位類型並為每個固定的欄位添加備註信息；

本實施例中，所述查找模塊包括：

檢索單元：用於以要進行查找的數據表做為源數據表，進行檢索所述源數據表的目標數據表；

判斷單元：用於判斷目標數據表是否仍存在目標數據表；

遞歸計算單元：用於判斷目標數據表是否仍存在目標數據表；若結果為是則仍進行判斷操作，直到最終找不出目標數數據表時進入記錄單元；

記錄輸出單元：用於記錄檢索到的目標數據表，並按檢索到的時間先後順序依次排列並輸出。

本實施例中，所述判斷單元進行判斷源數據表是否仍存在目標數據表的方法為將該目標數據表作為源數據表在檢索單元進行檢索操作，若仍檢索出目標數據表則判定結果為是，若檢索不出目標數據表則判定結果為否。

本發明實施例二提供的基於影響分析進行數據表查找的裝置可以對隸屬於多種不同類型數據源的數據表進行有效查找，根據映射關係表直觀地定位隸屬於不同數據源的數據表的目標數據表，可快速通過判斷出現質量問題的源數據表對其他關聯的目標數據表的影響。

一旦出現任意數據表中的元數據出現質量問題，即可通過本發明實施例二的基於影響分析進行數據表查找的裝置對出現問題的數據表進行影響分析檢索，通過檢索其目標數據表，定位該出現質量問題的元數據對包含有多個不同種類數據源的大數據系統所造成的影響。本裝置可直接客觀的定位出數據質量的問題所造成的影響，其定位效率高、速度快。使用戶可以快速判斷所出現的問題影響規模的大小，從而提高系統使用者的決策能力，並可以快速識別使用其它分析方式無法發現的影響決策的因素。

最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍，其均應涵蓋在本發明的權利要求和說明書的範圍當中。