數據查詢方法及裝置與流程
2023-09-12 07:28:15
本申請涉及計算機
技術領域：
：，尤其涉及一種數據查詢方法及裝置。
背景技術：
：：資料庫是按照數據結構來組織、存儲和管理數據的倉庫，其中集合了各種數據表。可以利用查詢請求(如查詢語句)對數據表中的欄位進行查詢、插入、刪除和修改，以及對引用數據表中的欄位的表達式進行計算。在利用資料庫進行的業務處理時，可以將該業務的業務邏輯用表達式表示，表達式中引用業務邏輯所涉及的數據在資料庫中所屬的欄位，以及可以將業務邏輯涉及的數據需要滿足的條件用欄位需滿足的條件進行表示。此時，對於事先能夠確認涉及的海量數據需要滿足的條件的業務邏輯，現有的數據查詢方式中，通常採用數據預備的方式，即業務伺服器預先從用於實現業務邏輯的表達式中解析出欄位，從資料庫中取出符合業務參數值的欄位下的欄位值，利用取出的欄位值執行所述表達式，得到執行結果，之後回流到資料庫中。當業務伺服器從資料庫查詢所述確認涉及的數據需要滿足的條件的業務邏輯時，資料庫將之前回流的數據作為查詢結果返回給業務伺服器。對於無法預知涉及的海量數據需要滿足的條件的業務邏輯，現有的數據查詢方式中，通常採用延遲告知用戶的手段，通知用戶計算可能會消耗N小時，N小時候會將結果推給用戶。這是因為，對於海量數據，超過千萬條甚至超過億條的數據需要從資料庫讀取，這將對資料庫造成極大壓力。同時，由於網絡傳輸及IO消耗，耗時極為嚴重，過億條的數據讀取往往會數十分鐘甚至數小時，讀取之後還需要耗費一定的時間進行計算，這根本無法達到頁面級響應的要求。由上述分析可知，現有的查詢方式處理關於業務邏輯的查詢時，處理能力 有限，無法滿足用戶的需求。技術實現要素：本申請實施例提供一種數據查詢方法及裝置方法，用以解決現有的資料庫查詢方式存在的處理能力有限，無法滿足用戶的需求的問題。一種數據查詢方法，包括：業務伺服器接收用戶終端發送的第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於表示業務邏輯且引用至少一個欄位；從預先緩存的表達式與欄位值之間的對應關係中，查找所述第一查詢請求中包含的表達式對應的欄位值，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值；利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到執行結果；將所述執行結果攜帶在第一查詢響應中發送給所述用戶終端。一種數據查詢方法，包括：向業務伺服器發送第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於實現業務邏輯且引用至少一個欄位；接收所述業務伺服器返回的第一查詢響應，所述第一查詢響應中攜帶有業務伺服器利用預先建立的表達式與欄位值之間的對應關係，查找所述第一查詢請求中包含的表達式對應的欄位值，以及利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到的執行結果，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值。一種數據查詢裝置，包括：接收模塊，用於接收用戶終端發送的第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於表示業務邏輯且引用至少一個欄位；查找模塊，用於從預先緩存的表達式與欄位值之間的對應關係中，查找所 述第一查詢請求中包含的表達式對應的欄位值，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值；執行模塊，用於利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到執行結果；發送模塊，用於將所述執行結果攜帶在第一查詢響應中發送給所述用戶終端。一種數據查詢裝置，包括：發送模塊，用於向業務伺服器發送第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於實現業務邏輯且引用至少一個欄位；接收模塊，用於接收所述業務伺服器返回的第一查詢響應，所述第一查詢響應中攜帶有業務伺服器利用預先建立的表達式與欄位值之間的對應關係，查找所述第一查詢請求中包含的表達式對應的欄位值，以及利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到的執行結果，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值。在本申請實施例的方案中，預先緩存表達式與欄位值之間的對應關係，在查詢時，直接從緩存的對應關係中查詢第一查詢請求中包含的表達式對應的欄位值，之後進行第一查詢請求中包含的表達式的執行，也即進行業務邏輯的執行，繞開了從資料庫的海量數據中查詢表達式引用的欄位對應的數據，因此，降低了執行表達式時對資料庫帶來的壓力以及網絡傳輸資源的消耗，並且減少了引用欄位的查詢以及欄位下的數據的網絡傳輸的耗時，使得執行結果可以在頁面級響應時間內返回給用戶終端，滿足了用戶的需求。附圖說明圖1為本申請實施例一提供的數據查詢方法的流程圖；圖2為本申請實施例二提供的數據查詢方法的流程圖；圖3為本申請實施例二提供的數據處理過程的框圖；圖4為本申請實施例三提供的數據查詢裝置的結構示意圖；圖5為本申請實施例四提供的數據查詢裝置的結構示意圖。具體實施方式以下結合說明書附圖對本申請的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用於說明和解釋本申請，並不用於限定本申請。並且在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互組合。實施例一如圖1所示，其為本申請實施例一提供的數據查詢方法的流程圖，包括以下步驟：步驟101：業務伺服器接收用戶終端發送的第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於表示業務邏輯且引用至少一個欄位；上述欄位為資料庫的數據表中的欄位。所述第一查詢請求中可以包括條件信息，也可以不包括條件信息，其中條件信息為第一查詢請求中包含的表達式引用的欄位需滿足的條件；由於這裡用表達式表示了業務邏輯，因此，這裡欄位需滿足的條件也即為業務邏輯涉及的數據需要滿足的條件。在不包括條件信息時，表明業務邏輯設計的數據是表達式中引用的欄位下的所有數據。下面通過舉例對步驟101進行說明：假設資料庫的數據表A(tableA)中存儲了商品編號、好評率、關注度、差評率、收藏率等欄位以及各欄位下的欄位值，業務邏輯為商品受用戶喜愛程度，用於表示喜愛程度的表達式為(好評率+收藏率)*常數；則用戶終端可以利用SQL(StructuredQueryLanguage，結構化查詢語言)語句向業務伺服器發送不包括條件信息的第一查詢請求，即select(好評率+ 收藏率)*常數；此時業務伺服器即可接收到select(好評率+收藏率)*常數；用戶終端也可以向業務伺服器發送包含條件信息的第一查詢請求，即select(好評率+收藏率)*常數where好評率＝「指定範圍值1」and收藏率＝「指定範圍值2」，這裡的指定範圍值1是指好評率欄位的列值為指定範圍內的值，指定範圍值2是指好評率欄位的列值為指定範圍內的值。步驟102：從預先緩存的表達式與欄位值之間的對應關係中，查找所述第一查詢請求中包含的表達式對應的欄位值，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值；由於業務伺服器提供給用戶終端查詢的業務邏輯是有限的，用戶終端可以在提供的業務邏輯中選擇一種或多種業務邏輯進行查詢，因此，本步驟102中，預先將各個業務邏輯用表達式來表示，建立並緩存表達式與表達式引用的欄位下的欄位值之間的對應關係；這裡，建立的對應關係通常是表達式與表達式引用的欄位下的所有欄位值之間的對應關係。這是因為，用戶終端查詢的業務邏輯(表達式)是可以確定的，但是，由於各個用戶終端的需求不同，查詢的業務邏輯涉及到欄位下的具體哪些欄位值(數據)可能是千差萬別的，相應的結果也會千差萬別，這也是現有技術無法使用數據回流技術來滿足用戶的需求的原因，這裡緩存表達式引用的欄位下的所有欄位值，便於後續滿足不同用戶終端的需求。由於表達式對應的欄位值的數據量較大，因此，可以用表達式命名欄位值文件的名稱或作為欄位值文件名稱的一部分來表明表達式和欄位值的對應關係。欄位值的具體存儲方式可以以二級制格式進行存儲，以行進行區分；假設「好評率」下的欄位值為60％、95％、70％......70％；「收藏率」下的欄位值為80％、78％、30％......75％；則二進位文件中存儲的數據可以為：在第一查詢請求中包括條件信息時，執行步驟102之後，還需要利用所述第一查詢請求中包含的條件信息，對查找到的欄位值進行過濾，獲得滿足所述條件信息的欄位值；沿用步驟101中的例子，假設指定範圍值1和指定範圍2均為100-100000，則這裡查找緩存的對應關係中表達式(好評率+收藏率)*常數對應的欄位值為「好評率」和「收藏率」這兩個欄位下的欄位值；然後從「好評率」這一欄位下選擇列值在100-100000的欄位值，以及從「收藏率」這一欄位下選擇列值在100-100000的欄位值。具體的，可以通過以下三個步驟建立表達式與欄位值之間的對應關係：第一步：接收第二查詢請求，所述第二查詢請求中包含表達式和數據表標識，所述第二查詢請求中包含的表達式引用至少一個欄位，所述數據表標識所表示的數據表中包含所述第二查詢請求中包含的表達式所引用的欄位；若需要建立的表達式與欄位值之間的對應關係為(好評率+收藏率)*常數與「好評率」下的欄位值和「收藏率」下的欄位值，則上述第一步中，第二查詢請求使用的查詢語句可以為：select(好評率+收藏率)*常數fromtableA第二步：利用所述第二查詢請求中包含的表達式和所述數據表標識，從資料庫中獲取第二查詢請求中包含的表達式所引用的欄位下的欄位值；上述第二查詢請求中包含的數據表標識表示的數據表，包含了第二查詢請求中包含表達式引用的欄位，以及欄位下的欄位值；因此，可以直接利用數據表標識從資料庫中查找表達式所引用的欄位下的欄位值；這裡的第二步具體包括以下步驟1)至步驟3)：步驟1)：解析所述第二查詢請求中包含的表達式所引用的欄位；步驟1)的具體實現可以為：將所述第二查詢請求中包含的表達式中包含的字符與所述數據表標識所表示的數據表中包含的欄位進行匹配；將匹配成功的字符作為所述第二查詢請求中包含的表達式所引用的欄位。步驟2)：從資料庫中查找所述數據表標識所表示的數據表；步驟3)：從查找到的數據表中獲取解析出的欄位下的欄位值。第三步：建立從資料庫中獲取的欄位值與第二查詢請求中包含的表達式之間的對應關係。在針對每一業務邏輯，利用上述三個步驟步驟建立了表示該業務邏輯的表達式和欄位值之間的對應關係之後，可以將對應關係保存在業務伺服器的本地緩存中。對於海量數據而言，還可以將對應關係保存在緩存集群中。建立了上述對應關係之後，將上述對應關係直接存儲在緩存集群或者本地緩存中，實際讀取中儘管降低了資料庫的壓力，加快了業務伺服器對用戶終端的查詢響應速度，然而，無論是存放到本地文件系統中或者放到緩存中一旦讀取都會消耗極大的IO資源或網絡資源。以測試數據為例，三個整數(int)類型的欄位數據量一億條的導出備份數據大小超過1G，那麼，1G大小無論是存放到本地文件系統中或者放到緩存中一旦讀取都會消耗極大的IO資源或網絡資源。為了減少IO資源或網絡資源的消耗，本申請實施例採用數據分割以及數據壓縮的手段，在上述第二步之後，下述第三步之前，還將從資料庫中獲取的欄位值進行切割；對切割後得到的欄位值進行壓縮，得到欄位值壓縮包；具體分割時，通常可以將每千萬條數據為一個分割體，如上述1G文件，將會被分割成10個分割體，分割後每個分割體大小為百兆左右。同時，對分隔體採用壓縮算法(例如：LZ4極速壓縮算法進行壓縮，LZ4單核的壓縮速度超過400MB/s，單核的解壓速度超過1GB/s)，壓縮後的文件分割體在1M左右，並將分割體存入緩存集群中。此時，上述第三步建立的對應關係具體為： 欄位值壓縮包與所述第二查詢請求中包含的表達式之間的對應關係。步驟103：利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到執行結果；這裡，若步驟102中獲得的是滿足所述條件信息的欄位值，則此時，本步驟103具體為：利用獲得的滿足所述條件信息的欄位值，執行所述第一查詢請求中包含的表達式，得到執行結果。此外，考慮到獲得的滿足所述條件信息的欄位值的數據量較大，為了快速地利用獲得的欄位值執行所述第一查詢請求中包含的表達式，業務伺服器可以將查找到的欄位值以流的方式輸入流式(Storm)處理集群；由然後由Storm處理集群來對所述表達式進行處理，也即進行業務邏輯的處理，之後所述伺服器將所述流式處理集群輸出的作為所述第一查詢請求中包含的表達式的執行結果。若獲得的滿足所述條件信息的欄位值為欄位值壓縮包，則Storm處理集群在進行數據邏輯處理之前還需要先對數據進行恢復(也即解壓縮處理)。將恢復後的數據以數據流形式噴出，以便於進行數據邏輯處理，這一過程詳見圖2所示。這裡，若用戶終端的條件信息中還包含排序(升序及降序)以及取排列在前N位的執行結果，則還可以對所述執行結果進行排序，從排序後的執行結果中取出排列在前N位的執行結果。步驟104：將所述執行結果攜帶在第一查詢響應中發送給所述用戶終端。此外，在本申請實施例中，考慮到每個資料庫中的數據是實時變化的，因此，為了提高返回給對用戶終端的查詢響應的準確性，還需要對已經緩存的對應關係進行更新。具體為，業務伺服器根據配置的對應關係更新時刻，在所述對應關係更新時刻到來時，重新從資料庫中獲取第二查詢請求中包含的表達式所引用的欄位下的欄位值；利用重新獲取的欄位值更新建立的所述對應關係。也即，當配置的對應關係更新時刻到來時，執行上述步驟第一步至第三步，以 更新表達式對應的欄位值。並且，配置對應關係更新時刻的方法可以為配置某一具體時刻作為對應關係更新時刻，也可以為配置某個周期，則業務伺服器將每個周期結束的時刻作為對應關係更新時刻。需要說明的是，在第一查詢語句中不包含條件信息時，由於業務邏輯是確定的，因此，也可以採用
背景技術：
：中的事先把表達式的值計算出來，將計算結果回流到資料庫中，在接收到第一查詢語句時，直接將回流到資料庫中的計算結果返回給用戶終端。但對於本申請的方案而言，不論第一查詢語句中是否包含條件信息，均不需要進行數據回流操作，直接利用緩存的所述對應關係，即可較快地獲取業務邏輯的執行結果，在頁面級響應時間內將查詢結果返回給用戶。在本申請實施例一的方案中，業務伺服器預先緩存用於表示業務邏輯的表達式和欄位值之間的對應關係，也即提前從資料庫中讀出了各表達式引用的欄位下的欄位值，並對讀出的欄位值進行了切割以及壓縮，以降低真正計算時候帶來的資料庫壓力及網絡傳輸消耗，此外，還配合實時計算框架(Storm處理集群)來做大數據量的實時計算來達到高速計算，較大程度上提高了業務伺服器的處理能，使得執行結果可以在頁面級響應時間內返回給用戶終端，滿足了用戶的需求。以上實施例一從業務伺服器的角度描述了本申請的數據查詢方法，下面通過實施二的方案從用戶終端角度描述本申請的數據查詢方法。實施例二如圖3所示，其為本申請實施例二提供的數據查詢方法的流程圖，包括以下步驟：步驟301：向業務伺服器發送第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於實現業務邏輯且引用至少一個欄位；步驟302：接收所述業務伺服器返回的第一查詢響應，所述第一查詢響應中攜帶有業務伺服器利用預先建立的表達式與欄位值之間的對應關係，查找所述第一查詢請求中包含的表達式對應的欄位值，以及利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到的執行結果，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值。本申請實施二的數據查詢方法與實施例一僅是描述角度的不同，具體實現細節參見實施例一的描述，這裡不再贅述。實施例三如圖4所示，其為本申請實施例三提供的數據查詢裝置的結構示意圖，包括：接收模塊41、查找模塊42、執行模塊43和發送模塊44，其中：接收模塊41，用於接收用戶終端發送的第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於表示業務邏輯且引用至少一個欄位；查找模塊42，用於從預先緩存的表達式與欄位值之間的對應關係中，查找所述第一查詢請求中包含的表達式對應的欄位值，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值；執行模塊43，用於利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到執行結果；發送模塊44，用於將所述執行結果攜帶在第一查詢響應中發送給所述用戶終端。較佳的，所述第一查詢請求中還包括條件信息，該條件信息為第一查詢請求中包含的表達式引用的欄位需滿足的條件；所述裝置還包括：過濾模塊45，用於從預先緩存的表達式與欄位值之間的對應關係中，查找所述第一查詢請求中包含的達式對應的欄位值之後，利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到執行結果之前，利用所述第一查詢請 求中包含的條件信息，對查找到的欄位值進行過濾，獲得滿足所述條件信息的欄位值；所述執行模塊43，具體用於利用獲得的滿足所述條件信息的欄位值，執行所述第一查詢請求中包含的表達式，得到執行結果。較佳的，所述裝置還包括：對應關係建立模塊46，用於通過以下方式建立表達式與欄位值之間的對應關係：接收第二查詢請求，所述第二查詢請求中包含表達式和數據表標識，所述第二查詢請求中包含的表達式引用至少一個欄位，所述數據表標識所表示的數據表中包含所述第二查詢請求中包含的表達式所引用的欄位；利用所述第二查詢請求中包含的表達式和所述數據表標識，從資料庫中獲取第二查詢請求中包含的表達式所引用的欄位下的欄位值；建立從資料庫中獲取的欄位值與第二查詢請求中包含的表達式之間的對應關係。較佳的，所述對應關係建立模塊46，具體用於解析所述第二查詢請求中包含的表達式所引用的欄位；從資料庫中查找所述數據表標識所表示的數據表；從查找到的數據表中獲取解析出的欄位下的欄位值。較佳的，所述對應關係建立模塊46，還用於在利用所述第二查詢請求中包含的表達式和所述數據表標識，從資料庫中獲取第二查詢請求中包含的表達式所引用的欄位下的欄位值之後，建立從資料庫中獲取的欄位值與第二查詢請求中包含的表達式之間的對應關係之前，將從資料庫中獲取的欄位值進行切割；對切割後得到的欄位值進行壓縮，得到欄位值壓縮包；所述對應關係建立模塊46，具體用於建立所述欄位值壓縮包與所述第二查詢請求中包含的表達式之間的對應關係。較佳的，所述對應關係建立模塊46，還用於根據配置的對應關係更新時刻，在所述對應關係更新時刻到來時，重新從資料庫中獲取第二查詢請求中包含的表達式所引用的欄位下的欄位值；利用重新獲取的欄位值更新建立的所述對應關係。較佳的，所述執行模塊43，具體用於將查找到的欄位值以流的方式輸入流式處理集群；將所述流式處理集群輸出的作為所述第一查詢請求中包含的表達式的執行結果。本申請實施例三的具體細節的實現，可參見實施例一的描述，這裡不再贅述。實施例四如圖5所示，其為本申請實施例四提供的數據查詢裝置的結構示意圖，包括：發送模塊51和接收模塊52，其中：發送模塊51，用於向業務伺服器發送第一查詢請求，所述第一查詢請求中包含表達式，所述表達式用於實現業務邏輯且引用至少一個欄位；接收模塊52，用於接收所述業務伺服器返回的第一查詢響應，所述第一查詢響應中攜帶有業務伺服器利用預先建立的表達式與欄位值之間的對應關係，查找所述第一查詢請求中包含的表達式對應的欄位值，以及利用查找到的欄位值執行所述第一查詢請求中包含的表達式，得到的執行結果，其中，表達式對應的欄位值為數據表中該表達式引用的各欄位下的欄位值。本申請實施例四的具體細節的實現，可參見實施例一及實施例二的描述，這裡不再贅述。通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到本發明實施例可以通過硬體實現，也可以藉助軟體加必要的通用硬體平臺的方式實現。基於這樣的理解，本發明實施例的技術方案可以以軟體產品的形式體現出來，該軟體產品可以存儲在一個非易失性存儲介質(可以是CD-ROM，U盤，移動硬碟等)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。本領域技術人員可以理解附圖只是一個優選實施例的示意圖，附圖中的模塊或流程並不一定是實施本發明所必須的。本領域技術人員可以理解實施例中終端中的模塊可以按照實施例描述進行分布於實施例的終端中，也可以進行相應變化位於不同於本實施例的一個或多個終端中。上述實施例的模塊可以合併為一個模塊，也可以進一步拆分成多個子模塊。上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。當前第1頁1 2 3 當前第1頁1 2 3