優化搜尋引擎的方法及裝置製造方法
2023-12-09 02:33:21 4
優化搜尋引擎的方法及裝置製造方法
【專利摘要】本發明提供一種優化搜尋引擎的方法及裝置，該方法包括：在接收到新的記錄時，從該記錄中提取時間信息，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創建該時間段的索引表，並將所述記錄的索引信息添加到創建的索引表中；根據預設的索引文件生成規則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄並輸出。本發明有效提升了搜索應用伺服器在交通行業的應用能力，滿足用戶對大數據量查詢的快速響應要求。
【專利說明】優化搜尋引擎的方法及裝置
【技術領域】
[0001]本發明涉及搜尋引擎【技術領域】，尤其涉及一種優化搜尋引擎的方法及裝置。
【背景技術】
[0002]隨著雲存儲資料庫在交通行業的廣泛應用，其在查詢功能上的不足也日益凸顯，為彌補雲存儲資料庫在數據查詢功能上的不足，往往通過引入搜索應用伺服器為雲存儲資料庫創建索引，提升查詢性能。搜索應用伺服器作為一種可伸縮的、致力於信息檢索的、可以處理海量信息的應用伺服器，在數據檢索方面具有得天獨厚的優勢，能很好的彌補雲存儲資料庫檢索的不足。
[0003]現有的索引創建和查詢的流程雖然能夠解決雲存儲資料庫查詢性能的不足，但由於為了保證檢索功能的通用性，導致性能瓶頸，當資料庫中的數據量達到億級或十億級時，其查詢響應時間往往在10秒左右，如需要排序，則時間消耗更是成倍數增長，無法滿足交通行業快速響應的需求。
【發明內容】
[0004]有鑑於此，本發明提供一種優化的搜尋引擎裝置，應用於搜索應用伺服器設備上，該裝置包括:
[0005]索引信息創建單元，用於在接收到新的記錄時，從該記錄中提取時間信息，根據預設的時間段劃分規則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創建該時間段的索引表，並將所述記錄的索弓I信息添加到創建的索引表中；
[0006]索引文件生成單元，用於根據預設的索引文件生成規則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；
[0007]索引信息查詢單元，用於在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄並輸出。
[0008]本發明還提供了一種優化搜尋引擎的方法，應用於搜索應用伺服器設備上，該方法包括:
[0009]步驟A，在接收到新的記錄時，從該記錄中提取時間信息，根據預設的時間段劃分規則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創建該時間段的索引表，並將所述記錄的索弓I信息添加到創建的索引表中；
[0010]步驟B，根據預設的索引文件生成規則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；
[0011]步驟C，在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄並輸出。
[0012]本發明有效提升了搜索應用伺服器在交通行業的應用能力，滿足用戶對大數據量查詢的快速響應要求。
【專利附圖】
【附圖說明】
[0013]圖1是本發明一種實施方式中索引裝置的邏輯結構及其基礎硬體環境的示意圖。
[0014]圖2是本發明一種實施方式中索引方法的流程圖。
【具體實施方式】
[0015]以下結合附圖對本發明進行詳細描述。
[0016]本發明提供一種優化搜尋引擎的裝置，應用於搜索應用伺服器設備上。以下以軟體實現為例進行說明，但是本發明並不排除諸如硬體或者邏輯器件等其他實現方式。如圖1所示，該裝置運行的硬體環境通常包括CPU、內存、非易失性存儲器以及其他硬體。該裝置作為一個邏輯層面的虛擬裝置，其通過CPU來運行。該裝置包括索引信息創建單元、索引文件生成單元以及索引信息查詢單元。請參考圖2具體的實施步驟。
[0017]步驟101，在接收到新的記錄時，從該記錄中提取時間信息，根據預設的時間段劃分規則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創建該時間段的索引表，並將所述記錄的索引信息添加到創建的索引表中；
[0018]步驟102，根據預設的索引文件生成規則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；
[0019]步驟103，在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄並輸出。
[0020]在常規的索引方法中，為了保證搜索應用伺服器的通用性，對索引記錄的時間信息不做特殊處理，導致在查詢時需要遍歷所有的索引文件，當索引文件過多時，其打開文件和加載數據的過程將消耗很多時間，且對所有索引記錄都需要進行條件過濾，極大地延長了查詢的響應時間。本發明針對交通行業中記錄數據必然包含時間信息，且用戶往往按照時間信息進行查詢的特點，通過引入時間信息優化搜索應用伺服器的索引處理流程。現以交通行業中經常查詢的過車記錄為例，詳細介紹搜索應用伺服器的索引處理流程。
[0021]搜索應用伺服器在接收到新的記錄時，從該記錄中提取時間信息，根據預先設置的時間段劃分規則，確認該記錄的時間信息屬於哪一個時間段，再查詢內存中是否存在該時間段對應的索引表，若不存在，則創建該時間段的索引表。例如，以月份來劃分時間段，則屬於同一個月份的記錄，其建立的索引表項將添加到同一個索引表中。所述索引表包括正排索引表和倒排索引表，正排索引表是根據記錄查找記錄中的信息，倒排索引表是根據信息查找包含該信息的記錄，後續具體例子將對此進行詳細說明。當搜索應用伺服器接收到一條新記錄時，提取記錄中的關鍵字信息，根據該記錄中的時間信息建立正排索引表項，其它信息建立倒排 索引表項，並存入對應的索引表中。例如:若過車記錄包含4個關鍵信息，具體為過車時間、過車卡口、車牌信息以及是否違章。以下以表1過車記錄為例進行說明。
[0022]
序號I記錄標識符I過車時間~I過車卡口I車牌信息~I是否違章
【權利要求】
1.一種優化搜尋引擎的裝置，應用於搜索應用伺服器設備上，其特徵在於，該裝置包括: 索引信息創建單元，用於在接收到新的記錄時，從該記錄中提取時間信息，根據預設的時間段劃分規則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創建該時間段的索引表，並將所述記錄的索引信息添加到創建的索引表中； 索引文件生成單元，用於根據預設的索引文件生成規則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息； 索引信息查詢單元，用於在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄並輸出。
2.如權利要求1所述的裝置，其特徵在於: 所述索引文件的時間段信息包含在該索引文件的文件名中。
3.如權利要求1所述的裝置，其特徵在於: 所述索引文件生成單元進一步用於將同一時間段內的索引文件按照預設的合併策略進行索引文件合併。
4.如權利要求1所述的裝置，其特徵在於: 所述索引信息查詢單元進一步用於在所述滿足時間過濾條件的索引文件中，對具有相同時間段的索引文件分別統計滿足其它過濾條件的記錄總數，並根據排序要求，對滿足過濾條件的記錄進行排序並輸出，其中，所述排序要求包括排序方式、偏移條數以及顯示條數，所述排序方式為按照時間升序或降序排列，所述偏移條數為所述滿足過濾條件的記錄按照所述排序方式排序後，不需要輸出的前N條記錄。
5.如權利要求1所述的裝置，其特徵在於: 所述預設的時間段劃分規則可自適應調整時間段長度。
6.一種優化搜尋引擎的方法，應用於搜索應用伺服器設備上，其特徵在於，該方法包括: 步驟A，在接收到新的記錄時，從該記錄中提取時間信息，根據預設的時間段劃分規則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創建該時間段的索引表，並將所述記錄的索引信息添加到創建的索引表中； 步驟B，根據預設的索引文件生成規則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息； 步驟C，在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄並輸出。
7.如權利要求6所述的方法，其特徵在於: 所述索引文件的時間段信息包含在該索引文件的文件名中。
8.如權利要求6所述的方法，其特徵在於: 所述步驟B還包括:將同一時間段內的索引文件按照預設的合併策略進行索引文件合併。
9.如權利要求6所述的方法，其特徵在於:所述步驟C還包括:在所述滿足時間過濾條件的索引文件中，對具有相同時間段的索引文件分別統計滿足其它過濾條件的記錄總數，並根據排序要求，對滿足過濾條件的記錄進行排序並輸出，其中，所述排序要求包括排序方式、偏移條數以及顯示條數，所述排序方式為按照時間升序或降序排列，所述偏移條數為所述滿足過濾條件的記錄按照所述排序方式排序後，不需要輸出的前N條記錄。
10.如權利要求6所述的方法，其特徵在於: 所述預設的時 間段劃分規則可自適應調整時間段長度。
【文檔編號】G06F17/30GK103970853SQ201410186758
【公開日】2014年8月6日 申請日期:2014年5月5日 優先權日:2014年5月5日
【發明者】陶明淵 申請人:浙江宇視科技有限公司