提高數據倉庫性能的方法和裝置的製作方法

2023-12-06 02:37:21

專利名稱：：提高數據倉庫性能的方法和裝置的製作方法
技術領域：
：本發明概要地涉及數據格式化和分析，並且尤其涉及提高數據倉庫性能的方法和>J-Uρα裝直。
背景技術：
：各種類型數據的存儲、檢索和處理允許企業為了優化性能而策劃新的業務計劃和/或調整現有的業務計劃。例如，無線電話公司可以管理存儲現有用戶信息和/或新用戶信息的數據倉庫。如果該無線公司處理這種收集到的數據，可能會發現暗示新的市場機會和/或需要恢復和/或附加服務設備的負擔過重的市場的成長趨勢。分析在數據倉庫中存儲的業務數據可以使公司將這種數據轉化為企業智慧，更好地了解他們的客戶，和/或基於依據經驗信息而非試探法來制定各種管理決策。非商業性組織也可以分析倉儲的數據以滿足各種設計目的。例如，政府和/或市政部門可以研究人口增長和/或人口流動，以為增加的使用更好地配備城市基礎設施和/或服務。類似地，這種人口趨勢分析能夠例示所分配的預算可以從需求較少的城市項目重新撥劃到與高人口增長率關係密切的更優先的項目。數據倉庫可以維持用於後序分析的數據的拷貝。數據可以包括人口數據、財務數據、商業數據、和/或行為數據，比如有線電視訂閱、家庭購買行為、和/或廣播節目消費。可以按各種方式存儲數據倉庫，包括按關係資料庫、多維資料庫、平面文件、層級資料庫、對象資料庫，等等。通常創建根據數據倉庫產生的報告以揭露出對於商號、政府實體、和/或其它團體很重要的具體指標。通常，所述報告耗用限定數量的處理和存儲資源，這可能導致在存儲數據的規模增加時數據倉庫性能下降。而且，如果多個客戶在重疊的時間裡從特定數據倉庫尋找報告，下降的表現能力可能導致令人不滿的客戶端等待時間，和/或不能以響應於客戶端迅速轉換需求的方式運行查詢。例如，一些數據倉庫可能需要多個小時的處理時間以生成給客戶的報告。如果客戶接下來為報告選擇另一組參數，那麼客戶必須等待大量時間以在下一時機在超負荷的數據倉庫上運行查詢。在其它時間，依據數據倉庫的處理量，處理時間可能降低，從而使得數據倉庫管理器很難對多個客戶端有效地分配和/或管理數據倉庫處理時間。圖I是例示了數據倉庫系統示例的結構圖。圖2是圖I的示例數據倉庫優化器的框圖。圖3是可執行以實現圖I和2的示例數據倉庫優化器的機器可讀指令典型示例的流程圖。圖4是可執行以為圖3的示例指令獲取數據的機器可讀指令典型示例的流程圖。圖5是可執行以在圖3的示例指令中處理數據的機器可讀指令典型示例的流程圖。圖6是提高數據倉庫性能的示例數據格式器的框圖。圖7是用在圖I的示例系統中的示例數據倉庫架構和對應的層級目錄路徑。圖8是可執行以組織圖7的示例層級目錄路徑的機器可讀指令典型示例的流程圖。圖9是另一示例數據倉庫優化器的框圖。圖10是用來執行圖3—5和/或圖8的示例機器可讀指令以實現本文描述的示例系統和/或方法的示例處理器系統的結構圖。具體實施例方式數據倉庫收集關於一個或更多興趣主題的大量信息，對興趣主題僅舉幾例，例如為消費者和/或企業的消費習慣，交易數據(例如，金融市場交易，房地產交易等)，人口增長信息，和/或多媒體廣播收看行為。維護和控制數據倉庫設施和/或提供數據存儲、處理、分析、和/或報告生成服務的企業面臨由這一增長帶來的挑戰。一般而言，由於耗用數據倉庫存儲容量，需要額外的處理能力和/或處理周期以分析數量越來越多的收集數據。如本文中應用的，數據分析(處理)可以包括但不限於搜索所收集的數據參數之間的趨勢，對所收集的數據執行統計功能，積累計算結果，和/或生成反映查詢結果的報告給最終用戶審查。數據倉庫的數據處理、分析和/或存儲功能競爭處理資源，從而隨著收集數據的增長使數據倉庫系統負擔加重。向客戶提供這種存儲和/或處理服務的數據倉庫企業有時會試圖通過向計算機伺服器增加處理器、向數據倉庫系統增加存儲空間、和/或實施數據倉庫子系統來管理客戶期望。除了改變和/或更新數據倉庫基礎結構以改善性能之外，這些數據倉庫企業也可以向他們的客戶提供關於完成報告的周轉時間的預先通知，以確保客戶不會失望。如果客戶事先知道多長時間才能拿到指定的報告，則客戶期望可以與事實完全相符，從而提高客戶滿意度。然而，無論是否預先通知客戶，過長的報告生成處理時間仍可能導致客戶的不滿。此外，報告生成處理時間可能會取決於一天中不同時間的利用率，這樣的利用率會引起預計處理時間意外波動，從而難以準確地向客戶提供預先通知。為了適應不同的客戶，數據倉庫企業可以使用許多專用數據棧(datamart)。如本文中應用的，「專用數據棧」是一個或更多個集中於一個或更多個特定業務和/或主題的較小的資料庫。然而，儘管存在專用數據棧的規模小於聚集的數據倉庫的規模的事實，但是專用數據棧可能增長到很大的規模，從而對報告生成和其他資料庫性能特點產生負面影響。本文中描述的示例方法和裝置可以用來提高數據倉庫性能。總的來說，本文中示出的示例方法和裝置可以由數據倉庫就地使用，和/或作為應用編程接口(API)提供給一個或更多客戶端，以在一個或更多個人計算機、伺服器、和/或其他計算平臺上運行。API可以包括圖形用戶界面(GUI)，和/或數據倉庫可以響應於簡單的基於網絡的報告請求向他們的客戶提供全面解決方案。圖I是根據本公開的教導構造的示例數據倉庫系統100的結構圖。示例系統100包括饋送到數據倉庫優化器104的輸入的數據分析指令102。數據分析指令102可以構造為，例如，包含有關客戶端目標的詳細內容的可擴展標記語言(XML)文件。數據分析指令102可以以任何計算機語言編寫和/或可以採取任何替換形式，如文本文件，字符分隔的文件(characterdelimitedfile),和/或可以解析為具體的數據參數、統計方法,和/或報告格式參數的二進位文件，而沒有任何限制。例如，國家廣播公司客戶可以要求一份包含廣播節目、新聞事件和/或商業收視率的收視率數據的報告。此外，該廣播公司客戶可能需要以統計的方式分離的子報告以確定，例如，哪個年齡組別的觀眾觀看一個或多個特定的廣播節目。並且，該廣播客戶可能需要這種以統計的方式分離的子報告按諸如國家、地區、州、郡、和/或城市的地理界限分離收視率信息。本領域普通技術人員將能夠理解，由數據倉庫存儲和/或處理的數據不限於收視率信息，也可能包括任何類型的信息。例如，數據倉庫信息可以包括但不限於金融交易信息、人口統計信息、訂閱服務消費信息、醫療信息、處方藥的使用和/或供應信息、銷售信息(例如，銷售點信息)、天氣信息和/或行為信息。如下文進一步詳細討論的，所示出的示例的數據倉庫優化器104與一個或更多數據倉庫106、108、110通信。各數據倉庫106、108、110可以包括一個或更多資料庫112以存儲一種或更多種類型的數據。在所例示的示例中，一個數據倉庫106以通訊的方式直接連接到數據倉庫優化器104。到數據倉庫的直接連接可以通過一個或更多連接和/或通訊協議完成，該通訊協議包括但不限於通用串行總線(USB)通信協議和/或FireWire通信協議(即IEEE-1394)。此外，所示出的示例的數據倉庫優化器104和數據倉庫106、108、110通過諸如內聯網和/或網際網路的網絡114以通訊的方式結合。合適的網絡114連接包括但不限於Ethemet(乙太網)通信協議、IEEE-802.11(Wi-Fi)、Bluetooth(藍牙)、900MHz、I.6GHz和/或移動通信協議(例如，CDMA、TDMA,GSM、AMPS、EDGE等)。所示出的示例的數據倉庫優化器104接收數據分析指令102，並響應於分析指令102從一個或更多個數據倉庫106、108、110提取相關數據。所示出的示例的數據倉庫優化器104從一個或更多數據倉庫106、108、110提取(例如，複製)響應於一組給定指令102的具體數據並將所提取的數據存儲到臨時存儲器116，而不是使每一個數據倉庫106、108、110充滿數據查詢(獲取)和統計處理。這樣，數據倉庫優化器104使數據倉庫106、108、110免於履行複雜的統計數據處理的職責，從而允許各數據倉106、108、110把重點放在數據存儲、歸檔、和響應於請求提供數據的任務上。存儲器116可以由海量存儲光、磁、和/或固態存儲器來實現，可以用於存儲上述的可執行API和/或從數據倉庫106、108、110收集的將用於構建分塊統計(blockstatistics)的數據,如下文進一步詳細討論的。雖然在圖I中僅示出了一個優化器104，但是本領域普通技術人員將理解，可以使用多個優化器104。所示出的示例的數據倉庫優化器104在諸如個人計算機(PC)的計算機上實施。本領域普通技術人員將理解，計算機和/或計算機硬體的成本已經降低，從而使個人計算機成為專門的處理任務在成本上的明智替換物。附加地或者可替換地，數據倉庫優化器104可以在包括一個或更多個硬碟驅動器以存儲從數據倉庫106、108、110接收的所收集數據的伺服器上實施。實施優化器104的個人計算機和/或伺服器可以位於或靠近數據倉庫業務設施來處理客戶端請求。可替換地，實施優化器104的個人計算機和/或伺服器可以屬於一個或更多個客戶。因此，舉例來說，數據倉庫優化器104可以在客戶端機器上作為API執行以創建和/或處理數據分析指令102。這樣的API可以出售或授權給客戶，和/或數據倉庫公司可以向客戶收取使用API的每次交易費。在圖2中更詳細地示出了示例數據倉庫優化器104。在該例示的示例中，數據倉庫優化器104包括通信接口202、數據檢索器204、分析器206和報告生成器208。此外，示例數據檢索器204包括結構查詢語言(SQL)生成器210和調度器212。如上所述，通信接口202使得能夠通過專用連接、直接連接和/或諸如內聯網或網際網路的網絡114來通信。至/從實施例數據倉庫優化器104的通信可以通過網頁(例如，動態伺服器主頁)、命令行用戶界面、圖形用戶界面和/或信息亭發生。通信接口202可以包括一個或更多個保護措施(如防火牆)來保護數據倉庫優化器104免受未經授權的使用和/或篡改的傷害。通過通信接口202接收比如XML文件的數據分析指令102，並將其提供給數據檢索器204。數據分析指令102可以包含針對所請求的報告的一個或更多參數、屬性、統計和/或格式指令。例如，數據分析指令102可以指定感興趣數據的類型和/或以下數據應當針對特定時段(例如，日，周，月等)、特定廣播節目(例如，體育比賽、電影、連續劇等)和/或特定人口群體(如兒童、青少年、成人、長者、墨西哥裔美國人、波蘭裔美國人等等)從數據倉庫中提取的數據。數據分析指令102也可以指定要從其檢索數據的特定數據倉庫106、108、110。許多數據倉庫可能包含私人的、保密的(例如，律師/客戶通信，社保號碼，銀行帳戶號碼等)和/或商業敏感的數據。因此，數據分析指令102也可包含一個或更多個驗證參數來控制對整個數據倉庫或數據倉庫的特定方面的連接和/或訪問。因此，所示出的示例的數據檢索器204可以調用通信接口202以建立用於數據傳送的連接。數據倉庫優化器104和數據倉庫106、108、110之間的驗證可以包括，但不限於安全套接層(SSL)、數字證書、密·碼保護、加密、和/或公鑰密碼法。一旦示例數據倉庫優化器104連接到特定的數據倉庫106、108、110，SQL生成器210可以創建針對在數據分析指令102中標識的請求數據的查詢命令。在一些示例中,指令102可以將「情景喜劇」列為數據倉庫優化器104分析收視率數量所針對的數據參數。類似地，指令102可以將「退休人員」列為數據倉庫優化器104分析收視率數量所針對的另一項數據參數。然而，數據分析指令102與一個或更多數據倉庫106、108、110之間可能不存在確切的參數術語。這樣，數據檢索器204可以使用例如元數據解決一個或更多數據倉庫106、108、110與分析指令102之間的任何不一致。因此，例如，當示例數據分析指令102列出「情景喜劇」時，數據倉庫可能改為使用名詞「連續劇」。元數據在一個或更多名詞之間進行術語映射，使得在數據倉庫106、108、110與分析指令102之間缺乏確切的一致性不能阻礙數據處理。所示出的示例的數據檢索器通過將頻繁使用的替換術語與特定分析指令102(例如，XML文件)所採用的術語相關聯來完成元數據分解。可替換地，數據分析指令可包括任何數目的術語名詞別名以與數據倉庫術語相關聯，使得如果匹配分析參數與數據倉庫參數的第一次嘗試失敗，那麼可以嘗試來自分析指令的替代的術語名詞。在其他示例中，數據檢索器204將數據分析指令值分解為由一個或更多個數據倉庫所採用的編碼值。可以使用編碼值而不是確切值，例如以節省存儲器。例如，數據倉庫可以使用從I到4的整數範圍來代表四個不同的收入水平。值「I」可以代表$10，000和$20，000之間的收入閾值；值「2」可以代表$20，000和$40，000之間的收入閾值；值「3」可以代表$40，OOO和$70，000之間的收入閾值；值「4」可以代表超過$70，000的收入閾值。這樣，數據檢索器204可以在例如檢索對應於I到4的特定值的條目之後，將從倉庫接收的任何數據分解(即翻譯)為關於適當收入閾值的收入欄。因此，舉例來說，如果數據分析指令僅請求$20，000與$40，000之間的閾值收入，那麼在這個示例中，數據檢索器204將產生使用關聯值「2」的SQL查詢指令，該關聯值「2」被目標數據倉庫理解為有效查詢輸入名詞。在示出的示例中，能夠構建調度器212以周期性地和/或非周期性地從一個或更多數據倉庫向存儲器116中複製數據分析指令102和/或構建分塊統計所涉及的一些或全部數據。因此，雖然前面的示例示出了數據檢索器204響應於接收數據分析指令102而從數據倉庫獲取數據，相關的數據倉庫信息(例如，一個或更多參數、屬性、統計和/或格式指令)可能作為在由調度器212調用的在先前周期性的、非周期性的和/或手動的數據獲取中發生的檢索結果已經存儲在存儲器116中。因而，可能沒有必要響應於給定的指令集102來查詢一個或多個數據倉庫。如上文所討論的，當國家的大部分人可能正在收看重要事件時，比如在超級盃(SuperBowl)或奧運會期間，數據倉庫可能會遇到大量使用的時段。調度器212可在當這種大量使用不太可能發生的時段從數據倉庫檢索相關的數據(例如，為資料庫的相關部分製作副本)，從而確保由於負擔較少的數據倉庫處理器導致的更快的查詢響應時間。類似地，數據倉庫的活動可能在清晨的時間較低。因此，調度器212可以被配置為每天，例如在凌晨2:00獲取(例如，製作副本)數據倉庫的一個或更多部分。在完成從一個或更多數據倉庫106、108、110中提取數據並存儲到存儲器116之後，數據倉庫優化器104可以調用分析器206來參照數據分析指令102處理數據。可以通過數據倉庫優化器104執行數據分析，而不是通過要由數據倉庫106、108、110的一個或更多處理器執行的SQL命令/指令來調用數據分析。優化器104可以以任何所需的計算機語言編程。本領域普通技術人員將理解，Java程序是獨立平臺並且可能比其他以SQL腳本實現的程序執行得更快。因此，Java特別適合用於實施部分或全部的優化器104。所示出的示例的數據倉庫優化器104特別適合於企業智慧(BI)報告應用。所示出的示例的優化器104能夠在數據倉庫106、108、110的資料庫112和/或在存儲器116中的數據上直接執行統計計算。當數據分析指令102的報告需求變得更加複雜並且資料庫112的數據集很大時，基於SQL的方案變得越來越效率低下和繁瑣。不同於通過使用數據倉庫優化器104實現的簡單的SQL提取命令，基於SQL的計算通常需要執行相對緩慢的多道SQL和臨時表格。此外，由於從數據倉庫106、108、110提取的數據集中於由數據分析指令102所確定的客戶特定目標，所以通過數據倉庫優化器104的所述數據的後序數據處理執行得較快，這是因為要分類的非相關數據較少。所示出的示例的分析器206通過處理構建分塊統計(本文中也稱為一次統計)開始數據分析。一般來說，初級/構建分塊統計可以包括基於來自數據倉庫106、108、110的直接可用數據的一個或更多計算。另一方面，綜合統計(本文中也稱為二次統計)可以部分地基於由一次統計所獲得的結果和/或來自數據倉庫106、108、110的附加數據來計算。構建分塊統計可以通過多階段處理來生成。舉例來說，一個或更多個分組和組織的初步階段使得後序的綜合統計計算成為可能。例如，構建分塊統計可以包括，但不限於觀看特定廣播節目的觀眾總數，全國範圍的廣播節目收視率直方圖，廣播節目在各州的平均收視率等。如上文所討論的，雖然本文中示出的示例特別針對廣播節目和/或收視率，但是本文中描述的系統，方法和裝置可以不限於此而應用於任何類型的數據倉庫主題事項。構建分塊統計還可以包括信息的離散桶(discretebuckets)和包含於其中的一個或更多個子群的分類。例如,可以根據所收集的數據來計算「人口統計」類型的桶。對於任何特定的數據樣本大小，比如某一天，多天，周，和/或月，人口統計桶可以包含不同的人口統計子群。例如，周末期間的數據樣本可能包括具有相對更大比例的成年男性在下午時段觀看電視節目的人口統計桶。作為另一個示例，工作日期間的數據樣本可能包括具有相對更大比例的40—60歲的婦女在下午時段觀看電視節目的人口統計桶。元數據還允許數據倉庫優化器104確定從數據倉庫106、108、110獲得哪些數據。在一些示例中，元數據包含有事實和星型架構的維度之間的關係。這種關係允許示例數據檢索器204的SQL生成器210生成適當的基於SQL的提取命令。在另一個示例中，數據倉庫優化器104通過分析器206檢查按照數據分析指令102生成的綜合統計。此外，元數據可以基於所請求的綜合統計確定計算綜合統計需要哪些構建分塊統計。另一方面，綜合統計可以使用一些或全部的構建分塊統計。這種綜合統計可以在·構建分塊階段之後的一個或更多處理階段期間由所示出的示例的分析器206來計算。例如，綜合統計可以包括確定在$70，000或以上的收入閾值中在工作日觀看電視的40-60歲婦女的百分比。在這一示例中，綜合統計基於下述內容的分塊統計(I)40-60歲的婦女，以及(2)有$70，000或以上收入的婦女。在其它示例中，綜合統計可以包括確定在給定的周末期間成年男性觀看足球對奧運會的相對百分比收視率。這種綜合統計可以基於一個或更多個構建分塊統計。所示出的示例的報告生成器208利用在數據分析指令102中指定的報告格式參數和/或默認參數向客戶端提供處理後的數據結果。可以按一種或更多種格式提供報告，包括但不限於制表符分隔文件、電子表格、圖表、直方圖、餅形圖和/或趨勢分析曲線。所示出的示例的報告生成器208可以附加地或可替換地調用通信接口202的網絡伺服器以成網絡瀏覽器可見格式的這種報告信息。在圖3至圖5中示出了可被執行以實現圖I和/或圖2的示例數據倉庫優化器104的示例機器可讀指令的典型流程圖。在這些示例中，由各個流程圖表示的機器可讀指令可以包含由以下執行的一個或更多程序(a)處理器，如圖10(b)中的處理器1012，(b)控制器，和/或(c)任何其它適合的設備。所述一個或更多程序能夠具體表現為存儲於例如存儲器116(見圖I)的有形介質上的軟體，但是本領域普通技術人員將容易理解，另外一個或多個程序的全部和/或他們的一部分能夠由除處理器1012以外的設備執行和/或實施為固件或專用硬體(例如，利用專用集成電路(ASIC)、可編程邏輯器件(PLD)，現場可編程邏輯器件(FPLD)、離散邏輯等來實施)。例如，能夠用軟體、硬體和/或固件的任意組合實施處理器1012、I/O控制器1012、存儲器控制器1020和/或網絡接口1030。並且，由圖3到圖5的流程圖表示的部分或全部塊可以手動地實施。此外，儘管參照圖3到圖5的流程圖描述了示例機器可讀指令，但是本領域普通技術人員將容易理解，另外也能夠使用實現本文中描述的示例方法和裝置的許多其它技術。例如，參照圖3到圖5的流程圖，可以改變塊的執行順序，和/或可以將所描述的一些塊改變、去掉、組合和/或再分割為多個塊。參見圖3，數據倉庫優化器104的通信接口202可以接收例如文本文件、二進位文件、XML文件、或其它指令格式的形式的分析指令102(塊302)。如果分析指令102需要來自一個或更多數據倉庫的數據(塊304)，那麼數據倉庫優化器104的SQL生成器210和數據檢索器204從所述倉庫獲取相關數據(塊306)，如下文參照圖4所討論的。如果分析指令102僅需要本地存儲的數據(例如，由調度器212從倉庫預先檢索的數據)(塊304)，那麼數據倉庫優化器104的分析器206處理存儲在本地存儲器116中的數據(塊308)。如果通過數據倉庫優化器104沒有接收到分析指令102(塊302)，那麼數據倉庫優化器104的調度器212確定是否已經達到預定的獲取時間(塊310)。如上文所討論的，在(完整地或部分地)實施數據倉庫的示例中，調度器212可以被配置為每天凌晨2:00查詢和獲取在倉庫的相關部分中發現的任何新數據的拷貝(塊306)。如果獲取時間還沒有發生(塊310)，那麼控制返回塊302。如果獲取時間已經發生(塊310)，調用請求對應的相關數據的請求(塊312)。返回塊308，在已經按照分析指令102處理數據(塊308，如參照圖5進一步討論的)之後，報告生成器208為客戶端生成報告(塊314)。然後控制返回塊302。圖4是例示了實現圖3的塊306和312的示例方式的流程圖。如果所提供的指令指定了一個或多個特定的數據倉庫(塊402)，那麼通信接口202通過驗證協議與那些數據倉庫106、108、110建立連接(塊404)。另一方面，如果分析指令102未標識一個或更多特定的數據倉庫(塊402)，那麼處理306可以用本地存儲器116中的數據繼續進行和/或數據檢索器204可以從已知包含與所述指令有關的數據的一個或更多數據倉庫連接、驗證、和/或獲取數據(塊406)。如上文所討論的，因為數據倉庫106、108、110可以採用與分析指令102所採用的術語不同的參數術語，所以數據檢索器204可以通過元數據解決這種差異(塊408)。然後將由SQL生成器210產生的查詢發送到遠程和/或本地數據源(例如，本地存儲器116和/或一個或更多倉庫106、108、110)(塊409)。然後將由數據源返回的數據存儲在存儲器116中的數據工作文件中(塊410)，其可以包含一個或更多參數數據、一個或更多屬性、一個或更多統計、一個或更多構建分塊統計、和/或一個或更多格式指令。圖5是例示了實施圖3的塊308的示例方式的流程圖。如上文所討論的，數據分析指令102可以包括使用從數據倉庫106、108、110提取的數據計算的一個或更多統計公式。可替換地，分析器206可以包括默認公式。分析器206檢索在圖4的塊410存儲的工作文件並生成要根據分析指令102處理的任何構建分塊統計(塊502)。為了以後的使用，可以將這種構建分塊統計存儲在存儲器116中。然後分析器206參照所接收的目標參數處理構建分塊統計(塊504)。可以將構建分塊統計用作一個或更多其它統計計算的基礎，該一個或更多其它統計計算涉及在存儲器116中存儲的所獲取的數據的目標參數的更大複雜性、附加組合、和/或交錯置換。這樣，可以按一個或更多批次/分組計算構建分塊統計。一旦完成在分析指令102中標識的任何一個特定的構建分塊統計，分析器206確定分析指令102是否包括附加的構建分塊統計指令(塊506)。如果要計算更多的構建分塊統計，則控制返回塊502。否則，分析器206從分析指令102和/或從與分析器206相關聯的默認指令中(例如，從XML文件中)檢索綜合統計指令(塊508)。如上文所討論的，可以通過使用較早計算的構建分塊統計來部分地計算綜合統計。分析器206參照目標參數和/或先前計算的構建分塊統計結果來處理這種綜合統計(塊510)。與構建分塊統計很相像，可以按一個或更多批次和/或分組計算綜合統計。一旦完成任何一個特定的綜合統計指令，分析器確定分析指令是否包括附加的綜合統計指令(塊512)。如果要計算更多的綜合統計指令，那麼處理控制返回塊508。除了以基於SQL的方式進行複雜的統計計算、分類和/或分組的傳統BI報告方法之外，採用所示出的示例的數據倉庫優化器104允許高度擴展的其它選擇。數據倉庫106、108、110通常為昂貴的整體式伺服器，其需要大量的費用升級。鑑於上述披露的數據檢索、分組和統計計算的方案，更便宜的PC可能會被以可擴展方式來使用以比現有技術更快地生成客戶端報告。本領域普通技術人員將理解，可以使用其他的程式語言來實施數據倉庫優化器104的全體或部分。這種程式語言可能包括，但不限於ASNI、C、C++和/或C#。為了更有效地存儲和訪問從一個或更多個倉庫獲得的數據，示例系統還可以設置有數據格式器600，如圖6中所示。示例數據格式器600可實現為圖2的數據檢索器204的一部分，和/或作為數據倉庫優化器104的單獨模塊來工作。不限於此，示例數據格式器600可以與數據倉庫優化器104完全地分離，和/或在將數據倉庫106、108、110信息存儲到存儲器116之前對數據倉庫106、108、110信息執行數據格式化技術。圖6的示例數據格式器600包括通信接口602(或可以共享圖2的通信接口202)、調度器604(其可以是圖2的調度器212)、數據倉庫提取器606、組織器608，壓縮引擎610和存儲器612。存儲器612可以在示例數據格式器600外部，可以訪問圖I中所示的示例存儲器116，和/或可以由存儲器116來實施。通信接口602以類似於圖2的通信接口202的方式工作。例如，通信接口602使數據格式器600與一個或更多數據倉庫(例如圖I中所示的倉庫106、108、110)之間能夠通信。通信可以網絡連接發生，該網絡連接採用Ethernet通信協議、IEEE-802.11(Wi-Fi^)、Bluetooth(藍牙)，900MHz、I.6GHz和/或移動通信協議(例如，CDMA、TDMA、GSM、AMPS、EDGE等)。附加地或可替換地，到/來自示例數據格式器600的通信可以通過採用通用串行總線(USB)通信協議、和/或FireWire*通信協議(例如IEEE-1394)的直接連接發生。通過通信接口602從數據倉庫106、108、110接收的數據可發送到以下中任意之一/由以下中任意之一發送調度器604、數據倉庫提取器606、組織器608、壓縮引擎610和/或存儲器612。存儲在數據倉庫中的數據可以採取一種或更多格式，這些格式包括脫機操作資料庫、脫機數據倉庫、實時數據倉庫和/或集成數據倉庫。數據倉庫的數據源可以指信息的任何電子儲存庫，並可以包括主機資料庫(例如，IBMSDB2、VSAM、ISAM、Adabas等)，客戶端伺服器資料庫(例如,Oracle'…，Informix^,SQLServerli(SQL月艮務器)等)，和/或PC資料庫(例如，Microsoft1,Access)。數據倉庫通常存儲通過可以按反映數據的通常用途的主題區域(例如，消費者、產品、金融等)集合在一起的數據。這種集合可以包括使用維度方案(dimensionalapproach),在該方案中將信息作為可以是針對交易和/或事件的數字或文本數據的事實來存儲。附加地或可替換地，維度(例如，資料庫/倉庫結構的架構要素)可以包含允許對交易以不同方式進行分類的參考信息。例如，銷售交易可以被分解為包括許多所定購產品的數量和所支付價格的事實。另外，維度可以包括其它因素，比如銷售日期、消費者信息、產品細節、銷售的地理位置、以及由哪個銷售員進行銷售。雖然數據倉庫優化器104和數據格式器600能夠就任何資料庫架構工作，出於例示的目的，下面將討論星型架構。星型架構包括具有複合主關鍵字(例如，佛羅裡達收視率6-20-06,如圖7中所示)的單一事實表(facttable)。該事實表包含關於例如公司和/或其它組織感興趣的主題的定量數據或事實數據。事實表的每個不同的關鍵字(例如，圖7的節目ID和/或住戶)包括對應的維度表(dimensiontable),該維度表可以包括實施例業務的事實和/或不同屬性的附加欄。可以在周期的、非周期的和/或預定的基礎上由調度器604調用通信接口602以連接一個或更多數據倉庫。許多數據倉庫包含敏感數據和/或私人數據。因此，這種倉庫可以在訪問和/或提取包含於其中的數據之前要求驗證。數據格式器600和數據倉庫106、108、110之間的驗證可以包括，但不限於安全套接協議層(SSL)、數字證書、密碼保護、力口密、和/或公鑰密碼法。一旦數據格式器600連接到一個或更多特定的數據倉庫106、108、110，數據倉庫提取器606構建一個或更多個查詢命令，比如基於SQL的提取命令，以從數據倉庫獲得數據。來自數據倉庫提取器606的提取命令通常以基本無差別的方式工作並根據興趣時段(例如，特定日子、根據多個日子、根據特定周，和/或根據任何其它時間範圍)獲取所有的數據。不限於此，數據倉庫提取器606能夠以更有識別力的方式構建提取命令，該方式可以要求更大複雜性的基於SQL的提取命令。例如，數據倉庫提取器606可以回顧和/或解析全部或部分數據分析指令102，以獲取應當從數據倉庫106、108、110提取的特定參數。可以將從所述數據倉庫提取的數據保存在存儲器612中用於後面的組織，和/或組織可以在數據提取處理期間實時地發生。基於從其獲取了數據的數據倉庫106、108、110的結構(域特定細節)，組織器608創建層級目錄文件路徑結構。例如，在用於數據倉庫106、108、110的星型構架構造中，每個維度建模為目錄。如上所述，維度可以是資料庫和/或倉庫的一個或更多個結構構架元素，並且各維度可以具有一個或更多數據欄。例如，產品的維度可以包括涉及產品標識、產品成本、產品尺寸等的欄。每個維度目錄可以包含許多針對維度的每個欄的單獨目錄。通常來講，組織器608可以創建與數據倉庫106、108、110的最頂級(例如，最寬泛的，最概括的)提取相關聯的第一層級目錄文件路徑。並且，組織器608可以創建與數據倉庫106、108、110的比第一層級目錄文件路徑的提取更狹窄的一個或更多個提取相關聯的第二層級目錄文件路徑。實施例組織器608可以創建任意數量的附加層級目錄文件路徑以適應一個或更多個數據倉庫。在給定維度的每個欄之下是包含維度關鍵字到標識符(ID)數據(例如，「id.bin」)的映射的第一二進位文件。每個關鍵字(例如，如產生維度表的事實的一個或更多個關鍵字)是維度的主關鍵字，而ID是代表那一欄的值的數字。每欄還包括包含ID數據到值(例如，「valuemap.bin」)的映射的第二二進位文件。使用這兩種文件允許通過以順序的方式對文件映射層級從頭至尾進行依次映射推導一定關鍵字的欄的實際值(例如，通過基於數據分析指令102的查詢)。例如，如果事實表包括名稱為「住戶」的關鍵字並且住戶維度表包括名稱為「收入」的關鍵字，那麼用於查詢的關聯值可以通過遵循合乎邏輯的層級目錄路徑「DIM/住戶/收入」來確定，以檢索對應值(例如，圖7中的value_ll.bin)。本文中描述的一個或更多個層級目錄路徑的遊歷還減少和/或消除在訪問數據時對SQL命令的需要。結果，能夠通過使用例如網頁瀏覽器、信息亭、和/或目錄樹的目錄遊歷來簡化數據訪問。一旦由組織器608完成層級目錄結構，壓縮引擎610可以壓縮所有的二進位文件以節約存儲空間。壓縮技術可以包括，但不限於收縮(shrinking)方法、減小(reducing)方法、爆聚(imploding)方法,和/或令牌化(tokenizing)方法。可以採用ZIP文件格式以利用其開放的格式和豐富的實用性。壓縮引擎610也可以將整個層級目錄壓縮為帶有日期關鍵字文件名(比如下面在圖7中例示的「Juliandatecode(Julian日期碼)」)的單一ZIP文件。圖7示出了示例星型架構702和由數據格式器600創建的示例層級目錄路徑704。示例星型架構702包括具有標註為「節目ID」708以及「住戶」710的關鍵字(例如，每一個與一個維度相關聯的主關鍵字)的事實表「佛羅裡達收視率6/20/06」706。該事實表包括作為數據的「觀眾數」712。另外，示例星型架構702包括針對事實表706的各關鍵字708、710的對應維度表。特別是，示例星型架構702包括「節目ID」維度表714以及「住戶」維度表716。「節目ID」維度表714包括附加的維度關鍵字「世界盃」718、「PGA巡迴賽」720、「《我們的生活》」722和「《海綿寶寶》」724。類似地，「住戶」維度表716包括維度關鍵字「成人」726、「年輕人」728、「兒童」730、「TV數」732和「收入」734。示例數據格式器600以反映數據倉庫結構的方式創建層級目錄路徑704，其在圖7的所例示示例中是星型架構。特別是，數據格式器600的組織器608創建事實表路徑736、「節目ID」維度表路徑738以及「住戶」維度表路徑740。如上所述，每個對應的目錄包括含有映射和/或數據信息的關聯二進位文件(欄742)。示例層級目錄路徑704也包括對於「節目ID」和「住戶」維度表714、716的單獨目錄標籤路徑744。例如，一旦遊歷到目錄路徑704的最頂級維度表路徑(例如，738或740)之一，對應二進位文件(欄742)可以包含映射信息以說明可以對其進行遊歷的附加路徑。因而，遊歷至與二進位文件(例如，維度映射文件)「valUe_l.bin」相關聯的「NMR\DM\節目ID」，提供映射信息以允許遊歷到目錄標籤路徑744的一個或更多二進位文件。最終，目錄遊歷可以包括任意數量的嵌套目錄路徑，順序地訪問每一個以提供附加的映射信息(例如，一個或更多遊歷選項)，和/或數據(例如，收視率信息)。在圖7的所例示示例中，第一層級目錄文件路徑包括事實表路徑736、第二層級目錄文件路徑包括維度表路徑「NMR\DM\節目ID」738或者「NMR\DM\住戶」740，並且第三層級目錄文件路徑可以包括目錄標籤路徑744中任何一個。當組織器608完成層級目錄路徑704時，壓縮引擎可以將目錄保存為ZIP文件746。圖8是示出了從數據倉庫800檢索和格式化數據的示例處理的流程圖。如上所述，調度器604可以被配置為以周期性的和/或非周期性的方式從數據倉庫106、108、110獲取數據(塊802)。附加地或可替換地，可以通過例如客戶端、用戶、和/或數據獲取及報告生成業務的管理器手動地調用數據的獲取(塊804)。在從一個或更多數據倉庫106、108、110獲取數據之前，通信接口602連接到目標數據倉庫106、108、110並作為安全措施驗證該連接(塊806)以維持數據完整性(塊806)。所示出的示例的數據倉庫提取器606構建針對目標數據倉庫106、108、110的查詢命令(塊808)以檢索數據，比如基於SQL的命令。例如，數據倉庫提取器606可以構建具有最小規範約束的簡單的基於SQL的數據提取命令，比如請求針對特定小時、若干小時的範圍、天、若干天的範圍、周等的所有數據。然後執行查詢命令(塊810)並且將從數據倉庫返回的數據存儲到存儲器612(塊810)。組織器608將所接收的數據安排(塊812)到一個或更多層級目錄路徑704中，其反映起源的數據倉庫106、108、110的域特定細節(domainspecificdetails)。如上所述，雖然所示出的示例採用星型架構格式，但是本文中所描述的系統和方法不限於此，而可以適應任何資料庫架構。一旦完成層級目錄路徑組織(塊812)，壓縮引擎可以將目錄壓縮為，例如，ZIP文件(塊814)。然後控制返回塊802。圖9示出了另一示例數據倉庫優化器904。如上所述，雖然通過將數據倉庫從與統計計算相關聯的任何任務中部分地解除出來，和/或通過以Java取代基於SQL的命令進行這種報告生成處理，圖I和2的示例數據倉庫優化器104與SQL資料庫引擎相比，報告生成時間提高到十倍，但是還可以通過加入數據格式器600來實現額報告生成時間的附加提高。圖9的示例數據倉庫優化器904可以使用示例層級目錄路徑704以按大約一百的係數來提高報告生成時間消耗，而不是調用針對數據倉庫數據的基於SQL的查詢命令。除了數據檢索器204中附加的數據格式器600，圖9的示例數據倉庫優化器904本質上與圖2的示例數據倉庫優化器204相同。在圖9中以與圖2和6中同樣的標號來標識相似的部件，並不再對其做進一步討論。圖10是可用來執行圖3-5和圖8的示例機器可讀指令以實現本文中描述的示例系統和/或方法的示例處理器系統1010的結構圖。如圖10中所示，處理器系統1010包括連接到互連總線1014的處理器1012。處理器1012包括寄存器組或寄存器空間1016，其在圖10中被描述為完全晶片級(on-chip)，但是可選地，其能夠完全或部分位於晶片外並且通過專用電連接和/或通過互連總線1014直接結合到處理器1012。處理器1012可以是任何適用的處理器、處理單元或微處理器。儘管在圖10中沒有示出，但是系統1010可以是多處理器系統，並且因而可以包括與處理器1012相同或相似並以通信的方式結合到互連總線1014的一個或更多附加處理器。·將圖10的處理器1012結合到晶片集1018，晶片集1018包括存儲器控制器1020和輸入/輸出(I/o)控制器1022。眾所周知，晶片集通常提供I/O和存儲器管理功能以及多個通用和/或專用寄存器、計時器等，它們能夠由結合到晶片集1018的一個或更多個處理器訪問或使用。存儲器控制器1020執行使處理器1012(或多個處理器，如果存在多個處理器)能夠訪問系統存儲器1024和海量存儲的存儲器1025的功能。系統存儲器1024可以包括任何所需類型的易失和/或非易失存儲器，例如，靜態隨機存取存儲器(SRAM)、動態隨機存取存儲器(DRAM)、快閃記憶體、只讀存儲器(ROM)等。海量存儲的存儲器1025可以包括任何所需類型的海量存儲裝置，包括硬碟驅動器、光碟機、磁帶存儲裝置等。I/O控制器1022執行使處理器1012能夠通過I/O總線1032與外圍輸入/輸出(I/o)設備1026和1028以及網絡接口1030通信的功能。I/O設備1026和1028可以是任何所需類型的I/O設備，例如，鍵盤、視頻顯示器或監視器、滑鼠等。網絡接口1030可以是使處理器系統1010能夠與另一處理器系統通信的設備，例如，乙太網設備、異步傳輸模式(ATM)設備、802.11設備、數字用戶線路(DSL)數據機、纜線數據機、蜂窩調製解調翌坐-nfrο雖然存儲器控制器1020和I/O控制器1022在圖10中描述為晶片集1018中獨立的功能模塊，但是由這些模塊執行的功能可以集成在單一半導體電路中或者可以用兩個或更多獨立集成電路來實施。儘管本文中已經描述了特定的方法、裝置、系統和製品，但本專利覆蓋的範圍不限於此。相反，本專利涵蓋完全落入所附權利要求在字面上或依據其等同物原理的範圍內的所有方法、裝置、系統和製品。權利要求1.一種將第一資料庫轉換為第二資料庫的計算機實現的方法，該方法包括以下步驟生成與所述第一資料庫的事實表相關聯的第一映射文件，所述第一映射文件被第一層級目錄文件路徑引用；生成與維度表相關聯的第二映射文件，所述第二映射文件被第二層級目錄文件路徑引用；將所述第二層級目錄文件路徑附加到所述第一層級目錄文件路徑，以便於分別訪問所述第一映射文件和所述第二映射文件；從所述第一資料庫的所述事實表向所述第一映射文件複製數據，以及從所述第一資料庫的所述維度表向所述第二映射文件複製數據以形成所述第二資料庫；以及響應於接收到訪問所述第一資料庫中的數據的請求，通過所述第一層級目錄文件路徑和所述第二層級目錄文件路徑的順序遊歷，使用所述第一映射文件和所述第二映射文件從所述第二資料庫檢索數據。2.如權利要求I中所限定的方法，其中，所述順序遊歷包括遍歷被所述第一層級目錄文件路徑引用的多個嵌套層級目錄文件路徑。3.如權利要求2中所限定的方法，其中，執行所述順序遊歷還包括暴露多個資料庫維度，所述多個資料庫維度中的每一個由相關聯的維度映射文件限定。4.如權利要求I中所限定的方法，其中，所述維度表包括維度關鍵字，該維度關鍵字與存儲在第三層級目錄文件路徑中的數據文件相關聯，所述第三層級目錄文件路徑嵌套在所述第二層級目錄文件路徑下。5.如權利要求I中所限定的方法，該方法還包括響應於接收到所述第一映射文件或所述第二映射文件中的至少一個而識別至少一個嵌套層級目錄文件路徑，所述至少一個嵌套層級目錄文件路徑包括所述第一層級目錄文件路徑或所述第二層級目錄文件路徑的後續層次。6.如權利要求I中所限定的方法，其中生成所述層級路徑還包括生成星型架構的結構。7.一種用於將第一資料庫轉換為第二資料庫的裝置，該裝置包括用於生成與所述第一資料庫的事實表相關聯的第一映射文件的裝置，所述第一映射文件被第一層級目錄文件路徑引用；用於生成與維度表相關聯的第二映射文件的裝置，所述第二映射文件被第二層級目錄文件路徑引用；用於將所述第二層級目錄文件路徑附加到所述第一層級目錄文件路徑的裝置，從而便於分別對所述第一映射文件和所述第二映射文件的訪問；複製裝置，用於從所述第一資料庫的所述事實表向所述第一映射文件複製數據，以及從所述第一資料庫的所述維度表向所述第二映射文件複製數據以形成所述第二資料庫；以及檢索裝置，用於響應於接收到訪問所述第一資料庫中的數據的請求，通過所述第一層級目錄文件路徑和所述第二層級目錄文件路徑的順序遊歷，使用所述第一映射文件和所述第二映射文件從所述第二資料庫檢索數據。8.如權利要求7中所限定的用於將第一資料庫轉換為第二資料庫的裝置，該裝置還包括通過遍歷被所述第一層級目錄文件路徑引用的多個嵌套層級目錄文件路徑來執行順序遊歷的裝置。9.如權利要求7中所限定的用於將第一資料庫轉換為第二資料庫的裝置，該裝置還包括將維度關鍵字與存儲在第三層級目錄文件路徑中的數據文件相關聯的裝置，所述第三層級目錄文件路徑嵌套在所述第二層級目錄文件路徑下。10.如權利要求7中所限定的用於將第一資料庫轉換為第二資料庫的裝置，該裝置還包括響應於接收到所述第一映射文件或所述第二映射文件中的至少一個而識別至少一個嵌套層級目錄文件路徑的裝置，所述至少一個嵌套層級目錄文件路徑包括所述第一層級目錄文件路徑或所述第二層級目錄文件路徑的後續層次。11.一種訪問資料庫的裝置，該裝置包括輸入端，其接收查詢；以及數據檢索器，其執行以下操作檢索與層級目錄文件路徑結構的最頂層相關聯並且響應於所述查詢的第一文件路徑;識別與所述第一文件路徑相關聯的第一映射文件；以及從所述第一映射文件提取第一嵌套遊歷路徑，以識別所述層級目錄文件路徑結構的第一層。12.如權利要求11中所限定的裝置，其中所述嵌套遊歷路徑包括文件，該文件包括數據或者到所述層級目錄文件路徑結構的第二層結構的路徑這兩者中至少一者。13.如權利要求11中所限定的裝置，其中所述數據檢索器用於檢查所述第一映射文件，以識別所述層級目錄文件路徑結構的第二層結構。14.如權利要求13中所限定的裝置，其中所述數據檢索器用於從所述第一映射文件檢索多個第二嵌套文件路徑。15.如權利要求14中所限定的裝置，其中所述數據檢索器用於識別與所述多個第二嵌套文件路徑中的相應第二嵌套文件路徑相關聯的嵌套第二映射文件。16.如權利要求15中所限定的裝置，其中每個嵌套第二映射文件包括數據或者多個第三嵌套文件路徑這兩者中至少一者。17.一種檢索數據的裝置，該裝置包括輸入端，其接收查詢；以及數據檢索器，其響應於查詢以執行以下操作檢索第一文件並提取多個第一層文件路徑；選擇所述多個第一層文件路徑中的第一個，以識別與所述查詢相關聯的第一維度；以及通過評估與所述多個第一層文件路徑中的第一個相關聯的第二文件，識別所述第一維度的多個子分類。18.如權利要求17中所限定的裝置，其中所述多個第一層文件路徑與關聯於嵌套數據的對應維度相關聯。19.如權利要求17中所限定的裝置，其中所述多個第一層文件路徑中的每一個包括嵌套文件，以限定所述嵌套數據的較低層維度。20.一種層級目錄文件路徑，該層級目錄文件路徑包括事實表路徑，該事實表路徑表示所述層級目錄文件路徑的最頂層，所述事實表路徑包括相關事實表映射文件；維度表路徑，該維度表路徑表示所述事實表路徑的第一子層，所述維度表路徑包括相關維度表映射文件；以及目錄標籤路徑，該目錄標籤路徑表示所述事實表路徑的第二子層，所述目錄標籤路徑包括相關目錄標籤數據文件。21.如權利要求20中所限定的層級目錄文件路徑，該層級目錄文件路徑還包括多個維度表路徑，所述多個維度表路徑表示所述事實表路徑的第一子層。22.如權利要求21中所限定的層級目錄文件路徑，其中所述多個維度表路徑表示資料庫關鍵字。23.如權利要求20中所限定的層級目錄文件路徑，其中所述事實表路徑表示資料庫結構。24.如權利要求20中所限定的層級目錄文件路徑，其中所述第一子層包括資料庫關鍵字。25.如權利要求24中所限定的層級目錄文件路徑，其中所述資料庫關鍵字包括在所述第二子層的多個維度關鍵字。全文摘要公開了用於提高數據倉庫性能的方法和裝置。一種對從數據倉庫所接收的數據進行格式化的示例方法，包括接收分析指令，基於所述分析指令從所述數據倉庫檢索數據，以及將映射文件與事實表相關聯，該映射文件存儲在第一層級目錄文件路徑中。文檔編號G06F17/30GK102929901SQ20121015416公開日2013年2月13日申請日期2007年6月26日優先權日2006年6月26日發明者史提夫·拉夫達斯,道格·麥克道爾申請人:尼爾森(美國)有限公司