數據訪問方法、系統及數據倉庫的製作方法
2023-05-05 10:45:31
數據訪問方法、系統及數據倉庫的製作方法
【專利摘要】本發明涉及一種數據訪問方法、系統及數據倉庫，其中該數據訪問方法包括接收第一用戶提交的訪問請求事件；確定所述第一用戶對所述多個數據集合的訪問權限；若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識；獲取所述每個數據集合對應的文件存儲路徑信息；根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限；向並行計算系統下發並行訪問任務。通過向並行計算系統發送多個用戶標識對應的身份認證權限和文件存儲路徑信息，可以實現跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。
【專利說明】數據訪問方法、系統及數據倉庫
【技術領域】
[0001]本發明涉及文件管理領域，尤其涉及一種數據訪問方法、系統及數據倉庫。
【背景技術】
[0002]文件系統可以用於管理文件存儲，常見的文件系統包括Iinux的文件系統、windows的文件系統等。它們都具有針對不同使用者或使用組的訪問權限管理方法，其中可以包括讀取文件內容、修改文件內容以及可執行權限。一個文件一般只屬於一個用戶和群組，要使不同的用戶對相同的文件具有不同的權限是比較困難的。
[0003]例如:現有的Hadoop 分布式文件系統(英文:Hadoop Distributed File System,縮寫:HDFS)，不同的用戶只對用戶具有訪問權限的文件系統進行操作，難以實現複雜的跨用戶訪問控制，如用戶I只具有對用戶I自身創建的文件I的訪問權限，不具有用戶2創建的文件2的訪問權限，用戶I只能對文件I進行操作，不能對文件2進行操作。
【發明內容】
[0004]摶術問是頁
[0005]有鑑於此，本發明要解決的技術問題是，如何實現跨用戶訪問控制。
[0006]解決方案
[0007]為了解決上述技術問題，根據本發明的一實施例，第一方面，提供了一種數據訪問方法，包括:
[0008]接收第一用戶提交的訪問請求事件，所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建；
[0009]確定所述第一用戶對所述多個數據集合的訪問權限；
[0010]若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識；
[0011]獲取所述每個數據集合對應的文件存儲路徑信息；
[0012]根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限；
[0013]向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
[0014]結合第一方面，在第一種可能的實現方式中，所述獲取每個用戶標識對應的身份認證權限，包括:
[0015]獲取所述每個用戶標識的身份認證權限；
[0016]建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係；
[0017]所述並行訪問任務中還包括所述對應關係。
[0018]結合第一方面的第一種可能的實現方式，在第二種可能的實現方式中，在所述向並行計算系統下發並行訪問任務之後，包括:[0019]所述並行計算系統在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌；
[0020]所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0021]結合第一方面，在第三種可能的實現方式中，所述身份認證權限包括超級令牌，所述獲取每個用戶標識對應的身份認證權限，還包括:
[0022]獲取所述超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
[0023]結合第一方面的第三種可能的實現方式，在第四種可能的實現方式中，在所述向並行計算系統下發並行訪問任務之後，還包括:
[0024]所述並行計算系統在初始化的過程中，將所述超級令牌作為訪問令牌；
[0025]所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0026]根據本發明的另一實施例，第二方面，提供了一種數據倉庫，包括:
[0027]接收單元，用於接收第一用戶提交的訪問請求事件，所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建；
[0028]確定單元，與所述接收單元連接，用於確定所述第一用戶對所述多個數據集合的訪問權限，
[0029]所述確定單元還用於若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識；
[0030]獲取單元，與所述確定單元連接，用於獲取所述每個數據集合對應的文件存儲路徑信息，
[0031]所述獲取單元還用於根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限；
[0032]發送單元，與所述獲取單元連接，用於向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
[0033]結合第二方面，在第一種可能的實現方式中，所述獲取單元還用於獲取所述每個用戶標識的身份認證權限，建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑彳目息的對應關係；
[0034]所述並行訪問任務中還包括所述對應關係。
[0035]結合第二方面，在第二種可能的實現方式中，所述身份認證權限包括超級令牌，所述獲取單元還用於獲取超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
[0036]根據本發明的另一實施例，第三方面，提供了一種數據訪問系統，包括:
[0037]數據倉庫，採用本發明實施例中任意一種結構的數據倉庫；以及
[0038]並行計算系統。
[0039]結合第三方面，在第一種可能的實現方式中，所述並行計算系統包括:
[0040]處理單元，用於在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌；[0041 ] 訪問單元，與所述處理單元連接，用於採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0042]結合第三方面的第一種可能的實現方式，在第二種可能的實現方式中，所述處理單元還用於在初始化的過程中，將所述超級令牌作為訪問令牌。
[0043]有益.效果
[0044]本發明實施例中，數據倉庫接收到第一用戶的訪問請求事件後，可以在第一用戶具有待訪問的每個數據集合的訪問權限的情況下，獲取每個數據集合對應的用戶標識、文件存儲路徑信息和身份認證權限，並將身份認證權限和文件存儲路徑信息一起發送至並行計算系統，使得並行計算系統可以使用身份認證權限訪問文件存儲路徑信息對應的數據集合，實現了跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。
[0045]根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
【專利附圖】
【附圖說明】
[0046]包含在說明書中並且構成說明書的一部分的附圖與說明書一起示出了本發明的示例性實施例、特徵和方面，並且用於解釋本發明的原理。
[0047]圖1a示出根據本發明實施例一的數據訪問方法的流程圖；
[0048]圖1b示出根據本發明實施例一的數據訪問方法的場景示意圖；
[0049]圖2示出根據本發明實施例二的數據訪問方法的流程圖；
[0050]圖3示出根據本發明實施例三的數據訪問方法的流程圖；
[0051]圖4示出根據本發明實施例四的數據倉庫的結構框圖；
[0052]圖5示出根據本發明實施例五的數據訪問系統的結構框圖；
[0053]圖6示出根據本發明實施例六的數據訪問裝置的結構框圖。
【具體實施方式】
[0054]以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
[0055]在這裡專用的詞「示例性」意為「用作例子、實施例或說明性」。這裡作為「示例性」所說明的任何實施例不必解釋為優於或好於其它實施例。
[0056]另外，為了更好的說明本發明，在下文的【具體實施方式】中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在另外一些實例中，對於大家熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
[0057]實施例1
[0058]圖1a示出根據本發明實施例一的數據訪問方法的流程圖。如圖1a所示，該數據訪問方法包括:
[0059]步驟100、接收第一用戶提交的訪問請求事件,所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建。
[0060]具體地，數據倉庫如Hive可以基於並行計算(英文:MapReduce,縮寫:MR)系統訪問文件系統。在數據倉庫中可以保存用戶數據集合，所述數據集合可以是採用用戶數據表的形式實現，用戶數據集合可能歸屬不同的用戶。在實際的業務場景中，用戶可能需要交叉訪問彼此的數據集合，比如第一用戶可能需要將第二用戶的用戶數據表和自己的用戶數據表進行關聯查詢，第二用戶可以是除了第一用戶之外的其他用戶。例如，第一用戶創建的用戶數據表中包括客戶姓名和訂單號，第二用戶創建的用戶數據表中包括訂單號和客戶聯繫電話，則第一用戶的用戶數據表和第二用戶的用戶數據表具有關聯關係。如果想要查詢客戶A的聯繫電話，可以通過對第一用戶的用戶數據表和第二用戶的用戶數據表進行關聯查詢得到。底層的文件系統可以是分布式文件系統(英文！Distributed File System,縮寫:HDFS)。如果需要實現跨用戶訪問，即實現第一用戶訪問第二用戶的用戶數據表，第一用戶可以向Hive發送訪問請求事件，從而將第一用戶指定的待訪問的多個數據表告知數據倉庫，這些數據集合可以是由多個用戶創建的用戶數據表。
[0061]例如，圖1b示出根據本發明實施例一的數據訪問方法的場景示意圖，如圖1b所示，在Hive (數據倉庫)中，用戶I創建了用戶數據表1，用戶2創建了用戶數據表2，用戶數據表I與用戶數據表2可以具有關聯關係。假設，用戶I (第一用戶)需要訪問多個數據集合(用戶數據表I和用戶數據表2)。用戶I可以將此訪問請求事件提交至Hive，該訪問請求事件中可以攜帶用戶I指定的待訪問的用戶數據表I和用戶數據表2。
[0062]步驟110、確定所述第一用戶對所述多個數據集合的訪問權限。
[0063]Hive的關係型資料庫中，可以預先配置保存各個用戶的身份認證權限，用於確定每個用戶允許訪問的權限，例如:數據倉庫中可以包括用戶訪問用戶數據表的權限配置信息模塊，權限配置信息模塊中可以預先配置某一用戶能夠訪問哪些用戶數據表的權限。例如:用戶I允許訪問用戶1、2、3，並且用戶數據表I屬於用戶1，用戶數據表2屬於用戶2。如圖1b所示，在Hive接收到訪問請求事件後，可以在權限管理信息中查找到用戶2是用戶I允許訪問的用戶，用戶數據表2屬於用戶2，表明該訪問請求事件合法，可以進行後續的訪問。如果在權限管理信息中，用戶I允許訪問用戶3、用戶4，那麼該訪問請求事件不能通過合法性校驗，表明該訪問請求事件不合法，不能繼續執行訪問。
[0064]步驟120、若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識；
[0065]步驟130、獲取所述每個數據集合對應的文件存儲路徑信息。
[0066]具體地，用戶在數據倉庫中創建用戶數據表時，數據倉庫可以自動保存用戶數據表的信息，該信息可以包括創建用戶數據表的用戶標識、用戶數據表的文件存儲路徑信息等。數據倉庫可以根據訪問請求事件中第一用戶指定的待訪問的多個數據集合，確定該多個數據集合如多個用戶的用戶數據表，並讀取用戶數據表的信息，確定待訪問的每個數據集合對應的用戶標識和文件存儲路徑信息。
[0067]步驟140、根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限。
[0068]在數據倉庫接收到訪問請求事件之後，數據倉庫可以從權限配置信息模塊中獲取多個用戶標識對應的身份認證權限，該身份認證權限可以包括多個用戶標識對應令牌(token)ο例如,如圖1b所示,用戶2的身份認證權限為token2,用戶2允許訪問的用戶數據表為用戶數據表2，該用戶數據表2在HDFS中保存的文件存儲路徑信息為文件存儲路徑信息2。[0069]步驟150、向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
[0070]例如，如圖1b所示，Hive (數據倉庫)通過MR任務(並行訪問任務)將令牌2 (身份認證權限)和文件存儲路徑信息發送給MR (MapReduce)系統後，MR系統可以使用令牌2訪問用戶數據表2。
[0071]本實施例的數據訪問方法，數據倉庫接收到第一用戶的訪問請求事件後，可以在第一用戶具有待訪問的每個數據集合的訪問權限的情況下，獲取每個數據集合對應的用戶標識、文件存儲路徑信息和身份認證權限，並將身份認證權限和文件存儲路徑信息一起發送至MR系統，使得MR系統可以使用身份認證權限訪問HDFS中文件存儲路徑信息對應的數據集合，實現了跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。
[0072]實施例2
[0073]圖2示出根據本發明實施例二的數據訪問方法的流程圖。圖2中標號與圖1a相同的步驟具有相同的功能，為簡明起見，省略對這些步驟的詳細說明。
[0074]如圖2所示，本實施例與圖1a所示數據訪問方法的主要區別在於，步驟140可以包括:
[0075]步驟200、獲取所述每個用戶標識的身份認證權限；
[0076]步驟210、建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑彳目息的對應關係；
[0077]因此，在上述實施例的步驟150中，數據倉庫向並行計算系統下發的並行訪問任務中還可以包括所述對應關係。
[0078]例如，如圖1b所示，在Hive接收到訪問請求事件之後，可以查找權限配置信息模塊，獲取用戶2的身份認證權限即令牌2，建立令牌2與用戶數據表2的文件存儲路徑信息2的對應關係，通過MR任務將令牌2、文件存儲路徑信息2、及其對應關係一起發送給MR系統。
[0079]進一步地，步驟150之後，可以包括:
[0080]步驟220、所述並行計算系統在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌；
[0081]步驟230、所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0082]例如，如圖1b所示，通常，用戶I需要通過Hive訪問自身的數據集合時，MR系統可以使用令牌I作為訪問令牌按照文件存儲路徑信息I訪問HDFS (文件系統)中用戶I的用戶數據表I。在用戶I需要訪問用戶2的用戶數據表2時，MR系統可以使用令牌2替換令牌I作為訪問令牌，使用令牌2按照文件存儲路徑信息2訪問HDFS中用戶數據表2。
[0083]本實施例的數據訪問方法，數據倉庫接收到第一用戶的訪問請求事件後，可以在第一用戶具有待訪問的每個數據集合的訪問權限的情況下，獲取每個數據集合對應的用戶標識、文件存儲路徑信息和身份認證權限，並將身份認證權限和文件存儲路徑信息一起發送至MR系統，使得MR系統可以根據身份認證權限和文件存儲路徑信息確定訪問令牌，使用訪問令牌訪問HDFS中文件存儲路徑信息對應的數據集合，實現了跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。
[0084]實施例3
[0085]圖3示出根據本發明實施例三的數據訪問方法的流程圖。圖3中標號與圖1a和圖2中相同的步驟具有相同的功能，為簡明起見，省略對這些步驟的詳細說明。
[0086]如圖3所示，本實施例與圖1a和圖2所示數據訪問方法的主要區別在於，如果所述身份認證權限包括超級令牌，步驟140還可以包括:
[0087]步驟300、獲取超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
[0088]具體地，可以預先設置一個可以訪問文件系統所有用戶的數據集合的超級令牌，並將該超級令牌存儲在數據倉庫的用戶訪問表的權限配置信息模塊中。在數據倉庫接收到訪問請求事件之後，可以從權限配置信息模塊中，獲取該超級令牌。
[0089]進一步地，步驟150之後，可以包括:
[0090]步驟310、所述並行計算系統在初始化的過程中，將所述超級令牌作為訪問令牌；
[0091]步驟320、所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0092]例如，通常，用戶I需要通過Hive訪問自身的數據集合時，MR系統可以使用令牌I作為訪問令牌按照文件存儲路徑信息I訪問HDFS中用戶I的用戶數據表I。假設超級令牌為令牌3，在用戶I需要訪問用戶2的用戶數據表2時，MR系統可以在初始化的過程中獲取令牌3，並使用令牌3替換令牌I作為訪問令牌，使用令牌3按照文件存儲路徑信息2訪問HDFS中用戶數據表2。
[0093]本實施例的數據訪問方法，數據倉庫接收到第一用戶的訪問請求事件後，可以在第一用戶具有待訪問的每個數據集合的訪問權限的情況下，獲取每個數據集合對應的用戶標識、文件存儲路徑信息和超級令牌，並將超級令牌和文件存儲路徑信息一起發送至MR系統，使得MR系統可以使用超級令牌根據待訪問數據集合的文件存儲路徑信息訪問HDFS中文件存儲路徑信息對應的數據集合，實現了跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。
[0094]實施例4
[0095]圖4示出根據本發明實施例四的數據倉庫的結構框圖。如圖4所示，該數據倉庫400可以包括:
[0096]接收單元420,用於接收第一用戶提交的訪問請求事件,所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建。
[0097]確定單元440，與所述接收單元420連接，用於確定所述第一用戶對所述多個數據集合的訪問權限。
[0098]所述確定單元440還用於若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識；
[0099]獲取單元460，與所述確定單元440連接，用於獲取所述每個數據集合對應的文件存儲路徑信息。
[0100]所述獲取單元460還用於根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限。
[0101]具體地，數據倉庫400如Hive可以基於並行計算(英文:MapReduce,縮寫:MR)系統訪問文件系統。在數據倉庫中可以保存用戶數據集合，所述數據集合可以是採用用戶數據表的形式實現，用戶數據集合可能歸屬不同的用戶。在實際的業務場景中，用戶可能需要交叉訪問彼此的數據集合，比如第一用戶可能需要將第二用戶的用戶數據表和自己的用戶數據表進行關聯查詢，第二用戶可以是除了第一用戶之外的其他用戶。例如，在數據倉庫400中第一用戶創建的用戶數據表包括客戶姓名和訂單號，第二用戶創建的用戶數據表包括訂單號和客戶聯繫電話，則第一用戶的用戶數據表和第二用戶的用戶數據表具有關聯關係。如果想要查詢客戶A的聯繫電話，可以通過對第一用戶的用戶數據表和第二用戶的用戶數據表進行關聯查詢得到。底層的文件系統可以是分布式文件系統(英文distributedFile System，縮寫:HDFS)。如果需要實現跨用戶訪問，即實現第一用戶訪問第二用戶的用戶數據表，第一用戶可以向數據倉庫400發送訪問請求事件,接收單元420接收訪問請求事件，從而得到第一用戶指定的待訪問的數據集合。
[0102]例如，如圖1b所示，在Hive (數據倉庫400)中，用戶I創建了用戶數據表1，用戶2創建了用戶數據表2，用戶數據表I和用戶數據表2都保存在Hive的關係型資料庫中，用戶數據表I與用戶數據表2可以具有關聯關係。假設，用戶I (第一用戶)需要訪問多個數據集合(用戶數據表I和用戶數據表2)。Hive的接收單元420可以接收用戶I發送的訪問請求事件，該訪問請求事件中可以攜帶用戶I指定的待訪問的用戶數據表I和用戶數據表2。
[0103]Hive的關係型資料庫中，可以預先保存各個用戶的身份認證權限，用於確定每個用戶允許訪問的權限，例如，Hive中可以包括用戶訪問數據集合的權限配置信息模塊，權限配置信息模塊中可以預先配置某一用戶能夠訪問哪些用戶數據表的權限。例如:用戶I允許訪問用戶1、2、3，並且用戶數據表I屬於用戶1，用戶數據表2屬於用戶2。如圖1b所示，在Hive接收到訪問請求事件後，確定單元440可以通過查找權限管理信息確定第一用戶是否具有對多個數據集合的訪問權限。例如:在權限管理信息中查找到用戶2是用戶I允許訪問的用戶，用戶數據表2屬於用戶2，表明該訪問請求事件合法，可以進行後續的訪問。如果在權限管理信息中，用戶I允許訪問用戶3、用戶4，那麼該訪問請求事件不能通過合法性校驗，表明該訪問請求事件不合法，不能繼續執行訪問。
[0104]用戶在數據倉庫400中創建用戶數據表時，數據倉庫400可以自動保存用戶數據表的信息，該信息可以包括創建用戶數據表的用戶標識、用戶數據表的文件存儲路徑信息等。確定單元440可以根據接收單元420接收到的訪問請求事件中第一用戶指定的待訪問的多個數據集合，確定該多個數據集合如多個用戶的用戶數據表，並讀取用戶數據表的信息，確定待訪問的每個數據集合對應的多個用戶標識。獲取單元460也可以在用戶數據表的信息中獲取到待訪問的每個數據集合對應的文件存儲路徑信息。
[0105]在接收單元420接收到訪問請求事件、確定單元440確定第一用戶具有訪問每個數據集合的訪問權限之後，獲取單元460還可以從用戶訪問用戶數據表的權限配置信息模塊中獲取多個用戶標識對應的身份認證權限，該身份認證權限可以包括多個用戶標識對應的身份認證權限即令牌(token)，也可以包括多個用戶標識對應的身份認證權限和待訪問的多個數據集合的文件存儲路徑信息的對應關係。例如，如圖1b所示，用戶2的身份認證權限為令牌2，用戶2允許訪問的用戶數據表為用戶數據表2，該用戶數據表2在HDFS中保存的文件存儲路徑信息為文件存儲路徑信息2，則令牌2與文件存儲路徑信息2具有對應關係O
[0106]發送單元480，與所述獲取單元460連接，用於向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
[0107]例如，如圖1b所示，Hive (數據倉庫)的發送單元480可以將身份認證權限和文件存儲路徑信息發送給MR (MapReduce)系統，以用於後續MR系統使用令牌2訪問用戶數據表2的數據集合。
[0108]在一種可能的實現方式中，獲取單元460還可以用於:獲取所述每個用戶標識的身份認證權限；建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係。這樣，發送單元480向並行計算系統下發的並行訪問任務中還可以包括所述對應關係。
[0109]例如，如圖1b所示,在Hive的接收單元420接收到訪問請求事件、確定單元440確定用戶I具有訪問用戶數據表2的訪問權限之後，獲取單元460可以通過查找權限配置信息模塊，獲取用戶2的身份認證權限即令牌2，建立令牌2與用戶數據表2的文件存儲路徑信息2的對應關係。
[0110]在另一種可能的實現方式中，如果所述身份認證權限包括超級令牌，獲取單元460還可以用於:獲取所述超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
[0111]具體地，可以預先設置一個可以訪問文件系統所有用戶的數據集合的超級令牌，並將該超級令牌存儲在數據倉庫的用戶訪問用戶數據表的權限配置信息模塊中。在數據倉庫400的接收單元420接收到訪問請求事件、確定單元440確定第一用戶具有訪問待訪問的每個數據集合的訪問權限之後，獲取單元460還可以從權限配置信息模塊中，獲取該超級令牌。
[0112]本實施例的數據倉庫，接收單元接收到第一用戶的訪問請求事件後，在確定單元確定第一用戶具有訪問待訪問的多個數據集合的訪問權限的情況下，確定單元可以確定每個數據集合對應的用於標識，獲取單元可以獲取每個數據集合對應的文件存儲路徑信息和每個用戶標識對應的身份認證權限。通過發送單元可以將身份認證權限和文件存儲路徑信息一起發送至MR系統，以使得MR系統可以使用身份認證權限根據待訪問數據集合的文件存儲路徑信息訪問HDFS中文件存儲路徑信息對應的數據集合，實現了跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。
[0113]實施例5
[0114]圖5示出根據本發明實施例五的數據訪問系統的結構框圖。如圖5所示，該數據訪問系統500可以包括:
[0115]數據倉庫520，可以是上述實施例四中所描述的數據倉庫；
[0116]並行計算系統540。
[0117]具體地，在第一用戶需要進行數據訪問時，第一用戶可以向數據訪問系統500的數據倉庫520發送訪問請求事件,在數據倉庫520通過其接收單元420接收到該訪問請求事件、確定單元440確定第一用戶具有訪問待訪問的每個數據集合的訪問權限之後，確定單元440可以根據數據倉庫520中保存的用戶數據表的信息，確定第一用戶指定的待訪問的多個數據集合對應的多個用戶標識，並通過獲取單元460獲取每個數據集合對應的文件存儲路徑信息和每個用戶標識對應的身份認證權限，發送單元480將身份認證權限和文件存儲路徑信息一起發送至MR系統540，MR系統540可以根據待訪問的數據集合的文件存儲路徑信息使用身份認證權限中相應的身份認證權限訪問文件系統中文件存儲路徑信息對應的數據集合。
[0118]進一步地，MR系統540可以包括:
[0119]處理單元560，用於在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌；
[0120]訪問單元580，與所述處理單元560連接，用於採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0121]具體地，MR系統540可以接收數據倉庫520發送的身份認證權限和文件存儲路徑信息，身份認證權限中可以包括多個用戶標識對應的身份認證權限和身份認證權限與待訪問的多個數據集合的文件存儲路徑信息的對應關係。在MR系統540初始化過程中，處理單元560可以根據身份認證權限中多個用戶標識對應的身份認證權限和待訪問的多個數據集合的文件存儲路徑信息的對應關係，查找當前訪問的數據集合對應的文件存儲路徑信息對應的身份認證權限，並將該身份認證權限作為訪問文件系統的訪問令牌，訪問單元580可以採用訪問令牌訪問文件系統中待訪問數據集合對應的文件存儲路徑信息對應的數據
隹A
口 O
[0122]例如，如圖1b所示，通常，用戶I需要通過Hive訪問自身的數據集合時，MR系統540可以使用令牌I作為訪問令牌按照文件存儲路徑信息I訪問HDFS中用戶I的用戶數據表I。在用戶I需要訪問用戶2的用戶數據表2時，MR系統540可以使用令牌2替換令牌I作為訪問令牌，使用令牌2按照文件存儲路徑信息2訪問HDFS中用戶數據表2。
[0123]在一種可能的實現方式中，處理單元560還可以用於在初始化的過程中，將所述超級令牌作為訪問令牌。
[0124]具體地，MR系統540可以接收數據倉庫520發送的身份認證權限和文件存儲路徑信息，身份認證權限中可以包括超級令牌，該超級令牌允許訪問所有用戶的數據集合。在MR系統540初始化過程中，處理單元560可以將超級令牌作為訪問文件系統的訪問令牌，訪問單元580可以採用訪問令牌訪問文件系統中待訪問數據集合對應的文件存儲路徑信息對應的數據集合。
[0125]例如，通常，用戶I需要通過Hive訪問自身的數據集合時，MR系統540可以使用令牌I作為訪問令牌按照文件存儲路徑信息I訪問HDFS中訪問用戶I的用戶數據表I。假設超級令牌為令牌3，在MR系統540需要訪問用戶2的用戶數據表2時，MR系統540可以在初始化的過程中獲取令牌3，並使用令牌3替換令牌I作為訪問令牌，使用令牌3按照文件存儲路徑信息2訪問HDFS中用戶數據表2。
[0126]本實施例的數據訪問系統，數據倉庫接收第一用戶的訪問請求事件，並在第一用戶具有訪問待訪問的多個數據集合的訪問權限的情況下，獲取超級令牌和每個數據集合的文件存儲路徑信息，並將超級令牌和每個數據集合的文件存儲路徑信息一起發送至MR系統。MR系統的處理單元可以採用超級令牌作為訪問令牌，訪問單元可以使用訪問令牌訪問HDFS中待訪問的數據集合對應的文件存儲路徑信息對應的數據集合，實現了跨用戶訪問，一個用戶可以訪問多個用戶的數據集合。[0127]實施例6
[0128]圖6示出根據本發明實施例六的數據訪問裝置的結構框圖。所述數據訪問裝置600可以是具備計算能力的主機伺服器、個人計算機PC、或者可攜帶的可攜式計算機或終端等。本發明具體實施例並不對計算節點的具體實現做限定。
[0129]所述數據訪問裝置600包括處理器(processor) 610、通信接口(CommunicationsInterface)620、存儲器(memory array)630 和總線 640。其中，處理器 610、通信接口 620、以及存儲器630通過總線640完成相互間的通信。
[0130]通信接口 620用於與網元通信，其中網元包括例如虛擬機管理中心、共享存儲等。
[0131]處理器610用於執行程序。處理器610可能是一個中央處理器CPU，或者是專用集成電路ASIC (Application Specific Integrated Circuit),或者是被配置成實施本發明實施例的一個或多個集成電路。
[0132]存儲器630用於存放文件。存儲器630可能包含高速RAM存儲器，也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁碟存儲器。存儲器630也可以是存儲器陣列。存儲器630還可能被分塊，並且所述塊可按一定的規則組合成虛擬卷。
[0133]在一種可能的實施方式中，上述程序可為包括計算機操作指令的程序代碼。該程序具體可用於:
[0134]接收第一用戶提交的訪問請求事件，所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建；
[0135]確定所述第一用戶對所述多個數據集合的訪問權限；
[0136]若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識；
[0137]獲取所述每個數據集合對應的文件存儲路徑信息；
[0138]根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限；
[0139]向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
[0140]在一種可能的實現方式中，所述獲取每個用戶標識對應的身份認證權限，包括:
[0141]獲取所述每個用戶標識的身份認證權限；
[0142]建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係；
[0143]所述並行訪問任務中還包括所述對應關係。
[0144]在一種可能的實現方式中，在所述向並行計算系統下發並行訪問任務之後，包括:
[0145]所述並行計算系統在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌；
[0146]所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0147]在一種可能的實現方式中，所述身份認證權限包括超級令牌，所述獲取每個用戶標識對應的身份認證權限，還包括:[0148]獲取所述超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
[0149]在一種可能的實現方式中，在所述向並行計算系統下發並行訪問任務之後，還包括:
[0150]所述並行計算系統在初始化的過程中，將所述超級令牌作為訪問令牌；
[0151]所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
[0152]本領域普通技術人員可以意識到，本文所描述的實施例中的各示例性單元及算法步驟，能夠以電子硬體、或者計算機軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體形式來實現，取決於技術方案的特定應用和設計約束條件。專業技術人員可以針對特定的應用選擇不同的方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
[0153]如果以計算機軟體的形式來實現所述功能並作為獨立的產品銷售或使用時，則在一定程度上可認為本發明的技術方案的全部或部分(例如對現有技術做出貢獻的部分)是以計算機軟體產品的形式體現的。該計算機軟體產品通常存儲在計算機可讀取的存儲介質中，包括若干指令用以使得計算機設備(可以是個人計算機、伺服器、或者網絡設備等)執行本發明各實施例方法的全部或部分步驟。而前述的存儲介質包括U盤、移動硬碟、只讀存儲器(ROM, Read-Only Memory)、隨機存取存儲器(RAM, Random Access Memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0154]以上所述，僅為本發明的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應所述以權利要求的保護範圍為準。
【權利要求】
1.一種數據訪問方法，其特徵在於，包括: 接收第一用戶提交的訪問請求事件，所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建； 確定所述第一用戶對所述多個數據集合的訪問權限； 若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識； 獲取所述每個數據集合對應的文件存儲路徑信息； 根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限； 向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
2.根據權利要求1所述的數據訪問方法，其特徵在於，所述獲取每個用戶標識對應的身份認證權限，包括: 獲取所述每個用戶標識的身份認證權限； 建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係； 所述並行訪問任務中還包括所述對應關係。
3.根據權利要求2所`述的數據訪問方法，其特徵在於，在所述向並行計算系統下發並行訪問任務之後，包括: 所述並行計算系統在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌； 所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集入口 ο
4.根據權利要求1所述的數據訪問方法，其特徵在於，所述身份認證權限包括超級令牌，所述獲取每個用戶標識對應的身份認證權限，還包括: 獲取所述超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
5.根據權利要求4所述的數據訪問方法，其特徵在於，在所述向並行計算系統下發並行訪問任務之後，還包括: 所述並行計算系統在初始化的過程中，將所述超級令牌作為訪問令牌； 所述並行計算系統採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集口 ο
6.一種數據倉庫，其特徵在於，包括: 接收單元，用於接收第一用戶提交的訪問請求事件，所述訪問請求事件攜帶所述第一用戶指定的待訪問的多個數據集合，所述多個數據集合由多個用戶創建； 確定單元，與所述接收單元連接，用於確定所述第一用戶對所述多個數據集合的訪問權限， 所述確定單元還用於若所述第一用戶具有訪問每個數據集合的訪問權限，確定所述多個數據集合對應的多個用戶標識； 獲取單元，與所述確定單元連接，用於獲取所述每個數據集合對應的文件存儲路徑信息， 所述獲取單元還用於根據所述多個用戶標識，獲取每個用戶標識對應的身份認證權限； 發送單元，與所述獲取單元連接，用於向並行計算系統下發並行訪問任務，所述並行訪問任務攜帶所述身份認證權限和所述文件存儲路徑信息。
7.根據權利要求6所述的數據倉庫，其特徵在於，所述獲取單元還用於獲取所述每個用戶標識的身份認證權限，建立所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑彳目息的對應關係； 所述並行訪問任務中還包括所述對應關係。
8.根據權利要求6所述的數據倉庫，其特徵在於，所述身份認證權限包括超級令牌，所述獲取單元還用於獲取超級令牌，所述超級令牌允許訪問所有用戶的數據集合。
9.一種數據訪問系統，其特徵在於，包括: 數據倉庫，採用權利要求6-8中任一項所述的數據倉庫； 並行計算系統。
10.根據權利要求9所述的數據訪問系統，其特徵在於，所述並行計算系統包括: 處理單元，用於在初始化的過程中，根據所述每個用戶標識的身份認證權限與所述每個數據集合對應的文件存儲路徑信息的對應關係，查找當前訪問的數據集合的文件存儲路徑信息對應的所述身份認證權限，將所述身份認證權限作為訪問令牌；` 訪問單元，與所述處理單元連接，用於採用所述訪問令牌，訪問所述文件存儲路徑信息對應的所述數據集合。
11.根據權利要求10所述的數據訪問系統，其特徵在於，所述處理單元還用於在初始化的過程中，將所述超級令牌作為訪問令牌。
【文檔編號】G06F17/30GK103488791SQ201310465886
【公開日】2014年1月1日 申請日期:2013年9月30日 優先權日:2013年9月30日
【發明者】王文理, 袁靜, 陳本華, 何志強 申請人:華為技術有限公司