本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 直接在 OpenSearch Service 中查詢 Amazon Security Lake 資料 本節將逐步引導您在 Amazon OpenSearch Service 中建立和設定資料來源整合的程序，讓您有效率地查詢和分析存放在 Security Lake 中的資料。 在以下頁面中，您將了解如何設定 Security Lake 直接查詢資料來源、導覽必要的先決條件，以及使用 step-by-step程序 AWS 管理主控台。 **Topics** + [在 OpenSearch Service 中建立 Amazon Security Lake 資料來源整合](direct-query-security-lake-creating.md) + [在 OpenSearch Dashboards 中設定和查詢 Security Lake 資料來源](direct-query-security-lake-configure.md) + [定價](#direct-query-security-lake-pricing) + [限制](#direct-query-security-lake-limitations) + [建議](#direct-query-security-lake-recommendations) + [配額](#direct-query-security-lake-quotas) + [支援的 AWS 區域](#direct-query-security-lake-regions) # 在 OpenSearch Service 中建立 Amazon Security Lake 資料來源整合 您可以使用 Amazon OpenSearch Serverless 直接查詢 Amazon Security Lake 中的安全資料。若要這樣做，您可以建立資料來源，讓您能夠在 Security Lake 資料上使用 OpenSearch 零 ETL 功能。當您建立資料來源時，您可以直接搜尋、從 Security Lake 中獲取洞見和分析存放在 Security Lake 中的資料。您可以加速查詢效能，並在使用隨需索引的特定 Security Lake 資料集上使用進階 OpenSearch 分析。 **Topics** + [先決條件](#direct-query-s3security-lake-prereq) + [程序](#direct-query-security-lake-create) + [後續步驟](#direct-query-security-lake-next-steps) + [其他資源](#direct-query-security-lake-additional-resources) ## 先決條件 開始之前，請確定您已檢閱下列文件： + [限制](direct-query-security-lake-overview.md#direct-query-security-lake-limitations) + [建議](direct-query-security-lake-overview.md#direct-query-security-lake-recommendations) + [配額](direct-query-security-lake-overview.md#direct-query-security-lake-quotas) 在建立資料來源之前，請在 Security Lake 中採取下列動作： + **啟用 Security Lake**。設定 Security Lake 在與 OpenSearch 資源 AWS 區域 相同的 上收集日誌。如需說明，請參閱[《Amazon Security Lake 使用者指南](https://docs.aws.amazon.com/security-lake/latest/userguide/getting-started.html)》中的 Amazon Security Lake 入門。 + **設定 Security Lake 許可**。請確定您已接受資源管理的服務連結角色許可，而且主控台不會在**問題**頁面下顯示任何問題。如需詳細資訊，請參閱《Amazon [Security Lake 使用者指南》中的 Security Lake 的服務連結角色](https://docs.aws.amazon.com/security-lake/latest/userguide/using-service-linked-roles.html)。 + **共用 Security Lake 資料來源**。在與 Security Lake 相同的帳戶中存取 OpenSearch 時，請確保 Security Lake 主控台中沒有向 Lake Formation 註冊 Security Lake 儲存貯體的訊息。對於跨帳戶 OpenSearch 存取，請在 Security Lake 主控台中設定 Lake Formation 查詢訂閱者。使用與您的 OpenSearch 資源相關聯的帳戶作為訂閱者。如需詳細資訊，請參閱《Amazon [Security Lake 使用者指南》中的 Security Lake 中的訂閱者管理](https://docs.aws.amazon.com/security-lake/latest/userguide/create-query-subscriber-procedures.html)。 此外，您還必須在 中擁有下列資源 AWS 帳戶： + **（選用） 手動建立的 IAM 角色。**您可以使用此角色來管理對資料來源的存取。或者，您可以讓 OpenSearch Service 自動為您建立具有所需許可的角色。如果您選擇使用手動建立的 IAM 角色，請遵循 中的指引[手動建立 IAM 角色的必要許可](#direct-query-security-lake-additional-resources-required-permissions)。 ## 程序 您可以將資料來源設定為從 內與 Security Lake 資料庫連線 AWS 管理主控台。 ### 使用 設定資料來源 AWS 管理主控台 1. 在 [https://console.aws.amazon.com/aos/](https://console.aws.amazon.com/aos/) 瀏覽至 Amazon OpenSearch Service 主控台。 1. 在左側導覽窗格中，前往**中央管理**並選擇**已連線的資料來源**。 1. 選擇**連線**。 1. 選擇 **Security Lake** 作為資料來源類型。 1. 選擇**下一步**。 1. 在**資料連線詳細資訊**下，輸入名稱和選用的描述。 1. 在 **IAM 許可存取設定**下，選擇如何管理對資料來源的存取。 1. 如果您想要自動為此資料來源建立角色，請遵循下列步驟： 1. 選取**建立新角色**。 1. 輸入 IAM 角色的名稱。 1. 選取一或多個 AWS Glue 資料表，以定義可查詢的資料。 1. 如果您想要使用自己管理的現有角色，請遵循下列步驟： 1. 選取**使用現有角色**。 1. 從下拉式功能表中選取現有角色。 **注意** 使用您自己的角色時，您必須從 IAM 主控台連接必要的政策，以確保它具有所有必要的許可。如需詳細資訊，請參閱[手動建立 IAM 角色的必要許可](#direct-query-security-lake-additional-resources-required-permissions)。 1. （選用） 在**標籤**下，將標籤新增至資料來源。 1. 選擇**下一步**。 1. 在**設定 OpenSearch** 下，選擇如何設定 OpenSearch。 1. 檢閱預設資源名稱和資料保留設定。 當您使用預設設定時，會為您建立新的 OpenSearch 應用程式和 Essentials 工作區，無需額外費用。OpenSearch 可讓您分析多個資料來源。它包含工作區，可為熱門使用案例提供量身打造的體驗。Workspaces 支援存取控制，可讓您為使用案例建立私有空間，並僅與協作者共用。 1. 使用自訂設定： 1. 請選擇 **Customize (自訂)**。 1. 視需要編輯集合名稱和資料保留設定。 1. 選取您要使用的 OpenSearch 應用程式和工作區。 1. 選擇**下一步**。 1. 檢閱您的選擇，如果您需要進行任何變更，請選擇**編輯**。 1. 選擇**連線**以設定資料來源。建立資料來源時，請保留在此頁面上。準備就緒後，系統會將您導向至資料來源詳細資訊頁面。 ## 後續步驟 ### 造訪 OpenSearch Dashboards 並建立儀表板 建立資料來源之後，OpenSearch Service 會為您提供 OpenSearch Dashboards URL。您可以使用它來查詢使用 SQL 或 PPL 的資料。Security Lake 整合隨附 SQL 和 PPL 的預先封裝查詢範本，讓您開始分析日誌。 如需詳細資訊，請參閱[在 OpenSearch Dashboards 中設定和查詢 Security Lake 資料來源](direct-query-security-lake-configure.md)。 ## 其他資源 ### 手動建立 IAM 角色的必要許可 建立資料來源時，您可以選擇 IAM 角色來管理對資料的存取。您有兩種選擇： 1. 自動建立新的 IAM 角色 1. 使用您手動建立的現有 IAM 角色 如果您使用手動建立的角色，則需要將正確的許可連接到角色。許可必須允許存取特定資料來源，並允許 OpenSearch Service 擔任該角色，以便 OpenSearch Service 可以安全地存取您的資料並與之互動。此外，針對您要查詢的任何資料庫和資料表，將 LakeFormation 許可授予角色。將`DESCRIBE`許可授予您要從直接查詢連線查詢的 SecurityLake 資料庫上的角色。授予資料庫內資料表之資料來源角色的至少`SELECT and DESCRIBE`許可。 下列範例政策示範建立和管理資料來源所需的最低權限許可。如果您有更廣泛的許可，例如 `AdminstratorAccess` 政策，這些許可會包含範例政策中最低權限的許可。 在下列範例政策中，將*預留位置文字*取代為您自己的資訊。 ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "AmazonOpenSearchDirectQueryServerlessAccess", "Effect": "Allow", "Action": [ "aoss:APIAccessAll", "aoss:DashboardsAccessAll" ], "Resource": "arn:aws:aoss:us-east-1:111122223333:collection/collectionname/*" }, { "Sid": "AmazonOpenSearchDirectQueryGlueAccess", "Effect": "Allow", "Action": [ "glue:GetDatabase", "glue:GetDatabases", "glue:GetPartition", "glue:GetPartitions", "glue:GetTable", "glue:GetTableVersions", "glue:GetTables", "glue:SearchTables", "glue:BatchGetPartition" ], "Resource": [ "arn:aws:glue:us-east-1:111122223333:table/databasename/*", "arn:aws:glue:us-east-1:111122223333:database/databasename", "arn:aws:glue:us-east-1:111122223333:catalog", "arn:aws:glue:us-east-1:111122223333:database/default" ] }, { "Sid": "AmazonOpenSearchDirectQueryLakeFormationAccess", "Effect": "Allow", "Action": [ "lakeformation:GetDataAccess" ], "Resource": [ "*" ] } ] } ``` ------ 角色也必須具有下列信任政策，指定目標 ID。 ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "directquery.opensearchservice.amazonaws.com" }, "Action": "sts:AssumeRole" } ] } ``` ------ 如需建立角色的指示，請參閱[使用自訂信任政策建立角色](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-custom.html)。 根據預設，角色只能存取直接查詢資料來源索引。雖然您可以設定角色來限制或授予對資料來源的存取權，但建議您不要調整此角色的存取權。**如果您刪除資料來源，則會刪除此角色**。如果任何其他使用者映射到角色，這將移除其存取權。 ### 查詢使用客戶受管金鑰加密的 Security Lake 資料 如果與資料連線相關聯的 Security Lake 儲存貯體使用伺服器端加密與客戶受管的 進行加密 AWS KMS key，您必須將 LakeFormation 服務角色新增至金鑰政策。這可讓服務存取和讀取查詢的資料。 在下列範例政策中，將*預留位置文字*取代為您自己的資訊。 ``` { "Sid": "Allow LakeFormation to access the key", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::account:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" } ``` # 在 OpenSearch Dashboards 中設定和查詢 Security Lake 資料來源 現在您已建立資料來源，您可以在 OpenSearch Dashboards 中進行設定。 本節會在您查詢資料之前，逐步解說您在 OpenSearch Dashboards 中使用資料來源的各種使用案例。若要開始使用，您需要導覽至 OpenSearch Dashboards 中的資料來源。在左側選單的**管理**下，選擇**資料來源**。然後，選取您先前在 OpenSearch Service 主控台中建立的資料來源名稱。 ## 從 Discover 查詢 Security Lake 資料表 如果您已根據 Security Lake 日誌建立資料表，您現在可以直接從 OpenSearch Discover 查詢這些資料表。這可讓您直接從熟悉的探索界面，無縫存取和分析存放在 Security Lake 中的資料。透過直接從 Discover 查詢 Security Lake，您可以避免手動擷取、轉換資料，並將資料載入個別的搜尋索引。為了快速開始分析日誌，Discover 包含一組 PPL 和 SQL 儲存的查詢。 首先，選取您設定的資料來源。選取您要查詢的相關聯資料庫和資料表，然後使用搜尋列針對您的資料表撰寫查詢。若要了解 Security Lake 整合支援哪些陳述式、命令和限制，請參閱 [支援的 SQL 和 PPL 命令](direct-query-supported-commands.md)。 若要利用 Security Lake 可用的預先建置查詢，請前往 Discover 右上角的 **...**，選擇**開啟查詢**，然後選擇**範本**。Security Lake 支援的日誌來源有許多預先建置的查詢。搜尋符合您使用案例的範本、複製要在搜尋列中使用的查詢，並以您自己的資訊取代範本欄位 （例如區域和動作）。 ## 從探索加速資料 若要在 OpenSearch 中增強效能並啟用更快速的後續查詢和分析，您可以將查詢的結果從探索擷取到 OpenSearch 索引檢視。 **建立索引檢視** 1. 在探索中，選擇**建立索引化檢視**。 1. 在查詢編輯器中，輸入所需的查詢。您可以在這裡建立新的查詢，或使用先前搜尋的現有查詢。 1. 為您的新索引檢視指定名稱。選擇可協助您稍後識別檢視的描述性名稱。 1. 為您的索引檢視設定資料保留設定。您可以指定資料應該保留在索引中多久，讓您平衡效能與儲存成本。 1. 建立索引檢視。建立之後，您的索引檢視將可用於更快速的查詢和分析。 如果您先前已建立索引檢視，您可以從探索存取它們。 **使用現有的索引檢視** 1. 從探索中，選擇**選取索引檢視**以查看 Security Lake 現有索引檢視的清單。 1. 選擇您要使用的索引檢視。這會將檢視套用至您目前的查詢，進而大幅加速資料擷取和分析。 ## 為您的資料來源建立儀表板檢視 使用 OpenSearch Service 時，您可以使用預先建置的儀表板範本來分析熱門 AWS 日誌類型。對於 Security Lake，有 VPC、CloudTrail 和 WAF 日誌的範本。這些範本可讓您建立專為特定資料量身打造的儀表板。其中包括針對該特定日誌類型量身打造的預先建置查詢和儀表板。這可讓您快速開始並執行分析這些熱門 AWS 日誌來源，而無需從頭開始建置所有項目。 **注意** 儀表板使用索引檢視，從 Security Lake 擷取資料並有助於直接查詢和收集運算。 請依照下列步驟，使用其中一個預先建置的範本來建立儀表板，讓您可以立即開始探索和分析資料。 **建立儀表板檢視** 1. 在 [https://console.aws.amazon.com/aos/](https://console.aws.amazon.com/aos/) 瀏覽至 Amazon OpenSearch Service 主控台。 1. 從左側導覽窗格中，選擇**中央管理**，然後選擇**已連線的資料來源**。 1. 選取資料來源以開啟詳細資訊頁面。 1. 選擇 **Create dashboard (建立儀表板)**。 1. 選擇您要建立的儀表板類型。 1. 輸入儀表板的名稱。 1. 輸入儀表板的選用描述。 1. 選取要在儀表板上檢視的一或多個 AWS Glue 資料表。 1. 選擇您要重新整理儀表板中資料的頻率。 1. 選擇您要使用的 OpenSearch 工作區。 1. 若要建立新的工作區，請選取**建立新的工作區**。 1. 若要使用現有的工作區，請選取**選取現有的工作區**。 1. 輸入工作區的名稱。 1. 選擇 **Create dashboard (建立儀表板)**。 ## 疑難排解 在某些情況下，結果可能無法如預期傳回。如果您遇到任何問題，請確定您正在遵循 [建議](direct-query-security-lake-overview.md#direct-query-security-lake-recommendations)。 ## 定價 Amazon OpenSearch Service 為 Security Lake 直接查詢提供 OpenSearch Compute Unit (OCU) 定價。當您執行直接查詢時，會產生每小時 OCUs的費用，在您的帳單上列為 DirectQuery OCU 用量類型。您也會產生與 Amazon Security Lake 不同的費用。 直接查詢有兩種類型：互動式和索引化檢視查詢。 + *互動式查詢*用於填入資料選擇器，並在 Security Lake 中對您的資料進行分析。OpenSearch Service 使用單獨的預暖任務處理每個查詢，而無需維護延伸工作階段。 + *索引檢視查詢*使用運算來維護 OpenSearch Service 中的索引檢視。這些查詢通常需要更長的時間，因為它們會將不同數量的資料擷取至具名索引。對於 Security Lake 連線的資料來源，索引資料會儲存在 OpenSearch Serverless 集合中，其中會向您收取資料索引 (IndexingOCU)、資料搜尋 (SearchOCU) 和以 GB 儲存的資料的費用。 如需詳細資訊，請參閱 [Amazon OpenSearch Service 定價](https://aws.amazon.com/opensearch-service/pricing/)中的直接查詢和無伺服器區段。 ## 限制 下列限制適用於 Security Lake 中的直接查詢： + 與 Security Lake 的直接查詢整合僅適用於 OpenSearch Service 集合和 OpenSearch 使用者介面。 + OpenSearch Serverless 集合的網路承載限制為 100 MiB。 + Security Lake 的資料表管理是在 Lake Formation 中執行。 + Security Lake 僅支援具體化視觀表做為索引化視觀表。不支援覆蓋索引。 + AWS CloudFormation 尚不支援 範本。 + 相較於使用直接查詢，使用 OpenSearch 索引時，OpenSearch SQL 和 OpenSearch PPL 陳述式有不同的限制。 OpenSearch 直接查詢支援 JOINs、子查詢和查詢等進階命令，而對 OpenSearch 索引上這些命令的支援有限或不存在。如需詳細資訊，請參閱[支援的 SQL 和 PPL 命令](direct-query-supported-commands.md)。 ## 建議 在 Security Lake 中使用直接查詢時，我們建議您執行下列動作： + 檢查您的 Security Lake 狀態，並確保其順利執行，沒有任何問題。如需詳細的故障診斷步驟，請參閱《Amazon Security Lake 使用者指南》中的[對資料湖狀態進行故障診斷](https://docs.aws.amazon.com/security-lake/latest/userguide/securitylake-data-lake-troubleshoot.html)。 + 驗證您的查詢存取： + 如果您要從與 Security Lake 委派管理員帳戶不同的帳戶查詢 Security Lake，請在 [Security Lake 中設定具有查詢存取權的訂閱者](https://docs.aws.amazon.com/security-lake/latest/userguide/subscriber-query-access.html)。 + 如果您要從相同帳戶查詢 Security Lake，請檢查 Security Lake 中有關向 LakeFormation 註冊受管 S3 儲存貯體的任何訊息。 + 探索查詢範本和預先建置的儀表板，以快速開始您的分析。 + 熟悉開放式網路安全結構描述架構 (OCSF) 和 Security Lake： + 檢閱 [OCSF GitHub 儲存庫](https://github.com/ocsf/examples/tree/main/mappings/markdown/AWS/v1.1.0/CloudTrail)中 AWS 來源的結構描述映射範例 + 了解如何造訪[AWS 來源版本 2 (OCSF 1.1.0) 的 Security Lake 查詢，以有效地查詢 Security](https://docs.aws.amazon.com/security-lake/latest/userguide/subscriber-query-examples2.html) Lake + 使用分割區來改善查詢效能：`region`、 `accountid`和 `time_dt` + 熟悉 Security Lake 支援用於查詢的 SQL 語法。如需詳細資訊，請參閱[支援的 OpenSearch SQL 命令和函數](supported-directquery-sql.md)。 + 對查詢使用限制，以確保您不會向後提取太多資料。 ## 配額 | Description | Value | 軟性限制？ | 備註 | | --- | --- | --- | --- | | 直接查詢 APIs 的帳戶層級 TPS 限制 | 3 TPS | 是 | | | 資料來源數量上限 | 20 | 是 | 限制為 AWS 帳戶。 | | 自動重新整理索引或具體化視觀表上限 | 30 | 是 | 限制適用於每個資料來源。 僅包含自動重新整理設定為 true MVs)。 | | 並行查詢上限 | 30 | 是 | 限制適用於處於待定或執行狀態的查詢。 包括互動式查詢 （例如 等資料擷取命令`SELECT`) 和索引查詢 （例如 `CREATE`/`ALTER`/ 等操作`DROP`)。 | | 每個查詢的並行 OCU 上限 | 512 | 是 | OpenSearch 運算單位 (OCU)。根據 15 個執行器和 1 個驅動程式的限制，每個都具有 16 個 vCPU 和 32 GB 記憶體。代表並行處理能力。 | | 查詢執行時間上限，以分鐘為單位 | 30 | 否 | 僅適用於互動式查詢 （例如 等資料擷取命令SELECT)。對於REFRESH查詢，限制為 6 小時。 | | 清除過時查詢 IDs 的期間 | 90 天 | 是 | 這是 OpenSearch Service 清除舊項目查詢中繼資料的期間。例如，對超過 90 天的查詢呼叫 GetDirectQuery 或 GetDirectQueryResult 失敗。 | ## 支援的 AWS 區域 Security Lake 中的直接查詢 AWS 區域 支援以下項目： + 亞太地區 (孟買) + 亞太地區 (新加坡) + 亞太地區 (雪梨) + 亞太區域 (東京) + 加拿大 (中部) + 歐洲 (法蘭克福) + 歐洲 (愛爾蘭) + 歐洲 (斯德哥爾摩) + 美國東部 (維吉尼亞北部) + 美國東部 (俄亥俄) + 美國西部 (奧勒岡) + Europe (Paris) + 歐洲 (倫敦) + 南美洲 (聖保羅)