本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # 创建和管理亚马逊 OpenSearch 服务域名 本章介绍如何创建和管理 Amazon OpenSearch 服务域。域等同 AWS于开源 OpenSearch 集群。在创建域时，您需要指定其设置、实例类型、实例数量以及存储分配。有关开源集群的更多信息，请参阅 OpenSearch 文档中的[创建集群](https://opensearch.org/docs/latest/tuning-your-cluster/)。 与[入门教程](gsg.md)中的简短说明不同，本章描述了所有选项，并提供了相关的参考信息。您可以按照 OpenSearch 服务控制台、() 或 AWS Command Line Interface (AWS CLI) 的说明完成每个过程 AWS SDKs。 ## 创建 OpenSearch 服务域 本节介绍如何使用 OpenSearch 服务控制台或使用 AWS CLI 带`create-domain`命令的 OpenSearch 服务域来创建服务域。 ### 创建 OpenSearch 服务域（控制台） 使用以下过程通过控制台创建 OpenSearch 服务域。 **创建 OpenSearch 服务域（控制台）** 1. 前往[https://aws.amazon.com](https://aws.amazon.com/)并选择 “**登录到控制台”**。 1. 在 “**分析**” 下，选择 “**亚马逊 OpenSearch 服务**”。 1. 选择 **Create domain（创建域）**。 1. 对于**域名**，输入一个域名。名称必须符合以下标准： + 您的账户独一无二且 AWS 区域 + 以小写字母开头 + 包含 3 到 28 个字符 + 只包含小写字母 a-z、数字 0-9 和连字符 (-) 1. 对于域创建方法，选择**标准创建**。 1. 对于**模板**，选择与您的域的目的最匹配的选项： + 用于需要高可用性和高性能的工作负载的**生产**域。这些域使用多可用区（带或不带待机功能）和专用主节点提高可用性。 + 用于开发或测试的**开发/测试**域。开发/测试域可以使用多可用区（带或不带待机功能）或单个可用区。 **重要** 不同部署类型在后续页面上显示不同的选项。这些步骤包括所有选项。 1. 对于**部署选项**，选择**带备用域的域**配置三可用区域，其中一个可用区中的节点作为备用域。此选项强制执行大量最佳实践，例如指定数据节点计数、主节点计数、实例类型、副本计数和软件更新设置。 1. 对于**版本**，请选择要使用的版本 OpenSearch 或旧版 Elasticsearch OSS。我们建议您选择最新版本的 OpenSearch。有关更多信息，请参阅 [支持的 Elasticsearch 版本和 OpenSearch](what-is.md#choosing-version)。 （可选）如果您为域选择了 OpenSearch 版本，请选择**启用兼容模式**以将其版本 OpenSearch报告为 7.10，这允许某些在连接之前检查版本的 Elasticsearch OSS 客户端和插件继续使用该服务。 1. 对于**实例类型**，为数据节点选择实例类型。有关更多信息，请参阅 [Amazon OpenSearch 服务中支持的实例类型](supported-instance-types.md)。 **注意** 并非所有可用区都支持所有实例类型。如果您选择带或不带待机功能的多可用区，我们建议您选择最新一代实例类型，如 R5 或 I3。 1. 对于**节点数**，选择数据节点数。 有关最大值，请参阅[OpenSearch 服务域和实例配额](https://docs.aws.amazon.com/general/latest/gr/opensearch-service.html#opensearch-limits-domain)。单节点集群适合开发和测试，但不应用于生产工作负载。有关更多指导，请参阅[调整亚马逊 OpenSearch 服务域名的大小](sizing-domains.md)和[在 Ama OpenSearch zon 服务中配置多可用区域](managedomains-multiaz.md)。 **注意** （可选）专用协调器节点支持所有 OpenSearch 版本和 ElasticSearch 版本 6.8 到 7.10。专用协调器节点可用于启用了专用集群管理器的域。要启用专用协调器节点，您需要选择实例类型和数量。根据最佳实践，专用协调器节点的实例系列应与数据节点相同（基于 Intel 处理器的实例或基于 Graviton 处理器的实例）。 1. 对于**存储类型**，选择 Amazon EBS。列表中可用的卷类型取决于您选择的实例类型。有关创建超大型域的指南，请参阅 [Amazon 服务中的 PB 级规模 OpenSearch](petabyte-scale.md)。 1. 对于 **EBS** 存储，配置以下附加设置。根据您选择的卷类型，某些设置可能不会显示。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/opensearch-service/latest/developerguide/createupdatedomains.html) 1. （可选）如果您选择了`gp3`卷类型，请展开**高级设置**并指定超出存储价格所含范围的其他 IOPS（每个数据节点每预配置 3 TiB 卷大小最多可获得 16,000 个）和吞吐量（ MiB/s 每个数据节点每预配置 3 TiB 卷大小最多可达 1,000 个），但需支付额外费用。有关更多信息，请参阅 [Amazon OpenSearch 服务定价](https://aws.amazon.com/opensearch-service/pricing/)。 1. （可选）要启用[UltraWarm 存储](ultrawarm.md)，请选择**启用 UltraWarm 数据节点**。每种实例类型都有其可处理的[最大存储量](limits.md#limits-ultrawarm)。将该数量乘以总可寻址温存储的温数据节点数。 1. （可选）要启用[冷存储](cold-storage.md)，选择**启用冷存储**。必须启用 UltraWarm 才能启用冷存储。 1. 如果使用带待机功能的多可用区，则已启用三个[专用主节点](managedomains-dedicatedmasternodes.md)。选择所需的主节点类型。如果选择不带待机功能的多可用区的域，请选择**启用专用主节点**，然后选择所需的主节点类型和数量。专用主节点可增强集群稳定性，对于包含 10 个以上实例的域而言是必需的。对于生产域，我们建议使用 3 个专用主节点。 **注意** 对于专用主节点和数据节点，可以选择不同的实例类型。例如，您可以为数据节点选择通用或存储优化实例，但为专用主节点选择计算优化实例。 1. （可选）对于运行 OpenSearch 或 Elasticsearch 5.3 及更高版本的域名，**快照配置**无关紧要。有关自动制作快照的更多信息，请参阅[在 Amazon OpenSearch 服务中创建索引快照](managedomains-snapshots.md)。 1. 如果您想使用自定义端点，而不是标准的 `https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com` 之一，选择**启用定制终端节点**并提供名称和证书。有关更多信息，请参阅 [为亚马逊 OpenSearch 服务创建自定义终端节点](customendpoint.md)。 1. 在**网络**下，选择 **VPC 访问权限**或**公有访问权限**。如果您选择**公有访问权限**，请跳至下一步。如果选择 **VPC 访问权限**，请确保您满足[先决条件](vpc.md#prerequisites-vpc-endpoints)，然后配置以下设置： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/opensearch-service/latest/developerguide/createupdatedomains.html) 1. 启用或禁用精细访问控制： + 如果要使用 IAM 进行用户管理，请选择 **Set IAM ARN as master user (将 IAM ARN 设置为主用户)**，然后为 IAM 角色指定 ARN。 + 如果要使用内部用户数据库，请选择**创建主用户**，并指定用户名和密码。 无论您选择哪个选项，主用户都可以访问集群中的所有索引和所有 OpenSearch APIs索引。有关选择哪个选项的指南，请参阅 [重要概念](fgac.md#fgac-concepts)。 如果您禁用精细访问控制，则仍可以通过将域放置在 VPC 中并/或应用限制性访问策略来控制对域的访问。您必须启用 node-to-node加密和静态加密才能使用精细的访问控制。 **注意** 我们*强烈*建议您启用精细访问控制以保护域中的数据。精细访问控制提供群集、索引、文档和字段级别的安全性。 1. （可选）如果要对 OpenSearch 仪表板使用 SAML 身份验证，请选择**启用 SAML 身份验证**并为该域配置 SAML 选项。有关说明，请参阅[仪表板的 SAML 身份验证 OpenSearch](saml.md)。 1. （可选）如果您想对 OpenSearch 控制面板使用 Amazon Cognito 身份验证，请选择**启用 Amazon Cognito** 身份验证。然后选择要用于 OpenSearch 控制面板身份验证的 Amazon Cognito 用户池和身份池。有关创建这些资源的指南，请参阅[为控制面板配置 Amazon Cognito 身份验证 OpenSearch](cognito-auth.md)。 1. （可选）如果您想使用 IAM Identity Center (IDC) 身份验证来连接现有身份源并为您的 AWS 应用程序提供用户通用视图，请选择**启用通过 IAM Identity Center 进行身份验证的 API 访问权限**。有关更多信息，请参阅《IAM Identity Center 用户指南》**中的[可信身份传播概述](https://docs.aws.amazon.com/singlesignon/latest/userguide/trustedidentitypropagation-overview.html?icmpid=docs_console_unmapped)。 1. （可选）如果您想使用这些功能，请在**高级功能**部分，选择**启用自然语言查询生成 和 Amazon Q 开发者版功能**。 1. 选择**启用 S3 Vectors 作为引擎选项**，以获取增强的向量搜索选项。有关更多信息，请参阅 [使用 Amazon S3 矢量引擎实现高级搜索功能](s3-vector-opensearch-integration-engine.md)。 1. 选择 “**启用 GPU 加速” 以获得增强的矢量搜索选项。有关更多信息，请参阅[用于向量索引的 GPU 加速](gpu-acceleration-vector-index.md)。** 1. 对于**访问策略**，选择访问策略或配置您自己的访问策略。如果选择创建自定义策略，则可以自行配置或从另一个域导入策略。有关更多信息，请参阅 [亚马逊 OpenSearch 服务中的身份和访问管理](ac.md)。 **注意** 如果您启用了 VPC 访问，则无法使用基于 IP 的策略。但您可以使用[安全组](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_SecurityGroups.html)来控制哪些 IP 地址可以访问该域。有关更多信息，请参阅 [关于 VPC 域的访问策略](vpc.md#vpc-security)。 1. （可选）如果要求对域的所有请求都通过 HTTPS 到达，请选中 **Require HTTPS for all traffic to the domain (要求到域的所有流量都使用 HTTPS)**。要启用 node-to-node加密，请选择 **N ode-to-node 加密**。有关更多信息，请参阅 [Node-to-node Amazon OpenSearch 服务加密](ntn.md)。要启用静态数据加密，请选中**启用静态数据的加密**复选框。如果选择带待机功能的多可用区部署选项，则预先选择这些选项。 1. （可选）选择 “**使用 AWS 自有密钥**”，让 S OpenSearch ervice 代表您创建 AWS KMS 加密密钥（或使用已创建的密钥）。否则，请选择您自己的 KMS 密钥。有关更多信息，请参阅 [为 Amazon OpenSearch 服务加密静态数据](encryption-at-rest.md)。 1. 对于**非高峰时段**，选择开始时间以安排需要部署的服务软件更新和自动调整优化。 blue/green 非高峰时段更新有助于最大限度地减少高流量时段对集群专用主节点造成的压力。 1. 对于 **Auto-Tune**，请选择是否允许 S OpenSearch ervice 建议对您的域进行与内存相关的配置更改，以提高速度和稳定性。有关更多信息，请参阅 [Amazon OpenSearch 服务自动调整](auto-tune.md)。 （可选）选择**非高峰时段**以安排一个循环时段，自动调整将在此时段内更新域。 1. （可选）选择**自动软件更新**以启用自动软件更新。 1. （可选）添加标签来描述您的域，以便您可以对该信息进行分类和筛选。有关更多信息，请参阅 [为 Amazon OpenSearch 服务域名添加标签](managedomains-awsresourcetagging.md)。 1. （可选）展开和配置 **Advanced cluster settings**（高级集群设置）。有关这些选项的摘要，请参阅[高级集群设置](#createdomain-configure-advanced-options)。 1. 选择**创建**。 ### 创建 OpenSearch 服务域 (AWS CLI) 您可以使用，而不是使用控制台创建 OpenSearch 服务域 AWS CLI。有关语法，请参阅 [AWS CLI 命令参考](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/opensearch/index.html) a 中的 Amazon OpenSearch 服务。 #### 示例命令 第一个示例演示了以下 OpenSearch 服务域配置： + 使用 OpenSearch 版本 1.2 创建名为 *mylogs* 的 OpenSearch 服务域 + 用 `r6g.large.search` 实例类型的两个实例填充该域 + 使用 100GiB 通用型（SSD）`gp3` EBS 卷作为每个数据节点的存储 + 允许匿名访问，但只能从单个 IP 地址访问：192.0.2.0/32 ``` aws opensearch create-domain \ --domain-name mylogs \ --engine-version OpenSearch_1.2 \ --cluster-config InstanceType=r6g.large.search,InstanceCount=2 \ --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 \ --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}' ``` 下一个示例演示了以下 OpenSearch 服务域配置： + 使用 Elasticsearch 版本 7.10 创建名为 *my* logs 的 OpenSearch 服务域 + 用 `r6g.large.search` 实例类型的六个实例填充该域 + 使用 100GiB 通用型（SSD）`gp2` EBS 卷作为每个数据节点的存储 + 仅限单个用户访问该服务，该用户由用户的 AWS 账户 ID 识别：555555555555 + 跨三个可用区分配实例 ``` aws opensearch create-domain \ --domain-name mylogs \ --engine-version Elasticsearch_7.10 \ --cluster-config InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} \ --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 \ --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }' ``` 下一个示例演示了以下 OpenSearch 服务域配置： + 使用 OpenSearch 版本 1.0 创建名为 *mylogs* 的 OpenSearch 服务域 + 用 `r6g.xlarge.search` 实例类型的十个实例填充该域 + 用 `r6g.large.search` 实例类型的三个实例作为专用主节点填充该域 + 使用 100GiB 预配置 IOPS EBS 卷作为存储，用每个数据节点 1000 IOPS 的基准性能进行配置 + 限制对单个用户和单个子资源的访问，`_search` API ``` aws opensearch create-domain \ --domain-name mylogs \ --engine-version OpenSearch_1.0 \ --cluster-config InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 \ --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 \ --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }' ``` **注意** 如果您尝试创建 OpenSearch 服务域，但同名的域已存在，则 CLI 不会报告错误。相反，它会返回现有域的详细信息。 ### 创建 OpenSearch 服务域 (AWS SDKs) AWS SDKs （安卓和 iOS 除外 SDKs）支持《[亚马逊 OpenSearch 服务 API 参考](https://docs.aws.amazon.com/opensearch-service/latest/APIReference/Welcome.html)》中定义的所有操作，包括`CreateDomain`。有关代码示例，请参阅 [使用 AWS SDKs 与亚马逊 OpenSearch 服务互动](configuration-samples.md)。有关安装和使用的更多信息 AWS SDKs，请参阅[AWS 软件开发套件](https://aws.amazon.com/code)。 ### 创建 OpenSearch 服务域 (AWS CloudFormation) OpenSearch 服务与一项服务集成 AWS CloudFormation，该服务可帮助您对 AWS 资源进行建模和设置，从而减少创建和管理资源和基础架构所花费的时间。您可以创建一个描述要创建的 OpenSearch 域的模板，并为您 CloudFormation 置备和配置该域。有关更多信息，包括 OpenSearch 域名的 JSON 和 YAML 模板示例，请参阅*AWS CloudFormation 用户指南*中的[亚马逊 OpenSearch 服务资源类型参考](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-elasticsearch-domain.html)。 ## 配置访问策略 Amazon OpenSearch 服务提供了多种配置 OpenSearch 服务域访问权限的方法。有关更多信息，请参阅[亚马逊 OpenSearch 服务中的身份和访问管理](ac.md)和[Amazon 服务中的精细访问控制 OpenSearch](fgac.md)。 控制台提供了预配置的访问策略，您可以针对自己域的特定需求自定义这些策略。您也可以从其他 OpenSearch 服务域导入访问策略。有关这些访问策略如何与 VPC 访问交互的信息，请参阅[关于 VPC 域的访问策略](vpc.md#vpc-security)。 **配置访问策略（控制台）** 1. 转到 [https://aws.amazon.com](https://aws.amazon.com/)，然后选择 **Sign In to the Console (登录控制台)**。 1. 在 “**分析**” 下，选择 “**亚马逊 OpenSearch 服务**”。 1. 在导航窗格中的**域**下，选择要更新的域。 1. 选择**操作**和**编辑安全配置**。 1. 编辑访问策略 JSON，或导入预配置的选项。 1. 选择**保存更改**。 ## 使用迁移助手迁移到 OpenSearch 服务 Amazon S OpenSearch ervice 迁移助手是一款全面的解决方案，可简化从自行管理的 Elasticsearch 或 OpenSearch 集群迁移到服务的过程。 OpenSearch 本工具包旨在解决迁移过程中的操作复杂性，同时确保数据完整性，并在迁移后验证性能表现。 ### 概述 无论您是要设置输入 AWS、过渡生产工作负载，还是升级到最新 OpenSearch 版本，Migration Assistant 都能提供 step-by-step指导、最佳实践和工具，以充分利用 OpenSearch 迁移的潜力。 proof-of-concept 迁移助手提供以下主要优势： + **元数据迁移**：迁移集群元数据，包括索引设置、类型映射、索引模板和别名 + **数据迁移**-将现有数据从旧版集群迁移到 OpenSearch 服务域 + **实时流量处理**-以最小的延迟拦截实时流量并将其重定向到 OpenSearch 服务域 + **流量复制**：在目标集群上复制生产流量，以验证准确性和性能 + **性能测试**：通过捕获和重播请求模式模拟真实世界流量，以微调系统性能 + **全球可用性**-部署在最常见的 AWS 区域，以实现全球覆盖和可扩展性 迁移助手支持从 Elasticsearch 版本 6.x 和 7.x 以及 1.x 和 2.x 迁移。 OpenSearch 有关更多信息，请参阅[支持的迁移途径](https://docs.opensearch.org/latest/migration-assistant/is-migration-assistant-right-for-you/#supported-migration-paths)。 **注意** 请注意以下关于迁移助手的其他信息。 该工具支持多跳迁移（例如，一次性从 Elasticsearch 5.x 迁移到 OpenSearch 服务 3.x）。 您可以回滚迁移操作。 对于某些使用案例，该工具几乎不需要或完全不需要停机时间。 该工具提供高性能的回填功能，且不会影响源集群。 ### 迁移场景 迁移助手旨在处理以下迁移场景： **元数据迁移** 将集群元数据（例如索引设置、别名和模板）从源集群迁移到目标 OpenSearch 服务域。 **回填迁移** 将现有或历史数据从源集群迁移到目标 OpenSearch 服务域，确保在过渡期间保留所有重要数据。 **实时流量迁移** 将源集群的持续实时流量复制到目标 OpenSearch 服务域，从而使您能够在迁移期间保持服务可用性。 **重要** 迁移策略并非普遍适用。迁移助手基于工程最佳实践提供指导，但在迁移生产工作负载之前，您应评估自身具体需求并进行全面测试。 ### 开始使用迁移助手 Amazon S OpenSearch ervice 迁移助手作为 AWS 解决方案提供，其中包含全面的文档、部署模板和源代码。要开始使用迁移助手： **访问迁移助手资源** 1. 在 [Amazon S OpenSearch ervice 迁移助手解决方案概述中查看完整的解决方案](https://docs.aws.amazon.com/solutions/latest/migration-assistant-for-amazon-opensearch-service/solution-overview.html)文档。 1. 阅读[部署规划指南](https://docs.aws.amazon.com/solutions/latest/migration-assistant-for-amazon-opensearch-service/plan-your-deployment.html)，了解相关成本和要求。 1. 使用[部署说明](https://docs.opensearch.org/latest/migration-assistant/migration-phases/)部署解决方案，并按照[使用指南](https://docs.aws.amazon.com/solutions/latest/migration-assistant-for-amazon-opensearch-service/use-the-solution.html)执行迁移。 对于开发人员和高级用户，迁移助手的源代码和其他文档可在[OpenSearch迁移 GitHub 存储库](https://github.com/opensearch-project/opensearch-migrations)中找到。 ### 解决方案架构 部署到中后 AWS，迁移助手使用多种 AWS 服务来提供全面的迁移解决方案： + **AWS CloudFormation**：提供基础设施即代码（IaC）模板以部署和配置迁移助手 + **OpenSearch 服务**-迁移后的搜索和分析工作负载的目标服务 + **Amazon Managed Streaming for Apache Kafka**：提供流处理功能，实现 HTTP 流量的持久性存储和重复使用 + **Amazon Elastic Container Service**：在安全、可扩展的容器中运行迁移管理控制台和流量回放器 + **Amazon Elastic File System**：为源集群和目标集群的请求与响应数据提供可扩展的持久性存储 + **Amazon Simple Storage Service**：存储快照以用于历史回填任务和基础设施即代码内容 有关详细的架构信息，请参阅[迁移助手架构详细信息](https://docs.opensearch.org/latest/migration-assistant/architecture/)。 ## 高级集群设置 使用高级选项来配置以下内容： **请求体中的索引** 指定是否允许在 HTTP 请求正文中显式引用索引。将此属性设置为 `false` 可防止用户绕过子资源的访问控制。默认情况下，该值为 `true`。有关更多信息，请参阅 [高级选项和 API 注意事项](ac.md#ac-advanced)。 **字段数据缓存分配** 指定分配到字段数据的 Java 堆空间的百分比。默认情况下，此设置为 JVM 堆的 20%。 许多客户查询轮换每日索引。我们建议您在大多数用例中将 `indices.fielddata.cache.size` 配置为 JVM 堆的 40% 来开始基准测试。但是，如果您有非常大的索引，您可能需要大型字段数据缓存。 **最大子句数** 指定 Lucene 布尔查询中允许的子句的最大数量。默认值为 1024。如果查询具有的子句数超过了允许的子句数，则会导致 `TooManyClauses` 错误。有关更多信息，请参阅 [Lucene 文档](https://lucene.apache.org/core/6_6_0/core/org/apache/lucene/search/BooleanQuery.html)。