在 Amazon 服务中构建多租户无服务器架构 OpenSearch

创建 S3 存储桶。

在您的中创建 S3 存储桶 AWS 区域。此存储桶将保存示例应用程序未编入索引的租户数据。确保 S3 存储桶的名称是全球唯一的，因为命名空间由所有人共享 AWS 账户。

要创建 S3 存储桶，您可以按如下方式使用 AWS CLI create-bu cket 命令：

aws s3api create-bucket \
  --bucket <tenantrawdata> \
  --region <your-AWS-Region>

其中 tenantrawdata 是 S3 存储桶名称。(您可使用任何符合存储桶命名准则的唯一名称。)

创建 OpenSearch 服务域。

运行 AWS CLI create-elasticsearch-domain 命令来创建服务域： OpenSearch

aws es create-elasticsearch-domain \
  --domain-name vpc-cli-example \
  --elasticsearch-version 7.10 \
  --elasticsearch-cluster-config InstanceType=t3.medium.elasticsearch,InstanceCount=1 \
  --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=10 \
  --domain-endpoint-options "{\"EnforceHTTPS\": true}" \
  --encryption-at-rest-options "{\"Enabled\": true}" \
  --node-to-node-encryption-options "{\"Enabled\": true}" \
  --advanced-security-options "{\"Enabled\": true, \"InternalUserDatabaseEnabled\": true, \
    \"MasterUserOptions\": {\"MasterUserName\": \"KibanaUser\", \
    \"MasterUserPassword\": \"NewKibanaPassword@123\"}}" \
  --vpc-options "{\"SubnetIds\": [\"<subnet-id>\"], \"SecurityGroupIds\": [\"<sg-id>\"]}" \
  --access-policies "{\"Version\": \"2012-10-17\", \"Statement\": [ { \"Effect\": \"Allow\", \ 
    \"Principal\": {\"AWS\": \"*\" }, \"Action\":\"es:*\", \
    \"Resource\": \"arn:aws:es:<region>:<account-id>:domain\/vpc-cli-example\/*\" } ] }"

实例计数设置为 1，因为该域用于测试。您需要使用 advanced-security-options 参数启用精细的访问控制，因为创建域后无法更改详细信息。 

此命令会创建主用户名 (KibanaUser) 和密码，您可使用这些用户名和密码登录 Kibana 控制台。

由于该域是虚拟私有云（VPC）的组成部分，因此您必须通过指定要使用的访问策略来确保可以访问 Elasticsearch 实例。

有关更多信息，请参阅 AWS 文档中的在 VPC 内启动您的 Amazon OpenSearch 服务域。

设置堡垒主机。

将 Amazon Elastic Compute Cloud (Amazon EC2) Windows 实例设置为堡垒主机，以访问 Kibana 控制台。Elasticsearch 安全组必须允许来自 Amazon EC2 安全组的流量。有关说明，请参阅博客文章使用堡垒服务器控制 EC2 实例的网络访问。

设置堡垒主机并且您拥有与可用实例关联的安全组后，请使用 a AWS CLI uthorize-security-group-ingress 命令向 Elasticsearch 安全组添加权限，以允许来自 Amazon EC2（堡垒主机）安全组的 443 端口。

aws ec2 authorize-security-group-ingress \
  --group-id <SecurityGroupIdfElasticSearch> \ 
  --protocol tcp \
  --port 443 \
  --source-group <SecurityGroupIdfBashionHostEC2>

创建 Lambda 执行角色。

运行 AWS CLI create-role 命令以授予 Lambda 索引函数访问和资源的权限： AWS 服务

aws iam create-role \
  --role-name index-lambda-role \
  --assume-role-policy-document file://lambda_assume_role.json

其中 lambda_assume_role.json 是用于授予 Lambda 函数 AssumeRole 权限的 JSON 文档，如下所示：

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Effect": "Allow",
             "Principal": {
                 "Service": "lambda.amazonaws.com"
               },
             "Action": "sts:AssumeRole"
         }
     ]
 }

将托管式策略附加到 Lambda 角色。

运行 AWS CLI attach-role-pol icy 命令将托管策略附加到上一步中创建的角色。这两个策略授予角色创建弹性网络 interface 和向日志写入 CloudWatch 日志的权限。

aws iam attach-role-policy \
  --role-name index-lambda-role \
  --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole

aws iam attach-role-policy \
  --role-name index-lambda-role \
  --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaVPCAccessExecutionRole 

创建策略，以授予 Lambda 索引函数读取 S3 对象的权限。

运行 AWS CLI create-pol icy 命令以授予 Lambda 索引函数读取 S3 存储桶中对象的s3:GetObject权限：

aws iam create-policy \
  --policy-name s3-permission-policy \
  --policy-document file://s3-policy.json

文件 s3-policy.json 是下面显示的 JSON 文档，它授予允许 s3:GetObject 对 S3 对象进行读取访问的权限。如果创建 S3 存储桶时使用了其他名称，请在 Resource  部分中提供正确的存储桶名称：

{
    "Version": "2012-10-17",
    "Statement": [
        {
           "Effect": "Allow",
           "Action": "s3:GetObject",
           "Resource": "arn:aws:s3:::<tenantrawdata>/*"
        }
    ]
}

将 Amazon S3 权限策略附加至 Lambda 执行角色。

运行 AWS CLI attach-role-policy 命令将您在上一步中创建的 Amazon S3 权限策略附加到 Lambda 执行角色：

aws iam attach-role-policy \
  --role-name index-lambda-role \
  --policy-arn <PolicyARN>

其中 PolicyARN 是 Amazon S3 权限策略的 Amazon 资源名称（ARN）。您可从上一条命令的输出中获得此值。

创建 Lambda 索引函数。

运行 AWS CLI create-fun ction 命令创建 Lambda 索引函数，该函数将访问服务： OpenSearch

aws lambda create-function \
  --function-name index-lambda-function \
  --zip-file fileb://index_lambda_package.zip \
  --handler lambda_index.lambda_handler \
  --runtime python3.9 \
  --role "arn:aws:iam::account-id:role/index-lambda-role" \
  --timeout 30 \
  --vpc-config "{\"SubnetIds\": [\"<subnet-id1\>", \"<subnet-id2>\"], \
    \"SecurityGroupIds\": [\"<sg-1>\"]}"

允许 Amazon S3 调用 Lambda 索引函数。

运行 add-p AWS CLI ermission 命令授予 Amazon S3 调用 Lambda 索引函数的权限：

aws lambda add-permission \
  --function-name index-lambda-function \
  --statement-id s3-permissions \
  --action lambda:InvokeFunction \
  --principal s3.amazonaws.com \
  --source-arn "arn:aws:s3:::<tenantrawdata>" \
  --source-account "<account-id>" 

为 Amazon S3 事件添加 Lambda 触发器。

运行 put-b AWS CLI ucket-notification-configuration-configuration 命令，在检测到 Amazon S3 事件时向 Lambda 索引函数发送通知。ObjectCreated每当将对象上传至 S3 存储桶时，索引函数就会运行。 

aws s3api put-bucket-notification-configuration \
  --bucket <tenantrawdata> \
  --notification-configuration file://s3-trigger.json

文件 s3-trigger.json 是当前文件夹中的一个 JSON 文档，用于在 Amazon S3 ObjectCreated 事件发生时向 Lambda 函数添加资源策略。

创建 Lambda 执行角色。

运行 AWS CLI create-role 命令以授予 Lambda 搜索函数访问和资源的权限： AWS 服务

aws iam create-role \
  --role-name search-lambda-role \
  --assume-role-policy-document file://lambda_assume_role.json

其中 lambda_assume_role.json 是当前文件夹中用于授予 Lambda 函数 AssumeRole 权限的 JSON 文档，如下所示：

{
     "Version": "2012-10-17",
     "Statement": [
         {
             "Effect": "Allow",
             "Principal": {
                 "Service": "lambda.amazonaws.com"
               },
             "Action": "sts:AssumeRole"
         }
     ]
 }

将托管式策略附加到 Lambda 角色。

运行 AWS CLI attach-role-pol icy 命令将托管策略附加到上一步中创建的角色。这两个策略授予角色创建弹性网络 interface 和向日志写入 CloudWatch 日志的权限。

aws iam attach-role-policy \
  --role-name search-lambda-role \
  --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole

aws iam attach-role-policy \
  --role-name search-lambda-role \
  --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaVPCAccessExecutionRole 

创建 Lambda 搜索函数。

运行 AWS CLI create-fun ction 命令创建 Lambda 搜索函数，该函数将访问服务： OpenSearch

aws lambda create-function \
  --function-name search-lambda-function \
  --zip-file fileb://search_lambda_package.zip \
  --handler lambda_search.lambda_handler \
  --runtime python3.9 \
  --role "arn:aws:iam::account-id:role/search-lambda-role" \
  --timeout 30 \
  --vpc-config "{\"SubnetIds\": [\"<subnet-id1\>", \"<subnet-id2>\"], \
    \"SecurityGroupIds\": [\"<sg-1>\"]}"

创建租户 IAM 角色。

运行 AWS CLI create- role 命令创建两个用于测试搜索功能的租户角色：

aws iam create-role \
  --role-name Tenant-1-role \
  --assume-role-policy-document file://assume-role-policy.json

aws iam create-role \
  --role-name Tenant-2-role \
  --assume-role-policy-document file://assume-role-policy.json

文件 assume-role-policy.json 是当前文件夹中的一个 JSON 文档，用于向 Lambda 执行角色授予 AssumeRole 权限：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                 "AWS": "<Lambda execution role for index function>",
                 "AWS": "<Lambda execution role for search function>"
             },
            "Action": "sts:AssumeRole"
        }
    ]
}

创建租户 IAM 策略。

运行 AWS CLI create-policy 命令来创建授予对 Elasticsearch 操作的访问权限的租户策略：

aws iam create-policy \
  --policy-name tenant-policy \
  --policy-document file://policy.json

文件 policy.json 是当前文件夹中授予对 Elasticsearch 的权限的 JSON 文档：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "es:ESHttpDelete",
                "es:ESHttpGet",
                "es:ESHttpHead",
                "es:ESHttpPost",
                "es:ESHttpPut",
                "es:ESHttpPatch"
            ],
            "Resource": [
                "<ARN of Elasticsearch domain created earlier>"
            ]
        }
    ]
}

将租户 IAM policy 附加至租户角色。

运行 AWS CLI attach-role-pol icy 命令将租户 IAM 策略附加到您在前面的步骤中创建的两个租户角色：

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/tenant-policy \
  --role-name Tenant-1-role

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/tenant-policy \
  --role-name Tenant-2-role

策略 ARN 来自上一步中的输出。

创建 IAM 策略，以向 Lambda 授予代入角色的权限。

运行 AWS CLI create-pol icy 命令为 Lambda 创建担任租户角色的策略：

aws iam create-policy \
  --policy-name assume-tenant-role-policy \
  --policy-document file://lambda_policy.json

文件 lambda_policy.json 是当前文件夹中的一个 JSON 文档，用于授予对 AssumeRole 的权限。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action":  "sts:AssumeRole",
            "Resource": "<ARN of tenant role created earlier>"
       }
    ]
}

对于 Resource，您可使用通配符来避免为每个租户创建新策略。

创建 IAM 策略，向 Lambda 索引角色授予 Amazon S3 访问权限。

运行 AWS CLI create-pol icy 命令以授予 Lambda 索引角色访问 S3 存储桶中对象的权限：

aws iam create-policy \
  --policy-name s3-permission-policy \
  --policy-document file://s3_lambda_policy.json

文件 s3_lambda_policy.json 是当前文件夹中以下 JSON 策略文档：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::tenantrawdata/*"
        }
    ]
}

将该策略附加到 Lambda 执行角色。

运行 AWS CLI attach-role-pol icy 命令将上一步中创建的策略附加到您之前创建的 Lambda 索引和搜索执行角色：

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/assume-tenant-role-policy \
  --role-name index-lambda-role

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/assume-tenant-role-policy \
  --role-name search-lambda-role

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/s3-permission-policy \
  --role-name index-lambda-role

策略 ARN 来自上一步中的输出。

在 API Gateway 中创建 REST API。

运行 AWS CLI create-rest-api 命令创建 REST API 资源：

aws apigateway create-rest-api \
  --name Test-Api \
  --endpoint-configuration "{ \"types\": [\"REGIONAL\"] }"

对于端点配置类型，您可指定 EDGE（而不是 REGIONAL）使用边缘站点，而不是某个 AWS 区域。

记录命令输出中 id 字段的值。这是您将在后续命令使用的 API ID。

创建资源，以用于搜索 API。

搜索 API 资源使用名为 search 的资源启动 Lambda 搜索函数。（您不必为 Lambda 索引函数创建 API，因为当对象上传到 S3 存储桶时，它会自动运行。）

为搜索 API 创建 GET 方法。

运行 AWS CLI put-met hod 命令为搜索 API 创建GET 方法：

aws apigateway put-method \
  --rest-api-id <API-ID> \
  --resource-id <ID from the previous command output> \
  --http-method GET \
  --authorization-type "NONE" \
  --no-api-key-required

对于 resource-id，请从 create-resource 命令输出中指定 ID。

为搜索 API 创建响应方法。

运行 AWS CLI put-method- response 命令为搜索 API 添加方法响应：

aws apigateway put-method-response \
  --rest-api-id <API-ID> \
  --resource-id  <ID from the create-resource command output> \
  --http-method GET \
  --status-code 200 \
  --response-models "{\"application/json\": \"Empty\"}"

对于 resource-id，请从先前 create-resource 命令的输出中指定 ID。

为搜索 API 设置代理 Lambda 集成。

运行 AWS CLI put- integration 命令设置与 Lambda 搜索函数的集成：

aws apigateway put-integration \
  --rest-api-id <API-ID> \
  --resource-id  <ID from the create-resource command output> \
  --http-method GET \
  --type AWS_PROXY \
  --integration-http-method GET \
  --uri arn:aws:apigateway:region:lambda:path/2015-03-31/functions/arn:aws:lambda:<region>:<account-id>:function:<function-name>/invocations

对于 resource-id，请指定先前 create-resource 命令中的 ID。

授予 API Gateway 调用 Lambda 搜索函数的权限。

运行 add-p AWS CLI ermission 命令授予 API Gateway 使用搜索功能的权限：

aws lambda add-permission \
  --function-name <function-name> \
  --statement-id apigateway-get \
  --action lambda:InvokeFunction \
  --principal apigateway.amazonaws.com \
  --source-arn "arn:aws:execute-api:<region>:<account-id>:api-id/*/GET/search

如果您使用其他名为 search 的 API 资源，则更改 source-arn 路径。

部署搜索 API。

运行 AWS CLI create-dep loyment 命令创建名为：dev

aws apigateway create-deployment \
  --rest-api-id <API-ID> \
  --stage-name dev

如果您更新 API，则可以使用相同的 AWS CLI 命令将其重新部署到同一阶段。

登录到 Kibana 控制台。

创建和配置 Kibana 角色。

为了提供数据隔离并确保一个租户无法检索另一租户的数据，您需要使用文档安全性，它允许租户仅访问包含其租户 ID 的文档。

将用户映射至角色。

我们建议您在租户入职时自动创建租户与 Kibana 角色。

创建 tenant-data 索引。

在导航窗格的管理下，选择开发工具，然后运行以下命令。此命令创建 tenant-data 索引，以定义 TenantId 属性的映射。

PUT /tenant-data
{
  "mappings": {
    "properties": {
      "TenantId": { "type": "keyword"}
    }
  }
}

为 Amazon S3 创建和配置 VPC 端点。

运行 AWS CLI create-vpc-endpoint 命令为 Amazon S3 创建 VPC 终端节点。该端点允许 VPC 中的 Lambda 索引函数访问 Amazon S3。

aws ec2 create-vpc-endpoint \
  --vpc-id <VPC-ID> \
  --service-name com.amazonaws.us-east-1.s3 \
  --route-table-ids <route-table-ID>

对于 vpc-id，请指定您用于 Lambda 索引函数的 VPC。对于 service-name，请使用 Amazon S3 端点的正确网址。对于 route-table-ids，请指定与 VPC 端点关联的路由表。

为创建 VPC 终端节点 AWS STS。

运行 AWS CLI create-vpc-endpoint 命令为 () 创建 VPC 终端节点。 AWS Security Token Service AWS STS该端点允许 VPC 中的 Lambda 索引和搜索函数访问 AWS STS。这些函数在担任 IAM 角色 AWS STS 时使用。

aws ec2 create-vpc-endpoint \
  --vpc-id <VPC-ID> \
  --vpc-endpoint-type Interface \
  --service-name com.amazonaws.us-east-1.sts \
  --subnet-id <subnet-ID> \
  --security-group-id <security-group-ID>

对于 vpc-id，请指定您用于 Lambda 索引和搜索功能的 VPC。对于 subnet-id，请提供应在其中创建此端点的子网。对于 security-group-id，请指定要与该端点关联的安全组。（它可能与 Lambda 使用的安全组相同。）

更新索引与搜索函数的 Python 文件。

您可以从 OpenSearch 服务控制台的概述选项卡获取 Elasticsearch 终端节点。其格式为 <AWS-Region>.es.amazonaws.com。

更新 Lambda 代码。

使用 AWS CLI update-function-co de 命令使用你对 Python 文件所做的更改来更新 Lambda 代码：

aws lambda update-function-code \
  --function-name index-lambda-function \
  --zip-file fileb://index_lambda_package.zip

aws lambda update-function-code \
  --function-name search-lambda-function \
  --zip-file fileb://search_lambda_package.zip

将原始数据上传到 S3 存储桶。

使用 AWS CLI cp 命令将 Tenant-1 和 Tenant-2 对象的数据上传到tenantrawdata存储桶（指定您为此目的创建的 S3 存储桶的名称）：

aws s3 cp tenant-1-data s3://tenantrawdata
aws s3 cp tenant-2-data s3://tenantrawdata

S3 存储桶设置为每当上传数据时运行 Lambda 索引函数，便在 Elasticsearch 中为文档编制索引。

在 Kibana 控制台搜索数据。

在 Kibana 控制台上，运行以下查询：

GET tenant-data/_search

此查询显示了 Elasticsearch 中编制索引的所有文档。在这种情况下，您应该会看到 Tenant-1 和的两个单独文档 Tenant-2。

从 API Gateway 中测试搜索 API。

有关屏幕插图，请参阅其他信息部分。

清理资源。

清理您创建的所有资源，以防止对您的账户收取额外费用。