使用带 AWS Fargate 的 Amazon EFS on Amazon EKS，运行带持久数据存储的有状态工作负载

创建一个 Amazon EKS 集群。

导出环境变量。

运行 env.sh 脚本。该脚本会提供后续步骤所需的信息。

source ./scripts/env.sh
Inform the AWS Account ID:
<13-digit-account-id>
Inform your AWS Region:
<aws-Region-code>
Inform your Amazon EKS Cluster Name:
<amazon-eks-cluster-name>
Inform the Amazon EFS Creation Token:
<self-genereated-uuid>

如果尚未注明，则可通过以下 CLI 命令获取上述所需的全部信息。

# ACCOUNT ID
aws sts get-caller-identity --query "Account" --output text

# REGION CODE
aws configure get region

# CLUSTER EKS NAME
aws eks list-clusters --query "clusters" --output text

# GENERATE EFS TOKEN
uuidgen

为应用程序工作负载创建 Kubernetes 命名空间和 Fargate 配置文件。

创建命名空间以接收与 Amazon EFS 交互的应用程序工作负载。运行 create-k8s-ns-and-linked-fargate-profile.sh 脚本。您可以选择使用自定义的命名空间名称或默认提供的命名空间 poc-efs-eks-fargate。

使用自定义的应用程序命名空间名称：

export $APP_NAMESPACE=<CUSTOM_NAME>
./scripts/epic01/create-k8s-ns-and-linked-fargate-profile.sh \
-c "$CLUSTER_NAME" -n "$APP_NAMESPACE"

不使用自定义的应用程序命名空间名称：

./scripts/epic01/create-k8s-ns-and-linked-fargate-profile.sh \
    -c "$CLUSTER_NAME"

其中，$CLUSTER_NAME 是 Amazon EKS 集群的名称。-n <NAMESPACE> 参数是可选的；如果未指定该参数，系统将提供默认生成的命名空间名称。

生成唯一令牌。

Amazon EFS 需要一个创建令牌，以确保幂等操作（使用相同的创建令牌调用该操作没有效果）。若要满足此要求，您必须通过可用技术生成唯一令牌。例如，您可以生成通用唯一标识符（UUID），以用作创建令牌。

创建 Amazon EFS 文件系统。

创建用于接收应用程序工作负载读取和写入数据文件的文件系统。您可以创建加密或非加密文件系统。（根据最佳实践标准，此模式的代码将创建加密系统，以默认启用静态加密。） 您可以使用唯一对称的 AWS KMS 密钥对文件系统进行加密。如果未指定自定义密钥，则使用 AWS 托管式密钥。

为 Amazon EFS 生成唯一令牌后，使用 create-efs.sh 脚本创建加密或非加密 Amazon EFS 文件系统。

使用静态加密，无 KMS 密钥：

./scripts/epic02/create-efs.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN"

其中，$CLUSTER_NAME 是 Amazon EKS 集群的名称，$EFS_CREATION_TOKEN 是文件系统的唯一创建令牌。

使用静态加密，有 KMS 密钥：

./scripts/epic02/create-efs.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN" \
    -k "$KMS_KEY_ALIAS"

其中，$CLUSTER_NAME 是 Amazon EKS 集群的名称，$EFS_CREATION_TOKEN 是文件系统的唯一创建令牌，$KMS_KEY_ALIAS 是 KMS 密钥的别名。

不使用加密：

./scripts/epic02/create-efs.sh -d \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN"

其中，$CLUSTER_NAME 是 Amazon EKS 集群的名称，$EFS_CREATION_TOKEN 是文件系统的唯一创建令牌，–d 禁用静态加密。

创建安全组。

创建允许 Amazon EKS 集群访问 Amazon EFS 文件系统的安全组。

更新安全组的入站规则

更新安全组的入站规则，以允许对传入流量进行以下设置：

为每个私有子网添加挂载目标。

对于 Kubernetes 集群的每个私有子网，请为文件系统和安全组创建挂载目标。

部署 Amazon EFS CSI 驱动程序。

将 Amazon EFS CSI 驱动程序部署至集群。驱动程序会根据应用程序创建的持久卷声明预调配存储。运行 create-k8s-efs-csi-sc.sh 脚本，以将 Amazon EFS CSI 驱动程序和存储类别部署到集群中。

./scripts/epic03/create-k8s-efs-csi-sc.sh

此脚本使用 kubectl 实用程序，因此请确保上下文已配置且指向所需的 Amazon EKS 集群。

部署存储类。

将 Amazon EFS 配置器 (efs.csi.aws.com) 的存储类部署至集群中。

部署持久卷。

部署持久卷，并将其链接至创建的存储类和 Amazon EFS 文件系统的 ID。应用程序使用持久卷读取和写入内容。您可以在存储字段中为持久卷指定任何大小。Kubernetes 需要此字段，但由于 Amazon EFS 是弹性文件系统，因此其不会强制实施任何文件系统容量。您可以部署加密或不加密的持久卷。（根据最佳实践标准，Amazon EFS CSI 驱动程序默认启用加密。) 运行 deploy-poc-app.sh 脚本，以部署持久卷、持久卷声明和两个工作负载。

使用传输中加密：

./scripts/epic04/deploy-poc-app.sh \
    -t "$EFS_CREATION_TOKEN"

其中，$EFS_CREATION_TOKEN 是文件系统的唯一创建令牌。

不使用传输中加密：

./scripts/epic04/deploy-poc-app.sh -d \
    -t "$EFS_CREATION_TOKEN"

其中，$EFS_CREATION_TOKEN 是文件系统的唯一创建令牌，–d 禁用传输中加密。

部署应用程序请求的持久卷声明。

部署应用程序请求的持久卷声明，并将其链接到存储类别。使用与之前创建的持久卷相同的访问模式。您可以在存储字段中为持久卷声明指定任何大小。Kubernetes 需要此字段，但由于 Amazon EFS 是弹性文件系统，因此其不会强制实施任何文件系统容量。

部署工作负载 1。

部署可代表应用程序工作负载 1 的容器组（pod）。此工作负载会将内容写入文件 /data/out1.txt。

部署工作负载 2。

部署可代表应用程序工作负载 2 的容器组（pod）。此工作负载会将内容写入文件 /data/out2.txt。

检查 PersistentVolume 的状态。

输入以下命令以检查 PersistentVolume 的状态。

kubectl get pv

有关示例输出，请参阅其他信息部分。

检查 PersistentVolumeClaim 的状态。

输入以下命令以检查 PersistentVolumeClaim 的状态。

kubectl -n poc-efs-eks-fargate get pvc

有关示例输出，请参阅其他信息部分。

验证工作负载 1 是否可写入文件系统。

输入以下命令以验证工作负载 1 是否正在向 /data/out1.txt 写入数据。

kubectl exec -ti poc-app1 -n poc-efs-eks-fargate -- tail -f /data/out1.txt

结果类似于以下内容：

...
Thu Sep  3 15:25:07 UTC 2023 - PoC APP 1
Thu Sep  3 15:25:12 UTC 2023 - PoC APP 1
Thu Sep  3 15:25:17 UTC 2023 - PoC APP 1
...

验证工作负载 2 是否可写入文件系统。

输入以下命令以验证工作负载 2 是否正在向 /data/out2.txt 写入数据。

kubectl -n $APP_NAMESPACE exec -ti poc-app2 -- tail -f /data/out2.txt

结果类似于以下内容：

...
Thu Sep  3 15:26:48 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:53 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:58 UTC 2023 - PoC APP 2
...

验证工作负载 1 是否可以读取由工作负载 2 写入的文件。

输入以下命令，以验证工作负载 1 是否能够读取由工作负载 2 写入的 /data/out2.txt 文件。

kubectl exec -ti poc-app1 -n poc-efs-eks-fargate -- tail -n 3 /data/out2.txt

结果类似于以下内容：

...
Thu Sep  3 15:26:48 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:53 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:58 UTC 2023 - PoC APP 2
...

验证工作负载 2 是否可以读取由工作负载 1 写入的文件。

输入以下命令，以验证工作负载 1 是否能够读取由工作负载 2 写入的 /data/out1.txt 文件。

kubectl -n $APP_NAMESPACE exec -ti poc-app2 -- tail -n 3 /data/out1.txt

结果类似于以下内容：

...
Thu Sep  3 15:29:22 UTC 2023 - PoC APP 1
Thu Sep  3 15:29:27 UTC 2023 - PoC APP 1
Thu Sep  3 15:29:32 UTC 2023 - PoC APP 1
...

验证移除应用程序组件后文件是否保留。

接下来，使用脚本移除应用程序组件（持久卷、持久卷声明和容器组（pod）），并验证文件 /data/out1.txt 和 /data/out2.txt 是否仍保留在文件系统中。使用以下命令运行 validate-efs-content.sh 脚本。

./scripts/epic05/validate-efs-content.sh \
    -t "$EFS_CREATION_TOKEN"

其中，$EFS_CREATION_TOKEN 是文件系统的唯一创建令牌。

结果类似于以下内容：

pod/poc-app-validation created
Waiting for pod get Running state...
Waiting for pod get Running state...
Waiting for pod get Running state...
Results from execution of 'find /data' on validation process pod:
/data
/data/out2.txt
/data/out1.txt

监控应用程序日志。

作为第二天操作的一部分，请将应用程序日志发送到 Amazon CloudWatch 进行监控。

使用 Container Insights 监控 Amazon EKS 和 Kubernetes 容器。

作为第二天操作的一部分，使用亚马逊容器洞察监控亚马逊 EKS 和 Kubernetes 系统。 CloudWatch 此工具从不同级别和维度的容器化应用程序收集、聚合以及汇总指标。有关更多信息，请参阅相关资源部分。

使用监控 Amazon EFS CloudWatch。

作为第二天操作的一部分，使用 Amazon 监控文件系统 CloudWatch，Amazon 会收集来自 Amazon EFS 的原始数据并将其处理为可读的近乎实时的指标。有关更多信息，请参阅相关资源部分。

清理所有已创建的模式资源。

完成本模式后，清理所有资源，以避免产生 AWS 费用。使用 PoC 应用程序后，请运行 clean-up-resources.sh 脚本，以删除所有资源。完成下列选项之一。

使用静态加密，有 KMS 密钥：

./scripts/epic06/clean-up-resources.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN" \
    -k "$KMS_KEY_ALIAS"

其中，$CLUSTER_NAME 是 Amazon EKS 集群的名称，$EFS_CREATION_TOKEN 是文件系统的创建令牌，$KMS_KEY_ALIAS 是 KMS 密钥的别名。

不使用静态加密：

./scripts/epic06/clean-up-resources.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN"

其中，$CLUSTER_NAME 是 Amazon EKS 集群的名称，$EFS_CREATION_TOKEN 是文件系统的创建令牌。