Ejecutar cargas de trabajo con estado y almacenamiento de datos persistente mediante Amazon EFS en Amazon EKS con AWS Fargate

Cree un clúster de Amazon EKS.

Exporte variables de entorno.

Use el script env.sh. Esto proporciona la información necesaria en los siguientes pasos.

source ./scripts/env.sh
Inform the AWS Account ID:
<13-digit-account-id>
Inform your AWS Region:
<aws-Region-code>
Inform your Amazon EKS Cluster Name:
<amazon-eks-cluster-name>
Inform the Amazon EFS Creation Token:
<self-genereated-uuid>

Si aún no lo ha indicado, puede obtener toda la información solicitada anteriormente con los siguientes comandos de CLI.

# ACCOUNT ID
aws sts get-caller-identity --query "Account" --output text

# REGION CODE
aws configure get region

# CLUSTER EKS NAME
aws eks list-clusters --query "clusters" --output text

# GENERATE EFS TOKEN
uuidgen

Cree un espacio de nombres de Kubernetes y perfil de Fargate para las cargas de trabajo de las aplicaciones.

Cree un espacio de nombres para recibir las cargas de trabajo de las aplicaciones que interactúan con Amazon EFS. Ejecute el script create-k8s-ns-and-linked-fargate-profile.sh. Puede elegir usar un nombre para el espacio de nombres personalizado o el espacio de nombres proporcionado por defecto poc-efs-eks-fargate.

Con un nombre para el espacio de nombres de la aplicación personalizado:

export $APP_NAMESPACE=<CUSTOM_NAME>
./scripts/epic01/create-k8s-ns-and-linked-fargate-profile.sh \
-c "$CLUSTER_NAME" -n "$APP_NAMESPACE"

Sin un nombre para el espacio de nombres de la aplicación personalizado:

./scripts/epic01/create-k8s-ns-and-linked-fargate-profile.sh \
    -c "$CLUSTER_NAME"

donde $CLUSTER_NAME es el nombre de su clúster de Amazon EKS. El parámetro -n <NAMESPACE> es opcional; si no se indica, se proporcionará un nombre para el espacio de nombres generado por defecto.

Genere un token único.

Amazon EFS requiere la creación de un token para garantizar la operación de idempotencia (llamar a la operación con el mismo token de creación no tiene ningún efecto). Para cumplir con este requisito, debe generar un token único mediante una técnica disponible. Por ejemplo, puede generar un identificador único universal (UUID) para usarlo como token de creación.

Crear un sistema de archivos de Amazon EFS.

Cree el sistema de archivos para recibir los archivos de datos que leen y escriben las cargas de trabajo de la aplicación. Puede crear un sistema de archivos cifrado o no cifrado. (Como práctica recomendada, el código de este patrón crea un sistema cifrado para habilitar el cifrado en reposo de forma predeterminada). Puede utilizar una clave de AWS KMS simétrica y única para cifrar su sistema de archivos. Si no se especifica, se utiliza una clave administrada de AWS.

Utilice el script create-efs.sh para crear un sistema de archivos Amazon EFS cifrado o no cifrado, después de generar un token único para Amazon EFS.

Con el cifrado en reposo, sin clave KMS:

./scripts/epic02/create-efs.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN"

donde $CLUSTER_NAME es el nombre de su clúster de Amazon EKS y $EFS_CREATION_TOKEN es un token de creación único para el sistema de archivos.

Con el cifrado en reposo, con una clave KMS:

./scripts/epic02/create-efs.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN" \
    -k "$KMS_KEY_ALIAS"

donde $CLUSTER_NAME es el nombre de su clúster de Amazon EKS, $EFS_CREATION_TOKEN es un token de creación único para el sistema de archivos y $KMS_KEY_ALIAS es el alias para la clave KMS.

Sin cifrado:

./scripts/epic02/create-efs.sh -d \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN"

donde $CLUSTER_NAME es el nombre de su clúster de Amazon EKS, $EFS_CREATION_TOKEN es un token de creación único para el sistema de archivos y –d deshabilita el cifrado en reposo.

Crear un grupo de seguridad.

Cree un grupo de seguridad para permitir al clúster de Amazon EKS acceder al sistema de archivos de Amazon EFS.

Actualizar la regla de entrada del grupo de seguridad.

Actualice las reglas de entrada del grupo de seguridad para permitir el tráfico entrante para las siguientes configuraciones:

Agregar un destino de montaje para cada subred privada.

Para cada subred privada del clúster de Kubernetes, cree un destino de montaje para el sistema de archivos y el grupo de seguridad.

Implementar el controlador de CSI de Amazon EFS.

Implemente el controlador de CSI de Amazon EFS en el clúster. El controlador aprovisiona el almacenamiento de acuerdo con las demandas de volumen persistentes creadas por las aplicaciones. Use el script create-k8s-efs-csi-sc.sh para implementar el controlador de CSI de Amazon EFS y la clase de almacenamiento en el clúster:

./scripts/epic03/create-k8s-efs-csi-sc.sh

Este script usa la utilidad kubectl, así que asegúrese de que el contexto se haya configurado y que apunte al clúster de Amazon EKS deseado.

Implementar la clase de almacenamiento.

Implemente la clase de almacenamiento en el clúster del aprovisionador de Amazon EFS (efs.csi.aws.com).

Implementar el volumen persistente.

Implemente el volumen persistente y vincúlelo a la clase de almacenamiento creada y al ID del sistema de archivos Amazon EFS. La aplicación utiliza el volumen persistente para leer y escribir contenido. Puede especificar cualquier tamaño para el volumen persistente en el campo de almacenamiento. Kubernetes requiere este campo, pero dado que Amazon EFS es un sistema de archivos elástico, no aplica ningún límite de capacidad del sistema de archivos. Puede implementar el volumen persistente con o sin cifrado. (El controlador CSI de Amazon EFS habilita el cifrado de forma predeterminada, como práctica recomendada). Use el script deploy-poc-app.sh para implementar el volumen persistente, la demanda de volumen persistente y las dos cargas de trabajo.

Con cifrado en tránsito:

./scripts/epic04/deploy-poc-app.sh \
    -t "$EFS_CREATION_TOKEN"

donde $EFS_CREATION_TOKEN es el token de creación único para el sistema de archivos.

Sin cifrado en tránsito:

./scripts/epic04/deploy-poc-app.sh -d \
    -t "$EFS_CREATION_TOKEN"

donde $EFS_CREATION_TOKEN es el token de creación único para el sistema de archivos y –d desactiva el cifrado en tránsito.

Implementar la demanda de volumen persistente solicitada por la aplicación.

Implemente la demanda de volumen persistente solicitada por la aplicación y vincúlela a la clase de almacenamiento. Utilice el mismo modo de acceso que el volumen persistente que creó anteriormente. Puede especificar cualquier tamaño para la demanda de volumen persistente en el campo de almacenamiento. Kubernetes requiere este campo, pero dado que Amazon EFS es un sistema de archivos elástico, no aplica ningún límite de capacidad del sistema de archivos.

Implementar la carga de trabajo 1.

Implemente el pod que representa la carga de trabajo 1 de la aplicación. Esta carga de trabajo escribe el contenido en el archivo /data/out1.txt.

Implementar la carga de trabajo 2.

Implemente el pod que representa la carga de trabajo 2 de la aplicación. Esta carga de trabajo escribe el contenido en el archivo /data/out2.txt.

Compruebe el estado de PersistentVolume.

Ingrese el siguiente comando para verificar el estado de PersistentVolume.

kubectl get pv

Para obtener un ejemplo de salida, consulte la sección Información adicional.

Compruebe el estado de PersistentVolumeClaim.

Ingrese el siguiente comando para verificar el estado de PersistentVolumeClaim.

kubectl -n poc-efs-eks-fargate get pvc

Para obtener un ejemplo de salida, consulte la sección Información adicional.

Validar que la carga de trabajo 1 pueda escribir en el sistema de archivos.

Ingrese el siguiente comando para validar que la carga de trabajo 1 esté escribiendo en /data/out1.txt.

kubectl exec -ti poc-app1 -n poc-efs-eks-fargate -- tail -f /data/out1.txt

Los resultados son similares a los siguientes:

...
Thu Sep  3 15:25:07 UTC 2023 - PoC APP 1
Thu Sep  3 15:25:12 UTC 2023 - PoC APP 1
Thu Sep  3 15:25:17 UTC 2023 - PoC APP 1
...

Validar que la carga de trabajo 2 pueda escribir en el sistema de archivos.

Ingrese el siguiente comando para validar que la carga de trabajo 2 esté escribiendo en /data/out2.txt.

kubectl -n $APP_NAMESPACE exec -ti poc-app2 -- tail -f /data/out2.txt

Los resultados son similares a los siguientes:

...
Thu Sep  3 15:26:48 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:53 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:58 UTC 2023 - PoC APP 2
...

Validar que la carga de trabajo 1 pueda leer el archivo escrito por la carga de trabajo 2.

Ingrese el siguiente comando para validar que la carga de trabajo 1 pueda leer el archivo /data/out2.txt escrito por la carga de trabajo 2.

kubectl exec -ti poc-app1 -n poc-efs-eks-fargate -- tail -n 3 /data/out2.txt

Los resultados son similares a los siguientes:

...
Thu Sep  3 15:26:48 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:53 UTC 2023 - PoC APP 2
Thu Sep  3 15:26:58 UTC 2023 - PoC APP 2
...

Validar que la carga de trabajo 2 pueda leer el archivo escrito por la carga de trabajo 1.

Ingrese el siguiente comando para validar que la carga de trabajo 2 pueda leer el archivo /data/out1.txt escrito por la carga de trabajo 1.

kubectl -n $APP_NAMESPACE exec -ti poc-app2 -- tail -n 3 /data/out1.txt

Los resultados son similares a los siguientes:

...
Thu Sep  3 15:29:22 UTC 2023 - PoC APP 1
Thu Sep  3 15:29:27 UTC 2023 - PoC APP 1
Thu Sep  3 15:29:32 UTC 2023 - PoC APP 1
...

Validar que los archivos se conserven después de eliminar los componentes de la aplicación.

A continuación, utilice un script para eliminar los componentes de la aplicación (volumen persistente, solicitud de volumen persistente y pods) y comprobar que los archivos /data/out1.txt y /data/out2.txt se retienen en el sistema de archivos. Ejecute el script validate-efs-content.sh mediante el comando siguiente.

./scripts/epic05/validate-efs-content.sh \
    -t "$EFS_CREATION_TOKEN"

donde $EFS_CREATION_TOKEN es el token de creación único para el sistema de archivos.

Los resultados son similares a los siguientes:

pod/poc-app-validation created
Waiting for pod get Running state...
Waiting for pod get Running state...
Waiting for pod get Running state...
Results from execution of 'find /data' on validation process pod:
/data
/data/out2.txt
/data/out1.txt

Supervisar los registros de aplicación.

Como parte del segundo día de operación, envíe los registros de la aplicación a Amazon CloudWatch para su supervisión.

Supervisar contenedores de Amazon EKS y de Kubernetes con Container Insights.

Como parte del segundo día de operación, supervise los sistemas Amazon EKS y Kubernetes mediante Información de contenedores de Amazon CloudWatch. Esta herramienta recopila, agrega y resume métricas de aplicaciones en contenedores en diferentes niveles y dimensiones. Para obtener más información, consulte la sección Recursos relacionados.

Supervisar Amazon EFS con CloudWatch.

Como parte del segundo día de operación, supervise los sistemas de archivos mediante Amazon CloudWatch, que recopila y procesa los datos sin formato de Amazon EFS y los convierte en métricas legibles prácticamente en tiempo real. Para obtener más información, consulte la sección Recursos relacionados.

Limpiar todos los recursos creados para el patrón.

Tras completar este patrón, limpie todos los recursos para evitar incurrir en cargos de AWS. Use el script clean-up-resources.sh para eliminar todos los recursos una vez que haya terminado de usar la aplicación PoC. Complete una de las siguientes opciones:

Con el cifrado en reposo, con una clave KMS:

./scripts/epic06/clean-up-resources.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN" \
    -k "$KMS_KEY_ALIAS"

donde $CLUSTER_NAME es el nombre de su clúster de Amazon EKS, $EFS_CREATION_TOKEN es un token de creación único para el sistema de archivos y $KMS_KEY_ALIAS es el alias para la clave KMS.

Sin cifrado en reposo:

./scripts/epic06/clean-up-resources.sh \
    -c "$CLUSTER_NAME" \
    -t "$EFS_CREATION_TOKEN"

donde $CLUSTER_NAME es el nombre de su clúster de Amazon EKS y $EFS_CREATION_TOKEN es un token de creación único para el sistema de archivos.