Configuración y uso de Mountpoint - Amazon Simple Storage Service
Uso de Mountpoint para Amazon S3Configuración del almacenamiento en caché en Mountpoint

Configuración y uso de Mountpoint

Para utilizar Mountpoint para Amazon S3, el host necesita credenciales de AWS válidas con acceso al bucket o buckets de Amazon S3 que desea montar. Para conocer las distintas formas de autenticación, consulte Credenciales de AWS de Mountpoint en GitHub.

Por ejemplo, puede crear un usuario y rol de AWS Identity and Access Management (IAM) nuevos para este fin. Asegúrese de que este rol tiene acceso al bucket o buckets que desea montar. Puede pasar el rol de IAM a su instancia de Amazon EC2 con un perfil de instancia.

Uso de Mountpoint para Amazon S3

Utilice Mountpoint para Amazon S3 para hacer lo siguiente:

  1. Monte los buckets de Amazon S3.

    1. Puede montar los buckets de Amazon S3 manualmente con el comando mount-s3.

      En el siguiente ejemplo, reemplace amzn-s3-demo-bucket por el nombre de su bucket de S3 y reemplace ~/mnt por el directorio de su host en el que desea que se monte su bucket de S3.

      mkdir ~/mnt
mount-s3 amzn-s3-demo-bucket ~/mnt

      Dado que el cliente de Mountpoint se ejecuta de forma predeterminada en segundo plano, el directorio ~/mnt le concede ahora acceso a los objetos del bucket de Amazon S3.

    2. De forma alternativa, puede configurar el montaje automático de buckets de Amazon S3 cuando se inicie o reinicie una instancia.

      En el caso de las instancias de Amazon EC2 existentes o en ejecución, busque el archivo fstab en el directorio /etc/fstab del sistema Linux. A continuación, agregue una línea al archivo fstab. Por ejemplo, para montar amzn-s3-demo-bucket mediante el prefijo example-prefix/ a la ruta del sistema /mnt/mountpoint, consulte lo siguiente. Para utilizar el siguiente ejemplo, sustituya los marcadores de posición del usuario con su propia información. 

      s3://amzn-s3-demo-bucket/example-prefix/ /mnt/mountpoint mount-s3 _netdev,nosuid,nodev,nofail,rw 0 0

      Consulte la tabla siguiente para obtener una explicación de las opciones utilizadas en el ejemplo.

      Opción Descripción
      _netdev

      Especifica que el sistema de archivos requiere una red para el montaje.
      nosuid

      Especifica que el sistema de archivos no puede contener archivos de ID de usuario establecidos.
      nodev

      Especifica que el sistema de archivos no puede contener dispositivos especiales.
      nofail

      Especifica que un error al montar el sistema de archivos debe permitir que el sistema arranque.
      rw

      Especifica que el punto de montaje se cree con permisos de lectura y escritura. Como alternativa, utilice ro solo para lectura.

      Para las nuevas instancias de Amazon EC2, puede modificar los datos de usuario en una plantilla de Amazon EC2 y configurar el archivo fstab como se indica a continuación. Para utilizar el siguiente ejemplo, sustituya los marcadores de posición del usuario con su propia información.

      #!/bin/bash -e
MP_RPM=$(mktemp --suffix=.rpm)
curl https://s3.amazonaws.com/mountpoint-s3-release/latest/x86_64/mount-s3.rpm > $MP_RPM
yum install -y $MP_RPM
rm $MP_RPM

MNT_PATH=/mnt/mountpoint
echo "s3://amzn-s3-demo-bucket/ ${MNT_PATH} mount-s3 _netdev,nosuid,nodev,rw,allow-other,nofail" >> /etc/fstab
mkdir $MNT_PATH

systemctl daemon-reload
mount -a

  2. Acceda a los objetos del bucket de Amazon S3 a través de Mountpoint.

    Después de montar su bucket localmente, puede utilizar comandos de Linux comunes, como cat o ls, para trabajar con sus objetos de S3. Mountpoint para Amazon S3 interpreta las claves del bucket de Amazon S3 como rutas del sistema de archivos dividiéndolas en el carácter de barra diagonal (/). Por ejemplo, si tiene la clave de objeto Data/2023-01-01.csv en su bucket, tendrá un directorio llamado Data en su sistema de archivos de Mountpoint, con un archivo denominado 2023-01-01.csv en él.

    Mountpoint para Amazon S3 no implementa intencionadamente la especificación completa del estándar POSIX para sistemas de archivos. Mountpoint se ha optimizado para cargas de trabajo que necesitan un acceso de lectura y escritura de alto rendimiento a los datos almacenados en Amazon S3 a través de una interfaz de sistema de archivos, pero que, por lo demás, no dependen de las características del sistema de archivos. Para obtener más información, consulte el comportamiento del sistema de archivos Mountpoint para Amazon S3 en GitHub. Los clientes que necesiten una semántica más completa del sistema de archivos deben considerar otros servicios de archivos de AWS, como Amazon Elastic File System (Amazon EFS) o Amazon FSx.

  3. Desmonte el bucket de Amazon S3 mediante el comando umount. Este comando desmonta su bucket de S3 y sale de Mountpoint.

    Para utilizar el siguiente comando de ejemplo, reemplace ~/mnt por el directorio de su host en el que esté montado su bucket de S3.

    umount ~/mnt
    nota

    Para obtener una lista de opciones para este comando, ejecute umount --help.

Para obtener más detalles sobre la configuración de Mountpoint, consulte Configuración del bucket de Amazon S3 y Configuración del sistema de archivos en GitHub.

Configuración del almacenamiento en caché en Mountpoint

Mountpoint para Amazon S3 admite varios tipos distintos de almacenamiento en caché de datos. Para acelerar las solicitudes de lectura repetidas, puede activar lo siguiente:

  • Caché local: puede utilizar una caché local en el almacenamiento de instancias de Amazon EC2 o en un volumen de Amazon Elastic Block Store. Si lee de forma repetida los mismos datos de la misma instancia de computación y tiene espacio sin usar en el almacenamiento de instancias local para el conjunto de datos leídos repetidamente, debe activar una caché local.

  • Caché compartida: puede utilizar una caché compartida en S3 Express One Zone. Si lee de forma repetida objetos pequeños de varias instancias de computación o si no conoce el tamaño del conjunto de datos que lee repetidamente y desea aprovechar la elasticidad del tamaño de la caché, debe activar la caché compartida. Una vez que la active, Mountpoint retiene los objetos con un tamaño de hasta un megabyte en un bucket de directorio que utiliza S3 Express One Zone.

  • Caché local y compartida combinadas: si tiene espacio sin usar en la caché local, pero también quiere compartir la caché entre varias instancias, puede activar una caché local y una caché compartida.

El almacenamiento en caché en Mountpoint es ideal para casos de uso en los que se leen repetidamente los mismos datos que no cambian durante las múltiples lecturas. Por ejemplo, puede utilizar el almacenamiento en caché con trabajos de entrenamiento de machine learning que necesiten leer un conjunto de datos de entrenamiento varias veces para mejorar la precisión del modelo.

Para obtener más información sobre cómo configurar el almacenamiento en caché en Mountpoint, consulte los siguientes ejemplos.

Caché local

Puede activar una caché local con la marca --cache CACHE_PATH. En el siguiente ejemplo, reemplace CACHE_PATH por la ruta de archivo al directorio en el que quiere almacenar en caché los datos. Reemplace amzn-s3-demo-bucket por el nombre del bucket de Amazon S3 y reemplace ~/mnt por el directorio del host en el que desea que se monte el bucket de S3.

mkdir ~/mnt
mount-s3 --cache CACHE_PATH amzn-s3-demo-bucket ~/mnt

Cuando activa el almacenamiento en caché local mientras está montando un bucket de Amazon S3, Mountpoint crea un subdirectorio vacío en la ubicación de caché configurada, si ese subdirectorio aún no existe. Al montar un bucket por primera vez y al desmontarlo, Mountpoint elimina el contenido de la caché local.

importante

Si activa el almacenamiento en caché local, Mountpoint conservará el contenido de los objetos no cifrados del bucket de Amazon S3 montado en la ubicación de almacenamiento en caché local proporcionada en el montaje. Para proteger los datos, debe restringir el acceso a la ubicación de la caché de datos mediante mecanismos de control de acceso del sistema de archivos.

Caché compartida

Si lee de forma repetida objetos pequeños (hasta 1 MB) de varias instancias de computación o si el tamaño del conjunto de datos que lee repetidamente suele superar el tamaño de la caché local, debe usar una caché compartida en S3 Express One Zone. Al leer los mismos datos de forma repetida desde varias instancias, se mejora la latencia, ya que se evitan solicitudes redundantes al bucket de Amazon S3 montado.

Una vez que opte por la caché compartida, pagará por los datos almacenados en caché en el bucket de directorio en S3 Express One Zone. También paga las solicitudes realizadas en los datos en el bucket de directorio de S3 Express One Zone. Para obtener más información, consulte Precios de Amazon S3. Mountpoint nunca elimina los objetos en caché de los buckets de directorio. Para administrar los costos de almacenamiento, debe configurar una política de ciclo de vida en el bucket de directorio para que Amazon S3 haga caducar los datos almacenados en caché en S3 Express One Zone tras el periodo de tiempo que especifique. Para obtener más información, consulte Configuración del almacenamiento en caché de Mountpoint para Amazon S3 en GitHub.

Para activar el almacenamiento en caché en S3 Express One Zone al montar un bucket de Amazon S3 en la instancia de computación, utilice la marca --cache-xz y especifique un bucket de directorio como ubicación de la caché. En el ejemplo siguiente, reemplace los marcadores de posición de entrada del usuario.

mount-s3 amzn-s3-demo-bucket ~/mnt --cache-xz amzn-s3-demo-bucket--usw2-az1--x-s3

Caché local y compartida combinadas

Si tiene espacio sin usar en la instancia, pero también desea usar una caché compartida entre varias instancias, puede activar una caché local y una caché compartida. Con esta configuración de almacenamiento en caché, puede evitar solicitudes de lectura redundantes desde la misma instancia a la caché compartida del bucket de directorio cuando los datos necesarios se guardan en caché en el almacenamiento local. Esto puede reducir los costos y mejorar el rendimiento.

Para activar una caché local y una caché compartida al montar un bucket de Amazon S3, debe especificar ambas ubicaciones de caché mediante las marcas --cache y --cache-xz. Para usar el siguiente ejemplo y activar una caché local y una compartida, reemplace los marcadores de posición de entrada del usuario.

mount -s3 amzn-s3-demo-bucket ~/mnt --cache /path/to/mountpoint/cache --cache -xz amzn-s3-demo-bucket--usw2-az1--x-s3

Para obtener más información, consulte Configuración del almacenamiento en caché de Mountpoint para Amazon S3 en GitHub.

importante

Si habilita el almacenamiento en caché compartido, Mountpoint copiará el contenido de los objetos del bucket de S3 montado al bucket de directorio de Amazon S3 que usted proporcione como ubicación de caché compartida, de modo que cualquier persona que llame y tenga acceso al bucket de directorio de S3 podrá acceder a él. Para proteger los datos en caché, debe seguir las Prácticas recomendadas de seguridad para Amazon S3 para asegurarse de que los buckets empleen las políticas correctas y que no sean accesibles públicamente. Debería usar un bucket de directorio dedicado al almacenamiento en caché compartido de Mountpoint y conceder acceso únicamente a los clientes de Mountpoint.