Charges de travail hautes performances - Amazon Simple Storage Service
S3 Express One Zone

Charges de travail hautes performances

S3 Express One Zone

Vous pouvez utiliser Amazon S3 Express One Zone pour les charges de travail hautes performances. S3 Express One Zone est la première classe de stockage S3 dans laquelle vous pouvez sélectionner une zone de disponibilité unique avec la possibilité de regrouper le stockage d’objets et les ressources de calcul, ce qui assure la vitesse d’accès la plus élevée possible. Les objets figurant dans S3 Express One Zone sont stockés dans des compartiments de répertoires situés dans des zones de disponibilité. Pour plus d’informations sur les compartiments de répertoires, consultez Compartiments de répertoires.

Amazon S3 Express One Zone est une classe de stockage Amazon S3 à zone unique et hautes performances, spécialement conçue pour fournir un accès aux données constant en moins de dix millisecondes pour vos applications les plus sensibles à la latence. S3 Express One Zone est la classe de stockage d’objets cloud qui présente la latence la plus faible à l’heure actuelle, avec une vitesse d’accès aux données jusqu’à 10 fois plus grande et des coûts de demande 50 % inférieurs à ceux de S3 Standard. Les applications peuvent bénéficier immédiatement d’une accélération des demandes. S3 Express One Zone offre une élasticité des performances similaire à celle des autres classes de stockage S3. S3 Express One Zone est utilisé pour les charges de travail ou les applications critiques en termes de performances qui nécessitent une latence constante inférieure à dix millisecondes.

Comme avec les classes de stockage Amazon S3, vous n’avez pas besoin de planifier ni de provisionner à l’avance les exigences en matière de capacité ou de débit. Vous pouvez augmenter ou diminuer la capacité de stockage en fonction de vos besoins, et accéder à vos données via les API Amazon S3.

La classe de stockage Amazon S3 Express One Zone est conçue pour garantir une disponibilité de 99,95 % au sein d’une même zone de disponibilité et s’appuie sur le contrat de niveau de service Amazon S3. Avec S3 Express One Zone, vos données sont stockées de façon redondante sur plusieurs appareils au sein d’une même zone de disponibilité. S3 Express One Zone est conçu pour gérer les défaillances simultanées de périphériques en détectant et réparant rapidement toute perte de redondance. En cas de panne de l’appareil existant, S3 Express One Zone transfère automatiquement les demandes vers de nouveaux appareils au sein d’une zone de disponibilité. Cette redondance permet de garantir un accès ininterrompu à vos données au sein d’une zone de disponibilité.

S3 Express One Zone est idéal pour toute application où il est important de réduire au maximum la latence requise pour accéder à un objet. Il peut s’agir de flux de travail impliquant des interactions avec des utilisateurs, tels que le montage vidéo, où les créatifs ont besoin d’un accès réactif au contenu à partir de leur interface utilisateur. S3 Express One Zone profite également aux charges de travail d’analytique et de machine learning qui ont des exigences similaires en matière de réactivité de leurs données, notamment aux charges de travail présentant de nombreux petits accès ou un grand nombre d’accès aléatoires. S3 Express One Zone peut être utilisé avec d’autres Services AWS pour prendre en charge des charges de travail d’analytique, ainsi que des charges de travail d’intelligence artificielle et de machine learning (IA/ML) telles qu’Amazon EMR, Amazon SageMaker AI et Amazon Athena.

Schéma illustrant le fonctionnement de S3 Express One Zone.

Pour les compartiments de répertoires qui utilisent la classe de stockage S3 Express One Zone, les données sont stockées sur plusieurs appareils au sein d’une même zone de disponibilité, mais elles ne sont pas stockées de manière redondante entre les zones de disponibilité. Lorsque vous créez un compartiment de répertoires pour utiliser la classe de stockage S3 Express One Zone, nous vous recommandons de spécifier une Région AWS et une zone de disponibilité locale pour vos instances de calcul Amazon EC2, Amazon Elastic Kubernetes Service ou Amazon Elastic Container Service (Amazon ECS) afin d’optimiser les performances.

Lorsque vous utilisez S3 Express One Zone, vous pouvez interagir avec votre compartiment de répertoires dans un cloud privé virtuel (VPC) à l’aide d’un point de terminaison de VPC de passerelle. Avec un point de terminaison de passerelle, vous pouvez accéder à des compartiments de répertoires S3 Express One Zone à partir de votre VPC sans passerelle Internet ni périphérique NAT pour votre VPC, sans frais supplémentaires.

Avec les compartiments de répertoires, vous pouvez utiliser un grand nombre des fonctionnalités et API Amazon S3 que vous utilisez avec les compartiments à usage général et les autres classes de stockage. Cela inclut Mountpoint pour Amazon S3, le chiffrement côté serveur avec des clés gérées par Amazon S3 (SSE-S3), le chiffrement côté serveur avec des clés AWS Key Management Service (AWS KMS), S3 Batch Operations et le blocage de l’accès public S3. Vous pouvez accéder à la classe de stockage S3 Express One Zone via la console Amazon S3, l’AWS Command Line Interface (AWS CLI), les kits AWS SDK et l’API REST Amazon S3.

Pour plus d’informations sur S3 Express One Zone, consultez les rubriques suivantes.

Présentation

Pour optimiser les performances et réduire la latence, S3 Express One Zone introduit les nouveaux concepts suivants.

Zones de disponibilité

La classe de stockage Amazon S3 Express One Zone est conçue pour garantir une disponibilité de 99,95 % au sein d’une même zone de disponibilité et s’appuie sur le contrat de niveau de service Amazon S3. Avec S3 Express One Zone, vos données sont stockées de façon redondante sur plusieurs appareils au sein d’une même zone de disponibilité. S3 Express One Zone est conçu pour gérer les défaillances simultanées de périphériques en détectant et réparant rapidement toute perte de redondance. En cas de panne de l’appareil existant, S3 Express One Zone transfère automatiquement les demandes vers de nouveaux appareils au sein d’une zone de disponibilité. Cette redondance permet de garantir un accès ininterrompu à vos données au sein d’une zone de disponibilité.

Une zone de disponibilité est un ou plusieurs centres de données discrets dotés d’une alimentation, d’un réseau et d’une connectivité redondants dans une Région AWS. Lorsque vous créez un compartiment de répertoires, vous choisissez la zone de disponibilité et la Région AWS où votre compartiment figurera.

Zone de disponibilité unique

Lorsque vous créez un compartiment de répertoires, vous choisissez la zone de disponibilité et la Région AWS.

Les compartiments de répertoires utilisent la classe de stockage S3 Express One Zone, conçue pour être utilisée par des applications sensibles aux performances. S3 Express One Zone est la première classe de stockage S3 dans laquelle vous pouvez sélectionner une zone de disponibilité unique avec la possibilité de regrouper le stockage d’objets et les ressources de calcul, ce qui assure la vitesse d’accès la plus élevée possible.

Avec S3 Express One Zone, vos données sont stockées de façon redondante sur plusieurs appareils au sein d’une même zone de disponibilité. S3 Express One Zone est conçu pour garantir une disponibilité de 99,95 % au sein d’une même zone de disponibilité et s’appuie sur le contrat de niveau de service Amazon S3. Pour plus d’informations, consultez  Zones de disponibilité

Points de terminaison et points de terminaison de VPC de passerelle

Les opérations d’API de gestion des compartiments de répertoires sont disponibles via un point de terminaison régional et sont appelées API de point de terminaison régional. CreateBucket et DeleteBucket sont des exemples d’opérations d’API de point de terminaison régional. Après avoir créé un compartiment de répertoires, vous pouvez utiliser les opérations d’API de point de terminaison zonal pour charger et gérer les objets dans votre compartiment de répertoires. Les opérations d’API de point de terminaison zonal sont disponibles via un point de terminaison zonal. PutObject et CopyObject sont des exemples d’opérations d’API de point de terminaison zonal.

Vous pouvez accéder à S3 Express One Zone à partir de votre VPC en utilisant des points de terminaison de VPC de passerelle. Après avoir créé un point de terminaison de passerelle, vous pouvez l’ajouter comme cible dans votre table de routage pour le trafic destiné à S3 Express One Zone depuis votre VPC. Comme avec Amazon S3, aucuns frais supplémentaires ne s’appliquent à l’utilisation de points de terminaison de passerelle. Pour plus d’informations sur la manière de configurer des points de terminaison de VPC de passerelle, consultez Mise en réseau des compartiments de répertoires.

Autorisation basée sur les sessions

Avec S3 Express One Zone, vous authentifiez et autorisez les demandes par le biais d’un nouveau mécanisme basé sur les sessions, optimisé pour assurer une latence minimale. Vous pouvez utiliser CreateSession pour demander des informations d’identification temporaires afin de bénéficier d’un accès à faible latence à votre compartiment. Ces informations d’identification temporaires sont limitées à un compartiment de répertoires S3 spécifique. Les jetons de session sont utilisés uniquement avec les opérations zonales (niveau objet) (à l’exception de CopyObject). Pour plus d’informations, consultez Autorisation des opérations d’API de point de terminaison zonal avec CreateSession.

Les kits AWS SDK pris en charge pour S3 Express One Zone gèrent l’établissement et l’actualisation des sessions en votre nom. Pour protéger vos sessions, les informations d’identification de sécurité temporaires expirent au bout de 5 minutes. Après avoir téléchargé et installé les kits AWS SDK et après avoir configuré les autorisations AWS Identity and Access Management (IAM) nécessaires, vous pouvez immédiatement commencer à utiliser les opérations d’API.

Fonctionnalités de S3 Express One Zone

Les fonctionnalités S3 suivantes sont disponibles pour S3 Express One Zone. Pour obtenir la liste complète des opérations d’API prises en charge et des fonctionnalités non prises en charge, consultez Différences pour les compartiments de répertoires.

Gestion des accès et sécurité

Vous pouvez utiliser les fonctionnalités suivantes pour auditer et gérer l’accès. Par défaut, les compartiments de répertoires sont privés et sont accessibles uniquement par les utilisateurs auxquels l’accès a été explicitement accordé. Contrairement aux compartiments à usage général, qui peuvent définir la limite de contrôle d’accès au niveau des compartiments, des préfixes ou des balises d’objet, la limite de contrôle d’accès pour les compartiments de répertoires est définie uniquement au niveau des compartiments. Pour plus d’informations, consultez Autorisation des opérations d’API de point de terminaison régional avec IAM.

  • Blocage de l’accès public S3 : tous les paramètres de blocage de l’accès public S3 sont activés par défaut au niveau des compartiments. Ce paramètre par défaut ne peut pas être modifié.

  • Propriété des objets S3 (propriétaire du compartiment appliqué par défaut) : les listes de contrôle d’accès (ACL) ne sont pas prises en charge pour les compartiments de répertoires. Les compartiments de répertoires utilisent automatiquement le paramètre Propriétaire du compartiment appliqué pour la propriété des objets S3. L’option Propriétaire du compartiment appliqué signifie que les listes ACL sont désactivées. Le propriétaire du compartiment possède automatiquement tous les objets du compartiment et en a le contrôle total. Ce paramètre par défaut ne peut pas être modifié.

  • AWS Identity and Access Management (IAM) : IAM vous aide à contrôler en toute sécurité l’accès à vos compartiments de répertoires. Vous pouvez utiliser IAM pour accorder l’accès aux opérations d’API (régionales) de gestion des compartiments et aux opérations d’API (zonales) de gestion des objets via l’action s3express:CreateSession. Pour plus d’informations, consultez Autorisation des opérations d’API de point de terminaison régional avec IAM. Contrairement aux actions de gestion d’objets, les actions de gestion de compartiments ne peuvent pas être effectuées entre comptes. Seul le propriétaire du compartiment peut effectuer ces actions.

  • Stratégies de compartiment : utilisez un langage de politique basé sur IAM afin de configurer les autorisations basées sur les ressources pour vos compartiments de répertoires. Vous pouvez également utiliser IAM pour contrôler l’accès à l’opération d’API CreateSession qui vous permet d’utiliser les opérations d’API de gestion des objets ou de gestion par zone. Vous pouvez accorder un accès intercompte ou un accès dans le même compte aux opérations d’API zonales. Pour plus d’informations sur les politiques et les autorisations S3 Express One Zone, consultez Autorisation des opérations d’API de point de terminaison régional avec IAM.

  • Analyseur d’accès IAM pour S3 : évaluez et surveillez vos stratégies d’accès pour vous assurer qu’elles fournissent uniquement l’accès prévu à vos ressources S3.

Journalisation et surveillance

S3 Express One Zone utilise les outils de journalisation et de surveillance S3 suivant pour surveiller et contrôler la façon dont vos ressources sont utilisées :

  • Métriques Amazon CloudWatch : surveillez vos applications et ressources AWS au moyen de CloudWatch pour collecter et suivre des métriques. S3 Express One Zone utilise le même espace de noms CloudWatch que les autres classes de stockage Amazon S3 (AWS/S3) et prend en charge les métriques de stockage quotidiennes pour les compartiments de répertoires : BucketSizeBytes et NumberOfObjects. Pour plus d’informations, consultez Surveillance des métriques avec Amazon CloudWatch.

  • Journaux AWS CloudTrail : AWS CloudTrail est un Service AWS qui vous aide à mettre en place un audit opérationnel et de risque, la gouvernance et la conformité de votre Compte AWS en enregistrant les actions entreprises par un utilisateur, un rôle ou un Service AWS. Pour S3 Express One Zone, CloudTrail capture les opérations d’API de point de terminaison régional (par exemple, CreateBucket et PutBucketPolicy) sous forme d’événements de gestion et les opérations d’API zonales (par exemple, GetObject et PutObject) sous forme d’événements de données. Ces événements incluent les actions entreprises dans le cadre des opérations de la AWS Management Console, de l’AWS Command Line Interface (AWS CLI), des kits AWS SDK et de l’API AWS. Pour plus d’informations, consultez Journalisation avec AWS CloudTrail pour S3 Express One Zone.

Note

Les journaux d’accès au serveur Amazon S3 ne sont pas pris en charge avec S3 Express One Zone.

Gestion des objets

Vous pouvez gérer le stockage d’objets à l’aide de la console Amazon S3, des kits AWS SDK et de l’AWS CLI. Les fonctionnalités suivantes sont disponibles pour la gestion des objets avec S3 Express One Zone :

  • S3 Batch Operations : utilisez Batch Operations pour effectuer des opérations en bloc sur des objets dans des compartiments de répertoires, par exemple, Copier et la Invoquer la fonction AWS Lambda. Par exemple, vous pouvez utiliser Batch Operations pour copier des objets entre des compartiments de répertoires et des compartiments à usage général. Batch Operations vous permet de gérer des milliards d’objets à l’échelle avec une seule demande S3 à l’aide des kits AWS SDK, de l’AWS CLI ou en quelques clics dans la console Amazon S3.

  • Importation : après avoir créé un compartiment de répertoires, vous pouvez le remplir d’objets à l’aide de la fonctionnalité d’importation dans la console Amazon S3. L’importation est une méthode simplifiée pour créer des tâches Batch Operations afin de copier des objets depuis des compartiments à usage général vers des compartiments de répertoires.

Kits AWS SDK et bibliothèques clientes

Vous pouvez gérer le stockage d’objets à l’aide des kits AWS SDK et des bibliothèques clientes.

  • Mountpoint pour Amazon S3 : Mountpoint pour Amazon S3 est un client de fichiers open source qui fournit un accès à haut débit, réduisant ainsi les coûts de calcul pour les lacs de données sur Amazon S3. Mountpoint pour Amazon S3 traduit les appels d’API du système de fichiers local en appels d’API d’objet S3 tels que GET et LIST. Il est idéal pour les charges de travail de lacs de données à lecture intense qui traitent des pétaoctets de données et qui nécessitent le débit élastique élevé fourni par Amazon S3 pour pouvoir augmenter et réduire la capacité de milliers d’instances.

  • S3A : S3A est une interface compatible Hadoop recommandée pour accéder aux magasins de données dans Amazon S3. S3A remplace le client du système de fichiers S3N Hadoop.

  • PyTorch sur AWS : PyTorch sur AWS est un framework open source de deep learning qui facilite le développement de modèles de machine learning et leur déploiement en production.

  • Kits AWS SDK : vous pouvez utiliser les kits AWS SDK lors du développement d’applications avec Amazon S3. Les kits AWS SDK simplifient vos tâches de programmation en encapsulant l’API REST Amazon S3 sous-jacente. Pour plus d’informations sur l’utilisation des kits AWS SDK avec S3 Express One Zone, consultez Kits AWS SDK .

Chiffrement et protection des données

Les objets dans S3 Express One Zone sont automatiquement chiffrés par chiffrement côté serveur avec des clés gérées par Amazon S3 (SSE-S3). S3 Express One Zone prend également en charge le chiffrement côté serveur avec des clés AWS Key Management Service (AWS KMS) (SSE-KMS). S3 Express One Zone ne prend pas en charge le chiffrement côté serveur avec des clés de chiffrement (SSE-C) fournies par le client, ni le chiffrement double couche côté serveur avec AWS KMS keys (DSSE-KMS). Pour plus d’informations, consultez Protection et chiffrement des données.

S3 Express One Zone vous offre la possibilité de choisir l’algorithme de somme de contrôle utilisé pour valider vos données pendant le chargement ou le téléchargement. Vous pouvez sélectionner l’un des algorithmes de contrôle d’intégrité des données Secure Hash Algorithms (SHA) ou Cyclic Redundancy Check (CRC) suivants : CRC32, CRC32C, SHA-1 ou SHA-256. Les sommes de contrôle basées sur MD5 ne sont pas prises en charge avec la classe de stockage S3 Express One Zone.

Pour plus d’informations, consultez Bonnes pratiques supplémentaires en matière de somme de contrôle S3.

AWS Signature Version 4 (SigV4)

S3 Express One Zone utilise AWS Signature Version 4 (SigV4). SigV4 est un protocole de signature utilisé pour authentifier les demandes adressées à Amazon S3 via HTTPS. S3 Express One Zone signe les demandes à l’aide d’AWS Sigv4. Pour plus d’informations, consultez Demandes d’authentification (AWS Signature Version 4) dans la Référence des API Amazon Simple Storage Service.

Forte cohérence

S3 Express One Zone assure une forte cohérence en lecture après écriture pour les demandes PUT et DELETE des objets figurant dans vos compartiments de répertoires dans toutes les Régions AWS. Pour plus d’informations, consultez Modèle de cohérence des données Amazon S3.

Vous pouvez utiliser les Services AWS suivants avec la classe de stockage S3 Express One Zone pour prendre en charge votre cas d’utilisation spécifique à faible latence.

  • Amazon Elastic Compute Cloud (Amazon EC2) : Amazon EC2 offre une capacité de calcul sécurisée et évolutive dans le AWS Cloud. En utilisant Amazon EC2, vous n’avez pas besoin d’investir dans du matériel au départ, ce qui vous permet de développer et de déployer des applications plus rapidement. Vous pouvez utiliser Amazon EC2 pour lancer autant de serveurs virtuels que nécessaire, configurer la sécurité et les réseaux, et gérer le stockage.

  • AWS Lambda – Lambda est un service de calcul qui vous permet d’exécuter du code sans provisionner ni gérer de serveurs. Vous configurez des paramètres de notification sur un compartiment et accordez à Amazon S3 l’autorisation d’invoquer une fonction sur la stratégie d’autorisations basée sur une ressource de la fonction.

  • Amazon Elastic Kubernetes Service (Amazon EKS) : Amazon EKS est un service géré qui évite d’avoir à installer, exploiter et gérer votre propre plan de contrôle Kubernetes sur AWS. Kubernetes est un système open source qui automatise la gestion, la mise à l’échelle et le déploiement des applications conteneurisées.

  • Amazon Elastic Container Service (Amazon ECS) : Amazon ECS est un service d’orchestration de conteneurs entièrement géré qui vous permet de déployer, de gérer et de mettre à l’échelle aisément des applications conteneurisées.

  • AWS Key Management Service (AWS KMS) : AWS Key Management Service (AWS KMS) est un service géré par AWS qui facilite la création et le contrôle des clés de chiffrement utilisées pour chiffrer vos données. Les clés AWS KMS que vous créez dans AWS KMS sont protégées par des module de sécurité matérielle (HSM) validés par la norme FIPS 140-2. Pour utiliser ou gérer vos clés KMS, vous interagissez avec AWS KMS.

  • Amazon Athena : Amazon Athena est un service de requête interactif qui facilite l’analyse des données directement dans Amazon S3 à l’aide du langage SQL standard. Vous pouvez également utiliser Athena pour exécuter de façon interactive l’analytique des données à l’aide d’Apache Spark sans avoir à planifier, configurer ni gérer de ressources. Lorsque vous exécutez des applications Apache Spark sur Athena, vous soumettez du code Spark pour traitement et recevez directement les résultats.

  • Entraînement Amazon SageMaker : passez en revue les options relatives aux modèles d’entraînement avec Amazon SageMaker, notamment les algorithmes intégrés, les algorithmes personnalisés, les bibliothèques et les modèles issus d’AWS Marketplace.

  • AWS Glue – AWS Glue est un service d’intégration de données sans serveur qui facilite la découverte, la préparation, le déplacement et l’intégration de données de plusieurs sources pour les utilisateurs d’analytique. Vous pouvez utiliser AWS Glue pour des tâches analytiques, le machine learning et le développement d’applications. AWS Glue inclut également des outils supplémentaires de productivité et d’exploitation des données pour la création, l’exécution de tâches et la mise en œuvre de flux de travail.

  • Amazon EMR : Amazon EMR est une plateforme de cluster gérée qui simplifie l’exécution des infrastructures de big data, telles qu’Apache Hadoop et Apache Spark, sur AWS pour traiter et analyser de grandes quantités de données.

  • AWS CloudTrail : AWS CloudTrail est un service AWS qui vous aide à assurer l’audit opérationnel, l’audits des risques, la gouvernance et la conformité de votre compte AWS. Les actions effectuées par un utilisateur, un rôle ou un service AWS sont enregistrées en tant qu’événements dans CloudTrail. Les événements incluent les actions réalisées dans la console de gestion AWS, l’interface de ligne de commande AWS, ainsi que les kits SDK et les API AWS.

  • AWS CloudFormation : CloudFormation est un service qui vous permet de modéliser et de configurer vos ressources AWS de sorte que vous puissiez passer moins de temps à gérer ces ressources et consacrer plus de temps à vos applications exécutées dans AWS. Vous créez un modèle qui décrit toutes les ressources AWS que vous voulez (telles que des instances Amazon EC2 ou des instances de base de données Amazon RDS), et CloudFormation s’occupe de leur allocation et de leur configuration. Vous n’avez pas besoin de créer et de configurer individuellement les ressources AWS ni de déterminer leurs dépendances. CloudFormation se charge de tout.

Étapes suivantes

Pour plus d’informations sur l’utilisation des compartiments de répertoires et de la classe de stockage S3 Express One Zone, consultez les rubriques suivantes :