Création et gestion des domaines Amazon OpenSearch Service - Amazon OpenSearch Service
Création de domaines OpenSearch de serviceConfiguration des politiques d'accèsParamètres avancés du cluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création et gestion des domaines Amazon OpenSearch Service

Ce chapitre explique comment créer et gérer des domaines Amazon OpenSearch Service. Un domaine est l'équivalent AWS-provisionné d'un cluster open source OpenSearch . Lorsque vous créez un domaine, vous spécifiez ses paramètres, ses types d'instances, son nombre d'instances et son allocation de stockage. Pour plus d'informations sur les clusters open source, consultez la section Création d'un cluster dans la OpenSearch documentation.

Contrairement aux instructions rapidement exposées dans le didacticiel Mise en route, ce chapitre décrit toutes les options et fournit des informations de référence pertinentes. Vous pouvez effectuer chaque procédure en utilisant les instructions de la console de OpenSearch service, du AWS Command Line Interface (AWS CLI) ou du AWS SDKs.

Création de domaines OpenSearch de service

Cette section explique comment créer des domaines OpenSearch de service à l'aide de la console OpenSearch Service ou en utilisant la AWS CLI avec la create-domain commande.

Création OpenSearch de domaines de service (console)

Utilisez la procédure suivante pour créer un domaine OpenSearch de service à l'aide de la console.

Créer un domaine OpenSearch de service (console)

  1. Accédez à la console https://aws.amazon.com.rproxy.govskope.caet choisissez Se connecter à la console.

  2. Sous Analytics, sélectionnez Amazon OpenSearch Service.

  3. Choisissez Create domain (Créer un domaine).

  4. Pour Nom de domaine, entrez un nom de domaine. Le nom doit répondre aux critères suivants :

    • Doit être unique dans votre compte et votre Région AWS

    • Commence par une lettre minuscule

    • Contient entre 3 et 28 caractères

    • Contient uniquement les lettres minuscules a-z, les chiffres 0-9 et le trait d'union (-)

  5. Pour la méthode de création de domaine, choisissez Standard create.

  6. Dans Templates, sélectionnez l'option qui correspond le mieux à la fonction de votre domaine :

    • Domaines de production pour les charges de travail nécessitant une disponibilité et des performances élevées. Ces domaines utilisent Multi-AZ (avec ou sans veille) et des nœuds principaux dédiés pour une plus grande disponibilité.

    • Développement/test à des fins de développement ou de test. Ces domaines peuvent utiliser le mode multi-AZ (avec ou sans veille) ou une seule zone de disponibilité.

      Important

      Les différents types de déploiement offrent différentes options sur les pages suivantes. Ces étapes incluent toutes les options.

  7. Pour les options de déploiement, choisissez Domaine avec veille pour configurer un domaine 3-AZ, les nœuds de l'une des zones étant réservés en mode veille. Cette option applique un certain nombre de bonnes pratiques, telles que le nombre de nœuds de données spécifié, le nombre de nœuds maîtres, le type d'instance, le nombre de répliques et les paramètres de mise à jour logicielle.

  8. Dans Version, choisissez la version Elasticsearch OSS héritée à utiliser. OpenSearch Nous vous recommandons de choisir la dernière version de OpenSearch. Pour de plus amples informations, veuillez consulter Versions prises en charge d'Elasticsearch et OpenSearch.

    (Facultatif) Si vous avez choisi une OpenSearch version pour votre domaine, sélectionnez Enable compatibility mode (Activer le OpenSearch mode de compatibilité) afin de permettre à certains clients et plugins Elasticsearch OSS de vérifier la version avant de se connecter pour continuer à travailler avec le service.

  9. Pour Instance type (Type d'instance), choisissez un type d'instance pour vos nœuds de données. Pour en savoir plus, consultez Types d'instances pris en charge dans Amazon OpenSearch Service.

    Note

    Certaines zones de disponibilité ne prennent pas en charge certains types d'instance. Si vous choisissez Multi-AZ avec ou sans veille, nous vous recommandons de choisir des types d'instance de génération actuelle, tels que R5 ou I3.

  10. Pour Nombre d'instances, tapez le nombre de nœuds de données.

    Pour les valeurs maximales, consultez la section Quotas de domaine et d'instance du OpenSearch service. Les clusters à nœud unique conviennent aux phases de développement et de test, mais pas pour des charges de travail en production. Pour de plus amples informations, veuillez consulter Dimensionnement des domaines Amazon OpenSearch Service et Configuration d'un domaine Multi-AZ OpenSearch .

    Note

    (Facultatif) Les nœuds de coordination dédiés prennent en charge toutes les OpenSearch versions et ElasticSearch les versions 6.8 à 7.10. Des nœuds de coordination dédiés peuvent être utilisés avec des domaines pour lesquels un gestionnaire de cluster dédié est activé. Pour activer les nœuds de coordination dédiés, vous devez sélectionner le type et le nombre d'instances. Il est recommandé de conserver la même famille d'instances pour votre nœud coordinateur dédié que pour vos nœuds de données (instances basées sur Intel ou instances basées sur Graviton).

  11. Pour le type de stockage, sélectionnez Amazon EBS. Les types de volumes disponibles dans la liste dépendent du type d’instance que vous avez sélectionné. Pour obtenir des conseils sur la création de domaines particulièrement volumineux, consultez Mise à l'échelle d'une capacité de plusieurs péta-octets dans Amazon Service OpenSearch .

  12. Pour le stockage EBS, configurez les paramètres supplémentaires suivants. Certains paramètres peuvent ne pas apparaître en fonction du type de volume choisi.

    Paramètre Description
    Type de volume EBS

    Choisissez entre Usage général (SSD) – gp3 et Usage général (SSD) – gp2, ou la génération précédente IOPS provisionnés (SSD), et Magnétique (standard).
    Taille de stockage EBS par nœud

    Saisissez la taille du volume EBS que vous souhaitez attacher à chaque nœud de données.

    La taille du volume EBS est indiquée par nœud. Vous pouvez calculer la taille totale du cluster du domaine OpenSearch Service en multipliant le nombre de nœuds de données par la taille du volume EBS. Les tailles minimale et maximale d'un volume EBS dépendent à la fois du type de volume EBS spécifié et du type d'instance auquel il est attaché. Pour plus d'informations, consultez Limites relatives à la taille du volume EBS.
    IOPS provisionnés

    Si vous avez sélectionné un type de volume SSD IOPS provisionnés, saisissez le nombre d'opérations d'E/S par seconde (IOPS) que le volume peut prendre en charge.

  13. (Facultatif) Si vous avez sélectionné un type de gp3 volume, développez Advanced settings (Paramètres avancés) et indiquez les IOPS (jusqu'à 16 000 Tio/s pour chaque volume de 3 Tio/s alloué par nœud de données) et le débit (jusqu'à 1 000 Mio/s pour chaque volume de 3 Tio/s alloué par nœud de données) supplémentaires au-delà de ce qui est inclus dans le prix du stockage, moyennant un coût supplémentaire. Pour en savoir plus, consultez les tarifs Amazon OpenSearch Service.

  14. (Facultatif) Pour activer le UltraWarm stockage, choisissez Activer UltraWarm les nœuds de données. Chaque type d'instance dispose d'une quantité maximale de stockage qu'il peut traiter. Multipliez cette quantité par le nombre de nœuds de données à chaud pour le stockage à chaud adressable total.

  15. (Facultatif) Pour activer le stockage à froid, choisissez Enable cold storage (Activer le stockage à froid). Vous devez UltraWarm activer le stockage à froid.

  16. Si vous utilisez le mode Multi-AZ en mode veille, trois nœuds maîtres dédiés sont déjà activés. Choisissez le type de nœuds principaux que vous souhaitez. Si vous avez choisi un domaine Multi-AZ sans veille, sélectionnez Activer les nœuds maîtres dédiés et choisissez le type et le nombre de nœuds principaux souhaités. Les nœuds principaux dédiés augmentent la stabilité du cluster et sont obligatoires pour les domaines dont le nombre d'instances est supérieur à 10. Pour les domaines de production, nous vous recommandons trois nœuds principaux dédiés.

    Note

    Vous pouvez choisir différents types d'instance pour les nœuds principaux dédiés et les nœuds de données. Par exemple, vous pouvez sélectionner des instances à visée générale ou optimisées pour le stockage pour vos nœuds de données, mais des instances optimisées pour le calcul pour vos nœuds principaux dédiés.

  17. (Facultatif) Pour les domaines exécutant OpenSearch Elasticsearch 5.3 et versions ultérieures, la configuration des instantanés n'est pas pertinente. Pour plus d'informations sur les instantanés automatiques, consultez Création d'instantanés d'index dans Amazon Service OpenSearch .

  18. Si vous souhaitez utiliser un point de terminaison personnalisé plutôt que le point de terminaison standard de https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com, choisissez Enable custom endpoint (Activer un point de terminaison personnalisé), puis fournissez un nom et un certificat. Pour de plus amples informations, veuillez consulter Création d'un point de terminaison personnalisé pour Amazon OpenSearch Service.

  19. Sous Network (Réseau), choisissez soit VPC Access (Accès VPC), soit Public access (Accès public). Si vous choisissez Public access (Accès public), passez à l'étape suivante. Si vous choisissez VPC Access (Accès VPC), assurez-vous d'avoir respecté les conditions préalables, puis configurez les paramètres suivants :

    Paramètre Description
    VPC

    Choisissez le cloud privé virtuel (VPC) que vous souhaitez utiliser. Le VPC et le domaine doivent être dans la même Région AWS, et vous devez sélectionner un VPC avec une location défini sur par défaut. OpenSearch Le service ne prend pas encore en charge VPCs l'utilisation de la location dédiée.
    Sous-réseau

    Choisissez un sous-réseau. Si vous avez activé Multi-AZ, vous devez choisir deux ou trois sous-réseaux. OpenSearch Le service placera un point de terminaison de VPC et des interfaces réseau Elastic dans les sous-réseaux.

    Vous devez réserver suffisamment d'adresses IP pour les interfaces réseau dans le/les sous-réseau(x). Pour plus d'informations, consultez Réservation d'adresses IP dans un sous-réseau VPC.
    Groupes de sécurité

    Choisissez un ou plusieurs groupes de sécurité VPC qui permettent à l'application requise d'atteindre le domaine OpenSearch Service sur les ports (80 ou 443) et les protocoles (HTTP ou HTTPs) exposés par le domaine. Pour de plus amples informations, veuillez consulter Découvrez comment lancer votre domaine Amazon OpenSearch Service au sein d'un VPC..
    IAM Role

    Conservez le rôle par défaut. OpenSearch Le service utilise ce rôle prédéfini (également connu sous le nom de rôle lié à un service) pour accéder à votre VPC et placer un point de terminaison de VPC et des interfaces réseau dans le sous-réseau du VPC. Pour plus d'informations, consultez Rôle lié à un service pour l'accès VPC.
    Type d'adresse IP

    Choisissez le type d'adresse IP à double pile ou IPv4 le type d'adresse IP. La double pile vous permet de partager les ressources du domaine entre IPv4 différents types d' IPv6 adresses. C'est l'option recommandée. Si vous définissez le type d'adresse IP sur Dual Stack, vous ne pourrez pas le modifier ultérieurement.

  20. Activer ou désactiver le contrôle précis des accès :

    • Si vous souhaitez utiliser IAM pour la gestion des utilisateurs, choisissez Set IAM ARN as master user (Définir l'ARN IAM en tant qu'utilisateur principal), puis indiquez l'ARN d'un rôle IAM.

    • Si vous souhaitez utiliser la base de données utilisateur interne, choisissez Create master user (Créer un utilisateur principal), puis indiquez un nom d'utilisateur et un mot de passe.

    Quelle que soit l'option choisie, l'utilisateur principal peut accéder à tous les index du cluster et à tous OpenSearch APIs. Pour de plus amples informations sur l'option à choisir, veuillez consulter Concepts clés.

    Si vous désactivez le contrôle d'accès affiné, vous pouvez toujours contrôler l'accès à votre domaine en le plaçant dans un VPC, en appliquant une stratégie d'accès restrictive, ou les deux. Vous devez activer node-to-node le chiffrement et le chiffrement au repos pour utiliser un contrôle d'accès affiné.

    Note

    Nous vous recommandons vivement d'activer le contrôle précis des accès pour protéger les données de votre domaine. Le contrôle précis des accès assure la sécurité au niveau du cluster, de l'index, du document et du champ.

  21. (Facultatif) Si vous souhaitez utiliser l'authentification SAML pour les OpenSearch tableaux de bord, choisissez Enable SAML authentication (Activer l'authentification SAML) et configurez les options SAML pour le domaine. Pour obtenir des instructions, veuillez consulter Authentification SAML pour Tableaux de bord OpenSearch .

  22. (Facultatif) Si vous souhaitez utiliser l'authentification Amazon Cognito pour les OpenSearch tableaux de bord, choisissez Enable Amazon Cognito authentication (Activer l'authentification Amazon Cognito). Choisissez le groupe d'utilisateurs et le groupe d'identités Amazon Cognito que vous souhaitez utiliser pour l'authentification des OpenSearch tableaux de bord. Pour obtenir de l'aide pour créer ces ressources, consultez Configuration de l'authentification Amazon Cognito pour Dashboards OpenSearch.

  23. Dans Access policy (Stratégie d'accès), choisissez une stratégie d'accès ou configurez l'une des vôtres. Si vous choisissez de créer une politique personnalisée, vous pouvez la configurer vous-même ou en importer une à partir d'un autre domaine. Pour en savoir plus, consultez Identity and Access Management dans Amazon OpenSearch Service.

    Note

    Si vous avez activé l'accès VPC, vous ne pouvez pas utiliser des stratégies d'accès basées sur l'IP. Vous devez plutôt utiliser des groupes de sécurité pour contrôler les adresses IP qui peuvent accéder au domaine. Pour en savoir plus, consultez À propos des stratégies d'accès pour les domaines de VPC.

  24. (Facultatif) Pour exiger que toutes les demandes envoyées au domaine arrivent via HTTPS, cochez la case Exiger HTTPS pour tout le trafic vers le domaine). Pour activer node-to-node le chiffrement, sélectionnez le ode-to-node chiffrement N. Pour de plus amples informations, veuillez consulter Node-to-node chiffrement pour Amazon OpenSearch Service. Pour activer le chiffrement des données au repos, cochez Activer le chiffrement des données au repos. Ces options sont présélectionnées si vous avez choisi l'option de déploiement Multi-AZ avec mode veille.

  25. (Facultatif) Sélectionnez Utiliser la clé AWS détenue par pour demander au OpenSearch Service de créer une clé de AWS KMS chiffrement pour vous (ou d'utiliser celle qu'il a déjà créée). Sinon, choisissez votre propre clé KMS. Pour de plus amples informations, veuillez consulter Chiffrement des données au repos pour Amazon OpenSearch Service.

  26. Pour les périodes creuses, sélectionnez une heure de début pour planifier les mises à jour du logiciel de service et les optimisations Auto-Tune nécessitant un déploiement bleu/vert. Les mises à jour hors pointe permettent de minimiser la pression sur les nœuds principaux dédiés d'un cluster pendant les périodes de trafic élevé.

  27. Pour Auto-Tune, choisissez si vous souhaitez autoriser le OpenSearch Service à suggérer des modifications de configuration relatives à la mémoire de votre domaine afin d'améliorer la vitesse et la stabilité. Pour de plus amples informations, veuillez consulter Auto-Tune pour Amazon Service OpenSearch .

    (Facultatif) Sélectionnez Hors-peak window (Fenêtre creuse) pour planifier une fenêtre récurrente pendant laquelle Auto-Tune met à jour le domaine.

  28. (Facultatif) Sélectionnez Mise à jour logicielle automatique pour activer les mises à jour logicielles automatiques.

  29. (Facultatif) Ajoutez des étiquettes pour décrire votre domaine afin de pouvoir classer et filtrer ces informations. Pour plus d'informations, consultez Balisage des domaines Amazon OpenSearch Service.

  30. (Facultatif) Développez et configurez Paramètres avancés de cluster. Pour un résumé de ces options, consultez la section Paramètres avancés du cluster.

  31. Choisissez Créer.

Création OpenSearch de domaines de service (AWS CLI)

Au lieu de créer un domaine OpenSearch de service à l'aide de la console, vous pouvez utiliser la AWS CLI. Pour plus d'informations sur la syntaxe, consultez Amazon OpenSearch Service dans le AWS Guide de référence des commandes CLI.

Exemples de commandes

Ce premier exemple montre la configuration du domaine OpenSearch de service suivante :

  • Crée un domaine OpenSearch de service nommé mylogs avec OpenSearch la version 1.2

  • Remplit le domaine avec deux instances du type r6g.large.search

  • Utilise un volume de stockage EBS gp3 à usage général (SSD) de 100 Gio pour chaque nœud de données

  • Autorise l'accès anonyme, mais uniquement à partir d'une seule adresse IP : 192.0.2.0/32

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.2 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 \
    --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 \
    --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

Le prochain exemple montre la configuration du domaine OpenSearch de service suivante :

  • Crée un domaine OpenSearch de service nommé mylogs avec Elasticsearch version 7.10

  • Remplit le domaine avec six instances du type r6g.large.search

  • Utilise un volume de stockage EBS gp2 à usage général (SSD) de 100 Gio pour chaque nœud de données

  • Limite l'accès au service à un seul utilisateur, identifié par l' Compte AWS ID de l'utilisateur : 55555555555555555555

  • Répartit des instances dans trois zones de disponibilité

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version Elasticsearch_7.10 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} \
    --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

Le prochain exemple montre la configuration du domaine OpenSearch de service suivante :

  • Crée un domaine OpenSearch de service nommé mylogs avec OpenSearch la version 1.0

  • Remplit le domaine avec dix instances du type r6g.xlarge.search

  • Remplit le domaine avec trois instances du type r6g.large.search comme nœuds principaux dédiés

  • Utilise un volume de stockage EBS d'IOPS provisionnés de 100 Gio, configuré avec des performances de base de 1 000 IOPS pour chaque nœud de données

  • Limite l'accès à un seul utilisateur et à une seule sous-ressource, l'API _search

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.0 \
    --cluster-config  InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 \
    --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'
Note

Si vous essayez de créer un domaine de OpenSearch service et qu'un domaine portant le même nom existe déjà, la CLI ne signalera aucune erreur. Au lieu de cela, elle renvoie les détails pour le domaine existant.

Création OpenSearch de domaines de service (AWS SDKs)

AWS SDKs (sauf Android et iOS SDKs) prennent en charge toutes les actions définies dans le Amazon OpenSearch Service API Reference, y comprisCreateDomain. Pour un exemple de code, consultez Utilisation du AWS SDKs pour interagir avec Amazon OpenSearch Service. Pour de plus amples informations sur l'installation et l'utilisation de AWS SDKs, consultez Kits de développement AWS logiciel.

Création OpenSearch de domaines de service (AWS CloudFormation)

OpenSearch Service intégré à AWS CloudFormation, un service qui vous aide à modéliser et à configurer vos AWS ressources afin que vous puissiez consacrer moins de temps à la création et à la gestion de vos ressources et de votre infrastructure. Vous créez un modèle qui décrit le OpenSearch domaine que vous souhaitez créer, puis CloudFormation alloue et configure le domaine pour vous. Pour de plus amples informations, y compris des exemples de modèles JSON et YAML pour les OpenSearch domaines, consultez la Référence de type de ressource Amazon OpenSearch Service dans le Guide de l'AWS CloudFormation utilisateur.

Configuration des politiques d'accès

Amazon OpenSearch Service permet de configurer l'accès à vos domaines de OpenSearch service de différentes façons. Pour plus d’informations, consultez Identity and Access Management dans Amazon OpenSearch Service et Contrôle précis des accès dans Amazon Service OpenSearch .

La console fournit des stratégies d'accès préconfigurées que vous pouvez personnaliser en fonction des besoins spécifiques de votre domaine. Vous pouvez également importer des politiques d'accès à partir d'autres domaines OpenSearch de service. Pour plus d'informations sur la manière dont ces stratégies d'accès interagissent avec l'accès VPC, consultez À propos des stratégies d'accès pour les domaines de VPC.

Pour configurer les stratégies d'accès (console)

  1. Connectez-vous à https://aws.amazon.com puis choisissez Sign In to the Console (Connectez-vous à la console).

  2. Sous Analytics, sélectionnez Amazon OpenSearch Service.

  3. Dans le panneau de navigation, sous Domains (Domaines), choisissez le domaine que vous souhaitez mettre à jour.

  4. Choisissez Actions et Edit security configuration (Modifier la configuration de sécurité).

  5. Modifiez la stratégie d'accès JSON ou importez une option préconfigurée.

  6. Sélectionnez Enregistrer les modifications.

Paramètres avancés du cluster

Utilisez les options avancées pour configurer les éléments suivants :

Index dans les corps de requête

Spécifie si des références explicites aux index sont autorisées dans le corps des requêtes HTTP. Si vous affectez la valeur false à cette propriété, les utilisateurs ne peuvent pas outrepasser le contrôle d'accès aux sous-ressources. Par défaut, la valeur est true. Pour en savoir plus, consultez Options avancées et considérations relatives aux API.

Allocation de cache de données de champ

Spécifie le pourcentage d'espace du tas Java alloué aux données de champ. Par défaut, ce paramètre correspond à 20 % de la pile de la JVM.

Note

De nombreux clients interrogent les index quotidiens en rotation. Nous vous recommandons de débuter des tests comparatifs avec indices.fielddata.cache.size configuré à 40 % de la pile de la JVM pour la plupart de tels cas d'utilisation. Pour les index très volumineux, vous aurez peut-être besoin d'un grand cache de données de champ.

Nombre max. de clauses

Spécifie le nombre maximal de clauses autorisées dans une requête booléenne Lucene. La valeur par défaut est 1 024. Les requêtes comportant davantage de clauses que le nombre autorisé génèrent une erreur TooManyClauses. Pour plus d'informations, consultez la documentation Lucene.