Détermination des exigences de capacité - Amazon Athena

Détermination des exigences de capacité

Avant de créer une réserve de capacité, vous pouvez estimer la capacité requise afin de pouvoir lui attribuer le nombre correct de DPU. Ensuite, une fois qu'une réserve est en cours d'utilisation, vous souhaiterez peut-être vérifier si sa capacité est insuffisante ou excédentaire. Cette rubrique décrit les techniques que vous pouvez utiliser pour réaliser ces estimations et décrit également certains outils AWS permettant d'évaluer l'utilisation et les coûts.

Estimation de la capacité requise

Lors de l'estimation des exigences de capacité, il est utile de prendre en compte deux points de vue : la capacité dont une requête particulière peut avoir besoin et la capacité dont vous pourriez avoir besoin en général.

Estimation des exigences de capacité par requête

Pour déterminer le nombre de DPU qu'une requête peut nécessiter, vous pouvez suivre les directives suivantes :

  • Les requêtes DDL consomment 4 DPU.

  • Les requêtes DML consomment généralement entre 4 et 124 DPU.

Athena détermine le nombre de DPU requis par une requête DML lorsque celle-ci est soumise. Le nombre varie en fonction de la taille des données, du format de stockage, de la construction de la requête et d'autres facteurs. En général, Athena essaie de sélectionner le nombre de DPU le plus bas et le plus efficace. Si Athena détermine qu'une puissance de calcul plus importante est nécessaire pour que la requête soit menée à bien, elle augmente le nombre de DPU attribués à la requête.

Estimation des exigences de capacité spécifiques à la charge de travail

Pour déterminer la capacité dont vous pourriez avoir besoin pour exécuter plusieurs requêtes en même temps, prenez en compte les directives générales du tableau suivant :

Requêtes simultanées DPU requises
10 40 ou plus
20 96 ou plus
30 ou plus 240 ou plus

Notez que le nombre réel de DPU dont vous avez besoin dépend de vos objectifs et de vos modèles d'analyse. Par exemple, si vous souhaitez que les requêtes démarrent immédiatement sans mise en file d'attente, déterminez votre demande maximale de requêtes simultanées, puis allouez le nombre de DPU en conséquence.

Vous pouvez allouer moins de DPU que votre pic de demande, mais une mise en file d'attente peut se produire en cas de pic de demande. Lors de la mise en file d'attente, Athena place vos requêtes dans une file d'attente et les exécute lorsque la capacité devient disponible.

Si votre objectif est d'exécuter des requêtes dans les limites d'un budget fixe, vous pouvez utiliser le Calculateur de prix AWS pour déterminer le nombre de DPU requises.

Enfin, n'oubliez pas que la taille des données, le format de stockage et la manière dont une requête est écrite influencent les DPU requises par une requête. Pour améliorer les performances des requêtes, vous pouvez compresser ou partitionner vos données ou les convertir en formats en colonnes. Pour de plus amples informations, consultez Optimisation des performances d’Athena.

Signes indiquant qu'une capacité accrue est requise

Les messages d'erreur relatifs à une capacité insuffisante et la mise en file d'attente des requêtes indiquent que la capacité qui vous est attribuée est inadéquate.

Si vos requêtes échouent avec un message d'erreur indiquant une capacité insuffisante, c'est que le nombre de DPU de votre réserve de capacité est trop faible pour votre requête. Par exemple, si vous avez une réserve comprenant 24 DPU et que vous exécutez une requête qui requiert plus de 24 DPU, la requête échouera. Pour surveiller cette erreur de requête, vous pouvez utiliser les événements EventBridge d'Athena. Essayez d'ajouter des DPU et de réexécuter votre requête.

Si de nombreuses requêtes sont mises en file d'attente, cela signifie que votre capacité est pleinement utilisée par d'autres requêtes. Pour réduire la mise en file d'attente, effectuez l'une des actions suivantes :

  • Ajouter des DPU à votre réserve pour augmenter la simultanéité des requêtes.

  • Supprimer des groupes de travail de votre réserve afin de libérer de la capacité pour d'autres requêtes.

Pour vérifier que la mise en file d'attente des requêtes n'est pas excessive, utilisez la métrique CloudWatch basée sur le temps de file d'attente des requêtes Athena pour les groupes de travail de votre réserve de capacité. Si la valeur est supérieure à votre seuil préféré, vous pouvez ajouter des DPU à la réserve de capacité.

Vérification de la capacité inactive

Pour vérifier la capacité inutilisée, vous pouvez soit diminuer le nombre de DPU dans la réserve, soit augmenter sa charge de travail, puis observer les résultats.

Pour vérifier la capacité inutilisée
  1. Effectuez l’une des actions suivantes :

    • Réduire le nombre de DPU de votre réserve (réduire les ressources disponibles)

    • Ajouter des groupes de travail à votre réserve (augmenter la charge de travail)

  2. Utiliser CloudWatch pour mesurer le temps de file d'attente des requêtes.

  3. Si le temps de file d'attente augmente au-delà d'un niveau souhaitable, effectuez l'une des actions suivantes :

    • Supprimer des groupes de travail

    • Ajouter des DPU à votre réserve de capacité

  4. Après chaque modification, vérifiez les performances et le temps de file d'attente des requêtes.

  5. Continuez à ajuster la charge de travail et/ou le nombre de DPU pour atteindre l'équilibre souhaité.

Si vous ne souhaitez pas maintenir la capacité en dehors d'une période préférée, vous pouvez annuler la réserve et en créer une autre ultérieurement. Toutefois, même si vous avez récemment annulé la capacité d'une autre réserve, les demandes de nouvelles capacités ne sont pas garanties et la création de nouvelles réserves prend du temps.

Vous pouvez utiliser les services et fonctionnalités suivants dans AWS pour mesurer votre utilisation et vos coûts d'Athena.

Métriques CloudWatch

Vous pouvez configurer Athena pour publier les métriques liées aux requêtes dans Amazon CloudWatch au niveau du groupe de travail. Une fois que vous avez activé les métriques pour le groupe de travail, les métriques pour les requêtes du groupe de travail s'affichent dans la console Athena sur la page de détails du groupe de travail.

Pour plus d'informations sur les métriques Athena publiées sur CloudWatch et leurs dimensions, consultez Surveillance des métriques de requêtes Athena à l’aide de CloudWatch.

Métriques d'utilisation CloudWatch

Vous pouvez utiliser les métriques d'utilisation CloudWatch pour fournir une visibilité sur la façon dont votre compte utilise les ressources en affichant votre utilisation actuelle du service sur des graphiques et des tableaux de bord CloudWatch. Pour Athena, les mesures de disponibilité d'utilisation correspondent aux Service Quotas AWS pour Athena. Vous pouvez configurer des alarmes qui vous alertent lorsque votre utilisation approche d’un quota de service.

Pour de plus amples informations, consultez Surveillance des métriques d’utilisation Athena à l’aide de CloudWatch.

Événements Amazon EventBridge

Vous pouvez utiliser Amazon Athena avec Amazon EventBridge pour recevoir des notifications en temps réel sur l'état de vos requêtes. Lorsqu'une requête que vous avez soumise change d'état, Athena publie un événement sur EventBridge contenant des informations sur ce changement d'état de requête. Vous pouvez écrire des règles simples pour les événements qui vous intéressent et effectuer des actions automatisées lorsqu'un événement correspond à une règle.

Pour plus d'informations, veuillez consulter les ressources suivantes.

Balises

Dans Athena, les réserves de capacité prennent en charge les balises. Une balise se compose d'une clé et d'une valeur. Pour suivre vos coûts dans Athena, vous pouvez utiliser des balises de répartition des coûts générées par AWS. AWS utilise celles-ci pour organiser les coûts de vos ressources dans votre rapport d'utilisation et de coûts. Cela vous permet de classer et de suivre plus facilement vos coûts AWS. Pour activer les balises de répartition des coûts pour Athena, vous devez utiliser la console AWS Billing and Cost Management.

Pour plus d'informations, veuillez consulter les ressources suivantes.