Accès à Internet pour les VPC-connected flux de travail

Lorsque vous connectez une AWS HealthOmics exécution à un VPC, celle-ci ne peut accéder qu'aux ressources disponibles au sein de ce VPC. Pour que vous puissiez accéder à l'Internet public ou à AWS des services extérieurs au VPC, vous devez configurer votre VPC avec les ressources réseau appropriées.

Cette rubrique explique comment configurer votre VPC pour fournir un accès Internet et une connectivité efficace aux AWS services pour vos VPC-connected courses. Pour plus d'informations sur la connexion des runs à un VPC, consultez. Connecter HealthOmics des flux de travail à un VPC

Configuration d'un VPC avec accès à Internet

Pour permettre à vos VPC-connected courses d'accéder à Internet, créez un VPC avec des sous-réseaux privés qui acheminent le trafic sortant via une passerelle NAT.

Cette configuration fournit :

Régions et zones de disponibilité prises en charge

HealthOmics Workflows fonctionne dans les régions et zones de disponibilité suivantes. Lorsque vous créez votre VPC, assurez-vous que vos sous-réseaux se trouvent dans une ou plusieurs de ces zones de disponibilité.

Lorsque vous créez votre configuration HealthOmics VPC, spécifiez les sous-réseaux privés. Les exécutions utilisent la passerelle NAT du sous-réseau public pour accéder à Internet.

Points de terminaison VPC pour les services AWS

Vous pouvez configurer les points de terminaison VPC pour permettre aux utilisateurs d'accéder aux AWS services sans passer par l'Internet public. Cela améliore la sécurité et peut réduire les coûts de transfert de données.

Le tableau suivant répertorie les points de terminaison VPC couramment utilisés pour les exécutions : HealthOmics

La liste complète des services auxquels vous pouvez accéder via les AWS PrivateLink points de terminaison se trouve dans les AWS services intégrés à AWS PrivateLink. Pour obtenir des instructions détaillées sur la configuration des terminaux, reportez-vous à la section Accès aux AWS services AWS PrivateLink dans le AWS PrivateLink Guide.

Exigences relatives à la passerelle NAT

Pour les courses nécessitant un accès public à Internet :

Configuration du groupe de sécurité

Configurez vos groupes de sécurité pour autoriser le trafic sortant vers les destinations auxquelles vos courses doivent accéder :

L'exemple suivant montre une règle de groupe de sécurité pour l'accès public à Internet :

Configuration de la table de routage

Assurez-vous que vos sous-réseaux privés comportent des entrées de table de routage qui dirigent le trafic Internet vers une passerelle NAT :

Pour accéder aux ressources locales, configurez les itinéraires vers une passerelle privée virtuelle ou une passerelle.

Autorisations IAM pour les services AWS

Lorsque vos tâches de flux de travail accèdent à des AWS services tels qu'Amazon Athena, AWS Glue ou Amazon DynamoDB en mode réseau VPC, vous devez ajouter les autorisations nécessaires au rôle de service que vous transmettez à l'API. StartRun Sans ces autorisations, les tâches de votre flux de travail échoueront AccessDeniedException ou entraîneront UnauthorizedException des erreurs.

Si votre flux de travail échoue en raison d'erreurs d'autorisation, consultez les CloudWatch journaux relatifs à l'exécution de votre flux de travail. Les messages d'erreur courants incluent AccessDeniedException: You are not authorized to perform: action on the resource (le rôle de service ne dispose pas de l'autorisation IAM requise) ou UnrecognizedClientException: The security token included in the request is invalid (la politique de confiance du rôle de service est peut-être mal configurée ou l'ARN du rôle transmis StartRun est incorrect).

Autorisations de service communes

Les exemples suivants montrent les autorisations IAM pour les AWS services couramment utilisés dans les flux de travail en mode VPC. Ajoutez ces autorisations à votre politique de rôle de service en fonction des services auxquels votre flux de travail accède.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Tester la connectivité VPC

Avant d'exécuter des flux de production, vérifiez que la configuration de votre VPC permet la connectivité aux services externes requis.

Création d'un flux de travail de test

Créez un flux de travail simple qui teste la connectivité à votre service externe. Par exemple, créez un flux de travail qui tente d'établir une connexion TCP vers un point de terminaison de service cible.

Exécutez le test

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Vérifier les résultats

Vérifiez le résultat du flux de travail pour confirmer que la connectivité est réussie :

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Si le test échoue, vérifiez les points suivants :

Exemples

Accès aux données NCBI avec authentification par API

Cet exemple montre comment accéder aux données NCBI à l'aide de l'API NCBI Datasets avec authentification.

Pour obtenir votre clé d'API NCBI, consultez la documentation des clés d'API NCBI.

Exemple de définition de flux de travail :

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Points clés :

Pour plus d'informations sur les clés d'API NCBI et les limites de débit, consultez la documentation de l'API NCBI Datasets.

Bonnes pratiques