Accesso a Internet per i flussi VPC-connected di lavoro

Quando connetti una AWS HealthOmics corsa a un VPC, la corsa può accedere solo alle risorse disponibili all'interno di quel VPC. Per consentire all'utente di accedere a Internet o ai AWS servizi pubblici esterni al VPC, è necessario configurare il VPC con le risorse di rete appropriate.

Questo argomento descrive come configurare il tuo VPC per fornire accesso a Internet e connettività efficiente ai AWS servizi per le tue VPC-connected corse. Per informazioni sulla connessione delle esecuzioni a un VPC, vedere. Connessione HealthOmics dei flussi di lavoro a un VPC

Configurazione di un VPC con accesso a Internet

Per consentire alle tue VPC-connected corse di accedere a Internet, crea un VPC con sottoreti private che instradano il traffico in uscita attraverso un gateway NAT.

Questa configurazione fornisce:

Regioni e zone di disponibilità supportate

HealthOmics Workflows opera nelle seguenti regioni e zone di disponibilità. Quando crei il tuo VPC, assicurati che le sottoreti si trovino in una o più di queste zone di disponibilità.

Quando crei la configurazione HealthOmics VPC, specifica le sottoreti private. Le esecuzioni utilizzano il gateway NAT nella sottorete pubblica per raggiungere Internet.

Endpoint VPC per servizi AWS

Puoi configurare gli endpoint VPC per consentire alle esecuzioni di accedere ai AWS servizi senza attraversare la rete Internet pubblica. Ciò migliora la sicurezza e può ridurre i costi di trasferimento dei dati.

La tabella seguente elenca gli endpoint VPC comunemente usati per le esecuzioni: HealthOmics

L'elenco completo dei servizi a cui puoi accedere tramite gli AWS PrivateLink endpoint è disponibile nei AWS servizi che si integrano con. AWS PrivateLink Per istruzioni dettagliate sulla configurazione degli endpoint, consulta Accedere ai AWS servizi AWS PrivateLink nella AWS PrivateLink Guida.

Requisiti NAT Gateway

Per le corse che richiedono l'accesso pubblico a Internet:

Configurazione del gruppo di sicurezza

Configura i tuoi gruppi di sicurezza per consentire il traffico in uscita verso le destinazioni a cui le tue corse devono accedere:

L'esempio seguente mostra una regola di gruppo di sicurezza per l'accesso pubblico a Internet:

Configurazione della tabella delle rotte

Assicurati che le tue sottoreti private abbiano voci nella tabella di routing che indirizzano il traffico diretto a Internet verso un gateway NAT:

Per accedere alle risorse locali, configura i percorsi verso un gateway o gateway privato virtuale.

Autorizzazioni IAM per i servizi AWS

Quando le attività del flusso di lavoro accedono a AWS servizi come Amazon Athena, AWS Glue o Amazon DynamoDB in modalità di rete VPC, devi aggiungere le autorizzazioni necessarie al ruolo di servizio che passi all'API. StartRun Senza queste autorizzazioni, le attività del flusso di lavoro falliranno con o errori. AccessDeniedException UnauthorizedException

Se il flusso di lavoro fallisce a causa di errori di autorizzazione, controlla CloudWatch i log dei log relativi all'esecuzione del flusso di lavoro. I messaggi di errore più comuni includono AccessDeniedException: You are not authorized to perform: action on the resource (al ruolo di servizio manca l'autorizzazione IAM richiesta) o UnrecognizedClientException: The security token included in the request is invalid (la policy di attendibilità del ruolo di servizio potrebbe essere configurata male o il ruolo StartRun a cui è passato l'ARN non è corretto).

Autorizzazioni di servizio comuni

Gli esempi seguenti mostrano le autorizzazioni IAM per i AWS servizi di uso comune nei flussi di lavoro in modalità VPC. Aggiungi queste autorizzazioni alla tua policy sui ruoli di servizio in base ai servizi a cui accede il tuo flusso di lavoro.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Test della connettività VPC

Prima di eseguire i flussi di lavoro di produzione, verifica che la configurazione del VPC consenta la connettività ai servizi esterni richiesti.

Crea un flusso di lavoro di test

Crea un flusso di lavoro semplice che verifichi la connettività al tuo servizio esterno. Ad esempio, crea un flusso di lavoro che tenti una connessione TCP a un endpoint del servizio di destinazione.

Esegui il test

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Verificare i risultati

Controlla l'output del flusso di lavoro per confermare la corretta connettività:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Se il test fallisce, verifica quanto segue:

Esempi

Accesso ai dati NCBI con autenticazione API

Questo esempio dimostra come accedere ai dati NCBI utilizzando l'API NCBI Datasets con autenticazione.

Per ottenere la tua chiave API NCBI, consulta la documentazione sulle chiavi API NCBI.

Esempio di definizione del flusso di lavoro:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Punti chiave:

Per ulteriori informazioni sulle chiavi API NCBI e sui limiti di velocità, consulta la documentazione dell'API NCBI Datasets.

Best practice