Acceso a Internet para VPC-connected flujos de trabajo

Al conectar una AWS HealthOmics ejecución a una VPC, la ejecución solo puede acceder a los recursos disponibles en esa VPC. Para permitir que su ejecución acceda a la Internet pública o a AWS los servicios externos a la VPC, debe configurar la VPC con los recursos de red adecuados.

En este tema se describe cómo configurar la VPC para proporcionar acceso a Internet y una conectividad eficiente a AWS los servicios durante sus VPC-connected carreras. Para obtener información sobre la conexión de ejecuciones a una VPC, consulte. Conexión de HealthOmics flujos de trabajo a una VPC

Configuración de una VPC con acceso a Internet

Para que sus VPC-connected carreras tengan acceso a Internet, cree una VPC con subredes privadas que enruten el tráfico saliente a través de una puerta de enlace NAT.

Esta configuración proporciona:

Regiones y zonas de disponibilidad admitidas

HealthOmics Los flujos de trabajo funcionan en las siguientes regiones y zonas de disponibilidad. Al crear la VPC, asegúrese de que las subredes estén en una o más de estas zonas de disponibilidad.

Al crear la configuración de HealthOmics VPC, especifique las subredes privadas. Las ejecuciones utilizan la puerta de enlace NAT de la subred pública para acceder a Internet.

Terminales de VPC para servicios AWS

Puede configurar los puntos de enlace de la VPC para permitir que las ejecuciones accedan a AWS los servicios sin atravesar la Internet pública. Esto mejora la seguridad y puede reducir los costes de transferencia de datos.

En la siguiente tabla se enumeran los puntos finales de VPC que se utilizan con más frecuencia para las ejecuciones: HealthOmics

La lista completa de los servicios a los que puede acceder a través de los AWS PrivateLink puntos finales se encuentra en AWS los servicios que se integran con. AWS PrivateLink Para obtener instrucciones detalladas sobre la configuración de los terminales, consulte Acceder a AWS los servicios AWS PrivateLink en la AWS PrivateLink Guía.

Requisitos de NAT Gateway

Para carreras que requieren acceso público a Internet:

Configuración del grupo de seguridad

Configure sus grupos de seguridad para permitir que el tráfico saliente llegue a los destinos a los que deben acceder sus carreras:

El siguiente ejemplo muestra una regla de grupo de seguridad para el acceso público a Internet:

Configuración de la tabla de rutas

Asegúrese de que sus subredes privadas tengan entradas en la tabla de enrutamiento que dirijan el tráfico con destino a Internet a una puerta de enlace NAT:

Para acceder a los recursos locales, configure las rutas a una puerta de enlace o puerta de enlace privada virtual.

Permisos de IAM para los servicios AWS

Cuando sus tareas de flujo de trabajo accedan a AWS servicios como Amazon Athena, AWS Glue o Amazon DynamoDB en el modo de red de VPC, debe añadir los permisos necesarios al rol de servicio que transfiere a la API. StartRun Sin estos permisos, las tareas de flujo de trabajo fallarán o se producirán errores. AccessDeniedException UnauthorizedException

Si su flujo de trabajo falla debido a errores de permisos, compruebe los CloudWatch registros correspondientes a la ejecución del flujo de trabajo. Los mensajes de error más comunes incluyen AccessDeniedException: You are not authorized to perform: action on the resource (al rol de servicio le falta el permiso de IAM requerido) o UnrecognizedClientException: The security token included in the request is invalid (la política de confianza del rol de servicio puede estar mal configurada o el ARN del rol al que se le StartRun ha pasado es incorrecto).

Permisos de servicio comunes

Los siguientes ejemplos muestran los permisos de IAM para los AWS servicios que se utilizan con más frecuencia en los flujos de trabajo en modo VPC. Agregue estos permisos a su política de roles de servicio en función de los servicios a los que acceda su flujo de trabajo.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Prueba de conectividad de VPC

Antes de ejecutar los flujos de trabajo de producción, compruebe que la configuración de la VPC permita la conectividad con los servicios externos necesarios.

Cree un flujo de trabajo de prueba

Cree un flujo de trabajo sencillo que pruebe la conectividad con su servicio externo. Por ejemplo, cree un flujo de trabajo que intente establecer una conexión TCP a un punto final del servicio de destino.

Ejecute la prueba

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Verificar los resultados

Compruebe el resultado del flujo de trabajo para confirmar que la conectividad se ha realizado correctamente:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Si la prueba no es satisfactoria, compruebe lo siguiente:

Ejemplos

Acceso a los datos del NCBI con autenticación mediante API

En este ejemplo se muestra cómo acceder a los datos del NCBI mediante la API de conjuntos de datos del NCBI con autenticación.

Para obtener su clave de API del NCBI, consulte la documentación sobre las claves de API del NCBI.

Ejemplo de definición de flujo de trabajo:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Puntos clave:

Para obtener más información sobre las claves de la API y los límites de velocidad del NCBI, consulte la documentación de la API de conjuntos de datos del NCBI.

Prácticas recomendadas