View a markdown version of this page

Conectando HealthOmics fluxos de trabalho a uma VPC - AWS HealthOmics

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Conectando HealthOmics fluxos de trabalho a uma VPC

Com a Amazon Virtual Private Cloud (Amazon VPC), você pode lançar AWS recursos em uma rede virtual privada que você definiu. Você pode dar aos seus HealthOmics fluxos de trabalho acesso aos recursos em sua VPC configurando suas execuções para usar o modo de rede VPC. Quando a rede VPC está ativada, suas execuções podem acessar recursos em sua VPC e se conectar a recursos externos pela Internet pública se sua VPC tiver acesso à Internet configurado.

nota

Cada HealthOmics fluxo de trabalho executado é executado dentro de uma VPC que pertence e é gerenciada pelo HealthOmics serviço. Essas VPCs são mantidas automaticamente e não são visíveis para os clientes. Configurar sua execução para acessar recursos em sua Amazon VPC não tem efeito na HealthOmics-managed VPC.

Quando usar a rede VPC

Use a rede VPC quando suas execuções precisarem:

  • Acesse conjuntos de dados disponíveis publicamente pela Internet (por exemplo, conjuntos de dados do NIH, repositórios acadêmicos)

  • Conecte-se a servidores de licenças de terceiros ou APIs externas

  • Leia ou grave dados de buckets do Amazon S3 em outras regiões AWS

  • Acesse recursos locais em sua rede privada

  • Conecte-se aos recursos da AWS em sua VPC

nota

Quando você conecta uma execução a uma VPC, ela só pode acessar os recursos disponíveis nessa VPC. Para dar à sua execução acesso à Internet, você também deve configurar sua VPC para acesso à Internet. Para obter mais informações, consulte Acesso à Internet para VPC-connected fluxos de trabalho.

Modos de rede

HealthOmics Os fluxos de trabalho oferecem suporte a dois modos de rede. Por padrão, as execuções do fluxo de trabalho operam no modo RESTRITO. Você pode habilitar a rede VPC por execução ao iniciar a execução do fluxo de trabalho.

RESTRITO (padrão)

As execuções só podem acessar os recursos do Amazon S3 e do Amazon ECR dentro da mesma região. AWS As corridas não podem acessar outros AWS serviços, recursos em todas AWS as regiões ou na Internet pública.

VPC

O tráfego de execução é roteado por meio de interfaces de rede elástica (ENIs) provisionadas em HealthOmics suas sub-redes VPC. Você controla o roteamento de rede, grupos de segurança, ACLs de rede e acesso à Internet por meio de gateways NAT. Esse modo permite o acesso a:

  • Recursos públicos da Internet (requer configuração do NAT Gateway)

  • AWS serviços em outras regiões

  • Recursos privados em sua VPC

  • Acesse recursos locais em sua rede privada

Você especifica o modo de rede ao iniciar a execução de um fluxo de trabalho usando o networkingMode parâmetro na StartRun API.

Introdução

Esta seção orienta você na configuração da rede VPC para HealthOmics fluxos de trabalho pela primeira vez.

Pré-requisitos

Antes de configurar a rede VPC HealthOmics para fluxos de trabalho, verifique se você tem o seguinte:

  • Uma VPC existente com sub-redes e grupos de segurança apropriados. A VPC deve estar na mesma região dos seus fluxos de trabalho.

  • Pelo menos uma sub-rede em uma zona de disponibilidade que HealthOmics opera em sua região.

  • Permissões apropriadas do IAM para criar e gerenciar HealthOmics configurações.

  • Compreensão dos conceitos de rede VPC (sub-redes, grupos de segurança, tabelas de rotas).

  • Capacidade ENI suficiente em sua AWS conta. HealthOmics dimensiona e gerencia ENIs em sua VPC usando a função vinculada ao serviço. O número de ENIs necessários depende da sua carga de trabalho. Monitore seu uso de ENI no console do Amazon EC2 para garantir que você tenha capacidade suficiente.

Importante

Sua configuração de VPC deve incluir pelo menos uma sub-rede em uma zona de disponibilidade onde HealthOmics opera em sua região para dar suporte à colocação de tarefas no fluxo de trabalho. Ao usar o modo de rede VPC, você é responsável por determinar se é seguro e compatível transferir ou usar dados entre regiões. AWS

Etapa 1: criar ou configurar sua VPC

Crie uma VPC com sub-redes privadas, grupos de segurança e gateways NAT (se for necessário acesso à Internet). Para obter instruções detalhadas passo a passo, consulte. Acesso à Internet para VPC-connected fluxos de trabalho

Etapa 2: Configurar grupos de segurança

Crie um grupo de segurança que permita tráfego de saída para os destinos que suas corridas precisam acessar. Configure grupos de segurança para permitir somente o tráfego de saída mínimo exigido seguindo o princípio do menor privilégio.

Para ver exemplos de configurações e orientações detalhadas, consulte a seção de grupos de segurança emAcesso à Internet para VPC-connected fluxos de trabalho.

Etapa 3: verificar as tabelas de rotas

Certifique-se de que suas sub-redes privadas tenham rotas para um gateway NAT para acesso à Internet. Por exemplo, configurações da tabela de rotas, consulte a seção da tabela de rotas emAcesso à Internet para VPC-connected fluxos de trabalho.

nota

Conectar uma execução a uma sub-rede pública não lhe dá acesso à Internet nem a um endereço IP público. Sempre use sub-redes privadas com rotas do NAT Gateway para execuções que exijam conectividade com a Internet.

Etapa 4: criar um recurso de configuração

Crie um recurso HealthOmics de configuração que defina suas configurações de rede VPC:

aws omics create-configuration \ --name my-vpc-config \ --description "VPC configuration for genomics workflows" \ --run-configurations '{ "vpcConfig": { "securityGroupIds": ["sg-0123456789abcdef0"], "subnetIds": [ "subnet-0a1b2c3d4e5f6g7h8", "subnet-1a2b3c4d5e6f7g8h9" ] } }' \ --region us-west-2

A configuração passará do ACTIVE status CREATING para o status quando os recursos de rede forem provisionados. Isso leva até 15 minutos.

Etapa 5: iniciar a execução de um fluxo de trabalho com a rede VPC

Quando sua configuração estiver concluídaACTIVE, inicie a execução de um fluxo de trabalho com a rede VPC ativada:

aws omics start-run \ --workflow-id 1234567 \ --role-arn arn:aws:iam::123456789012:role/OmicsWorkflowRole \ --output-uri s3://my-bucket/outputs/ \ --networking-mode VPC \ --configuration-name my-vpc-config \ --region us-west-2

Etapa 6: verificar a conectividade

Monitore a execução do fluxo de trabalho para verificar se ele pode acessar os recursos externos necessários. Verifique os registros do fluxo de trabalho em CloudWatch Logs para ver se há mensagens de sucesso ou falha na conexão. Para obter orientações detalhadas sobre como testar a conectividade, consulteTestando a conectividade VPC.

Requisitos da VPC

Sua VPC deve atender aos seguintes requisitos:

Requisitos de sub-rede

  • Mínimo: pelo menos uma sub-rede em uma zona de disponibilidade onde opera HealthOmics

  • Máximo: 16 sub-redes por configuração

  • Restrição: máximo de uma sub-rede por zona de disponibilidade

  • Recomendação: use sub-redes privadas com rotas do NAT Gateway para execuções que exijam acesso à Internet. Embora você possa especificar uma única sub-rede, recomendamos o uso de várias sub-redes em diferentes zonas de disponibilidade para melhor disponibilidade.

Requisitos para grupos de segurança

  • Mínimo: 1 grupo de segurança

  • Máximo: 5 grupos de segurança por configuração

  • Requisito: todos os grupos de segurança devem pertencer à mesma VPC das sub-redes

Grupos de segurança controlam o tráfego de entrada e saída para suas corridas.

nota

Todas as sub-redes e grupos de segurança devem pertencer à mesma VPC.

Requisitos da interface de rede

HealthOmics provisiona interfaces de rede elásticas (ENIs) em sua VPC para conectar execuções à sua rede. Certifique-se de que sua AWS conta tenha capacidade de ENI suficiente (limite padrão: 5.000 ENIs por região).

Os ENIs criados por HealthOmics são marcados com as seguintes tags:

"TagSet": [ { "Key": "Service", "Value": "HealthOmics" }, { "Key": "eniType", "Value": "CUSTOMER" } ]
Importante

Não modifique nem exclua ENIs criados por HealthOmics. A modificação dessas interfaces de rede pode causar atrasos no serviço ou interrupções na execução do fluxo de trabalho.

APIs de configuração

HealthOmics fornece APIs para criar, gerenciar e excluir configurações de VPC. Você pode reutilizar configurações em várias execuções de fluxo de trabalho.

CreateConfiguration

Cria um novo recurso de configuração com as configurações de rede VPC. Para obter um exemplo etapa por etapa, consulte Etapa 4: criar um recurso de configuração.

Sintaxe da solicitação:

aws omics create-configuration \ --name configuration-name \ --description description \ --run-configurations '{"vpcConfig":{"securityGroupIds":["security-group-id"],"subnetIds":["subnet-id"]}}' \ --tags Key=key,Value=value \ --region region

Parâmetros:

  • nome (obrigatório) — Um nome exclusivo para a configuração (máximo de 50 caracteres).

  • descrição (opcional) — Uma descrição da configuração.

  • configurações de execução (opcional) — configurações de VPC:

    • vpcConfig.securityGroupIds— Uma lista de 1 a 5 IDs de grupos de segurança.

    • vpcConfig.subnetIds— Uma lista de 1 a 16 IDs de sub-rede.

  • tags (opcional) — Tags de recursos.

Resposta:

{ "arn": "arn:aws:omics:region:account-id:configuration/configuration-name", "uuid": "configuration-uuid", "name": "configuration-name", "runConfigurations": { "vpcConfig": { "securityGroupIds": ["security-group-id"], "subnetIds": ["subnet-id"], "vpcId": "vpc-id" } }, "status": "CREATING", "creationTime": "timestamp", "tags": {} }

Valores do status da configuração:

  • CRIAÇÃO — A configuração está sendo criada e os recursos de rede estão sendo provisionados (até 15 minutos).

  • ATIVO — A configuração está pronta para uso.

  • EXCLUSÃO — A configuração está sendo excluída.

  • EXCLUÍDO — A configuração foi excluída.

GetConfiguration

Recupera detalhes de uma configuração específica.

Sintaxe da solicitação:

aws omics get-configuration \ --name configuration-name \ --region region

Resposta:

{ "arn": "arn:aws:omics:region:account-id:configuration/configuration-name", "uuid": "configuration-uuid", "name": "configuration-name", "runConfigurations": { "vpcConfig": { "securityGroupIds": ["security-group-id"], "subnetIds": ["subnet-id"], "vpcId": "vpc-id" } }, "status": "ACTIVE", "creationTime": "timestamp", "tags": {} }

ListConfigurations

Lista todas as configurações em sua conta.

Sintaxe da solicitação:

aws omics list-configurations \ --region region

Resposta:

{ "items": [ { "arn": "arn:aws:omics:region:account-id:configuration/configuration-name", "name": "configuration-name", "description": "description", "status": "ACTIVE", "creationTime": "timestamp" } ] }

DeleteConfiguration

Exclui uma configuração. Você não pode excluir uma configuração atualmente em uso por execuções ativas de fluxo de trabalho.

Sintaxe da solicitação:

aws omics delete-configuration \ --name configuration-name \ --region region
nota

O status da configuração muda para EXCLUINDO enquanto os recursos da rede estão sendo limpos e, em seguida, para EXCLUÍDO quando o processo é concluído.

Executando fluxos de trabalho com redes VPC

Iniciando uma execução com redes VPC

Para usar a rede VPC em uma execução de fluxo de trabalho, especifique o networking-mode parâmetro e: configuration-name

aws omics start-run \ --workflow-id 1234567 \ --role-arn arn:aws:iam::123456789012:role/OmicsWorkflowRole \ --output-uri s3://my-bucket/outputs/ \ --networking-mode VPC \ --configuration-name my-vpc-config \ --region us-west-2

Parâmetros:

  • modo de rede — Defina como para VPC ativar a rede VPC. O padrão é RESTRICTED.

  • configuration-name (obrigatório) — O nome da configuração a ser usada.

Visualizando a configuração da rede de execução

Use GetRun para visualizar a configuração de rede para uma execução:

aws omics get-run \ --id run-id \ --region region

A resposta inclui o modo de rede, os detalhes da configuração e a configuração da VPC. O exemplo a seguir mostra os VPC-related campos da resposta:

{ "arn": "arn:aws:omics:region:account-id:run/run-id", "id": "run-id", "status": "status", "workflowId": "workflow-id", "networkingMode": "VPC", "configuration": { "name": "configuration-name", "arn": "arn:aws:omics:region:account-id:configuration/configuration-name", "uuid": "configuration-uuid" }, "vpcConfig": { "subnets": ["subnet-id-1", "subnet-id-2"], "securityGroupIds": ["security-group-id"], "vpcId": "vpc-id" } }

Imutabilidade da configuração

Os fluxos de trabalho usam um instantâneo da configuração como ela existia quando a execução foi iniciada. Você pode modificar ou excluir configurações com segurança durante a execução da execução sem afetar as execuções ativas.

Considerações sobre o cache de chamadas

Ao usar a rede VPC com cache de chamadas, certifique-se de que seu mecanismo de fluxo de trabalho esteja configurado adequadamente. Para obter orientações detalhadas sobre o cache de chamadas por mecanismo, consulteEngine-specific recursos de cache.

Importante

Ao se conectar a recursos não determinísticos ou dinâmicos (por exemplo, bancos de dados de terceiros na Internet pública), considere usar o recurso de desativação de tarefas de cache em seus fluxos de trabalho para evitar o armazenamento em cache de conjuntos de dados dinâmicos que possam afetar as saídas de execução.

Práticas recomendadas

Segurança

  1. Use grupos de segurança com privilégios mínimos. Permita somente o tráfego de saída mínimo exigido. Use blocos CIDR de destino específicos em vez de 0.0.0. 0/0 quando possível. Documente a finalidade de cada regra do grupo de segurança.

  2. Configurações separadas por ambiente. Crie configurações separadas para desenvolvimento, preparação e produção. Use VPCs ou sub-redes diferentes para cada ambiente. Aplique as tags apropriadas às configurações da organização.

  3. Implemente o monitoramento de rede. Ative os registros de fluxo de VPC para análise de segurança. Configure CloudWatch alarmes para padrões de tráfego incomuns. Revise regularmente CloudTrail os registros em busca de alterações na configuração.

  4. Use endpoints VPC para serviços. AWS Configure endpoints VPC para Amazon S3, Amazon ECR e outros serviços. AWS Isso reduz os custos do NAT Gateway, melhora o desempenho e fornece segurança adicional ao manter o tráfego dentro da AWS rede.

desempenho

  1. Planeje o escalonamento da rede. A taxa de transferência da rede começa em 10 Gbps e aumenta para 100 Gbps com o tempo. Para necessidades imediatas de alto rendimento, planeje com antecedência e solicite o pré-aquecimento. Monitore as métricas da rede para entender seus requisitos de fluxo de trabalho.

  2. Implemente gateways NAT por zona de disponibilidade. Use um gateway NAT por AZ para cargas de trabalho de produção. Isso melhora a resiliência e a produtividade e reduz os custos de transferência de dados entre AZ.

  3. Reutilize configurações. Crie configurações que possam ser compartilhadas em vários fluxos de trabalho. Isso reduz a sobrecarga do gerenciamento de configurações e garante configurações de rede consistentes.

  4. Teste as configurações antes do uso na produção. Valide a conectividade de rede com fluxos de trabalho de teste. Verifique se as regras do grupo de segurança permitem o tráfego necessário. Teste cenários de failover com configurações Multi-AZ.

Otimização de custos

  1. Use VPC endpoints em vez do NAT Gateway. Para acesso ao AWS serviço, use VPC endpoints (sem taxas de processamento de dados). Os endpoints do Amazon S3 Gateway não têm custos adicionais. Os endpoints de interface têm cobranças por hora, mas podem ser mais econômicos do que o NAT Gateway.

  2. Monitore os custos de transferência de dados. A transferência de dados é gratuita. A transferência de dados para a Internet incorre em taxas de transferência AWS de dados padrão. Cross-Region a transferência de dados tem taxas mais altas. Use o AWS Cost Explorer para monitorar VPC-related os custos.

  3. Right-size Implantação do NAT Gateway. Para desenvolvimento, use um NAT Gateway para todas as AZs. Para produção, use um NAT Gateway por AZ para obter resiliência. Monitore a utilização do NAT Gateway para evitar o excesso de provisionamento.

  4. Exclua as configurações não utilizadas. Revise e exclua regularmente as configurações que não estão mais em uso. Use tags para identificar a propriedade e a finalidade da configuração.

Operacional

  1. Use nomes de configuração descritivos. Inclua ambiente, propósito e equipe no nome (por exemplo,prod-genomics-vpc,dev-clinical-trials-vpc).

  2. Marque todas as configurações. Use uma estratégia de marcação consistente em todos os recursos. Inclua etiquetas para Ambiente CostCenter, Proprietário e Propósito.

  3. Documente os requisitos da rede. Documente quais serviços externos cada configuração acessa. Mantenha um mapa das regras do grupo de segurança e suas finalidades. Compartilhe diagramas de arquitetura de rede com sua equipe.

Cotas de rede VPC

A tabela a seguir lista as cotas para configurações de rede VPC:

Recurso Limite-padrão Ajustável
Máximo de configurações por conta 10 Sim
Máximo de grupos de segurança por configuração 5 Não
Máximo de sub-redes por configuração 16 Não
Máximo de sub-redes por zona de disponibilidade 1 Não
CreateConfiguration API TPS 1 Sim
Interfaces de rede elástica por região (VPC do cliente) 5.000 Sim

Para solicitar um aumento de cota, abra o console Service Quotas, AWS escolha serviços, AWS HealthOmicspesquise, selecione a cota que você deseja aumentar e escolha Solicitar aumento de cota. Normalmente, as solicitações de aumento de cota são processadas dentro de 1 a 2 dias úteis.