Escolher o tipo de instância de DLAMI
Em geral, considere o seguinte ao escolher um tipo de instância para uma DLAMI.
Se você é novo no aprendizado profundo, uma instância com uma única GPU pode atender às suas necessidades.
Caso se preocupe com o orçamento, é possível usar instâncias somente de CPU.
Se você deseja otimizar o alto desempenho e a eficiência de custos para inferência de modelos de aprendizado profundo, é possível usar instâncias com chips AWS Inferentia.
Se você está procurando uma instância de GPU de alto desempenho com uma arquitetura de CPU baseada em Arm64, é possível usar o tipo de instância G5g.
Se tiver interesse em executar um modelo pré-treinado para inferência e previsões, é possível associar um Amazon Elastic Inference à sua instância do Amazon EC2. O Amazon Elastic Inference fornece acesso a um acelerador com uma fração de uma GPU.
-
Para serviços de inferência de alto volume, uma única instância de CPU com muita memória, ou um cluster dessas instâncias, pode ser uma solução melhor.
Se estiver usando um modelo grande com muitos dados ou um tamanho de lote amplo, você precisará de uma instância maior com mais memória. Você também pode distribuir seu modelo para um cluster de GPUs. Usar uma instância com menos memória talvez seja a melhor solução se você diminuir o tamanho do lote. Isso pode afetar sua precisão e velocidade de treinamento.
Se você estiver interessado em executar aplicativos de machine learning usando NVIDIA Collective Communications Library (NCCL) que exigem altos níveis de comunicação entre nós em escala, talvez você queira usar o Elastic Fabric Adapter (EFA).
Para obter mais detalhes sobre instâncias, consulte Tipos de instância do EC2
Os tópicos a seguir fornecem informações sobre as considerações relacionadas aos tipos de instância.
Importante
As Deep Learning AMIs incluem drivers, softwares ou toolkits desenvolvidos, propriedades da NVIDIA Corporation ou fornecidos por ela. Você concorda em usar esses drivers, softwares ou toolkits NVIDIA apenas em instâncias do Amazon EC2 que incluam hardware NVIDIA.
Tópicos
Definição de preço para a DLAMI
As estruturas de aprendizado profundo incluídas na DLAMI são gratuitas, e cada uma tem suas próprias licenças de código aberto. Embora o software incluído na DLAMI seja gratuito, você ainda precisa pagar pelo hardware subjacente da instância do Amazon EC2.
Alguns tipos de instância no Amazon EC2 são identificados como gratuitos. É possível executar a DLAMI em uma dessas instâncias gratuitas. Isso significa que isso é totalmente gratuito quando você usa essa capacidade de instância. Se você precisar de uma instância mais robusta, com mais núcleos de CPU, mais espaço em disco, mais RAM e uma ou mais GPUs, é necessária uma instância que não está na classe da camada gratuita.
Para ter mais informações sobre a escolha e os preços de instâncias, consulte Definição de preço do Amazon EC2
Disponibilidade de regiões da DLAMI
Cada região oferece suporte a uma diferente variedade de tipos de instância e, muitas vezes, um tipo de instância tem um custo um pouco diferente em regiões diferentes. As DLAMIs não estão disponíveis em todas as regiões, mas é possível copiar DLAMIs para a região de sua escolha. Para obter mais informações, consulte Copiar uma AMI. Observe a lista de seleções de regiões e escolha a que esteja próxima de você ou de seus clientes. Se você planeja usar mais de uma DLAMI e potencialmente criar um cluster, use a mesma região para todos os nós do cluster.
Para ter mais informações sobre as regiões, visite Amazon EC2 service endpoints.
A seguir
Instâncias de GPU recomendadas
