Ajudar a melhorar esta página
Para contribuir com este guia de usuário, escolha o link Editar esta página no GitHub, disponível no painel direito de cada página.
Visão geral de inteligência artificial e machine learning no Amazon EKS
dica
Registre-se
O Amazon Elastic Kubernetes Service (Amazon EKS) é um serviço gerenciado do Kubernetes que capacita as organizações a implantar, gerenciar e escalar workloads de inteligência artificial e machine learning com flexibilidade e controle incomparáveis. Como o Amazon EKS é baseado no Kubernetes upstream, você pode aplicar a expertise que já tem no Kubernetes enquanto integra perfeitamente ferramentas de código aberto e serviços da AWS.
Esteja você treinando modelos de grande escala, executando inferência online em tempo real ou implantando aplicações de IA generativa, o Amazon EKS oferece a performance, a escalabilidade e a eficiência de custos que seus projetos de IA e ML exigem.
Por que usar o Amazon EKS para IA/ML
O Amazon EKS fornece o controle, as integrações, a performance e a escalabilidade necessários para projetos de IA/ML. Baseado no Kubernetes upstream e integrado aos serviços da AWS, o Amazon EKS ajuda você a usar sua expertise existente no Kubernetes ao orquestrar workloads complexas. Para equipes sem experiência em implantações de IA/ML, as habilidades existentes do Kubernetes são transferidas sem curvas de aprendizado acentuadas.
O EKS é compatível com tudo, desde personalizações de sistemas operacionais até escalação computacional, e promove flexibilidade tecnológica, o que garante a capacidade de escolha em futuras decisões sobre infraestrutura. A plataforma fornece as opções de performance e ajuste que as workloads de IA e ML exigem, incluindo os seguintes atributos:
-
Controle total do cluster: ajuste de custos e configurações sem abstrações ocultas.
-
Latência inferior a um segundo execute as workloads de inferência em tempo real na produção.
-
Personalizações avançadas: configure GPUs com várias instâncias, ajuste de rede e ajuste no nível do sistema operacional.
-
Orquestração unificada: orquestre em todos os pipelines de AI/ML e em ambientes on-premises, de borda e de nuvem.
-
Otimização de custos: use ajuste de escala automático, agendamento nativo da GPU e diversos tipos de instância de GPU e acelerador.
Principais casos de uso
O Amazon EKS é compatível com uma ampla variedade de workloads de IA/ML, incluindo os seguintes casos de uso comuns:
-
Inferência: modelos auto-hospedados no Amazon EKS para casos de uso que exigem tempos de resposta de baixa latência.
-
Inferência em lote: processe grandes conjuntos de dados com eficiência por meio de trabalhos agendados.
-
Treinamento de modelo: treine modelos complexos em grandes conjuntos de dados durante longos períodos.
-
Ajuste fino de modelo: aprimore os modelos de código aberto com conhecimento de domínios proprietários.
-
Pipelines de geração aumentada via recuperação (RAG): integre processos de recuperação e geração.
-
IA agêntica: implante agentes com modelos hospedados no Amazon Bedrock, terceiros ou no Amazon EKS.
Estudos de caso
Os clientes escolhem o Amazon EKS por diversos motivos, por exemplo, para otimizar o uso da GPU ou executar workloads de inferência em tempo real com latência inferior a um segundo, conforme demonstrado nos estudos de caso a seguir. Para obter uma lista de todos os estudos de caso do Amazon EKS, consulte Histórias de sucesso clientes da AWS
-
O BMW Group
que opera uma das maiores frotas conectadas do mundo, com mais de 25 milhões de veículos conectados, construiu sua plataforma de IA conectada no Amazon EKS com Ray para treinamento distribuído e Karpenter para escalação automática de GPU, reduzindo o tempo de treinamento de modelo de horas para 30 minutos a 5€ por execução de treinamento e, ao mesmo tempo, atendendo a mais de 550 desenvolvedores em mais de 60 casos de uso de IA. -
A Booking.com
, uma das principais plataformas de viagens do mundo, migrou seu sistema de inferência de ML de classificação de busca para o Amazon EKS para liberar escalabilidade para experimentação, processando até 250 mil solicitações por segundo com latência no percentil de 99,9 de 40 ms. -
A Unitary
processa 26 milhões de vídeos diariamente usando IA para moderação de conteúdo. A empresa precisa de inferência de alto throughput e baixa latência, e alcançou uma redução de 80% nos tempos de inicialização de contêiner, o que garante resposta rápida aos eventos de escalação quando há flutuações no tráfego. -
A Synthesia
oferece criação de vídeo com IA generativa como serviço para os clientes criarem vídeos realistas a partir de prompts de texto. A empresa obteve um throughput 30 vezes melhor em treinamento de modelo de ML. -
A Ada Support
, uma empresa de automação de atendimento ao cliente baseada em IA, alcançou uma redução de 15% nos custos de computação, juntamente com um aumento de 30% na eficiência computacional. -
A Snorkel AI
capacita empresas a desenvolver e adaptar modelos básicos e grandes modelos de linguagem. A empresa obteve mais de 40% de economia de custos implementando mecanismos inteligentes de escalação para recursos de GPU. -
A Artera
usa o Amazon Elastic File System (Amazon EFS) e o Amazon EKS para treinar modelos de ML que personalizam o tratamento de câncer usando imagens de biópsia de alta resolução. -
A Anthropic
executa seu carro-chefe, a família Claude de modelos de fundação, no Amazon EKS e opera alguns dos maiores clusters de EKS em produção, consistindo em instâncias do AWS Trainium(trn2) e GPUs NVIDIA para workloads de IA, além de processadores AWSGraviton para processamento de dados com uso intensivo de CPU.
Estrutura do guia
O guia inclui uma série de guias práticos que você pode seguir passo a passo para implantar e gerenciar workloads de IA/ML no Amazon EKS. Cada guia fornece instruções e configurações que você pode implementar diretamente em seu ambiente.
Além das instruções, o guia fornece a base necessária e os conceitos fundamentais de cada tópico. Também inclui links para a documentação e os recursos relevantes da AWS para obter os detalhes técnicos mais profundos necessários.
Começar a usar IA/ML no Amazon EKS
Para começar a planejar e usar plataformas de IA/ML e workloads no Amazon EKS, siga a seção Configurar cluster do Amazon EKS para workloads de IA/ML para criar um cluster do Amazon EKS, incluindo os componentes necessários do Kubernetes, em sua conta da AWS. Quando seu ambiente estiver plenamente operacional, você poderá se conectar ao banco de dados:
-
Configurar cluster do Amazon EKS para workloads de IA/ML: crie o cluster, o monitoramento e a infraestrutura de buckets do S3 do Amazon EKS que serão usados ao longo de toda esta seção.
-
Executar workloads de inferência de IA/ML no Amazon EKS: use o Amazon EKS para implantar, configurar e começar a usar uma aplicação de inferência com um grande modelo de linguagem (LLM).
-
Configuração de cluster do Amazon EKS para workloads de IA/ML: configure os clusters do Amazon EKS otimizados para workloads de IA/ML.
-
Gerencie recursos computacionais para workloads de IA/ML no Amazon EKS: gerencie e otimize os recursos de computação para workloads de machine learning no Amazon EKS.
-
Gerenciar dispositivos de hardware no Amazon EKS: gerencie dispositivos de hardware especializados usando Alocação Dinâmica de Recursos (DRA) e plug-ins de dispositivos.
