Recursos do Amazon SageMaker AI

Você pode executar fórmulas no Amazon SageMaker HyperPod ou como tarefas de treinamento do SageMaker. Para ajudar a executar fluxos de trabalho completos de treinamento, você usa o adaptador de treinamento do HyperPod como framework. O adaptador de treinamento é baseado no framework NVIDIA NeMo e no pacote Neuronx Distributed Training.

No Amazon SageMaker Studio, você pode iniciar workloads de machine learning em clusters do HyperPod e visualizar informações sobre clusters do HyperPod. Com uma visibilidade mais ampla dos detalhes dos clusters e das métricas de hardware, sua equipe pode identificar a opção certa para workloads de pré-treinamento ou ajuste fino.

A governança de tarefas do Amazon SageMaker HyperPod é um sistema de gerenciamento robusto projetado para simplificar a alocação de recursos e garantir a utilização eficiente dos recursos de computação entre as equipes e os projetos para seus clusters do Amazon EKS. A governança de tarefas do HyperPod também oferece observabilidade para clusters do Amazon EKS, proporcionando visibilidade em tempo real sobre a capacidade do cluster, a disponibilidade e o uso de computação, a alocação e utilização de equipes, além de informações sobre o tempo de execução e espera de tarefas.

Com o recurso Aplicativos de IA para Parceiros do Amazon SageMaker, os usuários têm acesso a aplicativos de desenvolvimento de inteligência artificial (IA) generativa e machine learning (ML) criados, publicados e distribuídos pelos principais fornecedores de aplicativos do setor. Os aplicativos de IA para parceiros são certificados para serem executados no SageMaker AI. Com os aplicativos de IA para parceiros, os usuários podem acelerar e melhorar a forma como criam soluções com base em modelos de base (FM) e modelos clássicos de ML, sem comprometer a segurança de seus dados sensíveis, que são mantidos totalmente de acordo com a configuração de segurança confiável dos usuários e nunca são compartilhados com terceiros.

Você pode conversar por chat com o Amazon Q Developer no Amazon SageMaker Canvas usando linguagem natural a fim de obter assistência de IA generativa para solucionar seus problemas de machine learning. Você pode conversar com o Q Developer para discutir as etapas de um fluxo de trabalho de machine learning e aproveitar a funcionalidade do Canvas, como transformações de dados, criação de modelos e implantação.

Os planos de treinamento do Amazon SageMaker são um recurso de reserva computacional projetado para workloads de treinamento de modelo de IA em grande escala executadas em tarefas de treinamento do SageMaker e clusters do HyperPod. Eles oferecem acesso previsível a recursos de computação acelerada por GPU de alta demanda de acordo com programações especificados. Basta especificar a programação, a duração e o máximo de recursos de computação desejados que os planos de treinamento do SageMaker gerenciam automaticamente a configuração da infraestrutura, a execução de workloads e a recuperação de falhas. Isso permite planejar e executar com eficiência projetos de IA essenciais com um modelo de custo previsível.

Um serviço de ML automático que oferece às pessoas sem experiência em programação a capacidade de criar modelos e fazer predições com eles.

O Editor de Código estende o Studio para que você possa escrever, testar, depurar e executar seu código de analytics e machine learning em um ambiente baseado no Visual Studio Code - Open Source (“Code-OSS”).

Crie, treine e implante modelos de ML usando dados geoespaciais.

O Amazon SageMaker HyperPod é um recurso do SageMaker AI que oferece um ambiente de machine learning sempre ativo em clusters resilientes e permite executar qualquer workload de machine learning para desenvolver grandes modelos de machine learning, como grandes modelos de linguagem (LLMs) e modelos de difusão.

O JupyterLab no Studio melhora a latência e a confiabilidade dos cadernos Studio

O Studio é a mais recente experiência baseada na web para executar fluxos de trabalho de ML. O Studio oferece um conjunto de IDEs, incluindo o Editor de Códigos, um nova aplicação Jupyterlab, o RStudio e o Studio Classic.

Um ambiente integrado de machine learning em que você pode compilar, treinar, implantar e analisar seus modelos, tudo no mesma aplicação.

Um serviço gratuito que dá aos clientes acesso a recursos de computação da AWS em um ambiente baseado no JupyterLab de código aberto.

Um ambiente de desenvolvimento integrado para R, com console, um editor de destaque de sintaxe que oferece apoio à execução direta de códigos e ferramentas para plotagem, histórico, depuração e gerenciamento de workspace.

Crie os fluxos de trabalho necessários para a análise humana das predições de ML. O Amazon A2I leva a revisão humana a todos os desenvolvedores, eliminando o trabalho pesado e indiferenciado associado à compilação de sistemas de revisão humana ou ao gerenciamento de um grande número de revisores humanos.

Crie uma tarefa AutoML para treinar um modelo automaticamente nas Pipelines.

Os usuários sem conhecimento de machine learning podem criar rapidamente modelos de classificação e de regressão.

Execute o pré-processamento de conjuntos de dados, execute inferência quando você não precisa de um endpoint persistente e associe registros de entrada com inferências para auxiliar na interpretação dos resultados.

Melhore os modelos de machine learning ao detectar potenciais desvios e ajude a explicar as predições feitas pelos modelos.

Um espaço compartilhado consiste em uma aplicação compartilhada do JupyterServer e um diretório compartilhado. Todos os perfis de usuário em um domínio do Amazon SageMaker AI têm acesso a todos os espaços compartilhados no domínio.

Importe, analise, prepare e destaque dados no SageMaker Studio. Você pode integrar o Data Wrangler aos seus fluxos de trabalho de machine learning para simplificar e agilizar o pré-processamento de dados e a engenharia de atributos usando pouco ou nenhum código. Você também pode adicionar seus próprios scripts e transformações em Python para personalizar os fluxos de trabalho.

Interaja com seus dados, obtenha visualizações, explore insights acionáveis e corrija problemas de qualidade de dados.

Inspecione parâmetros de treinamento e dados durante todo o processo de treinamento. Detecte e alerte automaticamente os usuários com relação a erros que costumam ocorrer, como valores de parâmetro que ficam muito grandes ou pequenos.

Otimize modelos personalizados para dispositivos de borda, crie e gerencie frotas e execute modelos com um runtime eficiente.

Gerenciamento e rastreamento de experiências. É possível usar os dados rastreados para reconstruir um experimento, para aprofundar-se de maneira incremental em experimentos conduzidos por colegas e rastrear a linhagem do modelo para verificações de auditoria e conformidade.

Um armazenamento centralizado de atributos e metadados associados para que os atributos possam ser facilmente descobertos e reutilizados. Você pode criar dois tipos de armazenamento, Online ou Offline. O armazenamento on-line é usado para casos de uso de inferência em tempo real de baixa latência, e o armazenamento offline é usado para treinamento e inferência em lote.

Conjuntos de dados de treinamento de alta qualidade usando operadores com machine learning para criar conjuntos de dados rotulados.

Um atributo de rotulagem de dados pronto para uso para criar conjuntos de dados de treinamento de alta qualidade sem precisar criar aplicações de rotulagem e gerenciar a força de trabalho de rotulagem por conta própria.

Obtenha recomendações sobre configurações e tipos de instância de inferência (por exemplo, contagem de instâncias, parâmetros de contêiner e otimizações de modelos) para usar suas workloads e seus modelos de ML.

Avalie qualquer alteração na sua infraestrutura de serviço de modelos comparando o desempenho dela com a infraestrutura atualmente implantada.

Conheça os recursos e capacidades do SageMaker AI por meio de soluções selecionadas com 1 clique, exemplos de caderno e modelos pré-treinados que você pode implantar. Você também pode ajustar os modelos e implantá-los.

Monitore a linhagem dos fluxos de trabalho de machine learning.

Crie e gerencie pipelines de machine learning integrados diretamente às tarefas do SageMaker AI.

Documente as informações sobre seus modelos de ML em um único local para simplificar a governança e a geração de relatórios em todo o ciclo de vida do ML.

Uma visão geral visual pré-criada de todos os modelos na sua conta. O Painel de Modelo integra informações do SageMaker Model Monitor, tarefas de transformação, endpoints, monitoramento de linhagem e CloudWatch para que você possa acessar informações do modelo de alto nível e acompanhar o desempenho do modelo em uma visualização unificada.

Monitore e analise modelos em produção (endpoints) para detectar desvio de dados e variações na qualidade do modelo.

Controle de versão, monitoramento de artefatos e linhagem, fluxo de trabalho de aprovação e compatibilidade entre contas para implantação de seus modelos de machine learning.

Treine modelos de machine learning uma vez e execute em qualquer lugar na nuvem e na borda.

Execute seu caderno do SageMaker Studio como um trabalho programado e não interativo.

Analise e pré-processe dados, aborde a engenharia de atributos e avalie modelos.

Crie soluções completas de ML com CI/CD usando projetos do SageMaker AI.

Maximize o prêmio a longo prazo que um agente recebe como resultado de suas ações.

Os administradores podem definir permissões de privilégio mínimo para atividades de ML comuns usando funções personalizadas e pré-configuradas das funções do IAM.

Uma opção de endpoint sem servidor para hospedar seu modelo de ML. Ajuste de escala automático da capacidade para atender ao tráfego do seu endpoint. Elimina a necessidade de selecionar tipos de instância ou gerenciar políticas de escalabilidade em um endpoint.

Uma extensão do Git para você inserir a URL de um repositório Git, cloná-lo em seu ambiente, enviar alterações e exibir confirmações de histórico.

A próxima geração de cadernos do SageMaker que incluem a integração AWS IAM Identity Center (IAM Identity Center), tempos de inicialização rápidos e compartilhamento com um único clique.

Descubra, conecte-se, crie, encerre e gerencie facilmente os clusters do EMR da Amazon em configurações de conta única e entre contas diretamente no SageMaker Studio.

Treine modelos de aprendizado profundo com mais depressa em instâncias de GPU escaláveis gerenciadas pelo SageMaker AI.