Visão geral do recurso Aplicativos de IA para Parceiros do Amazon SageMaker
Com o recurso Aplicativos de IA para Parceiros do Amazon SageMaker, os usuários têm acesso a aplicativos de desenvolvimento de IA generativa e machine learning (ML) criados, publicados e distribuídos pelos principais fornecedores de aplicativos do setor. Os aplicativos de IA par parceiros são certificados para serem executados no SageMaker AI. Com os aplicativos de IA para parceiros, os usuários podem acelerar e melhorar a forma como criam soluções com base em modelos de base (FM) e modelos clássicos de ML, sem comprometer a segurança de seus dados sensíveis. Os dados permanecem completamente de acordo com a configuração de segurança confiável dos usuários e nunca são compartilhados com terceiros.
Como funciona
Os aplicativos de IA para parceiros são pilhas completas de aplicativos que incluem um cluster do Amazon Elastic Kubernetes Service e uma variedade de serviços complementares, como Application Load Balancer, Amazon Relational Database Service, buckets do Amazon Simple Storage Service, filas do Amazon Simple Queue Service e caches do Redis.
Esses aplicativos de serviço podem ser compartilhados entre todos os usuários em um domínio do SageMaker AI e são provisionados por um administrador. Depois de provisionar o aplicativo comprando uma assinatura por meio do AWS Marketplace, o administrador pode conceder aos usuários no domínio do SageMaker AI permissões para acessar o aplicativo de IA para parceiros diretamente do Amazon SageMaker Studio ou do Estúdio Unificado Amazon SageMaker (versão prévia) ou usando um URL pré-assinado. Para ter informações sobre como iniciar um aplicativo no Studio, consulte Iniciar o Amazon SageMaker Studio.
O recurso Aplicativos de IA para Parceiros oferece os benefícios a seguir para administradores e usuários.
-
Os administradores usam o console do SageMaker AI para navegar, descobrir, selecionar e provisionar os aplicativos de IA para parceiros para serem usados por suas equipes de ciência de dados e ML. Depois que os aplicativos de IA para parceiros são implantados, o SageMaker AI os executa em Contas da AWS gerenciadas pelo serviço. Isso reduz significativamente os custos operacionais indiretos associados à criação e operação desses aplicativos e contribui para a segurança e a privacidade de dados dos clientes.
-
Cientistas de dados e desenvolvedores de ML podem acessar os aplicativos de IA para parceiros dentro de seu ambiente de desenvolvimento de ML no Amazon SageMaker Studio ou no Estúdio Unificado Amazon SageMaker (versão prévia). Eles podem usar os aplicativos de IA para parceiros para analisar dados, experimentos e modelos que eles criam no SageMaker AI. Isso minimiza a mudança de contexto e ajuda a acelerar a criação de modelos de base e a introdução de novos recursos de IA generativa no mercado.
Integração com Serviços da AWS
Os aplicativos de IA para parceiros usam a configuração existente do AWS Identity and Access Management (IAM) para autorização e autenticação. Por isso, os usuários não precisam fornecer credenciais separadas para acessar cada aplicativo de IA para parceiros do Amazon SageMaker Studio. Para ter mais informações sobre autorização e autenticação no recurso Aplicativos de IA para Parceiros, consulte Configurar aplicativos de IA para parceiros.
O recurso Aplicativos de IA para Parceiros também se integra ao Amazon CloudWatch para oferecer monitoramento e gerenciamento operacionais. Os clientes também podem navegar pelos aplicativos de AI para parceiros e obter detalhes sobre eles, como recursos, experiência do cliente e preços usando o Console de gerenciamento da AWS. Para ter informações sobre o Amazon CloudWatch, consulte O que é o Amazon CloudWatch?.
Tipos compatíveis
Os aplicativos de AI para parceiros são compatíveis com os seguintes tipos:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Quando o administrador inicia um aplicativo de IA para parceiros, ele deve selecionar a configuração do cluster de instâncias com o qual o aplicativo de IA para parceiros é executado. Essa configuração é conhecida como nível do aplicativo de IA para parceiros. O nível de aplicativo de IA para parceiros pode ter um dos seguintes valores:
-
small -
medium -
large
As seções a seguir fornecem informações sobre cada um dos tipos de aplicativo de IA para parceiros e detalhes sobre os valores de nível do aplicativo.
O Comet oferece uma plataforma de avaliação de modelo completa para desenvolvedores de IA, com avaliações de LLM, rastreamento de experimentos e monitoramento de produção.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na workload:
-
small: recomendado para até cinco usuários e vinte tarefas em execução. -
medium: recomendado para até cinquenta usuários e cem tarefas em execução. -
large: recomendado para até quinhentos usuários e cem tarefas em execução.
nota
O SageMaker AI não permite a visualização da interface de usuário Comet como parte da saída de um caderno Jupyter.
Os desenvolvedores de aplicações de IA e as partes interessadas podem usar o Deepchecks para validar continuamente os aplicativos baseados em LLM, como características, métricas de desempenho e possíveis armadilhas em todo o ciclo de vida, desde a pré-implantação e a experimentação interna até a produção.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na velocidade desejada para a workload:
-
small: processa 200 tokens por segundo. -
medium: processa 500 tokens por segundo. -
large: processa 1.300 tokens por segundo.
A plataforma de observabilidade de IA Fiddler facilita a validação, o monitoramento e a análise de modelos de ML na produção, como modelos tabulares, de aprendizado profundo, de visão computacional e de processamento de linguagem natural.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na velocidade desejada para a workload:
-
small: o processamento de 10 milhões de eventos em 5 modelos, 100 atributos e 20 iterações leva 53 minutos. -
medium: o processamento de 10 milhões de eventos em 5 modelos, 100 atributos e 20 iterações leva 23 minutos. -
large: o processamento de 10 milhões de eventos em 5 modelos, 100 atributos e 100 iterações leva 27 minutos.
O Lakera Guard é um firewall de aplicativos de IA de baixa latência para proteger aplicativos de IA generativa contra ameaças específicas da IA generativa.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na workload:
-
small: recomendado para até 20 automações de processos robóticos (RPAs). -
medium: recomendado para até 100 RPAs. -
large: recomendado para até 200 RPAs.
