As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Visão geral dos aplicativos Amazon SageMaker Partner AI
Com o Amazon SageMaker Partner AI Apps, os usuários têm acesso a aplicativos generativos de desenvolvimento de IA e aprendizado de máquina (ML) criados, publicados e distribuídos pelos principais fornecedores de aplicativos do setor. Os aplicativos de IA de parceiros são certificados para serem executados em SageMaker IA. Com os aplicativos de IA para parceiros, os usuários podem acelerar e melhorar a forma como criam soluções com base em modelos de base (FM) e modelos clássicos de ML, sem comprometer a segurança de seus dados sensíveis. Os dados permanecem completamente de acordo com a configuração de segurança confiável dos usuários e nunca são compartilhados com terceiros.
Como funciona
Os aplicativos de IA para parceiros são pilhas completas de aplicativos que incluem um cluster do Amazon Elastic Kubernetes Service e uma variedade de serviços complementares, como Application Load Balancer, Amazon Relational Database Service, buckets do Amazon Simple Storage Service, filas do Amazon Simple Queue Service e caches do Redis.
Esses aplicativos de serviço podem ser compartilhados entre todos os usuários em um domínio de SageMaker IA e são provisionados por um administrador. Depois de provisionar o aplicativo comprando uma assinatura por meio do AWS Marketplace, o administrador pode conceder aos usuários no domínio de SageMaker IA permissões para acessar o aplicativo Partner AI diretamente do Amazon Studio, Amazon SageMaker Unified SageMaker Studio (versão prévia) ou usando uma URL pré-assinada. Para ter informações sobre como iniciar um aplicativo no Studio, consulte Inicie o Amazon SageMaker Studio.
O recurso Aplicativos de IA para Parceiros oferece os benefícios a seguir para administradores e usuários.
-
Os administradores usam o console de SageMaker IA para navegar, descobrir, selecionar e provisionar os Partner AI Apps para uso por suas equipes de ciência de dados e ML. Depois que os aplicativos de IA do parceiro são implantados, a SageMaker IA os executa em serviços Contas da AWS gerenciados. Isso reduz significativamente os custos operacionais indiretos associados à criação e operação desses aplicativos e contribui para a segurança e a privacidade de dados dos clientes.
-
Cientistas de dados e desenvolvedores de ML podem acessar os Partner AI Apps de dentro de seu ambiente de desenvolvimento de ML no Amazon SageMaker Studio ou no Amazon SageMaker Unified Studio (versão prévia). Eles podem usar os Partner AI Apps para analisar seus dados, experimentos e modelos criados na SageMaker IA. Isso minimiza a mudança de contexto e ajuda a acelerar a criação de modelos de base e a introdução de novos recursos de IA generativa no mercado.
Integração com Serviços da AWS
O Partner AI Apps usa a configuração existente AWS Identity and Access Management (IAM) para autorização e autenticação. Como resultado, os usuários não precisam fornecer credenciais separadas para acessar cada aplicativo Partner AI do Amazon SageMaker Studio. Para ter mais informações sobre autorização e autenticação no recurso Aplicativos de IA para Parceiros, consulte Configurar aplicativos de IA para parceiros.
O Partner AI Apps também se Amazon CloudWatch integra para fornecer monitoramento e gerenciamento operacionais. Os clientes também podem navegar pelos aplicativos de AI para parceiros e obter detalhes sobre eles, como recursos, experiência do cliente e preços usando o Console de gerenciamento da AWS. Para obter informações sobre Amazon CloudWatch, consulte Como Amazon CloudWatch funciona.
Aplicativos de IA de parceiros, como o Deepchecks, oferecem suporte à integração com o Amazon Bedrock para permitir recursos de avaliação baseados em LLM, como avaliações do tipo “LLM como juiz” e recursos de anotação automatizada. Quando a integração com o Amazon Bedrock é ativada, o aplicativo Partner AI usa sua conta Amazon Bedrock gerenciada pelo cliente para acessar os modelos básicos, garantindo que seus dados permaneçam dentro de sua configuração de segurança confiável. Para obter mais informações sobre como configurar a integração com o Amazon Bedrock, consulte. Configurar a integração com o Amazon Bedrock
Tipos compatíveis
Os aplicativos de AI para parceiros são compatíveis com os seguintes tipos:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Quando o administrador inicia um aplicativo de IA para parceiros, ele deve selecionar a configuração do cluster de instâncias com o qual o aplicativo de IA para parceiros é executado. Essa configuração é conhecida como nível do aplicativo de IA para parceiros. O nível de aplicativo de IA para parceiros pode ter um dos seguintes valores:
-
small -
medium -
large
As seções a seguir fornecem informações sobre cada um dos tipos de aplicativo de IA para parceiros e detalhes sobre os valores de nível do aplicativo.
Cometfornece uma plataforma de avaliação de end-to-end modelos para desenvolvedores de IA, com avaliações de LLM, rastreamento de experimentos e monitoramento de produção.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na workload:
-
small: recomendado para até cinco usuários e vinte tarefas em execução. -
medium: recomendado para até cinquenta usuários e cem tarefas em execução. -
large: recomendado para até quinhentos usuários e cem tarefas em execução.
nota
SageMaker A IA não suporta a visualização da Comet interface do usuário como parte da saída de um notebook Jupyter.
Os desenvolvedores de aplicações de IA e as partes interessadas podem usar o Deepchecks para validar continuamente os aplicativos baseados em LLM, como características, métricas de desempenho e possíveis armadilhas em todo o ciclo de vida, desde a pré-implantação e a experimentação interna até a produção.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na velocidade desejada para a workload:
-
small: processa 200 tokens por segundo. -
medium: processa 500 tokens por segundo. -
large: processa 1.300 tokens por segundo.
A plataforma de observabilidade de IA Fiddler facilita a validação, o monitoramento e a análise de modelos de ML na produção, como modelos tabulares, de aprendizado profundo, de visão computacional e de processamento de linguagem natural.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na velocidade desejada para a workload:
-
small: o processamento de 10 milhões de eventos em 5 modelos, 100 atributos e 20 iterações leva 53 minutos. -
medium: o processamento de 10 milhões de eventos em 5 modelos, 100 atributos e 20 iterações leva 23 minutos. -
large: o processamento de 10 milhões de eventos em 5 modelos, 100 atributos e 100 iterações leva 27 minutos.
O Lakera Guard é um firewall de aplicativos de IA de baixa latência para proteger aplicativos de IA generativa contra ameaças específicas da IA generativa.
Recomendamos os seguintes níveis de aplicativo de IA para parceiros com base na workload:
-
small— Recomendado para até 20 automações de processos robóticos ()RPAs. -
medium— Recomendado para até 100 RPAs. -
large— Recomendado para até 200 RPAs.
