As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Visão geral dos aplicativos Amazon SageMaker Partner AI
Com o Amazon SageMaker Partner AI Apps, os usuários têm acesso a aplicativos generativos de desenvolvimento de IA e aprendizado de máquina (ML) criados, publicados e distribuídos pelos principais fornecedores de aplicativos do setor. Os aplicativos de IA de parceiros são certificados para serem executados em SageMaker IA. Com o Partner AI Apps, os usuários podem acelerar e melhorar a forma como criam soluções com base em modelos básicos (FM) e modelos clássicos de ML sem comprometer a segurança de seus dados confidenciais. Os dados permanecem completamente dentro de sua configuração de segurança confiável e nunca são compartilhados com terceiros.
Como funciona
Os Partner AI Apps são pilhas completas de aplicativos que incluem um cluster do Amazon Elastic Kubernetes Service e uma variedade de serviços complementares que podem incluir Application Load Balancer, Amazon Relational Database Service, buckets do Amazon Simple Storage Service, filas e caches do Amazon Simple Queue Service. Redis
Esses aplicativos de serviço podem ser compartilhados entre todos os usuários em um domínio de SageMaker IA e são provisionados por um administrador. Depois de provisionar o aplicativo comprando uma assinatura por meio do AWS Marketplace, o administrador pode conceder aos usuários no domínio de SageMaker IA permissões para acessar o aplicativo Partner AI diretamente do Amazon Studio, Amazon SageMaker Unified SageMaker Studio (versão prévia) ou usando uma URL pré-assinada. Para obter informações sobre como iniciar um aplicativo a partir do Studio, consulteInicie o Amazon SageMaker Studio.
O Partner AI Apps oferece os seguintes benefícios para administradores e usuários.
-
Os administradores usam o console de SageMaker IA para navegar, descobrir, selecionar e provisionar os Partner AI Apps para uso por suas equipes de ciência de dados e ML. Depois que os aplicativos de IA do parceiro são implantados, a SageMaker IA os executa em serviços Contas da AWS gerenciados. Isso reduz significativamente a sobrecarga operacional associada à criação e operação desses aplicativos e contribui para a segurança e a privacidade dos dados do cliente.
-
Cientistas de dados e desenvolvedores de ML podem acessar os Partner AI Apps de dentro de seu ambiente de desenvolvimento de ML no Amazon SageMaker Studio ou no Amazon SageMaker Unified Studio (versão prévia). Eles podem usar os Partner AI Apps para analisar seus dados, experimentos e modelos criados na SageMaker IA. Isso minimiza a mudança de contexto e ajuda a acelerar a criação de modelos básicos e a introdução de novos recursos de IA generativa no mercado.
Integração com Serviços da AWS
O Partner AI Apps usa a configuração existente AWS Identity and Access Management (IAM) para autorização e autenticação. Como resultado, os usuários não precisam fornecer credenciais separadas para acessar cada aplicativo Partner AI do Amazon SageMaker Studio. Para obter mais informações sobre autorização e autenticação com Partner AI Apps, consulteConfigurar aplicativos de IA de parceiros.
O Partner AI Apps também se Amazon CloudWatch integra para fornecer monitoramento e gerenciamento operacionais. Os clientes também podem navegar pelos Partner AI Apps e obter detalhes sobre eles, como recursos, experiência do cliente e preços, no AWS Management Console. Para obter informações sobre Amazon CloudWatch, consulte Como Amazon CloudWatch funciona.
Tipos suportados
Os aplicativos de IA do parceiro são compatíveis com os seguintes tipos:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Quando o administrador inicia um aplicativo Partner AI, ele deve selecionar a configuração do cluster de instâncias com o qual o aplicativo Partner AI é executado. Essa configuração é conhecida como o nível do aplicativo Partner AI. O nível de um aplicativo Partner AI pode ser um dos seguintes valores:
-
small -
medium -
large
As seções a seguir fornecem informações sobre cada um dos tipos de aplicativos Partner AI e detalhes sobre os valores de nível do aplicativo Partner AI.
Cometfornece uma plataforma de avaliação de end-to-end modelos para desenvolvedores de IA, com avaliações de LLM, rastreamento de experimentos e monitoramento de produção.
Recomendamos os seguintes níveis do Partner AI App com base na carga de trabalho:
-
small— Recomendado para até 5 usuários e 20 trabalhos em execução. -
medium— Recomendado para até 50 usuários e 100 trabalhos em execução. -
large— Recomendado para até 500 usuários e mais de 100 trabalhos em execução.
nota
SageMaker A IA não suporta a visualização da Comet interface do usuário como parte da saída de um notebook Jupyter.
Os desenvolvedores de aplicativos de IA e as partes interessadas podem usar Deepchecks para validar continuamente os aplicativos baseados em LLM, incluindo características, métricas de desempenho e possíveis armadilhas em todo o ciclo de vida, desde a pré-implantação e a experimentação interna até a produção.
Recomendamos os seguintes níveis do Partner AI App com base na velocidade desejada para a carga de trabalho:
-
small— Processa 200 tokens por segundo. -
medium— Processa 500 tokens por segundo. -
large— Processa 1300 tokens por segundo.
A Fiddler AI Observability Platform facilita a validação, o monitoramento e a análise de modelos de ML em produção, incluindo modelos tabulares, de aprendizado profundo, de visão computacional e de processamento de linguagem natural.
Recomendamos os seguintes níveis do Partner AI App com base na velocidade desejada para a carga de trabalho:
-
small— O processamento de eventos de 10 MM em 5 modelos, 100 recursos e 20 iterações leva cerca de 53 minutos. -
medium— O processamento de eventos de 10 MM em 5 modelos, 100 recursos e 20 iterações leva cerca de 23 minutos. -
large— O processamento de eventos de 10 MM em 5 modelos, 100 recursos e 100 iterações leva cerca de 27 minutos.
Lakera Guardé um firewall de aplicativos de IA de baixa latência para proteger aplicativos de IA generativos contra ameaças específicas de IA de uma geração.
Recomendamos os seguintes níveis do Partner AI App com base na carga de trabalho:
-
small— Recomendado para até 20 automações de processos robóticos ()RPAs. -
medium— Recomendado para até 100 RPAs. -
large— Recomendado para até 200 RPAs.
