Implantar um modelo no Studio

Para implantar modelos JumpStart básicos, navegue até um cartão de detalhes do modelo na interface do usuário do Studio. Para obter mais informações sobre como abrir JumpStart no Studio, consulteAbrir JumpStart no Studio. Depois de navegar até a página de detalhes do modelo escolhido, selecione Implantar no canto superior direito da interface do usuário do Studio. Em seguida, siga as etapas em Implantar modelos com o SageMaker Studio.

A Amazon SageMaker JumpStart também oferece implantações otimizadas, que fornecem configurações de implantação predefinidas projetadas para casos de uso específicos, como geração de conteúdo, resumo ou interações no estilo de bate-papo. Ao implantar um modelo compatível, você pode selecionar seu caso de uso alvo e escolher uma otimização de restrição — otimizada para custos, otimizada para produtividade, otimizada para latência ou balanceada — e a Amazon configura SageMaker JumpStart automaticamente o endpoint para esse cenário. Isso lhe dá visibilidade das principais métricas de desempenho, como latência P50 time-to-first-token (TTFT) e taxa de transferência, ao mesmo tempo em que garante que a implantação seja ajustada à sua carga de trabalho. Para começar, abra a página de detalhes de um modelo compatível no Studio, escolha Implantar e use o painel Desempenho para configurar sua implantação otimizada.