As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurações avançadas do LLM
Ao usar o Amazon Bedrock, você pode definir algumas configurações avançadas para seus modelos, como Amazon Bedrock Guardrails, Provisioned Throughput for Amazon Bedrock e parâmetros adicionais do modelo.
Barreiras de proteção do Amazon Bedrock
O Amazon Bedrock Guardrails é um recurso do Amazon Bedrock que avalia as entradas do usuário e as respostas do LLM com base nas políticas configuradas pelo usuário e fornece uma camada adicional de salvaguardas, independentemente do LLM subjacente que o usuário selecione para um caso de uso. Um Guardrail consiste em duas políticas para evitar conteúdo que se enquadre em categorias indesejáveis ou prejudiciais:
-
Tópicos negados para definir um conjunto de tópicos indesejáveis no contexto do aplicativo do usuário, por exemplo, consultoria de investimento em um aplicativo financeiro e,
-
Filtros de conteúdo****que permitem filtrar as solicitações de entrada do usuário ou as respostas do modelo contendo conteúdo nocivo.
Para uso na solução Generative AI Application Builder, um guardrail deve ser configurado no console Amazon Bedrock usando o assistente Create guardrail. Depois de criado, você pode adicionar esse Guardrail ao seu caso de uso de chat criado por meio do assistente de solução Generative AI Application Builder nas Configurações adicionais na etapa Seleção de modelo, fornecendo seu Identificador de Guardrail e sua versão de Guardrail.
Representa o assistente de implantação - habilitando o Amazon Bedrock Guardrails
Taxa de transferência provisionada para Amazon Bedrock
Cada modelo sob demanda do Amazon Bedrock segue o limite de cota de conta específico da região para inferência de modelos. Por exemplo, o Anthropic Claude 2.x no Bedrock atualmente permite 500 solicitações e 500.000 tokens processados por minuto nas regiões us-east-1 e us-west-2. Talvez você também queira usar a solução com seus modelos pré-treinados ajustados ou contínuos. Para esses casos, o Amazon Bedrock permite uma taxa de transferência provisionada que permite executar grandes cargas de trabalho de inferência consistentes para seus modelos pré-treinados básicos, ajustados ou contínuos para uso em aplicativos de nível de produção.
Depois que a taxa de transferência provisionada é comprada no console Amazon Bedrock, um ARN de modelo é gerado para uso. Agora você pode fornecer esse ARN do modelo no assistente Generative AI Application Builder na etapa de seleção do modelo. Para fazer isso, selecione Bedrock como fornecedor do modelo e o nome do modelo base que foi usado para gerar esse ARN de modelo provisionado no console Amazon Bedrock. Em seguida, selecione “Modelo provisionado” ao escolher entre modelos sob demanda e provisionados e forneça o ARN do modelo.
Descreve o assistente de implantação - Habilitando a taxa de transferência provisionada para o Amazon Bedrock
nota
Sua grade de proteção e taxa de transferência provisionada devem estar na mesma região do Painel de Implantação implantado e das pilhas de casos de uso.
Parâmetros do modelo
LLMs geralmente aceitam uma ampla gama de parâmetros específicos para sua implementação. Os fornecedores de modelos geralmente fornecem documentação descrevendo o conjunto de parâmetros suportados e seus usos.
A solução passa os parâmetros do modelo diretamente para o modelo subjacente, por isso é importante garantir que os parâmetros sejam definidos corretamente. Consulte a documentação do fornecedor do modelo para obter as informações mais recentes sobre os parâmetros suportados.
