Pré-requisitos
Antes de começar a usar o Amazon Bedrock AgentCore Evaluations, verifique se você tem as AWS permissões e funções de serviço necessárias configuradas.
Permissões obrigatórias
Para usar os recursos de avaliação on-line do AgentCore Evaluations, você precisa:
-
AWS Conta com as permissões apropriadas do IAM
-
Acesso ao Amazon Bedrock com permissões de invocação de modelo (necessário ao usar um avaliador personalizado)
-
CloudWatchAcesso à Amazon para visualizar os resultados da avaliação
-
Pesquisa de transações ativada em CloudWatch - consulte Ativar pesquisa de transações
-
AWS Distro for OpenTelemetry (ADOT) SDK instrumentando seu agente. Use as instruções AgentCore de observabilidade para configurar a observabilidade para agentes hospedados no AgentCore Runtime e agentes hospedados em outros lugares.
Permissões de usuário do IAM
Seu usuário ou função do IAM precisa das seguintes permissões para criar e gerenciar avaliações:
Tópicos
Operações de console e API
Para usar o Amazon Bedrock AgentCore, você pode anexar a política BedrockAgentCoreFullAccess AWS gerenciada ao seu usuário do IAM ou à sua função do IAM. Essa política concede amplas permissões para todos os AgentCore recursos. Se você usa apenas AgentCore avaliações, recomendamos criar uma política personalizada do IAM que inclua somente as permissões necessárias para avaliação.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock-agentcore:CreateEvaluator", "bedrock-agentcore:GetEvaluator", "bedrock-agentcore:ListEvaluators", "bedrock-agentcore:UpdateEvaluator", "bedrock-agentcore:DeleteEvaluator", "bedrock-agentcore:CreateOnlineEvaluationConfig", "bedrock-agentcore:GetOnlineEvaluationConfig", "bedrock-agentcore:ListOnlineEvaluationConfigs", "bedrock-agentcore:UpdateOnlineEvaluationConfig", "bedrock-agentcore:DeleteOnlineEvaluationConfig", "bedrock-agentcore:Evaluate" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": "arn:aws:iam::*:role/AgentCoreEvaluationRole*", "Condition": { "StringEquals": { "iam:PassedToService": "bedrock-agentcore.amazonaws.com" } } }, { "Effect": "Allow", "Action": [ "bedrock:InvokeModel", "bedrock:Converse", "bedrock:InvokeModelWithResponseStream", "bedrock:ConverseStream" ], "Resource": [ "arn:aws:bedrock:*::foundation-model/*", "arn:aws:bedrock:*:*:inference-profile/*" ] }, { "Effect": "Allow", "Action": [ "logs:DescribeIndexPolicies", "logs:PutIndexPolicy", "logs:CreateLogGroup" ], "Resource": "*" }, { "Sid": "KMSPermissionsForCMKEvaluators", "Effect": "Allow", "Action": [ "kms:DescribeKey", "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "arn:aws:kms:*:*:key/*" } ] }
nota
A KMSPermissionsForCMKEvaluators declaração só é necessária se você usar chaves KMS gerenciadas pelo cliente para criptografar avaliadores personalizados. Para obter mais informações, consulte Criptografia em repouso para AgentCore avaliações.
Perfil de execução do serviço
O Amazon Bedrock AgentCore Evaluations exige uma função personalizada do IAM para acessar AWS recursos em seu nome. Essa função permite que o serviço:
-
Invoque modelos Amazon Bedrock para avaliação (obrigatório ao usar um avaliador personalizado)
-
Leia traços da Amazon CloudWatch
-
Escreva os resultados da avaliação na Amazon CloudWatch
-
Configurar a indexação de registros para análise de traços
Para criar a função do IAM, você pode usar o console de AgentCore avaliações, o AWS console ou a AgentCore CLI.
Tópicos
Opção 1: Usando o AgentCore console de avaliações
Você pode criar a função do IAM necessária diretamente por meio do console de AgentCore avaliações, que fornece uma abordagem simplificada com a criação automática de funções.
Para criar uma função do IAM usando o console de AgentCore avaliações
-
Abra o AgentCore console Amazon Bedrock.
-
No painel de navegação esquerdo, escolha Avaliação.
-
Escolha Criar configuração de avaliação.
-
Na seção Permissão, selecione Criar e usar uma nova função de serviço e o console criará automaticamente a função do IAM para você.
Opção 2: usar a AgentCore CLI
A AgentCore CLI cria automaticamente a função do IAM necessária quando você implanta seu projeto.
Opção 3: Usando o AWS Console
Você pode criar manualmente a função do IAM usando o AWS console, o que lhe dá controle total sobre a configuração e as políticas da função.
Para criar uma função do IAM usando o AWS console
-
Abra o console do IAM.
-
Navegue até Funções e escolha Criar função
-
Selecione o AWS serviço como o tipo de entidade confiável
-
Crie uma função do IAM com a seguinte política de confiança para permitir que o Amazon Bedrock assuma AgentCore a função:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "TrustPolicyStatement", "Effect": "Allow", "Principal": { "Service": "bedrock-agentcore.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "{{accountId}}", "aws:ResourceAccount": "{{accountId}}" }, "ArnLike": { "aws:SourceArn": [ "arn:aws:bedrock-agentcore:{{region}}:{{accountId}}:evaluator/*", "arn:aws:bedrock-agentcore:{{region}}:{{accountId}}:online-evaluation-config/*" ] } } } ] } -
Anexe a seguinte política de permissões à função de execução:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "CloudWatchLogReadStatement", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups", "logs:GetQueryResults", "logs:StartQuery" ], "Resource": "*" }, { "Sid": "CloudWatchLogWriteStatement", "Effect": "Allow", "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents" ], "Resource": "arn:aws:logs:{{region}}:{{accountId}}:log-group:/aws/bedrock-agentcore/evaluations/*" }, { "Sid": "CloudWatchIndexPolicyStatement", "Effect": "Allow", "Action": [ "logs:DescribeIndexPolicies", "logs:PutIndexPolicy" ], "Resource": [ "arn:aws:logs:{{region}}:{{accountId}}:log-group:aws/spans", "arn:aws:logs:{{region}}:{{accountId}}:log-group:aws/spans:*" ] }, { "Sid": "BedrockInvokeStatement", "Effect": "Allow", "Action": [ "bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream" ], "Resource": [ "arn:aws:bedrock:{{region}}::foundation-model/*", "arn:aws:bedrock:{{region}}:{{accountId}}:inference-profile/*" ] } ] }nota
Substitua {{region}} e {{accountId}} pela sua região e ID da conta AWS reais. Se você estiver usando um avaliador personalizado e tiver especificado um BedrockInvokeStatement, também poderá definir o escopo dos IDs de modelo permitidos.
-
Dê um nome à sua função (por exemplo, AgentCoreEvaluationRole)
-
Revise e crie a função
