Monitorando o uso do Amazon Quick usando CloudWatch registros - Amazon Quick

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorando o uso do Amazon Quick usando CloudWatch registros

Você pode usar o Amazon CloudWatch Logs para fornecer conversas de bate-papo, feedback de usuários e agent/research horas de uso no Amazon Quick para você analisar. Esses registros podem ser entregues para vários destinos CloudWatch, como Amazon S3 ou Amazon Data Firehose (taxas padrão aplicáveis). Recomendamos que você configure os registros vendidos logo após ativar os recursos do Amazon Quick AI.

Veja a seguir exemplos de tarefas que você pode concluir com os registros do Amazon Quick:

  • Identificar dúvidas e pontos problemáticos comuns dos usuários revisando o conteúdo da mensagem de chat.

  • Monitorar a qualidade das respostas analisando métricas como feedbackReason.

  • Entender o sentimento e a satisfação do usuário analisando os dados de feedback, incluindo comentários e classificações de utilidade.

  • Gerar painéis e relatórios personalizados para acompanhar as principais métricas e tendências ao longo do tempo.

  • Identifique e analise casos em que o bate-papo não retornou nenhuma resposta ou a consulta do usuário foi bloqueada

  • Monitore o uso do agente e das horas de pesquisa

Importante

Os logs das conversas podem incluir dados confidenciais ou de identificação pessoal transmitidos nos chats. Você pode filtrar essas informações dos seus registros ao configurar a assinatura de registros. Ou você pode mascarar esses dados em seus registros usando as políticas de mascaramento de CloudWatch registros. Para obter mais informações, consulte Ajude a proteger dados de logs confidenciais com mascaramento.

Destinos de log compatíveis

O Amazon Quick pode entregar registros para os seguintes destinos:

  • Amazon CloudWatch Logs — Para monitoramento e análise em tempo real

  • Amazon S3 — Para armazenamento de longo prazo e processamento em lote

  • Amazon Data Firehose — Para análise de streaming e transformação de dados

Pré-requisitos

Antes de ativar o registro, verifique se você tem:

  • Uma instância ativa do Amazon Quick com assinaturas Enterprise ou Professional

  • Permissões apropriadas do IAM para configurar a entrega de registros

  • Um destino configurado para seus registros (CloudWatch Logs, Amazon S3 bucket ou Firehose)

Configurar o registro em log da

Para habilitar o registro no Amazon Quick Chat and Feedback, você precisa configurar as permissões do IAM, criar uma fonte e um destino de entrega e verificar se os registros estão sendo entregues com sucesso.

Configurar permissões do IAM

Para configurar o CloudWatch Logs para o Amazon Quick, use os seguintes exemplos de políticas do IAM para conceder as permissões necessárias.

{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }

Você também deve permitir que o diretor delivery.logs.amazonaws.com de serviço inclua sua política de AWS KMS chaves gerenciadas pelo cliente.

{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }

Configurar assinatura de registro

Por exemplo, políticas do IAM com todas as permissões necessárias para seu destino de registro específico, consulte Habilitar o registro de AWS serviços no Guia do usuário do Amazon CloudWatch Logs.

Crie uma fonte de entrega com a operação da API PutDeliverySource CloudWatch Logs. Dê um nome à fonte de entrega e, para resourceArn, especifique o ARN da sua aplicação. Para logTypeCHAT_LOGS, especificar AGENT_HOURS_LOGS ou FEEDBACK_LOGS

{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "AGENT_HOURS_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }

Para ativar o registro de conversas do usuário com as operações da API CloudWatch Logs PutDeliverySourcePutDeliveryDestination, você chama as operações CreateDelivery da API, e.

nota

Os registros estariam disponíveis para a região mencionada no ARN do recurso na PutDeliverySource entrada.

Verifique a entrega do registro

Depois de configurado, verifique se os registros estão sendo entregues ao seu destino:

  • Verifique a configuração: verifique a lista de entregas que foram criadas na conta usando a DescribeDeliveries API no CloudWatch Logs.

  • CloudWatch Registros: verifique se há novos fluxos de registros no grupo de registros especificado.

  • Amazon S3: monitore seu bucket em busca de novos arquivos de log.

  • Firehose: verifique se os dados estão fluindo pelo seu stream de entrega.

Esquema e formato do log

Os Amazon Quick Logs seguem um esquema estruturado com campos comuns compartilhados em todos os tipos de registros e campos específicos para registros de bate-papo e feedback.

Campos comuns

Todos os eventos de registro incluem esses campos comuns:

  • resource_arn- ARN do recurso da sua conta Amazon Quick (por exemplo,) arn:aws:quicksight:us-east-1:111122223333:account/111122223333:

  • event_timestamp- Registro de data e hora ISO 8601 do evento (por exemplo,) 1763532110061

  • logType- Tipo de registro (por exemplo, Chat ouFeedback)

  • accountId- ID AWS da conta (por exemplo,123456789012)

  • user_arn- ARN do usuário do Amazon Quick associado ao evento (por exemplo,) "arn:aws:quicksight:us-west-2:111122223333:user/default/user"

Registros de bate-papo

Os registros de bate-papo capturam as interações da conversa e contêm os campos abaixo:

  • status_code- Status da solicitação de bate-papo (por exemplo,Success, request_blocked, no_answer_found)

  • namespace*- Namespace Amazon Quick para o evento (por exemplo,) default

  • user_type- Tipo de usuário Amazon Quick associado ao evento (por exemplo,ADMIN_PRO)

  • conversation_id- ID exclusivo para a conversa do usuário

  • system_message_id- ID da mensagem gerada pelo sistema

  • latency*- Latência da mensagem de bate-papo em milissegundos

  • time_to_first_token*- Tempo em milissegundos do primeiro token de resposta

  • message_scope- Escopo da mensagem (por exemplo,all_resources, specific_resources, no_resources)

  • user_message_id- ID exclusivo da mensagem do usuário

  • user_message- mensagem do usuário na conversa

  • agent_id- ID exclusivo do agente de bate-papo

  • flow_id- ID exclusivo do Amazon Quick Flow

  • system_text_message- Resposta do sistema na conversa

  • surface_type*- Aplicativo sendo usado para a conversa

  • web_search*- Pesquisa na Web ativada ou não

  • user_selected_resources- Lista de recursos selecionados pelo usuário

  • action_connectors- Lista de conectores de ação

  • cited_resource- Lista de recursos citados

  • file_attachment- Lista de arquivos anexados pelo usuário

Veja a seguir um exemplo de registros de bate-papo:

{ "status_code": "success", "namespace": "default", "user_type": "ADMIN_PRO", "conversation_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "system_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "time_to_first_token": "10000", "message_scope": "all_resources", "user_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "user_message": "Hi chat", "agent_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flow_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "system_text_message": "Hello user", "surface_type": "WEB_EXPERIENCE", "web_search": "true" "user_selected_resources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "action_connectors": [{"action_connector_id": "quicksight-website"},{"action_connector_id": "123abs-1234-534894"}] "cited_resource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "file_attachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }

Registros de feedback

Os registros de feedback capturam o feedback do usuário no chat e contêm os campos abaixo:

  • status_code- Status da entrega do evento

  • namespace*- Namespace Amazon Quick para o evento (por exemplo,) default

  • user_type- Tipo de usuário Amazon Quick associado ao evento (por exemplo,ADMIN_PRO)

  • conversation_id- ID exclusivo da conversa

  • system_message_id- ID da mensagem gerada pelo sistema

  • user_message_id- ID exclusivo da mensagem do usuário

  • feedback_type- Tipo de feedback (por exemplo,Not Useful, Useful)

  • feedback_reason- Motivo do feedback selecionado pelo usuário

  • feedback_details- (Opcional) Detalhes adicionais fornecidos pelo usuário

Veja a seguir um exemplo de registros de feedback:

{ "status_code": "success", "namespace": "default", "user_type": "ADMIN_PRO", "conversation_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "system_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "user_message_id" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"Not Useful / Useful" "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" }

Registros de horas do agente/pesquisa

Esse tipo de registro captura os registros de uso de diferentes agentes em sua conta Quick usados para preços:

  • subscription_type- EMPRESARIAL ou PROFISSIONAL

  • reporting_service- Serviço correspondente ao agente: PESQUISA, FLUXOS OU AUTOMAÇÕES

  • usage_group- Included or Extra com base no tipo de assinatura e no uso até o momento

  • usage_hours- Valor decimal indicando as horas de uso da instância de log específica

  • service_resource_arn- ARN do serviço do agente correspondente

Veja a seguir um exemplo de registros de horas do agente:

{ "subscription_type": "ENTERPRISE", "reporting_service": "RESEARCH", "usage_group": "Included", "usage_hours": 0.3333, "service_resource_arn": "arn:aws:quicksight:eu-west-1:111222333444:research/a11b2bbc-c123-3abc-a12b-12a34b5c678d" }
nota

* Os campos marcados com '*' não são adicionados por padrão à sua assinatura de registro. Eles precisam ser especificados explicitamente durante a chamada, CreateDelivery se necessário.

Considerações sobre segurança

  • Criptografia: use AWS KMS chaves gerenciadas pelo cliente para dados confidenciais

  • Controle de acesso: implemente políticas de IAM com privilégios mínimos

  • Retenção de dados: configure políticas de retenção apropriadas para seus requisitos de conformidade