As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitorando o bate-papo e o feedback do Amazon Quick Suite usando CloudWatch Logs
Você pode usar o Amazon CloudWatch Logs para fornecer conversas de usuários e feedback de respostas no Amazon Quick Suite para você analisar. Esses registros podem ser entregues para vários destinos CloudWatch, como Amazon S3 ou (taxas padrão aplicáveis). Recomendamos que você configure o registro de conversas e comentários logo após criar seu agente de bate-papo do Amazon Quick Suite.
Veja a seguir exemplos de tarefas que você pode concluir com registros de conversas e feedback de respostas no Amazon Quick Suite:
-
Identificar dúvidas e pontos problemáticos comuns dos usuários revisando o conteúdo da mensagem de chat.
-
Monitorar a qualidade das respostas analisando métricas como
feedbackReason. -
Entender o sentimento e a satisfação do usuário analisando os dados de feedback, incluindo comentários e classificações de utilidade.
-
Gerar painéis e relatórios personalizados para acompanhar as principais métricas e tendências ao longo do tempo.
Importante
Os logs das conversas podem incluir dados confidenciais ou de identificação pessoal transmitidos nos chats. Você pode filtrar essas informações dos seus registros ao configurar a assinatura de registros. Ou você pode mascarar esses dados em seus registros usando as políticas de mascaramento de CloudWatch registros. Para obter mais informações, consulte Ajude a proteger dados de logs confidenciais com mascaramento.
Destinos de log compatíveis
O Amazon Quick Suite pode entregar registros para os seguintes destinos:
-
Amazon CloudWatch Logs — Para monitoramento e análise em tempo real
-
Amazon S3 — Para armazenamento de longo prazo e processamento em lote
-
Amazon Data Firehose — Para análise de streaming e transformação de dados
Pré-requisitos
Antes de ativar o registro, verifique se você tem:
-
Uma instância ativa do Amazon Quick Suite com assinaturas Enterprise ou Professional
-
Permissões apropriadas do IAM para configurar a entrega de registros
-
Um destino configurado para seus registros (CloudWatch Logs, Amazon S3 bucket ou Firehose)
Configurar registro em log da
Para habilitar o registro para bate-papo e feedback do Amazon Quick Suite, você precisa configurar as permissões do IAM, criar uma fonte e um destino de entrega e verificar se os registros estão sendo entregues com sucesso.
Configurar permissões do IAM
Para configurar CloudWatch os registros para o Amazon Quick Suite, use os seguintes exemplos de políticas do IAM para conceder as permissões necessárias.
{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }
Você também deve permitir que o diretor delivery.logs.amazonaws.com de serviço inclua sua política de AWS KMS chaves gerenciadas pelo cliente.
{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }
Configurar assinatura de registro
Por exemplo, políticas do IAM com todas as permissões necessárias para seu destino de registro específico, consulte Habilitar o registro de AWS serviços no Guia do usuário do Amazon CloudWatch Logs.
Crie uma fonte de entrega com a operação da API PutDeliverySource CloudWatch Logs. Dê um nome à fonte de entrega e, para resourceArn, especifique o ARN da sua aplicação. ParalogType, especifique CHAT_LOGS ou FEEDBACK_LOGS
{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
Para ativar o registro de conversas do usuário com as operações da API CloudWatch Logs PutDeliverySourcePutDeliveryDestination, você chama as operações CreateDelivery da API, e.
nota
Os registros estariam disponíveis para a região mencionada no ARN do recurso na PutDeliverySource entrada.
Verifique a entrega do registro
Depois de configurado, verifique se os registros estão sendo entregues ao seu destino:
-
Verifique a configuração: verifique a lista de entregas que foram criadas na conta usando a
DescribeDeliveriesAPI no CloudWatch Logs. -
CloudWatch Registros: verifique se há novos fluxos de registros no grupo de registros especificado.
-
Amazon S3: monitore seu bucket em busca de novos arquivos de log.
-
Firehose: verifique se os dados estão fluindo pelo seu stream de entrega.
Esquema e formato do log
Os registros do Amazon Quick Suite seguem um esquema estruturado com campos comuns compartilhados em todos os tipos de registros e campos específicos para registros de bate-papo e feedback.
Campos comuns
Todos os eventos de registro incluem esses campos comuns:
-
resourceArn- ARN do recurso da sua conta Amazon Quick Suite (por exemplo,)arn:aws:quicksight:us-east-1:111122223333:account/111122223333: -
eventTimestamp- Registro de data e hora ISO 8601 do evento (por exemplo,)1763532110061 -
logType- Tipo de registro (por exemplo,ChatouFeedback) -
accountId- ID AWS da conta (por exemplo,123456789012) -
userArn- ARN do usuário do Amazon Quick Suite associado ao evento (por exemplo,)"arn:aws:quicksight:us-west-2:111122223333:user/default/user" -
userType- Tipo de usuário do Amazon Quick Suite associado ao evento (por exemplo,ADMIN_PRO) -
nameSpace- Namespace Amazon Quick Suite para o evento (por exemplo,)default -
statusCode- Status da entrega do evento (por exemplo,Success,request_blocked,no_answer_found)
Registros de bate-papo
Os registros de bate-papo capturam as interações da conversa e contêm os campos abaixo:
-
conversationId- ID exclusivo para a conversa do usuário -
systemMessageId- ID da mensagem gerada pelo sistema -
latency- Latência da mensagem de bate-papo em milissegundos -
timeToFirstToken- Tempo em milissegundos do primeiro token de resposta -
messageScope- Escopo da mensagem -
userMessageId- ID exclusivo da mensagem do usuário -
userMessage- mensagem do usuário na conversa -
agentId- ID exclusivo do agente de bate-papo -
flowId- ID exclusiva do Amazon Quick Suite Flow -
systemTextMessage- Mensagem de texto na conversa -
surfaceType- Aplicativo sendo usado para a conversa -
webSearch- Pesquisa na web necessária ou não -
userSelectedResources- Lista de recursos selecionados pelo usuário -
actionConnectors- Lista de conectores de ação -
citedResource- Lista de recursos citados -
fileAttachment- Lista de arquivos anexados pelo usuário
Veja a seguir um exemplo de registros de bate-papo:
{ "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "timeToFirstToken": "10000", "messageScope": "General Knowledge, ALL etc", "userMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessage": "What is the status of my project?", "agentId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flowId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "systemTextMessage": "What is the status of my project?", "surfaceType": "Slack, WebApp etc.", "webSearch": "TRUE" "userSelectedResources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "actionConnectors": [{"user_selected_resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"user_selected_resource_type": "Space","resource_id": "123abs-1234-534894"}] "citedResource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "fileAttachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }
Registros de feedback
Os registros de feedback capturam o feedback do usuário no chat e contêm os campos abaixo:
-
conversationId- ID exclusivo da conversa -
researchId- ID exclusivo da pesquisa -
systemMessageId- ID da mensagem gerada pelo sistema -
userMessageId- ID exclusivo da mensagem do usuário -
feedback_type- Tipo de feedback -
feedback_reason- Motivo do feedback -
feedback_details- Mensagem de texto no feedback -
rating- Classificação fornecida pelo usuário
Veja a seguir um exemplo de registros de feedback:
Chat Feedback: "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "researchId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessageId" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"thumbsUp,thumbsDown,ease_of_use etc." "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" "rating" : "thumbsUp,thumbsDown,ease_of_use etc."
Considerações sobre segurança
-
Criptografia: use AWS KMS chaves gerenciadas pelo cliente para dados confidenciais
-
Controle de acesso: implemente políticas de IAM com privilégios mínimos
-
Retenção de dados: configure políticas de retenção apropriadas para seus requisitos de conformidade