Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Accesso e analisi del feedback raccolto dagli utenti
A partire dalla versione 3.0.0, Deployment Dashboard implementa uno stack di feedback annidato che consente ai casi d'uso di Text and Bedrock Agent distribuiti con il Dashboard di disporre della funzionalità di raccolta dei feedback per le risposte che generano. LLM/Agent In particolare, gli utenti possono fornire un feedback positivo o negativo insieme a un commento opzionale. Se l'utente fornisce un feedback negativo, può selezionare ulteriormente una di queste categorie negative: «Impreciso», «Incompleto o insufficiente», «Dannoso», «Altro». and/or
Una volta che l'utente ha fornito il feedback, il feedback viene archiviato in un bucket S3 partizionato per Use Case ID, anno e mese. L'Use Case ID si trova nella Deployment Dashboard e il bucket Feedback S3 si trova negli output dello stack annidato di feedback dello stack Deployment Dashboard:
**Rappresenta lo stack di distribuzione - Finding Feedback Bucket Name**
Il feedback degli utenti viene inviato come richiesta API contenente un set minimo di informazioni:
```
{
"useCaseRecordKey": "a1b2c3d4-e5f6g7h8",
"conversationId": "12345678-1234-1234-1234-123456789012",
"messageId": "87654321-4321-4321-4321-210987654321",
"rephrasedQuery": "What are the key features of the Generative AI Application Builder on AWS?",
"sourceDocuments": [
"s3://bucket-name/document1.pdf",
"s3://bucket-name/document2.pdf"
],
"feedback": "positive",
"feedbackReason": [
"Incomplete or insufficient"
],
"comment": "The response was helpful but could include more details about important features."
}
```
Questo payload viene quindi elaborato da un lambda utilizzando il `useCaseRecordKey` che identifica la configurazione corretta di un caso d'uso al momento dell'implementazione. Questa configurazione viene utilizzata per ottenere dettagli specifici per il feedback, come il ConversationTable nome (contiene tutte le conversazioni e le sequenze di messaggi umani e di intelligenza artificiale), che viene ulteriormente utilizzato per recuperare l'effettivo e. `userInput` `llmResponse` A questo record di feedback vengono inoltre allegati dettagli aggiuntivi, ad esempio il caso d'uso `agentId` e `agentAliasId` per un caso d'uso Bedrock Agent e, ecc. `modelProvider``bedrockModelId`, per un caso d'uso Text che utilizza questa configurazione. Per i dettagli su come accedere a questa configurazione, consulta la sezione Mappature di [feedback personalizzate](#custom-feedback-mappings) di seguito. Ogni richiesta di feedback in arrivo viene archiviata come oggetto JSON e un record di feedback di esempio può essere simile al seguente per un caso d'uso di tipo Text:
```
{
"useCaseId": "12345678-1234-1234-1234-123456789012",
"useCaseRecordKey": "c07a2e3b-2f31b1e0",
"userId": "22345678-1234-1234-1234-123456789012",
"conversationId": "dd51de5d-5af1-4ec6-91d2-aadf14352109",
"messageId": "32345678-1234-1234-1234-123456789012",
"userInput": "What are its key features?",
"rephrasedQuery": "What are the key features of the Generative AI Application Builder on AWS?",
"llmResponse": "Generative AI Application Builder on AWS can help you build production ready enterprise chatbots rapidly.",
"feedback": "negative",
"feedbackReason": [
"Incomplete or insufficient"
],
"comment": "The response was helpful but could include more details about important features.",
"timestamp": "2025-05-22T18:48:08.340Z",
"feedbackId": "42345678-1234-1234-1234-123456789012",
"useCaseType": "Text",
"modelProvider": "Bedrock",
"bedrockModelId": "amazon.nova-lite-v1:0",
"ragEnabled": "false"
}
```
o come questo per un caso d'uso di Bedrock Agent:
```
{
"useCaseId": "12345678-1234-1234-1234-123456789012",
"useCaseRecordKey": "c07a2e3b-2f31b1e0",
"userId": "22345678-1234-1234-1234-123456789012",
"conversationId": "dd51de5d-5af1-4ec6-91d2-aadf14352109",
"messageId": "32345678-1234-1234-1234-123456789012",
"userInput": "What are its key features?",
"llmResponse": "Generative AI Application Builder on AWS can help you build production ready enterprise chatbots rapidly.",
"feedback": "negative",
"feedbackReason": [
"Incomplete or insufficient"
],
"comment": "The response was helpful but could include more details about important features.",
"timestamp": "2025-05-22T18:48:08.340Z",
"feedbackId": "42345678-1234-1234-1234-123456789012",
"useCaseType": "Agent",
"agentId": "AHFXUJCAK1",
"agentAliasId": "KSEDKOS0BL"
}
```
Questo feedback può quindi essere utilizzato per ulteriori elaborazioni, analisi e modellazione di cicli di riformazione/feedback. È inoltre possibile aggiungere mappature personalizzate per migliorare il record di feedback archiviato nella lambda di feedback.
## Mappature di feedback personalizzate
Il Deployment Dashboard contiene un file `LLMConfigTable` che può essere trovato negli output dello stack Deployment Dashboard con la chiave. `LLMConfigTableName` `LLMConfigTable`contiene le configurazioni per ogni caso d'uso in base alle impostazioni selezionate dall'amministratore durante la distribuzione dello usecase tramite la procedura guidata di Deployment Dashboard. Ogni configurazione del caso d'uso è identificata dalla relativa. `useCaseRecordKey` Ecco un esempio di record di configurazione del caso d'uso in: `LLMConfigTable`
```
{
"key": "2dd76cfa-bc1a14da",
"config": {
"ConversationMemoryParams": {
...
},
"FeedbackParams": {
"CustomMappings": {
"NumberOfDocs": "$.KnowledgeBaseParams.NumberOfDocs",
"ScoreThreshold": "$.KnowledgeBaseParams.ScoreThreshold"
},
"FeedbackEnabled": true
},
"IsInternalUser": "true",
"KnowledgeBaseParams": {
"KendraKnowledgeBaseParams": {
"ExistingKendraIndexId": "d2831033-667f-4539-ab28-e6c7c7c5988b",
"RoleBasedAccessControlEnabled": false
},
"KnowledgeBaseType": "Kendra",
"NumberOfDocs": 5,
"ReturnSourceDocs": false,
"ScoreThreshold": 0.3
},
"LlmParams": {
"BedrockLlmParams": {
"BedrockInferenceType": "QUICK_START",
"ModelId": "amazon.nova-lite-v1:0"
},
"ModelParams": {},
"ModelProvider": "Bedrock",
"PromptParams": {
...
},
"RAGEnabled": true,
"Streaming": false,
"Temperature": 0.1,
"Verbose": false
},
"UseCaseName": "test-rag-usecase",
"UseCaseType": "Text"
}
}
```
Se il feedback è abilitato per un caso d'uso, questa configurazione conterrà un `FeedbackParams` oggetto che consente di inserire al suo interno un `CustomMappings` oggetto in grado di specificare tutti JSONPaths i campi aggiuntivi da aggiungere al record JSON di feedback memorizzato nel bucket di feedback S3. Ad esempio, per la configurazione del caso d'uso di esempio precedente, CustomMappings contiene `NumberOfDocs` e `ScoreThreshold` JSONPaths inoltre contiene l'`CustomMappings`oggetto che inizia con la radice `config` di. JSONPath Con questa configurazione, ogni record JSON archiviato nel bucket di feedback S3 inizierà a ricevere questi 2 valori aggiuntivi oltre ai campi che sono già stati forniti.
## Analisi dei dati di feedback
I dati di feedback vengono archiviati in S3 come oggetti JSON. Ecco alcuni approcci per rendere questi dati di feedback più accessibili e utilizzabili:
### Utilizzo di AWS Glue e Amazon Athena
[AWS Glue](https://aws.amazon.com/glue) e [Amazon Athena](https://aws.amazon.com/athena) offrono un modo serverless per catalogare, interrogare e analizzare i dati di feedback.
AWS Glue ti consente di creare un [crawler AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html) che ispeziona i dati in un bucket S3, ne deduce lo schema e registra tutti i metadati pertinenti in un catalogo. Successivamente, è possibile utilizzare servizi come Amazon Athena per interrogare i dati.
Puoi consultare la [documentazione di AWS Athena](https://docs.aws.amazon.com/athena/latest/ug/data-sources-glue.html) sui passaggi per connettere il bucket S3 di feedback con Amazon Athena utilizzando AWS Glue Data Catalog. Puoi anche utilizzare alcune delle funzionalità più potenti di Glue per eseguire processi Extract Transform & Load (ETL) su questi dati e trasformarli in un formato adatto ai tuoi casi d'uso di analisi o riqualificazione dei modelli. Con Glue, puoi eseguire operazioni come filtrare i record con determinati tipi di feedback, compilare eventuali informazioni mancanti e puoi anche caricare questi dati in un'altra posizione di archiviazione come un altro bucket S3 o un altro data store AWS.
**Nota**
A seconda del caso d'uso, valuta la possibilità di programmare l'esecuzione periodica del crawler Glue (ad esempio settimanalmente) anziché ogni notte per ottimizzare i costi, poiché i dati di feedback possono essere scarsi.
### CloudWatch Utilizzo delle dashboard della soluzione
È inoltre possibile accedere a un **CloudWatch pannello** di controllo fornito con la soluzione, in grado di fornire le tendenze relative ai feedback positivi e negativi, le categorie dei motivi dei feedback negativi e così via, in base ai singoli casi d'uso. Puoi trovare questa dashboard utilizzando il nome del tuo caso d'uso in *Dashboards* all'interno della console CloudWatch AWS:
**Rappresenta Usecase Dashboard CloudWatch **
Puoi anche creare widget aggiuntivi in questa dashboard o creare dashboard Amazon Quick Sight.
### Le migliori pratiche per l'analisi dei dati di feedback
+ **Implementa politiche relative al ciclo di vita dei dati** sul tuo bucket S3 per archiviare i dati di feedback più vecchi su livelli di storage più economici
+ **Crea analisi separate per ogni caso d'uso per identificare opportunità di miglioramento specifiche** del modello
+ **Stabilisci soglie di feedback** che attivino avvisi quando il feedback negativo supera i livelli accettabili
+ **Esporta periodicamente informazioni importanti** per condividerle con le parti interessate e i team di miglioramento dei modelli