Sintesi testuale per la valutazione del modello in Amazon Bedrock
La sintesi testuale viene utilizzata per attività quali la creazione di riepiloghi di notizie, documenti legali, articoli accademici, anteprime di contenuti e cura dei contenuti. L'ambiguità, la coerenza, il bias e la fluidità del testo utilizzato per addestrare il modello, nonché la perdita di informazioni, l'accuratezza, la pertinenza o la mancata corrispondenza del contesto possono influenzare la qualità delle risposte.
Importante
Per quanto riguarda la sintesi testuale, esiste un problema di sistema noto che impedisce ai modelli Cohere di completare con successo la valutazione della tossicità.
Il seguente set di dati integrato è supportato per l’uso con il tipo di attività di riepilogo.
- Gigaword
-
Il set di dati Gigaword è costituito da titoli di articoli di notizie. Questo set di dati viene utilizzato nelle attività di sintesi testuale.
La tabella seguente riepiloga le metriche calcolate e il set di dati integrato consigliato. Per specificare correttamente i set di dati integrati disponibili utilizzando la AWS CLI o un SDK AWS supportato, utilizza i nomi dei parametri nella colonna Set di dati integrati (API).
| Tipo di attività | Metrica | Set di dati integrati (console) | Set di dati integrati (API) | Metrica calcolata |
|---|---|---|---|---|
| Sintesi testuale | Accuratezza | Gigaword |
Builtin.Gigaword |
BERTScore |
| Tossicità | Gigaword |
Builtin.Gigaword |
Tossicità | |
| Robustezza | Gigaword |
Builtin.Gigaword |
BERTScore e deltaBERTScore |
Per ulteriori informazioni su come viene calcolata la metrica per ogni set di dati integrato, consulta Analisi dei report e delle metriche relativi ai processi di valutazione del modello in Amazon Bedrock
