Textzusammenfassung für die Modellbewertung in Amazon Bedrock
Die Textzusammenfassung wird für Aufgaben wie das Erstellen von Zusammenfassungen von Nachrichten, Rechtsdokumenten, wissenschaftlichen Arbeiten, Inhaltsvorschauen und die Kuratierung von Inhalten verwendet. Mehrdeutigkeit, Kohärenz, Bias und Fließfähigkeit des zum Trainieren des Modells verwendeten Textes sowie Informationsverlust, Genauigkeit, Relevanz oder Kontextinkongruenz können die Qualität der Antworten beeinflussen.
Wichtig
Bei der Textzusammenfassung besteht ein bekanntes Systemproblem, das verhindert, dass Cohere-Modelle eine erfolgreiche Toxizitätsbewertung abschließen.
Die folgenden integrierten Datensätze werden für den Aufgabentyp Textzusammenfassung empfohlen.
- Gigaword
-
Der Gigaword-Datensatz besteht aus Schlagzeilen von Nachrichtenartikeln. Dieser Datensatz wird für Textzusammenfassungsaufgaben verwendet.
Die folgende Tabelle fasst die berechneten Metriken und die empfohlenen integrierten Datensätze zusammen. Damit Sie die verfügbaren integrierten Datensätze mithilfe der AWS CLI oder eines unterstützten AWS SDK erfolgreich spezifizieren können, verwenden Sie die Parameternamen in der Spalte Integrierte Datensätze (API).
| Aufgabentyp | Metrik | Integrierte Datensätze (Konsole) | Integrierte Datensätze (API) | Berechnete Metrik |
|---|---|---|---|---|
| Textzusammenfassung | Accuracy | Gigaword |
Builtin.Gigaword |
BERTScore |
| Toxizität | Gigaword |
Builtin.Gigaword |
Toxizität | |
| Robustheit | Gigaword |
Builtin.Gigaword |
BERTScore und deltaBERTScore |
Weitere Informationen darüber, wie die berechnete Metrik für jeden integrierten Datensatz berechnet wird, finden Sie unter Überprüfen der Berichte zu Modellbewertungsaufträgen und Metriken in Amazon Bedrock.
