Textklassifizierung für die Modellbewertung in Amazon Bedrock
Die Textklassifizierung wird verwendet, um Text in vordefinierte Kategorien zu einzuteilen. Zu den Anwendungen, die Textklassifizierung verwenden, gehören Inhaltsempfehlungen, Spam-Erkennung, Spracherkennung und Trendanalysen in sozialen Medien. Unausgewogene Klassen, mehrdeutige Daten, verrauschte Daten und Bias bei der Kennzeichnung sind einige Probleme, die zu Fehlern bei der Textklassifizierung führen können.
Wichtig
Bei der Textklassifizierung besteht ein bekanntes Systemproblem, das verhindert, dass Cohere-Modelle eine erfolgreiche Toxizitätsbewertung abschließen.
Die folgenden integrierten Datensätze werden für den Aufgabentyp „Textklassifizierung“ empfohlen.
- Women's E-Commerce Clothing Reviews
-
Women's E-Commerce Clothing Reviews ist ein Datensatz, der von Kunden verfasste Rezensionen zu Bekleidungsartikeln enthält. Dieser Datensatz wird für Textklassifizierungsaufgaben verwendet.
In der folgenden Tabelle werden die berechneten Metriken und die empfohlenen integrierten Datensätze zusammengefasst. Damit Sie die verfügbaren integrierten Datensätze mithilfe der AWS CLI oder eines unterstützten AWS SDK erfolgreich spezifizieren können, verwenden Sie die Parameternamen in der Spalte Integrierte Datensätze (API).
| Aufgabentyp | Metrik | Integrierte Datensätze (Konsole) | Integrierte Datensätze (API) | Berechnete Metrik |
|---|---|---|---|---|
| Textklassifizierung | Accuracy | Women's Ecommerce Clothing Reviews |
Builtin.WomensEcommerceClothingBoolQ |
Genauigkeit (binäre Genauigkeit aus classification_accuracy_score) |
| Robustheit | Women's Ecommerce Clothing Reviews |
Builtin.WomensEcommerceClothingBoolQ |
classification_accuracy_score und delta_classification_accuracy_score |
Weitere Informationen darüber, wie die berechnete Metrik für jeden integrierten Datensatz berechnet wird, finden Sie unter Überprüfen der Berichte zu Modellbewertungsaufträgen und Metriken in Amazon Bedrock.
