Evaluieren Sie Ihre individuellen Trainingsjobs

Ein Bewertungsrezept ist eine YAML-Konfigurationsdatei, welche definiert, wie Ihr Amazon-Nova-Modellbewertungsjob ausgeführt wird. Mit diesem Rezept können Sie die Leistung eines Basismodells oder eines trainierten Modells anhand gängiger Benchmarks oder Ihrer eigenen benutzerdefinierten Datensätze bewerten. Metriken können in Amazon S3 oder TensorBoard gespeichert werden. Die Bewertung bietet quantitative Metriken, anhand derer Sie die Modellleistung bei verschiedenen Aufgaben beurteilen können, um festzustellen, ob weitere Anpassungen erforderlich sind.

Die Modellbewertung ist ein Offline-Prozess, bei dem Modelle anhand festgelegter Benchmarks mit vordefinierten Antworten getestet werden. Sie werden nicht in Echtzeit oder anhand von Live-Benutzerinteraktionen bewertet. Für Echtzeitbewertungen können Sie das Modell nach der Bereitstellung auf Amazon Bedrock bewerten, indem Sie die Laufzeit-APIs von Amazon Bedrock aufrufen.

Ausführliche Anweisungen zur Bewertung Ihrer trainierten Amazon-Nova-Modelle finden Sie im Abschnitt Bewertung eines trainierten Modells im SageMaker-Benutzerhandbuch.