Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erfahren Sie mehr über die Optionen zur Bewertung großer Sprachmodelle mit SageMaker Clarify
Wichtig
Um SageMaker Clarify Foundation Model Evaluations verwenden zu können, müssen Sie auf das neue Studio-Erlebnis aktualisieren. Seit dem 30. November 2023 heißt das vorherige Amazon SageMaker Studio-Erlebnis jetzt Amazon SageMaker Studio Classic. Die Foundation-Evaluierungsfunktion kann nur in der aktualisierten Version verwendet werden. Weitere Informationen zur Aktualisierung von Studio finden Sie unter Migration von Amazon SageMaker Studio Classic. Informationen zur Verwendung der Studio-Classic-Anwendung finden Sie unter Amazon SageMaker Studio Classic.
Mit Amazon SageMaker Clarify können Sie umfangreiche Sprachmodelle (LLMs) evaluieren, indem Sie Modellevaluierungsjobs erstellen. Ein Modellevaluierungsjob ermöglicht es Ihnen, die Kennzahlen zur Modellqualität und -verantwortung für textbasierte Basismodelle von JumpStart zu bewerten und zu vergleichen. Jobs zur Modellevaluierung unterstützen auch die Verwendung von JumpStart Modellen, die bereits auf einem Endpunkt bereitgestellt wurden.
Sie können einen Auftrag zur Modellbewertung mit drei verschiedenen Ansätzen erstellen.
-
Erstellen Sie automatisierte Modellbewertungsaufträge in Studio – mit automatischen Aufträgen zur Modellbewertung können Sie schnell bewerten, ob ein Modell in der Lage ist, eine Aufgabe auszuführen. Sie können entweder Ihren eigenen benutzerdefinierten Prompt-Datensatz bereitstellen, den Sie auf einen bestimmten Anwendungsfall zugeschnitten haben, oder Sie können einen verfügbaren integrierten Datensatz verwenden.
-
Erstellen eines Auftrags zur Modellbewertung mit menschlichen Mitarbeitern. Mithilfe von Aufträgen zur Modellbewertung mit menschlichen Mitarbeitern können Sie menschliche Eingaben in den Modellbewertungsprozess einbringen. Dabei kann es sich um Mitarbeiter Ihres Unternehmens oder um eine Gruppe von Fachexperten aus Ihrer Branche handeln.
-
Erstellen Sie mithilfe der
fmevalBibliothek einen automatisierten Modellevaluierungsjob — Wenn Sie einen Job mit dem erstellenfmeval, haben Sie die genaueste Kontrolle über Ihre Modellevaluierungsjobs. Es unterstützt auch die Verwendung LLMs externer AWS oder nicht JumpStart basierter Modelle anderer Dienste.
Modellevaluierungsjobs unterstützen gängige Anwendungsfälle LLMs wie Textgenerierung, Textklassifizierung, Fragen und Antworten sowie Textzusammenfassung.
-
Generierung mit offenem Ende — Die Erzeugung natürlicher menschlicher Reaktionen auf Text, der keine vordefinierte Struktur hat.
-
Textzusammenfassung — Generierung einer präzisen und komprimierten Zusammenfassung unter Beibehaltung der Bedeutung und der wichtigsten Informationen, die in einem größeren Text enthalten sind.
-
Beantwortung von Fragen — Generierung einer relevanten und genauen Antwort auf eine Aufforderung.
-
Klassifizierung: Zuweisen einer Kategorie, z. B. einer Bezeichnung oder einer Punktzahl, zu einem Text auf der Grundlage seines Inhalts.
In den folgenden Themen werden die verfügbaren Aufgaben zur Modellbewertung und die Arten von Metriken beschrieben, die Sie verwenden können. Sie beschreiben auch die verfügbaren integrierten Datensätze und wie Sie Ihren eigenen Datensatz festlegen können.
Themen
