Verwenden Sie die fmeval Bibliothek, um eine automatische Bewertung durchzuführen

Voraussetzungen

• Um eine Modellevaluierung in einer Studio-Benutzeroberfläche durchzuführen, müssen Ihre AWS Identity and Access Management (IAM-) Rolle und alle Eingabe-Datasets über die richtigen Berechtigungen verfügen. Wenn Sie keine SageMaker AI-Domain- oder IAM-Rolle haben, folgen Sie den Schritten unter. Leitfaden für die Einrichtung von Amazon SageMaker AI

So legen Sie Berechtigungen für Ihren Amazon-S3-Bucket fest

Gehen Sie nach der Erstellung Ihrer Domain und Rolle wie folgt vor, um die für die Evaluierung Ihres Modells erforderlichen Berechtigungen hinzuzufügen.

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Geben Sie im Navigationsbereich S3 in die Suchleiste oben auf der Seite ein.

3. Wählen Sie S3 unter Services aus.

4. Wählen Sie im Navigationsbereich die Option Buckets aus.

5. Wählen Sie im Abschnitt Allgemeine Buckets unter Name den Namen des S3-Buckets aus, den Sie zum Speichern Ihrer Modelleingabe und -ausgabe in der Konsole verwenden möchten. Wenn noch kein S3-Bucket vorliegt, gehen Sie wie folgt vor:

   1. Wählen Sie Bucket erstellen aus, um eine neue Seite „Bucket erstellen“ zu öffnen.

   2. Wählen Sie im Abschnitt Allgemeine Konfiguration unter AWSRegion die AWS Region aus, in der sich Ihr Foundation-Modell befindet.

   3. Benennen Sie Ihren S3-Bucket im Eingabefeld unter Bucket-Name.

   4. Akzeptieren Sie alle Standardoptionen.

   5. Wählen Sie Bucket erstellen aus.

   6. Wählen Sie im Abschnitt Allgemeine Buckets unter Name den Namen des S3-Buckets aus, den Sie erstellt haben.

6. Wählen Sie die Registerkarte Berechtigungen.

7. Scrollen Sie am unteren Rand des Fensters zum Abschnitt Cross-Origin Resource Sharing (CORS). Wählen Sie Bearbeiten aus.

8. Um Ihrem Bucket Berechtigungen für Foundation-Evaluationen hinzuzufügen, stellen Sie sicher, dass der folgende Code im Eingabefeld erscheint. Sie können auch Folgendes kopieren und in das Eingabefeld einfügen.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Wählen Sie Änderungen speichern aus.

So fügen Sie Berechtigungen zu Ihrer IAM-Richtlinie hinzu

1. Geben Sie in die Suchleiste oben auf der Seite IAM ein.

2. Wählen Sie unter Dienste die Option Identity and Access Management (IAM) aus.

3. Wählen Sie im Navigationsbereich Richtlinien aus.

4. Eingabe AmazonSageMakerFullAccessin die Suchleiste. Wählen Sie das Optionsfeld neben der Richtlinie aus, die angezeigt wird. Die Schaltfläche Aktionen kann jetzt ausgewählt werden.

5. Wählen Sie den Abwärtspfeil neben Aktionen aus. Zwei Optionen werden angezeigt.

6. Wählen Sie Anfügen aus.

7. Suchen Sie in der angezeigten IAM-Liste nach dem Namen der von Ihnen erstellten Rolle. Aktivieren Sie das Kontrollkästchen neben dem Namen.

8. Wählen Sie Richtlinie anfügen aus.

Erste Schritte mit der Verwendung von Studio

1. Geben Sie in die Suchleiste oben auf der Seite SageMaker AI ein.

2. Wählen Sie unter Services Amazon SageMaker AI aus.

3. Wählen Sie im Navigationsbereich Studio aus.

4. Wählen Sie Ihre Domain im Bereich Erste Schritte aus, nachdem Sie den Abwärtspfeil unter Domain auswählen erweitert haben.

5. Wählen Sie im Abschnitt Erste Schritte Ihr Benutzerprofil aus, nachdem Sie den Abwärtspfeil unter Benutzerprofil auswählen erweitert haben.

6. Wählen Sie Studio öffnen, um die Landingpage für Studio zu öffnen.

7. Wählen Sie im Navigationsbereich den Dateibrowser aus und navigieren Sie zum Stammverzeichnis.

8. Wählen Sie Notebook erstellen aus.

9. Wählen Sie im sich öffnenden Dialogfeld für die Notebook-Umgebung das Data Science 3.0-Image aus.

10. Wählen Sie Select (Auswählen).

11. Installieren Sie das fmeval Paket in Ihrer Entwicklungsumgebung, wie im folgenden Beispielcode gezeigt:

    !pip install fmeval

    Anmerkung

    Installieren Sie die fmeval Bibliothek in einer Umgebung, die verwendetPython 3.10. Weitere Informationen zu den für die Ausführung fmeval erforderlichen Anforderungen finden Sie unter fmevalAbhängigkeiten.

Definieren Sie ein JumpStart Modell und konfigurieren Sie ein ModelRunner

1. Stellen Sie einen Endpunkt bereit, indem Sie einen der folgenden Schritte ausführen:

   • Geben Sie EndpointNamefür einen vorhandenen JumpStart Endpunkt dasmodel_id, und anmodel_version.

   • Geben Sie das model_id und model_version für Ihr Modell an, und erstellen Sie einen JumpStart Endpunkt.

   Das folgende Codebeispiel zeigt, wie ein Endpunkt für a erstellt wird Llama 2 foundation model, der über verfügbar ist JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   Das vorherige Codebeispiel bezieht sich auf EULA, was für end-use-license-agreement (EULA) steht. Die EULA finden Sie in der Modellkartenbeschreibung des Modells, das Sie verwenden. Um einige JumpStart Modelle zu verwenden, müssen Sie angebenaccept_eula=true, wie im vorherigen Aufruf von gezeigt. predict Weitere Informationen zur EULA finden Sie im Abschnitt Lizenzen und Modellquellen unter Modellquellen und Lizenzvereinbarungen.

   Eine Liste der verfügbaren JumpStart Modelle finden Sie unter Integrierte Algorithmen mit vortrainierter Modelltabelle.

2. Konfigurieren Sie ModelRunner mithilfe vonJumpStartModelRunner, wie im folgenden Konfigurationsbeispiel gezeigt:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Verwenden Sie im vorherigen Konfigurationsbeispiel dieselben Werte fürendpoint_name,model_id, und model_version die Sie zum Erstellen des Endpunkts verwendet haben.

3. Testen Sie IhreModelRunner. Senden Sie eine Musteranforderung an Ihr Modell wie im folgenden Beispielcode gezeigt zu umschließen:

   js_model_runner.predict("What is the capital of London")

Definieren Sie ein Amazon Bedrock-Modell und konfigurieren Sie ein ModelRunner

1. Verwenden Sie das folgende Codebeispiel für ein Titan-Modell, das über Amazon Bedrock erhältlich ist, um Modelldetails zu definieren und zu drucken:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Im vorherigen Codebeispiel gibt der accept Parameter das Format der Daten an, die Sie zur Auswertung Ihres LLM verwenden möchten. contentTypeGibt das Format der Eingabedaten in der Anforderung an. MIME_TYPE_JSONWird nur für accept und contentType für Amazon Bedrock-Modelle unterstützt. Weitere Informationen zu diesen Parametern finden Sie unter InvokeModelWithResponseStream.

2. Verwenden Sie zur Konfiguration denModelRunner, wie im folgenden BedrockModelRunner Konfigurationsbeispiel gezeigt:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrisieren Sie die ModelRunner Konfiguration wie folgt.

   • Verwenden Sie dieselben Werte für model_id die Bereitstellung des Modells.

   • outputDient zur Angabe des Formats der generierten json Antwort. Beispiel: Wenn Ihr LLM die Antwort bereitgestellt hat[{"results": "this is the output"}], output='results[0].outputText' kehrt this is the output er zurück.

   • Geben Sie content_template damit an, wie Ihr LLM mit Anfragen interagiert. Die folgende Konfigurationsvorlage dient lediglich der Erläuterung des vorherigen Konfigurationsbeispiels und ist nicht erforderlich.

     • Im vorherigen Konfigurationsbeispiel inputText gibt die Variable die Eingabeaufforderung an, die die vom Benutzer gestellte Anfrage erfasst.

     • Die Variable textGenerationConfig gibt wie folgt an, wie das LLM Antworten generiert:

       • Der Parameter maxTokenCount wird verwendet, um die Länge der Antwort zu begrenzen, indem die Anzahl der vom LLM zurückgegebenen Token begrenzt wird.

       • Der Parameter stopSequences wird verwendet, um eine Liste von Zeichenfolgen anzugeben, die Ihrem LLM mitteilen, dass es keine Antwort mehr generieren soll. Die Modellausgabe wird gestoppt, wenn eine der aufgelisteten Zeichenketten zum ersten Mal in der Ausgabe gefunden wird. Sie können beispielsweise eine Wagenrücklaufsequenz verwenden, um die Modellantwort auf eine einzige Zeile zu beschränken.

       • Der Parameter topP steuert die Zufälligkeit, indem er die Menge der Token begrenzt, die bei der Generierung des nächsten Tokens berücksichtigt werden sollen. Dieser Parameter akzeptiert Werte zwischen 0.0 und1.0. Höhere Werte von topP ermöglichen einen Satz, der ein breiteres Vokabular enthält, und niedrigere Werte beschränken den Tokensatz auf wahrscheinlichere Wörter.

       • Der Parameter temperature steuert die Zufälligkeit des generierten Textes und akzeptiert positive Werte. Höhere Werte von temperature weisen das Modell an, mehr zufällige und vielfältigere Antworten zu generieren. Niedrigere Werte führen zu besser vorhersehbaren Antworten. Typische Bereiche für temperature liegen zwischen 0.2 und2.0.

       Weitere Informationen zu Parametern für ein bestimmtes Amazon Bedrock Foundation-Modell finden Sie unter Inferenzparameter für Foundation-Modelle.

     Das Format des Parameters content_template hängt von den Eingaben und Parametern ab, die von Ihrem LLM unterstützt werden. Ein Anthropic’s Claude 2Modell kann beispielsweise Folgendes unterstützen: content_template

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Als weiteres Beispiel kann das Modell Falcon 7b Folgendes unterstützen. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Testen Sie abschließend Ihre. ModelRunner Senden Sie eine Musteranforderung an Ihr Modell wie im folgenden Beispielcode gezeigt zu umschließen:

     bedrock_model_runner.predict("What is the capital of London?")