Erstellen eines Jobs zur Inferenzoptimierung

So beginnen Sie mit der Erstellung eines Optimierungsjobs

1. Erstellen Sie in SageMaker AI Studio einen Optimierungsjob über einen der folgenden Pfade:

   • Gehen Sie wie folgt vor, um einen Job für ein JumpStart Modell zu erstellen:

     1. Wählen Sie im Navigationsmenü JumpStart.

     2. Wählen Sie auf der Seite Alle öffentlichen Modelle einen Modellanbieter und dann eines der Modelle aus, die die Optimierung unterstützen.

     3. Wählen Sie auf der Seite mit den Modelldetails die Option Optimieren aus. Diese Schaltfläche ist nur für Modelle aktiviert, die die Optimierung unterstützen.

     4. Auf der Jobseite „Inferenzoptimierung erstellen“ müssen Sie bei einigen JumpStart Modellen eine Endbenutzer-Lizenzvereinbarung (EULA) unterzeichnen, bevor Sie fortfahren können. Falls Sie dazu aufgefordert werden, lesen Sie die Lizenzbedingungen im Abschnitt Lizenzvereinbarung. Wenn die Bedingungen für Ihren Anwendungsfall akzeptabel sind, aktivieren Sie das Kontrollkästchen Ich akzeptiere die EULA und habe die allgemeinen Geschäftsbedingungen gelesen.

   • Gehen Sie wie folgt vor, um einen Job für ein fein abgestimmtes JumpStart Modell zu erstellen:

     1. Wählen Sie im Navigationsbereich unter Jobs die Option Training aus.

     2. Wählen Sie auf der Seite Trainingsjobs den Namen eines Jobs aus, den Sie zur Feinabstimmung eines JumpStart Modells verwendet haben. Diese Jobs haben in der Spalte Jobtyp den Typ JumpStart Ausbildung.

     3. Wählen Sie auf der Detailseite für den Trainingsjob die Option Optimieren aus.

   • Gehen Sie wie folgt vor, um einen Job für ein benutzerdefiniertes Modell zu erstellen:

     1. Wählen Sie im Navigationsmenü unter Jobs die Option Inferenzoptimierung aus.

     2. Wählen Sie Create new job (Neuen Auftrag anlegen) aus.

     3. Wählen Sie auf der Seite Job für Inferenzoptimierung erstellen die Option Modell hinzufügen aus.

     4. Wählen Sie im Fenster Modell hinzufügen die Option Benutzerdefiniertes Modell aus.

     5. Wählen Sie eine der folgenden Optionen:

        Verwenden Sie Ihr vorhandenes Modell — Wählen Sie diese Option, um ein Modell zu optimieren, das Sie bereits in SageMaker KI erstellt haben.

        Bestehender Modellname — geben Sie den Namen Ihres SageMaker KI-Modells ein.

        Von S3 — Wählen Sie diese Option, um Modellartefakte aus Amazon S3 bereitzustellen. Geben Sie unter S3-URI den URI für den Speicherort in Amazon S3 ein, an dem Sie Ihre Modellartefakte gespeichert haben.

     6. (Optional) Für den Namen des Ausgabemodells können Sie einen benutzerdefinierten Namen für das optimierte Modell eingeben, das der Job erstellt. Wenn Sie keinen Namen angeben, generiert Studio automatisch einen auf der Grundlage Ihrer Auswahl.

2. Auf der Jobseite Inferenzoptimierung erstellen können Sie für Jobname den von SageMaker AI zugewiesenen Standardnamen akzeptieren. Wenn Sie jedoch einen benutzerdefinierten Jobnamen eingeben möchten, wählen Sie das Feld Jobname und anschließend Jobname eingeben aus.

So legen Sie die Optimierungskonfigurationen fest

1. Wählen Sie unter Bereitstellungs-Instance-Typ den Instance-Typ aus, für den Sie das Modell optimieren möchten.

   Der Instance-Typ wirkt sich darauf aus, welche Optimierungsmethoden Sie auswählen können. Für die meisten Typen, die GPU-Hardware verwenden, werden Quantisierung und Spekulative Dekodierung unterstützt. Wenn Sie eine Instance wählen, die benutzerdefiniertes Silizium verwendet, wie die AWS Inferentia-Instanz ml.inf2.8xlarge, wird die Methode Compilation unterstützt, mit der Sie das Modell für diesen bestimmten Hardwaretyp kompilieren können.

2. Wählen Sie eine oder mehrere der Optimierungsmethoden aus, die Studio bietet:

   • Wenn Sie Quantisierung auswählen, wählen Sie unter Präzisionsdatentyp einen Datentyp aus.

   • Wenn Sie Spekulative Dekodierung auswählen, wählen Sie eine der folgenden Optionen aus:

     • SageMaker KI-Entwurfsmodell verwenden — Wählen Sie aus, ob Sie das von AI bereitgestellte Entwurfsmodell verwenden möchten. SageMaker

       Anmerkung

       Wenn Sie das SageMaker KI-Entwurfsmodell verwenden möchten, müssen Sie auch die Netzwerkisolierung aktivieren. Studio bietet diese Option unter Sicherheit.

     • JumpStart Entwurfsmodell wählen — Wählen Sie ein Modell aus dem JumpStart Katalog aus, das Sie als Entwurfsmodell verwenden möchten.

     • Eigenes Entwurfsmodell wählen – Wählen Sie diese Option aus, um Ihr eigenes Entwurfsmodell zu verwenden, und geben Sie den S3-URI an, mit dem das Modell gefunden werden kann.

   • Wenn Sie Schnelles Laden des Modells wählen, zeigt Studio die Umgebungsvariable OPTION_TENSOR_PARALLEL_DEGREE an. Legen Sie im Feld Wert den Grad der Tensorparallelität fest. Der Wert muss die Anzahl der Instanzen, die Sie für GPUs den Instanztyp Deployment ausgewählt haben, gleichmäßig teilen. Um beispielsweise Ihr Modell zu teilen, während Sie eine Instanz mit 8 verwenden GPUs, verwenden Sie die Werte 2, 4 oder 8.

   • Wenn Sie den Instanztyp Deployment auf eine AWS Inferentia- oder AWS Trainium-Instanz festlegen, zeigt Studio möglicherweise an, dass Compilation die einzige unterstützte Option ist. In diesem Fall wählt Studio diese Option für Sie aus.

3. Geben Sie unter Ausgabe den URI eines Speicherorts in Amazon S3 ein. Dort speichert SageMaker KI die Artefakte des optimierten Modells, das Ihr Job erstellt.

4. (Optional) Erweitern Sie Erweiterte Optionen, um detaillierte Einstellungen wie IAM-Rolle, VPC und Umgebungsvariablen zu steuern. Weitere Informationen finden Sie nachstehend unter Erweiterte Optionen.

5. Wenn Sie mit der Konfiguration des Jobs fertig sind, wählen Sie Job erstellen aus.

   In Studio wird die Seite mit den Jobdetails einschließlich des Status und aller zugehörigen Einstellungen angezeigt.

So richten Sie Ihr Projekt ein

1. Importieren Sie in Ihren Anwendungscode die erforderlichen Bibliotheken. Im folgenden Beispiel wird das SDK für Python (Boto3) importiert. Es importiert auch die Klassen aus dem SageMaker AI Python SDK, die Sie verwenden, um Modelle zu definieren und mit ihnen zu arbeiten:

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. Initialisieren Sie eine SageMaker AI-Sitzung. Im folgenden Beispiel wird die Session()-Klasse verwendet:

   sagemaker_session = Session()

So definieren Sie Ihr Modell

1. Erstellen Sie eine SchemaBuilder-Instance und stellen Sie Eingabe- und Ausgabebeispiele bereit. Sie stellen diese Instance der ModelBuilder-Klasse zur Verfügung, wenn Sie ein Modell definieren. Damit generiert SageMaker KI automatisch die Marshalling-Funktionen für die Serialisierung und Deserialisierung der Eingabe und Ausgabe.

   Weitere Informationen zur Verwendung der SchemaBuilder- und ModelBuilder-Klassen finden Sie unter Erstellen eines Modells in Amazon SageMaker AI mit ModelBuilder.

   Im Folgenden finden Sie Beispiele für Eingabe- und Ausgabezeichenfolgen für die SchemaBuilder-Klasse.

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. Definieren Sie Ihr Modell für KI. SageMaker Das folgende Beispiel legt die Parameter zum Initialisieren einer ModelBuilder-Instance fest:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   In diesem Beispiel wird ein JumpStart Modell verwendet. jumpstart-model-idErsetzen Sie es durch die ID eines JumpStart Modells, z. meta-textgeneration-llama-3-70b B.

   Anmerkung

   Wenn Sie mit spekulativer Dekodierung optimieren und den SageMaker KI-Entwurf verwenden möchten, müssen Sie die Netzwerkisolierung aktivieren. Geben Sie hierfür bei der Initialisierung einer ModelBuilder-Instance das folgende Argument an:

   enable_network_isolation=True,

   Weitere Informationen zur Netzwerkisolierung finden Sie unter Netzwerkisolierung.

So optimieren Sie Ihr Modell anhand von Quantisierung

1. Um einen Quantisierungsjob auszuführen, verwenden Sie die optimize()-Methode und legen Sie das quantization_config-Argument fest. Im folgenden Beispiel wird OPTION_QUANTIZE als Umgebungsvariable im Optimierungscontainer festgelegt:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   Ersetzen Sie in diesem Beispiel instance-type durch eine ML-Instance, wie ml.p4d.24xlarge. Ersetzen Sie s3://output-path durch den Pfad zum S3-Speicherort, an dem Sie das optimierte Modell speichern, das der Job erstellt.

   Die optimize()-Methode gibt ein Model-Objekt zurück, mit dem Sie Ihr Modell auf einem Endpunkt bereitstellen können.

2. Wenn der Job abgeschlossen ist, stellen Sie das Modell bereit. Im folgenden Beispiel wird die deploy()-Methode angewendet:

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   Ersetzen Sie in diesem Beispiel instance-type durch eine ML-Instance, wie ml.p4d.24xlarge.

   Die deploy()-Methode gibt ein Prognoseobjekt zurück, mit dem Sie Inferenzanforderungen an den Endpunkt senden können, der das Modell hostet.

Um mit spekulativer Dekodierung unter Verwendung des KI-Entwurfsmodells zu optimieren SageMaker

Wenn Sie Ihr Modell mit spekulativer Dekodierung optimieren, können Sie wählen, ob Sie einen von SageMaker KI bereitgestellten Modellentwurf oder Ihr eigenes Modell verwenden möchten. In den folgenden Beispielen wird das SageMaker KI-Entwurfsmodell verwendet.

1. Um einen Job zur spekulativen Dekodierung auszuführen, verwenden Sie die optimize()-Methode und legen Sie das Argument speculative_decoding_config fest. Im folgenden Beispiel wird der ModelProvider Schlüssel SAGEMAKER zur Verwendung des von SageMaker KI bereitgestellten Entwurfsmodells festgelegt.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   Ersetzen Sie in diesem Beispiel instance-type durch eine ML-Instance, wie ml.p4d.24xlarge.

   Die optimize()-Methode gibt ein Model-Objekt zurück, mit dem Sie Ihr Modell auf einem Endpunkt bereitstellen können.

2. Wenn der Job abgeschlossen ist, stellen Sie das Modell bereit. Im folgenden Beispiel wird die deploy()-Methode angewendet:

   predictor = optimized_model.deploy(accept_eula=True)

   Die deploy()-Methode gibt ein Prognoseobjekt zurück, mit dem Sie Inferenzanforderungen an den Endpunkt senden können, der das Modell hostet.

So optimieren Sie Ihr Modell anhand von spekulativer Dekodierung mithilfe eines benutzerdefinierten Entwurfsmodells

Bevor Sie Ihr benutzerdefiniertes Entwurfsmodell für SageMaker AI bereitstellen können, müssen Sie zunächst die Modellartefakte auf Amazon S3 hochladen.

Die folgenden Beispiele zeigen eine Möglichkeit, ein benutzerdefiniertes Entwurfsmodell bereitzustellen. Sie veranschaulichen, wie der Modellentwurf vom Hugging-Face-Hub heruntergeladen und in Amazon S3 hochgeladen wird und wie der S3-URI für das Argument speculative_decoding_config bereitgestellt wird.

1. Wenn Sie ein Modell vom Hugging-Face-Hub herunterladen möchten, fügen Sie die huggingface_hub-Bibliothek zu Ihrem Projekt hinzu und laden Sie ein Modell mit der snapshot_download()-Methode herunter. Im folgenden Beispiel wird ein Modell in ein lokales Verzeichnis heruntergeladen:

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   Ersetzen Sie in diesem Beispiel model-id durch die ID eines Modells im Hugging-Face-Hub, wie z. B. meta-llama/Meta-Llama-3-8B. Ersetzen Sie download-dir durch ein lokales Verzeichnis. Ersetzen Sie hf-access-token durch Ihr Benutzerzugriffstoken. Informationen dazu, wie Sie Ihr Zugriffstoken erhalten, finden Sie unter Benutzerzugriffstoken in der Hugging-Face-Dokumentation.

   Weitere Informationen zur huggingface_hub-Bibliothek finden Sie unter Hub-Client-Bibliothek in der Hugging-Face-Dokumentation.

2. Um Ihr heruntergeladenes Modell für SageMaker KI verfügbar zu machen, laden Sie es auf Amazon S3 hoch. Im folgenden Beispiel wird das Modell mit dem sagemaker_session-Objekt hochgeladen:

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   Ersetzen Sie in diesem Beispiel prefix durch einen Qualifizierer, der Ihnen hilft, das Entwurfsmodell in S3 von anderen Modellen zu unterscheiden, z. B. spec-dec-custom-draft-model.

   Die upload_data()-Methode gibt den S3-URI für die Modellartefakte zurück.

3. Um einen Job zur spekulativen Dekodierung auszuführen, verwenden Sie die optimize()-Methode und legen Sie das Argument speculative_decoding_config fest. Im folgenden Beispiel wird der ModelSource-Schlüssel auf den S3-URI des benutzerdefinierten Entwurfsmodells gesetzt:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   Ersetzen Sie in diesem Beispiel instance-type durch eine ML-Instance, wie ml.p4d.24xlarge.

   Die optimize()-Methode gibt ein Model-Objekt zurück, mit dem Sie Ihr Modell auf einem Endpunkt bereitstellen können.

4. Wenn der Job abgeschlossen ist, stellen Sie das Modell bereit. Im folgenden Beispiel wird die deploy()-Methode angewendet:

   predictor = optimized_model.deploy(accept_eula=True)

   Die deploy()-Methode gibt ein Prognoseobjekt zurück, mit dem Sie Inferenzanforderungen an den Endpunkt senden können, der das Modell hostet.

So optimieren Sie Ihr Modell anhand von Kompilierung

1. Um einen Kompilierungsjob auszuführen, verwenden Sie die optimize()-Methode und legen Sie das compilation_config-Argument fest. Im folgenden Beispiel wird der OverrideEnvironment-Schlüssel verwendet, um die erforderlichen Umgebungsvariablen im Optimierungscontainer festzulegen:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   In diesem Beispiel wird instance-type auf einen ML-Instance-Typ mit beschleunigter Hardware gesetzt. Für eine beschleunigte Inferenz mit AWS Inferentia könnten Sie den Typ beispielsweise auf eine Inf2-Instance festlegen, wie z. ml.inf2.48xlarge Ersetzen Sie s3://output-path durch den Pfad zum S3-Speicherort, an dem Sie das optimierte Modell speichern, das der Job erstellt.

2. Wenn der Job abgeschlossen ist, stellen Sie das Modell bereit. Im folgenden Beispiel wird die deploy()-Methode angewendet:

   predictor = optimized_model.deploy(accept_eula=True)

   Die deploy()-Methode gibt ein Prognoseobjekt zurück, mit dem Sie Inferenzanforderungen an den Endpunkt senden können, der das Modell hostet.

So testen Sie Ihr Modell mit einer Inferenzanforderung

• Verwenden Sie die predict()-Methode eines Prognoseobjekts, um eine Test-Inferenzanforderung an Ihr bereitgestelltes Modell zu senden. Im folgenden Beispiel wird die sample_input-Variable übergeben, die auch an die SchemaBuilder-Klasse in den Beispielen übergeben wurde, um Ihr Modell zu definieren:

  predictor.predict(sample_input)

  Die Beispieleingabe enthält den Prompt: "What is the largest planet in the solar system?". Die predict()-Methode gibt die vom Modell generierte Antwort zurück, wie das folgende Beispiel zeigt:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}