Autopilot-Modelle für Echtzeit-Inferenzen bereitstellen - Amazon SageMaker KI
Echtzeit-Inferenz

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Autopilot-Modelle für Echtzeit-Inferenzen bereitstellen

Nachdem Sie Ihre Modelle von Amazon SageMaker Autopilot trainiert haben, können Sie einen Endpunkt einrichten und interaktiv Prognosen abrufen. Im folgenden Abschnitt werden die Schritte zur Bereitstellung Ihres Modells auf einem Echtzeit-Inferenzendpunkt von SageMaker AI beschrieben, um Vorhersagen aus Ihrem Modell zu erhalten.

Echtzeit-Inferenz

Inferenz in Echtzeit ist ideal für Inferenz-Workloads, bei denen interaktive Echtzeitanforderungen mit geringer Latenz erfüllt werden müssen. In diesem Abschnitt wird gezeigt, wie Sie Echtzeit-Inferenzen verwenden können, um interaktiv Vorhersagen aus Ihrem Modell zu erhalten.

Sie können SageMaker-APIs verwenden, um das Modell, das die beste Validierungsmetrik in einem Autopilot-Experiment erzeugt hat, wie folgt manuell bereitzustellen.

Alternativ können Sie bei der Erstellung Ihres Autopilot-Experiments die automatische Bereitstellungsoption wählen. Informationen zur Einrichtung der automatischen Bereitstellung von Modellen finden Sie in ModelDeployConfig in den Anforderungsparametern von CreateAutoMLJobV2. Dadurch wird automatisch ein Endpunkt erstellt.

Anmerkung

Um unnötige Kosten zu vermeiden, können Sie nicht benötigte Endpunkte und Ressourcen löschen, die bei der Modellbereitstellung erstellt wurden. Weitere Informationen zu den Preisen nach Region finden Sie unter Amazon SageMaker Preise.

  1. Besorgen Sie sich die Container-Kandidatendefinitionen

    Rufen Sie die Definitionen der Container-Kandidaten von InferenceContainers ab. Eine Container-Definition für Inference bezieht sich auf die containerisierte Umgebung, die für die Bereitstellung und Ausführung des von Ihnen trainierten SageMaker-AI-Modells konzipiert ist, um Vorhersagen zu treffen.

    Der folgende Beispielbefehl AWS CLI zeigt, wie mit Hilfe der API DescribeAutoMLJobV2 die Definitionen für den optimalen Modellkandidat erhalten werden.

    aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region

  2. Kandidaten auflisten

    Der folgende AWS CLI Beispielbefehl verwendet die API ListCandidatesForAutoMLJob für eine Aufstellung aller Modellkandidaten.

    aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name <job-name> --region <region>

  3. Erstellen eines SageMaker-AI-Modells

    Verwenden Sie die Containerdefinitionen aus den vorangegangenen Schritten und einen Kandidaten Ihrer Wahl, um mithilfe der API CreateModel ein SageMaker-AI-Modell zu erstellen. Als Beispiel s. den folgenden AWS CLI-Befehl.

    aws sagemaker create-model --model-name '<your-candidate-name>' \
                    --containers ['<container-definition1>, <container-definition2>, <container-definition3>]' \
                    --execution-role-arn '<execution-role-arn>' --region '<region>

  4. Endpunktkonfiguration erstellen

    Der folgende AWS CLI Beispielbefehl verwendet die API CreateEndpointConfig, um eine Endpunktkonfiguration zu erstellen.

    aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \
                    --production-variants '<list-of-production-variants>' \
                    --region '<region>'

  5. Erstellen des Endpunkts

    Das folgende AWS CLI Beispiel verwendet die API CreateEndpoint, um den Endpunkt zu erstellen.

    aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \
                    --endpoint-config-name '<endpoint-config-name-you-just-created>' \
                    --region '<region>'

    Überprüfen Sie den Fortschritt Ihrer Endpunktbereitstellung mithilfe der API DescribeEndpoint. Als Beispiel s. den folgenden AWS CLI-Befehl.

    aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

    Nach den EndpointStatus Änderungen an InService ist der Endpunkt für Echtzeit-Inferences einsatzbereit.

  6. Endpunkt aufrufen

    Die folgende Befehlsstruktur ruft den Endpunkt für Echtzeit-Inferenzen auf.

    aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ 
                  --region '<region>' --body '<your-data>' [--content-type] '<content-type>' <outfile>