Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Bereitstellungsleitlinien für die Aktualisierung von Modellen in der Produktion Bereitstellungsleitlinien sind eine Reihe von Modellbereitstellungsoptionen in Amazon SageMaker AI Inference, mit denen Sie Ihre Machine-Learning-Modelle in der Produktion aktualisieren können. Mithilfe der vollständig verwalteten Bereitstellungsoptionen können Sie den Wechsel vom aktuellen Modell in der Produktion zu einem neuen steuern. Die Modi zur Verkehrsverlagerung in blauen/grünen Bereitstellungen, wie z. B. Canary und Linear, geben Ihnen eine detaillierte Kontrolle über den Prozess der Verkehrsverlagerung von Ihrem aktuellen Modell auf das neue Modell im Laufe des Updates. Darüber hinaus gibt es integrierte Schutzmechanismen wie z. B. automatische Rollbacks, die Ihnen helfen, Probleme frühzeitig zu erkennen und automatisch Korrekturmaßnahmen zu ergreifen, bevor sie die Produktion erheblich beeinträchtigen. Einsatzleitplanken bieten die folgenden Vorteile: + **Sicherheit bei der Bereitstellung bei gleichzeitiger Aktualisierung der Produktionsumgebungen.** Eine regressive Aktualisierung einer Produktionsumgebung kann zu ungeplanten Ausfallzeiten und geschäftlichen Auswirkungen führen, z. B. zu einer erhöhten Modelllatenz und hohen Fehlerraten. Leitplanken für die Implementierung helfen Ihnen, diese Risiken zu minimieren, indem sie bewährte Verfahren und integrierte Sicherheitsleitplanken bereitstellen. + **Vollständig verwaltete Bereitstellung.** SageMaker AI kümmert sich um die Einrichtung und Orchestrierung dieser Bereitstellungen und integriert sie in Endpunkt-Aktualisierungsmechanismen. Sie müssen keine Orchestrierungs-, Überwachungs- oder Rollback-Mechanismen entwickeln und verwalten. Sie können SageMaker AI nutzen, um diese Bereitstellungen einzurichten und zu orchestrieren und sich darauf zu konzentrieren, ML für Ihre Anwendungen zu nutzen. + **Sichtbarkeit.** Sie können den Fortschritt Ihrer Bereitstellung über die [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)-API oder über Amazon CloudWatch Events (für [unterstützte Endpunkte](deployment-guardrails-exclusions.md)) verfolgen. Weitere Informationen zu Ereignissen in SageMaker AI finden Sie im Abschnitt Änderung des Endpunkt-Bereitstellungsstatus unter [Ereignisse, die Amazon SageMaker AI an Amazon sendet EventBridge](automating-sagemaker-with-eventbridge.md). Beachten Sie, dass Sie CloudWatch Events nicht verwenden können, wenn Ihr Endpunkt eine der Funktionen auf der [Ausschlüsse](deployment-guardrails-exclusions.md) Seite verwendet. **Anmerkung** Leitplanken für die Bereitstellung gelten nur für Endpunkttypen [Asynchrone Inferenz-Inferenz](async-inference.md) und [Echtzeit-Inferenz](realtime-endpoints.md). ## Erste Schritte Wir unterstützen zwei Arten von Bereitstellungen zur Aktualisierung von Modellen in der Produktion: Bereitstellungen mit Blau/Grün und fortlaufende Bereitstellungen. + [Blau/Grün-Bereitstellungen](deployment-guardrails-blue-green.md): Mit den Updates können Sie den Verkehr von Ihrer alten Flotte (der blauen Flotte) auf eine neue Flotte (grüne Flotte) verlagern. Blaue/grüne Bereitstellungen bieten [mehrere Modi zur Verkehrsverlagerung](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-blue-green.html). Ein Verkehrsverlagerungsmodus ist eine Konfiguration, die festlegt, wie SageMaker AI den Endpunktverkehr an eine neue Flotte weiterleitet, die Ihre Updates enthält. Die folgenden Modi zur Verkehrsverlagerung bieten Ihnen unterschiedliche Kontrollmöglichkeiten für den Endpunkt-Aktualisierungsprozess: + [Verlagerung des gesamten Datenverkehrs](deployment-guardrails-blue-green-all-at-once.md) verlagert Ihren gesamten Endpunktverkehr von der blauen Flotte auf die grüne Flotte. Sobald der Verkehr auf die grüne Flotte umgestellt wird, beginnen Ihre vordefinierten Amazon CloudWatch-Alarme mit der Überwachung der grünen Flotte für einen bestimmten Zeitraum (die *Backphase*). Wenn während der Backphase keine Alarme ausgelöst werden, beendet SageMaker AI die blaue Flotte. + [Canary-Verkehrsverlagerung nutzen](deployment-guardrails-blue-green-canary.md) verlagert einen kleinen Teil Ihres Traffics (ein *Canary*) auf die grüne Flotte und überwacht diese während einer Backphase. Wenn der Canary auf der grünen Flotte erfolgreich ist, verlagert SageMaker AI den Rest des Datenverkehrs von der blauen Flotte auf die grüne Flotte, bevor die blaue Flotte beendet wird. + [Lineare Verkehrsverlagerung](deployment-guardrails-blue-green-linear.md) bietet noch mehr Anpassungsmöglichkeiten in Bezug auf die Anzahl der Schritte zur Verkehrsverlagerung und den Prozentsatz des Verkehrs, der für jeden Schritt verlagert werden muss. Mit Canary Shifting können Sie den Verkehr zwar in zwei Schritten verlagern, bei linearem Shifting wird dies jedoch auf *n* linear verteilte Schritte ausgedehnt. + [Rollende Bereitstellungen verwenden](deployment-guardrails-rolling.md): Sie können Ihren Endpunkt aktualisieren, da SageMaker AI schrittweise Kapazität bereitstellt und den Verkehr in Schritten einer von Ihnen angegebenen Chargengröße auf eine neue Flotte verlagert. Instances auf der neuen Flotte werden mit der neuen Bereitstellungskonfiguration aktualisiert. Wenn während der Backphase keine CloudWatch-Alarme ausgelöst werden, bereinigt SageMaker AI die Instances auf der alten Flotte. Mit dieser Option haben Sie die genaue Kontrolle über die Anzahl der Instances oder den Kapazitätsprozentsatz, der bei jedem Schritt verschoben wurde. Sie können Ihre Bereitstellung über die SageMaker-API und die Befehle [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) und [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) und AWS Command Line Interface-Befehle, erstellen und verwalten. Weitere Informationen zur Einrichtung Ihrer Bereitstellung finden Sie auf den einzelnen Bereitstellungsseiten. Beachten Sie, dass Sie keine Bereitstellungsleitlinien verwenden können, wenn Ihr Endpunkt eine der auf der [Ausschlüsse](deployment-guardrails-exclusions.md) Seite aufgeführten Features verwendet. Anleitungen zur Verwendung von Deployment Guardrails finden Sie in unseren [Beispiel-Jupyter Notebooks](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-inference-deployment-guardrails) für die Modi Canary und Linear Traffic Shifting. # Konfiguration und Überwachung von Auto-Rollback CloudWatch Amazon-Alarme sind eine Voraussetzung für die Verwendung von Backzeiten in Einsatzleitplanken. Sie können die Auto-Rollback-Funktion in Bereitstellungsleitplanken nur verwenden, wenn Sie CloudWatch Alarme einrichten, die einen Endpunkt überwachen können. Wenn einer Ihrer Alarme während des angegebenen Überwachungszeitraums ausgelöst wird, leitet SageMaker KI zum Schutz Ihrer Anwendung ein vollständiges Rollback zum alten Endpunkt ein. Wenn Sie keine CloudWatch Alarme zur Überwachung Ihres Endpunkts eingerichtet haben, funktioniert die Auto-Rollback-Funktion während Ihrer Bereitstellung nicht. Weitere Informationen zu Amazon CloudWatch finden Sie unter [Was ist Amazon CloudWatch?](https://docs.aws.amazon.com/IAM/latest/UserGuide/access.html) im * CloudWatch Amazon-Benutzerhandbuch*. **Anmerkung** Stellen Sie sicher, dass Ihre IAM-Ausführungsrolle berechtigt ist, die `cloudwatch:DescribeAlarms` Aktion für die von Ihnen angegebenen Auto-Rollback-Alarme auszuführen. ## Alarmbeispiele Um Ihnen den Einstieg zu erleichtern, stellen wir Ihnen die folgenden Beispiele zur Verfügung, um die Funktionen von CloudWatch Alarmen zu demonstrieren. Zusätzlich zur Verwendung oder Änderung der folgenden Beispiele können Sie Ihre eigenen Alarme erstellen und die Alarme so konfigurieren, dass verschiedene Messwerte für die angegebenen Flotten für einen bestimmten Zeitraum überwacht werden. Weitere SageMaker KI-Metriken und -Dimensionen, die Sie Ihren Alarmen hinzufügen können, finden Sie unter[SageMaker Amazon-KI-Metriken bei Amazon CloudWatch](monitoring-cloudwatch.md). **Topics** + [Überwachen Sie Aufruffehler sowohl bei alten als auch bei neuen Flotten](#deployment-guardrails-configuration-alarm-examples-errors-both) + [Überwachen Sie die Modelllatenz der neuen Flotte](#deployment-guardrails-configuration-alarm-examples-latency-new) ### Überwachen Sie Aufruffehler sowohl bei alten als auch bei neuen Flotten Der folgende CloudWatch Alarm überwacht die durchschnittliche Fehlerrate eines Endpunkts. Sie können diesen Alarm für jede Art von Einsatz, Leitplanken und Verkehrsverlagerung verwenden, um eine umfassende Überwachung sowohl der alten als auch der neuen Flotten zu gewährleisten. Wenn der Alarm ausgelöst wird, leitet die SageMaker KI einen Rollback zur alten Flotte ein. Aufruffehler, die sowohl von der alten als auch von der neuen Flotte stammen, tragen zur durchschnittlichen Fehlerquote bei. Wenn die durchschnittliche Fehlerrate den angegebenen Schwellenwert überschreitet, wird der Alarm ausgelöst. In diesem speziellen Beispiel werden die 4xx-Fehler (Client-Fehler) sowohl auf der alten als auch auf der neuen Flotte für die Dauer eines Einsatzes überwacht. Sie können die 5xx-Fehler (Serverfehler) auch überwachen, indem Sie die -Metrik `Invocation5XXErrors` verwenden. **Anmerkung** Bei diesem Alarmtyp beendet SageMaker KI Ihren Einsatz, wenn Ihre alte Flotte während des Einsatzes den Alarm auslöst. Wenn Ihre aktuelle Produktionsflotte bereits Fehler verursacht, sollten Sie daher in Erwägung ziehen, eines der folgenden Beispiele zu verwenden oder zu ändern, das nur die neue Flotte auf Fehler überwacht. ``` #Applied deployment type: all types { "AlarmName": "EndToEndDeploymentHighErrorRateAlarm", "AlarmDescription": "Monitors the error rate of 4xx errors", "MetricName": "Invocation4XXErrors", "Namespace": "AWS/SageMaker", "Statistic": "Average", "Dimensions": [ { "Name": "EndpointName", "Value": }, { "Name": "VariantName", "Value": "AllTraffic" } ], "Period": 600, "EvaluationPeriods": 2, "Threshold": 1, "ComparisonOperator": "GreaterThanThreshold", "TreatMissingData": "notBreaching" } ``` Notieren Sie sich im vorherigen Beispiel die Werte für die folgenden Felder: + Für `AlarmName` und `AlarmDescription` geben Sie einen Namen und eine Beschreibung ein, die Sie für den Alarm wählen. + Verwenden Sie für `MetricName` den Wert `Invocation4XXErrors`, um auf 4xx-Fehler am Endpunkt zu achten + Für `Namespace` ist der Wert `AWS/SageMaker` zu verwenden. Sie können gegebenenfalls auch Ihre eigene benutzerdefinierte Metrik angeben. + Geben Sie als `Statistic` `Average`ein. Das bedeutet, dass der Alarm bei der Berechnung, ob die Fehlerrate den Schwellenwert überschritten hat, anhand der durchschnittlichen Fehlerrate über die Bewertungszeiträume berechnet wird. + Verwenden Sie für die Dimension `EndpointName` den Namen des Endpunkts, den Sie aktualisieren, als Wert. + Verwenden Sie für die Dimension `VariantName` den Wert `AllTraffic`, um den gesamten Endpunktverkehr anzugeben. + Geben Sie als `Period` `600`ein. Dadurch werden die Bewertungszeiträume des Alarms auf 10 Minuten festgelegt. + Geben Sie als `EvaluationPeriods` `2`ein. Dieser Wert weist den Alarm an, bei der Bestimmung des Alarmstatus die beiden letzten Bewertungszeiträume zu berücksichtigen. ### Überwachen Sie die Modelllatenz der neuen Flotte Das folgende CloudWatch Alarmbeispiel überwacht die Latenz des Modells der neuen Flotte während Ihres Einsatzes. Sie können diesen Alarm verwenden, um nur die neue Flotte zu überwachen und die alte Flotte auszuschließen. Der Alarm hält für den gesamten Einsatz an. Dieses Beispiel bietet Ihnen eine umfassende end-to-end Überwachung der neuen Flotte und leitet einen Rollback zur alten Flotte ein, falls die neue Flotte Probleme mit der Reaktionszeit hat. CloudWatch veröffentlicht die Metriken mit der Dimension, `EndpointConfigName:{New-Ep-Config}` nachdem die neue Flotte den Verkehr aufgenommen hat. Diese Metriken bleiben auch nach Abschluss der Bereitstellung erhalten. Sie können das folgende Alarme Beispiel für jeden Bereitstellungstyp verwenden. ``` #Applied deployment type: all types { "AlarmName": "NewEndpointConfigVersionHighModelLatencyAlarm", "AlarmDescription": "Monitors the model latency on new fleet", "MetricName": "ModelLatency", "Namespace": "AWS/SageMaker", "Statistic": "Average", "Dimensions": [ { "Name": "EndpointName", "Value": }, { "Name": "VariantName", "Value": "AllTraffic" }, { "Name": "EndpointConfigName", "Value": ], "Period": 300, "EvaluationPeriods": 2, "Threshold": 100000, # 100ms "ComparisonOperator": "GreaterThanThreshold", "TreatMissingData": "notBreaching" } ``` Notieren Sie sich im vorherigen Beispiel die Werte für die folgenden Felder: + Für `MetricName` verwenden Sie den Wert `ModelLatency`, um die Reaktionszeit des Modells zu überwachen. + Für `Namespace` ist der Wert `AWS/SageMaker` zu verwenden. Sie können gegebenenfalls auch Ihre eigene benutzerdefinierte Metrik angeben. + Verwenden Sie für die Dimension `EndpointName` den Namen des Endpunkts, den Sie aktualisieren, als Wert. + Für die Dimension `VariantName` verwenden Sie den Wert `AllTraffic`, um den gesamten Endpunktverkehr anzugeben. + Bei der Dimension `EndpointConfigName` sollte sich der Wert auf den Namen der Endpunktkonfiguration für Ihren neuen oder aktualisierten Endpunkt beziehen. **Anmerkung** Wenn Sie Ihre alte Flotte statt der neuen Flotte überwachen möchten, können Sie die Dimension `EndpointConfigName` ändern, um den Namen der Konfiguration Ihrer alten Flotte anzugeben. # Blau/Grün-Bereitstellungen Wenn Sie Ihren Endpunkt aktualisieren, verwendet Amazon SageMaker AI automatisch eine Blau/Grün-Bereitstellung, um die Verfügbarkeit Ihrer Endgeräte zu maximieren. Bei einer Blau/Grün-Bereitstellung stellt SageMaker AI eine neue Flotte mit den Updates bereit (die grüne Flotte). Dann verlagert SageMaker AI den Verkehr von der alten Flotte (der blauen Flotte) auf die grüne Flotte. Sobald die grüne Flotte für einen festgelegten Testzeitraum (die sogenannte Backphase) reibungslos funktioniert, beendet SageMaker AI die blaue Flotte. Mit den zusätzlichen Funktionen in blauen/grünen Bereitstellungen können Sie Modi zur Verkehrsverlagerung und automatische Rollback-Überwachung nutzen, um Ihren Endpunkt vor erheblichen Produktionsauswirkungen zu schützen. In der folgenden Liste werden die wichtigsten Funktionen von Blau/Grün-Bereitstellungen in SageMaker AI beschrieben: + **Modi zur Verkehrsverlagerung.** Mit den Verkehrsverlagerungsmodi für Einsatzleitplanken können Sie das Verkehrsaufkommen und die Anzahl der Verkehrsverlagerungsstufen zwischen der blauen Flotte und der grünen Flotte steuern. Diese Funktion gibt Ihnen die Möglichkeit, die Leistung der umweltfreundlichen Flotte schrittweise zu bewerten, ohne sich vollständig auf eine hundertprozentige Verkehrsverlagerung festlegen zu müssen. + **Backzeit.** Die Backphase ist ein festgelegter Zeitraum, um die grüne Flotte zu überwachen, bevor mit der nächsten Einsatzphase fortgefahren wird. Wenn einer der vordefinierten Alarme während einer Back-Periode ausgelöst wird, wird der gesamte Endpunktverkehr auf die blaue Flotte zurückgesetzt. Die Backphase hilft Ihnen dabei, Vertrauen in Ihr Update aufzubauen, bevor der Traffic dauerhaft verlagert wird. + **Automatisches Zurücksetzen.** Sie können Amazon CloudWatch-Alarme angeben, die SageMaker AI zur Überwachung der grünen Flotte verwendet. Wenn ein Problem mit dem aktualisierten Code einen der Alarme auslöst, leitet SageMaker AI einen automatischen Rollback zur blauen Flotte ein, um die Verfügbarkeit aufrechtzuerhalten und so das Risiko zu minimieren. ## Modi zur Verkehrsverlagerung Die verschiedenen Modi zur Verkehrsverlagerung in blauen/grünen Bereitstellungen bieten Ihnen eine genauere Kontrolle über die Verkehrsverlagerung zwischen der blauen Flotte und der grünen Flotte. Die verfügbaren Verkehrsverlagerungsmodi für blaue/grüne Bereitstellungen sind alle gleichzeitig, kanarisch und linear. Die folgende Tabelle zeigt einen Vergleich der Optionen. **Wichtig** Bei Bereitstellungen in Blau/Grün, die mehrstufige Verkehrsverlagerung oder Back-Phasen beinhalten, werden Ihnen für die Dauer des Updates beide Flotten in Rechnung gestellt, unabhängig vom Verkehr zur Flotte. Dies steht im Gegensatz zu Bereitstellungen in Blau/Grün, bei denen der Verkehr auf einmal verlagert wird und es keine Back-Phasen gibt, bei denen Ihnen im Laufe des Updates nur eine Flotte in Rechnung gestellt wird. | Name | Was ist es?  | Vorteile | Nachteile | Empfehlung | | --- | --- | --- | --- | --- | | Alle auf einmal | Verlagerung des gesamten Verkehrs auf die neue Flotte in einem einzigen Schritt. | Minimiert die Gesamtdauer des Updates. | Regressive Updates betreffen 100% des Datenverkehrs. | Verwenden Sie diese Option, um die Aktualisierungszeit und die Kosten zu minimieren. | | Canary | Der Verkehr verlagert sich in zwei Schritten. Der erste (kanarische) Schritt verlagert einen kleinen Teil des Datenverkehrs, gefolgt vom zweiten Schritt, der den Rest des Verkehrs verschiebt. | Beschränkt den Explosionsradius der regressiven Updates nur auf die kanarische Flotte. | Beide Flotten sind während des gesamten Einsatzes parallel im Einsatz. | Verwenden Sie diese Option, um ein Gleichgewicht zwischen der Minimierung des Explosionsradius regressiver Updates und der Minimierung der Betriebszeit von zwei Flotten herzustellen. | | Linear | Ein fester Teil des Verkehrs verlagert sich in eine vorab festgelegte Anzahl von Schritten mit gleichem Abstand. | Minimiert das Risiko regressiver Aktualisierungen, indem der Verkehr über mehrere Schritte verteilt wird. | Die Dauer und die Kosten der Aktualisierung sind proportional zur Anzahl der Schritte. | Verwenden Sie diese Option, um das Risiko zu minimieren, indem Sie die Bereitstellung auf mehrere Schritte verteilen. | ## Erste Schritte Sobald Sie Ihre gewünschte Bereitstellungskonfiguration angegeben haben, übernimmt SageMaker AI die Bereitstellung neuer Instances, die Kündigung alter Instances und die Verlagerung des Datenverkehrs für Sie. Sie können Ihren Einsatz über die bestehenden SageMaker API und AWS Command Line Interface-Befehle [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) und [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) erstellen und verwalten. Beachten Sie, dass Sie keine Bereitstellungsleitlinien verwenden können, wenn Ihr Endpunkt eine der auf der [Ausschlüsse](deployment-guardrails-exclusions.md) Seite aufgeführten Funktionen verwendet. Weitere Informationen zur Einrichtung Ihrer Bereitstellung finden Sie auf den einzelnen Bereitstellungsseiten: + [Blau/Grünes Update mit Verkehrsverlagerung auf einmal](deployment-guardrails-blue-green-all-at-once.md) + [Blau/Grünes Update mit Canary Traffic Shifting](deployment-guardrails-blue-green-canary.md) + [Blau/Grünes Update mit linearer Verkehrsverlagerung](deployment-guardrails-blue-green-linear.md) In unseren Beispiel-[Jupyter Notebooks](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-inference-deployment-guardrails) für die Modi Canary und Linear Traffic Shifting finden Sie Anleitungen, die zeigen, wie Deployment Guardrails verwendet werden. # Verlagerung des gesamten Datenverkehrs Da sich der Verkehr auf einmal verlagert, können Sie schnell ein Endpunkt-Update durchführen, indem Sie die Sicherheitsvorkehrungen einer blau/grünen Implementierung nutzen. Sie können diese Option zur Verkehrsverlagerung verwenden, um die Aktualisierungsdauer zu minimieren und gleichzeitig die Verfügbarkeitsgarantien von Blau/Grün-Bereitstellungen zu nutzen. Mit der Back-Perioden-Funktion können Sie die Leistung und Funktionalität Ihrer neuen Instances überwachen, bevor Sie Ihre alten Instances beenden. So wird sichergestellt, dass Ihre neue Flotte voll funktionsfähig ist. Das folgende Diagramm zeigt, wie die alten und neuen Flotten mit einer einzigen Verkehrsverlagerung verwaltet werden. ![\[Eine erfolgreiche 100-prozentige Verkehrsverlagerung von der alten zu der neuen Flotte.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/deployment-guardrails-blue-green-all-at-once.png) Wenn Sie den gesamten Datenverkehr verlagern, leitet SageMaker AI 100 % des Datenverkehrs an die neue Flotte (grüne Flotte) weiter. Sobald die grüne Flotte Traffic empfängt, beginnt die Backphase. Die Backphase ist ein festgelegter Zeitraum, in dem vordefinierte Amazon CloudWatch-Alarme die Leistung der grünen Flotte überwachen. Wenn während der Backphase keine Alarme ausgelöst werden, beendet SageMaker AI die alte Flotte (blaue Flotte). Wenn während der Backphase Alarme ausgelöst werden, wird ein automatischer Rollback ausgelöst und der Verkehr wird zu 100% wieder auf die blaue Flotte umgestellt. ## Voraussetzungen Bevor Sie eine Bereitstellung einrichten, bei der der gesamte Datenverkehr auf einmal verlagert wird, müssen Sie Amazon CloudWatch-Alarme erstellen, um Metriken von Ihrem Endpunkt aus zu überwachen. Wenn einer der Alarme während der Backphase ausgelöst wird, wird der Traffic wieder auf Ihre blaue Flotte übertragen. Informationen zum Einrichten von CloudWatch-Alarmen auf einem Endpunkt finden Sie auf der Seite [Konfiguration und Überwachung von Auto-Rollback](deployment-guardrails-configuration.md) mit den Voraussetzungen. Informationen über CloudWatch-Alarme finden Sie unter [Vewenden von Amazon-CloudWatch-Alarmen](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) im *Amazon-CloudWatch-Benutzerhandbuch*. ## Konfigurieren Sie Traffic Shifting auf einmal Sobald Sie für Ihre Bereitstellung bereit sind und CloudWatch-Alarme für Ihren Endpunkt eingerichtet haben, können Sie entweder die SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) API oder den Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) in der AWS Command Line Interface verwenden, um die Bereitstellung zu initiieren. **Topics** + [So aktualisieren Sie einen Endpunkt (API)](#deployment-guardrails-blue-green-all-at-once-configure-api-update) + [Wie aktualisiert man einen Endpunkt mit einer vorhandenen blau/grünen Update-Richtlinie (API)](#deployment-guardrails-blue-green-all-at-once-configure-api-existing) + [So aktualisieren Sie einen Endpunkt (CLI)](#deployment-guardrails-blue-green-all-at-once-configure-cli-update) ### So aktualisieren Sie einen Endpunkt (API) Das folgende Beispiel zeigt, wie Sie Ihren Endpunkt mit [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) in der Amazon SageMaker-API aktualisieren können, sodass der gesamte Datenverkehr auf einmal verlagert wird. ``` import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="", EndpointConfigName="", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "ALL_AT_ONCE" }, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "" }, ] } } ) ``` Um die Optionen All-at-Once-Datenverkehrs-Verlagerung zu konfigurieren, machen Sie Folgendes: + Verwenden Sie für `EndpointName` den Namen des vorhandenen Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `EndpointConfigName` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Stellen Sie unter `DeploymentConfig` und `BlueGreenUpdatePolicy`, in `TrafficRoutingConfiguration`, den `Type` Parameter auf `ALL_AT_ONCE` ein. Dies gibt an, dass die Bereitstellung den All-in-Once-Modus zur Verkehrsverlagerung verwendet. + Geben Sie als `TerminationWaitInSeconds` `600`ein. Dieser Parameter weist SageMaker AI an, die angegebene Zeit (in Sekunden) zu warten, nachdem Ihre grüne Flotte voll aktiv ist, bevor die Instances in der blauen Flotte beendet werden. In diesem Beispiel wartet SageMaker AI nach der letzten Backphase 10 Minuten, bevor die blaue Flotte beendet wird. + Geben Sie als `MaximumExecutionTimeoutInSeconds` `1800`ein. Dieser Parameter legt die maximale Zeit fest, die die Bereitstellung ausgeführt werden kann, bevor eine Zeitbeschränkung auftritt. Im vorherigen Beispiel gilt für Ihre Bereitstellung ein Limit von 30 Minuten bis zum Abschluss. + In `AutoRollbackConfiguration` können Sie im Feld `Alarms` Ihre CloudWatch-Alarme nach Namen hinzufügen. Erstellen Sie einen `AlarmName: ` Eintrag für jeden Alarm, den Sie verwenden möchten. ### Wie aktualisiert man einen Endpunkt mit einer vorhandenen blau/grünen Update-Richtlinie (API) Wenn Sie die [CreateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) verwenden, um einen Endpunkt zu erstellen, können Sie optional eine Bereitstellungskonfiguration angeben, die für future Endpunkt-Updates wiederverwendet werden soll. Sie können dieselben `DeploymentConfig` Optionen wie im vorherigen UpdateEndpoint-API-Beispiel verwenden. Das Verhalten der CreateEndpoint-API wurde nicht geändert. Durch die Angabe der Bereitstellungskonfiguration wird nicht automatisch ein blau/grünes Update auf Ihrem Endpunkt durchgeführt. Die Option, eine vorherige Bereitstellungskonfiguration zu verwenden, ist verfügbar, wenn Sie die [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)-API verwenden, um Ihren Endpunkt zu aktualisieren. Wenn Sie Ihren Endpunkt aktualisieren, können Sie die `RetainDeploymentConfig` Option verwenden, um die Bereitstellungskonfiguration beizubehalten, die Sie bei der Erstellung des Endpunkts angegeben haben. Stellen Sie beim Aufrufen der [UpdateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) `RetainDeploymentConfig` auf `True` ein, um die `DeploymentConfig` Optionen aus Ihrer ursprünglichen Endpunktkonfiguration beizubehalten. ``` response = client.update_endpoint( EndpointName="", EndpointConfigName="", RetainDeploymentConfig=True ) ``` ### So aktualisieren Sie einen Endpunkt (CLI) Wenn Sie den AWS CLI verwenden, zeigt das folgende Beispiel, wie Sie mit dem Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) eine blaue/grüne All-in-one-Bereitstellung starten. ``` update-endpoint --endpoint-name --endpoint-config-name --deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "ALL_AT_ONCE"}, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": ""}]}' ``` Um die Optionen All-at-Once-Datenverkehrs-Verlagerung zu konfigurieren, machen Sie Folgendes: + Verwenden Sie für `endpoint-name` den Namen des Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `endpoint-config-name` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Verwenden Sie für `deployment-config` ein [BlueGreenUpdatePolicy-JSON-Objekt](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_BlueGreenUpdatePolicy.html). **Anmerkung** Wenn Sie Ihr JSON-Objekt lieber in einer Datei speichern möchten, finden Sie weitere Informationen unter [Generieren](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-skeleton.html) von AWS CLI Skelett- und Eingabeparametern im *AWS CLIBenutzerhandbuch*. # Canary-Verkehrsverlagerung nutzen Mit Canary Traffic Shifting können Sie einen Teil Ihres Endpunktverkehrs auf der neuen Flotte testen, während die alte Flotte den Rest des Datenverkehrs abwickelt. Bei diesem Testschritt handelt es sich um eine Sicherheitsleitplanke, mit der die Funktionalität der neuen Flotte überprüft wird, bevor Ihr gesamter Verkehr auf die neue Flotte verlagert wird. Sie haben immer noch die Vorteile einer blauen/grünen Implementierung, und mit der zusätzlichen Canary-Funktion können Sie sicherstellen, dass Ihre neue (grüne) Flotte Rückschlüsse verarbeiten kann, bevor sie den gesamten Verkehr bewältigen kann. Der Teil Ihrer grünen Flotte, der aktiviert wird, um Traffic zu empfangen, wird als Kanarienvogel bezeichnet, und Sie können die Größe dieses Kanarienvogels wählen. Beachten Sie, dass die Kanariengröße höchstens 50% der Kapazität der neuen Flotte betragen sollte. Sobald die Backphase abgelaufen ist und keine vordefinierten Amazon CloudWatch-Alarme ausgelöst werden, verlagert sich der restliche Verkehr von der alten (blauen) Flotte auf die grüne Flotte. Canary Traffic Shifting bietet Ihnen mehr Sicherheit bei der Bereitstellung, da alle Probleme mit dem aktualisierten Modell nur den Canary betreffen. Das folgende Diagramm zeigt, wie Canary Traffic Shifting die Verteilung des Verkehrs zwischen den blauen und grünen Flotten regelt. ![\[Eine erfolgreiche zweistufige Verlagerung des kanarischen Datenverkehrs von der alten zu der neuen Flotte.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/deployment-guardrails-blue-green-canary.png) Sobald SageMaker AI die grüne Flotte bereitgestellt hat, leitet SageMaker AI einen Teil des eingehenden Datenverkehrs (z. B. 25 %) an den Canary weiter. Dann beginnt die Backphase, in der Ihre CloudWatch-Alarme die Leistung der grünen Flotte überwachen. Während dieser Zeit sind sowohl die blaue als auch die grüne Flotte teilweise aktiv und empfangen Verkehr. Wenn einer der Alarme während der Backphase ausgelöst wird, leitet SageMaker AI einen Rollback ein und der gesamte Verkehr kehrt zur blauen Flotte zurück. Wenn keiner der Alarme ausgelöst wird, wird der gesamte Verkehr auf die grüne Flotte verlagert und es gibt eine letzte Backphase. Wenn die letzte Backphase endet, ohne dass ein Alarm ausgelöst wurde, bedient die grüne Flotte den gesamten Verkehr und SageMaker AI beendet die blaue Flotte. ## Voraussetzungen Bevor Sie eine Bereitstellung mit Canary Traffic Shifting einrichten, müssen Sie Amazon CloudWatch-Alarme erstellen, um Metriken von Ihrem Endpunkt aus zu überwachen. Die Alarme sind während der Backphase aktiv, und wenn Alarme ausgelöst werden, wird der gesamte Endpunktverkehr auf die blaue Flotte zurückgesetzt. Informationen zum Einrichten von CloudWatch-Alarmen auf einem Endpunkt finden Sie auf der Seite [Konfiguration und Überwachung von Auto-Rollback](deployment-guardrails-configuration.md) mit den Voraussetzungen. Um mehr über [CloudWatch-Alarme](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) zu erfahren, siehe Verwenden von Amazon CloudWatch-Alarmen im *Amazon CloudWatch-Benutzerhandbuch*. ## Konfigurieren Sie Canary Traffic Shifting Sobald Sie für Ihre Bereitstellung bereit sind und Amazon CloudWatch-Alarme für Ihren Endpunkt eingerichtet haben, können Sie entweder die Amazon SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) API oder den Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) in der AWS CLI verwenden, um die Bereitstellung zu initiieren. **Topics** + [So aktualisieren Sie einen Endpunkt (API)](#deployment-guardrails-blue-green-canary-configure-api-update) + [Wie aktualisiert man einen Endpunkt mit einer vorhandenen blau/grünen Update-Richtlinie (API)](#deployment-guardrails-blue-green-canary-configure-api-existing) + [So aktualisieren Sie einen Endpunkt (CLI)](#deployment-guardrails-blue-green-canary-configure-cli-update) ### So aktualisieren Sie einen Endpunkt (API) Das folgende Beispiel der [updateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) zeigt, wie Sie einen Endpunkt mit Canary Traffic Shifting aktualisieren können. ``` import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="", EndpointConfigName="", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "CANARY", "CanarySize": { "Type": "CAPACITY_PERCENT", "Value": 30 }, "WaitIntervalInSeconds": 600 }, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "" } ] } } ) ``` Um die Optionen Canary Traffic Shifting zu konfigurieren, machen Sie Folgendes: + Verwenden Sie für `EndpointName` den Namen des vorhandenen Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `EndpointConfigName` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Stellen Sie unter `DeploymentConfig` und `BlueGreenUpdatePolicy`, in `TrafficRoutingConfiguration`, den `Type` Parameter auf ein `CANARY`. Dies gibt an, dass die Bereitstellung Canary Traffic Shifting verwendet. + Im Feld `CanarySize` können Sie die Größe des Canary ändern, indem Sie die Parameter `Type` und `Value` ändern. Für `Type`, verwenden Sie `CAPACITY_PERCENT`, also den Prozentsatz Ihrer grünen Flotte, den Sie als Canary verwenden möchten, und setzen Sie dann `Value` auf `30`. In diesem Beispiel nutzen Sie 30% der Kapazität der grünen Flotte als Kanarienvogel. Beachten Sie, dass die Größe des Kanarienvogels 50% oder weniger der Kapazität der grünen Flotte entsprechen sollte. + Geben Sie als `WaitIntervalInSeconds` `600`ein. Der Parameter weist SageMaker AI an, zwischen jeder Intervallverschiebung die angegebene Zeit (in Sekunden) zu warten. Dieses Intervall entspricht der Dauer der Kanarienbackzeit. Im vorherigen Beispiel wartet SageMaker AI 10 Minuten nach der Canary-Verlagerung und schließt dann die zweite und letzte Verkehrsverlagerung ab. + Geben Sie als `TerminationWaitInSeconds` `600`ein. Dieser Parameter weist SageMaker AI an, die angegebene Zeit (in Sekunden) zu warten, nachdem Ihre grüne Flotte voll aktiv ist, bevor die Instances in der blauen Flotte beendet werden. In diesem Beispiel wartet SageMaker AI nach der letzten Backphase 10 Minuten, bevor die blaue Flotte beendet wird. + Geben Sie als `MaximumExecutionTimeoutInSeconds` `1800`ein. Dieser Parameter legt die maximale Zeit fest, die die Bereitstellung ausgeführt werden kann, bevor eine Zeitbeschränkung auftritt. Im vorherigen Beispiel gilt für Ihre Bereitstellung ein Limit von 30 Minuten bis zum Abschluss. + In `AutoRollbackConfiguration` können Sie im Feld `Alarms` Ihre CloudWatch-Alarme nach Namen hinzufügen. Erstellen Sie einen `AlarmName: ` Eintrag für jeden Alarm, den Sie verwenden möchten. ### Wie aktualisiert man einen Endpunkt mit einer vorhandenen blau/grünen Update-Richtlinie (API) Wenn Sie die [CreateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) verwenden, um einen Endpunkt zu erstellen, können Sie optional eine Bereitstellungskonfiguration angeben, die für future Endpunkt-Updates wiederverwendet werden soll. Sie können dieselben `DeploymentConfig` Optionen wie im vorherigen UpdateEndpoint-API-Beispiel verwenden. Das Verhalten der CreateEndpoint-API wurde nicht geändert. Durch die Angabe der Bereitstellungskonfiguration wird nicht automatisch ein blau/grünes Update auf Ihrem Endpunkt durchgeführt. Die Option, eine vorherige Bereitstellungskonfiguration zu verwenden, ist verfügbar, wenn Sie die [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)-API verwenden, um Ihren Endpunkt zu aktualisieren. Wenn Sie Ihren Endpunkt aktualisieren, können Sie die `RetainDeploymentConfig` Option verwenden, um die Bereitstellungskonfiguration beizubehalten, die Sie bei der Erstellung des Endpunkts angegeben haben. Stellen Sie beim Aufrufen der [UpdateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) `RetainDeploymentConfig` auf `True` ein, um die `DeploymentConfig` Optionen aus Ihrer ursprünglichen Endpunktkonfiguration beizubehalten. ``` response = client.update_endpoint( EndpointName="", EndpointConfigName="", RetainDeploymentConfig=True ) ``` ### So aktualisieren Sie einen Endpunkt (CLI) Wenn Sie den AWS CLI verwenden, zeigt das folgende Beispiel, wie Sie mit dem Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) eine Blue/Green-Canary-Bereitstellung starten. ``` update-endpoint --endpoint-name --endpoint-config-name --deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "CANARY", "CanarySize": {"Type": "CAPACITY_PERCENT", "Value": 30}, "WaitIntervalInSeconds": 600}, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": ""}]}' ``` Um die Optionen Canary Traffic Shifting zu konfigurieren, machen Sie Folgendes: + Verwenden Sie für `endpoint-name` den Namen des Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `endpoint-config-name` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Verwenden Sie für `deployment-config` ein [BlueGreenUpdatePolicy-JSON-Objekt](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_BlueGreenUpdatePolicy.html). **Anmerkung** Wenn Sie Ihr JSON-Objekt lieber in einer Datei speichern möchten, finden Sie weitere Informationen unter [Generieren](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-skeleton.html) von AWS CLI Skelett- und Eingabeparametern im *AWS CLIBenutzerhandbuch*. # Lineare Verkehrsverlagerung Durch die lineare Verkehrsverlagerung können Sie den Verkehr schrittweise von Ihrer alten Flotte (blaue Flotte) auf Ihre neue Flotte (grüne Flotte) verlagern. Mit der linearen Verkehrsverlagerung können Sie den Verkehr in mehreren Schritten verlagern und so das Risiko einer Störung an Ihrem Endpunkt minimieren. Diese blaue/grüne Bereitstellungsoption bietet Ihnen die genaueste Kontrolle über die Verkehrsverlagerung. Sie können entweder die Anzahl der Instances oder den Prozentsatz der Kapazität der grünen Flotte wählen, die bei jedem Schritt aktiviert werden sollen. Jeder lineare Schritt sollte nur zwischen 10 und 50% der Kapazität der grünen Flotte liegen. Für jeden Schritt gibt es eine Back-Phase, in der Ihre vordefinierten Amazon CloudWatch-Alarme die Metriken der grünen Flotte überwachen. Sobald die Backphase abgelaufen ist und keine Alarme ausgelöst werden, empfängt der aktive Teil Ihrer grünen Flotte weiterhin Traffic und ein neuer Schritt beginnt. Wenn während einer der Back-Phasen Alarme ausgelöst werden, werden 100% des Endpunktverkehrs wieder auf die blaue Flotte übertragen. Das folgende Diagramm zeigt, wie die lineare Verkehrsverlagerung den Verkehr an die blauen und grünen Flotten weiterleitet. ![\[Eine erfolgreiche lineare Verkehrsverlagerung aus drei Schritten von der alten zu der neuen Flotte.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/deployment-guardrails-blue-green-linear.png) Sobald SageMaker AI die neue Flotte bereitgestellt hat, wird der erste Teil der grünen Flotte eingeschaltet und empfängt Verkehr. SageMaker AI deaktiviert den gleichen Teil der blauen Flotte und die Backphase beginnt. Wenn Alarme ausgelöst werden, wird der gesamte Datenverkehr an den Endpunkten wieder auf die blaue Flotte übertragen. Wenn die Backzeit beendet ist, beginnt der nächste Schritt. Ein anderer Teil der grünen Flotte wird aktiviert und empfängt Verkehr, ein Teil der blauen Flotte wird deaktiviert und eine weitere Backphase beginnt. Derselbe Vorgang wiederholt sich, bis die blaue Flotte vollständig deaktiviert ist und die grüne Flotte voll aktiv ist und den gesamten Verkehr empfängt. Wenn zu irgendeinem Zeitpunkt ein Alarm ausgelöst wird, beendet SageMaker AI den Schichtvorgang und 100% des Traffics werden wieder der blauen Flotte zugewiesen. ## Voraussetzungen Bevor Sie eine Bereitstellung mit linearer Verkehrsverlagerung einrichten, müssen Sie CloudWatch-Alarme erstellen, um Metriken von Ihrem Endpunkt aus zu überwachen. Die Alarme sind während der Backphase aktiv, und wenn Alarme ausgelöst werden, wird der gesamte Endpunktverkehr auf die blaue Flotte zurückgesetzt. Informationen zum Einrichten von CloudWatch-Alarmen auf einem Endpunkt finden Sie auf der Seite [Konfiguration und Überwachung von Auto-Rollback](deployment-guardrails-configuration.md) mit den Voraussetzungen. Um mehr über [CloudWatch-Alarme](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) zu erfahren, siehe Verwenden von Amazon CloudWatch-Alarmen im *Amazon CloudWatch-Benutzerhandbuch*. ## Konfigurieren Sie die lineare Verkehrsverlagerung Sobald Sie für Ihre Bereitstellung bereit sind und CloudWatch-Alarme für Ihren Endpunkt eingerichtet haben, können Sie entweder die Amazon SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) API oder den Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) in AWS CLI verwenden, um die Bereitstellung zu initiieren. **Topics** + [So aktualisieren Sie einen Endpunkt (API)](#deployment-guardrails-blue-green-linear-configure-api-update) + [Wie aktualisiert man einen Endpunkt mit einer vorhandenen blau/grünen Update-Richtlinie (API)](#deployment-guardrails-blue-green-linear-configure-api-existing) + [So aktualisieren Sie einen Endpunkt (CLI)](#deployment-guardrails-blue-green-canary-configure-cli-update) ### So aktualisieren Sie einen Endpunkt (API) Das folgende Beispiel der [updateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) zeigt, wie Sie einen Endpunkt mit linearer Verkehrsverlagerung aktualisieren können. ``` import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="", EndpointConfigName="", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "LINEAR", "LinearStepSize": { "Type": "CAPACITY_PERCENT", "Value": 20 }, "WaitIntervalInSeconds": 300 }, "TerminationWaitInSeconds": 300, "MaximumExecutionTimeoutInSeconds": 3600 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "" } ] } } ) ``` Um die Optionen Linear Traffic Shifting zu konfigurieren, machen Sie Folgendes: + Verwenden Sie für `EndpointName` den Namen des vorhandenen Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `EndpointConfigName` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Stellen Sie unter `DeploymentConfig` und `BlueGreenUpdatePolicy`, in `TrafficRoutingConfiguration`,, den `Type` Parameter auf `LINEAR` ein. Dies gibt an, dass bei der Bereitstellung eine lineare Verkehrsverlagerung verwendet wird. + Im Feld `LinearStepSize` können Sie die Größe der Schritte ändern, indem Sie die Parameter `Type` und `Value` ändern. Für `Type` verwenden Sie `CAPACITY_PERCENT`, d. h. den Prozentsatz Ihrer grünen Flotte, den Sie als Schrittgröße verwenden wollen, und setzen Sie `Value` auf `20`. In diesem Beispiel schalten Sie für jeden Schritt der Verkehrsverlagerung 20% der Kapazität der umweltfreundlichen Flotte ein. Beachten Sie, dass Sie bei der Anpassung Ihrer linearen Schrittgröße nur Stufen verwenden sollten, die 10-50% der Kapazität der grünen Flotte ausmachen. + Geben Sie als `WaitIntervalInSeconds` `300`ein. Der Parameter weist SageMaker AI an, zwischen jeder Datenverkehrs-Verlagerung den angegebenen Zeitraum (in Sekunden) zu warten. Dieses Intervall ist die Dauer der Backzeit zwischen den einzelnen linearen Schritten. Im vorherigen Beispiel wartet SageMaker AI zwischen jeder Verkehrsschicht 5 Minuten. + Geben Sie als `TerminationWaitInSeconds` `300`ein. Dieser Parameter weist SageMaker AI an, die angegebene Zeit (in Sekunden) zu warten, nachdem Ihre grüne Flotte voll aktiv ist, bevor die Instances in der blauen Flotte beendet werden. In diesem Beispiel wartet SageMaker AI nach der letzten Backphase 5 Minuten, bevor die blaue Flotte beendet wird. + Geben Sie als `MaximumExecutionTimeoutInSeconds` `3600`ein. Dieser Parameter legt die maximale Zeit fest, die die Bereitstellung ausgeführt werden kann, bevor eine Zeitbeschränkung auftritt. Im vorherigen Beispiel gilt für Ihre Bereitstellung ein Limit von 1 Stunde bis zum Abschluss. + In `AutoRollbackConfiguration` können Sie im Feld `Alarms` Ihre CloudWatch-Alarme nach Namen hinzufügen. Erstellen Sie einen `AlarmName: ` Eintrag für jeden Alarm, den Sie verwenden möchten. ### Wie aktualisiert man einen Endpunkt mit einer vorhandenen blau/grünen Update-Richtlinie (API) Wenn Sie die [CreateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) verwenden, um einen Endpunkt zu erstellen, können Sie optional eine Bereitstellungskonfiguration angeben, die für future Endpunkt-Updates wiederverwendet werden soll. Sie können dieselben `DeploymentConfig` Optionen wie im vorherigen UpdateEndpoint-API-Beispiel verwenden. Das Verhalten der CreateEndpoint-API wurde nicht geändert. Durch die Angabe der Bereitstellungskonfiguration wird nicht automatisch ein blau/grünes Update auf Ihrem Endpunkt durchgeführt. Die Option, eine vorherige Bereitstellungskonfiguration zu verwenden, ist verfügbar, wenn Sie die [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)-API verwenden, um Ihren Endpunkt zu aktualisieren. Wenn Sie Ihren Endpunkt aktualisieren, können Sie die `RetainDeploymentConfig` Option verwenden, um die Bereitstellungskonfiguration beizubehalten, die Sie bei der Erstellung des Endpunkts angegeben haben. Stellen Sie beim Aufrufen der [UpdateEndpoint-API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) `RetainDeploymentConfig` auf `True` ein, um die `DeploymentConfig` Optionen aus Ihrer ursprünglichen Endpunktkonfiguration beizubehalten. ``` response = client.update_endpoint( EndpointName="", EndpointConfigName="", RetainDeploymentConfig=True ) ``` ### So aktualisieren Sie einen Endpunkt (CLI) Wenn Sie den verwenden AWS CLI, zeigt das folgende Beispiel, wie Sie mit dem Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) eine lineare Blau/Grün-Bereitstellung starten. ``` update-endpoint --endpoint-name --endpoint-config-name --deployment-config '{"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "LINEAR", "LinearStepSize": {"Type": "CAPACITY_PERCENT", "Value": 20}, "WaitIntervalInSeconds": 300}, "TerminationWaitInSeconds": 300, "MaximumExecutionTimeoutInSeconds": 3600}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": ""}]}' ``` Um die Optionen Linear Traffic Shifting zu konfigurieren, machen Sie Folgendes: + Verwenden Sie für `endpoint-name` den Namen des Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `endpoint-config-name` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Verwenden Sie für `deployment-config` ein [BlueGreenUpdatePolicy-JSON-Objekt](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_BlueGreenUpdatePolicy.html). **Anmerkung** Wenn Sie Ihr JSON-Objekt lieber in einer Datei speichern möchten, finden Sie weitere Informationen unter [Generieren](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-skeleton.html) von AWS CLI Skelett- und Eingabeparametern im *AWS CLIBenutzerhandbuch*. # Rollende Bereitstellungen verwenden Wenn Sie Ihren Endpunkt aktualisieren, können Sie einen fortlaufenden Einsatz angeben, um den Verkehr schrittweise von Ihrer alten Flotte auf eine neue Flotte zu verlagern. Sie können die Größe der Schritte zur Verkehrsverlagerung steuern und einen Testzeitraum festlegen, in dem die neuen Instances auf Probleme hin überwacht werden, bevor Instances aus der alten Flotte beendet werden. Bei fortlaufenden Bereitstellungen werden die Instances auf der alten Flotte nach jeder Verlagerung des Datenverkehrs auf die neue Flotte bereinigt, wodurch die Anzahl der zusätzlichen Instances, die für die Aktualisierung Ihres Endpunkts erforderlich sind, reduziert wird. Dies ist insbesondere für beschleunigte Instances nützlich, die stark nachgefragt werden. Bei fortlaufenden Bereitstellungen wird die vorherige Bereitstellung Ihrer Modellversion schrittweise durch die neue Version ersetzt, indem Ihr Endpunkt in konfigurierbaren Batchgrößen aktualisiert wird. Das Verhalten von rollierenden Bereitstellungen ähnelt dem [linearen Verkehrsverlagerungsmodus](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-blue-green-linear.html) in blue/green Bereitstellungen, aber rollierende Bereitstellungen bieten Ihnen im Vergleich zu Bereitstellungen den Vorteil geringerer Kapazitätsanforderungen. blue/green Bei rollierenden Bereitstellungen sind weniger Instances gleichzeitig aktiv, und Sie haben eine genauere Kontrolle darüber, wie viele Instances Sie in der neuen Flotte aktualisieren möchten. Sie sollten die Verwendung einer fortlaufenden Bereitstellung anstelle einer Bereitstellung in Betracht ziehen, wenn Sie über große Modelle oder einen großen Endpunkt mit vielen Instanzen verfügen. blue/green In der folgenden Liste werden die wichtigsten Funktionen von fortlaufenden Bereitstellungen in Amazon SageMaker AI beschrieben: + **Backzeit.**Die Backphase ist ein festgelegter Zeitraum, um die neue Flotte zu überwachen, bevor mit der nächsten Einsatzphase begonnen wird. Wenn einer der vordefinierten Alarme während einer Back-Phase ausgelöst wird, wird der gesamte Endpunktverkehr auf die alte Flotte zurückgesetzt. Die Backphase hilft Ihnen dabei, Vertrauen in Ihr Update aufzubauen, bevor Sie den Traffic dauerhaft verlagern. + **Größe der rollenden Charge.** Sie haben die genaue Kontrolle über die Größe jedes Batches für die Verkehrsverlagerung oder über die Anzahl der Instances, die Sie in jedem Batch aktualisieren möchten. Diese Zahl kann zwischen 5 und 50% der Größe Ihrer Flotte liegen. Sie können die Batchgröße als Anzahl von Instances oder als Gesamtanteil Ihrer Flotte angeben. + **Automatisches Zurücksetzen.**Sie können CloudWatch Amazon-Alarme angeben, die SageMaker KI zur Überwachung der neuen Flotte verwendet. Wenn ein Problem mit dem aktualisierten Code einen der Alarme auslöst, leitet SageMaker KI ein automatisches Rollback zur alten Flotte ein, um die Verfügbarkeit aufrechtzuerhalten und so das Risiko zu minimieren. **Anmerkung** Wenn Ihr Endgerät eine der auf der Seite [Ausnahmen](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-exclusions.html) aufgeführten Funktionen verwendet, können Sie keine fortlaufenden Bereitstellungen verwenden. ## Funktionsweise Während einer fortlaufenden Bereitstellung stellt SageMaker KI die Infrastruktur bereit, um den Verkehr von der alten Flotte auf die neue Flotte zu verlagern, ohne dass alle neuen Instanzen gleichzeitig bereitgestellt werden müssen. SageMaker KI verwendet die folgenden Schritte, um den Verkehr zu verlagern: 1. SageMaker KI stellt die erste Gruppe von Instances in der neuen Flotte bereit. 1. Ein Teil des Datenverkehrs wird von den alten Instances auf den ersten Batch neuer Instances verlagert. 1. Wenn nach der Backphase keine CloudWatch Amazon-Alarme ausgelöst werden, bereinigt SageMaker KI einen Stapel alter Instances. 1. SageMaker KI stellt Instances weiterhin stapelweise bereit, verschiebt und bereinigt, bis die Bereitstellung abgeschlossen ist. Wenn während einer der Back-Phasen ein Alarm ausgelöst wird, wird der Traffic in Batches einer von Ihnen angegebenen Größe auf die alte Flotte zurückgeführt. Alternativ können Sie den fortlaufenden Einsatz so festlegen, dass 100% des Verkehrs wieder auf die alte Flotte umgeleitet werden, wenn ein Alarm ausgelöst wird. Das folgende Diagramm zeigt den Verlauf eines erfolgreichen rollierenden Einsatzes, wie in den vorherigen Schritten beschrieben. ![\[Die Schritte der erfolgreichen Verlagerung des Datenverkehrs von der alten zu der neuen Flotte während eines laufenden Einsatzes\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/deployment-guardrails-rolling-diagram.png) Um eine fortlaufende Bereitstellung zu erstellen, müssen Sie nur Ihre gewünschte Bereitstellungskonfiguration angeben. Dann kümmert sich SageMaker KI für Sie um die Bereitstellung neuer Instanzen, die Kündigung alter Instanzen und die Verlagerung des Datenverkehrs. Sie können Ihre Bereitstellung mithilfe der vorhandenen [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) SageMaker API [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)und der Befehle erstellen und verwalten. AWS Command Line Interface ## Voraussetzungen Bevor Sie eine fortlaufende Bereitstellung einrichten, müssen Sie CloudWatch Amazon-Alarme erstellen, um Metriken von Ihrem Endpunkt aus zu überwachen. Wenn einer der Alarme während der Backphase ausgelöst wird, wird der Traffic wieder auf Ihre alte Flotte übertragen. Informationen zum Einrichten von CloudWatch Alarmen auf einem Endpunkt finden Sie auf der Seite mit den Voraussetzungen für die [automatische Rollback-Konfiguration und Überwachung](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-configuration.html). Weitere Informationen zu CloudWatch Alarmen finden Sie unter [Verwenden von CloudWatch Amazon-Alarmen](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) im * CloudWatch Amazon-Benutzerhandbuch*. Sehen Sie sich auch die Seite mit den [Ausnahmen](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-exclusions.html) an, um sicherzustellen, dass Ihr Endpunkt die Anforderungen für eine fortlaufende Bereitstellung erfüllt. ## Ermitteln Sie die Größe der fortlaufenden Charge Bevor Sie Ihren Endpunkt aktualisieren, bestimmen Sie die Batchgröße, die Sie für die schrittweise Verlagerung des Datenverkehrs auf die neue Flotte verwenden möchten. Für fortlaufende Bereitstellungen können Sie eine Chargengröße angeben, die 5-50% der Kapazität Ihrer Flotte entspricht. Wenn Sie sich für eine große Batchgröße entscheiden, wird die Bereitstellung schneller abgeschlossen. Beachten Sie jedoch, dass der Endpunkt bei der Aktualisierung mehr Kapazität benötigt, was in etwa dem Mehraufwand für die Batchgröße entspricht. Wenn Sie eine kleinere Batchgröße wählen, dauert die Bereitstellung länger, aber Sie verbrauchen während der Bereitstellung weniger Kapazität. ## Eine laufende Bereitstellung konfigurieren Sobald Sie für Ihre Bereitstellung bereit sind und CloudWatch Alarme für Ihren Endpunkt eingerichtet haben, können Sie die SageMaker [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)KI-API oder den Befehl [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) in der verwenden, AWS Command Line Interface um die Bereitstellung zu starten. **Wie aktualisiert man einen Endpunkt** Das folgende Beispiel zeigt, wie Sie Ihren Endpunkt mithilfe der Methode [update\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/update_endpoint.html) des Boto3 AI-Clients mit einer fortlaufenden Bereitstellung aktualisieren können. SageMaker Verwenden Sie das folgende Beispiel und die folgenden Felder, um eine fortlaufende Bereitstellung zu konfigurieren: + Verwenden Sie für `EndpointName` den Namen des vorhandenen Endpunkts, den Sie aktualisieren möchten. + Verwenden Sie für `EndpointConfigName` den Namen der Endpunkt-Konfiguration, die Sie verwenden möchten. + Im `AutoRollbackConfiguration` Objekt, innerhalb des `Alarms` Feldes, können Sie Ihre CloudWatch Alarme nach Namen hinzufügen. Erstellen Sie einen `AlarmName: ` Eintrag für jeden Alarm, den Sie verwenden möchten. + Geben Sie unter `DeploymentConfig` für das `RollingUpdatePolicy` Objekt die folgenden Felder an: + `MaximumExecutionTimeoutInSeconds` – Das Zeitlimit für die gesamte Bereitstellung. Eine Überschreitung dieses Limits führt zu einem Timeout. Der Höchstwert, den Sie für dieses Feld angeben können, ist 28800 Sekunden oder 8 Stunden. + `WaitIntervalInSeconds`— Die Dauer der Backphase, in der die SageMaker KI die Alarme für jede Charge der neuen Flotte überwacht. + `MaximumBatchSize` – Geben Sie die `Type` Charge an, die Sie verwenden möchten (entweder die Anzahl der Instances oder der Gesamtanteil Ihrer Flotte) und die `Value` oder die Größe jeder Charge. + `RollbackMaximumBatchSize` – Verwenden Sie dieses Objekt, um die Rollback-Strategie für den Fall festzulegen, dass ein Alarm ausgelöst wird. Geben Sie die `Type` Anzahl der Chargen an, die Sie verwenden möchten (entweder die Anzahl der Instances oder der Gesamtanteil Ihrer Flotte) und die `Value` oder die Größe der einzelnen Chargen. Wenn Sie diese Felder nicht angeben oder den Wert auf 100% Ihres Endpunkts setzen, verwendet SageMaker KI eine blue/green Rollback-Strategie und rollt den gesamten Verkehr auf die alte Flotte zurück, wenn ein Alarm ausgelöst wird. ``` import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="", EndpointConfigName="", DeploymentConfig={ "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "" }, ] }, "RollingUpdatePolicy": { "MaximumExecutionTimeoutInSeconds": number, "WaitIntervalInSeconds": number, "MaximumBatchSize": { "Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default), "Value": number }, "RollbackMaximumBatchSize": { "Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default), "Value": number }, } } ) ``` Nach der Aktualisierung Ihres Endpunkts möchten Sie möglicherweise den Status Ihrer fortlaufenden Bereitstellung und den Zustand Ihres Endpunkts überprüfen. Sie können den Status Ihres Endpunkts in der SageMaker KI-Konsole überprüfen, oder Sie können den Status Ihres Endpunkts mithilfe der [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API überprüfen. In dem von der `DescribeEndpoint` API zurückgegebenen `VariantStatus` Objekt informiert Sie das `Status` Feld über den aktuellen Bereitstellungs- oder Betriebsstatus Ihres Endgeräts. Weitere Informationen zu den möglichen Status und ihrer Bedeutung finden Sie unter [ProductionVariantStatus](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariantStatus.html). Wenn Sie versucht haben, eine fortlaufende Bereitstellung durchzuführen und der Status Ihres Endpunkts lautet `UpdateRollbackFailed`, finden Sie im folgenden Abschnitt Hilfe zur Fehlerbehebung. ## Fehlerbehandlung Wenn Ihre rollenden Bereitstellungen fehlschlagen und auch das automatische Rollback fehlschlägt, kann Ihr Endpunkt den Status von `UpdateRollbackFailed` behalten. Dieser Status bedeutet, dass für die Instances hinter Ihrem Endpunkt unterschiedliche Endpunktkonfigurationen bereitgestellt werden und Ihr Endpunkt mit einer Mischung aus alten und neuen Endpunktkonfigurationen in Betrieb ist. Sie können die [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API erneut aufrufen, um Ihren Endpunkt wieder in einen fehlerfreien Zustand zu versetzen. Geben Sie Ihre gewünschte Endpunktkonfiguration und Bereitstellungskonfiguration an (entweder als fortlaufende Bereitstellung, als blaue/grüne Bereitstellung oder beides), um Ihren Endpunkt zu aktualisieren. Sie können die [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API aufrufen, um den Zustand Ihres Endpunkts erneut zu überprüfen, der im `VariantStatus` Objekt als `Status` Feld zurückgegeben wird. Wenn Ihr Update erfolgreich ist, kehrt Ihr Endpunkt `Status` zu `InService` zurück. # Ausschlüsse Bei einer blauen/grünen oder fortlaufenden Bereitstellung muss Ihre neue Endpunktkonfiguration denselben Variantennamen wie die alte Endpunktkonfiguration haben. Es gibt auch funktionsbasierte Ausschlüsse, die dazu führen, dass Ihr Endpunkt derzeit nicht mit den Bereitstellungsrichtlinien kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Funktionen verwendet, können Sie auf Ihrem Endpunkt keine Deployment Guardrails verwenden, und Ihr Endpunkt wird auf eine blaue/grüne Bereitstellung zurückgreifen, bei der der gesamte Datenverkehr auf einmal verlagert wird und es keine letzte Backphase gibt: + Marketplace Container + Endpunkte, die Inf1-Instances (Inferentia-basiert) verwenden Wenn Sie eine fortlaufende Bereitstellung durchführen, gibt es zusätzliche, auf Funktionen basierende Ausnahmen: + Serverless Inference Endpoints + Inferenzendpunkte mit mehreren Varianten