Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Schattentests Mit Amazon SageMaker AI können Sie alle Änderungen an Ihrem Modell der Serverinfrastruktur bewerten, indem Sie dessen Leistung mit der aktuell bereitgestellten Infrastruktur vergleichen. Diese Vorgehensweise wird als Schattentest bezeichnet. Schattentests können Ihnen helfen, catch Konfigurationsfehler und Leistungsprobleme zu erkennen, bevor sie sich auf Endbenutzer auswirken. Mit SageMaker AI müssen Sie nicht in den Aufbau Ihrer Shadow-Testing-Infrastruktur investieren, sodass Sie sich auf die Modellentwicklung konzentrieren können. Sie können diese Funktion nutzen, um Änderungen an jeder Komponente Ihrer Produktionsvariante, d. h. am Modell, am Container oder an der Instance, zu validieren, ohne dass sich dies auf den Endbenutzer auswirkt. Dies ist unter anderem in folgenden Situationen nützlich, ist aber nicht darauf beschränkt: + Sie erwägen, ein neues Modell, das offline validiert wurde, in der Produktion einzuführen, möchten aber vor dieser Entscheidung betriebliche Leistungskennzahlen wie Latenz und Fehlerrate auswerten. + Sie erwägen Änderungen an Ihrem Serverinfrastruktur-Container, z. B. das Patchen von Sicherheitslücken oder das Upgrade auf neuere Versionen, und möchten die Auswirkungen dieser Änderungen abschätzen, bevor Sie zur Produktion übergehen. + Sie erwägen, Ihre ML-Instance zu ändern, und möchten evaluieren, wie die neue Instance bei Live-Inferenzanfragen abschneiden würde. Die SageMaker-AI-Konsole bietet eine geführte Erfahrung zur Verwaltung des Workflows von Shadow Testing. Sie können Schattentests für einen vordefinierten Zeitraum einrichten, den Fortschritt des Tests über ein Live-Dashboard überwachen, nach Abschluss bereinigen und auf der Grundlage der Ergebnisse handeln. Wählen Sie eine Produktionsvariante aus, mit der Sie testen möchten, und SageMaker AI stellt die neue Variante automatisch im Schattenmodus bereit und leitet eine Kopie der Inferenzanfragen in Echtzeit innerhalb desselben Endpunkts an sie weiter. Nur die Antworten der Produktionsvariante werden an die aufrufende Anwendung zurückgegeben. Sie können wählen, ob Sie die Antworten der Schattenvariante verwerfen oder protokollieren möchten, um sie offline vergleichen zu können. Weitere Informationen zu Produktions- und Schattenvarianten finden Sie unter [Validieren von Modellen in der Produktion](model-validation.md). Anweisungen zum Erstellen eines Schattentests finden Sie unter [Erstellen Sie ein Shadow Testing](shadow-tests-create.md). **Anmerkung** Bestimmte Endpunkt-Features können dazu führen, dass Ihr Endpunkt nicht mit Schattentests kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Features verwendet, können Sie auf Ihrem Endpunkt keine Schattentests verwenden und Ihre Anfrage zur Einrichtung von Schattentests führt zu Validierungsfehlern. Serverlose Inferenz Asynchrone Inferenz Marketplace Container Endpunkte mit mehreren Containern Endpunkte mit mehreren Knoten Endpunkte, die Inf1-Instances (auf Inferenz basieren) verwenden # Erstellen Sie ein Shadow Testing Sie können ein Shadow Testing erstellen, um die Leistung einer Shadow-Variante mit einer Produktionsvariante zu vergleichen. Sie können den Test auf einem vorhandenen Endpunkt ausführen, der Inferenzanforderungen bedient, oder Sie können einen neuen Endpunkt erstellen, auf dem der Test ausgeführt werden soll. Um einen Shadow-Test zu erstellen, benötigen Sie folgende Informationen: + Eine *Produktionsvariante*, die 100 Prozent der eingehenden Inferenzanfragen empfängt und beantwortet. + Eine *Shadow-Variante*, die einen Prozentsatz der eingehenden Anfragen empfängt, die aus der Produktionsvariante repliziert werden, aber keine Antworten zurückgibt. Für jede Variante können Sie SageMaker KI verwenden, um das Modell, den Instance-Typ und die Anzahl der Instanzen zu kontrollieren. Sie können den Prozentsatz der eingehenden Anfragen, den sogenannten Traffic Sampling-Prozentsatz, konfigurieren, der auf Ihre Shadow-Variante repliziert werden soll. SageMaker KI verwaltet die Replikation von Anfragen an Ihre Shadow-Variante, und Sie können den Prozentsatz der Traffic-Abtastung ändern, wenn Ihr Test geplant ist oder läuft. Sie können optional auch Data Capture aktivieren, um Anfragen und Antworten Ihrer Produktions- und Shadow-Varianten zu protokollieren. **Anmerkung** SageMaker KI unterstützt maximal eine Shadow-Variante pro Endpunkt. Für einen Endpunkt mit einer Shadow-Variante kann es maximal eine Produktionsvariante geben. Sie können den Test so planen, dass er zu einem beliebigen Zeitpunkt beginnt und für eine bestimmte Dauer fortgesetzt wird. Die Standarddauer beträgt 7 Tage und die Höchstdauer 30 Tage. Nach Abschluss des Tests kehrt der Endpunkt in den Zustand zurück, in dem er sich vor dem Start des Tests befand. Dadurch wird sichergestellt, dass Sie Ressourcen nach Abschluss des Tests nicht manuell bereinigen müssen. Sie können einen Test, der gerade läuft, über ein Dashboard in der SageMaker AI-Konsole überwachen. Das Dashboard bietet einen direkten Vergleich der Aufrufmetriken und Instance-Metriken zwischen der Produktions- und der Shadow-Variante sowie eine tabellarische Ansicht mit relevanten Metrikstatistiken. Dieses Dashboard ist auch für abgeschlossene Tests verfügbar. Nachdem Sie die Kennzahlen überprüft haben, können Sie entweder die Shadow-Variante zur neuen Produktionsvariante heraufstufen oder die bestehende Produktionsvariante beibehalten. Sobald Sie die Shadow-Variante hochgestuft haben, beantwortet sie alle eingehenden Anfragen. Weitere Informationen finden Sie unter [Hochstufen einer Schattenvariante](shadow-tests-complete.md#shadow-tests-complete-promote). Das folgende Verfahren beschreibt, wie Sie einen Shadow-Test über die SageMaker AI-Konsole erstellen. Je nachdem, ob Sie einen vorhandenen Endpunkt verwenden oder einen neuen Endpunkt für den Shadow-Test erstellen möchten, gibt es Variationen im Arbeitsablauf. **Topics** + [Voraussetzungen](#shadow-tests-create-prerequisites) + [Geben Sie die Details zum Shadow-Test ein](#shadow-tests-create-console-shadow-test-details) + [Geben Sie die Shadow-Test-Einstellungen ein](#shadow-tests-create-console-shadow-test-settings) ## Voraussetzungen Bevor Sie einen Shadow-Test mit der SageMaker AI-Konsole erstellen, müssen Sie über ein einsatzbereites SageMaker KI-Modell verfügen. Weitere Informationen zur Erstellung eines SageMaker KI-Modells finden Sie unter[Modelle für Echtzeit-Inferenzen bereitstellen](realtime-endpoints-deploy-models.md). Sie können mit Schattentests mit einem vorhandenen Endpunkt mit einer Produktionsvariante und einer Schattenvariante, einem vorhandenen Endpunkt mit nur einer Produktionsvariante oder nur mit den SageMaker KI-Modellen beginnen, die Sie vergleichen möchten. Shadow-Tests unterstützen die Erstellung eines Endpunkts und das Hinzufügen von Varianten, bevor Ihr Test beginnt. **Anmerkung** Bestimmte Endpunkt-Features können dazu führen, dass Ihr Endpunkt nicht mit Schattentests kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Features verwendet, können Sie auf Ihrem Endpunkt keine Schattentests verwenden und Ihre Anfrage zur Einrichtung von Schattentests führt zu Validierungsfehlern. Serverlose Inferenz Asynchrone Inferenz Marketplace Container Endpunkte mit mehreren Containern Endpunkte mit mehreren Knoten Endpunkte, die Inf1-Instances (auf Inferenz basieren) verwenden ## Geben Sie die Details zum Shadow-Test ein Um mit der Erstellung Ihres Shadow-Tests zu beginnen, füllen Sie die Seite **Shadow-Testdetails eingeben** wie folgt aus: 1. Öffnen Sie die [SageMaker AI-Konsole](https://console.aws.amazon.com/sagemaker/). 1. Wählen Sie im linken Navigationsbereich **Inferenz** und anschließend **Shadow-Tests** aus. 1. Wählen Sie **Shadow-Test**. 1. Geben Sie für **Name** einen Namen für den Test ein. 1. (Optional) Geben Sie im Feld **Description** eine Beschreibung für den Test ein. 1. (Optional) Geben Sie **Tags** mithilfe von **Schlüssel** – und **Wertepaaren** an. 1. Wählen Sie **Weiter** aus. ## Geben Sie die Shadow-Test-Einstellungen ein Nachdem Sie die Seite **Shadow-Test-Details** eingeben ausgefüllt haben, füllen Sie die Seite **Shadow-Test-Einstellungen eingeben** aus. Wenn Sie bereits über einen SageMaker KI-Inferenz-Endpunkt und eine Produktionsvariante verfügen, folgen Sie dem Workflow **Bestehenden Endpunkt verwenden**. Wenn Sie noch keinen Endpunkt haben, folgen Sie dem Workflow **Neuen Endpunkt erstellen**. ------ #### [ Use an existing endpoint ] Wenn Sie einen vorhandenen Endpunkt für Ihren Test verwenden möchten, füllen Sie die Seite **Shadow-Testeinstellungen eingeben** wie folgt aus: 1. Wählen Sie eine Rolle, der die `AmazonSageMakerFullAccess` IAM-Richtlinie zugeordnet ist. 1. Wählen Sie **Vorhandenen Endpunkt verwenden** und wählen Sie dann einen der verfügbaren Endpunkte aus. 1. (Optional) Um das Speichervolumen auf Ihrem Endpunkt zu verschlüsseln, wählen Sie entweder einen vorhandenen **KMS-Schlüssel** oder wählen Sie KMS-Schlüssel-ARN eingeben aus der Dropdown-Liste unter **Verschlüsselungsschlüssel**. Wenn Sie die zweite Option wählen, wird ein Feld zur Eingabe des KMS-Schlüssels ARN angezeigt. Geben Sie den KMS-Schlüssel ARN in dieses Feld ein. 1. Wenn hinter diesem Endpunkt mehrere Produktionsvarianten stehen, entfernen Sie diejenigen, die Sie nicht für den Test verwenden möchten. Sie können eine Modellvariante entfernen, indem Sie sie auswählen und dann **Entfernen** wählen. 1. Wenn Sie noch keine Shadow-Variante haben, fügen Sie eine Shadow-Variante hinzu. Fügen Sie wie folgt eine Shadow-Variante hinzu: 1. Wählen Sie **Hinzufügen** aus. 1. Wählen Sie die **Shadow-Variante**. 1. Wählen Sie im Dialogfeld **Modell hinzufügen** das Modell, das Sie für Ihre Shadow-Variante verwenden möchten. 1. Wählen Sie **Speichern**. 1. (Optional) Im vorherigen Schritt wurde die Shadow-Variante mit den Standardeinstellungen hinzugefügt. Um diese Einstellungen zu ändern, wählen Sie die Shadow-Variante aus und klicken Sie auf **Bearbeiten**. Das Dialogfenster **Shadow-Variante bearbeiten** wird angezeigt. Weitere Informationen über das Ausfüllen dieses Dialogfelds finden Sie unter [Bearbeiten Sie einen Schattentest](shadow-tests-view-monitor-edit-individual.md). 1. Geben Sie im Abschnitt **Zeitplan** die Dauer des Tests ein, indem Sie wie folgt vorgehen: 1. Wählen Sie das Feld unter **Dauer** aus. Es wird ein Popup-Kalender angezeigt. 1. Wählen Sie das Start- und Enddatum aus dem Kalender aus, oder geben Sie das Start- und Enddatum in die Felder für **Startdatum** bzw. **Enddatum** ein. 1. (Optional) Geben Sie für die Felder **Startzeit** und **Endzeit** jeweils die Start- und Endzeit im 24-Stunden-Format ein. 1. Wählen Sie **Anwenden** aus. Die Mindestdauer beträgt 1 Stunde und die Höchstdauer 30 Tage. 1. (Optional) Aktivieren Sie die Option **Datenerfassung aktivieren**, um Informationen zu Inferenzanfragen und -antworten von Ihrem Endpunkt in einem Amazon-S3-Bucket zu speichern, und geben Sie dann den Speicherort des Amazon-S3-Buckets ein. 1. Wählen Sie **Shadow-Test erstellen**. ------ #### [ Create a new endpoint ] Wenn Sie noch keinen vorhandenen Endpunkt haben oder einen neuen Endpunkt für Ihren Test erstellen möchten, füllen Sie die Seite **Shadow-Testeinstellungen eingeben** wie folgt aus: 1. Wählen Sie eine Rolle, der die`AmazonSageMakerFullAccess` IAM-Richtlinie zugeordnet ist. 1. Wählen Sie **Neuen Endpunkt erstellen** aus. 1. Geben Sie unter **Name tag** einen Namen für den Endpunkt ein. 1. Fügen Sie dem Endpunkt eine Produktionsvariante und eine Shadow-Variante hinzu: + Um eine Produktionsvariante hinzuzufügen, wählen Sie **Hinzufügen** und dann **Produktionsvariante**. Wählen Sie im Dialogfeld **Modell hinzufügen** das Modell, das Sie für Ihre Produktionsvariante verwenden möchten, und klicken Sie dann auf **Speichern**. + Um eine Shadow-Variante hinzuzufügen, wählen Sie **Hinzufügen** und anschließend **Shadow-Variante**. Wählen Sie im Dialogfeld **Modell hinzufügen**, das Sie für Ihre Shadow-Variante verwenden möchten, und klicken Sie dann auf **Speichern**. 1. (Optional) Im vorherigen Schritt wurde die Shadow-Variante mit den Standardeinstellungen hinzugefügt. Um diese Einstellungen zu ändern, wählen Sie die Shadow-Variante aus und klicken Sie auf **Bearbeiten**. Das Dialogfenster **Shadow-Variante bearbeiten** wird angezeigt. Weitere Informationen über das Ausfüllen dieses Dialogfelds finden Sie unter [Bearbeiten Sie einen Schattentest](shadow-tests-view-monitor-edit-individual.md). 1. Geben Sie im Abschnitt **Zeitplan** die Dauer des Tests ein, indem Sie wie folgt vorgehen: 1. Wählen Sie das Feld unter **Dauer** aus. Es wird ein Popup-Kalender angezeigt. 1. Wählen Sie das Start- und Enddatum aus dem Kalender aus, oder geben Sie das Start- und Enddatum unter **Startdatum** bzw. **Enddatum** ein. 1. (Optional) Geben Sie unter **Startzeit** und **Endzeit** die Start- bzw. Endzeit im 24-Stunden-Format ein. 1. Wählen Sie **Anwenden** aus. Die Mindestdauer beträgt 1 Stunde und die Höchstdauer 30 Tage. 1. (Optional) Aktivieren Sie die Option **Datenerfassung aktivieren**, um Informationen zu Inferenzanfragen und -antworten von Ihrem Endpunkt in einem Amazon-S3-Bucket zu speichern, und geben Sie dann den Speicherort des Amazon-S3-Buckets ein. 1. Wählen Sie **Shadow-Test erstellen**. ------ Nachdem Sie die vorherigen Verfahren abgeschlossen haben, sollte nun ein Test geplant sein, der an dem von Ihnen angegebenen Startdatum und der angegebenen Startzeit beginnt. Sie können den Fortschritt des Tests von einem Dashboard aus verfolgen. Weitere Informationen über das Anzeigen Ihres Tests und die Aktionen, die Sie ergreifen können, finden Sie unter [Anzeigen, Überwachen und Bearbeiten von Schattentests](shadow-tests-view-monitor-edit.md). # Anzeigen, Überwachen und Bearbeiten von Schattentests Sie können den Status Ihrer Shadow-Tests einsehen, deren Fortschritt von einem Dashboard aus überwachen und Aktionen ausführen, z. B. einen Test vorzeitig starten oder beenden oder einen Test löschen. In den folgenden Themen wird gezeigt, wie Sie Ihre Shadow-Tests mithilfe der SageMaker-AI-Konsole anzeigen und ändern können. **Topics** + [Shadow-Tests anzeigen](shadow-tests-view-monitor-edit-list.md) + [Überwachen Sie einen Schattentest](shadow-tests-view-monitor-edit-dashboard.md) + [Starten Sie frühzeitig einen Schattentest](shadow-tests-view-monitor-edit-start.md) + [Löschen Sie einen Shadow-Test](shadow-tests-view-monitor-edit-delete.md) + [Bearbeiten Sie einen Schattentest](shadow-tests-view-monitor-edit-individual.md) # Shadow-Tests anzeigen Sie können den Status all Ihrer Schattentests auf der Seite **Schattentests** in der SageMaker-AI-Konsole einsehen. Führen Sie die folgenden Schritte aus, um Ihre Tests in der Konsole anzuzeigen: 1. Öffnen Sie die [SageMaker-AI-Konsole](https://console.aws.amazon.com/sagemaker/). 1. Wählen Sie im Navigationsbereich **Inferenz** aus. 1. Wählen Sie **Shadow-Tests**, um die Seite aufzurufen, auf der all Ihre Shadow-Tests aufgeführt sind. Die Seite sollte wie der folgende Screenshot aussehen, wobei alle Tests im Abschnitt **Shadow-Test** aufgeführt sind. ![\[Liste aller Schattentests.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/juxtaposer/shadow-test-landing-page.png) Sie können den Status eines Tests in der Konsole auf der Seite **Shadow-Tests** einsehen, indem Sie das **Statusfeld** für den Test überprüfen. Im Folgenden sind die möglichen Status für einen Test aufgeführt: + `Creating` – SageMaker AI erstellt Ihren Test. + `Created` – SageMaker AI hat die Erstellung Ihres Tests abgeschlossen und er beginnt zur geplanten Zeit. + `Updating`– Wenn Sie Änderungen an Ihrem Test vornehmen, wird Ihr Test als Aktualisierung angezeigt. + `Starting` – SageMaker AI startet Ihren Test. + `Running`– Ihr Test ist im Gange. + `Stopping` – SageMaker AI stoppt Ihren Test. + `Completed`– Ihr Test ist abgeschlossen. + `Cancelled`– Wenn Sie Ihren Test vorzeitig beenden, wird er als storniert angezeigt. # Überwachen Sie einen Schattentest Sie können die Details eines Shadow-Tests einsehen und ihn überwachen, während er ausgeführt wird oder nachdem er abgeschlossen wurde. SageMaker AI präsentiert ein Live-Dashboard, in dem die Betriebskennzahlen wie Modelllatenz und aggregierte Fehlerrate der Produktions- und Shadow-Varianten verglichen werden. Führen Sie die folgenden Schritte aus, um die Details eines einzelnen Tests in der Konsole anzuzeigen: 1. Wählen Sie auf der Seite **Shadow-Tests** im Abschnitt **Shadow-Test** den Test aus, den Sie überwachen möchten. 1. Wählen Sie in der Dropdown-Liste **Aktionen** die Option **Ansicht** aus. Eine Übersichtsseite mit den Details des Tests und einem Metrik-Dashboard wird angezeigt. Die Übersichtsseite besteht aus den folgenden drei Abschnitten. **Übersicht** In diesem Abschnitt werden der Fortschritt und der Status des Tests zusammengefasst. Außerdem werden die zusammenfassenden Statistiken der Metrik angezeigt, die aus der Dropdown-Liste **Metrik auswählen** im Unterabschnitt **Metriken** ausgewählt wurde. Im folgenden Screenshot wird dieser Abschnitt gezeigt. ![\[Zusammenfassung auf der Übersichtsseite.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/juxtaposer/shadow-test-summary.png) Im vorherigen Screenshot zeigen die Registerkarten **Einstellungen** und **Details** die Einstellungen, die Sie ausgewählt haben, sowie die Details, die Sie bei der Erstellung des Tests eingegeben haben. **Analyse** In diesem Abschnitt wird ein Metriken-Dashboard mit separaten Diagrammen für die folgenden Metriken gezeigt: + `Invocations` + `InvocationsPerInstance` + `ModelLatency` + `Invocation4XXErrors` + `Invocation5XXErrors` + `InvocationModelErrors` + `CPUUtilization` + `MemoryUtilization` + `DiskUtilization` Die letzten drei Metriken überwachen die Nutzung der Laufzeitressourcen des Modellcontainers. Der Rest sind CloudWatch-Metriken, mit denen Sie die Leistung Ihrer Variante analysieren können. Im Allgemeinen deuten weniger Fehler auf ein stabileres Modell hin. Eine geringere Latenz deutet entweder auf ein schnelleres Modell oder eine schnellere Infrastruktur hin. Weitere Informationen zu CloudWatch-Metriken finden Sie unter [SageMaker Metriken zum Aufrufen von KI-Endpunkten](monitoring-cloudwatch.md#cloudwatch-metrics-endpoint-invocation). Der folgende Screenshot zeigt das Dashboard mit den Metriken. ![\[Dashboard zur Metrikenanalyse.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/juxtaposer/shadow-test-analysis.png) **Umgebung** In diesem Abschnitt werden die Varianten angezeigt, die Sie im Test verglichen haben. Wenn Sie mit der Leistung der Shadow-Variante auf der Grundlage der oben genannten Metriken zufrieden sind, können Sie die Shadow-Variante zur Produktion hochstufen, indem Sie **Shadow-Variante bereitstellen** wählen. Weitere Informationen zur Bereitstellung einer Shadow-Variante finden Sie unter [Hochstufen einer Schattenvariante](shadow-tests-complete.md#shadow-tests-complete-promote). Sie können auch den Prozentsatz der Datenverkehrssamplungen ändern und mit dem Testen fortfahren, indem Sie **Traffic bearbeiten** wählen. Weitere Informationen zur Bearbeitung einer Shadow-Variante finden Sie unter [Bearbeiten Sie einen Schattentest](shadow-tests-view-monitor-edit-individual.md). Im folgenden Screenshot wird dieser Abschnitt gezeigt. ![\[Bereich Umgebung auf der Übersichtsseite.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/juxtaposer/shadow-test-environment.png) # Starten Sie frühzeitig einen Schattentest Sie können Ihren Test vor der geplanten Startzeit starten. Wenn die neue Testdauer 30 Tage überschreitet, legt SageMaker AI das Ende des Tests automatisch auf 30 Tage nach der neuen Startzeit fest. Durch diese Aktion wird der Test sofort gestartet. Wenn Sie die Start- oder Endzeit des Tests ändern möchten, finden Sie weitere Informationen unter[Bearbeiten Sie einen Schattentest](shadow-tests-view-monitor-edit-individual.md). Gehen Sie wie folgt vor, um den Test direkt vor der geplanten Startzeit über die Konsole zu starten: 1. Wählen Sie im Abschnitt **Shadow-Test** auf der Seite **Shadow-Tests** den Test aus, den Sie sofort starten möchten. 1. Wählen Sie in der Dropdown-Liste **Aktionen** die Option **Start** aus. Der **Shadow-Test starten ?** wird ein Dialogfeld angezeigt. 1. Wählen Sie **Jetzt starten**. # Löschen Sie einen Shadow-Test Sie können einen Test löschen, den Sie nicht mehr benötigen. Durch das Löschen Ihres Tests werden nur die Testmetadaten gelöscht und nicht Ihr Endpunkt, Ihre Varianten oder in Amazon S3 erfassten Daten. Wenn Sie möchten, dass Ihr Endpunkt nicht mehr läuft, müssen Sie Ihren Endpunkt löschen. Weitere Informationen zum Löschen eines Endpunkts finden Sie unter [Endpunkte und Ressourcen löschen](realtime-endpoints-delete-resources.md) Führen Sie die folgenden Schritte aus, um einen Test über die Konsole zu löschen: 1. Wählen Sie den Test, den Sie löschen möchten, im Abschnitt **Shadow-Test** auf der Seite **Shadow-Tests** aus. 1. Wählen Sie in der Dropdown-Liste **Aktionen** die Option **Löschen**. Das Dialogfeld **Shadow-Test löschen** wird angezeigt. 1. Geben Sie in **das Feld Um das Löschen zu bestätigen**, *löschen* ein. Textfeld, **delete** eingeben. 1. Wählen Sie **Löschen** aus. # Bearbeiten Sie einen Schattentest Sie können sowohl geplante als auch laufende Tests ändern. Bevor Ihr Test beginnt, können Sie die Beschreibung, die Konfiguration der Shadow-Variante, das Startdatum und das Enddatum des Tests ändern. Sie können die Datenerfassung auch ein- oder ausschalten. Nach dem Start des Tests können Sie nur die Beschreibung, den Prozentsatz der Traffic-Abtastung für die Shadow-Variante und das Enddatum ändern. Führen Sie die folgenden Schritte aus, um die Details Ihres Tests über die Konsole zu bearbeiten: 1. Wählen Sie den Test, den Sie bearbeiten möchten, im Abschnitt **Shadow-Test** auf der Seite **Shadow-Tests** aus. 1. Wählen Sie in der Dropdown-Liste **Aktionen** die Option **Bearbeiten** aus. Die Seite **Shadow-Testdetails eingeben** wird angezeigt. 1. (Optional) Geben Sie im Feld **Description (Beschreibung)** eine Beschreibung für Ihr Test ein. 1. Wählen Sie **Weiter** aus. Die Seite **Shadow-Testeinstellungen eingeben** wird angezeigt. 1. (Optional) Um Ihre Shadow-Variante zu bearbeiten, gehen Sie wie folgt vor: 1. Wählen Sie die Shadow-Variante aus und wählen Sie **Bearbeiten**. Das Dialogfenster **Shadow-Variante bearbeiten** wird angezeigt. Wenn Ihr Test bereits gestartet wurde, können Sie nur den Prozentsatz der Traffic-Abtastung ändern. 1. (Optional) Geben Sie unter **Name** den neuen Namen ein, der den alten Namen ersetzen soll. 1. (Optional) Geben Sie unter **Traffic-Stichprobe** den neuen Prozentsatz der Verkehrsstichprobe ein, der den alten Prozentsatz der Stichprobenerhebung ersetzen soll. 1. (Optional) Wählen Sie unter **Instance-Typ** den neuen Instance-Typ aus der Dropdown-Liste aus. 1. (Optional) Geben Sie unter **Instance-Anzahl** die neue Instance-Anzahl ein, um die alte Instance-Zahl zu ersetzen. 1. Wählen Sie **Anwenden** aus. Sie können das Modell in Ihrer Shadow-Variante nicht mit dem oben beschriebenen Verfahren ändern. Wenn Sie das Modell ändern möchten, entfernen Sie zunächst die Shadow-Variante, indem Sie sie auswählen und **Entfernen** wählen. Fügen Sie anschließend eine neue Shadow-Variante hinzu. 1. (Optional) Um die Dauer des Tests zu bearbeiten, gehen Sie wie folgt vor: 1. Wählen Sie im Abschnitt **Zeitplan** das Kästchen unter **Dauer** aus. Es wird ein Popup-Kalender angezeigt. 1. Wenn Ihr Test noch nicht begonnen hat, können Sie sowohl das Start- als auch das Enddatum ändern. Wählen Sie das neue Start- und Enddatum aus dem Kalender aus oder geben Sie die neuen Start- und Enddaten unter **Startdatum** bzw. **Enddatum** ein. Wenn Ihr Test bereits begonnen hat, können Sie nur das Enddatum ändern. Geben Sie unter Enddatum das neue **Enddatum** ein. 1. (Optional) Wenn Ihr Test noch nicht begonnen hat, können Sie sowohl die Start- als auch die Endzeit ändern. Geben Sie die neuen Start- und Endzeiten unter **Startzeit** und **Endzeit** im 24-Stunden-Format ein. Wenn Ihr Test bereits begonnen hat, können Sie nur die Endzeit ändern. Geben Sie unter Endzeit die neue **Endzeit** im 24-Stunden-Format ein. 1. Wählen Sie **Anwenden** aus. 1. (Optional) Aktivieren oder Deaktivieren der Option **Datenerfassung aktivieren**. 1. Wählen Sie **Shadow-Test aktualisieren**. # Schließe einen Schattentest ab Ihr Test wird am Ende der geplanten Dauer automatisch abgeschlossen, oder Sie können einen laufenden Test vorzeitig beenden. Nach Abschluss Ihres Tests wird der Status des Tests im Abschnitt **Schattentests** auf der Seite **Schattentests** als **Abgeschlossen** angezeigt. Anschließend können Sie die endgültigen Messwerte Ihres Tests überprüfen und analysieren. Sie können das Metrik-Dashboard verwenden, um zu entscheiden, ob Sie die Schattenvariante in die Produktion aufnehmen möchten. Weitere Informationen zur Analyse des Metrik-Dashboards Ihres Tests finden Sie unter [Überwachen Sie einen Schattentest](shadow-tests-view-monitor-edit-dashboard.md). Anweisungen dazu, wie Sie Ihren Test vor Ablauf der geplanten Abschlusszeit abschließen können, finden Sie unter [Schließen Sie einen Schattentest frühzeitig ab](#shadow-tests-complete-early). Anweisungen zum Heraufstufen Ihrer Schattenvariante in die Produktionsumgebung finden Sie unter [Hochstufen einer Schattenvariante](#shadow-tests-complete-promote). ## Schließen Sie einen Schattentest frühzeitig ab Ein Grund, warum Sie vielleicht einen laufenden Schattentest abschließen möchten, ist, wenn Sie zu dem Schluss gekommen sind, dass die Metriken für Ihre Schattenvariante gut aussehen, und Sie sie in die Produktionsumgebung aufnehmen möchten. Sie könnten sich auch dafür entscheiden, den Test abzuschließen, wenn eine oder mehrere der Varianten nicht gut abschneiden. Um Ihren Test vor dem geplanten Enddatum abzuschließen, gehen Sie folgendermaßen vor: 1. Wählen Sie auf der Seite **Schattentests** im Abschnitt **Schattentests** den Test aus, den Sie als abgeschlossen markieren möchten. 1. Wählen Sie in der Dropdown-Liste **Aktionen** die Option **Abgeschlossen** aus. Daraufhin wird das Dialogfeld **Schattentests abschließen** angezeigt. 1. Wählen Sie in der Dialogbox eine der folgenden Optionen aus: + **Ja, Schattenvariante bereitstellen** + **Nein, Schattenvariante entfernen** 1. (Optional) Geben Sie im Textfeld **Kommentar** Ihren Grund für den Abschluss des Tests vor der geplanten Endzeit ein. 1. 1. Wenn Sie sich für die Bereitstellung der Schattenvariante entschieden haben, wählen Sie **Abgeschlossen und mit der Bereitstellung fortfahren**. Die Seite **Schattenvariante bereitstellen** wird angezeigt. Eine Anleitung zum Ausfüllen dieser Seite finden Sie unter [Hochstufen einer Schattenvariante](#shadow-tests-complete-promote). 1. Wenn Sie sich entscheiden, die Schattenvariante zu entfernen, wählen Sie **Bestätigen**. ## Hochstufen einer Schattenvariante Wenn Sie sich entschieden haben, Ihre Produktionsvariante durch Ihre Schattenvariante zu ersetzen, können Sie Ihren Endpunkt aktualisieren und Ihre Schattenvariante hochstufen, um auf Inferenzanfragen zu reagieren. Dadurch wird Ihre aktuelle Produktionsvariante aus der Produktion entfernt und durch Ihre Schattenvariante ersetzt. Wenn Ihr Schattentest noch läuft, müssen Sie zuerst Ihren Test abschließen. Um Ihren Schattentest vor dem geplanten Ende abzuschließen, folgen Sie den Anweisungen unter [Schließen Sie einen Schattentest frühzeitig ab](#shadow-tests-complete-early), bevor Sie mit diesem Abschnitt fortfahren. Wenn Sie eine Schattenvariante zur Produktion hochstufen, haben Sie die folgenden Optionen für die Anzahl der Instances der Schattenvariante. + Sie können die Anzahl und den Typ der Instances aus der Produktionsvariante beibehalten. Wenn Sie diese Option auswählen, wird Ihre Schattenvariante mit der aktuellen Instance-Zahl in der Produktion gestartet. Dadurch wird sichergestellt, dass Ihr Modell weiterhin den Anforderungsverkehr im gleichen Umfang verarbeiten kann. + Sie können die Anzahl und den Typ Ihrer Schattenvariante beibehalten. Wenn Sie diese Option verwenden möchten, empfehlen wir, einen Schattentest mit 100-prozentiger Traffic-Abtastung durchzuführen, um sicherzustellen, dass die Schattenvariante den Anforderungsverkehr im aktuellen Umfang verarbeiten kann. + Sie können benutzerdefinierte Werte für die Anzahl und den Typ der Instances verwenden. Wenn Sie diese Option verwenden möchten, empfehlen wir, einen Schattentest mit 100-prozentiger Traffic-Abtastung durchzuführen, um sicherzustellen, dass die Schattenvariante den Anforderungsverkehr im aktuellen Umfang verarbeiten kann. Sofern Sie nicht gerade den Instance-Typ oder die Anzahl oder beide Varianten der Schattenvariante validieren, empfehlen wir Ihnen dringend, die Anzahl und den Typ der Produktionsvariante beizubehalten, wenn Sie für Ihre Schattenvariante werben. Um Ihre Schattenvariante zu bewerben, gehen Sie folgendermaßen vor: 1. Wenn Ihr Test abgeschlossen ist, gehen Sie folgendermaßen vor: 1. Wählen Sie den Test im Abschnitt **Schattentest** auf der Seite **Schattentests** aus. 1. Wählen Sie in der Dropdown-Liste **Aktionen** die Option **Ansicht** aus. Das Dashboard wird angezeigt. 1. Wählen Sie im Bereich **Umgebung** die Option **Schattenvariante bereitstellen** aus. Die Seite **Schattenvariante bereitstellen** wird angezeigt. Falls Ihr Test noch nicht abgeschlossen wurde, finden Sie weitere Informationen unter [Schließen Sie einen Schattentest frühzeitig ab](#shadow-tests-complete-early) um ihn abzuschließen. 1. Wählen Sie im Abschnitt **Varianteneinstellungen** eine der folgenden Optionen aus: + **Produktionseinstellungen beibehalten** + **Schatteneinstellungen beibehalten** + **Benutzerdefinierte Instance-Einstellungen** Wenn Sie **Benutzerdefinierte Instance-Einstellungen** ausgewählt haben, gehen Sie folgendermaßen vor: 1. Wählen Sie aus der Dropdown-Liste **Instance-Typ** einen Instance-Typ aus. 1. Geben Sie in **Instance-Zahl** die Anzahl der Instances ein. 1. Geben Sie im Textfeld **„Bereitstellen“ eingeben, um die Bereitstellung zu bestätigen**, **deploy** ein. 1. Wählen Sie **Schatetenvariante bereitstellen** aus. Ihr SageMaker-AI-Inferenzendpunkt verwendet jetzt die Schattenvariante als Produktionsvariante, und Ihre Produktionsvariante wurde vom Endpunkt entfernt. # Bewährte Methoden Beachten Sie bei der Erstellung eines Inferenzexperiments Folgendes: + **Prozentsatz der Traffic-Abtastung** – Mit einer Stichprobe von 100 Prozent der Inferenzanfragen können Sie überprüfen, ob Ihre Schattenvariante den Produktionsdatenverkehr bewältigen kann, wenn sie beworben wird. Sie können mit einem niedrigeren Prozentsatz an Stichprobenzahlen beginnen und diese dann erhöhen, wenn Sie Vertrauen in Ihre Variante gewinnen. Es empfiehlt sich jedoch, vor der Promotion sicherzustellen, dass Sie den Traffic auf 100 Prozent erhöht haben. + **Instance-Typ** – Sofern Sie Shadow-Varianten nicht verwenden, um alternative Instance-Typen oder -Größen zu bewerten, empfehlen wir Ihnen, denselben Instance-Typ, dieselbe Größe und dieselbe Anzahl zu verwenden, damit Sie sicher sein können, dass Ihre Schattenvariante das Volumen der Inferenzanfragen bewältigen kann, nachdem Sie sie hochgestuft haben. + **Auto Scaling** – Um sicherzustellen, dass Ihre Schattenvariante auf Spitzen bei der Anzahl von Inferenzanfragen oder Änderungen der Muster von Inferenzanfragen reagieren kann, empfehlen wir Ihnen dringend, Autoscaling für Ihre Schattenvariante zu konfigurieren. Zur Konfiguration automatischer Aktualisierungen vgl. [Automatische Skalierung von Amazon SageMaker AI-Modellen](endpoint-auto-scaling.md). Wenn Sie Autoscaling konfiguriert haben, können Sie auch Änderungen an Autoscaling-Richtlinien validieren, ohne dass dies Auswirkungen auf die Benutzer hat. + **Überwachung von Metriken** – Nachdem Sie ein Schattenexperiment initiiert haben und genügend Aufrufe erhalten haben, überprüfen Sie das Metrik-Dashboard, um sicherzustellen, dass die Metriken wie Latenz und Fehlerrate innerhalb akzeptabler Grenzen liegen. So können Sie Fehlkonfigurationen frühzeitig erkennen und korrigierend eingreifen. Informationen zur Überwachung der Messwerte eines laufenden Inferenzexperiments finden Sie unter [Anzeigen, Überwachen und Bearbeiten von Schattentests](shadow-tests-view-monitor-edit.md).