View a markdown version of this page

Amazon SageMaker Debugger-Referenzen - Amazon SageMaker KI
Debugger-APIsDocker-Images für Debugger-RegelnAusnahmenVon Debugger unterstütztes verteiltes Training

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon SageMaker Debugger-Referenzen

Anmerkung

Amazon SageMaker Debugger steht neuen Kunden nicht mehr offen. Bestehende Kunden können den Service weiterhin wie gewohnt nutzen. AWS investiert weiterhin in Sicherheits- und Verfügbarkeitsverbesserungen für Debugger, aber wir planen nicht, neue Funktionen einzuführen. Weitere Informationen finden Sie unter Änderung der Debugger-Verfügbarkeit.

Weitere Informationen und Referenzen zur Verwendung von Amazon SageMaker Debugger finden Sie in den folgenden Themen.

Amazon SageMaker Debugger-APIs

Amazon SageMaker Debugger verfügt über API-Operationen an mehreren Standorten, die für die Überwachung und Analyse des Modelltrainings verwendet werden.

Amazon SageMaker Debugger stellt auch das sagemaker-debugger Open-Source-Python-SDK bereit, mit dem integrierte Regeln konfiguriert, benutzerdefinierte Regeln definiert und Hooks registriert werden, um Ausgabetensordaten von Trainingsaufträgen zu sammeln.

Das Amazon SageMaker AI Python SDK ist ein High-Level-SDK, das sich auf Experimente mit maschinellem Lernen konzentriert. Das SDK kann verwendet werden, um integrierte oder benutzerdefinierte Regeln bereitzustellen, die mit der SMDebug Python-Bibliothek definiert wurden, um diese Tensoren mithilfe SageMaker von KI zu überwachen und zu analysieren. ModelTrainers

Debugger hat der SageMaker Amazon-API Operationen und Typen hinzugefügt, die es der Plattform ermöglichen, Debugger beim Trainieren eines Modells und zur Verwaltung der Konfiguration von Ein- und Ausgaben zu verwenden.

Die API-Operationen für die Regelkonfiguration verwenden die SageMaker Verarbeitungsfunktion bei der Analyse eines Modelltrainings. Weitere Informationen zur SageMaker Verarbeitung finden Sie unterWorkloads zur Datentransformation mit Processing SageMaker.

Docker-Images für Debugger-Regeln

Amazon SageMaker AI bietet zwei Sätze von Docker-Images für Regeln: einen Satz für die Bewertung von Regeln, die von der SageMaker KI bereitgestellt werden (integrierte Regeln), und einen Satz für die Bewertung benutzerdefinierter Regeln, die in Python-Quelldateien bereitgestellt werden.

Wenn Sie das Amazon SageMaker Python SDK verwenden, können Sie einfach API-Operationen auf hoher Ebene mit SageMaker SageMaker AI-API-Operationen verwenden, ohne die Debugger-Docker-Images manuell abrufen und die ModelTrainer API konfigurieren zu müssen. ConfigureTrainingJob

Wenn Sie das SageMaker Python-SDK nicht verwenden, müssen Sie ein entsprechendes vorgefertigtes Container-Basisimage für die Debugger-Regeln abrufen. Amazon SageMaker Debugger bietet vorgefertigte Docker-Images für integrierte und benutzerdefinierte Regeln, und die Images werden in Amazon Elastic Container Registry (Amazon ECR) gespeichert. Um ein Image aus einem Amazon ECR-Repository abzurufen (oder ein Image in ein solches zu übertragen), verwenden Sie mithilfe der API die vollständige Namensregistrierungs-URL des Images. CreateTrainingJob SageMaker AI verwendet die folgenden URL-Muster für die Registrierungsadresse für das Container-Image der Debugger-Regel. 

<account_id>.dkr.ecr.<Region>.amazonaws.com/<ECR repository name>:<tag>

Die Konto-ID in jeder AWS Region, den Namen des Amazon ECR-Repositorys und den Tag-Wert finden Sie in den folgenden Themen.

Amazon SageMaker Debugger-Image-URIs für integrierte Regelevaluatoren

Verwenden Sie die folgenden Werte für die Komponenten der Registrierungs-URLs für die Bilder, die integrierte Regeln für Amazon SageMaker Debugger bereitstellen. Konto-IDs finden Sie in der folgenden Tabelle.

ECR-Repository-Name: sagemaker-debugger-rules

Tag: neuestes

Beispiel für eine vollständige Registrierungs-URL:

904829902805.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rules:latest

Konto-IDs für Built-in Regel-Container-Images nach Region AWS

Region account_id
af-south-1

314341159256
ap-east-1

199566480951
ap-northeast-1

430734990657

ap-northeast-2

578805364391
ap-south-1

904829902805
ap-southeast-1

972752614525
ap-southeast-2

184798709955
ca-central-1

519511493484
cn-north-1

618459771430
cn-northwest-1

658757709296
eu-central-1

482524230118
eu-north-1

314864569078
eu-south-1

563282790590
eu-west-1

929884845733
eu-west-2

250201462417
eu-west-3

447278800020
me-south-1

986000313247
sa-east-1

818342061345
us-east-1

503895931360
us-east-2

915447279597
us-west-1

685455198987
us-west-2

895741380848
us-gov-west-1

515509971035

Amazon SageMaker Debugger-Image-URIs für benutzerdefinierte Regelevaluatoren

Verwenden Sie die folgenden Werte für die Komponenten der Registrierungs-URL für die Bilder, die benutzerdefinierte Regelauswertungen für Amazon Debugger bereitstellen. SageMaker Konto-IDs finden Sie in der folgenden Tabelle.

ECR-Repository-Name: sagemaker-debugger-rule-evaluator

Tag: neuestes

Beispiel für eine vollständige Registrierungs-URL:

552407032007.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rule-evaluator:latest

Konto-IDs für Container-Images für benutzerdefinierte Regeln nach Region AWS

Region account_id
af-south-1

515950693465
ap-east-1

645844755771
ap-northeast-1

670969264625

ap-northeast-2

326368420253
ap-south-1

552407032007
ap-southeast-1

631532610101
ap-southeast-2

445670767460
ca-central-1

105842248657
cn-north-1

617202126805
cn-northwest-1

658559488188
eu-central-1

691764027602
eu-north-1

091235270104
eu-south-1

335033873580
eu-west-1

606966180310
eu-west-2

074613877050
eu-west-3

224335253976
me-south-1

050406412588
sa-east-1

466516958431
us-east-1

864354269164
us-east-2

840043622174
us-west-1

952348334681
us-west-2

759209512951
us-gov-west-1

515361955729

Amazon Debugger-Ausnahmen SageMaker

Amazon SageMaker Debugger ist so konzipiert, dass es berücksichtigt, dass Tensoren, die zur Ausführung einer Regel erforderlich sind, möglicherweise nicht bei jedem Schritt verfügbar sind. Infolgedessen werden einige Ausnahmen ausgelöst, mit denen Sie kontrollieren können, was passiert, wenn ein Tensor fehlt. Diese Ausnahmen sind im Modul smdebug.exceptions verfügbar. Sie können sie wie folgt importieren:

from smdebug.exceptions import *

Folgende Ausnahmen sind verfügbar:

  • TensorUnavailableForStep – Der angeforderte Tensor ist für diesen Schritt nicht verfügbar. Dies könnte bedeuten, dass dieser Schritt möglicherweise nicht durch den Hook gespeichert wird oder dass dieser Schritt zwar einige Tensoren gespeichert hat, der angeforderte Tensor aber nicht dazugehört. Wenn diese Ausnahme angezeigt wird, bedeutet dies, dass dieser Tensor zukünftig niemals für diesen Schritt verfügbar werden kann. Wenn für den Tensor Reduktionen für den Schritt gespeichert wurden, wird Ihnen mitgeteilt, dass sie abgefragt werden können.

  • TensorUnavailable – Dieser Tensor wird nicht gespeichert oder wurde von der smdebug API nicht gespeichert. Dies bedeutet, dass dieser Tensor für keinen Schritt in smdebug zu sehen ist.

  • StepUnavailable – Der Schritt wurde nicht gespeichert und der Debugger hat keine Daten aus diesem Schritt.

  • StepNotYetAvailable – Der Schritt wurde von smdebug noch nicht gesehen. Es könnte in der Zukunft verfügbar sein, wenn das Training noch andauert. Debugger lädt automatisch neue Daten, sobald sie verfügbar sind.

  • NoMoreData – Erhöht, wenn das Training endet. Sobald dies zu sehen ist, sind keine weiteren zu speichernde Schritte und Tensoren vorhanden.

  • IndexReaderException – Der Indexleser ist ungültig.

  • InvalidWorker – Es wurde ein ungültiger Auftragnehmer aufgerufen.

  • RuleEvaluationConditionMet – Die Auswertung der Regel im Schritt führte dazu, dass die Bedingung erfüllt wurde.

  • InsufficientInformationForRuleInvocation – Es wurden nicht genügend Informationen bereitgestellt, um die Regel aufzurufen.

Verteiltes Training, unterstützt von Amazon Debugger SageMaker

Die folgende Liste zeigt den Gültigkeitsbereich und die Überlegungen zur Verwendung von Debugger für Trainingsaufträge mit Deep-Learning-Frameworks und verschiedenen verteilten Trainingsoptionen.

  • Horovod

    Gültigkeitsbereich der Verwendung von Debugger für Trainingsaufträge mit Horovod

    Deep-Learning-Framework Apache MXNet TensorFlow 1.x TensorFlow 2.x TensorFlow 2.x mit Keras PyTorch
    Überwachung von Systemengpässen Ja Ja Ja Ja Ja
    Profiling-Framework-Operationen Nein Nein Nein Ja Ja
    Debuggen von Modellausgabetensoren Ja Ja Ja Ja Ja

  • SageMaker KI verteilte Daten parallel

    Geltungsbereich der Verwendung des Debuggers für Trainingsjobs mit parallel verteilten SageMaker KI-Daten

    Deep-Learning-Framework TensorFlow 2.x TensorFlow 2.x mit Keras PyTorch
    Überwachung von Systemengpässen Ja Ja Ja
    Profiling-Framework-Operationen Nein* Nein** Ja
    Debuggen von Modellausgabetensoren Ja Ja Ja

    * Der Debugger unterstützt kein Framework-Profiling für 2.x. TensorFlow

    ** SageMaker AI Distributed Data Parallel unterstützt TensorFlow 2.x mit Keras-Implementierung nicht.

  • SageMaker Paralleles KI-Modell — Der Debugger unterstützt kein paralleles Training mit verteilten SageMaker KI-Modellen.

  • Verteiltes Training mit SageMaker KI-Checkpoints — Der Debugger ist für Trainingsjobs nicht verfügbar, wenn sowohl die verteilte Trainingsoption als auch die SageMaker KI-Checkpoints aktiviert sind. Möglicherweise wird ein Fehler angezeigt, der wie folgt aussieht: 

    SMDebug Does Not Currently Support Distributed Training Jobs With Checkpointing Enabled

    Um den Debugger für Trainingsjobs mit verteilten Trainingsoptionen zu verwenden, müssen Sie das SageMaker AI-Checkpointing deaktivieren und Ihrem Trainingsskript manuelle Checkpointing-Funktionen hinzufügen. Mehr Informationen über die Verwendung des Debuggers mit verteilten Trainingsoptionen und Prüfpunkte finden Sie unter Mithilfe von SageMaker KI werden Daten parallel zu Amazon SageMaker Debugger und Checkpoints verteilt und Speichern von Prüfpunkten.

  • Parameterserver – Der Debugger unterstützt kein auf Parameterservern basierendes verteiltes Training.

  • Die Erstellung von Profilen für Operationen im verteilten Trainingsframework, wie z. B. die parallele AllReduced Ausführung von SageMaker KI-verteilten Daten und Horovod-Operationen, ist nicht verfügbar.