Configurer Debugger pour automatiser la fin des tâches de formation à l'aide CloudWatch de et Lambda

Ouvrez la AWS Lambda console à l'adresse https://console.aws.amazon.com/lambda/.

Dans le panneau de navigation, choisissez Functions (Fonctions), puis Create function (Créer une fonction).

Sur la page Create function (Créer une fonction), choisissez l'option Author from scratch (Créer à partir de zéro).

Dans la section Basic information (Informations de base), saisissez un Function name (Nom de fonction) (par exemple,debugger-rule-stop-training-job).

Pour Runtime, sélectionnez Python 3.7.

Pour Permissions (Autorisations), développez la liste d'options déroulante et choisissez Change default execution role (Modifier le rôle d'exécution par défaut).

Pour Rôle d'exécution, choisissez Utiliser un rôle existant et choisissez le rôle IAM que vous utilisez pour les tâches de formation sur l' SageMaker IA.

import sagemaker
from sagemaker.core.helper.session_helper import get_execution_role
get_execution_role()

Dans le bas de la page, choisissez Create function.

Dans la section Function code (Code de fonction) de la page de configuration, collez le script Python suivant dans le volet de l'éditeur de code Lambda. La lambda_handler fonction surveille l'état d'évaluation des règles du débogueur collecté par CloudWatch et déclenche l'opération de l'StopTrainingJobAPI. Le AWS SDK pour Python (Boto3) client for SageMaker AI fournit une méthode de haut niveau qui déclenche le fonctionnement de l'StopTrainingJobAPI. stop_training_job

import json
import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    training_job_name = event.get("detail").get("TrainingJobName")
    logging.info(f'Evaluating Debugger rules for training job: {training_job_name}')
    eval_statuses = event.get("detail").get("DebugRuleEvaluationStatuses", None)

    if eval_statuses is None or len(eval_statuses) == 0:
        logging.info("Couldn't find any debug rule statuses, skipping...")
        return {
            'statusCode': 200,
            'body': json.dumps('Nothing to do')
        }

    # should only attempt stopping jobs with InProgress status
    training_job_status = event.get("detail").get("TrainingJobStatus", None)
    if training_job_status != 'InProgress':
        logging.debug(f"Current Training job status({training_job_status}) is not 'InProgress'. Exiting")
        return {
            'statusCode': 200,
            'body': json.dumps('Nothing to do')
        }

    client = boto3.client('sagemaker')

    for status in eval_statuses:
        logging.info(status.get("RuleEvaluationStatus") + ', RuleEvaluationStatus=' + str(status))
        if status.get("RuleEvaluationStatus") == "IssuesFound":
            secondary_status = event.get("detail").get("SecondaryStatus", None)
            logging.info(
                f'About to stop training job, since evaluation of rule configuration {status.get("RuleConfigurationName")} resulted in "IssuesFound". ' +
                f'\ntraining job "{training_job_name}" status is "{training_job_status}", secondary status is "{secondary_status}"' +
                f'\nAttempting to stop training job "{training_job_name}"'
            )
            try:
                client.stop_training_job(
                    TrainingJobName=training_job_name
                )
            except Exception as e:
                logging.error(
                    "Encountered error while trying to "
                    "stop training job {}: {}".format(
                        training_job_name, str(e)
                    )
                )
                raise e
    return None

Pour plus d'informations sur l'interface de l'éditeur de code Lambda, consultez Création de fonctions à l'aide de l'éditeur de console AWS Lambda.

Ignorez tous les autres paramètres et choisissez Save (Enregistrer) en haut de la page de configuration.

Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

Dans le panneau de navigation de gauche, choisissez Rules (Règles) sous le nœud Events (Événements).

Choisissez Créer une règle.

Dans la section Source de l'événement de la page Étape 1 : créer une règle, choisissez SageMaker AI pour le nom du service, puis choisissez SageMaker AI Training Job State Change pour le type d'événement. La prévisualisation du modèle d'événement doit ressembler à l'exemple de chaînes JSON suivant :

{
    "source": [
        "aws.sagemaker"
    ],
    "detail-type": [
        "SageMaker Training Job State Change"
    ]
}

Dans Targets (Cibles), choisissez Add target* (Ajouter une cible*), puis choisissez l'option Lambda debugger-rule-stop-training-job que vous avez créée. Cette étape associe la règle CloudWatch Events à la fonction Lambda.

Choisissez Configure details (Configurer les détails) et accédez à la page Step 2: Configure rule details (Étape 2 : Configurer les détails de la règle).

Spécifiez le nom de la définition de la CloudWatch règle. Par exemple, debugger-cw-event-rule.

Choisissez Create rule (Créer la règle) pour terminer.

Revenez dans la page de configuration de la fonction Lambda et actualisez la page. Vérifiez qu'elle est correctement configurée dans le panneau Designer (Concepteur). La règle CloudWatch Events doit être enregistrée en tant que déclencheur pour la fonction Lambda. La conception de configuration doit ressembler à l'exemple suivant :