透過 存取訓練容器AWS Systems Manager以進行遠端偵錯

您可以使用 SageMaker Python SDK 中的估算器類別，使用 enable_remote_debug 參數或 enable_remote_debug() 和 disable_remote_debug() 方法開啟或關閉遠端偵錯。

建立訓練任務時啟用遠端偵錯

若要在建立訓練任務時啟用遠端偵錯，請將 enable_remote_debug 參數設為 True。預設值為 False，因此，如果您完全未設定此參數或明確將其設為 False，則會停用遠端偵錯功能。

import sagemaker

session = sagemaker.Session()

estimator = sagemaker.estimator.Estimator(
    ...,
    sagemaker_session=session,
    image_uri="<your_image_uri>", #must be owned by your organization or Amazon DLCs 
    role=role,
    instance_type="ml.m5.xlarge",
    instance_count=1,
    output_path=output_path,
    max_run=1800,
    enable_remote_debug=True
)

更新訓練任務以啟用遠端偵錯

您可以使用下列估算器類別方法，在任務的 SecondaryStatus 為 Downloading 或 Training 時，於訓練任務執行時啟用或停用遠端偵錯。

# Enable RemoteDebug
estimator.enable_remote_debug()

# Disable RemoteDebug
estimator.disable_remote_debug()

建立訓練任務時啟用遠端偵錯

若要在建立訓練任務時啟用遠端偵錯，請在 RemoteDebugConfig 參數中將 EnableRemoteDebug 索引鍵的值設為 True。

import boto3

sm = boto3.Session(region_name=region).client("sagemaker")

# Start a training job
sm.create_training_job(
    ...,
    TrainingJobName=job_name,
    AlgorithmSpecification={
        // Specify a training Docker container image URI 
        // (Deep Learning Container or your own training container) to TrainingImage.
        "TrainingImage": "<your_image_uri>",
        "TrainingInputMode": "File"
    },
    RoleArn=iam_role_arn,
    OutputDataConfig=output_path,
    ResourceConfig={
        "InstanceType": "ml.m5.xlarge",
        "InstanceCount": 1,
        "VolumeSizeInGB": 30
    },
    StoppingCondition={
        "MaxRuntimeInSeconds": 86400
    },
    RemoteDebugConfig={
        "EnableRemoteDebug": True
    }
)

更新訓練任務以啟用遠端偵錯

您可以使用 update_traing_job API，在任務的 SecondaryStatus 為 Downloading 或 Training 時，於訓練任務執行時啟用或停用遠端偵錯。

# Update a training job
sm.update_training_job(
    TrainingJobName=job_name,
    RemoteDebugConfig={
        "EnableRemoteDebug": True     # True | False
    }
)

建立訓練任務時啟用遠端偵錯

準備 JSON 格式的 CreateTrainingJob 請求檔案，如下所示。

// train-with-remote-debug.json
{
    "TrainingJobName": job_name,
    "RoleArn": iam_role_arn,
    "AlgorithmSpecification": {
        // Specify a training Docker container image URI (Deep Learning Container or your own training container) to TrainingImage.
        "TrainingImage": "<your_image_uri>",
        "TrainingInputMode": "File"
    },
    "OutputDataConfig": {
        "S3OutputPath": output_path
    },
    "ResourceConfig": {
        "InstanceType": "ml.m5.xlarge",
        "InstanceCount": 1,
        "VolumeSizeInGB": 30
    },
    "StoppingCondition": {
        "MaxRuntimeInSeconds": 86400
    },
    "RemoteDebugConfig": {
        "EnableRemoteDebug": True
    }
}

儲存 JSON 檔案後，請在您提交訓練任務的終端機中執行下列命令。下列範例命令假設 JSON 檔案名為 train-with-remote-debug.json。如果您從 Jupyter 筆記本執行該命令，請將驚嘆號 (!) 新增至命令列的開頭。

aws sagemaker create-training-job \
    --cli-input-json file://train-with-remote-debug.json

更新訓練任務以啟用遠端偵錯

準備 JSON 格式的 UpdateTrainingJob 請求檔案，如下所示。

// update-training-job-with-remote-debug-config.json
{
    "TrainingJobName": job_name,
    "RemoteDebugConfig": {
        "EnableRemoteDebug": True
    }
}

儲存 JSON 檔案後，請在您提交訓練任務的終端機中執行下列命令。下列範例命令假設 JSON 檔案名為 train-with-remote-debug.json。如果您從 Jupyter 筆記本執行該命令，請將驚嘆號 (!) 新增至命令列的開頭。

aws sagemaker update-training-job \
    --cli-input-json file://update-training-job-with-remote-debug-config.json

若要檢查訓練任務的 SecondaryStatus，請執行下列 SageMaker Python SDK 程式碼。

import sagemaker

session = sagemaker.Session()

# Describe the job status
training_job_info = session.describe_training_job(job_name)
print(training_job_info)

若要檢查訓練任務的 SecondaryStatus，請執行下列 SDK for Python (Boto3) 程式碼。

import boto3

session = boto3.session.Session()
region = session.region_name
sm = boto3.Session(region_name=region).client("sagemaker")

# Describe the job status
sm.describe_training_job(TrainingJobName=job_name)

若要檢查訓練任務SecondaryStatus的 ，請針對 SageMaker AI 執行下列AWS CLI命令。

aws sagemaker describe-training-job \
    --training-job-name job_name