使用 SageMaker AI 和 Hydra 简化从本地开发到可扩展实验的机器学习工作流程

创建并激活虚拟环境。

要创建和激活虚拟环境，请在存储库的根目录中运行以下命令：

poetry install 
poetry shell

部署基础设施。

要使用部署基础架构 CloudFormation，请运行以下命令：

aws cloudformation deploy --template-file infra/hydra-sagemaker-setup.yaml --stack-name hydra-sagemaker-setup  --capabilities CAPABILITY_NAMED_IAM

下载示例数据。

要将输入数据从 openml 下载到本地计算机，请运行以下命令：

python scripts/download_data.py

在本地运行以进行快速测试。

要在本地运行训练代码进行测试，请运行以下命令：

python mypackage/train.py data.train_data_path=data/train.csv evaluation.base_dir_path=data

所有执行的日志按执行时间存储在名为的文件夹中outputs。有关更多信息，请参阅GitHub 存储库中的 “输出” 部分。

通过使用该--multirun功能，您还可以使用不同的参数并行执行多项训练。有关更多详细信息，请参阅 Hydra 文档。

设置环境变量。

要在 SageMaker AI 上运行作业，请设置以下环境变量，并提供您 AWS 区域 和您的 AWS 账户 ID：

export ECR_REPO_NAME=hydra-sm-artifact
export image_tag=latest
export AWS_REGION="<your_aws_region>" # for instance, us-east-1
export ACCOUNT_ID="<your_account_id>"
export BUCKET_NAME_DATA=hydra-sample-data-$ACCOUNT_ID
export BUCKET_NAME_CONFIG=hydra-sample-config-$ACCOUNT_ID
export AWS_DEFAULT_REGION=$AWS_REGION
export ROLE_ARN=arn:aws:iam::${ACCOUNT_ID}:role/hydra-sample-sagemaker
export INPUT_DATA_S3_PATH=s3://$BUCKET_NAME_DATA/hydra-on-sm/input/
export OUTPUT_DATA_S3_PATH=s3://$BUCKET_NAME_DATA/hydra-on-sm/output/

创建并推送 Docker 镜像。

要创建 Docker 镜像并将其推送到 Amazon ECR 存储库，请运行以下命令：

chmod +x scripts/create_and_push_image.sh
scripts/create_and_push_image.sh $ECR_REPO_NAME $image_tag $AWS_REGION $ACCOUNT_ID

此任务假设您在自己的环境中拥有有效的证书。Docker 映像被推送到上一个任务中环境变量中指定的 Amazon ECR 存储库，用于激活将在其中运行训练作业的 SageMaker AI 容器。

将输入数据复制到 Amazon S3。

A SageMaker I 训练作业需要获取输入数据。要将输入数据复制到 Amazon S3 存储桶以获取数据，请运行以下命令：

aws s3 cp data/train.csv "${INPUT_DATA_S3_PATH}train.csv" 

提交 SageMaker AI 训练作业。

要简化脚本的执行，请在default.yaml文件中指定默认配置参数。除了确保运行间的一致性外，这种方法还提供了根据需要轻松覆盖默认设置的灵活性。请参见以下示例：

python scripts/start_sagemaker_training_job.py sagemaker.role_arn=$ROLE_ARN sagemaker.config_s3_bucket=$BUCKET_NAME_CONFIG sagemaker.input_data_s3_path=$INPUT_DATA_S3_PATH sagemaker.output_data_s3_path=$OUTPUT_DATA_S3_PATH

运行 SageMaker AI 超参数调整。

运行 SageMaker AI 超参数调整与提交 SageMaker AII 训练作业类似。但是，正如你在 start_sagemaker_hpo_job.py 文件中看到的那样，执行脚本在一些重要方面有所不同。要调整的超参数必须通过 boto3 有效载荷传递，而不是传递到训练作业的通道。

要启动超参数优化 (HPO) 作业，请运行以下命令：

python scripts/start_sagemaker_hpo_job.py sagemaker.role_arn=$ROLE_ARN sagemaker.config_s3_bucket=$BUCKET_NAME_CONFIG sagemaker.input_data_s3_path=$INPUT_DATA_S3_PATH sagemaker.output_data_s3_path=$OUTPUT_DATA_S3_PATH