本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 Nova 蒸馏法

本快速入门指南可帮助您开始使用人工智能上的监督微调 (SFT) 进行 Amazon Nova 模型蒸馏。 SageMaker

概念

模型蒸馏是一种将知识从大型高级模型转移到更小、更高效的模型的方法。对于亚马逊Nova机型，较大的 “教师” 模型（例如Amazon Nova Pro或Amazon Nova Premier）将其功能传递给了较小的 “学生” 模型（例如亚马逊Nova Lite或Amazon Nova Micro）。这将创建一个自定义模型，在使用更少资源的同时保持高性能。

关键组件

蒸馏过程主要涉及两种类型的模型：

教师模型作为知识来源，包括：

学生模型接收和运用知识：

使用案例

在以下情况下，模式蒸馏特别有益：

先决条件

数据增强设置

数据增强阶段使用 SageMaker 训练作业，使用教师模型生成高质量的训练数据。本节详细介绍了设置过程和要求。

IAM 角色

要创建 IAM 角色和附加策略，请参阅创建角色和附加策略（控制台）。如果您使用 AWS CLI，请按照 create- role 和中的说明进行操作。attach-role-policy有关更多信息，请参阅 SageMaker AI 开发者指南中的如何使用 SageMaker AI 执行角色。

以下是示例命令供您参考。

创建 A SageMaker I 执行角色

该角色是通过信任关系创建的，允许 SageMaker 人工智能 Amazon Bedrock 担任这个角色。这使这些服务能够在执行批量推理作业时代表您执行操作。

aws iam create-role \
 --role-name NovaCustomizationRole \
 --assume-role-policy-document '{
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": ["sagemaker.amazonaws.com",
            "bedrock.amazonaws.com"]
 },
 "Action": "sts:AssumeRole"
 }
 ]
}'               

附上必要的政策

# Attach AmazonSageMakerFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonSageMakerFullAccess

# Attach AmazonBedrockFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonBedrockFullAccess

 # Attach S3 access policy
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess
 
# Attach AmazonEC2FullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonEC2FullAccess
 
# Attach AmazonEC2ContainerRegistryFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryFullAccess
 
# Attach AmazonEC2ContainerRegistryFullAccess
 aws iam attach-role-policy \
 --role-name NovaCustomizationRole \
 --policy-arn arn:aws:iam::aws:policy/CloudWatchLogsFullAccess 

将以下内联策略附加到蒸馏容器所需的客户执行角色。

aws iam put-role-policy \
 --role-name NovaCustomizationRole \
 --policy-name Distillation-Additional-Permissions\
 --policy-document '{
 "Version": "2012-10-17",
 "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kms:*"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "*"
        }
    ]
}

亚马逊 VPC 配置

要使用为 A SageMaker I 训练任务创建 Amazon VPC 配置 AWS Management Console，请按照配置您的私有 VPC 进行 SageMaker 训练（控制台）中的说明进行操作。

创建新的亚马逊 VPC

Name: Distillation-VPC
IPv4 CIDR: 10.0.0.0/16 (or your preferred range)
Availability Zones: 2
Public Subnets: 2
Private Subnets: 2
NAT Gateways: 1 (in one AZ)

创建安全组

Name: Distillation-SG
Description: Security group for data distillation jobs
Inbound Rules: Allow all traffic from self
Outbound Rules: Allow all traffic (0.0.0.0/0)

为以下服务创建 VPC 终端节点

com.amazonaws.[region].s3
com.amazonaws.[region].sagemaker.api
com.amazonaws.[region].sagemaker.runtime
com.amazonaws.[region].bedrock.api
com.amazonaws.[region].bedrock.runtime
com.amazonaws.[region].sts
com.amazonaws.[region].logs
com.amazonaws.[region].ecr.api
com.amazonaws.[region].ecr.dkr

对于每个端点：

AWS KMS 钥匙

使用 Amazon Bedrock 批量推理时，需要 AWS KMS 密钥来确保数据安全和合规性。Amazon Bedrock 批量推理任务要求使用 AWS KMS 密钥对输入和输出 Amazon S3 存储桶进行加密，以确保静态数据保护。

使用 AWS CLI 以下命令创建 KMS 密钥：

# Create KMS key
aws kms create-key \
--description "KMS key for Amazon Bedrock batch inference Amazon S3 bucket" \
--region us-east-1

该命令将输出包括 ARN 在内的关键信息。输出示例：

{
    "KeyMetadata": {
        "KeyId": "1234abcd-12ab-34cd-56ef-1234567890ab",
        "Arn": "arn:aws:kms:us-east-1:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
    }
}

Amazon S3 存储桶

您需要两种类型的 Amazon S3 存储。客户管理的 Amazon S3 存储桶存储您的输入数据和输出manifest.json文件。您可以创建和管理此存储桶，并且可以将单个存储桶用于输入和输出。此存储桶必须配置 KMS 加密，因为它将存储敏感的输出数据，并且将由 Amazon Bedrock 批量推理作业使用——Amazon Bedrock 需要使用 KMS 加密的存储桶来处理批量推理任务。

服务托管的 Amazon S3 存储桶存储模型权重。服务托管的 Amazon S3 存储桶是在您的第一次训练作业期间自动创建的。它具有受限的访问控制，只能通过清单文件访问特定路径。

要在特定存储桶中创建存储桶 AWS 区域，请使用 c reate-bucket CLI 命令。

创建带 AWS KMS 加密功能的 Amazon S3 存储桶的命令示例。{kms_key_arn}用您的 AWS KMS 密钥 ARN 替换。如果您尚未创建 AWS KMS 密钥，则需要先创建密钥。

aws s3api create-bucket \
--bucket {my_bucket_name} \
--region {aws_region} \
--create-bucket-configuration LocationConstraint={aws_region} \
--server-side-encryption-configuration '{
    "Rules": [
        {
            "ApplyServerSideEncryptionByDefault": {
                "SSEAlgorithm": "aws:kms",
                "KMSMasterKeyID": "{kms_key_arn}"
            },
            "BucketKeyEnabled": true
        }
    ]
}'

开始 SageMaker 训练作业

在开始训练作业之前，请准备好数据。

数据格式要求—— 您的输入数据集必须采用 JSONL 格式，每行都包含一个反向格式的样本，有关更多信息，请参阅准备数据以提炼理解模型。

数据集限制

要上传输入数据，请运行以下命令。

aws s3 cp /path/to/input-data/ s3://customer-input-data-bucket/ —recursive

数据增强配方

您可以从配方库中获取蒸馏配SageMaker HyperPod 方。蒸馏配方在目录下:recipes-collection/recipes/fine-tuning/nova. 数据增强过程由 YAML 配置文件控制。以下是每个参数的详细说明。所有字段均为必填字段。

限制

作为 Nova Premier 的教师模型——由于亚马逊 Bedrock 批量推断在 ARN (us-east-1) 区域不可用，因此仅在 IAD 区域 () 中支持。eu-north-1

最佳实践

数据准备

型号选择

性能优化

使用 pySDK 开始工作

以下示例笔记本演示了如何运行蒸馏 SageMaker 训练作业。有关更多信息，请参阅使用 A SageMaker I 估算器运行训练作业。

import os
import sagemaker,boto3
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

sagemaker_session = sagemaker.Session()
role = sagemaker.get_execution_role()

# SETUP
job_name = <Your_job_name> # Must be unique for every run

input_s3_uri = <S3 URI to your input dataset> # Must end in .jsonl file
output_s3_uri = <S3 URI to your output bucket> + job_name

image_uri = "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST" # Do not change
instance_type = "ml.r5.4xlarge" # Recommedation is to use cpu instances 
instance_count = 1 # Must be 1, do not change 
role_arn = <IAM role to execute the job with>
recipe_path = <Local path to your recipe>

# Execution

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    max_run=432000,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    subnets= ['subnet-xxxxxxxxxxxxxxxxx','subnet-xxxxxxxxxxxxxxxxx'], # Add subnet groups created in previous steps
    security_group_ids= ['sg-xxxxxxxxxxxxxxxxx'], # Add security group created in previous steps
    disable_profiler=True,
    debugger_hook_config=False
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

# The keys must be "train".
estimator.fit(inputs={"train": trainingInput})

验证增强的数据质量

在进行微调之前，验证增强数据的质量至关重要：

数据增强完成后，第二阶段涉及使用 Amazon 对学生模型进行微调。 SageMaker HyperPod有关更多信息，请参阅 监督微调 (SFT)。

在 SFT 训练配方中，您可以传递从上一个作业返回的数据集路径。

data_s3_path: "s3://[escrow-bucket]/[job-name]/distillation_data/training_data.jsonl"

还要覆盖上一步中生成的推荐训练配置。

限制