SageMaker 훈련 작업을 사용하여 Amazon Nova 모델 미세 조정

SageMaker 훈련 작업을 사용하여 Amazon Nova 모델을 미세 조정하면 특정 사용 사례에 맞게 파운데이션 모델을 사용자 지정할 수 있는 강력한 방법을 제공합니다.

사전 조건

훈련 작업을 시작하기 전에 다음 사항에 유의하세요.

데이터 준비

고품질의 적절한 형식의 데이터를 준비하는 것은 대규모 언어 모델의 미세 조정 프로세스에서 중요한 첫 번째 단계입니다. 전체 순위 또는 하위 순위 적응(LoRA) 접근 방식과 함께 지도형 미세 조정(SFT) 또는 직접 선호 최적화(DPO)를 사용하는 경우 성공적인 모델 훈련을 위해서는 데이터가 특정 형식 요구 사항을 준수해야 합니다. 이 섹션에서는 Amazon Nova 모델을 미세 조정하기 위해 데이터세트를 효과적으로 준비하는 데 필요한 데이터 형식, 검증 방법 및 모범 사례를 간략하게 설명합니다.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

전체 순위 SFT 및 LoRA PEFT 구성

이 섹션에서는 전체 순위 지도 미세 조정(SFT) 및 하위 순위 적응 파라미터 효율성 미세 조정(LoRA PEFT) 접근 방식 모두에 대한 레시피 구성에 대한 지침을 다룹니다. 이러한 레시피 파일은 모델 사용자 지정 작업의 청사진 역할을 하므로 모델에서 데이터를 학습하는 방법을 결정하는 훈련 파라미터, 하이퍼파라미터 및 기타 중요한 설정을 지정할 수 있습니다. 하이퍼파라미터를 조정하려면 하이퍼파라미터 선택의 지침을 따릅니다.

미세 조정 구성(전체 순위 SFT 및 LoRA PEFT)

레시피 측면에서 전체 순위 SFT와 LoRA PEFT의 유일한 차이점은 LoRA PEFT 구성입니다. LoRA PEFT 구성은 전체 순위에 대해 'null'로 설정되고 LoRA PEFT 기반 미세 조정을 사용하는 경우 적절한 값으로 설정됩니다. 예제 레시피는 SageMaker HyperPod 레시피 GitHub 리포지토리에서 사용할 수 있습니다. 다음 표에는 도움이 될 수 있는 자세한 구성이 나와 있습니다.

"실행" 구성 정보.

“training_config” 구성에 대한 정보입니다.

특정 구성 미세 조정(DPO)

LoRA PEFT 및 FullRank SFT와 비교한 DPO(Direct Preference Optimization)의 유일한 차이점은 dpo_cfg 구성 및 허용되는 값입니다. DPO에 대해 특별히 허용되는 예는 아래 표를 참조하세요. 예제 레시피는 SageMaker HyperPod 레시피 GitHub 리포지토리에서 사용할 수 있습니다. 다음 표에는 도움이 될 수 있는 자세한 구성이 나와 있습니다.

SageMaker 훈련 작업에서 사용자 지정 Nova 모델 실행

이 섹션에서는 Jupyter 노트북 환경을 통해 SageMaker 훈련 작업에서 사용자 지정 Nova 모델을 실행하는 방법을 보여줍니다. 적절한 컨테이너 이미지 URIs. 이 접근 방식을 사용하면 모델 사용자 지정을 위해 SageMaker의 관리형 인프라를 활용하면서 미세 조정 워크플로를 프로그래밍 방식으로 제어할 수 있습니다. 자세한 내용은 SageMaker AI 예측기를 사용하여 훈련 작업 실행을 참조하세요.

참조 테이블

샘플 노트북을 실행하기 전에 다음 표를 참조하여 적절한 컨테이너 이미지 URIs 및 인스턴스 구성을 선택합니다.

이미지 URI 선택

인스턴스 유형 및 개수 선택

샘플 노트북

다음 샘플 노트북은 훈련 작업을 실행하는 방법을 보여줍니다. SageMaker AI 훈련 작업을 사용하여 Nova 모델을 사용자 지정하는 방법에 대한 추가 시작하기 노트북은 SageMaker AI 예측기를 사용하여 훈련 작업 실행을 참조하세요.

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

하이퍼파라미터 최적화 지침

Nova LLM 모델을 효과적으로 미세 조정하려면 하이퍼파라미터를 신중하게 선택해야 합니다. 이 단원에서는 기본 레시피 구조와 구성 요소에 대해 설명하지만 특정 사용 사례에 맞게 하이퍼파라미터를 최적화하려면 추가 지침이 필요한 경우가 많습니다. 하이퍼파라미터 선택, 모범 사례 및 최적화 전략에 대한 포괄적인 권장 사항은 하이퍼파라미터 선택을 참조하세요. 이 리소스는 데이터 세트 특성 및 훈련 목표에 따라 적절한 학습률, 배치 크기, 훈련 epoch 및 기타 중요한 파라미터를 선택하는 방법에 대한 자세한 지침을 제공합니다. 최적의 모델 성능을 얻으려면 레시피 구성을 미세 조정할 때이 가이드를 참조하는 것이 좋습니다.

에포크, 학습률 및 학습 워밍업 단계의 최소값, 최대값 및 기본값에 대한 자세한 내용은 모델 이해를 위한 하이퍼파라미터를 참조하세요.

일반적인 레시피 수정

다음은 특정 사용 사례에 따른 몇 가지 일반적인 레시피 조정입니다.