반복 훈련

개요

반복 훈련은 여러 훈련 방법(훈련, 평가, 오류 분석, 데이터/목표/하이퍼파라미터 조정 등)에서 여러 훈련 주기를 통해 모델을 반복적으로 미세 조정하는 프로세스로, 각 라운드는 이전 체크포인트에서 시작됩니다. 이 접근 방식을 사용하면 모델 실패 모드를 체계적으로 목표로 지정하고, 특정 약점을 해결하는 선별된 예제를 통합하며, 시간이 지남에 따라 변화하는 요구 사항에 적응할 수 있습니다.

단일 패스 훈련의 이점:

작동 방식

체크포인트 위치 및 액세스

각 훈련 작업이 완료되면 훈련 구성의 output_path 파라미터로 지정된 출력 위치에 매니페스트 파일이 생성됩니다.

체크포인트에 액세스하는 방법

manifest.json 구조 예제

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

에스크로 버킷 이해

Amazon Nova 가중치는 독점 데이터이므로 훈련된 모델 체크포인트는 계정에 복사되지 않고 AWS 관리형 계정 내 에스크로 S3 버킷에 저장됩니다. 다음은 이러한 에스크로 버킷의 특징입니다.

다음 훈련 실행에서 에스크로 버킷 경로를 model_name_or_path로 사용하여 반복 훈련을 계속할 수 있습니다.

반복 훈련에 체크포인트 사용

이전 체크포인트를 기본 모델로 사용하도록 다음 훈련 작업을 구성합니다.

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

반복 훈련을 사용해야 하는 경우

이상적인 사용 사례

다음과 같은 경우에 반복 훈련을 사용합니다.

강력한 평가 프레임워크 예제

일반적인 패턴

SFT → RFT 파이프라인: 자주 사용되는 반복 패턴에는 다음이 포함됩니다.

이 시퀀스는 처음에 모델의 성능이 낮은 경우에 필수적입니다. 정확도가 거의 0에 가까운 모델의 경우 먼저 SFT를 통해 기본적인 문제 해결 기능을 설정하지 않으면 RFT로느 성능이 개선되지 않습니다.

반복 훈련을 사용하지 않는 경우

다음 경우에는 반복 훈련을 피합니다.

워크플로 예제: SFT → RFT

이 예제에서는 추론 모델에 대한 일반적인 반복 훈련 패턴을 보여줍니다.

1단계: 초기 SFT 훈련

데이터세트를 사용하여 SFT 훈련 작업을 구성하고 시작합니다.

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

근거: SFT는 모델 출력을 원하는 형식과 음성으로 형성하여 기본 기능을 설정하는 추가 데모를 제공합니다.

훈련이 완료된 후

2단계: SFT 체크포인트에서 RFT 훈련

SFT 체크포인트를 사용하여 새 RFT 훈련 작업을 생성합니다.

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

근거: RFT 훈련은 SFT 파운데이션을 기반으로 구축되므로 모델은 보상 함수에 의해 최적화된 보다 복잡한 추론 패턴을 개발할 수 있습니다.

3단계: 평가 및 반복

RFT 체크포인트에서 평가를 실행하여 성능을 평가합니다.

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

목표 지표가 충족되지 않으면 조정된 데이터 또는 하이퍼파라미터로 계속 반복합니다.

여러 반복에서 진행 상황 모니터링

작업에 대한 MLflow를 설정하여 MLflow를 통해 지표를 추적할 수 있습니다.

MLflow 앱 생성

Studio UI 사용: Studio UI를 통해 훈련 작업을 생성하는 경우 기본 MLflow 앱이 자동으로 생성되고 고급 옵션에서 기본적으로 선택됩니다.

CLI 사용: CLI를 사용하는 경우 MLflow 앱을 생성하고 이를 훈련 작업 API 요청에 대한 입력으로 전달해야 합니다.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

MLflow 앱에 액세스

CLI 사용: 미리 서명된 URL을 생성하여 MLflow 앱 UI에 액세스합니다.

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Studio UI 사용: Studio UI는 MLflow에 저장된 주요 지표를 표시하고 MLflow 앱 UI에 대한 링크를 제공합니다.

추적할 주요 지표

여러 반복에서 이러한 지표를 모니터링하여 개선 사항을 평가하고 작업 진행 상황을 추적합니다.

SFT의 경우

RFT의 경우

일반

중지 시점 결정

다음과 같은 경우 반복을 중지합니다.

자세한 평가 절차는 평가 섹션을 참조하세요.

모범 사례

소규모로 시작하여 점진적으로 확장

스케일 업하기 전에 최소 데이터세트와 단일 훈련 에포크로 시작하여 접근 방식을 검증합니다. 그러면 신뢰가 구축되고 문제를 조기에 식별하는 데 도움이 됩니다.

명확한 성공 지표 설정

시작하기 전에 다음과 같이 정량적 및 정성적 지표를 정의합니다.

사용 사례별 성공 지표 예제

자동화된 평가 구현

자동화된 평가 파이프라인을 설정하여 각 라운드 후 성능을 추적하여 빠른 반복 및 목표 비교를 지원합니다.

엄격한 버전 제어 유지 관리

각 반복에 대해 문서화합니다.

그러면 하면 규격화된 지식이 구축되고 디버깅을 지원합니다.

수량보다 데이터 품질에 집중

단순히 데이터세트 크기를 늘리는 대신, 이전 라운드의 실패 사례를 분석하고 목표에 맞는 고품질 예제를 추가합니다.

반복 예산 계획

일반적인 범위로 3~5회 반복을 계획합니다.

컴퓨팅 예산 및 성능 개선률에 따라 조정합니다.

롤백 기능 구현

반복 시 회귀가 발생하는 경우:

롤백 예제

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

비용 고려 사항

체크포인트 저장

비용 최적화 팁

제한 사항

모델 패밀리 일관성

반복적으로 훈련하는 경우 모든 반복에서 동일한 모델 유형을 사용해야 합니다.

초기 훈련

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

후속 반복에서는 동일한 model_type을 사용해야 함

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

훈련 기법의 일관성

훈련 기법은 여러 반복에서 일관성을 유지해야 합니다.

반복 훈련에서 LoRA 어댑터의 작동 방식

기법 호환성 매트릭스

작업 시작 전에 호환성 확인

문제 해결

오류: 'Incompatible model training techniques detected'

원인: 훈련 기법(LoRA 및 전체 순위)이 체크포인트의 기법과 일치하지 않습니다.

해결 방법: 레시피가 원래 모델과 동일한 훈련 기법을 사용하는지 확인합니다.

오류: 'Base model for the job extracted from model_name_or_path does not match model_type'

원인: model_type에 지정된 모델 유형이 체크포인트의 실제 모델과 일치하지 않습니다.

해결 방법: 다음을 확인합니다.

올바른 구성 예제

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

오류: 'Model configuration not found'

원인: model_name_or_path의 S3 경로가 유효하지 않거나 이에 액세스할 수 없습니다.

​해결 방법:

반복 후 성능 회귀

증상: 새 훈련 반복 후 평가 지표가 감소합니다.

​해결 방법: