기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 사용자 지정 작업 결과 분석
모델 사용자 지정 작업이 완료되면 사용자 지정 프로세스의 결과를 분석할 수 있습니다. 다음 아티팩트는 모델 사용자 지정 작업을 생성할 때 지정한 S3 버킷에 업로드됩니다.
-
훈련 및 검증 지표 - Amazon Bedrock은 모든 모델 사용자 지정 작업에 대한 훈련 지표를 제공합니다. 검증 지표는 일부 모델 사용자 지정 작업에도 포함됩니다.
-
합성 데이터(모델 증류만 해당) - Amazon Bedrock이 교사 모델에서 생성하고 추출 작업 중에 학생 모델을 미세 조정하는 데 사용한 합성 데이터세트의 샘플 프롬프트입니다. 이 정보는 사용자 지정 모델이 훈련된 방식을 더 잘 이해하고 검증하는 데 도움이 될 수 있습니다.
-
프롬프트 인사이트(모델 증류만 해당) - 추출 중에 수락 및 거부된(이유와 함께) 입력 프롬프트에 대한 보고서입니다. 이 정보는 다른 추출 작업을 실행해야 하는 경우 프롬프트를 수정하고 구체화하는 데 도움이 될 수 있습니다.
Amazon Bedrock은 사용자 지정 모델을 로 범위가 지정된 AWS관리형 스토리지에 저장합니다AWS 계정.
모델 평가 작업을 실행하여 모델을 평가할 수도 있습니다. 자세한 내용은 Amazon Bedrock 리소스의 성능 평가 단원을 참조하십시오.
다음 예제는 S3 버킷에서 세부 훈련 및 검증 지표를 수행할 수 있는 위치를 보여줍니다.
- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv
step_wise_training_metrics.csv 및 validation_metrics.csv 파일을 사용하여 모델 사용자 지정 작업을 분석하고, 필요에 따라 모델을 조정할 수 있습니다.
step_wise_training_metrics.csv 파일의 열은 다음과 같습니다.
-
step_number– 훈련 프로세스의 단계입니다. 0부터 시작합니다. -
epoch_number– 훈련 프로세스의 에포크입니다. -
training_loss– 모델이 훈련 데이터에 얼마나 잘 맞는지 측정합니다. 값이 낮을수록 더 적합하다는 뜻입니다. -
perplexity– 모델이 토큰 시퀀스를 얼마나 잘 예측할 수 있는지 나타냅니다. 값이 낮을수록 예측 능력이 좋다는 뜻입니다.
validation_metrics.csv 파일의 열은 training_loss 대신 validation_loss(모델이 검증 데이터에 얼마나 잘 맞는지)가 표시되는 것을 제외하면 훈련 파일과 동일합니다.
출력 파일을 찾을 때는 https://console.aws.amazon.com/s3
