기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # 모델 사용자 지정 작업 결과 분석 모델 사용자 지정 작업이 완료되면 사용자 지정 프로세스의 결과를 분석할 수 있습니다. 다음 아티팩트는 모델 사용자 지정 작업을 생성할 때 지정한 S3 버킷에 업로드됩니다. + **훈련 및 검증 지표** - Amazon Bedrock은 모든 모델 사용자 지정 작업에 대한 훈련 지표를 제공합니다. 검증 지표는 일부 모델 사용자 지정 작업에도 포함됩니다. + **합성 데이터(모델 증류만 해당)** - Amazon Bedrock이 교사 모델에서 생성하고 [추출 작업](submit-model-distillation-job.md) 중에 학생 모델을 미세 조정하는 데 사용한 합성 데이터세트의 샘플 프롬프트입니다. 이 정보는 사용자 지정 모델이 훈련된 방식을 더 잘 이해하고 검증하는 데 도움이 될 수 있습니다. + **프롬프트 인사이트(모델 증류만 해당)** - 추출 중에 수락 및 거부된(이유와 함께) 입력 프롬프트에 대한 보고서입니다. 이 정보는 다른 추출 작업을 실행해야 하는 경우 프롬프트를 수정하고 구체화하는 데 도움이 될 수 있습니다. Amazon Bedrock은 사용자 지정 모델을 로 범위가 지정된 AWS 관리형 스토리지에 저장합니다 AWS 계정. 모델 평가 작업을 실행하여 모델을 평가할 수도 있습니다. 자세한 내용은 [Amazon Bedrock 리소스의 성능 평가](evaluation.md) 단원을 참조하십시오. 다음 예제는 S3 버킷에서 세부 훈련 및 검증 지표를 수행할 수 있는 위치를 보여줍니다. ``` - model-customization-job-{{training-job-id}}/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv ``` `step_wise_training_metrics.csv` 및 `validation_metrics.csv` 파일을 사용하여 모델 사용자 지정 작업을 분석하고, 필요에 따라 모델을 조정할 수 있습니다. `step_wise_training_metrics.csv` 파일의 열은 다음과 같습니다. + `step_number` – 훈련 프로세스의 단계입니다. 0부터 시작합니다. + `epoch_number` – 훈련 프로세스의 에포크입니다. + `training_loss` – 모델이 훈련 데이터에 얼마나 잘 맞는지 측정합니다. 값이 낮을수록 더 적합하다는 뜻입니다. + `perplexity` – 모델이 토큰 시퀀스를 얼마나 잘 예측할 수 있는지 나타냅니다. 값이 낮을수록 예측 능력이 좋다는 뜻입니다. `validation_metrics.csv` 파일의 열은 `training_loss` 대신 `validation_loss`(모델이 검증 데이터에 얼마나 잘 맞는지)가 표시되는 것을 제외하면 훈련 파일과 동일합니다. 출력 파일을 찾을 때는 [https://console.aws.amazon.com/s3](https://console.aws.amazon.com/s3) 페이지를 직접 열거나 모델 세부 정보 내에서 출력 폴더로 연결되는 링크를 찾으면 됩니다. 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다. ------ #### [ Console ] 1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명 AWS Management Console 으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다. 1. 왼쪽 탐색 창의 **조정**에서 **사용자 지정 모델**을 선택합니다. 1. **모델** 탭에서 세부 정보를 확인할 모델을 선택합니다. **작업 이름**은 **모델 세부 정보** 섹션에서 찾을 수 있습니다. 1. 출력 S3 파일을 확인하려면 **출력 데이터** 섹션에서 **S3 위치**를 선택합니다. 1. 폴더에서 이름이 모델의 **작업 이름**과 일치하는 훈련 및 검증 지표 파일을 찾습니다. ------ #### [ API ] 모든 사용자 지정 모델에 대한 정보를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)(요청 및 응답 형식과 필드 세부 정보는 링크 참조) 요청을 전송합니다. 사용할 수 있는 필터는 [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)를 참조하세요. 사용자 지정 모델의 모든 태그를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html) 요청을 전송하고 사용자 지정 모델의 Amazon 리소스 이름(ARN)을 포함합니다. 모델 사용자 지정 작업의 상태를 모니터링하려면 다음 중 하나인 `modelIdentifier`를 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)와 함께 사용하여 [GetCustomModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetCustomModel.html)(요청 및 응답 형식과 필드 세부 정보는 링크 참조) 요청을 전송합니다. + 모델에 제공한 이름입니다. + 모델의 ARN입니다. [GetModelCustomizationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetModelCustomizationJob.html) 또는 [GetCustomModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetCustomModel.html) 응답에서 모델 사용자 지정 작업의 `trainingMetrics` 및 `validationMetrics`를 확인할 수 있습니다. 훈련 및 검증 지표 파일을 다운로드하려면 [객체 다운로드](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html)의 단계를 따르세요. `outputDataConfig`에 제공한 S3 URI를 사용합니다. [코드 예시 보기](model-customization-code-samples.md) ------