View a markdown version of this page

Amazon Bedrock에서 모델 증류 작업 제출 - Amazon Bedrock
사전 조건작업 제출다음 단계

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock에서 모델 증류 작업 제출

Amazon Bedrock 콘솔을 통해 또는 Amazon Bedrock 컨트롤 플레인 엔드포인트로 CreateModelCustomizationJob 요청을 전송하여 모델 증류를 수행할 수 있습니다.

사전 조건

온디맨드 추론 설정에 대한 자세한 내용은 섹션을 참조하세요사용자 지정 모델의 추론 설정.

작업 제출

Console

  1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명 AWS Management Console 으로에 로그인합니다. 그 다음 https://console.aws.amazon.com/bedrock에서 Amazon Bedrock 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 조정에서 사용자 지정 모델을 선택합니다.

  3. 증류 작업 생성을 선택합니다.

  4. 증류된 모델 세부 정보에서 다음을 수행합니다.

    1. 증류된 모델 이름에 증류된 모델의 이름을 입력합니다.

    2. (선택 사항) 작업 및 관련 아티팩트를 암호화하기 위한 KMS 키를 제공하려면 모델 암호화에서 확인란을 선택합니다.

      자세한 내용은 사용자 지정 모델 암호화 단원을 참조하십시오.

    3. (선택 사항) 증류된 모델에 태그를 적용합니다.

  5. 작업 구성에서 다음을 수행합니다.

    1. 작업 이름의 경우 증류 작업의 이름을 입력합니다.

    2. (선택 사항) 작업 및 관련 아티팩트를 암호화하기 위한 KMS 키를 제공하려면 모델 암호화에서 확인란을 선택합니다.

      자세한 내용은 사용자 지정 모델 암호화 단원을 참조하십시오.

    3. (선택 사항) 작업에 태그를 적용합니다.

  6. 교사 모델 - 학생 모델 세부 정보에서 증류된 모델을 생성할 교사 및 학생 모델을 선택합니다.

    자세한 내용은 모델 추출을 위한 사전 조건 단원을 참조하십시오.

  7. 합성 데이터 생성의 경우 다음을 수행합니다.

    1. 최대 응답 길이에 대해 교사 모델에서 생성된 합성 응답의 최대 길이를 지정합니다.

    2. 증류 입력 데이터세트에서 다음 옵션 중 하나를 선택합니다.

      • S3 위치에 직접 업로드 - 증류에 사용할 입력 데이터세트(프롬프트)를 저장할 S3 위치를 지정합니다. 자세한 내용은 옵션 1: 데이터 준비를 위한 자체 프롬프트 제공 단원을 참조하십시오.

      • 간접 호출 로그에 대한 액세스 제공 - 증류에 사용할 입력 데이터세트(프롬프트)와 함께 간접 호출 로그를 저장할 S3 위치를 지정합니다. 자세한 내용은 옵션 2: 데이터 준비를 위한 간접 호출 로그 사용 단원을 참조하십시오.

        • (선택 사항) Amazon Bedrock이 로그의 특정 프롬프트만 증류에 사용하도록 하려면 메타데이터 필터 요청에서 필터를 지정합니다.

        • Amazon Bedrock이 로그에서 액세스할 항목에 따라 프롬프트 읽기 또는 프롬프트-응답 페어 읽기를 선택합니다. 교사 모델이 로그의 모델과 일치하는 경우에만 응답을 읽습니다.

  8. 증류 출력에서 증류 작업에 대한 지표 및 보고서를 업로드할 S3 위치를 지정합니다.

    자세한 내용은 모델 사용자 지정 작업 결과 분석 단원을 참조하십시오.

  9. VPC 설정에서 훈련 데이터를 사용하여 S3 버킷에 액세스하기 위한 VPC 구성을 선택합니다.

    자세한 내용은 (선택 사항) VPC를 사용하여 모델 사용자 지정 작업 보호 단원을 참조하십시오.

  10. 서비스 액세스에서 훈련 데이터를 사용하여 S3 버킷에 액세스하기 위한 IAM 역할을 지정합니다. 교차 리전 추론 프로파일 또는 VPC 구성을 사용하지 않는 한, Amazon Bedrock 콘솔에서 자동으로 구성된 올바른 권한으로 이 역할을 생성할 수 있습니다. 또는 기존 서비스 역할을 사용할 수 있습니다.

    Amazon VPC 구성이 있거나 교차 리전 추론 프로파일을 사용하는 작업의 경우 필요한 권한이 있는 새 서비스 역할을 IAM에서 생성해야 합니다.

    자세한 내용은 모델 사용자 지정을 위한 IAM 서비스 역할 생성 단원을 참조하십시오.

  11. 증류 작업 생성을 선택하여 증류 작업을 시작합니다. 모델을 사용자 지정한 후 모델에 대한 추론을 설정할 수 있습니다. 자세한 내용은 사용자 지정 모델의 추론 설정 단원을 참조하십시오.

API

Amazon Bedrock API를 사용할 때 모델 증류 작업을 제출하려면 최소한 다음 필드를 입력해야 합니다.

필드 설명
baseModelIdentifier 학생 모델의 모델 식별자
customModelName 새 증류 모델의 이름
jobName 모델 증류 작업의 이름
roleArn Amazon Bedrock에 훈련 및 검증 파일을 읽고 출력 경로에 쓸 수 있는 권한을 부여하는 역할
trainingDataConfig 훈련 데이터가 있는 Amazon S3 경로
outputDataConfig 훈련 및 검증 지표가 포함된 Amazon S3 경로
distillationConfig 증류 작업에 필요한 입력 정보
customModelKmsKeyId 사용자 지정 모델 암호화
clientRequestToken 요청이 두 번 이상 완료되지 않도록 방지하는 토큰

다음 필드는 선택 사항입니다.

필드 설명
customizationType 증류 작업의 경우 기본적으로 DISTILLATION 으로 설정
validationDataConfig 검증 데이터 Amazon S3 경로 목록
jobTags 태그를 작업과 연결
customModelTags 태그를 결과로 나타나는 사용자 지정 모델과 연결
vpcConfig 훈련 데이터 및 증류 작업을 보호하기 위한 VPC

요청이 두 번 이상 완료되지 않도록 하려면 clientRequestToken을 포함합니다.

추가 구성을 위해 다음과 같은 선택적 필드를 포함할 수 있습니다.

다음은 CreateModelCustomizationJob API의 예제 코드 조각입니다. 이 예제에서는 간접 호출 로그의 프롬프트-응답 페어를 입력 데이터 소스로 사용하고 프롬프트-응답 페어를 선택하기 위한 필터를 지정합니다.

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

응답

응답은 모델 증류 작업의 jobArn을 반환합니다.

다음 단계