기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 추출을 위한 사전 조건
시작하기 전에 모델 증류에 대한 액세스 및 보안 제어를 이해해야 합니다. 또한 추출 작업에 대한 교사 및 학생 모델도 선택해야 합니다.
권한
시작하기 전에 모델 증류에 대한 액세스 및 보안 제어를 이해해야 합니다. 모델 증류 훈련 및 검증 데이터를 저장하려는 Amazon S3 버킷에 액세스할 수 있는 IAM 서비스 역할이 있어야 합니다. Amazon Bedrock에는 추출 작업 및 아티팩트를 암호화하고 추가로 보호하기 위한 옵션도 있습니다. 자세한 내용은 모델 사용자 지정 액세스 및 보안 단원을 참조하십시오.
추출 작업에서 교사 모델에 교차 리전 추론 프로파일을 사용하려면 추론 프로파일의 각 리전에 있는 모델 AWS 리전외에도에서 추론 프로파일을 호출할 수 있는 권한이 서비스 역할에 있어야 합니다. 정책 예제는 (선택 사항) 교차 리전 추론 프로파일을 사용하여 증류 작업을 생성할 수 있는 권한 섹션을 참조하세요. 교차 리전 추론에 대한 자세한 내용은 교차 리전 추론을 통한 처리량 증대 섹션을 참조하세요.
증류에 사용할 교사 모델 및 학생 모델 선택
| 모델 유형 | 선택 기준 | 주요 고려 사항 | 요구 사항 |
|---|---|---|---|
| 교사 모델 | 학생 모델보다 훨씬 더 크고 용량이 크며 사용 사례에 맞게 정확도를 달성할 수 있는 교사 모델을 선택하세요. | 증류의 효율성을 높이려면 사용 사례와 유사한 태스크에 대해 이미 훈련된 모델을 선택합니다. 일부 교사 모델의 경우 교차 리전 추론 프로파일을 선택할 수 있습니다. | 각 리전에서 추론 프로파일 및 모델을 호출할 수 있는 권한이 있어야 합니다. 정책 예제는 리전 간 추론 설명서를 참조하세요. |
| 학생 모델 | 교사 모델보다 크기가 훨씬 작은 학생 모델을 선택합니다. | 학생 모델은 지원되는 모델 테이블에서 교사 모델과 페어링된 학생 모델 중 하나여야 합니다. | 다음 표와 같이 선택한 교사 모델과 호환되어야 합니다. |
다음 섹션에서는 Amazon Bedrock Model Distillation에 지원되는 모델 및 리전을 나열합니다. 교사와 학생 모델을 선택한 후에는 훈련 데이터세트 증류를 위해 준비하고 최적화합니다. 자세한 내용은 증류를 위한 훈련 데이터세트 준비 단원을 참조하십시오.
Amazon Bedrock Model Distillation에 지원되는 리전 및 모델
다음 표에는 교사 및 학생 모델에 대해가 지원하는 모델과 AWS 리전 Amazon Bedrock Model Distillation이 나와 있습니다. 교차 리전 추론 프로필을 사용하는 경우 모델 증류에는 시스템 추론 프로필만 지원됩니다. 자세한 내용은 교차 리전 추론을 통한 처리량 증대 단원을 참조하십시오.
| 제공업체 | 교사 | 교사 ID | 추론 프로필 지원 | 학생 | 학생 ID | 리전 |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon.nova-pro-v1:0 | 둘 다 | Nova Lite Nova Micro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k |
미국 동부(버지니아 북부) |
| Nova Premier | amazon.nova-premier-v1:0 | 추론 프로필만 | Nova Lite Nova Micro Nova Pro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k amazon.nova-pro-v1:0:300k |
미국 동부(버지니아 북부) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | 둘 다 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
미국 서부(오리건) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | 둘 다 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
미국 서부(오리건) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405b-instruct-v1:0 | 온디맨드 | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-1-70b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-3-70b-instruct-v1:0:128k |
미국 서부(오리건) |
| Llama 3.1 70B | meta.llama3-1-70b-instruct-v1:0 | 둘 다 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
미국 서부(오리건) | |
| Llama 3.3 70B | meta.llama3-3-70b-instruct-v1:0 | 추론 프로필만 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
미국 서부(오리건) |
참고
-
Claude 및 Llama 모델의 경우, 증류 작업은 미국 서부(오리건)에서 실행됩니다. 미국 서부(오리건)에서 프로비저닝된 처리량을 구매하거나 다른 리전에 배포된 모델을 복사한 다음 프로비저닝된 처리량을 구매할 수 있습니다.
-
Nova 모델의 경우 미국 동부(버지니아 북부)에서 증류 작업을 실행합니다. 추론을 위해서는 미국 동부(버지니아 북부)에서 프로비저닝된 처리량을 구매해야 합니다. Nova 모델을 다른 리전에 복사할 수 없습니다.
