기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
추출할 교사 및 학생 모델 선택
모델 추출에서 교사 및 학생 모델을 선택합니다.
-
교사 모델 선택
학생 모델보다 훨씬 더 크고 기능이 뛰어나며 사용 사례에 맞게 정확도를 달성하려는 교사 모델을 선택합니다. 추출의 효율성을 높이려면 사용 사례와 유사한 작업에 대해 이미 훈련된 모델을 선택합니다.
일부 교사 모델의 경우 교차 리전 추론 프로파일()을 선택할 수 있습니다교차 리전 추론을 통한 처리량 증가. 리전 간 추론은 지리 내에서 추론 요청을 처리할 최적의 AWS 리전을 자동으로 선택합니다. 이렇게 하면 사용 가능한 리소스와 모델 가용성을 극대화하여 고객 경험이 향상됩니다. 교차 리전 추론 프로파일을 사용하려면 추론 프로파일의 각 리전에 있는 모델 AWS 리전외에도에서 추론 프로파일을 호출할 수 있는 권한이 서비스 역할에 있어야 합니다. 정책 예제는 (선택 사항) 교차 리전 추론 프로파일을 사용하여 추출 작업을 생성할 수 있는 권한을 참조하십시오.
-
학생 모델 선택
교사 모델보다 크기가 훨씬 작은 학생 모델을 선택합니다. 학생 모델은 다음 표에서 교사 모델과 페어링된 학생 모델 중 하나여야 합니다.
다음 섹션에서는 Amazon Bedrock Model Distillation에 지원되는 모델 및 리전을 나열합니다. 교사와 학생 모델을 선택한 후에는 훈련 데이터 세트를 추출할 수 있도록 준비하고 최적화합니다. 자세한 내용은 추출을 위한 훈련 데이터 세트 준비 단원을 참조하십시오.
Amazon Bedrock 모델 추출에 지원되는 모델 및 리전
다음 표에는 교사 및 학생 모델에 대해가 지원하는 모델과 AWS 리전 Amazon Bedrock Model Distillation이 나와 있습니다. 교차 리전 추론 프로필을 사용하는 경우 모델 증류에는 시스템 추론 프로필만 지원됩니다. 자세한 내용은 교차 리전 추론을 통한 처리량 증가 단원을 참조하십시오.
| 공급자 | 교사 | 교사 ID | 추론 프로필 지원 | 학생 | 학생 ID | 리전 |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon.nova-pro-v1:0 | 둘 다 | Nova Lite Nova Micro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k |
미국 동부(버지니아 북부) |
| Nova Premier | amazon.nova-premier-v1:0 | 추론 프로필만 | Nova Lite Nova Micro Nova Pro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k amazon.nova-pro-v1:0:300k |
미국 동부(버지니아 북부) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | 둘 다 | Claude 3 하이쿠 |
anthropic.claude-3-haiku-20240307-v1:0:200k |
미국 서부(오리건) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | 둘 다 | Claude 3 하이쿠 |
anthropic.claude-3-haiku-20240307-v1:0:200k |
미국 서부(오리건) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405b-instruct-v1:0 | 온디맨드 | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-1-70b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k |
미국 서부(오리건) |
| Llama 3.1 70B | meta.llama3-1-70b-instruct-v1:0 | 둘 다 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
미국 서부(오리건) | |
| Llama 3.3 70B | meta.llama3-3-70b-instruct-v1:0 | 추론 프로필만 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
미국 서부(오리건) |
참고
-
추출된 모델로 추론을 수행할 수 있으려면 프로비저닝된 처리량을 구매해야 합니다.
-
Claude 및 Llama 모델의 경우 추출 작업은 미국 서부(오레곤)에서 실행됩니다. 미국 서부(오레곤)에서 프로비저닝된 처리량을 구매하거나 다른 리전에 배포된 모델을 복사한 다음 프로비저닝된 처리량을 구매할 수 있습니다.
-
Nova 모델의 경우 미국 동부(버지니아 북부)에서 추출 작업을 실행합니다. 추론을 위해서는 미국 동부(버지니아 북부)에서 프로비저닝된 처리량을 구매해야 합니다. Nova 모델을 다른 리전에 복사할 수 없습니다.
