증류에 사용할 교사 모델 및 학생 모델 선택 - Amazon Bedrock
Amazon Bedrock 증류에 지원되는 리전 및 모델

증류에 사용할 교사 모델 및 학생 모델 선택

모델 증류를 위해 교사 및 학생 모델을 선택합니다.

  • 교사 모델 선택

    학생 모델보다 훨씬 더 크고 용량이 크며 사용 사례에 맞게 정확도를 달성할 수 있는 교사 모델을 선택하세요. 증류의 효율성을 높이려면 사용 사례와 유사한 태스크에 대해 이미 훈련된 모델을 선택합니다.

    일부 교사 모델의 경우 크로스 리전 추론 프로파일(교차 리전 추론을 통한 처리량 증대)을 선택할 수 있습니다. 크로스 리전 추론은 지리 내에서 추론 요청을 처리할 최적의 AWS 리전을 자동으로 선택합니다. 이렇게 하면 사용 가능한 리소스와 모델 가용성을 극대화하여 고객 경험이 향상됩니다. 크로스 리전 추론 프로파일을 사용하려면 추론 프로파일의 각 리전에 있는 모델 외에도 서비스 역할에 AWS 리전에서 추론 프로파일을 간접 호출할 수 있는 권한이 있어야 합니다. 정책 예제는 (선택 사항) 교차 리전 추론 프로파일을 사용하여 증류 작업을 생성할 수 있는 권한을 참조하십시오.

  • 학생 모델 선택

    교사 모델보다 크기가 훨씬 작은 학생 모델을 선택합니다. 학생 모델은 다음 표에서 교사 모델과 페어링된 학생 모델 중 하나여야 합니다.

다음 섹션에서는 Amazon Bedrock Model Distillation에 지원되는 모델 및 리전을 나열합니다. 교사와 학생 모델을 선택한 후에는 훈련 데이터세트 증류를 위해 준비하고 최적화합니다. 자세한 내용은 증류를 위한 훈련 데이터세트 준비 섹션을 참조하세요.

Amazon Bedrock Model Distillation에 지원되는 리전 및 모델

다음 표에는 교사 및 학생 모델에 대해가 지원하는 모델과 AWS 리전 Amazon Bedrock Model Distillation이 나와 있습니다. 교차 리전 추론 프로필을 사용하는 경우 모델 증류에는 시스템 추론 프로필만 지원됩니다. 자세한 내용은 교차 리전 추론을 통한 처리량 증대 섹션을 참조하세요.

공급자 교사 교사 ID 추론 프로필 지원 학생 학생 ID 리전
Amazon Nova Pro amazon.nova-pro-v1:0 모두

Nova Lite

Nova Micro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

 미국 동부(버지니아 북부)
Nova Premier amazon.nova-premier-v1:0 추론 프로필만

Nova Lite

Nova Micro

Nova Pro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

amazon.nova-pro-v1:0:300k

 미국 동부(버지니아 북부)
Anthropic Claude 3.5 v1 anthropic.claude-3-5-sonnet-20240620-v1:0 모두

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

 미국 서부(오리건)
Claude 3.5 v2 anthropic.claude-3-5-sonnet-20241022-v2:0 모두

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

 미국 서부(오리건)
Meta Llama 3.1 405B meta.llama3-1-405b-instruct-v1:0 온디맨드

Llama 3.1 8B

Llama 3.1 70B

Llama 3.2 1B

Llama 3.3 70B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-1-70b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-3-70b-instruct-v1:0:128k

 미국 서부(오리건)
Llama 3.1 70B meta.llama3-1-70b-instruct-v1:0 모두

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

 미국 서부(오리건)
Llama 3.3 70B meta.llama3-3-70b-instruct-v1:0 추론 프로필만

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

 미국 서부(오리건)
참고