기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
사용자 지정 모델 하이퍼파라미터
다음 참조 콘텐츠는 각 Amazon Bedrock 사용자 지정 모델을 훈련하는 데 사용할 수 있는 하이퍼파라미터를 다룹니다.
하이퍼파라미터는 학습률 또는 에포크 수와 같은 훈련 프로세스를 제어하는 파라미터입니다. Amazon Bedrock 콘솔을 사용하거나 CreateModelCustomizationJob API 작업을 호출하여 미세 조정 작업을 제출할 때 사용자 지정 모델 훈련용 하이퍼파라미터를 설정합니다.
Amazon Nova Lite Amazon Nova Micro 및 Amazon Nova Pro 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 자세한 내용은 모델을 사용자 지정하여 사용 사례에 맞게 성능 개선 단원을 참조하십시오.
Amazon Nova 모델 미세 조정에 대한 자세한 내용은 Amazon Nova 모델 미세 조정을 참조하세요.
지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | Type | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 정수 | 1 | 5 | 2 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 실수 | 1.00E-6 | 1.00E-4 | 1.00E-5 |
| 학습률 워밍업 단계 | learningRateWarmupSteps | 학습률이 지정된 비율까지 점진적으로 증가하는 반복 횟수입니다. | 정수 | 0 | 100 | 10 |
기본 에포크 번호는 2이며 대부분의 경우에 작동합니다. 일반적으로 데이터 세트가 클수록 수렴하는 데 필요한 에포크 수가 적고, 데이터 세트가 작을수록 수렴하는 데 더 많은 에포크가 필요합니다. 학습률을 높여서 수렴 속도를 높일 수도 있지만, 수렴 시 학습 불안정으로 이어질 수 있으므로 이는 바람직하지 않습니다. 복잡성과 데이터 크기가 다양한 태스크에 대한 평가를 기반으로 한 기본 하이퍼파라미터로 시작하는 것이 좋습니다.
워밍업 중에 학습 속도가 설정 값으로 점진적으로 증가합니다. 따라서 학습 샘플이 작을 때는 큰 워밍업 값을 피하는 것이 좋습니다. 학습 속도가 학습 과정 중에 설정 값에 도달하지 못할 수도 있기 때문입니다. 데이터세트 크기를 Amazon Nova Micro의 경우 640, Amazon Nova Lite의 경우 160, Amazon Nova Pro의 경우 320으로 나누어 워밍업 단계를 설정하는 것이 좋습니다.
Amazon Nova Canvas 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다.
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 8 | 192 | 8 |
| 단계(Steps) | StepCount | 모델이 각 배치에 노출된 횟수 | 10 | 20,000건 | 500 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 1.00E-7 | 1.00E-4 | 1.00E-5 |
Amazon Titan Text Premier 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | Type | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 정수 | 1 | 5 | 2 |
| 배치 크기(마이크로) | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 정수 | 1 | 1 | 1 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 실수 | 1.00E-7 | 1.00E-05 | 1.00E-06 |
| 학습률 워밍업 단계 | learningRateWarmupSteps | 학습률이 지정된 비율까지 점진적으로 증가하는 반복 횟수입니다. | 정수 | 0 | 20 | 5 |
Lite 및 Express와 같은 Amazon Titan Text 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | Type | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 정수 | 1 | 10 | 5 |
| 배치 크기(마이크로) | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 정수 | 1 | 64 | 1 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 실수 | 0.0 | 1 | 1.00E-5 |
| 학습률 워밍업 단계 | learningRateWarmupSteps | 학습률이 지정된 비율까지 점진적으로 증가하는 반복 횟수입니다. | 정수 | 0 | 250 | 5 |
Amazon Titan Image Generator G1 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다.
참고
stepCount에는 기본값이 없으므로 기본값을 지정해야 합니다. stepCount는 auto 값을 지원합니다. auto는 데이터세트의 크기를 기반으로 숫자를 자동으로 결정하여 훈련 비용보다 모델 성능을 우선시합니다. 훈련 작업 비용은 auto에서 결정되는 숫자에 따라 달라집니다. 작업 비용 계산 방법을 이해하고 관련 예제를 보려면 Amazon Bedrock 요금
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 8 | 192 | 8 |
| 단계(Steps) | StepCount | 모델이 각 배치에 노출된 횟수 | 10 | 40,000 | 해당 사항 없음 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 1.00E-7 | 1 | 1.00E-5 |
Amazon Titan Multimodal Embeddings G1 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
참고
epochCount에는 기본값이 없으므로 기본값을 지정해야 합니다. epochCount는 Auto 값을 지원합니다. Auto는 데이터세트의 크기를 기반으로 숫자를 자동으로 결정하여 훈련 비용보다 모델 성능을 우선시합니다. 훈련 작업 비용은 Auto에서 결정되는 숫자에 따라 달라집니다. 작업 비용 계산 방법을 이해하고 관련 예제를 보려면 Amazon Bedrock 요금
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | Type | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 정수 | 1 | 100 | 해당 사항 없음 |
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 정수 | 256 | 9,216 | 576 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 실수 | 5.00E-8 | 1 | 5.00E-5 |
Anthropic Claude 3 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
| 콘솔 이름 | API 이름 | 정의 | 기본값 | 최소 | 최대 |
|---|---|---|---|---|---|
| Epoch 수 | epochCount | 전체 훈련 데이터세트를 통한 최대 반복 횟수 | 2 | 1 | 10 |
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 32 | 4 | 256 |
| 학습률 멀티플라이어 | learningRateMultiplier | 각 배치 이후 모델 파라미터가 업데이트될 때 학습률에 영향을 미치는 멀티플라이어 | 1 | 0.1 | 2 |
| 조기 중지 임계값 | earlyStoppingThreshold | 훈련 프로세스의 조기 종료를 방지하는 데 필요한 검증 손실의 최소 개선 | 0.001 | 0 | 0.1 |
| 조기 중지 허용 한도 | earlyStoppingPatience | 훈련 프로세스를 중단하기 전 검증 손실 지표의 정체에 대한 허용 오차 | 2 | 1 | 10 |
Cohere Command 및 Cohere Command Light 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
Cohere 모델을 미세 조정하는 방법에 대한 자세한 내용은 https://docs.cohere.com/docs/fine-tuning
참고
epochCount 할당량은 조정이 가능합니다.
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | Type | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 정수 | 1 | 100 | 1 |
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 정수 | 8 | 8 (Command) 32 (Light) |
8 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 검증 데이터세트를 사용하는 경우 learningRate에 대한 값을 제공하지 않는 것이 좋습니다. |
실수 | 5.00E-6 | 0.1 | 1.00E-5 |
| 조기 중지 임계값 | earlyStoppingThreshold | 훈련 프로세스의 조기 종료를 방지하는 데 필요한 손실의 최소 개선 | 실수 | 0 | 0.1 | 0.01 |
| 조기 중지 허용 한도 | earlyStoppingPatience | 훈련 프로세스를 중단하기 전 손실 지표의 정체에 대한 허용 오차 | 정수 | 1 | 10 | 6 |
| 평가 백분율 | evalPercentage |
모델 평가를 위해 할당된 데이터세트의 백분율(별도의 검증 데이터세트를 제공하지 않은 경우) |
실수 | 5 | 50 | 20 |
Meta Llama 3.1 8B 및 70B 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
미세 조정 Meta Llama 모델에 대한 자세한 내용은 https://ai.meta.com/llama/get-started/#fine-tuning
참고
epochCount 할당량은 조정이 가능합니다.
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 1 | 10 | 5 |
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 1 | 1 | 1 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 5.00E-6 | 0.1 | 1.00E-4 |
Meta Llama 3.2 1B, 3B, 11B, 90B 모델은 모델 사용자 지정을 위해 다음과 같은 하이퍼파라미터를 지원합니다. 지정하는 에포크 수는 더 많은 토큰을 처리하여 모델 사용자 지정 비용을 높입니다. 각 에포크는 전체 훈련 데이터세트를 한 번 처리합니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금
미세 조정 Meta Llama 모델에 대한 자세한 내용은 https://ai.meta.com/llama/get-started/#fine-tuning
| 하이퍼파라미터(콘솔) | 하이퍼파라미터(API) | 정의 | 최소 | 최대 | 기본값 |
|---|---|---|---|---|---|
| 에포크 | epochCount | 전체 훈련 데이터 세트를 통한 반복 횟수 | 1 | 10 | 5 |
| 배치 크기 | batchSize | 모델 파라미터를 업데이트하기 전에 처리된 샘플 수 | 1 | 1 | 1 |
| 학습률 | learningRate | 각 배치 이후 모델 파라미터가 업데이트되는 비율 | 5.00E-6 | 0.1 | 1.00E-4 |
