翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
カスタムモデルのハイパーパラメータ
以下のリファレンスコンテンツでは、各 Amazon Bedrock カスタムモデルのトレーニングに使用できるハイパーパラメータについて説明します。
ハイパーパラメータは、学習率やエポック数など、トレーニングプロセスを制御するパラメータです。Amazon Bedrock コンソールまたは CreateModelCustomizationJob API オペレーションの呼び出しによってファインチューニングジョブを送信するときに、カスタムモデルトレーニングのハイパーパラメータを設定します。
Amazon Nova Lite モデル、Amazon Nova Micro モデル、Amazon Nova Pro モデルは、モデルのカスタマイズで以下の 3 つのハイパーパラメータをサポートしています。詳細については、「モデルをカスタマイズしてユースケースのパフォーマンスを向上させる」を参照してください。
Amazon Nova モデルのファインチューニングの詳細については、「Amazon Nova モデルのファインチューニング」を参照してください。
指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | タイプ | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | integer | 1 | 5 | 2 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | float | 1.00E-6 | 1.00E-4 | 1.00E-5 |
| 学習率のウォームアップステップ | learningRateWarmupSteps | 学習率が指定したレートまで徐々に増加する反復回数。 | integer | 0 | 100 | 10 |
デフォルトのエポック数は 2 で、これでほとんどの場合機能します。通常、データセットが大規模になるほど収束に必要なエポック数は少なく、データセットが小規模になるほど収束に必要なエポック数は多くなります。学習率を上げることで収束を早めることもできますが、収束時にトレーニングが不安定になる可能性があるため、あまり望ましくありません。デフォルトのハイパーパラメータから始めることをお勧めします。これらのハイパーパラメータは、さまざまな複雑さやデータサイズのタスクを対象として評価に基づいています。
学習率はウォームアップ中に、設定値まで徐々に増加します。このため、トレーニングサンプルが少ない場合は、トレーニングプロセス中に学習率が設定値に到達しない可能性があるため、ウォームアップ値を高く設定しないことをお勧めします。ウォームアップステップを設定するには、データセットサイズを Amazon Nova Micro の場合は 640、Amazon Nova Lite の場合は 160、Amazon Nova Pro の場合は 320 で割って設定することをお勧めします。
Amazon Nova Canvas モデルは、モデルのカスタマイズで以下のハイパーパラメータをサポートしています。
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|
| バッチサイズ | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | 8 | 192 | 8 |
| Steps | stepCount | モデルが各バッチに公開される回数 | 10 | 20,000 | 500 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | 1.00E-7 | 1.00E-4 | 1.00E-5 |
Amazon Titan Text Premier モデルは、モデルのカスタマイズで以下のハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | タイプ | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | integer | 1 | 5 | 2 |
| バッチサイズ (マイクロ) | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | integer | 1 | 1 | 1 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
| 学習率のウォームアップステップ | learningRateWarmupSteps | 学習率が指定したレートまで徐々に増加する反復回数。 | integer | 0 | 20 | 5 |
Lite や Express などの Amazon Titan Text モデルは、モデルのカスタマイズ用の以下のハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | タイプ | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | integer | 1 | 10 | 5 |
| バッチサイズ (マイクロ) | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | integer | 1 | 64 | 1 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | float | 0.0 | 1 | 1.00E-5 |
| 学習率のウォームアップステップ | learningRateWarmupSteps | 学習率が指定したレートまで徐々に増加する反復回数。 | integer | 0 | 250 | 5 |
Amazon Titan Image Generator G1 モデルは、モデルのカスタマイズで以下のハイパーパラメータをサポートしています。
注記
stepCount にはデフォルト値がないため、値を指定する必要があります。stepCount は値 auto をサポートします。auto は、データセットのサイズに基づいて数値を自動的に決定することで、トレーニングコストよりもモデルのパフォーマンスを優先します。トレーニングジョブのコストは、auto が決定する数によって異なります。ジョブコストの計算方法と例については、「Amazon Bedrock の料金
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|
| バッチサイズ | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | 8 | 192 | 8 |
| Steps | stepCount | モデルが各バッチに公開される回数 | 10 | 40,000 | 該当なし |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | 1.00E-7 | 1 | 1.00E-5 |
Amazon Titan Multimodal Embeddings G1 モデルは、モデルのカスタマイズ用の以下のハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
注記
epochCount にはデフォルト値がないため、値を指定する必要があります。epochCount は値 Auto をサポートします。Auto は、データセットのサイズに基づいて数値を自動的に決定することで、トレーニングコストよりもモデルのパフォーマンスを優先します。トレーニングジョブのコストは、Auto が決定する数によって異なります。ジョブコストの計算方法と例については、「Amazon Bedrock の料金
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | タイプ | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | integer | 1 | 100 | 該当なし |
| バッチサイズ | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | integer | 256 | 9,216 | 576 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | float | 5.00E-8 | 1 | 5.00E-5 |
Anthropic Claude 3 モデルは、モデルのカスタマイズのために以下のハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
| コンソール名 | API 名 | 定義 | デフォルト | 最小値 | 最大値 |
|---|---|---|---|---|---|
| エポック数 | epochCount | トレーニングデータセット全体を通した最大反復回数。 | 2 | 1 | 10 |
| バッチサイズ | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | 32 | 4 | 256 |
| 学習レート乗数 | learningRateMultiplier | 各バッチ後にモデルパラメータが更新される学習レートに影響する乗数 | 1 | 0.1 | 2 |
| 早期終了のしきい値 | earlyStoppingThreshold | トレーニングプロセスの早期終了を防ぐために必要な検証ロスの最小限の改善。 | 0.001 | 0 | 0.1 |
| 早期終了の許容値 | earlyStoppingPatience | トレーニングプロセスを停止する前の検証ロスメトリクスの停滞に対する許容値。 | 2 | 1 | 10 |
Cohere Command および Cohere Command Light モデルは、モデルのカスタマイズ用の以下のハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
Cohere モデルのファインチューニングについては、https://docs.cohere.com/docs/fine-tuning
注記
epochCount クォータは調整可能です。
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | タイプ | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | integer | 1 | 100 | 1 |
| バッチサイズ | batchSize | モデルパラメータの更新前に処理されたサンプルの数 | integer | 8 | 8 (Command) 32 (Light) |
8 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート。検証データセットを使用する場合、learningRate の値は指定しないことをお勧めします。 |
float | 5.00E-6 | 0.1 | 1.00E-5 |
| 早期終了のしきい値 | earlyStoppingThreshold | トレーニングプロセスの早期終了を防ぐために必要な損失の最小限の改善。 | float | 0 | 0.1 | 0.01 |
| 早期終了の許容値 | earlyStoppingPatience | トレーニングプロセスを停止する前の損失メトリックの停滞に対する許容値。 | integer | 1 | 10 | 6 |
| 評価の割合 | evalPercentage |
検証データセットを別途提供しない場合に、モデル評価に割り当てられるデータセットの割合。 |
float | 5 | 50 | 20 |
Meta Llama 3.1 8B および 70B モデルは、モデルのカスタマイズ用の以下のハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
Meta Llama モデルのファインチューニングについては、https://ai.meta.com/llama/get-started/#fine-tuning
注記
epochCount クォータは調整可能です。
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | 1 | 10 | 5 |
| バッチサイズ | batchSize | モデルパラメーターの更新前に処理されたサンプルの数 | 1 | 1 | 1 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | 5.00E-6 | 0.1 | 1.00E-4 |
Meta Llama 3.2 1B、3B、11B、90B のモデルは、モデルのカスタマイズで以下の 3 つのハイパーパラメータをサポートしています。指定するエポックの数に応じて処理するトークン数が増大するため、モデルのカスタマイズコストが増加します。各エポックは、トレーニングデータセット全体を 1 回処理します。料金に関する詳細については、「Amazon Bedrock の料金
Meta Llama モデルのファインチューニングについては、https://ai.meta.com/llama/get-started/#fine-tuning
| ハイパーパラメータ (コンソール) | ハイパーパラメータ (API) | 定義 | 最小値 | 最大値 | デフォルト |
|---|---|---|---|---|---|
| エポック | epochCount | トレーニングデータセット全体を通した反復回数。 | 1 | 10 | 5 |
| バッチサイズ | batchSize | モデルパラメーターの更新前に処理されたサンプルの数 | 1 | 1 | 1 |
| 学習率 | learningRate | 各バッチ後にモデルパラメータが更新されるレート | 5.00E-6 | 0.1 | 1.00E-4 |
