ファインチューニング用または継続的な事前トレーニング用にモデルのカスタマイズジョブを送信する - Amazon Bedrock
前提条件ジョブを送信する

ファインチューニング用または継続的な事前トレーニング用にモデルのカスタマイズジョブを送信する

Amazon Bedrock コンソールまたは API でファインチューニングまたは継続的な事前トレーニングを使用すると、カスタムモデルを作成できます。既存のカスタムモデルをさらにファインチューニングできます。カスタムジョブは数時間かかる場合があります。ジョブの所要時間は、トレーニングデータのサイズ (レコード、入力トークン、出力トークンの数)、エポック数、バッチサイズによって異なります。

前提条件

  • モデルのカスタマイズのトレーニングデータと検証データを保存する S3 バケットにアクセスするには、AWS Identity and Access Management (IAM) サービスロールを作成します。このロールは、AWS マネジメントコンソールを使用して自動的に作成することも、手動で作成することもできます。手動オプションの詳細については、「モデルのカスタマイズ用のサービスロールを作成する」を参照してください。

  • (オプション) カスタムモデルに対する入出力データ、カスタマイズジョブ、または推論リクエストを暗号化します。詳細については、「カスタムモデルの暗号化」を参照してください。

  • (オプション) 仮想プライベートクラウド (VPC) を作成し、カスタマイズジョブを保護します。詳細については、「(オプション) VPC を使用してモデルのカスタマイズのジョブを保護する」を参照してください。

ジョブを送信する

任意の方法のタブを選択し、その手順に従います。

Console

コンソールでモデルカスタムジョブを送信するには、次の手順を実行します。

  1. Amazon Bedrock コンソールを使用するためのアクセス許可を持つ IAM ID を使用して、AWS マネジメントコンソールにサインインします。Amazon Bedrock コンソール (https://console.aws.amazon.com/bedrock) を開きます。

  2. 左側のナビゲーションペインの [調整] で [カスタムモデル] を選択します。

  3. [モデル] タブで、[モデルをカスタマイズ] を選択し、トレーニングにするモデルの種類に応じて、[ファインチューニングジョブを作成] または [継続的な事前トレーニングジョブを作成] を選択します。

  4. [モデルの詳細] セクションで、次の手順を実行します。

    1. 独自のデータでカスタマイズするモデルを選択し、結果のモデルに名前を付けます。基盤モデルまたは以前にカスタマイズしたモデル (ファインチューニング済みまたは蒸留済み) をベースモデルとして選択できます。

    2. (オプション) デフォルトでは、Amazon Bedrock は、AWS が所有および管理しているキーを使用してモデルを暗号化します。カスタム KMS キーを使用するには、[モデルの暗号化] を選択し、キーを選択します。

    3. (オプション) タグにカスタムモデルを関連付けるには、[タグ] セクションを展開し、[新しタグを追加] を選択します。

  5. [ジョブの設定] セクションで、ジョブの名前を入力し、オプションで、ジョブに関連付けるタグを追加します。

  6. (オプション) 仮想プライベートクラウド (VPC) を使用してトレーニングデータとカスタムジョブを保護するには、[VPC 設定] セクションで、入力データと出力データ Amazon S3 の場所、そのサブネット、セキュリティグループを含む VPC を選択します。

    注記

    VPC 設定を含める場合は、コンソールは、そのジョブに対して新しいサービスロールを作成できません。カスタムサービスロールを作成し、モデルのカスタマイズロールに VPC アクセス許可をアタッチする で説明されている例と類似するアクセス許可を追加します。

  7. [入力データ] セクションで、トレーニングデータセットファイルの S3 の場所を選択し、該当する場合は検証データセットファイルを選択します。

  8. [ハイパーパラメータ] セクションで、トレーニングで使用する以下のハイパーパラメータの値を入力します。

  9. [出力データ] セクションに、Amazon Bedrock がジョブの出力を保存する Amazon S3 ロケーションを入力します。Amazon Bedrock は、各エポックのトレーニング損失メトリクスと検証損失メトリクスは、ユーザーが指定するロケーションの個別のファイルに保存します。

  10. [サービスアクセス] セクションで、次のいずれかの操作を行います。

    • 既存のサービスロールを使用 - ドロップダウンリストからサービスロールを選択します。適切なアクセス許可を持つカスタムロールをセットアップする方法の詳細については、「Create a service role for model customization」を参照してください。

    • 新しいサービスロールを作成して使用 - サービスロールの名前を入力します。

  11. [ファインチューニングモデル] または [継続的な事前トレーニングジョブ] を選択してジョブを開始します。

API

リクエスト

Amazon Bedrock コントロールプレーンエンドポイント を使用して、CreateModelCustomizationJob リクエスト(リクエストとレスポンスの形式とフィールドの詳細についてはリンクを参照)を送信し、モデルカスタムジョブを送信します。最低限、次のフィールドを指定する必要があります。

  • roleArn – モデルをカスタマイズするアクセス許可を持つサービスロールの ARN。Amazon Bedrock は、コンソールを使用する場合に適切なアクセス許可を持つロールを自動的に作成できます。ユーザーがカスタムロールを作成する場合は、Create a service role for model customization の手順を実行します。

    注記

    vpcConfig フィールドを含める場合は、ロールに VPC にアクセスするための適切なアクセス許可があることを確認します。例については、モデルのカスタマイズロールに VPC アクセス許可をアタッチするを参照してください。

  • baseModelIdentifier – カスタマイズする基盤モデルまたは以前にカスタマイズしたモデル (ファインチューニング済みまたは蒸留済み) のモデル ID あるいは ARN。

  • customModelName - 新しくカスタマイズしたモデルに付ける名前。

  • jobName - トレーニングジョブに付ける名前。

  • hyperParameters – モデルのカスタムプロセスに影響するハイパーパラメータ。

  • trainingDataConfig - トレーニングデータセットの Amazon S3 URI を含むオブジェクト。カスタマイズ方法とモデルに応じて、validationDataConfig を含めることもできます。データセットの準備については、「ファインチューニングと継続的な事前トレーニングのためにトレーニングデータセットを準備する」を参照してください。

  • validationDataconfig - 検証データセットの Amazon S3 URI を含むオブジェクト。

  • outputDataConfig - 出力データを書き込む Amazon S3 URI を含むオブジェクト。

customizationType を指定しない場合、モデルカスタム方法は、デフォルトで FINE_TUNING になります。

リクエストが複数回完了しないようにするには、clientRequestToken を含めます。

追加の設定には、次のオプションフィールドを含めることができます。

レスポンス

レスポンスは、ジョブの監視または停止に使用する jobArn を返します。

コード例を見る