SageMaker トレーニングジョブを使用した Amazon Nova モデルの微調整

SageMaker トレーニングジョブで Amazon Nova モデルをファインチューニングすると、特定のユースケースに合わせて基盤モデルをカスタマイズする強力な方法が提供されます。

前提条件

トレーニングジョブを開始する前に、次の点に注意してください。

データ準備

高品質で適切にフォーマットされたデータを準備することは、大規模言語モデルのファインチューニングプロセスにおける重要な最初のステップです。教師ありファインチューニング (SFT) と Direct Preference Optimization (DPO) のどちらをフルランクまたは低ランク適応 (LoRA) アプローチで使用する場合でも、モデルトレーニングを成功させるには、データは特定の形式要件に従う必要があります。このセクションでは、Amazon Nova モデルの微調整のためにデータセットを効果的に準備するために必要なデータ形式、検証方法、ベストプラクティスの概要を説明します。

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

フルランク SFT および LoRA PEFT 設定

このセクションでは、フルランク教師ありファインチューニング (SFT) アプローチと低ランク適応パラメータ効率ファインチューニング (LoRA PEFT) アプローチの両方のレシピ設定に関するガイダンスについて説明します。これらのレシピファイルは、モデルカスタマイズジョブの設計図として機能し、モデルがデータから学習する方法を決定するトレーニングパラメータ、ハイパーパラメータ、およびその他の重要な設定を指定できます。ハイパーパラメータを調整するには、「ハイパーパラメータの選択」のガイドラインに従います。

ファインチューニング設定 (フルランク SFT および LoRA PEFT)

レシピの点でフルランク SFT と LoRA PEFT の唯一の違いはLoRA PEFT 設定です。これはフルランクの場合は「null」に設定され、LoRA PEFT ベースのファインチューニングを使用する場合は適切な値に設定されます。サンプルレシピは、SageMaker HyperPod レシピ GitHub リポジトリで利用できます。次の表は、役に立つ可能性のある詳細な設定を示しています。

「実行」設定について。

「training_config」設定について。

特定の設定の微調整 (DPO)

LoRA PEFT と FullRank SFT と比較した Direct Preference Optimization (DPO) の違いは、dpo_cfg 設定と許容値のみです。DPO 専用に許可されている については、例の下の表を参照してください。サンプルレシピは、SageMaker HyperPod レシピ GitHub リポジトリで利用できます。次の表は、役に立つ可能性のある詳細な設定を示しています。

カスタマイズされた Nova モデルを SageMaker トレーニングジョブで実行する

このセクションでは、Jupyter ノートブック環境を使用して SageMaker トレーニングジョブでカスタマイズされた Nova モデルを実行する方法を示します。トレーニングジョブの設定と起動のプロセスを説明する完全な例と、適切なコンテナイメージ URIs とインスタンス設定を選択するためのリファレンステーブルがあります。このアプローチにより、SageMaker のマネージドインフラストラクチャを活用してモデルをカスタマイズしながら、ファインチューニングワークフローをプログラムで制御できます。詳細については、SageMaker AI 推定器を使用してトレーニングジョブを実行する」を参照してください。

リファレンステーブル

サンプルノートブックを実行する前に、次の表を参照して、適切なコンテナイメージ URIs とインスタンス設定を選択してください。

イメージ URI の選択

インスタンスタイプとカウントの選択

サンプルノートブック

次のサンプルノートブックは、トレーニングジョブを実行する方法を示しています。SageMaker AI トレーニングジョブを使用して Nova モデルをカスタマイズする方法に関するその他の入門ノートブックについては、SageMaker AI 推定器を使用してトレーニングジョブを実行する」を参照してください。

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

ハイパーパラメータ最適化ガイダンス

Nova LLM モデルを効果的に微調整するには、ハイパーパラメータを慎重に選択する必要があります。このセクションでは基本的なレシピ構造とコンポーネントについて説明しますが、特定のユースケースに合わせてハイパーパラメータを最適化するには、追加のガイダンスが必要になることがよくあります。ハイパーパラメータの選択、ベストプラクティス、最適化戦略に関する包括的な推奨事項については、「ハイパーパラメータの選択」を参照してください。このリソースでは、データセットの特性とトレーニング目標に基づいて、適切な学習率、バッチサイズ、トレーニングエポック、その他の重要なパラメータを選択するための詳細なガイダンスを提供します。最適なモデルパフォーマンスを実現するためにレシピ設定を微調整する場合は、このガイドを参照することをお勧めします。

エポック、学習レート、学習ウォームアップステップの最小値、最大値、デフォルト値の詳細については、「モデルを理解する」の「ハイパーパラメータ」を参照してください。

一般的なレシピの変更

特定のユースケースに基づく一般的なレシピ調整は次のとおりです。