Nova 1.0 をファインチューニングする

SFT

SFT データ形式の要件 - フルランク SFT と LoRA SFT の両方について、データは以下に示す形式に従う必要があります。この形式の例と制約については、「理解モデルのファインチューニングのためのデータの準備」を参照してください。

SFT データ検証 - 送信前にデータセット形式を検証するには、Amazon Bedrock サンプルリポジトリから次の検証スクリプトを使用することをお勧めします。この検証ツールは、ファインチューニングジョブを送信する前に、jsonl ファイルが必須の形式仕様に準拠していることを確認し、潜在的な問題を特定するのに役立ちます。

DPO

DPO データ形式の要件 - フルランクの DPO と LoRA を使用する DPO の両方について、データは以下に示す形式に従う必要があります。また、データセットは SFT と同様の形式にする必要があります。ただし、最後のターンにはプリファレンスペアが必要です。

DPO データセットのその他の制約 - データセットのその他の制約は SFT でも同じです。詳細については、「データセットの制約」を参照してください。トレーニング用の 1 つの JSONL ファイルと検証用の 1 つの JSONL ファイルが必要です。検証セットは必須ではありません。

DPO データセットの推奨事項 - 効果的なトレーニングのために最低 1,000 個のプリファレンスペア。高品質のプリファレンスデータを使用すると、より効率的な結果が得られます。

サンプル DPO データ形式

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

サンプル DPO データ形式 (マルチターン)

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

サンプル DPO データ形式 (画像あり)

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

トレーニングジョブのデフォルトは 1 日間の時間制限ですが、以下の表の見積もりでは、わかりやすくするために 5 日間のトレーニング期間を想定しています。ベストプラクティスとして、より長いトレーニングワークロードに対応するために、トレーニング時間の制限を最大 28 日間に増やすことをお勧めします。制限の引き上げをリクエストするには、「クォータ引き上げのリクエスト」を参照してください。

SFT データセットの制限

DPO データセットの制限

エポックの数やレコードのコンテキスト長を減らすことで、より多くのレコードを提供できます。