使用 SageMaker 训练作业微调 Amazon Nova 模型

SFT

SFT 数据格式要求——对于全级 SFT 和 LoRa SFT，数据都应遵循匡威格式。有关此格式的示例和约束条件，请参阅准备数据以进行微调了解模型。

SFT 数据验证-要在提交数据集之前验证您的数据集格式，我们建议使用 Amazon Bedrock 示例存储库中的以下验证脚本。此验证工具将有助于确保您的jsonl文件符合所需的格式规范，并在提交微调作业之前识别出任何潜在的问题。

DPO

DPO 数据格式要求——对于全等级的 DPO 和使用 LoRa 的 DPO，数据都应遵循匡威格式。数据集还必须采用与 SFT 相似的格式，唯一的不同是最后一回合需要有偏好对。

DPO 数据集其他约束-SFT 对数据集的其他限制相同。有关更多信息，请参阅数据集约束。需要一个用于训练的 JSONL 文件和一个用于验证的 JSONL 文件。验证集是可选的。

DPO 数据集建议-至少 1,000 个偏好对，便于有效训练。高质量的偏好数据将带来更有效的结果。

DPO 数据格式示例

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

DPO 数据格式示例（多圈）

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

DPO 数据格式示例（含图片）

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

训练作业默认为 1 天的时间限制，但出于说明目的，下表中的估计值假设训练持续时间为 5 天。作为最佳实践，我们建议将训练时限延长至最长 28 天，以适应更长的训练工作量。要申请提高限额，请参阅申请增加配额。

SFT 数据集限制

DPO 数据集限制

通过减少记录的时代数量或上下文长度，您可以提供更多记录。