微调 Nova 1.0

SFT

SFT 数据格式要求——对于全级 SFT 和 LoRa SFT，数据应遵循如下所示的格式。有关此格式的示例和限制，请参阅为微调理解模型准备数据。

SFT 数据验证：要在提交数据集之前验证您的数据集格式，我们建议使用 Amazon Bedrock 示例存储库中的以下验证脚本。此验证工具将有助于确保您的 jsonl 文件符合所需的格式规范，并在提交微调作业之前发现任何潜在的问题。

DPO

DPO 数据格式要求——对于全等级的 DPO 和使用 LoRa 的 DPO，数据都应遵循如下所示的格式。数据集还必须与 SFT 采用相似的格式，唯一的不同是最后一轮需要有偏好对。

DPO 数据集其他限制：数据集的其他限制与 SFT 相同。有关更多信息，请参阅数据集限制。需要一个 JSONL 文件用于训练，一个 JSONL 文件用于验证。验证集是可选的。

DPO 数据集建议：有至少 1000 个偏好对，便于实现高效训练。高质量的偏好数据将带来更有效的结果。

DPO 数据格式示例

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

DPO 数据格式示例（多轮）

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

DPO 数据格式示例（含图片）

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

训练作业默认为 1 天的时间限制，但出于说明目的，下表中的估计值假设训练持续时间为 5 天。作为最佳实践，我们建议将训练时间限制延长至最长 28 天，以适应更久的训练工作负载。要请求增加限额，请参阅 Requesting a quota increase。

SFT 数据集限制

DPO 数据集限制

通过减少 epoch 数量或者记录上下文长度，您可以提供更多记录。