微調 Nova 1.0

SFT

SFT 資料格式需求 - 對於完整排名 SFT 和 LoRA SFT，資料應遵循如下所示的格式。如需此格式的範例和限制條件，請參閱準備資料以微調理解模型。

SFT 資料驗證 - 若要在提交之前驗證資料集格式，建議您使用 Amazon Bedrock 範例儲存庫中的以下驗證指令碼。此驗證工具有助於確保您的 jsonl 檔案符合所需的格式規格，並在提交微調任務之前找出任何潛在問題。

DPO

DPO 資料格式需求 - 對於完整排名的 DPO 和具有 LoRA 的 DPO，資料應遵循如下所示的格式。資料集也必須採用與 SFT 類似的格式，但最後一回合需要有偏好設定對。

DPO 資料集其他限制條件 - 資料集的其他限制條件與 SFT 的相同。如需詳細資訊，請參閱資料集限制條件。預計要有一個 JSONL 檔案用於訓練，並有一個 JSONL 檔案用於驗證。驗證集是選用的。

DPO 資料集建議 - 需要至少 1,000 個偏好設定對，才能得到有效的訓練。高品質偏好設定資料將產生更有效率的結果。

範例 DPO 資料格式

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

範例 DPO 資料格式 (多回合)

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

範例 DPO 資料格式 (含影像)

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

訓練任務預設為 1 天的時間限制，但為了說明，下表中的預估值假設訓練持續時間為 5 天。最佳實務是，建議您將訓練時間限制延長為上限 28 天，以因應較長的訓練工作負載。若要請求增加限制，請參閱請求增加配額。

SFT 資料集限制

DPO 資料集限制

透過減少 epoch 的數量或記錄的內容長度，您可以提供更多記錄。