使用 SageMaker 訓練任務微調 Amazon Nova 模型

SFT

SFT 資料格式需求 - 對於完整排名 SFT 和 LoRA SFT，資料應遵循 Converse 格式。如需此格式的範例和限制條件，請參閱準備資料以進行微調了解模型。

SFT 資料驗證 - 若要在提交之前驗證資料集格式，我們建議您從 Amazon Bedrock 範例儲存庫使用以下驗證指令碼。此驗證工具有助於確保您的jsonl檔案符合所需的格式規格，並在提交微調任務之前識別任何潛在問題。

DPO

DPO 資料格式需求 - 對於完整排名的 DPO 和具有 LoRA 的 DPO，資料應遵循 Converse 格式。資料集也需要採用與 SFT 類似的格式，但最後一個回合需要有偏好設定對。

DPO 資料集其他限制條件 - SFT 對資料集的其他限制條件相同。如需詳細資訊，請參閱資料集限制條件。需要一個用於訓練的 JSONL 檔案和一個用於驗證的 JSONL 檔案。驗證集是選用的。

DPO 資料集建議 - 用於有效訓練的最少 1，000 個偏好設定對。高品質偏好設定資料將產生更有效率的結果。

範例 DPO 資料格式

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

範例 DPO 資料格式 （多轉）

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

範例 DPO 資料格式 （含影像）

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

訓練任務預設為 1 天的時間限制，但下表中的預估值會假設 5 天的訓練持續時間以供說明之用。最佳實務是，建議您將訓練時間限制提高到最多 28 天，以適應較長的訓練工作負載。若要請求提高限制，請參閱請求提高配額。

SFT 資料集限制

DPO 資料集限制

透過減少 epoch 的數量或記錄的內容長度，您可以提供更多記錄。