Nova 1.0 미세 조정

SFT

SFT 데이터 형식 요구 사항 - 전체 순위 SFT 및 LoRA SFT 모두에 대해 데이터는 아래 표시된 형식을 따라야 합니다. 이 형식의 예시 및 제약 조건은 이해 모델 미세 조정을 위한 데이터 준비를 참조하세요.

SFT 데이터 검증 - 제출 전에 데이터세트 형식을 검증하려면 Amazon Bedrock 샘플 리포지토리의 다음 검증 스크립트를 사용하는 것이 좋습니다. 이 검증 도구는 jsonl 파일이 필요한 형식 사양을 준수하는지 확인하고 미세 조정 작업을 제출하기 전에 잠재적 문제를 식별하는 데 도움이 됩니다.

DPO

DPO 데이터 형식 요구 사항 - 풀 랭크의 DPO와 LoRA의 DPO 모두에 대해 데이터는 아래 표시된 형식을 따라야 합니다. 또한 데이터세트는 SFT와 유사한 형식이어야 합니다. 단, 마지막 턴에는 기본 설정 페어가 있어야 합니다.

DPO 데이터세트 기타 제약 조건 - 데이터세트에 대한 다른 제약 조건은 SFT에 대해 동일합니다. 자세한 내용은 데이터세트 제약 조건을 참조하세요. 훈련용 JSONL 파일 하나와 검증용 JSONL 파일 하나가 필요합니다. 검증 세트는 선택 사항입니다.

DPO 데이터세트 권장 사항 - 효과적인 훈련을 위한 최소 1,000개의 기본 설정 페어. 고품질 기본 설정 데이터를 사용하면 더 효율적인 결과를 얻을 수 있습니다.

샘플 DPO 데이터 형식

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

샘플 DPO 데이터 형식(다중 턴)

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

샘플 DPO 데이터 형식(이미지 포함)

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

아래 표의 추정치는 설명을 위해 5일의 훈련 기간을 가정하지만 훈련 작업은 기본적으로 1일의 시간 제한이 적용됩니다. 더 긴 훈련 워크로드를 수용하려면 훈련 시간 제한을 최대 28일로 늘리는 것이 좋습니다. 제한 증가를 요청하려면 Requesting a quota increase를 참조하세요.

SFT 데이터세트 제한

DPO 데이터세트 제한

에포크 수 또는 레코드의 컨텍스트 길이를 줄이면 더 많은 레코드를 제공할 수 있습니다.