이미지 및 텍스트 처리 모델을 미세 조정하기 위한 데이터 준비

image-text-to-text 모델을 미세 조정하는 경우 각 JSON 객체는 사용자의 입력과 어시스턴트의 응답을 나타내는 교대 JSON 객체로 구성된 messages 배열로 구조화된 대화를 포함하는 샘플입니다. 사용자 입력에는 텍스트와 이미지가 모두 포함될 수 있지만 어시스턴트 응답은 항상 텍스트입니다. 이 구조는 단일 회전 및 다중 회전 대화 흐름을 모두 지원하므로 모델이 다양한 작업을 효과적으로 처리할 수 있습니다. Meta Llama-3.2 11B Vision Instruct 및에 지원되는 이미지 형식Meta Llama-3.2 90B Vision Instruct은 gif, jpeg, 및 png입니다webp.

Amazon Bedrock이 이미지 파일에 액세스하도록 허용하려면, 사용자가 설정했거나 콘솔에서 자동으로 설정된 Amazon Bedrock 모델 사용자 지정 서비스 역할에 대한 (S3의 훈련 및 검증 파일에 액세스하고 S3에 출력 파일을 쓸 수 있는 권한 섹션과 유사한) IAM 정책을 추가합니다. 훈련 데이터 세트에 제공하는 Amazon S3 경로는 정책에서 지정하는 폴더에 있어야 합니다.

싱글턴 대화

단일 턴 대화를 위한 각 JSON 객체는 사용자 메시지와 어시스턴트 메시지로 구성됩니다. 사용자 메시지에는 사용자로 설정된 역할 필드와 입력 양식을 설명하는 필드(텍스트 또는 이미지)가 있는 배열이 포함된 콘텐츠 type 필드가 포함됩니다. 텍스트 입력의 경우 content 필드에는 사용자의 질문 또는 프롬프트가 있는 text 필드가 포함됩니다. 이미지 입력의 경우 content 필드는 이미지format(예: jpeg, png)와 이미지의 Amazon S3 위치를 uri 가리키source는를 지정합니다. 는 일반적으로 형식으로 Amazon S3 버킷에 저장된 이미지의 고유한 경로를 uri 나타냅니다s3://<bucket-name>/<path-to-file>. 어시스턴트 메시지에는 어시스턴트로 설정된 role 필드와 텍스트로 설정된 content 필드가 있는 배열이 포함된 type 필드, 어시스턴트가 생성한 응답이 포함된 text 필드가 포함됩니다.

예제 형식

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

멀티턴 대화

멀티턴 대화를 위한 각 JSON 객체에는 대체 역할이 있는 메시지 시퀀스가 포함되어 있으며, 여기서 사용자 메시지와 어시스턴트 메시지는 일관성 있는 교환을 활성화하도록 일관되게 구성됩니다. 사용자 메시지에는 사용자로 설정된 role 필드와 입력 양식을 설명하는 content 필드가 포함됩니다. 텍스트 입력의 경우 content 필드에 사용자의 질문 또는 후속 조치가 포함된 text 필드가 포함된 반면, 이미지 입력의 경우 이미지의 Amazon S3 위치를 uri 가리키source는 이미지format와를 지정합니다. 는 s3://<bucket-name>/<path-to-file> 형식의 고유 식별자 uri 역할을 하며 모델이 지정된 Amazon S3 버킷에서 이미지에 액세스할 수 있도록 허용합니다. 어시스턴트 메시지에는 어시스턴트로 설정된 role 필드와 텍스트로 설정된 content 필드가 있는 배열이 포함된 type 필드, 어시스턴트가 생성한 응답이 포함된 text 필드가 포함됩니다. 대화는 여러 교환에 걸쳐 있을 수 있으므로 어시스턴트는 컨텍스트를 유지하고 전체적으로 일관된 응답을 제공할 수 있습니다.

예제 형식

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        },
        {
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
        
    ]
}