画像処理モデルとテキスト処理モデルのファインチューニング用にデータを準備する

画像テキストからテキストモデルをファインチューニングする場合、各 JSON オブジェクトは messages 配列として構造化された会話を含むサンプルであり、ユーザーの入力とアシスタントのレスポンスを交互に表す JSON オブジェクトで構成されます。ユーザー入力にはテキストと画像の両方を含めることができますが、アシスタントのレスポンスは常にテキストです。この構造では、シングルターンとマルチターンの両方の会話フローがサポートされるため、モデルはさまざまなタスクを効果的に処理できます。Meta Llama-3.2 11B Vision Instruct および Meta Llama-3.2 90B Vision Instruct でサポートされている画像形式は gif、jpeg、png、webp です。

Amazon Bedrock によるイメージファイルへのアクセスを許可するには、自分で設定した、またはコンソールで自動的に設定された Amazon Bedrock モデルカスタマイズサービスロールに、S3 のトレーニングファイルや検証ファイルにアクセスし、出力ファイルを書き込むアクセス許可 と同様の IAM ポリシーを追加します。トレーニングデータセットで指定する Amazon S3 パスは、ポリシーで指定するフォルダに存在する必要があります。

シングルターンの会話

シングルターンの会話の各 JSON オブジェクトは、ユーザーメッセージとアシスタントメッセージで構成されます。ユーザーメッセージには、user に設定された role フィールドと、入力モダリティを記述する type フィールド (text または image) が指定されている配列を含む content フィールドが含まれます。テキスト入力の場合、content フィールドにはユーザーの質問またはプロンプトが指定された text フィールドが含まれます。画像入力の場合、content フィールドには、画像の format (jpeg、png など) とその画像の Amazon S3 の場所を指す uri を含む source を指定します。uri は、Amazon S3 バケットに保存されている画像への一意のパスを表し、通常は s3://<bucket-name>/<path-to-file> という形式を取ります。アシスタントメッセージには、assistant に設定された role フィールドと、text に設定された type フィールドが指定されている配列を含む content フィールド、およびアシスタントが生成したレスポンスを含む text フィールドが含まれます。

形式の例

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

マルチターンの会話

マルチターンの会話の各 JSON オブジェクトには、交互に変わるロールを持つ一連のメッセージが含まれており、ユーザーメッセージとアシスタントメッセージは整合性の取れた交換を可能にするように一貫して構造化されています。ユーザーメッセージには、user に設定された role フィールドと、入力モダリティを記述する content フィールドが含まれます。テキスト入力の場合、content フィールドにはユーザーの質問またはフォローアップが指定された textフィールドが含まれ、画像入力の場合は、画像の format とその画像の Amazon S3 の場所を指す uri を含む source を指定します。uri は、s3://<bucket-name>/<path-to-file> という形式の一意の識別子として機能し、指定された Amazon S3 バケットにある画像にモデルがアクセスできるようにします。アシスタントメッセージには、assistant に設定された role フィールドと、text に設定された type フィールドが指定されている配列を含む content フィールド、およびアシスタントが生成したレスポンスを含む text フィールドが含まれます。会話は複数の交換にまたがることができるため、アシスタントがコンテキストを維持し、最初から最後まで整合性の取れたレスポンスを提供することが可能になります。

形式の例

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        },
        {
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
        
    ]
}