Prepare los datos para ajustar sus modelos

Las siguientes secciones describen las diferentes capacidades de ajuste fino que admite cada modelo, organizadas por sus modalidades de entrada y salida. Para obtener información sobre cómo refinar modelos de Amazon Nova, consulte Refinamiento de modelos de Amazon Nova.

Modelos de Text-to-Text  

Text-to-Text los modelos se pueden ajustar para diversas tareas basadas en texto, incluidas las aplicaciones conversacionales y no conversacionales. Para obtener información sobre la preparación de datos para ajustar los modelos, consulte. Text-to-Text Prepare los datos para ajustar los modelos text-to-text

Los siguientes modelos no conversacionales están optimizados para tareas como el resumen, la traducción y la respuesta a preguntas:

Los siguientes modelos conversacionales están diseñados para interacciones de un solo turno y de varios turnos. Si un modelo usa la API Converse, el conjunto de datos de refinamiento debe seguir el formato de mensaje de la API Converse e incluir los mensajes del sistema, del usuario y del asistente. Para ver ejemplos, consulte Prepare los datos para ajustar los modelos text-to-text. Para obtener más información sobre las operaciones de la API Converse, consulte Cómo mantener una conversación con las operaciones de la API Converse.

Text-Image-to-Text & modelo s Text-to-Image

Los siguientes modelos admiten el refinamiento para la generación de imágenes y el procesamiento de imágenes de texto. Estos modelos procesan o generan imágenes a partir de entradas textuales o generan texto a partir de entradas textuales y de imágenes. Para obtener información sobre la preparación de datos para ajustar Text-Image-to-Text y Text-to-Image modelar modelos, consulte. Preparación de datos para el refinamiento de los modelos de procesamiento de imágenes y texto

De imagen a incrustaciones

Los siguientes modelos permiten realizar el refinamiento de tareas como clasificación y recuperación. Estos modelos generan representaciones numéricas (incrustaciones) a partir de entradas de imágenes. Para obtener información sobre la preparación de datos para el ajuste fino Image-to-Embeddings de los modelos, consulte. Preparación de datos para el refinamiento de los modelos de incrustación y generación de imágenes

En las siguientes secciones se indican los requisitos de los conjuntos de datos de entrenamiento y validación de un modelo. Para obtener información sobre las restricciones de los conjuntos de datos para los modelos de Amazon Nova, consulte Refinamiento de modelos de Amazon Nova.

Para ajustar text-to-text los modelos, cada objeto JSON es un ejemplo que contiene campos estructurados diseñados para guiar al modelo hacia la generación del resultado textual deseado a partir de un mensaje textual proporcionado. El formato de los datos varía según el caso de uso y se divide, a grandes rasgos, en casos de uso conversacionales y no conversacionales.

Para ajustar image-text-to-text los modelos, cada objeto JSON es un ejemplo que contiene una conversación estructurada como una messages matriz, que consiste en objetos JSON alternados que representan las entradas del usuario y las respuestas del asistente. Las entradas del usuario pueden incluir texto e imágenes, mientras que las respuestas del asistente son siempre textuales. Esta estructura admite flujos de conversación de uno o varios turnos, lo que permite al modelo gestionar diversas tareas de forma eficaz. Los formatos de imagen compatibles para Meta Llama-3.2 11B Vision Instruct y Meta Llama-3.2 90B Vision Instruct incluyen: gif, jpeg, png y webp.

Para permitir que Amazon Bedrock acceda a los archivos de imagen, agregue una política de IAM similar a la de Permisos para acceder a los archivos de entrenamiento y validación y escribir los archivos de salida en S3 al rol de servicio de personalización de modelos de Amazon Bedrock que ha configurado o que se ha configurado automáticamente para usted en la consola. Las rutas de Amazon S3 que proporcione en el conjunto de datos de entrenamiento deben estar en las carpetas que especifique en la política.

Conversaciones de un solo turno

Cada objeto JSON para conversaciones de un solo turno consta de un mensaje del usuario y un mensaje del asistente. El mensaje del usuario incluye un campo de rol establecido en user y un campo content que contiene una matriz con un campo type (text o image) que describe la modalidad de entrada. Para las entradas de texto, el campo content incluye un campo text con la pregunta o la petición del usuario. Para las entradas de imágenes, el campo content especifica la imagen format (por ejemplo, jpeg, png) y su source con un uri que apunta a la ubicación de la imagen en Amazon S3. El uri representa la ruta única de la imagen almacenada en un bucket de Amazon S3, normalmente en el formato s3://<bucket-name>/<path-to-file>. El mensaje del asistente incluye un campo role configurado como assistant y un campo content que contiene una matriz con un campo type configurado como text y un campo text que contiene la respuesta generada por el asistente.

Formato de ejemplo

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

Conversaciones de varios turnos

Cada objeto JSON para conversaciones de varios turnos contiene una secuencia de mensajes con roles alternos, en la que los mensajes del usuario y los mensajes del asistente se estructuran de forma coherente para permitir intercambios coherentes. Los mensajes del usuario incluyen un campo role configurado como user y un campo content que describe la modalidad de entrada. Para las entradas de texto, el campo content incluye un campo text con la pregunta o el seguimiento del usuario, mientras que para las entradas de imágenes, especifica el elemento format de la imagen y su source con un uri que apunta a la ubicación de la imagen en Amazon S3. uriSirve como identificador único en el formato s3://<bucket-name>/< path-to-file > y permite al modelo acceder a la imagen desde el bucket de Amazon S3 designado. Los mensajes del asistente incluyen un campo role configurado como assistant y un campo content que contiene una matriz con un campo type configurado como text y un campo text que contiene la respuesta generada por el asistente. Las conversaciones pueden abarcar varios intercambios, lo que permite al asistente mantener el contexto y ofrecer respuestas coherentes en todo momento.

Formato de ejemplo

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        },
        {
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
        
    ]
}
    

Para nuestros text-to-image image-to-embedding modelos, prepare un conjunto de datos de entrenamiento. No se admiten conjuntos de datos de validación. Cada objeto JSON es un ejemplo que contiene una image-ref, el URI de Amazon S3 de una imagen y un caption que podría ser una petición para la imagen.

Las imágenes deben tener formato PNG o JPEG.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

A continuación, se muestra un elemento de ejemplo:

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Para permitir que Amazon Bedrock acceda a los archivos de imagen, agregue una política de IAM similar a la de Permisos para acceder a los archivos de entrenamiento y validación y escribir los archivos de salida en S3 al rol de servicio de personalización de modelos de Amazon Bedrock que ha configurado o que se ha configurado automáticamente para usted en la consola. Las rutas de Amazon S3 que proporcione en el conjunto de datos de entrenamiento deben estar en las carpetas que especifique en la política.