Formateo y carga de los datos de la inferencia por lotes - Amazon Bedrock
Ejemplo de entrada de texto para Anthropic Claude 3 HaikuEjemplo de entrada de vídeo para Amazon Nova

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Formateo y carga de los datos de la inferencia por lotes

Debe añadir los datos de inferencia en lotes a la ubicación de S3 que elija o especifique al enviar un trabajo de invocación de modelos. La ubicación de S3 debe contener los siguientes elementos:

  • Al menos un archivo JSONL que defina las entradas del modelo. Un JSONL contiene filas de objetos JSON. El archivo JSONL debe terminar con la extensión .jsonl y tener el siguiente formato:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Cada línea contiene un objeto JSON con un campo recordId y un campo modelInput que contiene el cuerpo de la solicitud de la entrada que desee enviar. El formato del objeto JSON modelInput debe coincidir con el campo body del modelo que utilice en la solicitud InvokeModel. Para obtener más información, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

    nota

    • Si omite el campo recordId, Amazon Bedrock lo agregará al resultado.

    • No se garantiza que el orden de los registros del archivo JSONL de salida coincida con el orden de los registros del archivo JSONL de entrada.

    • Al crear el trabajo de inferencia en lotes, debe especificar el modelo que desea utilizar.

  • (Si el contenido de entrada contiene una ubicación de Amazon S3) Algunos modelos le permiten definir el contenido de la entrada como una ubicación de S3. Consulte Ejemplo de entrada de vídeo para Amazon Nova.

    aviso

    Al usar S3 URIs en sus indicaciones, todos los recursos deben estar en el mismo depósito y carpeta de S3. El InputDataConfig parámetro debe especificar la ruta de la carpeta que contiene todos los recursos enlazados (como vídeos o imágenes), no solo un .jsonl archivo individual. Tenga en cuenta que las rutas de S3 distinguen entre mayúsculas y minúsculas, así que asegúrese de que URIs coinciden exactamente con la estructura de carpetas.

Asegúrese de que las entradas se ajusten a las cuotas de inferencia en lotes. Puede buscar las siguientes cuotas en Cuotas de servicio de Amazon Bedrock:

  • Número mínimo de registros por trabajo de inferencia en lotes: el número mínimo de registros (objetos JSON) en los archivos JSONL del trabajo.

  • Registros por archivo de entrada para cada trabajo de inferencia en lotes: el número máximo de registros (objetos JSON) en un solo archivo JSONL del trabajo.

  • Registros por trabajo de inferencia en lotes: el número mínimo de registros (objetos JSON) en los archivos JSONL del trabajo.

  • Tamaño del archivo de entrada de inferencia en lotes: el tamaño máximo de un archivo individual del trabajo.

  • Tamaño del trabajo de inferencia en lotes: el tamaño máximo acumulado de todos los archivos de entrada.

Para obtener información sobre cómo configurar sus entradas de inferencia en lotes, consulte los siguientes ejemplos:

Ejemplo de entrada de texto para Anthropic Claude 3 Haiku

Si tiene previsto ejecutar la inferencia en lotes con el formato de la API Messages para el modelo Anthropic Claude 3 Haiku, puede proporcionar un archivo JSONL que contenga el siguiente objeto JSON como una de las líneas:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Ejemplo de entrada de vídeo para Amazon Nova

Si tiene previsto realizar la inferencia en lotes en las entradas de vídeo utilizando los modelos Amazon Nova Lite o Amazon Nova Pro, tiene la opción de definir el vídeo en bytes o como una ubicación de S3 en el archivo JSONL. Por ejemplo, es posible que tenga un bucket de S3 cuya ruta sea s3://batch-inference-input-bucket y contenga los siguientes archivos:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Un ejemplo de registro del archivo input.jsonl sería el siguiente:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Al crear el trabajo de inferencia por lotes, debe especificar la ruta de la carpeta s3://batch-inference-input-bucket en su InputDataConfig parámetro. La inferencia por lotes procesará el input.jsonl archivo en esta ubicación, junto con cualquier recurso al que se haga referencia (como los archivos de vídeo de la videos subcarpeta).

Los siguientes recursos proporcionan más información sobre cómo enviar entradas de vídeo para la inferencia en lotes:

En el siguiente tema se describe cómo configurar los permisos de acceso a S3 y de inferencia en lotes para que una identidad pueda llevar a cabo la inferencia en lotes.