Uso de la API de Converse

La API de Converse proporciona una interfaz unificada para interactuar con los modelos de Amazon Nova. Resume los detalles específicos del modelo y proporciona una forma coherente de gestionar las conversaciones de varios turnos, las peticiones del sistema y las respuestas de transmisión en todos los modelos de Amazon Nova.

Estructura de la solicitud

Una solicitud básica de la API de Converse incluye el ID del modelo y una lista de mensajes:

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'What is machine learning?'}]
        }
    ]
)

content_list = response["output"]["message"]["content"]
# Extract the first text block
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

Uso de peticiones del sistema

Las peticiones del sistema proporcionan instrucciones y contexto al modelo:

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    system=[
        {'text': 'You are a helpful AI assistant specializing in cloud computing.'}
    ],
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Explain serverless computing.'}]
        }
    ]
)

# Print the response text
content_list = response["output"]["message"]["content"]
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

Parámetros de inferencia

Controle la salida del modelo mediante parámetros de inferencia. A continuación se muestran los parámetros de influencia disponibles.

Ejemplo:

import boto3
bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Write a short story.'}]
        }
    ],
    inferenceConfig={
        'maxTokens': 512,
        'temperature': 0.7,
        'topP': 0.9,
        'stopSequences': ['END']
    }
)

content_list = response["output"]["message"]["content"]
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

Uso del razonamiento

Nova 2 Lite admite el pensamiento extendido para la resolución de problemas complejos. Habilite el razonamiento con reasoningConfig.

De forma predeterminada, el razonamiento está desactivado para optimizar la velocidad y el costo de las consultas sencillas. Cuando necesite ir más allá de estas sencillas tareas, puede habilitar el razonamiento. Nova 2 proporciona un control flexible sobre la profundidad del razonamiento a través de tres niveles de esfuerzo:

En los siguientes ejemplos, se muestran los diferentes niveles de esfuerzo de razonamiento:

Low effort

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    system=[{"text": "You are a highly capable personal assistant"}],
    messages=[{
        "role": "user",
        "content": [{"text": "Provide a meal plan for a gluten free family of 4."}]
    }],
    inferenceConfig={
        "temperature": 0.7,
        "topP": 0.9,
        "maxTokens": 10000
    },
    additionalModelRequestFields={
        "reasoningConfig": {
            "type": "enabled",
            "maxReasoningEffort": "low"
        }
    }
)

Parámetros de razonamiento:

A continuación se muestran los parámetros de razonamiento:

La respuesta incluye contenido de razonamiento:

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "reasoningContent": {
                        "reasoningText": {
                            "text": "[REDACTED]"
                        }
                    }
                },
                {
                    "text": "Based on the premises, we can conclude..."
                }
            ]
        }
    },
    "stopReason": "end_turn"
}