Modelos AI21 Labs Jurassic-2 - Amazon Bedrock
Parámetros de inferenciaEjemplo de código

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Modelos AI21 Labs Jurassic-2

En esta sección se proporcionan parámetros de inferencia y un ejemplo de código para utilizar los modelos AI21 Labs AI21 Labs Jurassic-2.

Parámetros de inferencia

Los modelos AI21 Labs Jurassic-2 admiten los siguientes parámetros de inferencia.

Asignación al azar y diversidad

Los modelos AI21 Labs Jurassic-2 admiten los siguientes parámetros para controlar la asignación al azar y la diversidad en la respuesta.

  • Temperatura (temperature): utilice un valor más bajo para reducir la asignación al azar de la respuesta.

  • Top P (topP): utilice un valor más bajo para ignorar las opciones menos probables.

Longitud

Los modelos AI21 Labs Jurassic-2 admiten los siguientes parámetros para controlar la longitud de la respuesta generada.

  • Longitud máxima de finalización (maxTokens): especifique la cantidad máxima de tokens para usar en la respuesta generada.

  • Secuencias de detención (stopSequences): configure las secuencias de detención que el modelo reconoce y, tras lo cual, deja de generar más tokens. Pulse la tecla Intro para insertar un carácter de nueva línea en una secuencia de detención. Utilice la tecla de tabulación para terminar de insertar una secuencia de detención.

Repeticiones

Los modelos AI21 Labs Jurassic-2 admiten los siguientes parámetros para controlar la repetición de la respuesta generada.

  • Penalización por presencia (presencePenalty): usa un valor más alto para reducir la probabilidad de generar nuevos tokens que ya aparezcan al menos una vez en la petición o al completarlas.

  • Penalización por recuento (countPenalty): usa un valor más alto para reducir la probabilidad de generar nuevos tokens que ya aparezcan al menos una vez en la petición o al completarlas. Proporcional al número de apariciones.

  • Penalización por frecuencia (frequencyPenalty): usa un valor alto para reducir la probabilidad de generar nuevos tokens que ya aparezcan al menos una vez en la petición o al completarlas. El valor es proporcional a la frecuencia con la que aparecen los símbolos (normalizado a la longitud del texto).

  • Penaliza los tokens especiales: reduce la probabilidad de que se repitan caracteres especiales. Los valores predeterminados son true.

    • Espacios en blanco (applyToWhitespaces): un valor true aplica la penalización a los espacios en blanco y a las líneas nuevas.

    • Puntuaciones (applyToPunctuation): un valor true aplica la penalización a la puntuación.

    • Números (applyToNumbers): un valor true aplica la penalización a los números.

    • Palabras de parada (applyToStopwords): un valor true aplica la penalización a las palabras de parada.

    • Emojis (applyToEmojis): un valor true excluye los emojis de la penalización.

Campo del cuerpo de la solicitud de invocación del modelo

Cuando realices una InvokeModelWithResponseStreamllamada InvokeModelo una llamada utilizando un AI21 Labs modelo, rellena el body campo con un objeto JSON que se ajuste al siguiente. Introduzca la petición en el campo prompt.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

Para penalizar los tokens especiales, agregue esos campos a cualquiera de los objetos de penalización. Por ejemplo, puede modificar el campo countPenalty de la siguiente manera.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

La siguiente tabla muestra los valores mínimo, máximo y predeterminado de los parámetros numéricos.

Categoría Parámetro Formato del objeto JSON. Mínimo Máximo Predeterminado/a
Asignación al azar y diversidad Temperatura temperature 0 1 0,5
Top P topP 0 1 0,5
Longitud Número máximo de tokens (modelos medianos, ultra y grandes) maxTokens 0 8.191 200
Número máximo de tokens (otros modelos) 0 2048 200
Repeticiones Penalización por presencia presencePenalty 0 5 0
Penalización por recuento countPenalty 0 1 0
Penalización por frecuencia frequencyPenalty 0 500 0

Campo de cuerpo de respuesta a la invocación del modelo

Para obtener información sobre el formato del body campo de la respuesta, consulte https://docs.ai21.com/reference/j2 -. complete-api-ref

nota

Amazon Bedrock devuelve el identificador de respuesta (id) como valor entero.

Ejemplo de código

En este ejemplo se muestra cómo llamar al modelo A2I AI21 Labs Jurassic-2 Mid.

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))