Completamento del testo Mistral AI
L’API di completamento del testo Mistral AI consente di generare testo con un modello Mistral AI.
Effettui richieste di inferenza ai modelli Mistral AI con InvokeModel o InvokeModelWithResponseStream (streaming).
I modelli Mistral AI sono disponibili con la licenza Apache 2.0. Per ulteriori informazioni sull’utilizzo dei modelli Mistral AI, consulta la Documentazione di Mistral AI.
Modelli supportati
Puoi utilizzare i seguenti modelli Mistral AI.
Mistral 7B Instruct
Mixtral 8X7B Instruct
Mistral Large
Mistral Small
È necessario l’ID modello per il modello che desideri utilizzare. Per ottenere l’ID modello, consulta Modelli di fondazione supportati in Amazon Bedrock.
Richiesta e risposta
- Request
-
I modelli Mistral AI hanno i seguenti parametri di inferenza.
{
"prompt": string,
"max_tokens" : int,
"stop" : [string],
"temperature": float,
"top_p": float,
"top_k": int
}
I seguenti sono parametri obbligatori.
-
prompt: (obbligatorio) Il prompt che desideri passare al modello, come mostrato nell’esempio seguente.
<s>[INST] What is your favourite condiment? [/INST]
L’esempio seguente mostra come formattare un prompt a più turni.
<s>[INST] What is your favourite condiment? [/INST]
Well, I'm quite partial to a good squeeze of fresh lemon juice.
It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!</s>
[INST] Do you have mayonnaise recipes? [/INST]
Il testo per il ruolo utente si trova all’interno dei token [INST]...[/INST], il testo all’esterno è il ruolo di assistente. L’inizio e la fine di una stringa sono rappresentati dai token <s> (inizio di stringa) e </s> (fine di stringa). Per informazioni sull’invio di un prompt di chat nel formato corretto, consulta Modello di chat nella documentazione Mistral AI.
I seguenti sono parametri opzionali.
-
max_tokens: specifica il numero massimo di token da utilizzare nella risposta generata. Il modello tronca la risposta se il testo generato supera max_tokens.
| Impostazione predefinita |
Minimo |
Massimo |
|
Mistral 7B Instruct: 512
Mixtral 8X7B Instruct: 512
Mistral Large: 8.192
Mistral Small: 8.192
|
1
|
Mistral 7B Instruct: 8.192
Mixtral 8X7B Instruct: 4.096
Mistral Large: 8.192
Mistral Small: 8.192
|
-
stop: un elenco di sequenze di arresti che, se generate dal modello, impediscono al modello di generare ulteriore output.
| Impostazione predefinita |
Minimo |
Massimo |
|
0
|
0
|
10
|
-
temperature: controlla la casualità delle previsioni fatte dal modello. Per ulteriori informazioni, consulta Influenza sulla generazione della risposta con i parametri di inferenza.
| Impostazione predefinita |
Minimo |
Massimo |
|
Mistral 7B Instruct: 0,5
Mixtral 8X7B Instruct: 0,5
Mistral Large: 0,7
Mistral Small: 0,7
|
0
|
1
|
-
top_p: controlla la diversità di testo che il modello genera impostando la percentuale di candidati più probabili che il modello considera per il token successivo. Per ulteriori informazioni, consulta Influenza sulla generazione della risposta con i parametri di inferenza.
| Impostazione predefinita |
Minimo |
Massimo |
|
Mistral 7B Instruct: 0,9
Mixtral 8X7B Instruct: 0,9
Mistral Large: 1
Mistral Small: 1
|
0
|
1
|
-
top_k: il numero di candidati più probabili che il modello considera per il token successivo. Per ulteriori informazioni, consulta Influenza sulla generazione della risposta con i parametri di inferenza.
| Impostazione predefinita |
Minimo |
Massimo |
|
Mistral 7B Instruct: 50
Mixtral 8X7B Instruct: 50
Mistral Large: disabilitato
Mistral Small: disabilitato
|
1
|
200
|
- Response
-
Di seguito è riportata la risposta body da una chiamata InvokeModel:
{
"outputs": [
{
"text": string,
"stop_reason": string
}
]
}
La risposta body ha i seguenti campi:
Esempio di codice
Questo esempio mostra come chiamare il modello Mistral 7B Instruct.
# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate text using a Mistral AI model.
"""
import json
import logging
import boto3
from botocore.exceptions import ClientError
logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)
def generate_text(model_id, body):
"""
Generate text using a Mistral AI model.
Args:
model_id (str): The model ID to use.
body (str) : The request body to use.
Returns:
JSON: The response from the model.
"""
logger.info("Generating text with Mistral AI model %s", model_id)
bedrock = boto3.client(service_name='bedrock-runtime')
response = bedrock.invoke_model(
body=body,
modelId=model_id
)
logger.info("Successfully generated text with Mistral AI model %s", model_id)
return response
def main():
"""
Entrypoint for Mistral AI example.
"""
logging.basicConfig(level=logging.INFO,
format="%(levelname)s: %(message)s")
try:
model_id = 'mistral.mistral-7b-instruct-v0:2'
prompt = """<s>[INST] In Bash, how do I list all text files in the current directory
(excluding subdirectories) that have been modified in the last month? [/INST]"""
body = json.dumps({
"prompt": prompt,
"max_tokens": 400,
"temperature": 0.7,
"top_p": 0.7,
"top_k": 50
})
response = generate_text(model_id=model_id,
body=body)
response_body = json.loads(response.get('body').read())
outputs = response_body.get('outputs')
for index, output in enumerate(outputs):
print(f"Output {index + 1}\n----------")
print(f"Text:\n{output['text']}\n")
print(f"Stop reason: {output['stop_reason']}\n")
except ClientError as err:
message = err.response["Error"]["Message"]
logger.error("A client error occurred: %s", message)
print("A client error occured: " +
format(message))
else:
print(f"Finished generating text with Mistral AI model {model_id}.")
if __name__ == "__main__":
main()
