Inviare prompt e generare risposte utilizzando l’API - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Inviare prompt e generare risposte utilizzando l’API

Per eseguire l’inferenza dei modelli, Amazon Bedrock offre le seguenti operazioni API:

  • InvokeModel: invia un prompt e genera una risposta. Il corpo della richiesta è specifico del modello. Per generare risposte in streaming, usa InvokeModelWithResponseStream.

  • Converse: invia un prompt e genera risposte con una struttura unificata in tutti i modelli. I campi di richiesta specifici del modello possono essere specificati nel campo additionalModelRequestFields. È anche possibile includere prompt di sistema e conversazioni precedenti per fornire un contesto. Per generare risposte in streaming, usa ConverseStream.

  • StartAsyncInvoke: invia un prompt e genera in modo asincrono una risposta che può essere recuperata in seguito. Consente di generare video.

  • InvokeModelWithBidirectionalStream

  • API Chat Completions OpenAI: usa l’API Chat Completions OpenAI con modelli supportati da Amazon Bedrock per generare una risposta.

Per l’inferenza del modello, è necessario definire i seguenti parametri:

  • ID modello: ID o nome della risorsa Amazon (ARN) del modello o del profilo di inferenza da utilizzare nel campo modelId per l’inferenza. La tabella seguente descrive come trovare gli ID per diversi tipi di risorse:

    Tipo di modello Descrizione Ricerca dell’ID nella console Ricerca dell’ID nell’API Documentazione di riferimento
    Modelli base Modello di fondazione fornito da un provider. Scegli Modelli base nel riquadro di navigazione a sinistra, cerca un modello e cerca l’ID modello. Invia una richiesta GetFoundationModel o ListFoundationModels e cerca modelId nella risposta. Per un elenco di ID, consulta Modelli di fondazione supportati in Amazon Bedrock.
    Profilo di inferenza Aumenta il throughput consentendo l’invocazione di un modello in più Regioni. Scegli Inferenza tra Regioni nel riquadro di navigazione a sinistra, quindi cerca un ID del profilo di inferenza. Invia una richiesta GetInferenceProfile o ListInferenceProfiles e cerca inferenceProfileId nella risposta. Per un elenco di ID, consulta Regioni e modelli supportati per i profili di inferenza.
    Prompt Prompt creato utilizzando Gestione prompt. Scegli Gestione prompt nel riquadro di navigazione a sinistra, seleziona un prompt nella sezione Prompt, quindi cerca l’ARN del prompt. Invia una richiesta GetPrompt o ListPrompts e cerca promptArn nella risposta. Per informazioni sulla creazione di prompt in Gestione prompt, consulta Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock.
    Throughput allocato Fornisce un livello di throughput più elevato per un modello a un costo fisso. Scegli Throughput allocato nel riquadro di navigazione a sinistra, seleziona un throughput allocato e cerca l’ARN. Invia una richiesta GetProvisionedModelThroughput o ListProvisionedModelThroughputs e cerca provisionedModelArn nella risposta. Per informazioni sull’acquisto di throughput allocato per un modello, consulta Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock.
    Modelli personalizzati Modello i cui parametri sono modificati rispetto a un modello di fondazione basato sui dati di addestramento. Dopo aver acquistato throughput allocato per un modello personalizzato, segui i passaggi per trovare l’ID del throughput allocato. Dopo aver acquistato throughput allocato per un modello personalizzato, segui i passaggi per trovare l’ID del throughput allocato. Per informazioni sulla personalizzazione di un modello, consulta Personalizzazione del modello per migliorarne le prestazioni per il proprio caso d’uso. Dopo la personalizzazione, è necessario acquistare throughput allocato e utilizzarne l’ID.

  • Corpo della richiesta: contiene i parametri di inferenza per un modello e altre configurazioni. A ogni modello sono associati i propri parametri di inferenza. I parametri di inferenza per un modello personalizzato o allocato dipendono dal modello base da cui è stato creato. Per ulteriori informazioni, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

Seleziona un argomento per iniziare a utilizzare le API di invocazione del modello.

Argomenti