Richiamazioni del modello - Amazon CloudWatch
Abilitazione dell'invocazione del modello in Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Richiamazioni del modello

CloudWatch l'osservabilità generativa dell'intelligenza artificiale consente di monitorare le prestazioni di Model Invocations. Puoi tenere traccia di metriche come il numero di chiamate, l'utilizzo dei token e gli errori utilizzando le viste. out-of-box Per una visibilità dettagliata del contenuto delle chiamate, come input e output, abilita la registrazione di Bedrock Invocation e invia i log a. CloudWatch Per ulteriori informazioni, consulta Configurare una destinazione per i log e Aiutare a proteggere CloudWatch i dati di registro sensibili con il mascheramento.

Abilitazione dell'invocazione del modello in Amazon Bedrock

Nota

È necessario abilitare la registrazione delle chiamate del modello in Amazon Bedrock per visualizzare le chiamate.

Segui questi passaggi per abilitare la registrazione delle chiamate dei modelli in Amazon Bedrock:

  1. Apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/.

  2. Seleziona Impostazioni.

  3. In Model invocation logging, seleziona Model invocation logging.

  4. Scegliete i tipi di dati richiesti da includere nei log. Scegli di inviare i log solo a CloudWatch Logs o sia ad Amazon CloudWatch S3 che a Logs.

  5. Nelle configurazioni dei CloudWatch log, crea il nome del gruppo di log e seleziona i ruoli di servizio appropriati.

  6. Scegli i tipi di dati richiesti da includere nei log.

  7. Scegli Salva impostazioni

    Puoi visualizzare automaticamente i dashboard preconfigurati quando inizi a utilizzare le chiamate di Amazon Bedrock. Dopo l'attivazioneModel Invocation logging, puoi visualizzare i dashboard predefiniti e accedere alla tabella di invocazione sottostante.

osservabilità generativa dell'IA

  • Numero di chiamate: numero di richieste riuscite alle operazioni di Converse e API ConverseStreamInvokeModelInvokeModelWithResponseStream

  • Latenza di chiamata: latenza delle chiamate

  • Conteggio dei token per modello: conteggi dei token per modello delineati dai conteggi dei token di input e dei token di output

  • Conteggi giornalieri di token per ID modello: conteggi totali giornalieri di token per ID modello

  • InputTokenCount, OutputTokenCount — Numero totale di token in input e output in questo account tra modelli selezionati

  • Richieste, raggruppate per token di input: numero di richieste raggruppate per token di input in 6 intervalli. Ogni riga rappresenta il numero di richieste che rientrano in un determinato intervallo

  • Invocation Throttles: numero di chiamate limitate dal sistema. Il numero di accelerazioni che vedrai dipenderà dalle impostazioni dei nuovi tentativi nell'SDK. Per ulteriori informazioni, consulta il comportamento dei tentativi nella Guida di riferimento degli strumenti e degli strumenti AWS SDKs

  • Numero di errori di chiamata: conteggio delle chiamate che generano errori sul lato server e sul lato client

Segui questi passaggi per utilizzare il dashboard di invocazione del modello:

  1. Passa il mouse su qualsiasi grafico metrico per visualizzare i dettagli della chiamata. Puoi scegliere l'icona Allarme da configurare per monitorare la qualità e Alarms le prestazioni dell'applicazione. Per informazioni sulle impostazioni degli allarmi, vedi Allarmi. Per ulteriori informazioni sui parametri, consulta i parametri di runtime di Amazon Bedrock.

  2. Nel menu a discesa ModelID, puoi selezionare un ID modello per visualizzare le metriche corrispondenti.

  3. Seleziona Visualizza nelle CloudWatch metriche per visualizzare le metriche del dashboard in cui si trovano. CloudWatch

  4. Seleziona Period override per modificare l'intervallo di tempo delle metriche (ad esempio, 1 minuto, 1 ora o 6 ore).

  5. In Invocazioni, scegli Request ID per visualizzare i dettagli della richiesta. È possibile visualizzare i dettagli di input e output dell'invocazione del modello nel riquadro di destra.

Invocazione del modello: richiedi la visualizzazione dell'ID

Nella pagina Request ID, nel menu a discesa Azioni, scegli Visualizza in Logs Insights per visualizzare i log in. CloudWatch Per ulteriori informazioni, consulta Analisi dei dati di registro con Logs Insights. CloudWatch