Invocazioni del modello - Amazon CloudWatch
Abilitazione di Invocazione del modello in Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Invocazioni del modello

CloudWatch l'osservabilità generativa dell'intelligenza artificiale consente di monitorare le prestazioni di Model Invocation. Puoi tenere traccia di metriche come il numero di chiamate, l'utilizzo dei token e gli errori utilizzando le viste. out-of-box Per una visibilità dettagliata del contenuto delle chiamate, come input e output, abilita la registrazione di Bedrock Invocation e invia i log a. CloudWatch Per ulteriori informazioni, consulta Configurare una destinazione per i log e Aiutare a proteggere CloudWatch i dati di registro sensibili con il mascheramento.

Abilitazione di Invocazione del modello in Amazon Bedrock

Nota

Per visualizzare le invocazioni, è necessario abilitare la registrazione di Invocazione del modello in Amazon Bedrock.

Per abilitare la registrazione delle chiamate dei modelli in Amazon Bedrock, segui questi passaggi.

  1. Apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/.

  2. Seleziona Impostazioni.

  3. In Registrazione delle invocazioni del modello, seleziona Registrazione delle invocazioni del modello.

  4. Scegli i tipi di dati richiesti da includere nei log. Scegli di inviare i log solo a CloudWatch Logs o sia ad Amazon S3 che a Logs se stai CloudWatch già pubblicando su Amazon S3.

  5. Nelle configurazioni CloudWatch Logs, crea il nome del gruppo di log e seleziona i ruoli di servizio appropriati.

  6. Scegli i tipi di dati richiesti da includere nei log.

  7. Scegli Salva impostazioni.

    Quando inizi a utilizzare le invocazioni di Amazon Bedrock, puoi visualizzare automaticamente i pannelli di controllo preconfigurati. Dopo l'attivazione di Model Invocation logging, puoi visualizzare i pannelli di controllo predefiniti e accedere alla tabella delle invocazioni sottostante.

osservabilità dell'IA generativa

  • Numero di chiamate: numero di richieste riuscite alle operazioni Converse,, e API ConverseStreamInvokeModelInvokeModelWithResponseStream

  • Latenza di invocazione: latenza delle invocazioni

  • Conteggio dei token per modello: conteggi dei token per modello delineati dai conteggi dei token di input e dei token di output

  • Conteggi giornalieri di token per ModelID: conteggi totali giornalieri di token per ID modello

  • InputTokenCount, OutputTokenCount — Numero totale di token in input e output in questo account su modelli selezionati

  • Richieste, raggruppate per token di input: numero di richieste raggruppate per token di input in 6 intervalli. Ogni riga rappresenta il numero di richieste che rientrano in un intervallo particolare

  • Limitazioni di invocazione: numero di invocazioni limitate dal sistema. Il numero di limitazioni visualizzato dipenderà dalle impostazioni dei nuovi tentativi nell'SDK. Per ulteriori informazioni, consultate Retry behavior nella AWS SDKs and Tools Reference Guide

  • Numero di errori di invocazione: conteggio delle invocazioni che generano errori sul lato server e sul lato client

Per utilizzare il dashboard di invocazione del modello, segui questi passaggi.

  1. Passa il mouse su qualsiasi grafico di metrica per visualizzare i dettagli dell'invocazione. Puoi scegliere l'icona Allarme per configurare Alarms per monitorare la qualità e le prestazioni dell'applicazione.

  2. Nel menu a discesa ModelID, puoi selezionare un ID modello per visualizzare le metriche corrispondenti.

  3. Seleziona Visualizza nelle CloudWatch metriche per visualizzare le metriche del dashboard in cui si trovano. CloudWatch

  4. Seleziona Sostituzione periodo per modificare l'intervallo di tempo delle metriche (ad esempio, 1 minuto, 1 ora o 6 ore).

  5. In Invocazioni, scegli ID richiesta per visualizzare i dettagli della richiesta. È possibile visualizzare i dettagli di input e output dell'invocazione del modello nel pannello a destra.

Invocazione del modello: visualizzazione dell'ID richiesta

Nella pagina Request ID, nel menu a discesa Azioni, scegli Visualizza in Logs Insights per visualizzare i log in. CloudWatch Per ulteriori informazioni, consulta Analisi dei dati di registro con Logs Insights. CloudWatch