Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Chiarire la modifica della disponibilità

AWS-soluzioni di monitoraggio pubblicate, metriche di bias standardizzate, SHAP e Amazon Bedrock Evaluations

La combinazione delle soluzioni di monitoraggio SageMaker AI open source AWS pubblicate, del calcolo di base delle metriche di bias standardizzate dei report Clarify, della libreria SHAP su cui si basa SageMaker Clarify stesso, Amazon SageMaker AI MLFlow, Amazon, Amazon e Amazon Bedrock Evaluations sostituisce Amazon CloudWatch Clarify. QuickSight https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation.html SageMaker Questa guida fornisce quanto segue:

Rimozione di Clarify

Interrompi l'elaborazione dei lavori di Clarify per nuove analisi

Se il flusso di lavoro include l'esecuzione di SageMaker Clarify Processing Jobs utilizzando la SageMakerClarifyProcessor classe, clarify.SHAPConfig le configurazioniclarify.BiasConfig/o i run_explainability() metodirun_bias()/di SageMaker Python SDK, passa alle alternative descritte nella sezione Configurazione delle sostituzioni di seguito.

Elimina o conserva gli artefatti di output di Clarify (opzionale)

Clarify Processing Jobs archivia gli artefatti di output in Amazon S3:

Se avete bisogno di conservarli per scopi di conformità, audit trail normativi o riferimenti storici, lasciateli in S3 o archiviateli in S3 Glacier. Se non sono più necessari, elimina il prefisso S3.

Rimuovi Clarify dalle SageMaker pipeline (se utilizzato)

Se avete SageMaker Pipeline con ClarifyCheckStep o ProcessingStep passaggi che richiamano Clarify, sostituitele con una ProcessingStep che esegue il calcolo delle metriche standardizzate e SHAP, seguendo lo stesso schema utilizzato dalle soluzioni di riferimento AWS pubblicate all'interno SageMaker di Pipelines (vedete Configurazione delle sostituzioni di seguito).

Configurazione delle sostituzioni

Il percorso di sostituzione calcola le metriche di bias standardizzate direttamente con pandas e scikit-learn e calcola l'attribuzione delle funzionalità con SHAP (lo stesso motore utilizzato da Clarify). Le esegui all'interno delle soluzioni di riferimento e delle SageMaker pipeline AWS pubblicate, registrando i risultati in un'app SageMaker AI MLFlow in modo che i risultati di bias e spiegabilità abbiano lo stesso lignaggio, lo stesso controllo delle versioni e la stessa governance delle sessioni di formazione.

Sostituisce il rilevamento dei bias prima e dopo la formazione

Le metriche preliminari alla formazione di Clarify sono formule pubblicate e standardizzate basate sul numero di etichette e sulle proporzioni delle classi. Il loro calcolo diretto rende il controllo delle distorsioni semplice, gestibile e verificabile dal team e coerente con ciò che le soluzioni di riferimento AWS pubblicate fanno nell'ambito delle loro attività di monitoraggio.

Fai riferimento alle metriche di bias pre-training di Clarify per la formula esatta alla base di ogni metrica, in modo che l'implementazione corrisponda all'output di Clarify.

Le metriche post-formazione di Clarify sono funzioni standardizzate del conteggio delle matrici di confusione per gruppo. Calcolarle direttamente in base alle previsioni e alla verità fondamentale rende il controllo semplice e gestito dal team e corrisponde all'approccio per segmento utilizzato dalle soluzioni di riferimento pubblicate per risolvere la distorsione delle distorsioni. AWS Registra i risultati per segmento su un'app SageMaker AI MLFlow per la governance e il monitoraggio delle tendenze.

Fai riferimento alle metriche di riferimento Clarify post-training bias per la formula esatta alla base di ciascuna metrica.

Sostituzione della spiegabilità del modello (attribuzione delle funzionalità SHAP)

La libreria SHAP è lo stesso motore che alimenta la spiegabilità di Clarify. SageMaker Usarla direttamente ti offre una maggiore flessibilità:

pip install shap

Per l'uso in produzione, le soluzioni di riferimento AWS pubblicate includono un 6_shap_explainability.ipynb notebook che genera l'importanza globale delle funzionalità, spiegazioni previsionali individuali e analisi dell'interazione delle funzionalità per un modello distribuito, registrando i risultati in un'app AI MLFlow. SageMaker

Fai riferimento alla documentazione SHAP per il riferimento alle API.

Sostituzione del bias drift e del feature attribution drift monitoring

Questo approccio rende operative le stesse metriche standardizzate (metriche di equità calcolate direttamente e importanza delle funzionalità SHAP) in base a una pianificazione, con governance, derivazione e avvisi, utilizzando le soluzioni di monitoraggio Amazon AI. SageMaker Utilizza lo stesso QuickSight pattern EventBridge + Lambda + Athena (Iceberg) + MLFlow + SNS + utilizzato dalla guida alla migrazione di Model Monitor per la deriva della qualità dei dati e del modello, quindi la deriva dei bias e la deriva dell'attribuzione delle funzionalità diventano metriche aggiuntive nella stessa pipeline di governance anziché in un sistema separato.

Valutazione sostitutiva del modello di base (LLM)

Opzione 1: libreria fmeval (consigliata per i modelli) SageMaker-hosted

La fmeval libreria è lo stesso motore di valutazione su cui si basa la valutazione del modello di base di Clarify e può essere utilizzata indipendentemente da Clarify Processing Jobs:

pip install fmeval

La fmeval libreria supporta: riepilogo del testo, risposta alle domande, classificazione, generazione aperta, conoscenza dei fatti, tossicità, robustezza (perturbazioni semantiche) e pronta valutazione degli stereotipi. Per il monitoraggio continuo e in produzione della qualità LLM sugli SageMaker endpoint, le soluzioni di riferimento LLM Inference Monitoring e LLM Quality Observability with Grafana AWS pubblicate eseguono valutazioni di intelligenza artificiale generativa MLFlow (Safety, Relevance, Fluency, Guidelines, Coherence) utilizzando i modelli Amazon Bedrock.

Fai riferimento a Usa la libreria fmeval per eseguire una valutazione automatica e alla valutazione del modello Track LLM utilizzando MLFlow e FMEval SageMaker gestiti da Amazon per passaggi dettagliati.

Opzione 2: Amazon Bedrock Evaluations (servizio gestito)

Amazon Bedrock Evaluations fornisce un'alternativa gestita per la valutazione del modello base senza richiedere Clarify Processing Jobs:

Bedrock Evaluations supporta la valutazione dei modelli ospitati su Bedrock, dei modelli personalizzati e dei modelli esterni (comprese le implementazioni on-premise o multi-cloud) a condizione che tu fornisca i dati di valutazione nel formato richiesto.

Per passaggi dettagliati, consulta Valuta le prestazioni delle risorse Amazon Bedrock e Valuta modelli o sistemi RAG utilizzando Amazon Bedrock Evaluations.

Opzione 3: Amazon Bedrock Guardrails (sicurezza in fase di esecuzione)

Per il filtraggio dei contenuti in fase di esecuzione (tossicità, PII, contenuti dannosi) che SageMaker Clarify valuta al momento della valutazione, Amazon Bedrock Guardrails fornisce una protezione continua in fase di esecuzione per le applicazioni di intelligenza artificiale generativa:

Per una procedura dettagliata, consulta Rileva e filtra i contenuti dannosi utilizzando Amazon Bedrock Guardrails.