As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Esclareça a mudança de disponibilidade

AWS-soluções de monitoramento publicadas, métricas de viés padronizadas, avaliações SHAP e Amazon Bedrock

A combinação das soluções de monitoramento AWS de SageMaker IA de código aberto publicadas, da computação básica dos relatórios padronizados de métricas de viés Clarify, da biblioteca SHAP na qual a própria SageMaker Clarify foi construída, do Amazon SageMaker AI MLFlow, da Amazon, da Amazon e da Amazon CloudWatch Bedrock Evaluations serve QuickSight como um substituto para o Amazon Clarify. SageMaker Essa orientação fornece o seguinte:

Removendo Clarify

Interrompa as tarefas de processamento do Clarify para uma nova análise

Se seu fluxo de trabalho incluir a execução de trabalhos de processamento do SageMaker SageMakerClarifyProcessor Clarify usando a classe, clarify.SHAPConfig as configuraçõesclarify.BiasConfig/ou os run_explainability() métodosrun_bias()/do SDK do SageMaker Python, faça a transição para as alternativas descritas na seção Configurando substituições abaixo.

Excluir ou reter artefatos de saída do Clarify (opcional)

Esclareça os trabalhos de processamento e armazene artefatos de saída no Amazon S3:

Se você precisar mantê-los para fins de conformidade, trilhas de auditoria regulatória ou referência histórica, deixe-os no S3 ou arquive-os no S3 Glacier. Se eles não forem mais necessários, exclua o prefixo S3.

Remova o Clarify SageMaker das tubulações (se usado)

Se você tiver SageMaker Pipelines com ClarifyCheckStep ou ProcessingStep etapas que invocam o Clarify, substitua-os por um ProcessingStep que execute a computação métrica padronizada e o SHAP, seguindo o mesmo padrão que as soluções de referência AWS publicadas usam nos SageMaker Pipelines (consulte Configurando substituições abaixo).

Configurando substituições

O caminho de substituição calcula as métricas de viés padronizadas diretamente com o pandas e o scikit-learn e calcula a atribuição de recursos com o SHAP (o mesmo mecanismo que o Clarify usa). Você os executa dentro das soluções e SageMaker pipelines AWS de referência publicados, registrando os resultados em um aplicativo SageMaker AI MLflow para que seus resultados de preconceito e explicabilidade tenham a mesma linhagem, controle de versão e governança de seu treinamento.

Substituindo a detecção de viés pré-treinamento e pós-treinamento

As métricas de pré-treinamento da Clarify são fórmulas publicadas e padronizadas com base na contagem de rótulos e nas proporções das classes. Computá-los diretamente mantém a verificação de preconceito simples, de propriedade e testável por sua equipe e consistente com o que as soluções de referência AWS publicadas fazem em seus trabalhos de monitoramento.

Consulte a referência de métricas de viés pré-treinamento da Clarify para obter a fórmula exata por trás de cada métrica, para que sua implementação corresponda à saída da Clarify.

As métricas pós-treinamento da Clarify são funções padronizadas de contagens de matrizes de confusão por grupo. Calculá-las diretamente a partir de previsões e verdades básicas mantém a verificação simples e de propriedade de sua equipe, além de corresponder à abordagem por segmento que as soluções de referência AWS publicadas usam para desvio de preconceitos. Registre os resultados por segmento em um aplicativo SageMaker AI MLflow para governança e rastreamento de tendências.

Consulte a referência de métricas de viés pós-treinamento do Clarify para obter a fórmula exata por trás de cada métrica.

Substituindo a explicabilidade do modelo (atribuição de recursos SHAP)

A biblioteca SHAP é o mesmo mecanismo que impulsiona a explicabilidade do SageMaker Clarify. Usá-lo diretamente oferece mais flexibilidade:

pip install shap

Para uso em produção, as soluções AWS de referência publicadas incluem um 6_shap_explainability.ipynb notebook que gera a importância global dos recursos, explicações de previsão individuais e análise de interação de recursos para um modelo implantado, registrando os resultados em um aplicativo SageMaker AI MLflow.

Consulte a documentação do SHAP para obter a referência da API.

Substituindo o desvio de viés e o monitoramento de desvio de atribuição de recursos

Essa abordagem operacionaliza as mesmas métricas padronizadas (métricas de imparcialidade computadas diretamente e importância dos recursos do SHAP) em um cronograma, com governança, linhagem e alertas, usando as soluções de monitoramento de IA da Amazon. SageMaker Ele usa o mesmo QuickSight padrão EventBridge + Lambda + Athena (Iceberg) + MLflow + SNS + que a orientação de migração do Model Monitor usa para desvio de qualidade de dados e modelos, de modo que o desvio de viés e o desvio de atribuição de recursos se tornam métricas adicionais no mesmo pipeline de governança, em vez de um sistema separado.

Substituindo a avaliação do modelo de fundação (LLM)

Opção 1: biblioteca fmeval (recomendada para SageMaker-hosted modelos)

A fmeval biblioteca é o mesmo mecanismo de avaliação em que se baseia a avaliação do modelo básico da Clarify e pode ser usada independentemente das tarefas de processamento da Clarify:

pip install fmeval

A fmeval biblioteca oferece suporte a: resumo de texto, resposta a perguntas, classificação, geração aberta, conhecimento factual, toxicidade, robustez (perturbações semânticas) e avaliação imediata de estereotipagem. Para o monitoramento contínuo e em produção da qualidade LLM em SageMaker endpoints, as AWS soluções de referência LLM Inference Monitoring e LLM Quality Observability with Grafana executam avaliações de IA generativas do MLflow (segurança, relevância, fluência, diretrizes, coerência) usando modelos da Amazon Bedrock.

Consulte Usar a biblioteca fmeval para executar uma avaliação automática e rastrear a avaliação do modelo LLM usando o MLflow e o FMeval SageMaker gerenciados pela Amazon para obter etapas detalhadas.

Opção 2: Amazon Bedrock Evaluations (serviço gerenciado)

O Amazon Bedrock Evaluations fornece uma alternativa gerenciada para a avaliação do modelo básico sem a necessidade de esclarecer os trabalhos de processamento:

O Bedrock Evaluations oferece suporte à avaliação de modelos hospedados no Bedrock, modelos personalizados e modelos externos (incluindo implantações locais ou em várias nuvens), desde que você forneça dados de avaliação no formato necessário.

Consulte Avaliar o desempenho dos recursos do Amazon Bedrock e Avalie modelos ou sistemas RAG usando o Amazon Bedrock Evaluations para obter etapas detalhadas.

Opção 3: Amazon Bedrock Guardrails (segurança em tempo de execução)

Para a filtragem de conteúdo em tempo de execução (toxicidade, PII, conteúdo nocivo) que a SageMaker Clarify avalia no momento da avaliação, o Amazon Bedrock Guardrails fornece proteção contínua em tempo de execução para aplicativos generativos de IA:

Consulte Detectar e filtrar conteúdo nocivo usando o Amazon Bedrock Guardrails para obter etapas detalhadas.