Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Klären Sie die Verfügbarkeit, ändern

AWS-veröffentlichte Überwachungslösungen, standardisierte Bias-Metriken, SHAP- und Amazon Bedrock-Evaluationen

Die Kombination aus den AWS veröffentlichten SageMaker Open-Source-KI-Überwachungslösungen, der Basisberechnung der standardisierten Bias-Metriken, Clarify-Berichten, der SHAP-Bibliothek, auf der SageMaker Clarify selbst basiert, Amazon SageMaker AI MLflow, Amazon, Amazon und Amazon Bedrock Evaluations CloudWatch dient als QuickSight Ersatz für Amazon Clarify. SageMaker Diese Anleitung enthält Folgendes:

Clarify wird entfernt

Beenden Sie die Verarbeitung von Clarify für neue Analysen

Wenn Ihr Workflow die Ausführung von SageMaker Clarify Processing Jobs mithilfe der SageMakerClarifyProcessor Klasse, der clarify.BiasConfig clarify.SHAPConfig /-Konfigurationen oder der run_bias() run_explainability() /-Methoden aus dem SageMaker Python-SDK umfasst, wechseln Sie zu den Alternativen, die im Abschnitt Konfiguration von Ersatzteilen weiter unten beschrieben sind.

Löschen oder behalten Sie Clarify-Ausgabeartefakte bei (optional)

Clarify Processing Jobs speichert Ausgabeartefakte in Amazon S3:

Wenn Sie diese aus Gründen der Einhaltung gesetzlicher Vorschriften, behördlicher Prüfprotokolle oder als historische Referenz aufbewahren müssen, speichern Sie sie in S3 oder archivieren Sie sie auf S3 Glacier. Wenn sie nicht mehr benötigt werden, löschen Sie das S3-Präfix.

Entfernen Sie Clarify aus den SageMaker Pipelines (falls verwendet)

Wenn Sie SageMaker Pipelines mit ClarifyCheckStep oder ProcessingStep Schritte haben, die Clarify aufrufen, ersetzen Sie diese durch eineProcessingStep, die die standardisierte Metrikberechnung und SHAP ausführt. Dabei folgen Sie demselben Muster, das die AWS veröffentlichten Referenzlösungen in SageMaker Pipelines verwenden (siehe Konfiguration von Ersatzprodukten unten).

Konfiguration von Ersatzteilen

Der Ersetzungspfad berechnet die standardisierten Bias-Metriken direkt mit Pandas und Scikit-Learn und berechnet die Merkmalsattribution mit SHAP (dieselbe Engine, die Clarify verwendet). Sie führen diese innerhalb der AWS veröffentlichten Referenzlösungen und SageMaker Pipelines aus und protokollieren die Ergebnisse in einer SageMaker KI-MLflow-App, sodass Ihre Verzerrungs- und Erklärbarkeitsergebnisse dieselbe Abstammung, Versionierung und Steuerung aufweisen wie Ihre Trainingsläufe.

Ersetzt die Erkennung von Verzerrungen vor und nach dem Training

Die Kennzahlen von Clarify vor dem Training werden veröffentlicht. Dabei handelt es sich um standardisierte Formeln, die auf der Anzahl der Teilnehmer und den Klassenverhältnissen basieren. Wenn Sie sie direkt berechnen, ist die Überprüfung der Verzerrungen einfach, Ihrem Team zu eigen und überprüfbar. Sie steht im Einklang mit dem, was die AWS veröffentlichten Referenzlösungen im Rahmen ihrer Überwachungsaufgaben bewirken.

Die genaue Formel hinter den einzelnen Metriken finden Sie in der Clarify-Referenz zu den Verzerrungsmetriken vor dem Training, damit Ihre Implementierung den Ergebnissen von Clarify entspricht.

Die Metriken von Clarify nach dem Training sind standardisierte Funktionen der Anzahl der Konfusionsmatrizen pro Gruppe. Wenn Sie sie direkt anhand von Vorhersagen und Fakten berechnen, ist die Überprüfung einfach und gehört Ihrem Team. Außerdem entspricht sie dem segmentspezifischen Ansatz, den die AWS veröffentlichten Referenzlösungen für Verzerrungen verwenden. Protokollieren Sie die segmentspezifischen Ergebnisse in einer SageMaker KI-MLflow-App zur Steuerung und Trendverfolgung.

Die genaue Formel hinter den einzelnen Metriken finden Sie in der Referenz Clarify Bias nach dem Training.

Ersetzt die Erklärbarkeit des Modells (SHAP-Merkmalsattribution)

Die SHAP-Bibliothek ist dieselbe Engine, die die Erklärbarkeit von Clarify unterstützt. SageMaker Wenn Sie sie direkt verwenden, erhalten Sie mehr Flexibilität:

pip install shap

Für den Einsatz in der Produktion enthalten die AWS veröffentlichten Referenzlösungen ein 6_shap_explainability.ipynb Notizbuch, das die globale Merkmalsbedeutung, individuelle Vorhersageerklärungen und eine Feature-Interaktionsanalyse für ein bereitgestelltes Modell generiert und die Ergebnisse in einer SageMaker KI-MLflow-App protokolliert.

Die API-Referenz finden Sie in der https://shap.readthedocs.io/en/latest/ SHAP-Dokumentation.

Ersetzt die Überwachung der Verzerrungsabweichung und der Überwachung der Merkmalsattribution

Bei diesem Ansatz werden dieselben standardisierten Metriken (direkt berechnete Fairness-Metriken und SHAP-Feature-Wichtigkeit) nach einem Zeitplan mit Steuerung, Herkunft und Warnmeldungen mithilfe der KI-Überwachungslösungen von Amazon operationalisiert. SageMaker Es wird das gleiche QuickSight Muster EventBridge + Lambda + Athena (Iceberg) + MLFlow + SNS + verwendet, das die Model Monitor-Migrationsleitlinien für Daten- und Modellqualitätsabweichungen verwenden. Daher werden Verzerrungen und Abweichungen von Merkmalsattributionen zu zusätzlichen Metriken in derselben Governance-Pipeline und nicht in einem separaten System.

Ersetzt die Evaluierung des Fundamentmodells (LLM)

Option 1: FMEVAL-Bibliothek (für Modelle empfohlen) SageMaker-hosted

Bei der fmeval Bibliothek handelt es sich um dieselbe Evaluierungsengine, auf der die Evaluierung des Basismodells von Clarify basiert, und sie kann unabhängig von Clarify Processing Jobs verwendet werden:

pip install fmeval

Die fmeval Bibliothek unterstützt: Textzusammenfassung, Beantwortung von Fragen, Klassifizierung, Generierung ohne Ende, Faktenwissen, Toxizität, Robustheit (semantische Störungen) und schnelle Bewertung von Stereotypen. Für die fortlaufende, produktionsinterne LLM-Qualitätsüberwachung auf SageMaker Endpunkten führen die AWS veröffentlichten Referenzlösungen LLM Inference Monitoring und LLM Quality Observability with Grafana generative MLflow-KI-Evaluationen (Sicherheit, Relevanz, Fluency, Guidelines, Coherence) unter Verwendung von Amazon Bedrock-Modellen durch.

Eine detaillierte Anleitung finden Sie unter Verwenden Sie die fmeval-Bibliothek, um eine automatische Bewertung durchzuführen, und unter Track LLM-Modellevaluierung mithilfe von Amazon verwaltetem MLflow und FMEval. SageMaker

Option 2: Amazon Bedrock Evaluations (verwalteter Dienst)

Amazon Bedrock Evaluations bietet eine verwaltete Alternative für die Bewertung von Fundamentmodellen, ohne dass Clarify Processing Jobs erforderlich ist:

Bedrock Evaluations unterstützt die Bewertung von auf Bedrock gehosteten Modellen, benutzerdefinierten Modellen und externen Modellen (einschließlich lokaler oder Multi-Cloud-Bereitstellungen), sofern Sie Bewertungsdaten im erforderlichen Format bereitstellen.

Ausführliche Schritte finden Sie unter Bewerten der Leistung von Amazon Bedrock-Ressourcen und Evaluieren von Modellen oder RAG-Systemen mithilfe von Amazon Bedrock-Evaluationen.

Option 3: Amazon Bedrock Guardrails (Laufzeitsicherheit)

Für die Filterung von Inhalten während der Laufzeit (Toxizität, PII, schädlicher Inhalt), die SageMaker Clarify zum Zeitpunkt der Bewertung auswertet, bietet Amazon Bedrock Guardrails kontinuierlichen Runtime-Schutz für generative KI-Anwendungen:

Eine ausführliche Anleitung finden Sie unter Erkennen und Filtern schädlicher Inhalte mithilfe von Amazon Bedrock Guardrails.