Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Erklärbarkeit des Modells
Amazon SageMaker Clarify bietet Tools, mit denen erklärt werden kann, wie Modelle für maschinelles Lernen (ML) Vorhersagen treffen. Diese Tools können ML-Modellierern und -Entwicklern sowie anderen internen Stakeholdern helfen, die Modellmerkmale vor der Bereitstellung als Ganzes zu verstehen und Vorhersagen zu debuggen, die das Modell nach der Bereitstellung liefert.
+ Erläuterungen zu Ihren Datensätzen und Modellen finden Sie unter [Fairness, Erklärbarkeit von Modellen und Erkennung von Verzerrungen mit Clarify SageMaker](clarify-configure-processing-jobs.md).
+ Informationen zum Abrufen von Erklärungen in Echtzeit von einem SageMaker KI-Endpunkt finden Sie unter[Online-Erklärbarkeit mit Clarify SageMaker](clarify-online-explainability.md).
Transparenz darüber, wie ML-Modelle zu ihren Prognosen gelangen, ist auch für Verbraucher und Aufsichtsbehörden von entscheidender Bedeutung. Sie müssen den Modellvorhersagen vertrauen können, wenn sie die auf ihnen basierenden Entscheidungen akzeptieren wollen. SageMaker Clarify verwendet einen modellunabhängigen Ansatz zur Zuordnung von Merkmalen. Sie können dies verwenden, um zu verstehen, warum ein Modell nach dem Training eine Vorhersage getroffen hat, und um während der Inferenz eine Erklärung pro Instance zu geben. Die Implementierung beinhaltet eine skalierbare und effiziente Implementierung von [SHAP](https://papers.nips.cc/paper/2017/file/8a20a8621978632d76c43dfd28b67767-Paper.pdf). Dies basiert auf dem Konzept eines Shapley-Werts aus dem Bereich der kooperativen Spieltheorie, der jedem Merkmal einen Wichtigkeitswert für eine bestimmte Vorhersage zuweist.
Clarify erstellt partielle Abhängigkeitsdiagramme (PDPs), die die marginalen Auswirkungen von Merkmalen auf das vorhergesagte Ergebnis eines Modells für maschinelles Lernen zeigen. Die partielle Abhängigkeit hilft bei der Erklärung der Zielreaktion anhand einer Reihe von Eingabemerkmalen. Sie unterstützt auch die Erklärbarkeit von Computer Vision (CV) und natürliche Sprachverarbeitung (NLP) unter Verwendung desselben Shapley-Wertealgorithmus (SHAP), der auch für tabellarische Datenerklärungen verwendet wird.
Was ist die Funktion einer Erklärung im Kontext des maschinellen Lernens? Eine Erklärung kann man sich als Antwort auf eine *Warum-Frage vorstellen*, die Menschen hilft, die Ursache einer Vorhersage zu verstehen. Im Kontext eines ML-Modells könnten Sie an der Beantwortung von Fragen wie den folgenden interessiert sein:
+ Warum hat das Modell für einen bestimmten Antragsteller ein negatives Ergebnis vorhergesagt, z. B. eine Ablehnung eines Kredits?
+ Wie macht das Modell Vorhersagen?
+ Warum hat das Modell eine falsche Vorhersage getroffen?
+ Welche Merkmale haben den größten Einfluss auf das Verhalten des Modells?
Mithilfe von Erläuterungen können Sie regulatorische Anforderungen prüfen und erfüllen, Vertrauen in das Modell aufbauen und menschliche Entscheidungen unterstützen sowie die Modellleistung debuggen und verbessern.
Entscheidend für die Art der Erklärung ist die Notwendigkeit, den Anforderungen an menschliches Verständnis über die Art und die Ergebnisse der ML-Inferenz gerecht zu werden. Forschungen aus philosophischen und kognitionswissenschaftlichen Disziplinen haben gezeigt, dass Menschen sich besonders für kontrastive Erklärungen interessieren, also Erklärungen, warum ein Ereignis X eingetreten ist, anstatt für ein anderes Ereignis Y, das nicht eingetreten ist. Hier könnte X ein unerwartetes oder überraschendes Ereignis sein, das eingetreten ist, und Y entspricht einer Erwartung, die auf ihrem bestehenden mentalen Modell basiert und als *Basislinie* bezeichnet wird. Beachten Sie, dass für dasselbe Ereignis X verschiedene Personen je nach ihrer Sichtweise oder ihrem mentalen Modell Y unterschiedliche Erklärungen suchen können. Im Zusammenhang mit erklärbarer KI können Sie sich X als das Beispiel vorstellen, das erklärt wird, und Y als Basislinie, die normalerweise ausgewählt wird, um ein nicht informatives oder durchschnittliches Beispiel im Datensatz darzustellen. Manchmal, zum Beispiel bei der ML-Modellierung von Bildern, kann die Basislinie implizit sein, wobei ein Bild, dessen Pixel alle dieselbe Farbe haben, als Basislinie dienen kann.
## Beispiel-Notebooks
Amazon SageMaker Clarify stellt zur besseren Erläuterung des Modells das folgende Musternotizbuch zur Verfügung:
+ [Amazon SageMaker Clarify Processing](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-clarify/index.html#sagemaker-clarify-processing) — Verwenden Sie SageMaker Clarify, um einen Verarbeitungsjob für die Erkennung von Verzerrungen und die Erklärung von Modellvorhersagen mit Feature-Attributionen zu erstellen. Beispiele hierfür sind die Verwendung der Datenformate CSV und JSON Lines, das Verwenden eines eigenen Containers und das Ausführen von Verarbeitungsaufträgen mit Spark.
+ [Erläuterung der Bildklassifizierung mit SageMaker SageMaker Clarify](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-clarify/computer_vision/image_classification/explainability_image_classification.ipynb) — Clarify bietet Ihnen Einblicke, wie Ihre Computer-Vision-Modelle Bilder klassifizieren.
+ [Erläuterung von Objekterkennungsmodellen mit SageMaker Clarify](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/computer_vision/object_detection/object_detection_clarify.ipynb) — SageMaker Clarify bietet Ihnen Einblicke in die Art und Weise, wie Ihre Computer-Vision-Modelle Objekte erkennen.
Es wurde verifiziert, dass dieses Notizbuch nur in Amazon SageMaker Studio ausgeführt werden kann. Anweisungen zum Öffnen eines Notizbuchs in Amazon SageMaker Studio finden Sie unter[Erstellen oder öffnen Sie ein Amazon SageMaker Studio Classic-Notizbuch](notebooks-create-open.md). Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen Sie **Python 3 (Data Science)**.
**Topics**
+ [Beispiel-Notebooks](#clarify-model-explainability-sample-notebooks)
+ [Feature-Attributionen, die Shapley-Werte verwenden](clarify-shapley-values.md)
+ [Asymmetrische Shapley-Werte](clarify-feature-attribute-shap-asymm.md)
+ [SHAP-Baselines zur Erläuterbarkeit](clarify-feature-attribute-shap-baselines.md)
# Feature-Attributionen, die Shapley-Werte verwenden
SageMaker Clarify stellt Funktionszuweisungen bereit, die auf dem Konzept des [Shapley-Werts](https://en.wikipedia.org/wiki/Shapley_value) basieren. Sie können Shapley-Werte verwenden, um den Beitrag zu ermitteln, den jedes Merkmal zu Modellvorhersagen geleistet hat. Diese Zuschreibungen können für spezifische Vorhersagen und auf globaler Ebene für das gesamte Modell bereitgestellt werden. Wenn Sie beispielsweise ein ML-Modell für Hochschulzulassungen verwenden, können Sie anhand der Erläuterungen ermitteln, ob der Notendurchschnitt oder der SAT-Wert das Merkmal war, das am stärksten für die Vorhersagen des Modells verantwortlich war. Anschließend können Sie feststellen, wie verantwortlich jedes Merkmal für die Entscheidung über die Zulassung eines bestimmten Studenten war.
SageMaker Clarify hat das Konzept der Shapley-Werte aus der Spieltheorie übernommen und in einem Kontext für maschinelles Lernen eingesetzt. Der Shapley-Wert bietet eine Möglichkeit, den Beitrag jedes Spielers zu einem Spiel zu quantifizieren und somit die Möglichkeit, den durch ein Spiel generierten Gesamtgewinn auf der Grundlage ihrer Beiträge an die Spieler zu verteilen. In diesem Kontext des maschinellen Lernens behandelt SageMaker Clarify die Vorhersage des Modells auf einer bestimmten Instanz als das *Spiel* und die im Modell enthaltenen Funktionen als die *Spieler*. In einer ersten Annäherung könnte man versucht sein, den marginalen Beitrag oder Effekt jedes Merkmals zu bestimmen, indem man das Ergebnis des *Entfernens* dieses Merkmals aus dem Modell oder des *Entfernens* aller anderen Merkmale aus dem Modell quantifiziert. Bei diesem Ansatz wird jedoch nicht berücksichtigt, dass die in einem Modell enthaltenen Merkmale häufig nicht unabhängig voneinander sind. Wenn beispielsweise zwei Merkmale stark korreliert sind, kann es sein, dass die Modellvorhersage nicht wesentlich verändert wird, wenn eines der Merkmale weggelassen wird.
Um diesen potenziellen Abhängigkeiten Rechnung zu tragen, erfordert der Shapley-Wert, dass das Ergebnis jeder möglichen Kombination (oder Koalition) von Merkmalen berücksichtigt werden muss, um die Bedeutung der einzelnen Merkmale zu bestimmen. Bei gegebenen *d* Merkmalen gibt es 2 d solcher möglichen Merkmalskombinationen, von denen jede einem potenziellen Modell entspricht. Um die Zuordnung für ein bestimmtes Merkmal *f* zu bestimmen, berücksichtigen Sie den marginalen Beitrag, den die Einbeziehung von *f* in alle Merkmalskombinationen (und zugehörigen Modelle), die *f* nicht enthalten, mit einbezieht, und nehmen Sie den Durchschnitt. Es kann gezeigt werden, dass der Shapley-Wert die einzigartige Methode ist, den Beitrag oder die Wichtigkeit jedes Merkmals zuzuweisen, das bestimmte wünschenswerte Eigenschaften erfüllt. Insbesondere entspricht die Summe der Shapley-Werte jedes Merkmals der Differenz zwischen den Vorhersagen des Modells und einem Scheinmodell ohne Merkmale. Aber selbst für vernünftige Werte von *d*, sagen wir 50 Merkmale, ist es rechnerisch unerschwinglich und nicht praktikabel, mögliche 2d-Modelle zu trainieren. Aus diesem Grund muss SageMaker Clarify verschiedene Näherungstechniken verwenden. Zu diesem Zweck verwendet SageMaker Clarify Shapley Additive Explanations (SHAP), das solche Näherungen berücksichtigt und durch zusätzliche Optimierungen eine skalierbare und effiziente Implementierung des Kernel-SHAP-Algorithmus entwickelt hat.
Weitere Informationen zu Shapley-Werten finden Sie unter [Ein einheitlicher Ansatz zur Interpretation von Modellvorhersagen.](https://papers.nips.cc/paper/2017/file/8a20a8621978632d76c43dfd28b67767-Paper.pdf)
# Asymmetrische Shapley-Werte
Die SageMaker Clarify-Lösung zur Erklärung von Zeitreihenprognosemodellen ist eine Methode zur Zuordnung von Merkmalen, die auf der [kooperativen Spieltheorie basiert und im Geiste SHAP ähnelt](https://en.wikipedia.org/wiki/Cooperative_game_theory). Insbesondere verwendet Clarify [Gruppenwerte in zufälliger Reihenfolge](http://www.library.fa.ru/files/Roth2.pdf#page=121), die beim maschinellen Lernen und bei der Erklärbarkeit auch als [asymmetrische Shapley-Werte](https://proceedings.neurips.cc/paper/2020/file/0d770c496aa3da6d2c3f2bd19e7b9d6b-Paper.pdf) bezeichnet werden.
## Hintergrund
*Ziel ist es, Zuordnungen von Eingabe-Features zu einem bestimmten Prognosemodell f zu berechnen.* Das Prognosemodell verwendet die folgenden Eingaben:
+ Vergangene Zeitreihen *(Ziel TS)*. *Dabei könnte es sich beispielsweise um ehemalige tägliche Zugpassagiere auf der Strecke Paris-Berlin handeln, die mit x gekennzeichnet ist. t*
+ (Optional) Eine kovariate Zeitreihe. Dies könnten beispielsweise Feierlichkeiten und Wetterdaten sein, die mit *z t* ∈ R S bezeichnet werden. Bei Verwendung könnte die Kovariate TS nur für die vergangenen Zeitschritte oder auch für die future Zeitschritte (im Festkalender enthalten) verfügbar sein.
+ (Optional) Statische Kovariaten, z. B. Servicequalität (wie 1. oder 2. Klasse), bezeichnet mit *u* ∈ R E.
Statische Kovariaten, dynamische Kovariaten oder beides können je nach Anwendungsszenario weggelassen werden. Bei einem Prognosehorizont K ≥ 0 (z. B. K=30 Tage) kann die Modellvorhersage durch die Formel charakterisiert werden: *f (x[1:T], z[1:T\$1K], u*) = x. [T\$11:T \$1K\$11]
Das folgende Diagramm zeigt eine Abhängigkeitsstruktur für ein typisches Prognosemodell. Die Vorhersage zum Zeitpunkt *t\$11* hängt von den drei zuvor genannten Eingangstypen ab.
![\[Abhängigkeitsstruktur für ein typisches Prognosemodell.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/clarify/clarify-forecast-dependency.png)
## Methode
Erklärungen werden berechnet, indem das Zeitreihenmodell *f* anhand einer Reihe von Punkten abgefragt wird, die aus der ursprünglichen Eingabe abgeleitet wurden. Anhand spieltheoretischer Konstruktionen werden die Durchschnittswerte der Unterschiede zwischen den Vorhersagen geklärt, wobei Teile der Eingaben iterativ verschleiert (d. h. auf einen Basiswert festgelegt) werden. Durch die zeitliche Struktur kann in chronologischer oder antichronologischer Reihenfolge oder in beidem navigiert werden. Chronologische Erklärungen werden erstellt, indem iterativ Informationen aus dem ersten Zeitschritt hinzugefügt werden, während Informationen aus dem letzten Schritt antichronologisch hinzugefügt werden. Letzteres Modell ist möglicherweise besser geeignet, wenn es um Verzerrungen in jüngster Zeit geht, z. B. bei der Prognose von Aktienkursen. Eine wichtige Eigenschaft der berechneten Erklärungen besteht darin, dass sie in ihrer Summe den Output des ursprünglichen Modells ergeben, wenn das Modell deterministische Ergebnisse liefert.
## Daraus resultierende Zuschreibungen
Bei den resultierenden Attributionen handelt es sich um Punktzahlen, die einzelne Beiträge bestimmter Zeitintervalle oder Eingabe-Features zur endgültigen Prognose in jedem prognostizierten Zeitschritt kennzeichnen. Clarify bietet zur Erläuterung die folgenden zwei Granularitäten an:
+ Zeitliche Erklärungen sind kostengünstig und geben nur Auskunft über bestimmte Zeitschritte, z. B. wie viel die Informationen des 19. Tages in der Vergangenheit zur Prognose des ersten Tages in der future beigetragen haben. Diese Zuschreibungen erklären keine individuellen statischen Kovariaten und aggregierten Erklärungen von Ziel- und kovariaten Zeitreihen. *Bei den Attributionen handelt es sich um eine Matrix *A*, wobei jedes *A tk* die Zuordnung des Zeitschritts *t zur Prognose des Zeitschritts T\$1k* darstellt.* *Beachten Sie, dass t größer als *T* sein kann, wenn das Modell future Kovariaten akzeptiert.*
+ Präzise Erklärungen sind rechenintensiver und bieten eine vollständige Aufschlüsselung aller Attributionen der Eingabevariablen.
**Anmerkung**
Feinkörnige Erklärungen unterstützen nur die chronologische Reihenfolge.
Die sich daraus ergebenden Zuschreibungen sind ein Triplett, das sich wie folgt zusammensetzt:
+ *Matrix *A x* ∈ R T×K bezogen auf die Eingabezeitreihe, wobei *A tk x die Zuordnung von *x t** zum Prognoseschritt T\$1k ist*
+ *Tensor *A z* ∈ *R T\$1K×S×K* bezieht sich auf die kovariate Zeitreihe, wobei *A tsk z die Zuordnung von *z ts** (d. h. der ersten Kovariate TS) zum Prognoseschritt T\$1k ist*
+ *Matrix *A u* ∈ R E×K bezieht sich auf die statischen Kovariaten, wobei *A ek u die Zuordnung von *u e** (der zehnten statischen Kovariate) zum Prognoseschritt T\$1k ist*
Unabhängig von der Granularität enthält die Erklärung auch einen Offsetvektor *B* ∈ *R K*, der das „grundlegende Verhalten“ des Modells darstellt, wenn alle Daten verschleiert sind.
# SHAP-Baselines zur Erläuterbarkeit
Die Erklärungen sind in der Regel kontrastiv (d. h. sie berücksichtigen Abweichungen von einer Ausgangsbasis). Daher können Sie für dieselbe Modellvorhersage davon ausgehen, dass Sie unterschiedliche Erklärungen in Bezug auf unterschiedliche Ausgangswerte erhalten. Daher ist die Wahl einer Basislinie von entscheidender Bedeutung. In einem ML-Kontext entspricht die Baseline einer hypothetischen Instance, die entweder *nicht informativ* oder *informativ* sein kann. Während der Berechnung von Shapley-Werten generiert SageMaker Clarify mehrere neue Instanzen zwischen der Basislinie und der jeweiligen Instanz, in denen das Fehlen eines Merkmals modelliert wird, indem der Merkmalswert auf den Wert der Basislinie gesetzt wird, und das Vorhandensein eines Merkmals wird modelliert, indem der Merkmalswert auf den Wert der jeweiligen Instanz gesetzt wird. Somit entspricht das Fehlen aller Features der Basislinie und das Vorhandensein aller Features entspricht der gegebenen Instance.
Wie kann man gute Baselines wählen? Oft ist es wünschenswert, eine Ausgangsbasis mit sehr geringem Informationsgehalt zu wählen. Sie können beispielsweise aus dem Trainingsdatensatz eine Durchschnitts-Instance erstellen, indem Sie entweder den Median oder den Durchschnitt für numerische Merkmale und den Modus für kategoriale Merkmale verwenden. Für das Beispiel mit den Hochschulzulassungen könnte es für Sie von Interesse sein, zu erklären, warum ein bestimmter Bewerber zugelassen wurde, im Vergleich zu den Basiszulassungen, die auf einem durchschnittlichen Bewerber basieren. Falls nicht angegeben, wird eine Basislinie automatisch von SageMaker Clarify unter Verwendung von K-Means oder K-Prototypen im Eingabedatensatz berechnet.
Alternativ können Sie Erklärungen zu informativen Basislinien erstellen. Für das Zulassungsszenario an Hochschulen möchten Sie vielleicht erläutern, warum ein bestimmter Bewerber im Vergleich zu anderen Bewerbern mit ähnlichem demografischem Hintergrund abgelehnt wurde. In diesem Fall können Sie eine Ausgangsbasis wählen, die die Bewerber repräsentiert, die für Sie von Interesse sind, d. h. Bewerber mit einem ähnlichen demografischen Hintergrund. Auf diese Weise können Sie aussagekräftige Basiswerte verwenden, um die Analyse auf die spezifischen Aspekte einer bestimmten Modellvorhersage zu konzentrieren. Sie können die Merkmale für die Bewertung isolieren, indem Sie demografische Merkmale und andere Merkmale, auf die Sie nicht reagieren können, auf denselben Wert wie in der jeweiligen Instance festlegen.