Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Unterschied in der bedingten Akzeptanz (dcACC)
Diese Metrik vergleicht die beobachteten Kennzeichnungen mit den vom Modell vorhergesagten Kennzeichnungen und bewertet, ob diese Werte bei vorhergesagten positiven Ergebnissen für alle Facetn gleich sind. Diese Metrik ahmt menschliche Verzerrungen insofern sehr nach, als sie quantifiziert, wie viele positive Ergebnisse ein Modell für eine bestimmte Facet vorhergesagt hat (mit 'y' bezeichnet), verglichen mit den Ergebnissen, die im Trainingsdatensatz beobachtet wurden (Bezeichnungen y). Wenn beispielsweise im Trainingsdatensatz für Kreditanträge für eine Gruppe mittleren Alters (Facet a) mehr Akzeptanz festgestellt wurde (ein positives Ergebnis) als von dem auf Qualifikationen basierenden Modell vorhergesagt wurde als in der Facet, die andere Altersgruppen umfasst (Facet d), könnte dies auf mögliche Verzerrungen bei der Kreditvergabe zugunsten der Gruppe mittleren Alters hindeuten.
Die Formel für den Unterschied in der bedingten Akzeptanz lautet wie folgt:
DCAcc = ca – cd
Wobei Folgendes gilt:
-
ca = na(1)/ n'a(1) ist das Verhältnis der beobachteten Anzahl positiver Ergebnisse mit dem Wert 1 (Akzeptanz) von Facet a zur vorhergesagten Anzahl positiver Ergebnisse (Akzeptanz) für Facet a.
-
cd = nd(1)/ n'd(1) ist das Verhältnis der beobachteten Anzahl positiver Ergebnisse mit dem Wert 1 (Akzeptanz) der Facet d zur prognostizierten Anzahl der vorhergesagten positiven Ergebnisse (Akzeptanz) für Facet d.
Die dcACC-Metrik kann sowohl positive als auch negative Verzerrungen erfassen, die auf eine bevorzugte Behandlung aufgrund von Qualifikationen schließen lassen. Betrachten Sie die folgenden Fälle altersbedingter Vorurteile bei der Annahme von Krediten.
Beispiel 1: Positive Verzerrung
Nehmen wir an, wir haben einen Datensatz mit 100 Personen mittleren Alters (Facet a) und 50 Personen aus anderen Altersgruppen (Facet d), die Kredite beantragt haben, wobei das Modell empfahl, 60 Personen aus Facet a und 30 aus Facet d Kredite zu vergeben. Die prognostizierten Anteile sind also in Bezug auf die DPPL-Metrik unvoreingenommen, aber die beobachteten Angaben zeigen, dass 70 aus der Facet a und 20 aus der Facet d Kredite gewährt wurden. Mit anderen Worten, das Modell gewährte Kredite für Personen im mittleren Alter um 17% weniger als die beobachteten Bezeichnungen in den Trainingsdaten vermuten ließen (70/60 = 1,17), und es wurden 33% mehr Kredite für Personen aus anderen Altersgruppen vergeben als in den beobachteten Kategorien vorgeschlagen (20/30 = 0,67). Die Berechnung des dCACC-Werts ergibt Folgendes:
dcACC = - = 70/60 20/30 1/2
Der positive Wert weist darauf hin, dass ein potenzieller Bias gegenüber der Facet a mittleren Alters mit einer niedrigeren Akzeptanzrate als der anderen Facet d besteht, als es die beobachteten Daten (als unvoreingenommen betrachtet) vermuten lassen.
Beispiel 2: Negativer Bias
Nehmen wir an, wir haben einen Datensatz mit 100 Personen mittleren Alters (Facet a) und 50 Personen aus anderen Altersgruppen (Facet d), die Kredite beantragt haben, wobei das Modell empfahl, 60 Personen aus Facet a und 30 aus Facet d Kredite zu vergeben. Die prognostizierten Anteile sind also in Bezug auf die DPPL-Metrik unvoreingenommen, aber die beobachteten Angaben zeigen, dass 50 aus der Facet a und 40 aus der Facet d Kredite gewährt wurden. Mit anderen Worten, das Modell gewährte Kredite an 17% weniger Personen im mittleren Alter, als es die beobachteten Angaben in den Ausbildungsdaten vermuten ließen (50/60 = 0,83), und es wurden 33% mehr Kredite an Personen aus anderen Altersgruppen vergeben als in den beobachteten Kategorien vorgeschlagen (40/30 = 1,33). Die Berechnung des dCACC-Werts ergibt Folgendes:
dcACC = - = - 50/60 40/30 1/2
Der negative Wert weist darauf hin, dass ein potenzieller Bias gegenüber der Facet d mit einer niedrigeren Akzeptanzrate als bei der Facet a mittleren Alters vorliegt, als es die beobachteten Daten (als unvoreingenommen betrachtet) vermuten lassen.
Beachten Sie, dass Sie dcACC verwenden können, um potenzielle (unbeabsichtigte) Verzerrungen zu erkennen, die durch Menschen verursacht werden, die die Modellvorhersagen in einer Umgebung verfolgen, in der ein Mensch in der Schleife steht. Nehmen wir zum Beispiel an, dass die Vorhersagen y' durch das Modell unvoreingenommen waren, aber die letztendliche Entscheidung wird von einem Menschen getroffen (möglicherweise mit Zugriff auf zusätzliche Funktionen), der die Modellvorhersagen ändern kann, um eine neue und endgültige Version von y zu generieren. Die zusätzliche Verarbeitung durch den Menschen kann dazu führen, dass ungewollt Kredite an eine unverhältnismäßige Anzahl von Personen aufgrund einer Facet verweigert werden. DCACC kann dabei helfen, solche potenziellen Verzerrungen zu erkennen.
Der Wertebereich für Unterschiede in der bedingten Akzeptanz für binäre, mehrkategoriale Facetnbezeichnungen und kontinuierliche Beschriftungen ist (-∞, +∞).
-
Positive Werte liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den vorhergesagten Annahmen für Facet a höher ist als das gleiche Verhältnis für Facet d. Diese Werte deuten auf eine mögliche Voreingenommenheit gegenüber den qualifizierten Bewerbern aus Facet a hin. Je größer der Unterschied zwischen den Verhältnissen ist, desto extremer ist die scheinbare Verzerrung.
-
Werte nahe Null liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den vorhergesagten Annahmen für Facet a dem Verhältnis für Facet d entspricht. Diese Werte deuten darauf hin, dass die prognostizierten Annahmequoten mit den beobachteten Werten in den gekennzeichneten Daten übereinstimmen und dass qualifizierte Bewerber aus beiden Facetn auf ähnliche Weise aufgenommen werden.
-
Negative Werte liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den prognostizierten Annahmen für Facet a geringer ist als das Verhältnis für Facet d. Diese Werte deuten auf eine mögliche Voreingenommenheit gegenüber den qualifizierten Bewerbern aus Facet d hin. Je negativer der Unterschied in den Verhältnissen ist, desto extremer ist die offensichtliche Verzerrung.
