本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 訓練後資料和模型偏差指標
<a name="clarify-measure-post-training-bias"></a>

Amazon SageMaker Clarify 提供十一個訓練後資料和模型偏差指標，以協助量化各種公平性概念。這些概念無法全部同時滿足，並且選擇取決於涉及分析潛在偏差情況下的具體情況。這些指標中的大多數都是從不同人口統計組的二進位分類混淆矩陣中，獲得的數字的組合。由於公平性和偏差可以透過廣泛的指標來定義，因此需要人為判斷來了解和選擇與個別使用案例相關的指標，客戶應諮詢適當的利害關係人，以確定申請使用適當的公平性量值。

我們使用下面的符號來討論偏差指標。描述的概念性模型用於二進位分類，其中事件被標籤為在其範例空間中只有兩個可能的結果，稱為正 (值為 1) 和負 (值為 0)。該框架通常可以直接擴展到多類別分類，或者在需要時涉及連續性有價值結果的案例。在二進位分類案例中，正值和負值標籤會指派給原始資料集中記錄的結果，以及有利構面 *a* 和不利構面 *d*。這些標籤 y 稱為*觀察標籤*，用來區分它們與機器學習模型在機器學習 (ML) 生命週期的訓練或推論階段期間指派的*預測標籤* y'。這些標籤用於定義機率分布 Pa(y) 和 Pd(y) 為其各自的構面結果。
+ 標籤：
  + y 代表訓練資料集中事件結果的 n 個觀察標籤。
  + y' 代表經過訓練的模型在資料集中 n 個觀察標籤的預測標籤。
+ 成果：
  + 樣本的正值結果 (值為 1)，例如申請接受。
    + n(1) 是正結果 (接受) 的觀察標籤數目。
    + n'(1) 是正結 果(接受) 的預測標籤數目。
  + 樣本的負值結果 (值為 0)，例如申請拒絕。
    + n(0) 是負結果 (接受) 的觀察標籤數目。
    + n'(0) 是負結果 (接受) 的預測標籤數目。
+ 構面值：
  + 構面 *a* – 定義對偏差有利人口統計特徵值。
    + na 是有利構面值的觀察標籤數目：na = na(1) \+ na(0) 構面 *a* 值的正值和負值觀察標籤總和。
    + n'a 是有利構面值的預測標籤數目：n'a = n'a(1) \+ n'a(0) 構面 *a* 值的正值和負值預測標籤總和。請注意，n'a = na。
  + 構面 *d* — 定義對偏差不利人口統計特徵值。
    + nd 是不利構面值的觀察標籤數目：nd = nd(1) \+ nd(0) 構面 *d* 值的正值和負值觀察標籤總和。
    + n'd 是不利構面值的預測標籤數目：n'd = n'd(1) \+ n'd(0) 構面 *a* 值的正值和負值預測標籤總和。請注意，n'd = nd。
+ 標籤構面資料結果的結果機率分布：
  + Pa(y) 是構面 *a* 的觀察標籤機率分布。對於二進位標籤的資料，此分布由標籤為總數正結果的構面 *a* 中的樣本數目比率，Pa(y1) = na(1)/ na，以及總數負結果的樣本數比率，Pa(y0) = na(0)/ na。
  + Pd(y) 是構面 *d* 的觀察標籤機率分布。對於二進位標籤的資料，此分布由標籤為總數正結果的構面 *d* 中的樣本數目比率，Pd(y1) = nd(1)/ nd，以及總數負結果的樣本數比率，Pd(y0) = nd(0)/ nd。

下表包含快速指引的備忘單，以及訓練後偏差指標的連結。

訓練後偏差指標


| 訓練後偏差指標 | 說明 | 範例問題 | 解譯指標值 | 
| --- | --- | --- | --- | 
| [預測標籤中正值比例的差異 (DPPL)](clarify-post-training-bias-metric-dppl.md) | 測量有利構面 a 和不利構面 d 之間的正預測比例差異。 | 在可能出現偏差的預測正值結果中，人口統計組是否存在不平衡？ | 標準化二進位和多類別構面標籤的範圍：`[-1,+1]`<br />連續性標籤的範圍：(-∞, \+∞)<br />解釋：[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [差別影響 (DI)](clarify-post-training-bias-metric-di.md) | 測量有利構面 a 和不利構面 d 的預測標籤比例。 | 在可能出現偏差的預測正值結果中，人口統計組是否存在不平衡？ | 標準化二進位、多類別構面和連續性標籤的範圍：[0,∞)<br />解釋：[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [預測標籤 (CDDPL) 中的條件人口統計差異](clarify-post-training-bias-metric-cddpl.md)  | 測量整體構面之間的預測標籤差異，也可以按子組進行測量。 | 有些人口統計組別的貸款申請結果被拒絕比例是否比其接受比例更大？ | 二進位、多類別和連續性結果的 CDDPL 值範圍：`[-1, +1]`[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [反事實翻轉測試 (FT)](clarify-post-training-bias-metric-ft.md)  | 檢查構面 d 的每個項目，並評估構面 a 的類似項目是否具有差別模型預測。 | 一組特定年齡的人口統計是否與不同年齡組別的所有特徵密切相符，但平均支付的費用卻更高？ | 二進位和多類別構面標籤的範圍為[-1, \+1]。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [準確度差異 (AD)](clarify-post-training-bias-metric-ad.md)  | 測量有利和不有利構面的預測準確度之間的差異。 | 該模型是否準確地預測所有人口統計群組的申請的標籤？ | 二進位和多類別構面標籤的範圍為[-1, \+1]。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [召回差異 (RD)](clarify-post-training-bias-metric-rd.md)  | 比較有利和不有利構面的模型重新召回。 | 貸款是否由於相比於一個年齡組別的模型，另一個年齡組別的召回率較高，而存在年齡的偏差？ | 二進位和多類別分類的範圍：`[-1, +1]`。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [條件式接受的差異 (DCAcc)](clarify-post-training-bias-metric-dcacc.md)  | 比較觀察標籤與模型預測標籤。評估預測正值結果 (接受) 的各個構面是否相同。 | 將比較一個年齡組別與另一個年齡組別時，接受貸款的頻率是否比預期的要低 (根據資格)？ | 二進位、多類別構面和連續性標籤的範圍：(-∞, \+∞)。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [接受率 (DAR) 差異](clarify-post-training-bias-metric-dar.md)  | 衡量觀察正值結果 (TP) 與預測正值 (TP \+ FP) 的有利和不利構面之間比率的差異。 | 在預測所有年齡段的合格申請人貸款接受時，該模型是否具有相同的精確度？ | 二進位、多類別構面和連續性標籤的範圍為[-1, \+1]。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [特異性差異 (SD)](clarify-post-training-bias-metric-sd.md)  | 比較有利構面和不有利構面之間模型的特異性。 | 貸款是否因為該模型預測一個年齡組與另一個年齡組相比具有更高的特異性，而存在年齡的偏差？ | 二進位和多類別分類的範圍：`[-1, +1]`。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [條件式拒絕的差異 (DCR)](clarify-post-training-bias-metric-dcr.md)  | 比較觀察標籤與模型預測標籤，並評估負值結果 (拒絕) 的各個構面是否相同。 | 根據資格條件，與另一個年齡組別相比，一個年齡組別的貸款申請的拒絕次數是否多於或少於預期數目？ | 二進位、多類別構面和連續性標籤的範圍：(-∞, \+∞)。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [拒絕率差異 (DRR)](clarify-post-training-bias-metric-drr.md)  | 測量觀察負值結果 (TN) 與預測負值 (TN \+ FN) 在不利和有利構面之間的比率的差異。 | 在預測所有年齡層的不合格申請人其貸款拒絕時，該模型是否具有相同的精確度？ | 二進位、多類別構面和連續性標籤的範圍為[-1, \+1]。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [處理方式平等 (TE)](clarify-post-training-bias-metric-te.md)  | 測量有利和不利構面之間偽陽性與偽陰性比率的差異。 | 在貸款申請中，所有年齡的人口統計學中偽陽性與偽陰性的相對比率是否相同？  | 二進位和多類別構面標籤的範圍：(-∞, \+∞)。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [廣義熵 (GE)](clarify-post-training-bias-metric-ge.md)  | 測量模型預測b指派給每個輸入優點的不平等性。 | 在兩種貸款申請分類的候選模式中，其中一種模式是否會導致期望結果的分布比另一種更不均勻？ | 二進位和多類別標籤的範圍：(0, 0.5)。當模型僅預測偽陰性時，GE 為未定義。[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 

有關訓練後偏差指標的其他資訊，請參閱[機器學習在金融領域的一系列公平量值](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)。

**Topics**
+ [預測標籤中正值比例的差異 (DPPL)](clarify-post-training-bias-metric-dppl.md)
+ [差別影響 (DI)](clarify-post-training-bias-metric-di.md)
+ [條件式接受的差異 (DCAcc)](clarify-post-training-bias-metric-dcacc.md)
+ [條件式拒絕的差異 (DCR)](clarify-post-training-bias-metric-dcr.md)
+ [特異性差異 (SD)](clarify-post-training-bias-metric-sd.md)
+ [召回差異 (RD)](clarify-post-training-bias-metric-rd.md)
+ [接受率 (DAR) 差異](clarify-post-training-bias-metric-dar.md)
+ [拒絕率差異 (DRR)](clarify-post-training-bias-metric-drr.md)
+ [準確度差異 (AD)](clarify-post-training-bias-metric-ad.md)
+ [處理方式平等 (TE)](clarify-post-training-bias-metric-te.md)
+ [預測標籤 (CDDPL) 中的條件人口統計差異](clarify-post-training-bias-metric-cddpl.md)
+ [反事實翻轉測試 (FT)](clarify-post-training-bias-metric-ft.md)
+ [廣義熵 (GE)](clarify-post-training-bias-metric-ge.md)