本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用 A/B 測試測量建議影響
<a name="ab-testing-recommendations"></a>

 執行 A/B 測試包含執行具有多個變化的實驗並比較結果。使用 Amazon Personalize 建議執行 A/B 測試需要顯示不同使用者群組不同類型的建議，然後比較結果。您可以使用 A/B 測試來協助比較和評估不同的建議策略，並測量建議的影響。

例如，您可以使用 A/B 測試來查看 Amazon Personalize 建議是否會提高點擊率。若要測試此案例，您可能會顯示一組非個人化使用者建議，例如特色產品。此外，您可能會顯示 Amazon Personalize 產生的另一個群組個人化建議。當您的客戶與項目互動時，您可以記錄結果，並查看哪些策略會產生最高的點擊率。

使用 Amazon Personalize 建議執行 A/B 測試的工作流程如下：

1. **規劃您的實驗** – 定義可量化的假設、識別業務目標、定義實驗變化，以及判斷您的實驗時間範圍。

1. **分割您的使用者** – 將使用者分割為兩個或多個群組，其中包含一個控制群組和一或多個實驗群組。

1. **執行實驗** – 向實驗群組中的使用者顯示修改後的建議。顯示控制群組建議中的使用者，沒有變更。記錄他們的互動與建議，以追蹤結果。

1. **評估結果** – 分析實驗結果，以判斷修改是否對實驗群組造成統計上顯著的差異。

**Topics**
+ [A/B 測試最佳實務](#ab-testing-best-practices)

## A/B 測試最佳實務
<a name="ab-testing-best-practices"></a>

使用下列最佳實務來協助您設計和維護 Amazon Personalize 建議的 A/B 測試。
+ 識別可量化的業務目標。確認您要比較的不同建議都與此業務目標相符，而且與不同或無法量化的目標無關。
+ 定義符合您業務目標的可量化假設。例如，您可能會預測，自有自訂內容的提升將導致這些項目的點選次數增加 20%。您的假設會決定您為實驗群組所做的修改。
+ 定義與您的假設相關的關鍵績效指標 KPIs)。您可以使用 KPIs 來測量實驗的結果。這些可能如下：
  + 點擊率
  + 監看時間
  + 總價
+ 根據您的假設，確認實驗中的使用者總數夠大，足以達到統計上顯著的結果。
+ 在開始實驗之前，定義您的流量分割策略。避免在實驗執行時變更流量分割。
+ 為您的實驗群組和控制群組保持應用程式或網站的使用者體驗相同，但與實驗相關的修改除外 （例如，模型）。使用者體驗的變化，例如 UI 或延遲，可能會導致誤導的結果。
+ 控制外部因素，例如假日、持續行銷活動和瀏覽器限制。這些外部因素可能會導致誤導的結果。
+ 除非與您的假設或業務需求直接相關，否則請避免變更 Amazon Personalize 建議。套用篩選條件或手動變更順序等變更可能會導致誤導的結果。
+ 當您評估結果時，請確定結果在得出結論之前具有統計顯著性。業界標準是 5% 的顯著水準。