本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
關於控制和處理
在 AWS AppConfig 實驗中:
控制處理方式代表穩定、充分了解的組態或經驗,做為比較的基準。這通常是目前的預設行為,但可以是任何已知良好的狀態。
處理方式代表針對控制項評估的變化。
每個處理都會對應至您的應用程式用來判斷顯示給使用者之體驗的功能標記組態或值。透過比較處理效能與控制項來評估實驗結果。處理方式可以代表:
UI 變更
功能組態
建議演算法
應用程式行為
操作設定
每個處理方式都應該代表與控制項之間清晰且可衡量的變化。
當您在 中定義處理方式時 AWS AppConfig,請明確說明控制項和處理方式。良好的描述可協助團隊了解實驗意圖和結果。描述應說明:
變更內容
使用者將體驗到什麼
正在評估的行為或結果
盡可能新增螢幕擷取畫面,以記錄與每個處理方式相關聯的使用者體驗。螢幕擷取畫面有助於:
驗證實作
釐清視覺效果差異
改善團隊之間的協同合作
簡化實驗檢閱
螢幕擷取畫面對於 UI 實驗特別有用。
設計有效的處理方式
保持治療聚焦且可測量。一次變更一個主要變數,並避免將不相關的變更合併為單一處理。例如,在所有顯示的項目下方實作add-to-cart按鈕是很好的處理選項。實作add-to-cart按鈕,同時變更頁面配置和建議邏輯會傳回不確定的資料。較小的變更可讓結果更易於解譯。
重要
請勿在執行期間修改處理行為。在執行中變更處理行為可能會使實驗資料失效,並使結果難以解譯。如果您需要進行變更:
停止執行
修改處理方式
開始新的實驗執行
使用有意義的名稱,以清楚識別新的或修訂後處理的目的
確保使用者在整個實驗執行期間都收到相同的處理指派。不一致的指派可能會影響使用者體驗和實驗有效性。
關於處理指派覆寫
處理指派覆寫可讓您直接將特定實體 IDs 指派給處理。覆寫略過隨機處理指派,並確保選取的實體持續接受指定的處理。覆寫通常用於在向受眾公開之前測試處理方式。透過指派覆寫並設定 0% 曝光,您可以:
驗證處理方式是否正確轉譯
驗證指標和記錄是否如預期般運作
確認功能旗標評估的行為正確
覆寫也可讓您預覽利益相關者的處理方式,而不會影響更廣泛的受眾。您可以將實體 IDs指派給任何處理,包括控制項,這對於驗證控制項使用者是否獲得預期的基準體驗非常有用。
覆寫適用於:
產品評論
設計驗證
執行示範
QA 驗證
測試特定案例
這是在增加曝光之前測試實驗的最安全方法之一。
覆寫是使用實體 IDs設定。實體 ID 可唯一識別特徵標記指派期間要評估的使用者或系統。實體 ID 可以是下列任何一項:
使用者 ID
工作階段 IDs
裝置 IDs
帳戶識別符
注意
覆寫旨在測試和驗證,而不是長期受眾區隔。不再需要覆寫時將其移除,並使用受眾規則進行生產目標邏輯。
您可以在實驗執行開始後新增、修改或移除處理指派覆寫。這可讓您擴展測試,或授予其他利益相關者存取處理預覽的權限,而無需停止執行。