Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Informazioni sull'esecuzione e il monitoraggio di un esperimento

L'esecuzione di un esperimento in produzione richiede un monitoraggio e una pianificazione operativa attenti. L'aumento graduale dell'esposizione, la convalida dell'implementazione e il monitoraggio delle prestazioni possono aiutare a ridurre i rischi e migliorare l'affidabilità dei risultati degli esperimenti.

Considerazioni operative

Inizia con un'esposizione bassa o pari allo 0% e aumenta gradualmente l'esposizione

Prima di esporre gli utenti ai trattamenti:

Iniziare con un'esposizione allo 0% aiuta a rilevare i problemi di implementazione prima che influiscano sugli utenti. È quindi possibile aumentare gradualmente l'esposizione e quindi limitare l'impatto delle regressioni in caso di problemi. Convalidando il comportamento degli esperimenti in condizioni di carico crescente, è possibile monitorare i risultati degli esperimenti e le metriche operative prima di esporre l'intero pubblico ai cambiamenti.

Definisci le procedure di rollback

Prima di iniziare l'esecuzione di un esperimento, determina:

Puoi configurare gli allarmi in CloudWatch strumenti di monitoraggio di terze parti come Datadog, New Relic o Dynatrace per monitorare metriche chiave come il tempo di caricamento della pagina, il tasso di conversione o i tassi di errore durante un esperimento. Se si attiva un allarme, valuta l'impatto e decidi se interrompere l'esperimento, eseguirlo o continuare. Per ulteriori informazioni sulla configurazione degli allarmi, consulta. Monitoraggio delle implementazioni per il rollback automatico

Coordinare le distribuzioni

Evita di introdurre modifiche importanti all'applicazione durante l'esecuzione attiva di un esperimento. Le modifiche alla logica dei flag delle funzionalità, ai sistemi di backend o ai flussi degli utenti possono invalidare i risultati degli esperimenti o complicare l'analisi. Se sono necessarie modifiche, interrompi l'esecuzione corrente e avviane una nuova dopo l'applicazione degli aggiornamenti.

Inoltre, limita gli esperimenti sovrapposti che interessano gli stessi utenti o le stesse funzionalità. La sovrapposizione di esperimenti può alterare i risultati e introdurre comportamenti contrastanti. In breve, coordina attentamente gli esperimenti quando il pubblico si sovrappone.

Considerazioni sulle prestazioni

Quando avvii un esperimento, monitora le prestazioni dell'applicazione monitorando le metriche operative durante l'esecuzione. In particolare, monitora:

Un trattamento può influire sul comportamento del sistema anche se le metriche sperimentali sembrano positive. L'esposizione graduale aiuta a identificare questi problemi in modo sicuro.

Convalida le prestazioni lato client

Per gli esperimenti sull'interfaccia utente, monitora:

Trattamenti diversi possono influire in modo diverso sulle prestazioni del frontend.

Principi operativi

Durante l'esecuzione di un esperimento, tenete a mente i seguenti principi operativi: