Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Über die Durchführung und Überwachung eines Experiments
Die Durchführung eines Experiments in der Produktion erfordert eine sorgfältige Überwachung und Betriebsplanung. Eine schrittweise Erhöhung der Exposition, die Validierung der Durchführung und die Überwachung der Leistung können dazu beitragen, das Risiko zu verringern und die Zuverlässigkeit der Versuchsergebnisse zu verbessern.
Betriebliche Überlegungen
Beginnen Sie mit einer niedrigen Exposition oder 0% und erhöhen Sie die Exposition schrittweise
Bevor Sie Anwender Behandlungen aussetzen:
Überprüfen Sie das Rendern der Behandlung
Bestätigen Sie die Bewertung der Feature-
Überprüfen Sie die Messwerte und die Protokollierung
Testen Sie die Instrumentierung mithilfe von Overrides für die Behandlungszuweisung
Ein Risiko von 0% hilft dabei, Implementierungsprobleme zu erkennen, bevor sie sich auf die Benutzer auswirken. Anschließend können Sie die Exposition schrittweise erhöhen und so die Auswirkungen von Regressionen begrenzen, falls Probleme auftreten. Durch die Validierung des Versuchsverhaltens bei steigender Auslastung können Sie die Versuchsergebnisse und Betriebskennzahlen überwachen, bevor Sie Ihr gesamtes Publikum Veränderungen aussetzen.
Definieren Sie Rollback-Verfahren
Stellen Sie vor dem Start eines Experiments Folgendes fest:
Wann der Lauf beendet werden soll
Welche Kennzahlen deuten auf inakzeptables Verhalten hin
Wie deaktiviere ich Behandlungen
Sie können Alarme in Überwachungstools CloudWatch oder Drittanbieter-Tools wie Datadog, New Relic oder Dynatrace konfigurieren, um wichtige Messwerte wie Seitenladezeit, Konversionsrate oder Fehlerraten während eines Experiments zu überwachen. Wenn ein Alarm ausgelöst wird, bewerten Sie die Auswirkungen und entscheiden Sie, ob Sie das Experiment beenden oder fortsetzen möchten. Weitere Informationen zur Konfiguration von Alarmen finden Sie unterBereitstellungen im Hinblick auf automatisches Rollback überwachen.
Koordinieren Sie Bereitstellungen
Vermeiden Sie es, während eines aktiven Testlaufs größere Änderungen an der Anwendung vorzunehmen. Änderungen an der Feature-Flag-Logik, den Backend-Systemen oder den Benutzerabläufen können die Versuchsergebnisse ungültig machen oder die Analyse erschweren. Wenn Änderungen erforderlich sind, beenden Sie den aktuellen Lauf und starten Sie einen neuen, nachdem die Updates installiert wurden.
Beschränken Sie außerdem die Anzahl sich überschneidender Experimente, die dieselben Benutzer oder Funktionen betreffen. Überlappende Experimente können die Ergebnisse verfälschen und zu widersprüchlichem Verhalten führen. Kurz gesagt, koordinieren Sie Experimente sorgfältig, wenn sich die Zielgruppen überschneiden.
Leistungsaspekte
Wenn Sie ein Experiment starten, sollten Sie die Anwendungsleistung überwachen, indem Sie die Betriebsmetriken während des gesamten Versuchs verfolgen. Überwachen Sie insbesondere:
Latenz
Fehlerquoten
Durchsatz
Ressourcenauslastung
Eine Behandlung kann das Systemverhalten beeinflussen, auch wenn die Messwerte des Experiments positiv erscheinen. Eine schrittweise Offenlegung hilft dabei, diese Probleme sicher zu identifizieren.
Überprüfen Sie die Leistung auf Kundenseite
Überwachen Sie bei UI-Experimenten Folgendes:
Ladezeit der Seite
Leistung beim Rendern
Client-side Fehler
Device-specific Verhalten
Verschiedene Behandlungen können die Frontend-Leistung unterschiedlich beeinflussen.
Betriebsprinzipien
Beachten Sie bei der Durchführung eines Experiments die folgenden Betriebsprinzipien:
- Behandeln Sie Experimente so, wie sich die Produktion ändert
-
Selbst kleine Experimente können die Stabilität, Leistung, Benutzererfahrung und Datenqualität von Anwendungen beeinträchtigen. Sorgfältige Überwachung und schrittweise Exposition tragen dazu bei, das Risiko zu verringern und gleichzeitig das Vertrauen in die Versuchsergebnisse zu verbessern.
- Halten Sie die Behandlungskonsistenz aufrecht
-
Die Anwender sollten während des gesamten Behandlungszyklus dieselbe Behandlung erhalten. Weitere Informationen zum Behandlungsdesign finden Sie unterÜber Kontrollen und Behandlungen.
- Instrumentierung validieren
-
Bevor Sie die Exposition erhöhen, stellen Sie sicher, dass die Messwerte korrekt aufgezeichnet wurden und dass die Protokolle Behandlungsinformationen enthalten.
- Überwachen Sie experimentspezifische Messwerte
-
Überwachen Sie zusätzlich zu den operativen Kennzahlen auch Kennzahlen, die in direktem Zusammenhang mit dem Experiment stehen, wie z. B.:
Konversionsrate
Engagement für Funktionen
Click-through bewerten
Häufigkeit von Fehlern
Benutzerbindung
Wählen Sie Metriken aus, die dem Versuchsziel entsprechen.
