Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Python-SDK-Referenz für intelligentes Sieben
Diese Seite enthält eine Referenz der Python-Module, die Sie benötigen, um SageMaker Smart Sifting auf Ihr Trainingsskript anzuwenden.
SageMaker Konfigurationsmodule für intelligentes Sieben
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
Die SageMaker Smart Sifting-Konfigurationsklasse.
Parameter
-
beta_value(float) – ein Beta-Wert (konstanter Wert). Er wird verwendet, um die Wahrscheinlichkeit der Auswahl einer Stichprobe für das Training anhand des Perzentils des Verlusts im Verlustwerteverlauf zu berechnen. Eine Senkung des Betawerts führt zu einem geringeren Prozentsatz gesichteter Daten, während eine Erhöhung des Betawerts zu einem höheren Prozentsatz gesichteter Daten führt. Es gibt keinen Mindest- oder Höchstwert für den Betawert, außer dass es sich um einen positiven Wert handeln muss. Die folgende Referenztabelle enthält Informationen zu den Sichtungsraten in Bezug aufbeta_value.beta_valueAnteil der gespeicherten Daten (%) Anteil der gesichteten Daten (%) 0.1 90,91 9,01 0,25 80 20 0.5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) – die Anzahl der vorherigen Trainingsverluste, die für die auf dem relativen Schwellenwert basierende Stichprobe gespeichert werden soll -
loss_based_sift_config(Diktat oderLossConfigObjekt) — Geben Sie einLossConfigObjekt an, das die SageMaker Smart Sifting Loss-Schnittstellenkonfiguration zurückgibt.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Die Konfigurationsklasse für den loss_based_sift_config-Parameter der Klasse RelativeProbabilisticSiftConfig.
Parameter
-
sift_config(dict oderSiftingBaseConfig-Objekt) – Geben Sie einSiftingBaseConfig-Objekt an, das ein Basiskonfigurationswörterbuch für die Sichtung zurückgibt.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
Die Konfigurationsklasse für den sift_config-Parameter von LossConfig.
Parameter
-
sift_delay(int) – Die Anzahl der Trainingsschritte, die vor der Sichtung abgewartet werden. Wir empfehlen, mit der Sichtung zu beginnen, nachdem alle Ebenen im Modell ausreichend Einblick in die Trainingsdaten haben. Der Standardwert ist1000. -
repeat_delay_per_epoch(bool) – Geben Sie an, ob die Sichtung für jede Epoche verzögert werden soll. Der Standardwert istFalse.
SageMaker Module zur Batch-Transformation von Smart-Sifting-Daten
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Ein SageMaker intelligentes Sifting-Python-Modul, um zu definieren, wie eine Batch-Transformation durchgeführt wird. Auf diese Weise können Sie eine Batch-Transformationsklasse einrichten, die das Datenformat Ihrer Trainingsdaten in ein SiftingBatch Format konvertiert. SageMaker Mit Smart Sifting können Daten in diesem Format gesiebt und zu einem gesiebten Stapel zusammengefasst werden.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Eine Schnittstelle zur Definition eines Batch-Datentyps, der gesichtet und gesammelt werden kann
class
smart_sifting.data_model.list_batch.ListBatch
Ein Modul zur Nachverfolgung eines zu sichtenden Listenstapels
class
smart_sifting.data_model.tensor_batch.TensorBatch
Ein Modul zur Nachverfolgung eines Tensorstapels für die Sichtung
SageMaker Modul zur Implementierung von Smart Sifting Loss
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Ein Wrapper-Modul zur Registrierung der SageMaker Smart-Sifting-Schnittstelle zur Verlustfunktion eines PyTorch basierten Modells.
SageMaker Wrapper-Modul für Smart Sifting Data Loader
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Ein Wrapper-Modul zur Registrierung der SageMaker Smart-Sifting-Schnittstelle zum Datenlader eines basierten Modells. PyTorch
Der Iterator des Hauptsichtungs-Datenladers filtert Trainingsproben basierend auf einer Sichtungskonfiguration aus einem Datenloader heraus.
Parameter
-
sift_config(dict oder einRelativeProbabilisticSiftConfig-Objekt) – einRelativeProbabilisticSiftConfig-Object. -
orig_dataloader(ein PyTorch DataLoader Objekt) — Geben Sie das PyTorch Dataloader-Objekt an, das umschlossen werden soll. -
batch_transforms(einSiftingBatchTransformObjekt) — (Optional) Wenn Ihr Datenformat von der Standardtransformation der SageMaker Smart-Sifting-Bibliothek nicht unterstützt wird, müssen Sie mithilfe des Moduls eine Batch-Transformationsklasse erstellen.SiftingBatchTransformDieser Parameter wird verwendet, um die Batch-Transformationsklasse zu übergeben. Diese Klasse wird verwendetSiftingDataloader, um die Daten in ein Format zu konvertieren, das der SageMaker Smart-Sifting-Algorithmus akzeptieren kann. -
model(ein PyTorch Modellobjekt) — Das PyTorch Originalmodell -
loss_impl(eine Siebungsverlustfunktion vonsmart_sifting.loss.abstract_sift_loss_module.Loss) — Eine Siebungsverlustfunktion, die mit demLossModul konfiguriert ist und die Verlustfunktion umschließt. PyTorch -
log_batch_data(bool) – Geben Sie an, ob Batch-Daten protokolliert werden sollen. Wenn diese Option auf gesetzt istTrue, protokolliert das SageMaker intelligente Sieben die Details der Chargen, die aufbewahrt oder gesiebt wurden. Wir empfehlen, diese Option nur für einen Pilot-Trainingsjob zu aktivieren. Wenn die Protokollierung aktiviert ist, werden die Samples auf die GPU geladen und auf die CPU übertragen, was zu Mehraufwand führt. Der Standardwert istFalse.
