Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker riferimento all'SDK Python per smart sifting
Questa pagina fornisce un riferimento ai moduli Python necessari per applicare lo SageMaker smart sifting allo script di addestramento.
SageMaker moduli di configurazione smart sifting
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe di SageMaker configurazione smart sifting.
Parametri
-
beta_value(decimale) - Un valore beta (costante). Viene utilizzato per calcolare la probabilità di selezionare un campione per l’addestramento in base al percentile della perdita nella cronologia dei valori di perdita. Riducendo il valore beta, si ottiene una percentuale inferiore di dati filtrati, mentre aumentandolo si ottiene una percentuale superiore di dati filtrati. Non esiste un valore minimo o massimo per il valore beta, a parte il fatto che deve essere un valore positivo. La seguente tabella di riferimento fornisce informazioni sui tassi di sifting rispetto abeta_value.beta_valuePercentuale di dati conservati (%) Percentuale di dati esclusi (%) 0.1 90,91 9,01 0.25 80 20 0,5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0,99 99,01 -
loss_history_length(intero) - Il numero di perdite di addestramento precedenti da archiviare per il campionamento basato sulla perdita di soglia relativa. -
loss_based_sift_config(dict o unLossConfigoggetto) — Specificare unLossConfigoggetto che restituisca la configurazione dell'interfaccia SageMaker smart sifting Loss.
class
smart_sifting.sift_config.sift_configs.LossConfig()
La classe di configurazione per il parametro loss_based_sift_config della classe RelativeProbabilisticSiftConfig.
Parametri
-
sift_config(dizionario o un oggettoSiftingBaseConfig) - Specifica un oggettoSiftingBaseConfigche restituisce un dizionario di configurazione di base per il sifting.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
La classe di configurazione per il parametro sift_config di LossConfig.
Parametri
-
sift_delay(intero) - Il numero di fasi di addestramento da attendere prima di avviare il sifting. È consigliabile avviare il processo dopo che tutti i livelli del modello hanno una visione sufficiente dei dati di addestramento. Il valore predefinito è1000. -
repeat_delay_per_epoch(booleano) - Specifica se ritardare il sifting a ogni epoch. Il valore predefinito èFalse.
SageMaker moduli di trasformazione in batch di dati smart sifting
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un modulo Python SageMaker intelligente per definire come eseguire la trasformazione in batch. Usando questo, puoi impostare una classe di trasformazione in batch che converte il formato dei dati di addestramento in formato. SiftingBatch SageMaker smart sifting può setacciare e accumulare dati in questo formato in un batch setacciato.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Un’interfaccia per definire un tipo di dati in batch che può essere filtrato e accumulato.
class
smart_sifting.data_model.list_batch.ListBatch
Un modulo per tenere traccia di un batch di elenchi da filtrare.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un modulo per tenere traccia di un batch di tensori da filtrare.
SageMaker modulo di implementazione smart sifting loss
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Un modulo wrapper per registrare l'interfaccia SageMaker smart sifting sulla funzione di perdita di un modello basato. PyTorch
SageMaker modulo wrapper smart sifting data loader
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un modulo wrapper per la registrazione dell'interfaccia SageMaker smart sifting nel caricatore di dati di un modello basato. PyTorch
L’iteratore Main Sifting Dataloader separa i campioni di addestramento da uno strumento di caricamento dei dati in base a una configurazione di sifting.
Parametri
-
sift_config(dizionario o un oggettoRelativeProbabilisticSiftConfig) - Un oggettoRelativeProbabilisticSiftConfig. -
orig_dataloader(un PyTorch DataLoader oggetto) — Specificate l'oggetto Dataloader da avvolgere PyTorch . -
batch_transforms(unSiftingBatchTransformoggetto) — (Facoltativo) Se il formato dei dati non è supportato dalla trasformazione predefinita della libreria SageMaker smart sifting, è necessario creare una classe di trasformazione batch utilizzando il modulo.SiftingBatchTransformQuesto parametro viene utilizzato per passare la classe di trasformazione in batch. Questa classe viene utilizzata perSiftingDataloaderconvertire i dati in un formato che l'algoritmo di SageMaker smart sifting può accettare. -
model(un oggetto PyTorch modello) — Il modello originale PyTorch -
loss_impl(una funzione di perdita di setacciamento dismart_sifting.loss.abstract_sift_loss_module.Loss) — Una funzione di perdita di setacciamento configurata con ilLossmodulo e che include la funzione di perdita. PyTorch -
log_batch_data(booleano) - Specifica se registrare log dei dati del batch. Se impostato suTrue, SageMaker smart sifting registra i dettagli dei lotti conservati o setacciati. È consigliabile modificare l’impostazione solo per un job di addestramento pilota. Quando la registrazione di log è attivata, i campioni vengono caricati e trasferiti sulla GPU, introducendo un overhead. Il valore predefinito èFalse.
