Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
SageMaker référence du SDK Python pour le criblage intelligent
Cette page fournit une référence des modules Python dont vous avez besoin pour appliquer le SageMaker tri intelligent à votre script d'entraînement.
SageMaker modules de configuration de tamisage intelligent
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe de configuration de tamisage SageMaker intelligent.
Paramètres
-
beta_value(float) : une valeur bêta (constante). Il est utilisé pour calculer la probabilité de sélectionner un exemple pour l’entraînement en fonction du percentile de la perte dans l’historique des valeurs de perte. La réduction de la valeur bêta réduit le pourcentage de données analysées, tandis que l’augmentation de cette valeur entraîne un pourcentage plus élevé de données analysées. Il n’y a pas de valeur minimale ou maximale pour la valeur bêta, si ce n’est qu’elle doit être une valeur positive. Le tableau de référence suivant donne des informations sur les taux d’analyse par rapport àbeta_value.beta_valueProportion de données conservées (%) Proportion de données éliminées (%) 0.1 90,91 9,01 0.25 80 20 0.5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) : le nombre de pertes d’entraînement antérieures à enregistrer pour l’échantillonnage basé sur le seuil relatif de perte. -
loss_based_sift_config(dict ouLossConfigobjet) — Spécifiez unLossConfigobjet qui renvoie la configuration de l'interface SageMaker Smart Sifting Loss.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Classe de configuration pour le paramètre loss_based_sift_config de la classe RelativeProbabilisticSiftConfig.
Paramètres
-
sift_config(dict ou objetSiftingBaseConfig) : spécifiez un objetSiftingBaseConfigqui renvoie un dictionnaire de configuration de base d’analyse.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
La classe de configuration pour le paramètre sift_config de LossConfig.
Paramètres
-
sift_delay(int) : nombre d’étapes d’entraînement à attendre avant de commencer l’analyse. Nous vous recommandons de commencer à analyser une fois que toutes les couches du modèle ont une vue suffisante des données d’entraînement. La valeur par défaut est1000. -
repeat_delay_per_epoch(bool) : spécifiez s’il faut retarder l’analyse de chaque époque. La valeur par défaut estFalse.
SageMaker modules de transformation par lots de données à tamisage intelligent
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un module Python SageMaker intelligent permettant de définir comment effectuer une transformation par lots. Vous pouvez ainsi configurer une classe de transformation par lots qui convertit le format de données de vos données d'entraînement en SiftingBatch format. SageMaker le criblage intelligent permet de filtrer et d'accumuler des données dans ce format dans un lot tamisé.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Interface permettant de définir un type de données par lots pouvant être analysées et accumulées.
class
smart_sifting.data_model.list_batch.ListBatch
Un module permettant de suivre un lot de listes pour analyse.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un module permettant de suivre un lot de tenseurs pour analyse.
SageMaker module de mise en œuvre des pertes par tamisage intelligent
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Un module d'encapsulation permettant d'associer l'interface de criblage SageMaker intelligente à la fonction de perte d'un modèle PyTorch basé.
SageMaker module d'emballage de chargeur de données à tamisage intelligent
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un module d'encapsulation permettant d'enregistrer l'interface de tamisage SageMaker intelligente dans le chargeur de données d'un modèle PyTorch basé.
L’itérateur Main Sifting Dataloader élimine les exemples d’entraînement d’un chargeur de données sur la base d’une configuration d’analyse.
Paramètres
-
sift_config(dict ou objetRelativeProbabilisticSiftConfig) : un objetRelativeProbabilisticSiftConfig. -
orig_dataloader(un PyTorch DataLoader objet) — Spécifiez l'objet PyTorch Dataloader à encapsuler. -
batch_transforms(unSiftingBatchTransformobjet) — (Facultatif) Si votre format de données n'est pas pris en charge par la transformation par défaut de la bibliothèque de tamisage SageMaker intelligent, vous devez créer une classe de transformation par lots à l'aide duSiftingBatchTransformmodule. Ce paramètre est utilisé pour transmettre la classe de transformation par lots. Cette classe est utilisée pourSiftingDataloaderconvertir les données dans un format que l'algorithme de tamisage SageMaker intelligent peut accepter. -
model(un objet PyTorch modèle) — Le PyTorch modèle d'origine -
loss_impl(une fonction de perte par tamisage desmart_sifting.loss.abstract_sift_loss_module.Loss) — Une fonction de perte par tamisage configurée avec leLossmodule et encapsulant la PyTorch fonction de perte. -
log_batch_data(bool) : spécifiez s’il faut consigner les données par lots. Si ce paramètre est défini surTrue, le tamisage SageMaker intelligent enregistre les détails des lots conservés ou tamisés. Nous vous recommandons de l’activer uniquement pour une tâche d’entraînement pilote. Lorsque la journalisation est activée, les exemples sont chargés sur le GPU et transférés vers le CPU, ce qui entraîne une surcharge. La valeur par défaut estFalse.
