NTM-Hyperparameter - Amazon SageMaker AI

NTM-Hyperparameter

In der folgenden Tabelle sind die Hyperparameter aufgeführt, die Sie für den Algorithmus Neural Topic Model (NTM) von Amazon SageMaker AI festlegen können.

Name des Parameters Beschreibung

feature_dim

Die Vokabulargröße des Datensatzes.

Erforderlich

Gültige Werte: Positive Ganzzahl (min: 1, max: 1000000)

num_topics

Die Anzahl der erforderlichen Themen

Erforderlich

Gültige Werte: Positive Ganzzahl (min: 2, max: 1000)

batch_norm

Gibt an, ob die Batch-Normalisierung während des Trainings angewendet werden soll.

Optional

Gültige Werte: true oder false

Standardwert: false

clip_gradient

Die maximale Größenordnung für jede Gradienten-Komponente.

Optional

Gültige Werte: Gleitkommazahl. (min: 1e-3)

Standardwert: Infinity

encoder_layers

Die Anzahl der Ebenen im Encoder und die Ausgabegröße der einzelnen Ebenen. Wenn der Algorithmus auf auto gesetzt ist, verwendet er jeweils zwei Ebenen der Größe 3 x num_topics und 2 x num_topics.

Optional

Gültige Werte: durch Kommas getrennte Liste positiver Ganzzahlen oder auto

Standardwert: auto

encoder_layers_activation

Die Aktivierungsfunktion zur Verwendung in Encoder-Ebenen.

Optional

Zulässige Werte:

Standardwert: sigmoid

epochs

Die maximale Anzahl von Durchläufen der Trainingsdaten.

Optional

Gültige Werte: Positive Ganzzahl (min: 1)

Standardwert: 50

learning_rate

Die Lernrate für den Optimierer.

Optional

Gültige Werte: Gleitkommazahl. (min: 1e-6, max: 1,0)

Standardwert: 0.001

mini_batch_size

Die Anzahl der Beispiele in jedem Mini-Stapel.

Optional

Gültige Werte: Positive Ganzzahl (min: 1, max: 10000)

Standardwert: 256

num_patience_epochs

Die Anzahl der aufeinanderfolgenden Epochen, für die das Kriterium der frühzeitigen Beendigung ausgewertet wird. Die frühzeitige Beendigung wird ausgelöst, wenn die Änderung in der Verlustfunktion unter den angegebenen tolerance-Wert innerhalb der letzten num_patience_epochs Epochen fällt. Wenn Sie ein frühzeitiges Beenden unterbinden möchten, setzen Sie num_patience_epochs auf einen Wert größer als epochs.

Optional

Gültige Werte: Positive Ganzzahl (min: 1)

Standardwert: 3

optimizer

Der Optimierer für Trainings.

Optional

Zulässige Werte:

Standardwert: adadelta

rescale_gradient

Der Faktor zur Gradienten-Neuskalierung.

Optional

Gültige Werte: Gleitkommazahl. (min: 1e-3, max: 1,0)

Standardwert: 1.0

sub_sample

Der Bruchteil der Trainingsdaten, die für Trainings pro Epoche gesampelt werden sollen.

Optional

Gültige Werte: Gleitkommazahl (min: 0,0, max: 1,0)

Standardwert: 1.0

tolerance

Die maximale relative Änderung in der Verlustfunktion. Die frühzeitige Beendigung wird ausgelöst, wenn die Änderung in der Verlustfunktion innerhalb der letzten num_patience_epochs Epochen unter diesen Wert fällt.

Optional

Gültige Werte: Gleitkommazahl. (min: 1e-6, max: 0.1)

Standardwert: 0.001

weight_decay

Der Weight-Decay-Koeffizient. Fügt L2-Regularisierung hinzu.

Optional

Gültige Werte: Gleitkommazahl (min: 0,0, max: 1,0)

Standardwert: 0.0