TensorFlow - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

TensorFlow

TensorFlow est une bibliothèque mathématique symbolique open source pour les applications d'intelligence artificielle et d'apprentissage profond. Pour plus d'informations, consultez le TensorFlow site Web. TensorFlow est disponible avec les versions 5.17.0 et ultérieures d'Amazon EMR.

Le tableau suivant répertorie la version TensorFlow incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants avec lesquels Amazon EMR est installé. TensorFlow

Pour connaître la version des composants installés TensorFlow dans cette version, consultez la version 7.10.0 Versions des composants.

TensorFlow informations de version pour emr-7.10.0
Étiquette de version Amazon EMR TensorFlow Version Composants installés avec TensorFlow

emr-7.10.0

TensorFlow 2.18.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Le tableau suivant répertorie la version TensorFlow incluse dans la dernière version de la série Amazon EMR 6.x, ainsi que les composants avec lesquels Amazon EMR est installé. TensorFlow

Pour connaître la version des composants installés TensorFlow dans cette version, consultez la version 6.15.0 Versions des composants.

TensorFlow informations de version pour emr-6.15.0
Étiquette de version Amazon EMR TensorFlow Version Composants installés avec TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Le tableau suivant répertorie la version TensorFlow incluse dans la dernière version de la série Amazon EMR 5.x, ainsi que les composants avec lesquels Amazon EMR est installé. TensorFlow

Pour la version des composants installés TensorFlow dans cette version, voir la version 5.36.2 Versions des composants.

TensorFlow informations de version pour emr-5.36.2
Étiquette de version Amazon EMR TensorFlow Version Composants installés avec TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow builds par type d' EC2 instance Amazon

Amazon EMR utilise différentes versions de la TensorFlow bibliothèque en fonction des types d'instances que vous choisissez pour votre cluster. Amazon EMR prend en charge les clusters dotés de types d'instances aarch64 (Graviton) TensorFlow pour EMR-7.5.0 et versions ultérieures. Le tableau suivant répertorie les builds par type d'instance.

EC2 types d'instances TensorFlow construire

M5 et C5

Tensorflow 2.16.1 avec optimisation Intel MKL

P2, P4D, P5, G4DN, G5, G6 et GR6

Tensorflow 2.16.1 avec CUDA 12.3, cuDNN 8.9.7.29

P3, P3DN, G3 et G3S

Tensorflow 2.16.1 avec CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1

Nvidia NCCL est disponible uniquement sur les instances P3. Contrat de Licence Utilisateur Final (CLUF) : en utilisant les composants Nvidia sur Amazon EMR, vous acceptez les termes et conditions décrites dans le CLUF de produit.

Tous les autres sauf les instances Graviton

Tensorflow 2.16.1

Sécurité

En plus de suivre les instructions de la section Utilisation TensorFlow sécurisée, nous vous recommandons de lancer votre cluster dans un sous-réseau privé afin de limiter l'accès aux sources fiables. Pour plus d'informations, consultez Options d'Amazon VPC dans le Guide de gestion Amazon EMR.

En utilisant TensorBoard

TensorBoard est une suite d'outils de visualisation pour les TensorFlow programmes. Pour plus d'informations, voir TensorBoard: Apprentissage visualisé sur le site Web de Tensorflow.

Pour utiliser TensorBoard Amazon EMR, vous devez commencer par TensorBoard le nœud principal du cluster.

Pour utiliser tensorboard avec Tensorflow sur Amazon EMR
  1. Connectez-vous au nœud maître du cluster à l'aide de SSH. Pour plus d'informations, consultez Connexion au nœud principal à l'aide de SSH dans le Guide de gestion d'Amazon EMR.

  2. Tapez la commande suivante pour démarrer Tensorboard sur le nœud principal. Remplacez /my/log/directory par un répertoire sur le nœud principal où vous avez généré et résumé des données stockées à l'aide d'un enregistreur de résumé.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Par défaut, le nœud principal héberge TensorBoard en utilisant le port 6006 et le nom DNS public principal. Une fois que vous avez démarré TensorBoard, la sortie de la ligne de commande présente l'URL à laquelle vous pouvez vous connecter TensorBoard, comme illustré dans l'exemple suivant :

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Configurez l'accès aux interfaces web sur le nœud principal à partir de clients de confiance. Pour plus d'informations, consultez Affichage des interfaces web hébergées sur les clusters Amazon EMR dans le Guide de gestion Amazon EMR.

  4. Ouvert TensorBoard àhttp://master-public-dns-name:6006.