TensorFlow - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

TensorFlow

TensorFlow è una libreria matematica simbolica open source per applicazioni di intelligenza artificiale e deep learning. Per ulteriori informazioni, consulta il sito Web. TensorFlow TensorFlow è disponibile con la versione 5.17.0 e successive di Amazon EMR.

La tabella seguente elenca la versione TensorFlow inclusa nell'ultima release della serie Amazon EMR 7.x, insieme ai componenti con cui viene installato Amazon EMR. TensorFlow

Per la versione dei componenti installati con questa versione, consulta TensorFlow Versioni dei componenti della release 7.10.0.

TensorFlow informazioni sulla versione per emr-7.10.0
Etichetta di rilascio di Amazon EMR TensorFlow versione Componenti installati con TensorFlow

emr-7.10.0

TensorFlow 2.18.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

La tabella seguente elenca la versione TensorFlow inclusa nell'ultima release della serie Amazon EMR 6.x, insieme ai componenti con cui viene installato Amazon EMR. TensorFlow

Per la versione dei componenti installati con questa versione, consulta TensorFlow Versioni dei componenti della release 6.15.0.

TensorFlow informazioni sulla versione per emr-6.15.0
Etichetta di rilascio di Amazon EMR TensorFlow versione Componenti installati con TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

La tabella seguente elenca la versione TensorFlow inclusa nell'ultima release della serie Amazon EMR 5.x, insieme ai componenti con cui viene installato Amazon EMR. TensorFlow

Per la versione dei componenti installati con questa versione, consulta TensorFlow Versioni dei componenti della release 5.36.2.

TensorFlow informazioni sulla versione per emr-5.36.2
Etichetta di rilascio di Amazon EMR TensorFlow versione Componenti installati con TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow build per tipo di EC2 istanza Amazon

Amazon EMR utilizza diverse build della TensorFlow libreria a seconda dei tipi di istanza scelti per il cluster. Amazon EMR supporta anche cluster con tipi di TensorFlow istanze aarch64 (istanze Graviton) a partire da EMR-7.5.0 e versioni successive.

La tabella seguente elenca le build per tipo di istanza per EMR-7.10.0:

EC2 tipi di istanza TensorFlow costruire

P2, P4D, P5, G4DN, G5, G6 e GR6

Tensorflow 2.18.0 con CUDA 12.5, cuDNN 9.3.0.75

P3, P3DN, G3 e G3S

Tensorflow 2.18.0 con CUDA 12.5, cuDNN 9.3.0.75, NCCL 2.22.3

Nvidia NCCL è disponibile solo su istanze P3, P3DN, G3 e G3s con la versione 2.22.3. Contratto di licenza con l'utente finale (EULA): utilizzando i componenti Nvidia su Amazon EMR, accetti i termini e le condizioni illustrate nell'EULA del prodotto.

Istanze Graviton

Tensorflow 2.18.0

Tutti gli altri

CPU Tensorflow 2.18.0

Sicurezza

Oltre a seguire le indicazioni riportate in Utilizzo TensorFlow sicuro, consigliamo di avviare il cluster in una sottorete privata per limitare l'accesso a fonti attendibili. Per ulteriori informazioni, consulta Opzioni di Amazon VPC nella Guida alla gestione di Amazon EMR.

Usando TensorBoard

TensorBoard è una suite di strumenti di visualizzazione per TensorFlow programmi. Per ulteriori informazioni, consulta TensorBoard: Apprendimento visualizzato sul sito Web di Tensorflow.

Per utilizzarlo TensorBoard con Amazon EMR, devi iniziare TensorBoard dal nodo master del cluster.

Utilizzo di Tensorboard con Tensorflow su Amazon EMR
  1. Connettersi al nodo master del cluster utilizzando SSH. Per ulteriori informazioni, consulta Connessione al nodo master tramite SSH nella Guida alla gestione di Amazon EMR.

  2. Digitare il seguente comando per avviare Tensorboard sul nodo master. Sostituisci /my/log/directory con una directory del nodo master in cui sono stati generati e memorizzati i dati di riepilogo utilizzando un programma di scrittura di dati di riepiloghi.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Per impostazione predefinita, il nodo master ospita TensorBoard utilizzando la porta 6006 e il nome DNS pubblico principale. Dopo l'avvio TensorBoard, l'output della riga di comando presenta l'URL a cui è possibile connettersi TensorBoard, come illustrato nell'esempio seguente:

    TensorBoard 2.18.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Configurazione dell'accesso alle interfacce Web sul nodo master di client affidabili. Per ulteriori informazioni, consulta Visualizzazione delle interfacce Web ospitate nei cluster Amazon EMR nella Guida alla gestione di Amazon EMR.

  4. Apri TensorBoard ahttp://master-public-dns-name:6006.