TensorFlow - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

TensorFlow

TensorFlow è una libreria matematica simbolica open source per applicazioni di intelligenza artificiale e di deep learning. Per maggiori informazioni, consulta il TensorFlow sito Web. TensorFlow è disponibile con Amazon EMR versione 5.17.0 e successive.

La seguente tabella indica la versione TensorFlow inclusa nell'ultimo rilascio della serie Amazon EMR 7.x insieme ai componenti con cui Amazon EMR installa. TensorFlow

Per la versione dei componenti installati con TensorFlow questo rilascio, consulta la sezione Versioni dei componenti del rilascio 7.9.0.

TensorFlow informazioni sulla versione per emr-7.9.0
Etichetta di rilascio di Amazon EMR TensorFlow versione Componenti installati con TensorFlow

emr-7.9.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

La seguente tabella indica la versione TensorFlow inclusa nell'ultimo rilascio della serie Amazon EMR 6.x insieme ai componenti con cui Amazon EMR installa. TensorFlow

Per la versione dei componenti installati con TensorFlow questo rilascio, consulta la sezione Versioni dei componenti del rilascio 6.15.0.

TensorFlow informazioni sulla versione di emr-6.15.0
Etichetta di rilascio di Amazon EMR TensorFlow versione Componenti installati con TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

La seguente tabella indica la versione TensorFlow inclusa nell'ultimo rilascio della serie Amazon EMR 5.x insieme ai componenti con cui Amazon EMR installa. TensorFlow

Per la versione dei componenti installati con TensorFlow questo rilascio, consulta la sezione Versioni dei componenti del rilascio 5.36.2.

TensorFlow informazioni sulla versione per emr-5.36.2
Etichetta di rilascio di Amazon EMR TensorFlow versione Componenti installati con TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow build per tipo di EC2 istanza Amazon

Amazon EMR utilizza diverse build della TensorFlow libreria a seconda del tipo di istanza scelto per il cluster. Amazon EMR supporta cluster con tipi di istanze aarch64 (Graviton) TensorFlow per EMR-7.5.0 e versioni successive. La tabella seguente elenca le build in base al tipo di istanza.

EC2 tipi di istanze TensorFlow costruire

M5 e C5

Tensorflow 2.16.1 con ottimizzazione Intel MKL

P2, P4D, P5, G4DN, G5, G6 e GR6

Tensorflow 2.16.1 con CUDA 12.3, cuDNN 8.9.7.29

P3, P3DN, G3 e G3S

Tensorflow 2.16.1 con CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1

Nvidia NCCL è disponibile solo per le istanze P3. Contratto di licenza con l'utente finale (EULA): utilizzando i componenti Nvidia su Amazon EMR, accetti i termini e le condizioni illustrate nell'EULA del prodotto.

Tutti gli altri tranne le istanze Graviton

Tensorflow 2.16.1

Sicurezza

Oltre a seguire le indicazioni in Utilizzo TensorFlow sicuro, ti consigliamo di avviare il cluster in una sottorete privata per limitare l'accesso a origini affidabili. Per ulteriori informazioni, consulta Opzioni di Amazon VPC nella Guida alla gestione di Amazon EMR.

Usando TensorBoard

TensorBoard è una suite di strumenti di visualizzazione per TensorFlow programmi. Per ulteriori informazioni, consulta la sezione TensorBoard: Visualized learning (Apprendimento visivo) sul sito Web di Tensorflow.

Per utilizzarlo TensorBoard con Amazon EMR, è necessario iniziare dal TensorBoard nodo master del cluster.

Utilizzo di Tensorboard con Tensorflow su Amazon EMR
  1. Connettersi al nodo master del cluster utilizzando SSH. Per ulteriori informazioni, consulta Connessione al nodo master tramite SSH nella Guida alla gestione di Amazon EMR.

  2. Digitare il seguente comando per avviare Tensorboard sul nodo master. Sostituisci /my/log/directory con una directory del nodo master in cui sono stati generati e memorizzati i dati di riepilogo utilizzando un programma di scrittura di dati di riepiloghi.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Per impostazione predefinita, il nodo master ospita TensorBoard utilizzando la porta 6006 e il nome DNS pubblico principale. Dopo l'avvio TensorBoard, l'output della riga di comando presenta l'URL a cui è possibile connettersi TensorBoard, come illustrato nell'esempio seguente:

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Configurazione dell'accesso alle interfacce Web sul nodo master di client affidabili. Per ulteriori informazioni, consulta Visualizzazione delle interfacce Web ospitate nei cluster Amazon EMR nella Guida alla gestione di Amazon EMR.

  4. Apri TensorBoard ahttp://master-public-dns-name:6006.