AWS Deep Learning AMI GPU TensorFlow 2.16(Ubuntu 20.04) - AWS Deep Learning AMIs

AWS Deep Learning AMI GPU TensorFlow 2.16(Ubuntu 20.04)

시작하기에 관한 도움말은 DLAMI 시작하기 섹션을 참조하세요.

AMI 이름 형식

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) ${YYYY-MM-DD}

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) ${YYYY-MM-DD}

지원되는 EC2 인스턴스

  • 중요 DLAMI 변경 사항을 참조하세요.

  • OSS Nvidia 드라이버를 사용하는 딥 러닝은 G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en을 지원합니다.

  • 독점 Nvidia 드라이버를 사용하는 딥 러닝은 G3(G3.16x는 지원되지 않음), P3, P3dn을 지원합니다.

AMI에는 다음이 포함됩니다.

  • 지원되는 AWS 서비스: EC2

  • 운영 체제: Ubuntu 20.04

  • 컴퓨팅 아키텍처: x86

  • Python: /opt/tensorflow/bin/python3.10

  • TensorFlow 버전: 2.16

  • NVIDIA 드라이버:

    • OSS Nvidia 드라이버: 550.144.03

    • 독점 Nvidia 드라이버: 550.144.03

  • NVIDIA CUDA12 스택:

    • CUDA, NCCL 및 cuDDN 설치 경로: /usr/local/cuda-12.3/

  • EFA 설치 관리자: 1.34.0

  • AWS CLI v2를 aws2로, AWS CLI v1을 aws로

  • EBS 볼륨 유형: gp3

  • SSM 파라미터를 사용하여 AMI-ID 쿼리(예시 리전은 us-east-1):

    • OSS Nvidia 드라이버:

      aws ssm get-parameter --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-tensorflow-2.16-ubuntu-20.04/latest/ami-id --region us-east-1 --region us-east-1 --query "Parameter.Value" --output text
    • 독점 Nvidia 드라이버:

      aws ssm get-parameter --name /aws/service/deeplearning/ami/x86_64/proprietary-nvidia-driver-gpu-tensorflow-2.16-ubuntu-20.04/latest/ami-id --region us-east-1 --region us-east-1 --query "Parameter.Value" --output text
  • AWSCLI를 사용하여 AMI-ID 쿼리(예시 리전은 us-east-1):

    • OSS Nvidia 드라이버:

      aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16 (Ubuntu 20.04) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text
    • 독점 Nvidia 드라이버:

      aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16 (Ubuntu 20.04) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

알림

Keras 버전이 3.0 대신 2.0으로 고정됨

최신 TF2.16 릴리스에서는 Keras가 메이저 버전 2에서 메이저 버전 3.0으로 업그레이드되었습니다. 이 Keras 버전은 Keras 패키지를 완전히 재작성한 것입니다(자세한 내용은 Keras 3 설명서 참조). 고객 워크플로와의 호환성을 보장하기 위해 환경 변수 TF_USE_LEGACY_KERAS=1을 사용하여 Keras 버전을 2.0으로 고정했습니다. 워크플로에서 Keras 3.0을 사용해야 하는 경우, 다음 스크립트를 사용하여 TensorFlow 가상 환경 /opt/tensorflow에서 이 환경 변수를 제거하세요.

source /opt/tensorflow/bin/activate unset TF_USE_LEGACY_KERAS

릴리스 날짜: 2025-02-17

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20250215

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20250215

업데이트
제거됨
  • NVIDIA CUDA 툴킷에서 제공하는 사용자 스페이스 라이브러리 cuobj 및 nvdisasm을 제거했습니다.

릴리스 날짜: 2025-01-20

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20250118

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20250118

업데이트

릴리스 날짜: 2024-10-22

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20241022

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20241022

업데이트

릴리스 날짜: 2024-10-04

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20241004

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240920

업데이트
  • Nvidia Container Toolkit을 버전 1.16.1에서 1.16.2로 업그레이드하여 보안 취약성 CVE-2024-0133을 해결했습니다.

릴리스 날짜: 2024-09-20

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240920

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240920

업데이트
  • 버전 535.183.01에서 550.90.07로 Nvidia 드라이버 및 Fabric Manager 업그레이드

  • EFA 버전을 1.32.0에서 1.34.0으로 업그레이드

  • PyTorch 버전을 버전 2.3.0에서 2.3.1로 업데이트

추가됨
  • OSS Nvidia 드라이버 이미지의 P5e EC2 인스턴스에 대한 지원이 추가되었습니다.

릴리스 날짜: 2024-08-19

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240816

추가됨

버전 2.16.2 - 릴리스 날짜: 2024-07-25

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240725

업데이트
  • TensorFlow 패치 버전을 버전 2.16.1에서 2.16.2로 업데이트

  • TensorFlow 마이너 버전이 2.16에서 2.17로 업그레이드되는 문제 해결

    • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240717 릴리스에는 2.16이 아닌 TensorFlow 마이너 버전 2.17이 의도치 않게 포함되어 있습니다. TensorFlow 2.16에 의존하는 워크플로가 최신 DLAMI로 업그레이드되도록 합니다.

버전 2.16.1 - 릴리스 날짜: 2024-06-06

AMI 이름:

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240606

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 20240606

업데이트
  • Nvidia 드라이버 버전을 535.183.01에서 535.161.08로 업데이트

릴리스 날짜: 2024-05-10

AMI 이름:

중요 DLAMI 변경 사항을 참조하세요.

  • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) <>

  • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) <>

추가됨
  • 최초 릴리스:

    • Deep Learning Proprietary Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 시리즈.

    • Deep Learning OSS Nvidia Driver AMI GPU TensorFlow 2.16(Ubuntu 20.04) 시리즈.

    • 소프트웨어에는 다음이 포함됩니다.

      • "nvidia-driver=535.161.08"

      • "fabric-manager=535.161.08"

      • "cuda=12.3"

      • "cudnn=8.9.7"

      • "efa=1.32.0"

      • "nccl=2.21.5"

      • "aws-nccl-ofi-plugin=v1.9.1-aws"

  • tensorflow 가상 환경이 추가되었습니다(활성화 명령 소스 /opt/tensorflow/bin/activate). 이 환경에는 다음이 포함됩니다.

    • "tensorflow=2.16.1"

    • 참고

      • TF2.16부터 tf.estimator API가 제거됩니다.

      • 고객 워크플로와의 호환성을 보장하기 위해 환경 변수 TF_USE_LEGACY_KERAS=1을 사용하여 Keras 버전을 2.0으로 고정했습니다. 워크플로에서 Keras 3.0을 사용해야 하는 경우, 다음 스크립트를 사용하여 TensorFlow 가상 환경 /opt/tensorflow에서 이 환경 변수를 제거하세요.

source /opt/tensorflow/bin/activate unset TF_USE_LEGACY_KERAS