Amazon EC2 인스턴스의 GPU 설정 최적화 - Amazon Elastic Compute Cloud

Amazon EC2 인스턴스의 GPU 설정 최적화

NVIDIA GPU 인스턴스에서 최고의 성능을 달성하기 위해 수행할 수 있는 몇 가지 GPU 설정 최적화가 있습니다. 이러한 인스턴스 유형 중 일부에서 NVIDIA 드라이버는 GPU 클록 속도에 변화를 주는 자동 부스트 기능을 사용합니다. 자동 부스트를 비활성화하고 GPU 클록 속도를 최대 주파수로 설정하면 GPU 인스턴스의 성능을 최대로 유지할 수 있습니다.

  1. GPU 설정을 영구적으로 구성합니다. 이 명령은 실행하는 데 몇 분이 소요될 수 있습니다.

    [ec2-user ~]$ sudo nvidia-persistenced

  2. [G3 및 P2 인스턴스에 대해] 모든 GPU의 자동 부스트 기능을 비활성화합니다.

    [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0

  3. 모든 GPU 클록 속도를 최대 주파수로 설정합니다. 다음 명령에 지정된 메모리와 그래픽 클록 속도를 사용합니다.

    일부 버전의 NVIDIA 드라이버는 응용 프로그램 클럭 속도 설정을 지원하지 않으며 무시할 수 있는 오류("Setting applications clocks is not supported for GPU...")를 표시합니다.

    • G3 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177

    • G4dn 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590

    • G5 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710

    • G6, G6f, Gr6 및 Gr6f 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 6251,2040

    • G6e 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 9001,2520

    • P2 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,875

    • P3 및 P3dn 인스턴스::

      [ec2-user ~]$ sudo nvidia-smi -ac 877,1530

    • P4d 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410

    • P4de instances:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410

    • P5 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980

    • P5e 및 P5en 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 3201,1980

    • P6-B200 인스턴스:

      [ec2-user ~]$ sudo nvidia-smi -ac 3996,1965

  1. PowerShell 창을 열고 NVIDIA 설치 폴더를 탐색합니다.

    PS C:\> cd "C:\Windows\System32\DriverStore\FileRepository\nvgridsw_aws.inf_*\"

  2. [G3 및 P2 인스턴스에 대해] 모든 GPU의 자동 부스트 기능을 비활성화합니다.

    PS C:\> .\nvidia-smi --auto-boost-default=0

  3. 모든 GPU 클록 속도를 최대 주파수로 설정합니다. 다음 명령에 지정된 메모리와 그래픽 클록 속도를 사용합니다.

    일부 버전의 NVIDIA 드라이버는 응용 프로그램 클럭 속도 설정을 지원하지 않으며 무시할 수 있는 오류("Setting applications clocks is not supported for GPU...")를 표시합니다.

    • G3 인스턴스:

      PS C:\> .\nvidia-smi -ac "2505,1177"

    • G4dn 인스턴스:

      PS C:\> .\nvidia-smi -ac "5001,1590"

    • G5 인스턴스:

      PS C:\> .\nvidia-smi -ac "6250,1710"

    • G6, G6f, Gr6 및 Gr6f 인스턴스:

      PS C:\> .\nvidia-smi -ac "6251,2040"

    • G6e 인스턴스:

      PS C:\> .\nvidia-smi -ac "9001,2520"

    • P2 인스턴스:

      PS C:\> .\nvidia-smi -ac "2505,875"

    • P3 및 P3dn 인스턴스::

      PS C:\> .\nvidia-smi -ac "877,1530"