Amazon SageMaker Profiler

Amazon SageMaker Profiler는 Amazon SageMaker AI의 기능으로, SageMaker AI에서 AWS 딥 러닝 모델을 훈련하는 동안 프로비저닝된 컴퓨팅 리소스에 대한 자세한 보기를 제공합니다. CPU 및 GPU 사용률, GPU에서 커널 실행, CPU에서 커널 시작, 동기화 작업, CPU 및 GPU에서의 메모리 운영, 커널 시작과 해당 실행 사이의 지연 시간, CPU 및 GPU 간 데이터 전송 프로파일링에 집중합니다. 또한, SageMaker Profiler는 프로필을 시각화하는 사용자 인터페이스(UI), 프로파일링된 이벤트의 통계 요약, GPU와 CPU 간 이벤트의 시간 관계를 추적하고 이해하기 위한 훈련 작업 타임라인을 제공합니다.

데이터 사이언티스트용

대규모 컴퓨팅 클러스터에서 딥 러닝 모델을 훈련할 때는 병목 현상, 커널 시작 지연 시간, 메모리 제한, 낮은 리소스 사용률 등의 컴퓨팅 최적화 문제가 발생하는 경우가 많습니다.

이러한 컴퓨팅 성능 문제를 식별하려면 컴퓨팅 리소스를 더 깊이 분석하여 지연 시간을 유발하는 커널과 병목 현상을 유발하는 작업을 이해해야 합니다. 데이터 사이언티스트는 SageMaker Profiler UI를 사용하여 훈련 작업의 세부 프로필을 시각화함으로써 이점을 얻을 수 있습니다. UI는 요약 차트와 타임라인 인터페이스가 포함된 대시보드를 제공하여 컴퓨팅 리소스의 모든 이벤트를 추적할 수 있습니다. 또한 데이터 사이언티스트는 SageMaker Profiler Python 모듈을 사용한 훈련 작업의 특정 부분을 추적하는 사용자 지정 주석을 추가할 수 있습니다.

관리자용

SageMaker AI 콘솔 또는 SageMaker AI 도메인의 Profiler 랜딩 페이지를 통해 AWS 계정 또는 SageMaker AI 도메인의 관리자인 경우 Profiler 애플리케이션 사용자를 관리할 수 있습니다. 각 도메인 사용자는 부여된 권한이 주어지면 자신의 Profiler 애플리케이션에 액세스할 수 있습니다. SageMaker AI 도메인 관리자 및 도메인 사용자는 권한 수준을 고려하여 Profiler 애플리케이션을 생성하고 삭제할 수 있습니다.