Amazon S3를 사용하여 AWS PCS에 CLI 필터 플러그인 스크립트 배포 - AWS PCS
사전 조건예상 결과문제 해결

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon S3를 사용하여 AWS PCS에 CLI 필터 플러그인 스크립트 배포

AMI를 재구축하지 않고 라이브 클러스터에서 작업 제출 로직을 업데이트하려는 경우 S3를 사용하여 CLI 필터 플러그인 스크립트를 배포합니다. AMIs 이 접근 방식은 사용자 데이터를 사용하여 인스턴스 시작 중에 S3에서 스크립트를 다운로드합니다.

사전 조건

S3를 사용하여 스크립트를 배포하기 전에 다음 작업을 완료합니다.

  • CLI 필터 플러그인 Lua 스크립트를 사용하여 S3 버킷 생성

  • S3 버킷에 대한 읽기 액세스 권한으로 IAM 인스턴스 프로파일 구성

  • 인터넷 없이 직접 액세스할 수 있도록 S3 VPC Gateway 엔드포인트 설정

  • S3에서 다운로드할 사용자 데이터 스크립트 준비

S3를 사용하여 CLI 필터 플러그인 스크립트를 배포하려면

  1. cli_filter.lua 스크립트를 S3 버킷에 업로드합니다.

  2. 버킷에 대한 S3 읽기 권한으로 IAM 인스턴스 프로파일을 구성합니다.

  3. 시작 템플릿 사용자 데이터에 셸 코드를 추가하여 스크립트를 다운로드합니다.

    aws s3 cp s3://my-bucket/cli_filter.lua /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua
chmod 644 /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

  4. 업데이트된 시작 템플릿을 사용하여 컴퓨팅 노드 그룹을 배포합니다.

  5. 작업 제출을 테스트하여 스크립트 기능을 확인합니다.

예상 결과

S3 배포를 완료한 후:

  • CLI 필터 플러그인 스크립트는 시작 중에 모든 인스턴스에 자동으로 다운로드됩니다.

  • S3의 스크립트 업데이트는 새로 시작된 인스턴스에 반영됩니다.

  • 작업 제출 정책은 클러스터 전체에 일관되게 적용됩니다.

문제 해결

S3 액세스 거부됨

증상: 인스턴스 시작이 실패하거나 스크립트가 다운로드되지 않았습니다.

가능한 원인: IAM 권한 또는 S3 VPC 엔드포인트 누락.

해결 방법: IAM 인스턴스 프로파일에 s3:GetObject 권한이 있고 S3 VPC 엔드포인트가 구성되어 있는지 확인합니다.