View a markdown version of this page

팜, 대기열 및 플릿 구성 - AWS 기한 클라우드
대기열, 플릿 및 팜이 작업을 나누는 방법일반적인 패턴

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

팜, 대기열 및 플릿 구성

대기열 하나와 플릿 하나가 포함된 단일 팜으로 시작할 수 있습니다. AWS Deadline Cloud(Deadline Cloud) 팜의 사용자 수와 다양한 워크로드가 증가함에 따라 각 팀 또는 프로젝트의 대기열, 각 하드웨어 유형의 플릿 또는 격리된 상태로 유지되어야 하는 작업을 위한 별도의 팜 등 작업을 보다 의도적으로 구성하는 데 도움이 됩니다.

세 가지 질문이 설계를 주도합니다.

  • 누가 어떤 작업을 보고 제출하고 관리할 수 있나요? 대기열은 권한 및 예산의 자연스러운 경계입니다.

  • 어떤 하드웨어가 어떤 작업을 실행하나요? 플릿은 기능별로 작업자를 그룹화하며, 각 작업의 호스트 요구 사항은 이를 실행할 수 있는 플릿으로 라우팅합니다.

  • 작업을 나머지 작업과 엄격하게 분리해야 합니까? 다른 클라이언트에 대한 작업과 같이 혼합해서는 안 되는 작업의 경우 각 워크로드에 대해 별도의 팜을 생성합니다. 별도의 팜은 엄격한 보안 경계입니다.

대기열, 플릿 및 팜이 작업을 나누는 방법

대기열과 플릿은 many-to-many 관계를 갖습니다. 하나의 대기열을 여러 플릿에 연결하고 하나의 플릿을 여러 대기열에 연결할 수 있습니다. 플릿이 여러 대기열을 제공하는 경우 해당 대기열 간에 작업자를 나눕니다. 자세한 내용은 대기열과 플릿 연결 단원을 참조하십시오.

대기열에 플릿이 두 개 이상 있는 경우 각 작업의 호스트 요구 사항(예: GPUs, vCPUs, 메모리 및 운영 체제)에 따라 실행할 수 있는 플릿이 결정됩니다. GPU 작업 및 CPU 작업에는 별도의 대기열이 필요하지 않습니다. 하나의 대기열을 GPU 플릿 및 CPU 플릿과 연결하고 GPU가 필요한 렌더링은 GPU 플릿에만 예약되며 GPU 요구 사항이 없는 작업은 CPU 플릿에서 실행할 수 있습니다. Deadline Cloud 통합 제출자에는 호스트 요구 사항 설정이 포함되어 있으므로 아티스트는 어떤 플릿이 제공하는지 모르는 상태에서 작업에 필요한 하드웨어를 설명할 수 있습니다.

대기열은 액세스 및 지출을 제어하는 위치이기도 합니다. 사용자에게 각 대기열에 대한 액세스 수준을 별도로 부여하므로 사용자는 다른 대기열만 보면서 한 대기열에 작업을 제출할 수 있습니다. 각 대기열에 대한 예산을 설정할 수도 있습니다. 자세한 내용은 Deadline Cloud에서 사용자 관리 및 예산으로 비용 제어 섹션을 참조하세요.

대기열 권한은 작업을 보고 관리할 수 있는 사용자를 제어하지만 작업 자체를 완전히 격리하지는 않습니다. 플릿을 공유하는 다른 대기열의 작업은 패키지 및 파일의 캐시와 같은 공통 리소스를 공유할 수 있는 동일한 작업자 호스트에서 실행됩니다. 별도의 팜은 엄격한 보안 경계입니다. Amazon Simple Storage Service(Amazon S3) 버킷과 같은 외부 리소스를 공유하여 경계를 약화시키지 않는 한 팜은 Deadline Cloud 리소스를 서로 공유하지 않습니다. 자세한 내용은 팜, 플릿 및 대기열을 사용하여 워크로드 격리 단원을 참조하십시오.

로 나누기 분리에 가장 적합 고려 사항

Queues

자체 작업 목록, 권한 및 예산이 필요한 팀, 쇼 또는 부서

동일한 작업자 호스트에서 실행되는 플릿을 공유하는 대기열의 작업

플릿

GPU 작업자, CPU 작업자 또는 고객 관리형 플릿과 같은 하드웨어 및 소프트웨어 환경

여러 대기열에 서비스를 제공하는 플릿은 작업자를 서로 나눕니다.

팜

다른 공급업체 또는 클라이언트와 같이 하드 격리 경계가 필요한 워크로드

팜은 아무것도 공유하지 않으므로 각 팜에는 자체 대기열, 플릿 및 사용자 권한이 필요합니다.

일반적인 패턴

다음 레이아웃은 대부분의 조직을 포함합니다. 예를 들어 자체 팀을 위한 공유 팜과 각 공급업체를 위한 별도의 팜을 결합할 수 있습니다.

공유 팜 1개, 팀당 대기열 1개

단일 조직 내에서 각 팀 또는 워크로드(예: 스튜디오의 쇼 또는 기계 학습 훈련 파이프라인)에 대한 대기열이 있는 공유 팜은 일반적으로 적절한 시작 레이아웃입니다. 모든 사용자가 전체 팜을 하나의 보기로 볼 수 있습니다. 각 팀에 자체 대기열의 기여자 수준과 다른 곳에서 최종 사용자 수준을 부여하므로 팀은 서로의 작업을 변경하지 않고도 모든 작업을 따를 수 있습니다. 예산은 각 대기열의 지출을 추적합니다.

대기열을 공유 플릿과 연결합니다. 한 팀의 작업을 완료하는 작업자가 새 인스턴스가 시작될 때까지 기다리지 않고 다른 팀의 작업을 선택할 수 있으므로 공유 플릿은 사용률을 높이고 작업자를 따듯하게 유지합니다. 단점은 팀이 한 조직의 신뢰 경계 내에서 일반적으로 허용되는 작업자 호스트를 공유한다는 것입니다. 대기열을 추가하려면 섹션을 참조하세요대기열 생성.

각 공급업체 또는 클라이언트의 팜

외부 공급업체와 협력하거나 혼합해서는 안 되는 여러 클라이언트에 대해 작업을 실행하는 경우 각각에 대해 별도의 팜을 생성합니다. 한 팜에 대한 액세스 권한이 부여된 사용자는 다른 팜을 볼 수 없으며, 한 팜의 작업은 다른 팜의 플릿에서 실행되거나 해당 작업 첨부 파일을 읽을 수 없습니다. 경계를 그대로 유지합니다. 팜 간에 작업 연결 Amazon S3 버킷, 플릿 또는 기타 리소스를 공유하지 마세요. 팜을 추가하려면 단원을 참조하십시오팜 생성. 보안 세부 정보는 섹션을 참조하세요팜, 플릿 및 대기열을 사용하여 워크로드 격리. 공급업체를 팜으로 가져오는 end-to-end 단계는 섹션을 참조하세요사용자를 팜에 온보딩.

민감한 콘텐츠에 대한 제한된 플릿

전용 작업자에 대한 보안 또는 개인 정보 보호 제한에 따라 작업을 유지하려면 해당 작업에 대한 대기열과 플릿을 생성하고 플릿만 해당 대기열에 연결합니다. 작업은 대기열과 연결된 플릿에만 예약되므로 연결은 제한된 작업자로부터 다른 작업을 차단합니다. 대기열과 플릿 연결을(를) 참조하세요. 스튜디오의 나머지 부분과 공유해서는 안 되는 작업의 경우 대신 별도의 팜을 사용합니다.

제한된 대기열 주위의 경계를 완료합니다.

이러한 단계의 보안 고려 사항에 대한 자세한 내용은 섹션을 참조하세요팜, 플릿 및 대기열을 사용하여 워크로드 격리.

서비스 관리형 플릿과 고객 관리형 플릿의 별도 대기열

팜에 서비스 관리형 플릿과 고객 관리형 플릿이 모두 있는 경우 대부분의 경우 각 플릿 유형에 대해 별도의 대기열을 생성합니다. 두 플릿 유형에 대해 작성된 작업은 일반적으로 서로 다른 실행 환경을 가정합니다. 서비스 관리형 플릿의 대기열은 일반적으로 conda 대기열 환경을 사용하여 각 작업에 대한 애플리케이션을 설치하는 반면, 고객 관리형 플릿의 작업은 작업자 호스트에 사전 설치된 소프트웨어를 기대합니다. 한 환경에 대해 구성된 작업은 종종 다른 환경에서 실패합니다. 대기열을 별도로 유지하면 각 대기열의 환경 설정도 간단해집니다. 자세한 내용은 서비스 관리형 플릿과 고객 관리형 플릿 중에서 선택 및 기본 conda 대기열 환경 섹션을 참조하세요.