AWS Marketplace의 기계 학습 제품에 적용되는 서비스 제한 및 할당량 - AWS Marketplace
네트워크 격리이미지 크기스토리지 크기인스턴스 크기추론의 페이로드 크기추론 처리 시간Service quotas비동기 추론서버리스 추론관리형 스팟 훈련도커 이미지와 AWS 계정 내장된 알고리즘 또는 AWS Marketplace의 모델 패키지 게시게시를 지원하는 AWS 리전

AWS Marketplace의 기계 학습 제품에 적용되는 서비스 제한 및 할당량

이 섹션에서는 AWS Marketplace의 기계 학습(ML) 제품에 적용되는 제한 및 할당량을 설명합니다.

네트워크 격리

보안상의 이유로, 구매자가 컨테이너화된 제품을 구독하면 Docker 컨테이너는 네트워크에 연결되지 않은 격리된 환경에서 실행됩니다. 컨테이너를 생성할 때 인터넷을 통해 발신 호출을 수행하면 호출이 실패하므로 인터넷을 사용하지 마세요. AWS 서비스 호출도 실패합니다.

이미지 크기

도커 이미지 크기는 Amazon Elastic Container Registry(Amazon ECR) 서비스 할당량을 통해 관리됩니다. 도커 이미지 크기는 훈련, 배치 변환 및 엔드포인트 생성 작업 동안 시작 시간에 영향을 미칩니다. 성능을 높이려면 도커 이미지 크기를 최적으로 유지하는 것이 좋습니다.

스토리지 크기

엔드포인트를 생성하면 Amazon SageMaker AI는 엔드포인트를 호스팅하는 각 ML 컴퓨팅 인스턴스에 Amazon Elastic Block Store(Amazon EBS) 스토리지 볼륨을 연결합니다. (엔드포인트를 실시간 추론 또는 Amazon SageMaker AI호스팅 서비스라고도 합니다.) 스토리지 볼륨의 크기는 인스턴스 유형에 따라 다릅니다. 자세한 내용은 Amazon SageMaker AI 개발자 안내서의 호스트 인스턴스 스토리지 볼륨을 참조하세요. 

배치 변환에 대한 내용은 Amazon SageMaker AI 개발자 안내서의 배치 변환의 스토리지를 참조하세요.

인스턴스 크기

SageMaker AI는 각 ML 사용 사례에 맞게 최적화된 다양한 인스턴스 유형을 제공합니다. 인스턴스 유형은 다양한 CPU, GPU, 메모리 및 네트워킹 용량 조합으로 구성됩니다. 인스턴스 유형은 ML 모델을 구축, 훈련, 배포하는 데 적합한 리소스 조합을 선택할 수 있는 유연성을 제공합니다. 자세한 내용은 Amazon SageMaker AI ML 인스턴스 유형을 참조하세요.

추론의 페이로드 크기

엔드포인트의 경우 간접 호출당 입력 데이터의 최대 크기 제한은 25MB입니다. 이 값은 조정할 수 없습니다.

배치 변환의 경우 간접 호출당 입력 데이터의 최대 크기는 100MB입니다. 이 값은 조정할 수 없습니다.

추론 처리 시간

엔드포인트의 경우 간접 호출당 최대 처리 시간은 일반 응답의 경우 60초, 스트리밍 응답의 경우 8분입니다. 이 값은 조정할 수 없습니다.

배치 변환의 경우 호출당 최대 처리 시간은 60초입니다. 이 값은 조정할 수 없습니다.

Service quotas

훈련 및 추론과 관련된 할당량에 대한 자세한 내용은 Amazon SageMaker AI Service Quotas를 참조하세요.

비동기 추론

AWS Marketplace에 게시된 모델 패키지 및 알고리즘은 Amazon SageMaker AI 비동기 추론을 위해 구성된 엔드포인트에 배포할 수 없습니다. 비동기 추론을 위해 구성된 엔드포인트를 사용하려면 모델이 네트워크에 연결되어야 합니다. 모든 AWS Marketplace 모델은 네트워크 격리 환경에서 작동합니다. 자세한 내용은 네트워크 액세스 없음을 참조하세요.

서버리스 추론

AWS Marketplace에 게시된 모델 패키지 및 알고리즘은 Amazon SageMaker AI 서버리스 추론을 위해 구성된 엔드포인트에 배포할 수 없습니다. 서버리스 추론을 위해 구성된 엔드포인트를 사용하려면 모델이 네트워크에 연결되어야 합니다. 모든 AWS Marketplace 모델은 네트워크 격리 환경에서 작동합니다. 자세한 내용은 네트워크 액세스 없음을 참조하세요.

관리형 스팟 훈련

AWS Marketplace의 모든 알고리즘은 관리형 스팟 훈련의 체크포인트가 구현된 경우에도 MaxWaitTimeInSeconds 값이 3,600초(60분)로 설정됩니다. 이 값은 조정할 수 없습니다.

도커 이미지와 AWS 계정

이미지를 게시하려면 판매자의 AWS 계정 소유인 Amazon ECR 리포지토리에 이미지를 저장해야 합니다. 다른 AWS 계정 소유의 리포지토리에 저장된 이미지는 게시할 수 없습니다.

내장된 알고리즘 또는 AWS Marketplace의 모델 패키지 게시

Amazon SageMaker AI 내장 알고리즘 또는 AWS Marketplace 구독의 알고리즘을 사용하여 훈련 작업에서 생성된 모델 패키지는 게시할 수 없습니다.

훈련 작업의 모델 아티팩트를 계속 사용해도 되지만, 모델 패키지를 게시하려면 자체 추론 이미지가 필요합니다.

게시를 지원하는 AWS 리전

AWS Marketplace는 다음 조건을 모두 충족하는 AWS 리전에서 모델 패키지 및 알고리즘 리소스를 게시하는 것을 허용합니다.

모델 패키지 또는 알고리즘 제품을 게시하는 데 필요한 모든 자산은 게시하려는 리전과 동일한 리전에 저장해야 합니다. 다음 내용이 포함됩니다:

  • Amazon SageMaker AI에서 생성된 모델 패키지 및 알고리즘 리소스

  • Amazon ECR 리포지토리에 업로드되는 추론 및 훈련 이미지

  • Amazon Simple Storage Service에 저장되고 모델 패키지 리소스에 대한 모델을 배포하는 동안 동적으로 로드되는 모델 아티팩트(있는 경우)

  • Amazon S3에 저장된 추론 및 훈련 검증을 위한 테스트 데이터

SageMaker AI가 지원하는 모든 리전에서 제품을 개발하고 훈련할 수 있습니다. 하지만 제품을 게시하려면 먼저 AWS Marketplace에서 지원하는 게시 소스 리전에 모든 자산을 복사하고 리소스를 다시 생성해야 합니다.