모델 배포 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 배포

모델을 구독한 후 SageMaker AI 엔드포인트에 배포합니다. 엔드포인트를 추론 호출합니다. 모델은 SageMaker AI에서 호스팅합니다. 배포 프로세스 중에 다음 정보를 제공합니다.

  • SageMaker AI 엔드포인트의 이름

  • 엔드포인트에 대한 추론 호출을 수행하는 인스턴스 수

  • 엔드포인트의 인스턴스 유형

태그와 같은 선택적 고급 옵션을 구성할 수도 있습니다.

SageMaker AI가 사용자를 대신하여 작업을 수임하고 수행할 수 있도록 SageMaker AI 서비스 역할이 자동으로 생성됩니다. Amazon SageMaker AI 권한에 대한 자세한 내용은 SageMaker AI 실행 역할을 사용하는 방법을 참조하세요.

또는 기존 역할을 선택하거나 새 역할을 생성할 수 있습니다. Amazon Bedrock Marketplace 모델을 배포하는 방법을 알아보려면 선택한 방법에 해당하는 탭을 선택하고 단계를 따릅니다.

모델을 배포하는 방법

  1. Amazon Bedrock 권한이 있는 IAM 역할을 AWS Management Console 사용하여에 로그인합니다.

  2. 검색 창의 "Amazon Bedrock"을 지정하고 드롭다운 목록에서 Amazon Bedrock을 선택합니다.

  3. 탐색 창에서 모델 카탈로그를 선택합니다.

  4. 배포하려는 모델의 모델 카드를 선택합니다.

  5. 배포(Deploy)를 선택합니다.

  6. 엔드포인트 이름에 엔드포인트의 이름을 지정합니다.

  7. 인스턴스 수를 선택하고 인스턴스 유형을 선택합니다.

  8. 고급 설정에서 선택적으로 다음을 수행할 수 있습니다.

    1. VPC 설정

    2. 서비스 액세스 역할 구성

    3. 암호화 설정 사용자 지정

    4. 태그 추가

  9. 배포를 선택하여 Amazon Bedrock Marketplace 모델을 SageMaker AI 엔드포인트에 배포합니다. 이 프로세스는 일반적으로 10~15분이 걸립니다.

CreateMarketplaceModelEndpoint 작업을 사용하여 엔드포인트를 생성합니다. 일부 모델에는 최종 사용자 라이선스 계약(EULA)이 있습니다. EULA를 수락하려면를 AcceptEula로 설정합니다True.

다음 예제에서는 예제 AWS Command Line Interface 명령을 사용하여 엔드포인트를 생성합니다.

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
참고

CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint 및 RegisterMarketplaceModelEndpoint 작업에 대한 응답은 동일합니다.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Amazon Bedrock Marketplace와 Amazon SageMaker AI 모두에서 엔드포인트를 수정할 수 있습니다. Amazon Bedrock 내에서만 엔드포인트를 수정하는 것이 좋습니다. SageMaker AI 내에서 엔드포인트를 수정하면 Amazon Bedrock 내에서 엔드포인트를 사용하지 못할 수 있습니다. 다음은 Amazon Bedrock 내에서 엔드포인트가 실패할 수 있는 수정 사항입니다.

엔드포인트가 작동하려면 엔드포인트를 등록하고 서비스 중이어야 합니다. 다음 AWS Command Line Interface 명령을 사용하여 엔드포인트의 상태를 확인할 수 있습니다.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

Amazon Bedrock에서 엔드포인트를 사용하려면 엔드포인트의 상태가 다음과 같아야 합니다.


endpointStatus: InService
status: REGISTERED

엔드포인트가 실패하도록 수정한 경우 엔드포인트의 등록을 취소하고 다시 등록할 수 있습니다. DeregisterEndpoint 작업을 사용하여 엔드포인트의 등록을 취소합니다. RegisterEndpoint 작업을 사용하여 다시 등록합니다.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn