기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

kubectl을 사용하여 JumpStart에서 모델 배포

다음 단계에서는 kubectl을 사용하여 JumpStart 모델을 HyperPod 클러스터에 배포하는 방법을 보여줍니다.

다음 지침에는 Amazon SageMaker Studio 또는 SageMaker 노트북 인스턴스와 같은 Jupyter 노트북 환경에서 실행되도록 설계된 코드 셀과 명령이 포함되어 있습니다. 각 코드 블록은 순차적으로 실행해야 하는 노트북 셀을 나타냅니다. 모델 검색 테이블 및 상태 모니터링 명령을 포함한 대화형 요소는 노트북 인터페이스에 최적화되어 있으며 다른 환경에서 제대로 작동하지 않을 수 있습니다. 계속하기 전에 필요한 AWS 권한이 있는 노트북 환경에 액세스할 수 있는지 확인합니다.

사전 조건

Amazon SageMaker HyperPod 클러스터에서 추론 기능을 설정했는지 확인합니다. 자세한 내용은 모델 배포를 위한 HyperPod 클러스터 설정 단원을 참조하십시오.

설정 및 구성

리전 선택

HyperPod 클러스터를 배포할 리전과 추론 워크로드를 실행할 리전을 선택합니다. 에 다른 사용자 지정을 추가할 수도 있습니다sagemaker_client.

region_name = <REGION>

import boto3
from botocore.config import Config
# Configure retry options
boto3_config = Config(
    retries={
        'max_attempts': 10,  # Maximum number of retry attempts
        'mode': 'adaptive'   # Use adaptive mode for exponential backoff
    }
)

sagemaker_client=boto3.client("sagemaker", region_name=region_name, config=boto3_config)        

모델 및 클러스터 선택

S3 버킷 이름 구성

인증서의 S3 버킷 이름을 구성합니다. 이 버킷에는 인증서를 업로드할 "인증서"라는 폴더가 있어야 합니다. 또한 버킷은 위에 정의된 동일한 리전에 있어야 합니다.

# Set the S3 bucket name where TLS certificates will be stored for secure model communication
certificate_bucket = "<insert bucket name here>"      

import yaml
from datetime import datetime

# Get current time in format suitable for endpoint name
current_time = datetime.now().strftime("%Y%m%d-%H%M%S")
sagemaker_endpoint_name=f"{model_id}-{current_time}"


def generate_jumpstart_model_yaml(model_id, model_version, namespace, instance_type, output_file_path, certificate_bucket):
    """
    Generate a JumpStartModel YAML file with the provided parameters.

    Args:
        model_id (str): The model ID
        model_version (str): The model version
        namespace (str): The namespace
        instance_type (str): The instance type
        output_file_path (str): Path where the YAML file will be saved
    """

    # Create the YAML structure
    tlsCertificateOutputS3Uri = "s3://" + certificate_bucket + "/certificates/"
    model_config = {
        "apiVersion": "inference.sagemaker.aws.amazon.com/v1alpha1",
        "kind": "JumpStartModel",
        "metadata": {
            "name": model_id,
            "namespace": namespace
        },
        "spec": {
            "sageMakerEndpoint": {
                "name": sagemaker_endpoint_name
            },
            "model": {
                "modelHubName": "SageMakerPublicHub",
                "modelId": model_id,
                # modelVersion is optional
                "modelVersion": model_version
                # acceptEula is optional, set value to True when using a gated model
            },
            "server": {
                "instanceType": instance_type
            },
            "tlsConfig": {
                "tlsCertificateOutputS3Uri": tlsCertificateOutputS3Uri
            }
        }
    }

    # Write to YAML file
    with open(output_file_path, 'w') as file:
        yaml.dump(model_config, file, default_flow_style=False)

    print(f"YAML file created successfully at: {output_file_path}")       

# Import JumpStart utilities to retrieve model specifications and version information
from sagemaker.jumpstart import utilsfrom sagemaker.jumpstart.enums import JumpStartScriptScope

model_specs = utils.verify_model_region_and_return_specs(
        model_id, "*", JumpStartScriptScope.INFERENCE, region=region_name)     
model_version = model_specs.version       

# Generate the output filename for the Kubernetes YAML configuration
output_file_path=f"jumpstart-model-{model_id}.yaml"
generate_jumpstart_model_yaml(
    model_id=model_id,
    model_version=model_version,
    namespace=cluster_namespace,
    instance_type=instance_type,
    output_file_path=output_file_path,
    certificate_bucket=certificate_bucket
)

import os
os.environ["JUMPSTART_YAML_FILE_PATH"]=output_file_path
os.environ["MODEL_ID"]=model_id       

모델 배포

kubernetes 구성 업데이트 및 모델 배포

모델 배포 상태 모니터링

모델 엔드포인트 호출

JumpStartModel 객체에서 예제 페이로드를 프로그래밍 방식으로 검색할 수 있습니다.

import boto3

prompt = "{\"inputs\": \"What is AWS SageMaker?\"}}"

runtime_client = boto3.client('sagemaker-runtime', region_name=region_name)
response = runtime_client.invoke_endpoint(
    EndpointName=sagemaker_endpoint_name,
    ContentType="application/json",
    Body=prompt
)
print(response["Body"].read().decode())      

배포 관리

리소스 정리

JumpStart 모델 배포가 더 이상 필요하지 않으면 삭제합니다.

!kubectl delete JumpStartModel $model_id -n $cluster_namespace      

문제 해결

배포가 예상대로 작동하지 않는 경우 이러한 디버깅 명령을 사용합니다.