기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker AI 모델 레지스트리에 SageMaker AI 모델 자동 등록

MLflow 모델을 등록하면 SageMaker AI는 SageMaker 모델 레지스트리에 해당 모델 패키지 그룹 및 모델 패키지 버전을 자동으로 생성합니다. 이를 통해 다음과 같은 작업이 가능합니다.

모델 로깅 및 등록

이 섹션에서는 등록을 위해 모델을 준비하고, SageMaker 모델 레지스트리에 등록하고, Studio에서 보는 방법을 다룹니다.

필수 IAM 권한

모델을 등록하려면 MLflow 추적 서버 또는 MLflow 앱 IAM 서비스 역할에 다음 권한이 있어야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sagemaker:CreateModelPackageGroup",
                "sagemaker:DescribeModelPackageGroup",
                "sagemaker:CreateModelPackage",
                "sagemaker:UpdateModelPackage",
                "sagemaker:AddTags",
                "sagemaker:CreateAction",
                "sagemaker:AddAssociation"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": "*"
        }
    ]
}

MLflow 앱의 IAM 역할 설정에 대한 자세한 내용은 섹션을 참조하세요MLflow 앱에 대한 IAM 권한 설정.

등록을 위한 모델 준비

모델을 등록하기 전에 훈련 실행 중에 모델을 로깅합니다. 선택적으로 등록 시 SageMaker AI 모델 패키지로 전달되는 추론 사양 및 평가 지표를 연결할 수 있습니다.

모델 로깅

MLflow SDK를 사용하여 훈련 실행 중에 모델을 로깅합니다.

import mlflow
from sklearn.datasets import make_regression
from sklearn.ensemble import RandomForestRegressor
from mlflow.models import infer_signature

mlflow.set_tracking_uri(arn)
mlflow.set_experiment("my-experiment")

params = {"n_estimators": 3, "random_state": 42}
X, y = make_regression(n_features=4, n_informative=2, random_state=0, shuffle=False)

with mlflow.start_run() as run:
    model = RandomForestRegressor(**params).fit(X, y)
    signature = infer_signature(X, model.predict(X))
    mlflow.log_params(params)
    model_info = mlflow.sklearn.log_model(
        model, name="sklearn-model", signature=signature, input_example=X[:3]
    )

추론 사양 로깅(선택 사항)

추론 사양은 모델을 배포하는 데 필요한 컨테이너 이미지와 인스턴스 유형을 정의합니다. 등록 전에 로깅된 모델에 연결하면 추론 사양이 SageMaker AI 모델 패키지에 자동으로 포함됩니다. 이를 통해 추가 구성 없이 모델 레지스트리에서 SageMaker AI 엔드포인트에 직접 배포할 수 있습니다.

sagemaker_mlflow.log_inference_specification()를 사용하여 추론 사양을 연결합니다.

import sagemaker_mlflow

# Get the logged model's artifact location
logged_model = mlflow.MlflowClient().get_logged_model(model_info.model_id)

inference_spec = {
    "Containers": [{
        "Image": "763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference:2.0.0-cpu-py310",
        "ModelDataSource": {
            "S3DataSource": {
                "S3Uri": logged_model.artifact_location + "/",
                "S3DataType": "S3Prefix",
                "CompressionType": "None",
            }
        },
    }],
    "SupportedRealtimeInferenceInstanceTypes": ["ml.m5.xlarge"],
}
sagemaker_mlflow.log_inference_specification(
    model_info.model_id,
    inference_specification=inference_spec
)

로깅 후 추론 사양은 모델과 함께 sagemaker_inference_specification.json 아티팩트로 저장됩니다.

로그 평가 지표(선택 사항)

평가 지표는 모델 성능에 대한 표준화된 요약을 제공합니다. 등록 전에 기록하면 평가 결과가 SageMaker AI 모델 패키지에 모델 카드로 포함되어 SageMaker AI 모델 레지스트리 및 Studio에 지표가 표시됩니다. 모델 카드에 대한 자세한 내용은 모델 카드 스키마를 참조하세요.

sagemaker_mlflow.evaluate()를 사용하여 평가 지표를 로깅합니다.

import sagemaker_mlflow
import pandas as pd

eval_df = pd.DataFrame(X, columns=["f1", "f2", "f3"])
eval_df["target"] = y
dataset = mlflow.data.from_pandas(
    eval_df, source="s3://my-bucket/eval.csv", name="eval_set", targets="target"
)
sagemaker_mlflow.evaluate(model_info, data=dataset, model_type="regressor")

로깅 후 평가 그룹은 모델과 함께 아티팩트로 저장됩니다.

SDK를 사용하여 모델 등록

mlflow.register_model()를 사용하여 SageMaker 모델 레지스트리에 모델을 등록합니다. 그러면 SageMaker AI에서 모델 패키지 그룹(있는 경우)과 모델 패키지 버전이 자동으로 생성됩니다.

model_uri = f"runs:/{run.info.run_id}/sklearn-model"
mv = mlflow.register_model(model_uri, "MyRegisteredModel")

print(f"Name: {mv.name}")
print(f"Version: {mv.version}")

버전을 등록create_registered_model하기 전에를 사용하여 모델 패키지 그룹을 생성할 수도 있습니다.

from mlflow import MlflowClient

client = MlflowClient()
client.create_registered_model("MyRegisteredModel", tags={"team": "ml-platform"})

등록 후 모델 버전에는 SageMaker AI 모델 패키지 ARN으로 태그가 지정됩니다. 다음과 같이 검색할 수 있습니다.

mv = client.get_model_version("MyRegisteredModel", mv.version)
sm_arn = mv.tags["sagemaker.model_package_arn"]
print(f"SageMaker Model Package ARN: {sm_arn}")

MLflow UI를 사용하여 모델 등록

MLflow UI에서 직접 SageMaker 모델 레지스트리에 모델을 등록할 수 있습니다. 모델 메뉴에서 모델 생성을 선택합니다. 이러한 방식으로 생성된 모델은 SageMaker 모델 레지스트리에 자동으로 추가됩니다.

실험 추적 중에 모델을 로깅한 후 MLflow UI의 실행 페이지로 이동합니다. 아티팩트 창을 선택하고 모델 등록을 선택하여 MLflow 및 SageMaker 모델 레지스트리 모두에 모델 버전을 등록합니다.

Studio에서 등록된 모델 보기

Studio 내에서 왼쪽 탐색 창에서 모델을 선택하여 등록된 모델을 봅니다. Studio를 시작하기에 대한 자세한 내용은 Amazon SageMaker Studio 시작을 참조하세요.

Studio의 모델 패키지 버전 페이지에는 MLflow에서 동기화된 훈련 지표와 데이터 세트가 표시됩니다.

훈련 탭에는 훈련 데이터 세트 위치와 모델 아티팩트 경로도 표시됩니다.

추론 사양을 기록한 경우 컨테이너 섹션에 컨테이너 이미지, 모델 데이터 위치 및 지원되는 인스턴스 유형이 표시됩니다. 배포 단계는 모델이 배포 준비가 되었음을 나타내는 승인됨으로 표시됩니다.

평가 지표를 기록한 경우 평가 탭에는 점수, 평균 절대 오차, 루트 평균 제곱 오차와 같은 성능 지표가 표시됩니다.

평가 탭에는 평가 데이터 세트 위치도 표시됩니다.

계보 탭에는 MLflow 실험, 모델 버전, 컨테이너 이미지 및 모델 패키지 그룹 간의 관계가 표시됩니다.

제한 사항

모델 수명 주기 단계 관리

모델을 등록한 후 MLflow 모델 버전 별칭을 설정하여 SageMaker AI 모델 레지스트리에서 수명 주기 단계와 상태를 관리할 수 있습니다. 수명 주기 명명 규칙을 사용하여 별칭을 설정하면 해당 SageMaker AI 모델 패키지 수명 주기가 자동으로 업데이트됩니다. 모델 수명 주기 단계에 대한 자세한 내용은 모델 레지스트리의 단계 모델을 참조하세요.

수명 주기 관리를 위한 IAM 권한

MLflow 추적 서버 또는 MLflow 앱 IAM 서비스 역할에는 수명 주기 단계를 관리할 수 있는 sagemaker:UpdateModelPackage 권한이 필요합니다. 이 작업은 위에 설명된 기본 등록 권한에 이미 포함되어 있습니다.

수명 주기 전환 제한

IAM 조건 키를 사용하여 역할이 수행할 수 있는 수명 주기 전환을 제어할 수 있습니다.

예: 프로덕션 프로모션 거부

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Deny",
            "Action": "sagemaker:UpdateModelPackage",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "sagemaker:ModelLifeCycle/stage": "production"
                }
            }
        }
    ]
}

예: 스테이징/보류 전환만 허용

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sagemaker:UpdateModelPackage",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "sagemaker:ModelLifeCycle/stage": "staging",
                    "sagemaker:ModelLifeCycle/stageStatus": "pending"
                }
            }
        }
    ]
}

IAM 정책에 의해 수명 주기 전환이 거부되면 MLflow 별칭 작업이 실패하고 호출자에게 오류를 반환합니다.

SageMaker AI 모델 레지스트리의 모델 수명 주기에 대한 자세한 내용은 레지스트리에서 모델 배포를 참조하세요.

SDK를 사용하여 수명 주기 단계 설정

다음 별칭 형식을 사용하여 수명 주기 단계 및 상태를 설정합니다.

sagemakerlifecycle-stage-status

지원되는 단계: staging, production

지원되는 상태: pending, active

import mlflow

mlflow.set_tracking_uri(arn)
client = mlflow.MlflowClient()

# Set lifecycle to staging/pending
client.set_registered_model_alias("MyRegisteredModel", "sagemakerlifecycle-staging-pending", version)

# Promote to production/active
client.set_registered_model_alias("MyRegisteredModel", "sagemakerlifecycle-production-active", version)

SageMaker AI 모델 패키지를 설명하여 수명 주기 상태를 확인할 수 있습니다.

import boto3

sm = boto3.client("sagemaker")
mv = client.get_model_version("MyRegisteredModel", version)
sm_arn = mv.tags["sagemaker.model_package_arn"]

desc = sm.describe_model_package(ModelPackageName=sm_arn)
print(desc["ModelLifeCycle"]["Stage"])       # "staging"
print(desc["ModelLifeCycle"]["StageStatus"]) # "pending"

MLflow UI를 사용하여 수명 주기 단계 설정

MLflow UI에서 모델 버전 페이지로 이동합니다. 별칭에서 sagemakerlifecycle-stage-status 형식을 사용하여 별칭을 추가합니다. 별칭이 저장되면 SageMaker AI 모델 패키지 수명 주기가 자동으로 업데이트됩니다.

Studio에서 수명 주기 단계 보기

Studio에서 모델로 이동하여 모델 패키지 버전을 선택합니다. 수명 주기 단계 및 상태는 모델 수명 주기 아래의 세부 정보 탭에 표시됩니다.

리소스 태그를 사용하여 등록된 모델에 대한 업데이트 방지

IAM 리소스 태그 기반 조건을 사용하여 MLflow 추적 서버 또는 MLflow 앱 역할이 특정 모델 패키지 그룹 또는 모델 패키지 버전을 수정하지 못하도록 할 수 있습니다. 이를 통해 개별 모델이 특정 상태에 도달한 후 MLflow를 통해 업데이트되지 않도록 잠글 수 있습니다.

예를 들어 locked=true다음 정책은 태그가 있는 모델 패키지UpdateModelPackage에 대해를 거부합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Deny",
            "Action": "sagemaker:UpdateModelPackage",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/locked": "true"
                }
            }
        }
    ]
}

이 정책이 추적 서버 또는 MLflow 앱 역할에 연결되면 MLflow에서 태그가 지정된 모델 패키지의 수명 주기를 업데이트하려는 시도가 실패하고 액세스 거부 오류가 발생합니다.

새 버전이 등록되지 않도록 CreateModelPackage 모델 패키지 그룹에서도 마찬가지로 제한할 수 있습니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Deny",
            "Action": "sagemaker:CreateModelPackage",
            "Resource": "arn:aws:sagemaker:region:account:model-package-group/group-name/*",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/frozen": "true"
                }
            }
        }
    ]
}