기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # Pipelines 개요 Amazon SageMaker AI 파이프라인은 방향성 비순환 그래프(DAG)의 상호 연결된 일련의 단계로, 이 단계는 드래그 앤 드롭 UI 또는 [Pipelines SDK](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html)를 사용하여 정의됩니다. [파이프라인 정의 JSON 스키마](https://aws-sagemaker-mlops.github.io/sagemaker-model-building-pipeline-definition-JSON-schema/)를 사용하여 파이프라인을 구축할 수도 있습니다. 이 DAG JSON 정의는 파이프라인의 각 단계에 대한 요구 사항 및 각 단계 간의 관계에 대한 정보를 제공합니다. 파이프라인 DAG의 구조는 단계 간 데이터 종속성에 따라 결정됩니다. 이러한 데이터 종속성은 단계 출력의 속성이 다른 단계의 입력으로 전달될 때 생성됩니다. 다음 이미지에서는 파이프라인 DAG의 예제를 확인할 수 있습니다. ![\[\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/pipeline-full.png) **이 예시 DAG에는 다음 단계가 포함됩니다.** 1. [처리](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-processing) 단계의 인스턴스인 `AbaloneProcess`는 훈련에 사용되는 데이터에 대해 사전 처리 스크립트를 실행합니다. 예를 들어 스크립트는 누락된 값을 채우거나, 숫자 데이터를 정규화하거나, 데이터를 훈련, 검증 및 테스트 데이터세트로 분할할 수 있습니다. 1. [훈련](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-training) 단계의 인스턴스인 `AbaloneTrain`은 하이퍼파라미터를 구성하고 사전 처리된 입력 데이터에서 모델을 훈련합니다. 1. [처리](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-processing) 단계의 또 다른 인스턴스인 `AbaloneEval`은 모델의 정확도를 평가합니다. 이 단계에서는 데이터 종속성의 예를 보여줍니다. 이 단계에서는 `AbaloneProcess`의 테스트 데이터세트 출력을 사용합니다. 1. `AbaloneMSECond`는 [조건](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-condition) 단계의 인스턴스로, 이 예시에서는 모델 평가의 평균 제곱오차 결과가 특정 한도 미만인지 확인합니다. 모델이 기준을 충족하지 않으면 파이프라인 실행이 중지됩니다. 1. 파이프라인 실행은 다음 단계로 진행됩니다. 1. `AbaloneRegisterModel`. 여기서 SageMaker AI는 [RegisterModel](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-register-model) 단계를 직접적으로 호출하여 모델을 Amazon SageMaker Model Registry에 버전 모델 패키지 그룹으로 등록합니다. 1. `AbaloneCreateModel`. 여기서 SageMaker AI는 [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-create-model) 단계를 직접적으로 호출하여 배치 변환을 준비하기 위해 모델을 생성합니다. `AbaloneTransform`에서 SageMaker AI는 [변환](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-transform) 단계를 직접적으로 호출하여 사용자가 지정한 데이터세트에 대한 모델 예측을 생성합니다. 다음 주제는 Pipelines의 기본 개념을 설명합니다. 이러한 개념의 구현을 설명하는 자습서는 [Pipelines 작업](pipelines-build.md)섹션을 참조하세요. **Topics** + [파이프라인 구조 및 실행](build-and-manage-pipeline.md) + [IAM 액세스 관리](build-and-manage-access.md) + [Pipelines에 대한 교차 계정 지원 설정](build-and-manage-xaccount.md) + [파이프라인 파라미터](build-and-manage-parameters.md) + [Pipelines 단계](build-and-manage-steps.md) + [@step 데코레이터를 사용한 Python 코드 리프트 앤 시프트](pipelines-step-decorator.md) + [단계 간 데이터 전달](build-and-manage-propertyfile.md) + [파이프라인 캐싱 단계](pipelines-caching.md) + [파이프라인 단계에 대한 재시도 정책](pipelines-retry-policy.md) + [파이프라인 단계의 선택적 실행](pipelines-selective-ex.md) + [Amazon SageMaker Pipelines의 명확화 검사 및 품질 검사 단계를 사용한 기준 계산, 드리프트 감지 및 수명 주기](pipelines-quality-clarify-baseline-lifecycle.md) + [파이프라인 실행 예약](pipeline-eventbridge.md) + [Amazon SageMaker Experiments 통합](pipelines-experiments.md) + [로컬 모드를 사용하여 파이프라인 실행](pipelines-local-mode.md) + [Amazon SageMaker Pipelines 문제 해결](pipelines-troubleshooting.md) # 파이프라인 구조 및 실행 **Topics** + [파이프라인 구조](#build-and-manage-pipeline-structure) + [병렬 구성을 사용한 파이프라인 실행](#build-and-manage-pipeline-execution) ## 파이프라인 구조 Amazon SageMaker Pipelines 인스턴스는 `name`, `parameters`, `steps`으로 구성되어 있습니다. `(account, region)` 페어 내 파이프라인 이름은 고유해야 합니다. 단계 정의에 사용되는 모든 파라미터는 파이프라인에서 정의되어야 합니다. 나열된 파이프라인 단계는 서로에 대한 데이터 종속성에 따라 실행 순서를 자동으로 결정합니다. Pipelines 서비스는 데이터 종속성 DAG의 단계 간의 관계를 분석하여 실행이 완료되는 일련의 단계를 만듭니다. 다음은 파이프라인 구조의 예제입니다. **주의** 시각적 편집기 또는 SageMaker AI Python SDK를 통해 파이프라인을 구축할 때 파이프라인 파라미터 또는 단계 정의 필드(예: 환경 변수)에 민감한 정보를 포함하지 마세요. 이러한 필드는 나중에 `DescribePipeline` 요청에 반환될 때 표시됩니다. ``` from sagemaker.workflow.pipeline import Pipeline pipeline_name = f"AbalonePipeline" pipeline = Pipeline( name=pipeline_name, parameters=[ processing_instance_type, processing_instance_count, training_instance_type, model_approval_status, input_data, batch_data, ], steps=[step_process, step_train, step_eval, step_cond], ) ``` ## 병렬 구성을 사용한 파이프라인 실행 기본적으로 파이프라인은 병렬로 실행할 수 있는 모든 단계를 수행합니다. 파이프라인을 생성 또는 업데이트할 때뿐만 아니라 파이프라인 실행을 시작하거나 재시도할 때도 `ParallelismConfiguration`속성을 사용하여 이 동작을 제어할 수 있습니다. 병렬 구성은 실행별로 적용됩니다. 예를 들어 두 개의 실행이 시작되면 각각 최대 50개의 단계를 동시에 실행할 수 있으므로 총 100개의 동시 실행 단계가 가능합니다. 또한 실행을 시작, 재시도 또는 업데이트할 때 지정한 `ParallelismConfiguration`은 파이프라인에 정의된 병렬 처리 구성보다 우선합니다. **Example `ParallelismConfiguration`을 사용하여 파이프라인 실행 생성** ``` pipeline = Pipeline( name="myPipeline", steps=[step_process, step_train] ) pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50}) ``` # IAM 액세스 관리 다음 섹션에서는 Amazon SageMaker Pipelines에 대한 AWS Identity and Access Management (IAM) 요구 사항을 설명합니다. 이러한 권한을 구현하는 방법에 대한 예제는 [사전 조건](define-pipeline.md#define-pipeline-prereq)섹션을 참조하세요. **Topics** + [파이프라인 역할 권한](#build-and-manage-role-permissions) + [파이프라인 단계 권한](#build-and-manage-step-permissions) + [Amazon S3 버킷을 사용한 CORS 구성](#build-and-manage-cors-s3) + [Pipelines 작업에 대한 액세스 관리 사용자 지정](#build-and-manage-step-permissions-prefix) + [파이프라인 버전에 대한 액세스 사용자 지정](#build-and-manage-step-permissions-version) + [파이프라인을 사용한 서비스 제어 정책](#build-and-manage-scp) ## 파이프라인 역할 권한 파이프라인을 생성할 때 파이프라인에 전달되는 IAM 파이프라인 실행 역할이 필요합니다. 파이프라인을 생성하는 데 사용하는 SageMaker AI 인스턴스의 역할에는 파이프라인 실행 역할을 지정하는 `iam:PassRole` 권한이 있는 정책이 있어야 합니다. 이는 파이프라인 생성 및 실행에 사용할 파이프라인 서비스에 파이프라인 실행 역할을 전달할 권한이 인스턴스에 필요하기 때문입니다. IAM 역할에 대한 자세한 내용은 [IAM 역할](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html)을 참조하세요. 파이프라인 실행 역할에는 다음 권한이 필요합니다. + 파이프라인의 모든 SageMaker AI 작업 단계에 대해 고유하거나 사용자 지정된 역할을 사용할 수 있습니다(기본적으로 사용되는 파이프라인 실행 역할이 아님). 파이프라인 실행 역할이 이러한 각 역할을 지정하는 `iam:PassRole` 권한이 있는 정책을 추가했는지 확인합니다. + 파이프라인의 각 작업 유형에 대한 `Create`및 `Describe`권한. + `JsonGet` 함수 사용에 대한 Amazon S3의 허용. 리소스 기반 정책 또는 자격 증명 기반 정책을 사용하여 Amazon S3 리소스에 대한 액세스를 제어할 수 있습니다. 리소스 기반 정책은 Amazon S3 버킷에 적용되며 Pipelines에 버킷에 대한 액세스 권한을 부여합니다. 자격 증명 기반 정책은 파이프라인에 계정에서 Amazon S3를 호출할 수 있는 기능을 제공합니다. 리소스 기반 정책 및 자격 증명 기반 정책에 대한 더 자세한 내용은 [자격 증명 기반 정책 및 리소스 기반 정책 및 정책](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_identity-vs-resource.html)을 참조하세요. ``` { "Action": [ "s3:GetObject" ], "Resource": "arn:aws:s3:::/*", "Effect": "Allow" } ``` ## 파이프라인 단계 권한 Pipelines에는 SageMaker AI 작업을 실행하는 단계가 포함됩니다. 파이프라인 단계에서 이러한 작업을 실행하려면 필요한 리소스에 대한 액세스를 제공하는 계정의 IAM 역할이 필요합니다. 이 역할은 파이프라인에 의해 SageMaker AI 서비스 위탁자에게 전달됩니다. IAM 역할에 대한 자세한 내용은 [IAM 역할](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html)을 참조하세요. 기본적으로 각 단계는 파이프라인 실행 역할을 맡습니다. 선택적으로 파이프라인의 모든 단계에 다른 역할을 전달할 수 있습니다. 이렇게 하면 파이프라인 정의에 지정된 두 단계 간에 직접적인 관계가 없는 한, 각 단계의 코드가 다른 단계에서 사용되는 리소스에 영향을 주지 않습니다. 단계의 프로세서 또는 추정기를 정의할 때 이러한 역할을 전달합니다. 이러한 정의에 이러한 역할을 포함하는 방법의 예시는 [SageMaker AI Python SDK 설명서](https://sagemaker.readthedocs.io/en/stable/overview.html#using-estimators)를 참조하세요. ## Amazon S3 버킷을 사용한 CORS 구성 이미지를 예측 가능한 방식으로 Amazon S3 버킷에서 파이프라인으로 가져오려면 이미지를 가져오는 Amazon S3 버킷에 CORS 구성을 추가해야 합니다. 이 섹션에서는 필요한 CORS 구성을 Amazon S3 버킷으로 설정하는 방법에 대한 지침을 제공합니다. Pipelines에 필요한 XML `CORSConfiguration`은 [입력 이미지 데이터에 대한 CORS 요구 사항](sms-cors-update.md)에 있는 것과 다릅니다. 다르지 않으면 해당 정보를 사용하여 Amazon S3 버킷의 CORS 요구 사항에 대해 자세히 알아볼 수 있습니다. 이미지를 호스팅하는 Amazon S3 버킷에 다음 CORS 구성 코드를 사용하세요. CORS 구성에 대한 지침은 Amazon Simple Storage Service 사용 설명서의 [교차 오리진 리소스 공유(CORS) 구성](https://docs.aws.amazon.com/AmazonS3/latest/user-guide/add-cors-configuration.html)을 참조하세요. Amazon S3 콘솔을 사용하여 버킷에 정책을 추가하려면 JSON 형식을 사용해야 합니다. **JSON** ``` [ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "PUT" ], "AllowedOrigins": [ "*" ], "ExposeHeaders": [ "Access-Control-Allow-Origin" ] } ] ``` **XML** ``` * * PUT Access-Control-Allow-Origin ``` 다음 GIF는 Amazon S3 콘솔을 사용하여 CORS 헤더 정책을 추가하는 방법에 대한 Amazon S3 설명서의 지침을 보여줍니다. ![\[Amazon S3 콘솔을 사용하여 CORS 헤더 정책을 추가하는 방법에 대한 Gif입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/sms/gifs/cors-config.gif) ## Pipelines 작업에 대한 액세스 관리 사용자 지정 IAM 정책을 추가로 사용자 지정하여 조직 내 선택된 구성원이 일부 또는 모든 파이프라인 단계를 실행할 수 있도록 할 수 있습니다. 예를 들어 특정 사용자에게는 훈련 작업을 생성할 권한을 부여하고, 다른 사용자 그룹에게는 처리 작업을 생성할 수 있는 권한을 부여하고, 모든 사용자에게 나머지 단계를 실행할 수 있는 권한을 부여할 수 있습니다. 이 기능을 사용하려면 작업 이름 앞에 접두사를 붙이는 사용자 지정 문자열을 선택합니다. 관리자는 허용된 ARN 앞에 접두사를 추가하는 반면, 데이터 사이언티스트는 파이프라인 인스턴스화에 이 접두사를 포함합니다. 허용된 사용자를 위한 IAM 정책에는 지정된 접두사가 있는 작업 ARN이 포함되어 있으므로 파이프라인 단계의 후속 작업을 진행하는 데 필요한 권한이 있어야 합니다. 작업 접두사는 기본적으로 꺼져 있습니다.이 옵션을 사용하려면 `Pipeline`클래스에서 이 옵션을 켜야 합니다. 접두사가 해제된 작업의 경우 작업 이름은 다음과 같이 형식이 지정되며 다음 테이블에 설명된 필드가 연결되어 있습니다. `pipelines----` | Field | 정의 | | --- | --- | | 파이프라인 | 항상 정적 문자열이 앞에 추가됩니다. 이 문자열은 파이프라인 오케스트레이션 서비스를 작업의 소스로 식별합니다. | | ExecutionId | 실행 중인 파이프라인 인스턴스를 위한 무작위 버퍼입니다. | | stepNamePrefix | 사용자가 지정한 단계 이름(파이프라인 단계의 `name`인수에 지정됨)으로, 처음 20자로 제한됩니다. | | entityToken | 단계 개체의 멱등성을 보장하기 위한 무작위 토큰입니다. | | failureCount | 작업을 완료하기 위해 시도한 현재 재시도 횟수입니다. | 이 경우 작업 이름 앞에 사용자 지정 접두사가 추가되지 않으며 해당 IAM 정책이 이 문자열과 일치해야 합니다. 작업 접두사를 사용하는 사용자의 경우 기본 작업 이름은 다음과 같은 형식을 취하며 사용자 지정 접두사는 `MyBaseJobName`으로 지정됩니다. **-**-**-** 사용자 지정 접두사는 정적 `pipelines` 문자열을 대체하므로 SageMaker AI 작업을 파이프라인의 일부로 실행할 수 있는 사용자 선택 범위를 좁힐 수 있습니다. **접두사 길이 제한** 작업 이름에는 개별 파이프라인 단계에 따른 내부 길이 제약이 있습니다. 또한 이 제약 조건은 허용되는 접두사 길이를 제한합니다. 접두사 길이 요구 사항은 다음과 같습니다. | 파이프라인 단계 | 접두사 길이 | | --- | --- | | `[TrainingStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#trainingstep)`, `[ModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#step-collections)`, `[TransformStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#transformstep)`, `[ProcessingStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#processingstep)`, `[ClarifyCheckStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#clarifycheckstep)`, `[QualityCheckStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#qualitycheckstep)`, `[RegisterModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#step-collections)` | 38 | | `[TuningStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#tuningstep)`, `[AutoML](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#automlstep)` | 6 | ### IAM 정책에 작업 접두사 적용 관리자는 특정 접두사를 사용하는 사용자가 작업을 생성할 수 있도록 IAM 정책을 생성합니다. 다음 예제 정책은 데이터 사이언티스트가 `MyBaseJobName`접두사를 사용하는 경우 훈련 작업을 생성할 수 있도록 허용합니다. ``` { "Action": "sagemaker:CreateTrainingJob", "Effect": "Allow", "Resource": [ "arn:aws:sagemaker:region:account-id:*/MyBaseJobName-*" ] } ``` ### 파이프라인 인스턴스화에 작업 접두사를 적용합니다. 작업 인스턴스 클래스의 `*base_job_name`인수를 사용하여 접두사를 지정합니다. **참고** 파이프라인 단계를 생성하기 전에 `*base_job_name`인수와 함께 작업 접두사를 작업 인스턴스에 전달합니다. 이 작업 인스턴스에는 작업을 파이프라인에서 한 단계로 실행하는 데 필요한 정보가 들어 있습니다. 이 인수는 사용된 작업 인스턴스에 따라 달라집니다. 다음 목록은 각 파이프라인 단계 유형에 사용할 인수를 보여줍니다. `[Estimator](https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html)` (`[TrainingStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#trainingstep)`), `[Processor](https://sagemaker.readthedocs.io/en/stable/api/training/processing.html)`(`[ProcessingStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#processingstep)`), `[AutoML](https://sagemaker.readthedocs.io/en/stable/api/training/automl.html)`(`[AutoMLStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#automlstep)`) 클래스의 경우 `base_job_name` `[Tuner](https://sagemaker.readthedocs.io/en/stable/api/training/tuner.html)` 클래스(`[TuningStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#tuningstep)`)의 경우 `tuning_base_job_name` `[Transformer](https://sagemaker.readthedocs.io/en/stable/api/inference/transformer.html)` 클래스(`[TransformStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#transformstep)`)의 경우 `transform_base_job_name` `[QualityCheckStep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#qualitycheckstep)`(품질 검사) 및 `[ClarifyCheckstep](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#clarifycheckstep)`(명확화 검사) 클래스의 경우 `[CheckJobConfig](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#checkjobconfig)`의 `base_job_name` `[Model](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html)` 클래스의 경우 사용되는 인수는 `[ModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#step-collections)`에 결과를 전달하기 전에 `create`또는 `register`를 모델에 실행했는지에 따라 달라집니다. `create` 호출 시 사용자 지정 접두사는 모델을 생성할 때 `name`인수에서 가져옵니다(예:`Model(name=)`). `register` 호출 시 사용자 지정 접두사는 `register`호출의 `model_package_name`인수에서 가져옵니다(예:`my_model.register(model_package_name=)`). 다음 예제에서는 새 훈련 작업 인스턴스에 접두사를 지정하는 방법을 보여줍니다. ``` # Create a job instance xgb_train = Estimator( image_uri=image_uri, instance_type="ml.m5.xlarge", instance_count=1, output_path=model_path, role=role, subnets=["subnet-0ab12c34567de89f0"], base_job_name="MyBaseJobName" security_group_ids=["sg-1a2bbcc3bd4444e55"], tags = [ ... ] encrypt_inter_container_traffic=True, ) # Attach your job instance to a pipeline step step_train = TrainingStep( name="TestTrainingJob", estimator=xgb_train, inputs={ "train": TrainingInput(...), "validation": TrainingInput(...) } ) ``` 작업 접두사는 기본적으로 해제되어 있습니다. 이 기능을 사용하려면 다음 스니펫에 표시된 `PipelineDefinitionConfig`의 `use_custom_job_prefix`옵션을 사용하세요. ``` from sagemaker.workflow.pipeline_definition_config import PipelineDefinitionConfig # Create a definition configuration and toggle on custom prefixing definition_config = PipelineDefinitionConfig(use_custom_job_prefix=True); # Create a pipeline with a custom prefix pipeline = Pipeline( name="MyJobPrefixedPipeline", parameters=[...] steps=[...] pipeline_definition_config=definition_config ) ``` 파이프라인을 생성하고 실행합니다. 다음 예제는 파이프라인을 생성 및 실행하고, 작업 접두사를 끄고 파이프라인을 다시 실행하는 방법도 보여줍니다. ``` pipeline.create(role_arn=sagemaker.get_execution_role()) # Optionally, call definition() to confirm your prefixed job names are in the built JSON pipeline.definition() pipeline.start() # To run a pipeline without custom-prefixes, toggle off use_custom_job_prefix, update the pipeline # via upsert() or update(), and start a new run definition_config = PipelineDefinitionConfig(use_custom_job_prefix=False) pipeline.pipeline_definition_config = definition_config pipeline.update() execution = pipeline.start() ``` 마찬가지로 기존 파이프라인에서도 이 기능을 켜고 작업 접두사를 사용하는 새 실행을 시작할 수 있습니다. ``` definition_config = PipelineDefinitionConfig(use_custom_job_prefix=True) pipeline.pipeline_definition_config = definition_config pipeline.update() execution = pipeline.start() ``` 마지막으로, 파이프라인 실행의 `list_steps`을 호출하여 접두사가 지정된 사용자 지정 작업을 볼 수 있습니다. ``` steps = execution.list_steps() prefixed_training_job_name = steps['PipelineExecutionSteps'][0]['Metadata']['TrainingJob']['Arn'] ``` ## 파이프라인 버전에 대한 액세스 사용자 지정 `sagemaker:PipelineVersionId` 조건 키를 사용하여 Amazon SageMaker Pipelines의 특정 버전에 대한 사용자 지정 액세스 권한을 부여할 수 있습니다. 예를 들어 아래 정책은 버전 ID 6 이상에 대해서만 실행을 시작하거나 파이프라인 버전을 업데이트할 수 있는 액세스 권한을 부여합니다. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": { "Sid": "AllowStartPipelineExecution", "Effect": "Allow", "Action": [ "sagemaker:StartPipelineExecution", "sagemaker:UpdatePipelineVersion" ], "Resource": "*", "Condition": { "NumericGreaterThanEquals": { "sagemaker:PipelineVersionId": 6 } } } } ``` ------ 지원되는 조건 키에 대한 자세한 정보는 [Amazon SageMaker에 사용되는 조건 키](https://docs.aws.amazon.com//service-authorization/latest/reference/list_amazonsagemaker.html#amazonsagemaker-policy-keys)를 참조하세요. ## 파이프라인을 사용한 서비스 제어 정책 서비스 제어 정책(SCP)은 조직의 권한을 관리하는 데 사용할 수 있는 조직 정책 유형입니다. SCP는 조직의 모든 계정에 사용 가능한 최대 권한을 중앙에서 제어합니다. 조직 내에서 파이프라인을 사용하면 데이터 과학자가 AWS 콘솔과 상호 작용하지 않고도 파이프라인 실행을 관리할 수 있습니다.  Amazon S3에 대한 액세스를 제한하는 SCP와 함께 VPC를 사용하는 경우 파이프라인이 다른 Amazon S3 리소스에 액세스할 수 있도록 허용하는 조치를 취해야 합니다. Pipelines이 함수를 사용하여 VPC 외부의 Amazon S3에 액세스할 수 있도록 하려면 Pipelines을 사용하는 `JsonGet` 역할이 Amazon S3에 액세스할 수 있도록 조직의 SCP를 업데이트하세요. 이렇게 하려면 위탁자 태그와 조건 키를 사용하여 파이프라인 실행 역할을 통해 Pipelines 실행기가 사용하는 역할에 대한 예외를 만드세요. **Pipelines이 VPC 외부에서 Amazon S3에 액세스하도록 허용하는 방법** 1. [IAM 사용자 및 역할](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_tags.html) 태그 지정의 단계에 따라 파이프라인 실행 역할에 고유한 태그를 생성하세요. 1. 생성한 태그의 `Aws:PrincipalTag IAM`조건 키를 사용하여 SCP에 예외를 허용하세요. SCP를 생성하는 방법에 대한 자세한 내용은 [서비스 제어 정책 생성, 업데이트 및 삭제](https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_scps_create.html)를 참조하세요. # Pipelines에 대한 교차 계정 지원 설정 Amazon SageMaker Pipelines에 대한 교차 계정 지원을 통해 기계 학습 파이프라인에서 다른 AWS 계정에서 운영하는 다른 팀 또는 조직과 협업할 수 있습니다. 교차 계정 파이프라인 공유를 설정하면 파이프라인에 대한 제어된 액세스 권한을 부여하고, 다른 계정이 파이프라인 세부 정보를 보고, 실행을 트리거하고, 실행을 모니터링하도록 허용할 수 있습니다. 다음 주제에서는 교차 계정 파이프라인 공유를 설정하는 방법, 공유 리소스에 사용할 수 있는 다양한 권한 정책, SageMaker AI에 대한 API 직접 호출을 통해 공유 파이프라인 엔터티에 액세스하고 상호 작용하는 방법을 다룹니다. ## 교차 계정 파이프라인 공유 설정 SageMaker AI는 [AWS Resource Access Manager](https://docs.aws.amazon.com/ram/latest/userguide/what-is.html)(AWS RAM)를 사용하여 계정 간에 파이프라인 엔터티를 안전하게 공유하는 데 도움이 됩니다. ### 리소스 공유 생성 1. [AWS RAM 콘솔](https://console.aws.amazon.com/ram/home)을 통해 **리소스 공유 생성**을 선택합니다. 1. 리소스 공유 세부 정보를 지정할 때 Pipelines 리소스 유형을 선택하고 공유하려는 하나 이상의 파이프라인을 선택합니다. 파이프라인을 다른 계정과 공유하면 해당 계정의 모든 실행도 암시적으로 공유됩니다. 1. 권한을 리소스 공유에 연결합니다. 기본 읽기 전용 권한 정책 또는 확장 파이프라인 실행 권한 정책을 선택합니다. 더 자세한 내용은 [Pipelines 리소스에 대한 권한 정책](#build-and-manage-xaccount-permissions)섹션을 참조하세요. **참고** 확장 파이프라인 실행 정책을 선택하는 경우 공유 계정에서 호출한 시작, 중지 및 재시도 명령은 파이프라인을 공유한 AWS 계정의 리소스를 사용합니다. 1. AWS 계정 IDs 사용하여 공유 리소스에 대한 액세스 권한을 부여할 계정을 지정합니다. 1. 리소스 공유 구성을 검토하고 **리소스 공유 생성**을 선택합니다. 리소스 공유 및 보안 주체 연결이 완료되는 데 몇 분 정도 걸릴 수 있습니다. 자세한 내용은AWS 리소스 액세스 관리자 사용 설명서의 [AWS 리소스 공유](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-sharing.html)를 참조하세요.** ### 리소스 공유 초대에 대한 응답 수신 리소스 공유와 보안 주체 연결이 설정되면 지정된 AWS 계정에 리소스 공유에 조인하라는 초대가 발송됩니다. 공유 리소스에 액세스하려면 AWS 계정이 초대를 수락해야 합니다. 를 통한 리소스 공유 초대 수락에 대한 자세한 내용은 *AWS Resource Access Manager 사용 설명서*의 [공유 AWS 리소스 사용을 ](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-shared.html) AWS RAM참조하세요. ## Pipelines 리소스에 대한 권한 정책 리소스 공유를 생성할 때 지원되는 두 가지 권한 정책 중 하나를 선택하여 SageMaker AI Pipelines 리소스 유형에 연결합니다. 두 정책 모두 선택한 파이프라인 및 모든 해당 실행에 대한 접근 권한을 부여합니다. ### 기본 읽기 전용 권한 `AWSRAMDefaultPermissionSageMakerPipeline` 정책은 다음 읽기 전용 작업을 할 수 있도록 허용합니다. ``` "sagemaker:DescribePipeline" "sagemaker:DescribePipelineDefinitionForExecution" "sagemaker:DescribePipelineExecution" "sagemaker:ListPipelineExecutions" "sagemaker:ListPipelineExecutionSteps" "sagemaker:ListPipelineParametersForExecution" "sagemaker:Search" ``` ### 확장된 파이프라인 실행 권한 `AWSRAMPermissionSageMakerPipelineAllowExecution` 정책에는 기본 정책의 모든 읽기 전용 권한이 포함되며 공유 계정이 파이프라인 실행을 시작, 중지 및 재시도할 수 있도록 허용합니다. **참고** 확장 파이프라인 실행 권한 정책을 사용할 때는 AWS 리소스 사용에 유의하세요. 이 정책을 사용하면 공유 계정이 파이프라인 실행을 시작, 중지, 재시도할 수 있습니다. 공유 파이프라인 실행에 사용되는 모든 리소스는 소유자 계정에서 사용합니다. 확장된 파이프라인 실행 권한 정책은 다음과 같은 작업을 허용합니다. ``` "sagemaker:DescribePipeline" "sagemaker:DescribePipelineDefinitionForExecution" "sagemaker:DescribePipelineExecution" "sagemaker:ListPipelineExecutions" "sagemaker:ListPipelineExecutionSteps" "sagemaker:ListPipelineParametersForExecution" "sagemaker:StartPipelineExecution" "sagemaker:StopPipelineExecution" "sagemaker:RetryPipelineExecution" "sagemaker:Search" ``` ## 직접 API 직접 호출을 통해 공유 파이프라인 엔티티에 액세스합니다. 교차 계정 파이프라인 공유가 설정되면 파이프라인 ARN을 사용하여 다음 SageMaker API 작업을 호출할 수 있습니다. **참고** 리소스 공유와 관련된 권한에 API 명령이 포함된 경우에만 API 명령을 호출할 수 있습니다. `AWSRAMPermissionSageMakerPipelineAllowExecution` 정책을 선택하면 시작, 중지 및 재시도 명령은 파이프라인을 공유한 AWS 계정의 리소스를 사용합니다. + [DescribePipeline](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribePipeline.html) + [DescribePipelineDefinitionForExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribePipelineDefinitionForExecution.html) + [DescribePipelineExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribePipelineExecution.html) + [ListPipelineExecutions](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListPipelineExecutions.html) + [ListPipelineExecutionSteps](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListPipelineExecutionSteps.html) + [ListPipelineParametersForExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListPipelineParametersForExecution.html) + [StartPipelineExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StartPipelineExecution.html) + [StopPipelineExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopPipelineExecution.html) + [RetryPipelineExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_RetryPipelineExecution.html) # 파이프라인 파라미터 파라미터를 사용하여 파이프라인 정의에 변수를 도입할 수 있습니다. 파이프라인 정의 전체에서 정의한 파라미터를 참조할 수 있습니다. 파라미터에는 기본값이 있으며, 파이프라인 실행을 시작할 때 파라미터 값을 지정하여 기본값을 재정의할 수 있습니다. 기본값은 파라미터 유형과 일치하는 인스턴스여야 합니다.단계 정의에 사용되는 모든 파라미터는 파이프라인 정의에 정의되어야 합니다. 이 주제에서는 정의할 수 있는 파라미터와 이를 구현하는 방법을 설명합니다. Amazon SageMaker Pipelines은 다음과 같은 파라미터 유형을 지원합니다. + `ParameterString` - 문자열 파라미터를 나타냅니다. + `ParameterInteger` - 정수 파라미터를 나타냅니다. + `ParameterFloat` - 플로트 파라미터를 나타냅니다. + `ParameterBoolean` - 부울 Python 형식을 나타냅니다. 파라미터의 형식은 다음과 같습니다. ``` = ( name="", default_value= ) ``` 다음 예제에서는 예제 파라미터 구현을 보여 줍니다. ``` from sagemaker.workflow.parameters import ( ParameterInteger, ParameterString, ParameterFloat, ParameterBoolean ) processing_instance_count = ParameterInteger( name="ProcessingInstanceCount", default_value=1 ) ``` 다음 예제와 같이 파이프라인을 생성할 때 파라미터를 전달합니다. ``` pipeline = Pipeline( name=pipeline_name, parameters=[ processing_instance_count ], steps=[step_process] ) ``` 다음 예제와 같이 기본값과 다른 파라미터 값을 파이프라인 실행에 전달할 수도 있습니다. ``` execution = pipeline.start( parameters=dict( ProcessingInstanceCount="2", ModelApprovalStatus="Approved" ) ) ``` `[ sagemaker.workflow.functions.Join](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.functions.Join)`와 같은 SageMaker Python SDK 함수를 사용하여 파라미터를 조작할 수 있습니다. 파라미터에 대한 자세한 내용은 [SageMaker Pipelines 파라미터](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#parameters)를 참조하세요. Pipelines 파라미터의 알려진 제한 사항은 [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable)의 *[Limitations - Parameterization](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#parameterization)*을 참조하세요. # Pipelines 단계 Pipelines은 여러 단계로 구성되어 있습니다. 이 단계는 파이프라인이 수행하는 작업과 속성을 사용하여 단계 간의 관계를 정의합니다. 다음 페이지에서는 단계 유형, 속성 및 이들 간의 관계를 설명합니다. **Topics** + [단계 추가](build-and-manage-steps-types.md) + [통합 추가](build-and-manage-steps-integration.md) + [단계 속성](#build-and-manage-properties) + [단계 병렬화](#build-and-manage-parallelism) + [단계 간 데이터 종속성](#build-and-manage-data-dependency) + [단계 간 사용자 지정 종속성](#build-and-manage-custom-dependency) + [단계의 사용자 지정 이미지](#build-and-manage-images) # 단계 추가 다음은 각 단계 유형의 요구 사항을 설명하고 해당 단계의 예시 구현을 제공하며 Pipelines에 단계를 추가하는 방법을 설명합니다. 이는 필요한 리소스와 입력을 제공하지 않으므로 작동하는 구현이 아닙니다. 이러한 단계를 구현하는 자습서는 [Pipelines 작업](pipelines-build.md)섹션을 참조하세요. **참고** 로컬 기계 학습 코드에서 `@step` 데코레이터를 사용하여 파이프라인 단계로 변환하여 단계를 만들 수도 있습니다. 자세한 내용은 [@step 데코레이터](#step-type-custom) 단원을 참조하십시오. Amazon SageMaker Pipelines은 다음과 같은 단계 유형을 지원합니다. + [코드 실행](#step-type-executecode) [처리](#step-type-processing) + [학습](#step-type-training) + [튜닝](#step-type-tuning) + [AutoML](#step-type-automl) + [`Model`](#step-type-model) + [`Create model`](#step-type-create-model) + [`Register model`](#step-type-register-model) + [`Deploy model (endpoint)`](#step-type-deploy-model-endpoint) + [변환](#step-type-transform) + [조건](#step-type-condition) + [`Callback`](#step-type-callback) + [Lambda](#step-type-lambda) + [`ClarifyCheck`](#step-type-clarify-check) + [`QualityCheck`](#step-type-quality-check) + [EMR](#step-type-emr) + [노트북 작업](#step-type-notebook-job) + [Fail](#step-type-fail) ## @step 데코레이터 drag-and-drop기 파이프라인 UI에서 고급 SageMaker AI 기능 또는 기타 AWS 서비스를 활용하는 사용자 지정 ML 작업을 오케스트레이션하려면를 사용합니다[코드 실행 단계](#step-type-executecode). `@step` 데코레이터를 사용하여 로컬 기계 학습 코드에서 단계를 만들 수 있습니다. 코드를 테스트한 후 `@step` 데코레이터로 주석을 달아 함수를 SageMaker AI 파이프라인 단계로 변환할 수 있습니다. 파이프라인은 `@step`으로 데코레이션된 함수의 출력을 파이프라인에 단계로 전달할 때 파이프라인을 만들고 실행합니다. 또한 하나 이상의 `@step`으로 데코레이션된 함수와 기존 SageMaker AI 파이프라인 단계를 포함하는 다단계 DAG 파이프라인을 만들 수 있습니다. `@step` 데코레이터로 단계를 만드는 방법에 대한 자세한 내용은 [@step 데코레이터를 사용한 Python 코드 리프트 앤 시프트](pipelines-step-decorator.md) 섹션을 참조하세요. ## 코드 실행 단계 Pipelines 드래그 앤 드롭 UI에서 **코드 실행** 단계를 사용하여 자체 코드를 파이프라인 단계로 실행할 수 있습니다. 파이프라인의 일부로 실행할 Python 함수, 스크립트 또는 노트북을 업로드할 수 있습니다. 고급 SageMaker AI 기능 또는 기타 AWS 서비스를 활용하는 사용자 지정 ML 작업을 오케스트레이션하려면이 단계를 사용해야 합니다. **코드 실행** 단계는 Amazon SageMaker AI용 기본 Amazon S3 버킷에 파일을 업로드합니다. 이 버킷에는 필요한 교차 오리진 리소스 공유(CORS) 권한 세트가 없을 수 있습니다. CORS 권한 구성에 대한 자세한 내용은 [입력 이미지 데이터에 대한 CORS 요구 사항](sms-cors-update.md) 섹션을 참조하세요. **코드 실행** 단계에서는 Amazon SageMaker 훈련 작업을 사용하여 코드를 실행합니다. IAM 역할에 `sagemaker:DescribeTrainingJob` 및 `sagemaker:CreateTrainingJob` API 권한이 있어야 합니다. Amazon SageMaker AI에 필요한 모든 권한과 이를 설정하는 방법에 대한 자세한 내용은 [Amazon SageMaker AI API 권한: 작업, 권한 및 리소스 참조](api-permissions-reference.md) 섹션을 참조하세요. 파이프라인 디자이너를 사용하여 파이프라인에 코드 실행 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Amazon SageMaker Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **코드 실행**을 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **코드 실행** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 1. 단일 파일을 업로드하여 여러 아티팩트가 포함된 압축 폴더를 실행하거나 업로드할 수 있습니다. 1. 단일 파일 업로드의 경우 노트북, Python 함수 또는 스크립트에 대한 파라미터를 선택적으로 제공할 수 있습니다. 1. Python 함수를 제공할 때 핸들러를 `file.py:` 형식으로 제공해야 합니다. 1. 압축 폴더 업로드의 경우 코드에 대한 상대 경로를 제공해야 하며, 선택적으로 압축 폴더 내의 `requirements.txt` 파일 또는 초기화 스크립트에 대한 경로를 제공할 수 있습니다. 1. 캔버스에 추가한 **코드 실행** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **코드 실행** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **코드 실행** 단계 바로 뒤에 있는 단계가 포함된 경우 **코드 실행** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. **코드 실행** 단계의 출력은 Python 함수를 위해 참조할 수 있습니다. ## 처리 단계 처리 단계를 사용하여 데이터 처리를 위한 처리 작업을 생성합니다. 작업 처리에 대한 자세한 내용은 [데이터 처리 및 모델 평가](https://docs.aws.amazon.com/sagemaker/latest/dg/processing-job.html)를 참조하세요. ------ #### [ Pipeline Designer ] 파이프라인 디자이너를 사용하여 파이프라인에 처리 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Amazon SageMaker Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. 왼쪽 사이드바에서 **데이터 처리**를 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **데이터 처리** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.steps.ProcessingStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.ProcessingStep)을 참조하세요. 1. 캔버스에 추가한 **데이터 처리** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **데이터 처리** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **데이터 처리** 단계 바로 뒤에 있는 단계가 포함된 경우 **데이터 처리** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] 처리 단계에는 프로세서, 처리 코드를 정의하는 Python 스크립트, 처리를 위한 출력 및 작업 인수가 필요합니다. 다음 예제는 `ProcessingStep`정의를 생성하는 방법을 보여줍니다. ``` from sagemaker.sklearn.processing import SKLearnProcessor sklearn_processor = SKLearnProcessor(framework_version='1.0-1', role=, instance_type='ml.m5.xlarge', instance_count=1) ``` ``` from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker.workflow.steps import ProcessingStep inputs = [ ProcessingInput(source=, destination="/opt/ml/processing/input"), ] outputs = [ ProcessingOutput(output_name="train", source="/opt/ml/processing/train"), ProcessingOutput(output_name="validation", source="/opt/ml/processing/validation"), ProcessingOutput(output_name="test", source="/opt/ml/processing/test") ] step_process = ProcessingStep( name="AbaloneProcess", step_args = sklearn_processor.run(inputs=inputs, outputs=outputs, code="abalone/preprocessing.py") ) ``` **런타임 파라미터 전달** 다음 예제는 Pyspark 프로세서에서 `ProcessingStep`으로 런타임 파라미터를 전달하는 방법을 보여줍니다. ``` from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.spark.processing import PySparkProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker.workflow.steps import ProcessingStep pipeline_session = PipelineSession() pyspark_processor = PySparkProcessor( framework_version='2.4', role=, instance_type='ml.m5.xlarge', instance_count=1, sagemaker_session=pipeline_session, ) step_args = pyspark_processor.run( inputs=[ProcessingInput(source=, destination="/opt/ml/processing/input"),], outputs=[ ProcessingOutput(output_name="train", source="/opt/ml/processing/train"), ProcessingOutput(output_name="validation", source="/opt/ml/processing/validation"), ProcessingOutput(output_name="test", source="/opt/ml/processing/test") ], code="preprocess.py", arguments=None, ) step_process = ProcessingStep( name="AbaloneProcess", step_args=step_args, ) ``` 처리 단계 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.steps.ProcessingStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.ProcessingStep) 설명서를 참조하세요. 자세한 예시는 [Orchestrate Jobs to Train and Evaluate Models with Amazon SageMaker Pipelines](https://github.com/aws/amazon-sagemaker-examples/blob/62de6a1fca74c7e70089d77e36f1356033adbe5f/sagemaker-pipelines/tabular/abalone_build_train_deploy/sagemaker-pipelines-preprocess-train-evaluate-batch-transform.ipynb) 예시 노트북을 참조하세요. *Define a Processing Step for Feature Engineering* 섹션에 자세한 정보가 포함되어 있습니다. ------ ## 훈련 단계 훈련 단계를 사용하여 모델을 훈련시키는 훈련 작업을 생성합니다. 훈련 작업에 대한 자세한 내용은 [Train a Model with Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html)를 참조하세요. 훈련 단계에는 훈련 및 검증 데이터 입력뿐만 아니라 예측기가 필요합니다. ------ #### [ Pipeline Designer ] 파이프라인 디자이너를 사용하여 파이프라인에 훈련 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Amazon SageMaker Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **모델 훈련**을 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **모델 훈련** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.steps.TrainingStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TrainingStep)을 참조하세요. 1. 캔버스에 추가한 **모델 훈련** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **모델 훈련** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **모델 훈련** 단계 바로 뒤에 있는 단계가 포함된 경우 **모델 훈련** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] 다음 예제는 `TrainingStep`정의를 생성하는 방법을 보여줍니다. 훈련 단계 요구 사항에 대한 자세한 내용은 [SageMaker.workflow.steps.trainingStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TrainingStep) 문서를 참조하세요. ``` from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.inputs import TrainingInput from sagemaker.workflow.steps import TrainingStep from sagemaker.xgboost.estimator import XGBoost pipeline_session = PipelineSession() xgb_estimator = XGBoost(..., sagemaker_session=pipeline_session) step_args = xgb_estimator.fit( inputs={ "train": TrainingInput( s3_data=step_process.properties.ProcessingOutputConfig.Outputs[ "train" ].S3Output.S3Uri, content_type="text/csv" ), "validation": TrainingInput( s3_data=step_process.properties.ProcessingOutputConfig.Outputs[ "validation" ].S3Output.S3Uri, content_type="text/csv" ) } ) step_train = TrainingStep( name="TrainAbaloneModel", step_args=step_args, ) ``` ------ ## 튜닝 단계 튜닝 단계를 사용하여 하이퍼파라미터 최적화(HPO) 라고도 하는 하이퍼파라미터 튜닝 작업을 생성합니다. 하이퍼파라미터 조정 작업은 여러 개의 훈련 작업을 실행하며 각 작업은 모델 버전을 생성합니다. 하이퍼파라미터 튜닝에 대한 자세한 내용은 [SageMaker AI로 자동 모델 튜닝](automatic-model-tuning.md)섹션을 참조하세요. 조정 작업은 파이프라인에 대한 SageMaker AI 실험과 관련이 있으며, 훈련 작업은 평가판으로 생성됩니다. 자세한 내용은 [실험 통합](pipelines-experiments.md) 단원을 참조하십시오. 튜닝 단계에는 [하이퍼파라미터 튜너](https://sagemaker.readthedocs.io/en/stable/api/training/tuner.html)와 훈련 입력이 필요합니다. `HyperparameterTuner`의 `warm_start_config`파라미터를 지정하여 이전 튜닝 작업을 다시 훈련할 수 있습니다. 하이퍼파라미터 튜닝 및 부팅에 대한 자세한 내용은 [웜 스타트 하이퍼파라미터 튜닝 작업 실행](automatic-model-tuning-warm-start.md)섹션을 참조하세요. [SageMaker.Workflow.steps.TuningStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TuningStep) 클래스의 [get\$1top\$1model\$1s3\$1uri](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TuningStep.get_top_model_s3_uri) 메서드를 사용하여 성능이 가장 우수한 모델 버전 중 하나에서 모델 아티팩트를 가져올 수 있습니다. SageMaker AI 파이프라인에서 조정 단계를 사용하는 방법을 보여주는 노트북은 [sagemaker-pipelines-tuning-step.ipynb](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/tuning-step/sagemaker-pipelines-tuning-step.ipynb)를 참조하세요. **중요** 조정 단계는 Amazon SageMaker Python SDK v2.48.0과 Amazon SageMaker Studio Classic v3.8.0에 도입되었습니다. 조정 단계를 사용하기 전에 Studio Classic을 업데이트해야 합니다. 업데이트하지 않으면 파이프라인 DAG가 표시되지 않습니다. Studio Classic을 업데이트하려면 [Amazon SageMaker Studio Classic 종료 및 업데이트](studio-tasks-update-studio.md) 섹션을 참조하세요. 다음 예제는 `TuningStep`정의를 생성하는 방법을 보여줍니다. ``` from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.tuner import HyperparameterTuner from sagemaker.inputs import TrainingInput from sagemaker.workflow.steps import TuningStep tuner = HyperparameterTuner(..., sagemaker_session=PipelineSession()) step_tuning = TuningStep( name = "HPTuning", step_args = tuner.fit(inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data")) ) ``` **최적 모델 버전 가져오기** 다음 예제에서는 `get_top_model_s3_uri`메서드를 사용하여 튜닝 작업에서 최적 모델 버전을 가져오는 방법을 보여줍니다. 최고 성능 상위 50개 버전은 [HyperParameterTuningJobObjective](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HyperParameterTuningJobObjective.html)에 따라 순위가 매겨집니다. `top_k` 인수는 버전에 대한 인덱스로, `top_k=0`은 성능이 가장 좋은 버전이고 `top_k=49`는 성능이 가장 낮은 버전입니다. ``` best_model = Model( image_uri=image_uri, model_data=step_tuning.get_top_model_s3_uri( top_k=0, s3_bucket=sagemaker_session.default_bucket() ), ... ) ``` 튜닝 단계 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.steps.TuningStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TuningStep) 설명서를 참조하세요. ## 미세 조정 단계 미세 조정은 새 데이터세트에 대해 Amazon SageMaker JumpStart의 사전 훈련된 파운데이션 모델을 훈련합니다. 전이 학습이라고도 하는 이 프로세스를 통해 더 작은 데이터세트를 사용하고 훈련 시간을 단축하여 정확한 모델을 생성할 수 있습니다. 모델을 미세 조정할 때 기본 데이터세트를 사용하거나 자체 데이터를 선택할 수 있습니다. JumpStart에서 파운데이션 모델을 미세 조정하는 방법에 대한 자세한 내용은 [모델 미세 조정](jumpstart-fine-tune.md) 섹션을 참조하세요. 미세 조정 단계에서는 Amazon SageMaker 훈련 작업을 사용하여 모델을 사용자 지정합니다. IAM 역할에 파이프라인에서 미세 조정 작업을 실행할 수 있는 `sagemaker:DescribeTrainingJob` 및 `sagemaker:CreateTrainingJob` API 권한이 있어야 합니다. Amazon SageMaker AI에 필요한 권한과 이를 설정하는 방법에 대한 자세한 내용은 [Amazon SageMaker AI API 권한: 작업, 권한 및 리소스 참조](api-permissions-reference.md) 섹션을 참조하세요. 드래그 앤 드롭 편집기를 사용하여 파이프라인에 **미세 조정 모델** 단계를 추가하려면 다음 단계를 따르세요. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **모델 미세 조정**을 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **모델 미세 조정** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 1. 캔버스에 추가한 **모델 미세 조정** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **모델 미세 조정** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **모델 미세 조정** 단계 바로 뒤에 있는 단계가 포함된 경우 **모델 미세 조정** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ## AutoML 단계 [AutoML](https://sagemaker.readthedocs.io/en/stable/api/training/automl.html) API를 사용하여 모델을 자동으로 학습시키는 AutoML 작업을 생성할 수 있습니다. AutoML 작업에 대한 자세한 내용은 [Amazon SageMaker Autopilot을 사용한 모델 개발 자동화](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development.html)를 참조하세요. **참고** 현재 AutoML 단계는 [앙상블 훈련 모드](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html)만 지원합니다. 다음 예제는 `AutoMLStep`을 사용하여 정의를 생성하는 방법을 보여줍니다. ``` from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.workflow.automl_step import AutoMLStep pipeline_session = PipelineSession() auto_ml = AutoML(..., role="", target_attribute_name="my_target_attribute_name", mode="ENSEMBLING", sagemaker_session=pipeline_session) input_training = AutoMLInput( inputs="s3://amzn-s3-demo-bucket/my-training-data", target_attribute_name="my_target_attribute_name", channel_type="training", ) input_validation = AutoMLInput( inputs="s3://amzn-s3-demo-bucket/my-validation-data", target_attribute_name="my_target_attribute_name", channel_type="validation", ) step_args = auto_ml.fit( inputs=[input_training, input_validation] ) step_automl = AutoMLStep( name="AutoMLStep", step_args=step_args, ) ``` **최적 모델 버전 가져오기** AutoML 단계에서는 여러 모델 후보를 자동으로 학습시킵니다. 다음과 같이 `get_best_auto_ml_model` 메서드를 사용하여 AutoML 작업에서 최적의 목표 지표가 있는 모델을 가져옵니다. 또한 IAM `role`을 사용하여 모델 아티팩트에 액세스해야 합니다. ``` best_model = step_automl.get_best_auto_ml_model(role=) ``` 자세한 내용은 SageMaker Python SDK의 [AutoML](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.automl_step.AutoMLStep) 단계를 참조하세요. ## 모델 단계 `ModelStep`을 사용하여 SageMaker AI 모델을 생성하거나 등록할 수 있습니다. `ModelStep` 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.Model\$1Step.ModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.model_step.ModelStep) 설명서를 참조하세요. ### 모델 생성 `ModelStep`을 사용하여 SageMaker AI 모델을 생성할 수 있습니다. `ModelStep`에는 모델 아티팩트와 모델을 생성하는 데 사용해야 하는 SageMaker AI 인스턴스 유형에 대한 정보가 필요합니다. SageMaker AI 모델 훈련에 대한 자세한 내용은 [Train a Model with Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html)를 참조하세요. 다음 예제는 `ModelStep`정의를 생성하는 방법을 보여줍니다. ``` from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.model import Model from sagemaker.workflow.model_step import ModelStep step_train = TrainingStep(...) model = Model( image_uri=pytorch_estimator.training_image_uri(), model_data=step_train.properties.ModelArtifacts.S3ModelArtifacts, sagemaker_session=PipelineSession(), role=role, ) step_model_create = ModelStep( name="MyModelCreationStep", step_args=model.create(instance_type="ml.m5.xlarge"), ) ``` ### 모델 등록 `ModelStep`을 사용하여 Amazon SageMaker Model Registry에 `sagemaker.model.Model` 또는 `sagemaker.pipeline.PipelineModel`을 등록할 수 있습니다. `PipelineModel`은 추론 파이프라인은 데이터에 대해 추론 요청을 처리하는 컨테이너로 이루어진 선형 시퀀스로 구성된 모델입니다. 모델을 등록하는 자세한 방법은 [Model Registry를 사용한 모델 등록 배포](model-registry.md)섹션을 참조하세요. 다음 예제에서는 `PipelineModel`을 등록하는 `ModelStep`생성 방법을 보여 줍니다. ``` import time from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.sklearn import SKLearnModel from sagemaker.xgboost import XGBoostModel pipeline_session = PipelineSession() code_location = 's3://{0}/{1}/code'.format(bucket_name, prefix) sklearn_model = SKLearnModel( model_data=processing_step.properties.ProcessingOutputConfig.Outputs['model'].S3Output.S3Uri, entry_point='inference.py', source_dir='sklearn_source_dir/', code_location=code_location, framework_version='1.0-1', role=role, sagemaker_session=pipeline_session, py_version='py3' ) xgboost_model = XGBoostModel( model_data=training_step.properties.ModelArtifacts.S3ModelArtifacts, entry_point='inference.py', source_dir='xgboost_source_dir/', code_location=code_location, framework_version='0.90-2', py_version='py3', sagemaker_session=pipeline_session, role=role ) from sagemaker.workflow.model_step import ModelStep from sagemaker import PipelineModel pipeline_model = PipelineModel( models=[sklearn_model, xgboost_model], role=role,sagemaker_session=pipeline_session, ) register_model_step_args = pipeline_model.register( content_types=["application/json"], response_types=["application/json"], inference_instances=["ml.t2.medium", "ml.m5.xlarge"], transform_instances=["ml.m5.xlarge"], model_package_group_name='sipgroup', ) step_model_registration = ModelStep( name="AbaloneRegisterModel", step_args=register_model_step_args, ) ``` ## 모델 만들기 단계 모델 생성 단계를 사용하여 SageMaker AI 모델을 생성합니다. SageMaker AI 모델에 대한 자세한 내용은 [Amazon SageMaker를 사용한 모델 훈련](how-it-works-training.md) 섹션을 참조하세요. 모델 생성 단계에는 모델 아티팩트와 모델을 생성하는 데 사용해야 하는 SageMaker AI 인스턴스 유형에 대한 정보가 필요합니다. 다음 예시는 모델 만들기 단계 정의를 만드는 방법을 보여줍니다. 모델 만들기 단계 요구 사항에 대한 자세한 내용은 [sagemaker.workflow.steps.CreateModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.CreateModelStep) 설명서를 참조하세요. ------ #### [ Pipeline Designer ] 파이프라인에 모델 만들기 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **모델 만들기**를 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **모델 만들기** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.steps.CreateModelStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.CreateModelStep)을 참조하세요. 1. 캔버스에 추가한 **모델 만들기** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **모델 만들기** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **모델 만들기** 단계 바로 뒤에 있는 단계가 포함된 경우 **모델 만들기** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] **중요** [모델 단계](#step-type-model)을 사용하여 SageMaker AI Python SDK v2.90.0 이후 모델을 생성하는 것이 좋습니다. `CreateModelStep`은 이전 버전의 SageMaker Python SDK에서 계속 작동하지만 더 이상 적극적으로 지원되지는 않습니다. ``` from sagemaker.workflow.steps import CreateModelStep step_create_model = CreateModelStep( name="AbaloneCreateModel", model=best_model, inputs=inputs ) ``` ------ ## 모델 등록 단계 모델 등록 단계에서는 모델을 SageMaker Model Registry에 등록합니다. ------ #### [ Pipeline Designer ] 파이프라인 디자이너를 사용하여 파이프라인에서 모델을 등록하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Amazon SageMaker Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **모델 등록**을 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **모델 등록** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.step\$1collections.RegisterModel](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.step_collections.RegisterModel)을 참조하세요. 1. 캔버스에 추가한 **모델 등록** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **모델 등록** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **모델 등록** 단계 바로 뒤에 있는 단계가 포함된 경우 **모델 등록** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] **중요** [모델 단계](#step-type-model)을 사용하여 SageMaker AI Python SDK v2.90.0 이후 모델을 등록하는 것이 좋습니다. `RegisterModel`은 이전 버전의 SageMaker Python SDK에서 계속 작동하지만 더 이상 적극적으로 지원되지는 않습니다. `RegisterModel` 단계를 사용하여 [Sagemaker.Model.Model](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html) 또는 [Sagemaker.Pipeline.PipelineModel](https://sagemaker.readthedocs.io/en/stable/api/inference/pipeline.html#pipelinemodel)을 Amazon SageMaker Model Registry에 등록합니다. `PipelineModel`은 추론 파이프라인은 데이터에 대해 추론 요청을 처리하는 컨테이너로 이루어진 선형 시퀀스로 구성된 모델입니다. 모델을 등록하는 자세한 방법은 [Model Registry를 사용한 모델 등록 배포](model-registry.md)섹션을 참조하세요. `RegisterModel` 단계 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.step\$1Collections.RegisterModel](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.step_collections.RegisterModel) 설명서를 참조하세요. 다음 예제에서는 `PipelineModel`을 등록하는 `RegisterModel`단계 생성 방법을 보여 줍니다. ``` import time from sagemaker.sklearn import SKLearnModel from sagemaker.xgboost import XGBoostModel code_location = 's3://{0}/{1}/code'.format(bucket_name, prefix) sklearn_model = SKLearnModel(model_data=processing_step.properties.ProcessingOutputConfig.Outputs['model'].S3Output.S3Uri, entry_point='inference.py', source_dir='sklearn_source_dir/', code_location=code_location, framework_version='1.0-1', role=role, sagemaker_session=sagemaker_session, py_version='py3') xgboost_model = XGBoostModel(model_data=training_step.properties.ModelArtifacts.S3ModelArtifacts, entry_point='inference.py', source_dir='xgboost_source_dir/', code_location=code_location, framework_version='0.90-2', py_version='py3', sagemaker_session=sagemaker_session, role=role) from sagemaker.workflow.step_collections import RegisterModel from sagemaker import PipelineModel pipeline_model = PipelineModel(models=[sklearn_model,xgboost_model],role=role,sagemaker_session=sagemaker_session) step_register = RegisterModel( name="AbaloneRegisterModel", model=pipeline_model, content_types=["application/json"], response_types=["application/json"], inference_instances=["ml.t2.medium", "ml.m5.xlarge"], transform_instances=["ml.m5.xlarge"], model_package_group_name='sipgroup', ) ``` `model`이 제공되지 않은 경우 모델 등록 단계에는 다음 예제와 같이 예측기가 필요합니다. ``` from sagemaker.workflow.step_collections import RegisterModel step_register = RegisterModel( name="AbaloneRegisterModel", estimator=xgb_train, model_data=step_train.properties.ModelArtifacts.S3ModelArtifacts, content_types=["text/csv"], response_types=["text/csv"], inference_instances=["ml.t2.medium", "ml.m5.xlarge"], transform_instances=["ml.m5.xlarge"], model_package_group_name=model_package_group_name, approval_status=model_approval_status, model_metrics=model_metrics ) ``` ------ ## 모델 배포(엔드포인트) 단계 파이프라인 디자이너에서 모델 배포(엔드포인트) 단계를 사용하여 모델을 엔드포인트에 배포합니다. 새 엔드포인트를 만들거나 기존 엔드포인트를 사용할 수 있습니다. 실시간 추론은 실시간, 대화형, 짧은 지연 시간이 요구되는 추론 워크로드에 적합합니다. SageMaker AI Hosting 서비스에 모델을 배포하고 추론에 사용할 수 있는 실시간 엔드포인트를 가져올 수 있습니다. 이러한 엔드포인트는 완전 관리형이며 오토 스케일링을 지원합니다. SageMaker AI의 실시간 추론에 대한 자세한 내용은 [실시간 추론](realtime-endpoints.md) 섹션을 참조하세요. 파이프라인에 모델 배포 단계를 추가하기 전에 IAM 역할에 다음 권한이 있는지 확인합니다. + `sagemaker:CreateModel` + `sagemaker:CreateEndpointConfig` + `sagemaker:CreateEndpoint` + `sagemaker:UpdateEndpoint` + `sagemaker:DescribeModel` + `sagemaker:DescribeEndpointConfig` + `sagemaker:DescribeEndpoint` SageMaker AI에 필요한 모든 권한과 이를 설정하는 방법에 대한 자세한 내용은 [Amazon SageMaker AI API 권한: 작업, 권한 및 리소스 참조](api-permissions-reference.md) 섹션을 참조하세요. 드래그 앤 드롭 편집기에서 파이프라인에 모델 배포 단계를 추가하려면 다음 단계를 완료하세요. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **모델 배포(엔드포인트)**를 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **모델 배포(엔드포인트)** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 1. 캔버스에 추가한 **모델 배포(엔드포인트)** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **모델 배포(엔드포인트)** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **모델 배포(엔드포인트)** 단계 바로 뒤에 있는 단계가 포함된 경우 **모델 배포(엔드포인트)** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ## 변환 단계 배치 변환을 위한 변환 단계를 사용하여 전체 데이터세트에 대해 추론을 실행합니다. 배치 변환에 대한 자세한 정보는 [추론 파이프라인을 사용하여 배치 변환](inference-pipeline-batch.md)섹션을 참조하세요. 변환 단계에는 배치 변환을 실행하는 데 사용할 변환기와 데이터가 필요합니다. 다음 예시는 변환 단계 정의를 만드는 방법을 보여줍니다. 변환 단계 요구 사항에 대한 자세한 내용은 [sagemaker.workflow.steps.TransformStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TransformStep) 문서를 참조하세요. ------ #### [ Pipeline Designer ] 드래그 앤 드롭 시각적 편집기를 사용하여 파이프라인에 배치 변환 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **모델 배포(배치 변환)**을 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **모델 배포(배치 변환)** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.steps.TransformStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.steps.TransformStep)을 참조하세요. 1. 캔버스에 추가한 **모델 배포(배치 변환)** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **모델 배포(배치 변환)** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **모델 배포(배치 변환)** 단계 바로 뒤에 있는 단계가 포함된 경우 **모델 배포(배치 변환)** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] ``` from sagemaker.workflow.pipeline_context import PipelineSession from sagemaker.transformer import Transformer from sagemaker.inputs import TransformInput from sagemaker.workflow.steps import TransformStep transformer = Transformer(..., sagemaker_session=PipelineSession()) step_transform = TransformStep( name="AbaloneTransform", step_args=transformer.transform(data="s3://amzn-s3-demo-bucket/my-data"), ) ``` ------ ## 조건 단계 조건 단계를 사용하여 단계 속성의 조건을 평가하여 파이프라인에서 다음에 취해야 할 조치를 평가합니다. 조건 단계에는 다음이 필요합니다. + 조건 목록 + 조건이 `true`로 평가되는 경우 실행할 단계의 목록 + 조건이 `false`로 평가되는 경우 실행할 단계의 목록 ------ #### [ Pipeline Designer ] 파이프라인 디자이너를 사용하여 파이프라인에 조건 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Amazon SageMaker Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **조건**을 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **조건** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.condition\$1step.ConditionStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.condition_step.ConditionStep)을 참조하세요. 1. 캔버스에 추가한 **조건** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **조건** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **조건** 단계 바로 뒤에 있는 단계가 포함된 경우 **조건** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] 다음 예제는 `ConditionStep`정의를 생성하는 방법을 보여줍니다. **제한 사항 ** + Pipelines은 중첩된 조건 단계의 사용을 지원하지 않습니다. 조건 단계를 다른 조건 단계의 입력으로 전달할 수 없습니다. + 조건 단계는 두 브랜치에서 동일한 단계를 사용할 수 없습니다. 두 브랜치에 동일한 단계 기능이 필요한 경우 단계를 복제하고 다른 이름을 지정하세요. ``` from sagemaker.workflow.conditions import ConditionLessThanOrEqualTo from sagemaker.workflow.condition_step import ConditionStep from sagemaker.workflow.functions import JsonGet cond_lte = ConditionLessThanOrEqualTo( left=JsonGet( step_name=step_eval.name, property_file=evaluation_report, json_path="regression_metrics.mse.value" ), right=6.0 ) step_cond = ConditionStep( name="AbaloneMSECond", conditions=[cond_lte], if_steps=[step_register, step_create_model, step_transform], else_steps=[] ) ``` `ConditionStep` 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.Condition\$1Step.ConditionStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#conditionstep) API 참조를 참조하세요. 지원되는 조건에 대한 자세한 내용은 SageMaker AI Python SDK 설명서의 *[Amazon SageMaker Pipelines - Conditions](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#conditions)*을 참조하세요. ------ ## 콜백 단계 `Callback` 단계를 사용하여 Amazon SageMaker Pipelines에서 직접 제공하지 않는 추가 프로세스와 AWS 서비스를 워크플로에 추가합니다. `Callback` 단계가 실행되면 다음 절차가 수행됩니다. + Pipelines이 고객 지정한 Amazon Simple Queue Service(Amazon SQS) 대기열에 메시지를 전송합니다. 메시지에는 Pipelines에서 생성한 토큰과 고객이 제공한 입력 파라미터 목록이 포함되어 있습니다. 메시지를 보낸 후 Pipelines은 고객의 응답을 기다립니다. + 고객은 Amazon SQS 대기열에서 메시지를 검색하고 사용자 지정 프로세스를 시작합니다. + 프로세스가 완료되면 고객은 다음 API 중 하나를 직접 호출하고 Pipelines에서 생성된 토큰을 제출합니다. + [SendPipelineExecutionStepSuccess](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_SendPipelineExecutionStepSuccess.html)와 출력 파라미터 목록 + [SendPipelineExecutionStepFailure](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_SendPipelineExecutionStepFailure.html)와 실패 사유 + API 직접 호출로 인해 Pipelines이 파이프라인 프로세스를 계속하거나 프로세스에 실패합니다. `Callback` 단계 요구 사항에 대한 자세한 내용은 [SageMaker.Workflow.Callback\$1step.CallbackStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.callback_step.CallbackStep) 설명서를 참조하세요. 전체 솔루션을 보려면 [콜백 단계를 사용하여 사용자 지정 단계를 포함하도록 SageMaker Pipelines 확장](https://aws.amazon.com/blogs/machine-learning/extend-amazon-sagemaker-pipelines-to-include-custom-steps-using-callback-steps/)을 참조하세요. **중요** `Callback` 단계는 Amazon SageMaker Python SDK v2.45.0과 Amazon SageMaker Studio Classic v3.6.2에 도입되었습니다. `Callback` 단계를 사용하기 전에 Studio Classic을 업데이트해야 합니다. 업데이트하지 않으면 파이프라인 DAG가 표시되지 않습니다. Studio Classic을 업데이트하려면 [Amazon SageMaker Studio Classic 종료 및 업데이트](studio-tasks-update-studio.md) 섹션을 참조하세요. 다음 샘플은 이전 절차의 구현을 보여줍니다. ``` from sagemaker.workflow.callback_step import CallbackStep step_callback = CallbackStep( name="MyCallbackStep", sqs_queue_url="https://sqs.us-east-2.amazonaws.com/012345678901/MyCallbackQueue", inputs={...}, outputs=[...] ) callback_handler_code = ' import boto3 import json def handler(event, context): sagemaker_client=boto3.client("sagemaker") for record in event["Records"]: payload=json.loads(record["body"]) token=payload["token"] # Custom processing # Call SageMaker AI to complete the step sagemaker_client.send_pipeline_execution_step_success( CallbackToken=token, OutputParameters={...} ) ' ``` **참고** `CallbackStep`의 출력 파라미터는 중첩되지 않아야 합니다. 예를 들어, 중첩된 사전을 출력 파라미터로 사용하는 경우 사전은 단일 문자열로 취급됩니다 (예: `{"output1": "{\"nested_output1\":\"my-output\"}"}`). 중첩된 값을 제공하는 경우 특정 출력 파라미터를 참조하려고 하면 SageMaker AI에 다시 시도할 수 없는 클라이언트 오류가 발생합니다. **중지 동작** `Callback` 단계가 실행되는 동안에는 파이프라인 프로세스가 중지되지 않습니다. 실행 중인 `Callback` 단계가 있는 파이프라인 프로세스에서 [StopPipelineExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopPipelineExecution.html)을 직접 호출하면 Pipelines은 SQS 대기열에 Amazon SQS 메시지를 보냅니다. SQS 메시지 본문에는 `Stopping`으로 설정된 **상태** 필드가 포함되어 있습니다. 다음은 예제 SQS 메시지 본문을 보여줍니다. ``` { "token": "26vcYbeWsZ", "pipelineExecutionArn": "arn:aws:sagemaker:us-east-2:012345678901:pipeline/callback-pipeline/execution/7pinimwddh3a", "arguments": { "number": 5, "stringArg": "some-arg", "inputData": "s3://sagemaker-us-west-2-012345678901/abalone/abalone-dataset.csv" }, "status": "Stopping" } ``` 메시지를 수신한 후 필요한 조치(예: 리소스 정리)를 수행할 수 있는 로직을 Amazon SQS 메시지 소비자에게 추가해야 합니다. 그런 다음 `SendPipelineExecutionStepSuccess` 또는 `SendPipelineExecutionStepFailure`에 직접 호출을 추가합니다. Pipelines은 이러한 호출 중 하나를 수신한 경우에만 파이프라인 프로세스를 중지합니다. ## Lambda 단계 Lambda 단계를 사용하여 AWS Lambda 함수를 실행합니다. 기존 Lambda 함수를 실행하거나 SageMaker AI는 새 Lambda 함수를 생성하고 실행할 수 있습니다. 기존 Lambda 함수를 사용하기로 선택한 경우 SageMaker AI 파이프라인 AWS 리전 과 동일한에 있어야 합니다. SageMaker AI 파이프라인에서 Lambda 단계를 사용하는 방법을 보여주는 노트북은 [sagemaker-pipelines-lambda-step.ipynb](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/lambda-step/sagemaker-pipelines-lambda-step.ipynb)를 참조하세요. **중요** Lambda 단계는 Amazon SageMaker Python SDK v2.51.0과 Amazon SageMaker Studio Classic v3.9.1에 도입되었습니다. Lambda 단계를 사용하기 전에 Studio Classic을 업데이트해야 합니다. 업데이트하지 않으면 파이프라인 DAG가 표시되지 않습니다. Studio Classic을 업데이트하려면 [Amazon SageMaker Studio Classic 종료 및 업데이트](studio-tasks-update-studio.md) 섹션을 참조하세요. SageMaker AI는 Lambda 함수를 생성, 업데이트, 간접 호출 및 삭제할 수 있는 [SageMaker.Lambda\$1Helper.Lambda](https://sagemaker.readthedocs.io/en/stable/api/utility/lambda_helper.html) 클래스를 제공합니다. `Lambda`에는 다음과 같은 서명이 있습니다. ``` Lambda( function_arn, # Only required argument to invoke an existing Lambda function # The following arguments are required to create a Lambda function: function_name, execution_role_arn, zipped_code_dir, # Specify either zipped_code_dir and s3_bucket, OR script s3_bucket, # S3 bucket where zipped_code_dir is uploaded script, # Path of Lambda function script handler, # Lambda handler specified as "lambda_script.lambda_handler" timeout, # Maximum time the Lambda function can run before the lambda step fails ... ) ``` [Sagemaker.workflow.lambda\$1step.LambdaStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.lambda_step.LambdaStep) 클래스에는 `Lambda`유형의 `lambda_func`인수가 있습니다. 기존 Lambda 함수를 호출하려면 함수의 Amazon 리소스 이름(ARN)을 `function_arn`에 제공하기만 하면 됩니다. `function_arn`에 대한 값을 제공하지 않는 경우 `handler`와 다음 중 하나를 지정해야 합니다. + `zipped_code_dir` - 압축된 Lambda 함수의 경로 `s3_bucket` - `zipped_code_dir`이 업로드될 Amazon S3 버킷 + `script` - Lambda 함수 스크립트 파일의 경로 다음 예제는 기존 Lambda 함수를 호출하는 `Lambda`단계 정의를 생성하는 방법을 보여줍니다. ``` from sagemaker.workflow.lambda_step import LambdaStep from sagemaker.lambda_helper import Lambda step_lambda = LambdaStep( name="ProcessingLambda", lambda_func=Lambda( function_arn="arn:aws:lambda:us-west-2:012345678910:function:split-dataset-lambda" ), inputs={ s3_bucket = s3_bucket, data_file = data_file }, outputs=[ "train_file", "test_file" ] ) ``` 다음 예제는 Lambda 함수 스크립트를 사용하여 Lambda 함수를 생성하고 호출하는 `Lambda`단계 정의를 생성하는 방법을 보여줍니다. ``` from sagemaker.workflow.lambda_step import LambdaStep from sagemaker.lambda_helper import Lambda step_lambda = LambdaStep( name="ProcessingLambda", lambda_func=Lambda( function_name="split-dataset-lambda", execution_role_arn=execution_role_arn, script="lambda_script.py", handler="lambda_script.lambda_handler", ... ), inputs={ s3_bucket = s3_bucket, data_file = data_file }, outputs=[ "train_file", "test_file" ] ) ``` **입력 및 출력** `Lambda` 함수에 입력 또는 출력이 있는 경우 해당 입력 또는 출력도 `Lambda`단계에서 정의해야 합니다. **참고** 입력 및 출력 파라미터는 중첩되지 않아야 합니다. 예를 들어, 중첩된 사전을 출력 파라미터로 사용하는 경우 사전은 단일 문자열로 취급됩니다 (예: `{"output1": "{\"nested_output1\":\"my-output\"}"}`).중첩된 값을 제공하고 나중에 참조하려고 하면 재시도할 수 없는 클라이언트 오류가 발생합니다. `Lambda` 단계 정의 시, `inputs`은 키-값 쌍의 딕셔너리여야 합니다. `inputs` 사전의 각 값은 프리미티브 유형(문자열, 정수 또는 부동)이어야 합니다. 중첩된 개체는 지원되지 않습니다. 정의되지 않은 상태로 두면 `inputs`기본값은 `None`입니다. `outputs` 값은 키 목록이어야 합니다. 이 키는 `Lambda`함수 출력에 정의된 사전을 참조합니다. `inputs`과 마찬가지로 이러한 키는 프리미티브 유형이어야 하며 중첩된 객체는 지원되지 않습니다. **타임아웃 및 중지 동작** `Lambda` 클래스에는 Lambda 함수를 실행할 수 있는 최대 시간을 지정하는 `timeout`인수가 있습니다. 기본값은 120초이며 최대값은 10분입니다. 제한 시간에 도달했을 때 Lambda 함수가 실행 중이면 Lambda 단계는 실패하지만 Lambda 함수는 계속 실행됩니다. Lambda 단계에서 호출한 Lambda 함수를 중지할 수 없기 때문에 Lambda 단계가 실행되는 동안에는 파이프라인 프로세스를 중지할 수 없습니다. Lambda 함수가 실행되는 동안 프로세스를 중지하면 파이프라인은 함수가 완료될 때까지 또는 제한 시간에 도달할 때까지 기다립니다. 둘 중 어느 상황이 먼저 발생하는지에 따라 달라집니다. 그런 다음 프로세스가 중지됩니다. Lambda 함수가 완료되면 파이프라인 프로세스 상태는 `Stopped`입니다. 제한 시간에 도달하면 파이프라인 프로세스 상태는 `Failed`입니다. ## ClarifyCheck 단계 이 `ClarifyCheck`단계를 사용하여 바이어스 분석 및 모델 설명 가능성에 대해 이전 기준 대비 기준 드리프트 검사를 수행할 수 있습니다. 그런 다음 `model.register()`메서드로 [기준을 생성 및 등록](https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines-quality-clarify-baseline-lifecycle.html#pipelines-quality-clarify-baseline-calculations)하고 해당 메서드의 결과를 `[step\$1args](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#model-step)`을 사용하여 [모델 단계](#step-type-model)에 전달할 수 있습니다. 이러한 드리프트 검사 기준은 Amazon SageMaker Model Monitor가 모델 엔드포인트에 사용할 수 있습니다. 따라서 [기준](https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-create-baseline.html) 제안을 별도로 수행할 필요가 없습니다. `ClarifyCheck` 단계에서는 모델 레지스트리에서 드리프트 검사의 기준을 가져올 수도 있습니다. `ClarifyCheck` 단계에서는 SageMaker Clarify 사전 빌드된 컨테이너를 사용합니다. 이 컨테이너는 제약 조건 제안 및 주어진 기준에 대한 제약 조건 검증을 비롯한 다양한 모델 모니터링 기능을 제공합니다. 자세한 내용은 [사전 구축된 SageMaker Clarify 컨테이너](clarify-processing-job-configure-container.md) 단원을 참조하십시오. ### ClarifyCheck 단계 구성 파이프라인에서 사용할 때마다 사용 가능한 검사 유형 중 하나만을 수행하도록 `ClarifyCheck`단계를 구성할 수 있습니다. + 데이터 바이어스 검사 + 모델 바이어스 검사 + 모델 설명 가능성 검사 그러기 위해 `clarify_check_config` 파라미터를 다음 검사 유형 값 중 하나로 설정합니다. + `DataBiasCheckConfig` + `ModelBiasCheckConfig` + `ModelExplainabilityCheckConfig` `ClarifyCheck` 단계는 SageMaker AI Clarify 사전 구축된 컨테이너를 실행하는 처리 작업을 시작하며 [검사 및 처리 작업을 위한 전용 구성](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html)이 필요합니다. `ClarifyCheckConfig` 및 `CheckJobConfig`는 이러한 구성을 위한 도우미 함수입니다. 이러한 도우미 함수는 SageMaker Clarify 처리 작업이 모델 편향, 데이터 편향 또는 모델 설명 가능성을 검사하기 위해 계산하는 방식에 부합합니다. 자세한 내용은 [편향 분석 및 설명 가능성을 위한 SageMaker Clarify 처리 작업 실행](clarify-processing-job-run.md) 단원을 참조하십시오. ### 드리프트 검사의 단계 동작 제어 `ClarifyCheck` 단계의 동작을 제어하려면 다음 두 개의 부울 플래그가 필요합니다. + `skip_check`: 이 파라미터는 이전 기준에 대한 드리프트 검사를 건너뛰었는지 여부를 나타냅니다. `False`로 설정된 경우 구성된 검사 유형의 이전 기준을 사용할 수 있어야 합니다. + `register_new_baseline`: 이 파라미터는 `BaselineUsedForDriftCheckConstraints`단계 속성을 통해 새로 계산된 기준에 액세스할 수 있는지 여부를 나타냅니다. `False`로 설정된 경우 구성된 검사 유형의 이전 기준 역시 사용할 수 있어야 합니다. `BaselineUsedForDriftCheckConstraints` 속성을 통해 액세스할 수 있습니다. 자세한 내용은 [Amazon SageMaker Pipelines의 명확화 검사 및 품질 검사 단계를 사용한 기준 계산, 드리프트 감지 및 수명 주기](pipelines-quality-clarify-baseline-lifecycle.md)섹션을 참조하세요. ### 기준 작업 선택적으로 `model_package_group_name`을 지정하여 기존 기준을 찾을 수 있습니다. 그런 다음 `ClarifyCheck` 단계는 모델 패키지 그룹의 승인된 최신 모델 패키지에서 `DriftCheckBaselines`을 가져옵니다. 또는 `supplied_baseline_constraints`파라미터를 통해 이전 기준을 제공할 수 있습니다. `model_package_group_name`, `supplied_baseline_constraints`를 모두 지정하는 경우 `ClarifyCheck`단계에서는 `supplied_baseline_constraints`파라미터로 지정된 기준을 사용합니다. `ClarifyCheck` 단계 요구 사항 사용에 대한 자세한 내용은 *Amazon SageMaker AI SDK for Python*의 [SageMaker.workflow.steps.ClarifyCheckStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.clarify_check_step.ClarifyCheckStep)을 참조하세요. Pipelines에서 `ClarifyCheck` 단계를 사용하는 방법을 보여주는 Amazon SageMaker Studio Classic 노트북은 [sagemaker-pipeline-model-monitor-clarify-steps.ipynb](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/model-monitor-clarify-pipelines/sagemaker-pipeline-model-monitor-clarify-steps.ipynb)를 참조하세요. **Example 데이터 바이어스 검사를 위한 `ClarifyCheck`단계 생성** ``` from sagemaker.workflow.check_job_config import CheckJobConfig from sagemaker.workflow.clarify_check_step import DataBiasCheckConfig, ClarifyCheckStep from sagemaker.workflow.execution_variables import ExecutionVariables check_job_config = CheckJobConfig( role=role, instance_count=1, instance_type="ml.c5.xlarge", volume_size_in_gb=120, sagemaker_session=sagemaker_session, ) data_bias_data_config = DataConfig( s3_data_input_path=step_process.properties.ProcessingOutputConfig.Outputs["train"].S3Output.S3Uri, s3_output_path=Join(on='/', values=['s3:/', your_bucket, base_job_prefix, ExecutionVariables.PIPELINE_EXECUTION_ID, 'databiascheckstep']), label=0, dataset_type="text/csv", s3_analysis_config_output_path=data_bias_analysis_cfg_output_path, ) data_bias_config = BiasConfig( label_values_or_threshold=[15.0], facet_name=[8], facet_values_or_threshold=[[0.5]] ) data_bias_check_config = DataBiasCheckConfig( data_config=data_bias_data_config, data_bias_config=data_bias_config, )h data_bias_check_step = ClarifyCheckStep( name="DataBiasCheckStep", clarify_check_config=data_bias_check_config, check_job_config=check_job_config, skip_check=False, register_new_baseline=False supplied_baseline_constraints="s3://sagemaker-us-west-2-111122223333/baseline/analysis.json", model_package_group_name="MyModelPackageGroup" ) ``` ## QualityCheck 단계 `QualityCheck` 단계를 사용하여 파이프라인의 데이터 품질 또는 모델 품질에 대한 이전 기준과 비교하여 [기준 제안](https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-create-baseline.html) 및 드리프트 검사를 수행합니다. 그런 다음 `model.register()` 메서드로 [기준을 생성 및 등록](https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines-quality-clarify-baseline-lifecycle.html#pipelines-quality-clarify-baseline-calculations)하고 해당 메서드의 결과를 `[step\$1args](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#model-step)`를 사용하여 [모델 단계](#step-type-model)에 전달할 수 있습니다. Model Monitor는 이러한 기준을 모델 엔드포인트의 드리프트 검사에 사용할 수 있으므로 기준 제안을 별도로 수행할 필요가 없습니다. `QualityCheck` 단계에서는 모델 레지스트리에서 드리프트 검사의 기준을 가져올 수도 있습니다. `QualityCheck` 단계에서는 Amazon SageMaker AI Model Monitor 사전 구축 컨테이너를 활용합니다. 이 컨테이너에는 제약 조건 제안, 통계 생성, 주어진 기준에 대한 제약 조건 검증을 비롯한 다양한 모델 모니터링 기능이 있습니다. 자세한 내용은 [Amazon SageMaker Model Monitor 사전 구축 컨테이너](model-monitor-pre-built-container.md) 단원을 참조하십시오. ### QualityCheck 단계 구성 파이프라인에서 사용할 때마다 사용 가능한 검사 유형 중 하나만을 실행하도록 `QualityCheck` 단계를 구성할 수 있습니다. + 데이터 품질 검사 + 모델 품질 검사 다음 검사 유형 값 중 하나로 `quality_check_config`파라미터를 설정하여 이 작업을 수행합니다. + `DataQualityCheckConfig` + `ModelQualityCheckConfig` `QualityCheck` 단계에서는 Model Monitor 사전 빌드된 컨테이너를 실행하는 처리 작업을 시작하며 검사 및 처리 작업을 위한 전용 구성이 필요합니다. `QualityCheckConfig` 및 `CheckJobConfig`는 이러한 구성에 대한 도우미 함수입니다. 이러한 도우미 함수는 Model Monitor가 모델 품질 또는 데이터 품질 모니터링을 위한 기준을 만드는 방식에 부합합니다. 모델 모니터 기준 제안에 대한 자세한 내용은 [기준 생성](model-monitor-create-baseline.md), [모델 품질 기준 만들기](model-monitor-model-quality-baseline.md)섹션을 참조하세요. ### 드리프트 검사의 단계 동작 제어 `QualityCheck` 단계의 동작을 제어하려면 다음 두 개의 부울 플래그가 필요합니다. + `skip_check`: 이 파라미터는 이전 기준에 대한 드리프트 검사를 건너뛰었는지 여부를 나타냅니다. `False`로 설정된 경우 구성된 검사 유형의 이전 기준을 사용할 수 있어야 합니다. + `register_new_baseline`: 이 파라미터는 단계 속성 `BaselineUsedForDriftCheckConstraints`및 `BaselineUsedForDriftCheckStatistics`를 통해 새로 계산된 기준에 액세스할 수 있는지 여부를 나타냅니다. `False`로 설정된 경우 구성된 검사 유형의 이전 기준 역시 사용할 수 있어야 합니다. `BaselineUsedForDriftCheckConstraints` 및 `BaselineUsedForDriftCheckStatistics`속성을 통해 이러한 속성에 액세스할 수 있습니다. 자세한 내용은 [Amazon SageMaker Pipelines의 명확화 검사 및 품질 검사 단계를 사용한 기준 계산, 드리프트 감지 및 수명 주기](pipelines-quality-clarify-baseline-lifecycle.md)섹션을 참조하세요. ### 기준 작업 `supplied_baseline_statistics` 및 `supplied_baseline_constraints` 파라미터를 통해 직접 이전 기준을 지정할 수 있습니다. 또한 `model_package_group_name`을 지정할 수 있으며, `QualityCheck` 단계는 모델 패키지 그룹의 승인된 최신 모델 패키지에서 `DriftCheckBaselines`을 가져옵니다. 다음을 지정하면 `QualityCheck` 단계는 `QualityCheck` 단계의 검사 유형에서 `supplied_baseline_constraints` 및 `supplied_baseline_statistics`으로 지정된 기준을 사용합니다. + `model_package_group_name` + `supplied_baseline_constraints` + `supplied_baseline_statistics` `QualityCheck` 단계 요구 사항 사용에 대한 자세한 내용은 *Amazon SageMaker AI SDK for Python*의 [sagemaker.workflow.steps.QualityCheckStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.quality_check_step.QualityCheckStep)을 참조하세요. Pipelines에서 `QualityCheck` 단계를 사용하는 방법을 보여주는 Amazon SageMaker Studio Classic 노트북은 [sagemaker-pipeline-model-monitor-clarify-steps.ipynb](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/model-monitor-clarify-pipelines/sagemaker-pipeline-model-monitor-clarify-steps.ipynb)를 참조하세요. **Example 데이터 품질 검사를 위한 `QualityCheck`단계 생성** ``` from sagemaker.workflow.check_job_config import CheckJobConfig from sagemaker.workflow.quality_check_step import DataQualityCheckConfig, QualityCheckStep from sagemaker.workflow.execution_variables import ExecutionVariables check_job_config = CheckJobConfig( role=role, instance_count=1, instance_type="ml.c5.xlarge", volume_size_in_gb=120, sagemaker_session=sagemaker_session, ) data_quality_check_config = DataQualityCheckConfig( baseline_dataset=step_process.properties.ProcessingOutputConfig.Outputs["train"].S3Output.S3Uri, dataset_format=DatasetFormat.csv(header=False, output_columns_position="START"), output_s3_uri=Join(on='/', values=['s3:/', your_bucket, base_job_prefix, ExecutionVariables.PIPELINE_EXECUTION_ID, 'dataqualitycheckstep']) ) data_quality_check_step = QualityCheckStep( name="DataQualityCheckStep", skip_check=False, register_new_baseline=False, quality_check_config=data_quality_check_config, check_job_config=check_job_config, supplied_baseline_statistics="s3://sagemaker-us-west-2-555555555555/baseline/statistics.json", supplied_baseline_constraints="s3://sagemaker-us-west-2-555555555555/baseline/constraints.json", model_package_group_name="MyModelPackageGroup" ) ``` ## EMR 단계 Amazon SageMaker Pipelines [EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-overview.html) 단계를 사용하여 다음을 수행합니다. + 실행 중인 Amazon EMR 클러스터에서 [Amazon EMR 단계](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-work-with-steps.html)를 처리합니다. + 파이프라인에서 Amazon EMR 클러스터를 만들고 관리하도록 합니다. Amazon EMR에 대한 자세한 내용은 [Amazon EMR 시작하기](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs.html)를 참조하세요. EMR 단계를 수행하려면 Amazon EMR 클러스터에서 사용하는 JAR 파일의 위치와 전달할 인수가 `EMRStepConfig`에 포함되어야 합니다. 실행 중인 EMR 클러스터에서 단계를 실행하려는 경우 Amazon EMR 클러스터 ID도 제공합니다. 클러스터 구성을 전달하여 클러스터가 만들고 관리하고 종료하는 클러스터에서 EMR 단계를 실행할 수도 있습니다. 다음 섹션에는 두 가지 방법을 모두 보여주는 샘플 노트북으로 연결되는 링크와 예제가 포함되어 있습니다. **참고** EMR 단계를 수행하려면 파이프라인에 전달된 역할에 추가 권한이 있어야 합니다. [AWS 관리형 정책인 `AmazonSageMakerPipelinesIntegrations`](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-pipelines.html#security-iam-awsmanpol-AmazonSageMakerPipelinesIntegrations)을 파이프라인 역할에 연결하거나 역할에 해당 정책의 권한이 포함되어 있는지 확인합니다. 실행 중인 클러스터에서 EMR 단계를 처리하는 경우 다음 상태 중 하나에 있는 클러스터만 사용할 수 있습니다. `STARTING` `BOOTSTRAPPING` `RUNNING` `WAITING` 실행 중인 클러스터에서 EMR 단계를 처리하는 경우 EMR 클러스터의 `PENDING`상태에서 최대 256개의 EMR 단계를 가질 수 있습니다. 이 한도를 초과하여 제출된 EMR 단계는 파이프라인 실행에 실패합니다. [파이프라인 단계에 대한 재시도 정책](pipelines-retry-policy.md) 사용을 고려해 볼 수 있습니다. 클러스터 ID와 클러스터 구성 중 하나를 지정할 수 있지만 둘 다 지정할 수는 없습니다. EMR 단계는 Amazon EventBridge를 사용하여 EMR 단계 또는 클러스터 상태의 변경 사항을 모니터링합니다. 실행 중인 클러스터에서 Amazon EMR 작업을 처리하는 경우 EMR 단계는 `SageMakerPipelineExecutionEMRStepStatusUpdateRule`규칙을 사용하여 EMR 단계 상태를 모니터링합니다. EMR 단계에서 만드는 클러스터에서 작업을 처리하는 경우 단계는 `SageMakerPipelineExecutionEMRClusterStatusRule` 규칙을 사용하여 클러스터 상태의 변경을 모니터링합니다. AWS 계정에 이러한 EventBridge 규칙 중 하나가 표시되면 삭제하지 마십시오. 그렇지 않으면 EMR 단계가 완료되지 않을 수 있습니다. **파이프라인에 Amazon EMR 단계 추가** 파이프라인에 EMR 단계를 추가하려면 다음을 수행합니다. + [Amazon SageMaker Studio 시작의 지침에 따라 Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-launch.html) 콘솔을 엽니다. + 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. + **생성(Create)**을 선택합니다. + **비어 있음**을 선택합니다. + 왼쪽 사이드바에서 **데이터 처리**를 선택하고 캔버스로 드래그합니다. + 캔버스에서 추가한 **데이터 처리** 단계를 선택합니다. + 오른쪽 사이드바의 모드에서 **EMR(관리형)**을 선택합니다. + 오른쪽 사이드바의 **설정 및 세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.fail\$1step.EMRstep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.emr_step.EMRStep)을 참조하세요. **실행 중인 Amazon EMR 클러스터에서 새 작업 시작** 실행 중인 Amazon EMR 클러스터에서 새 작업을 시작하려면 클러스터 ID를 `EMRStep`의 `cluster_id` 인수에 문자열로 전달합니다. 다음 예에서는 이 절차를 보여 줍니다. ``` from sagemaker.workflow.emr_step import EMRStep, EMRStepConfig emr_config = EMRStepConfig( jar="jar-location", # required, path to jar file used args=["--verbose", "--force"], # optional list of arguments to pass to the jar main_class="com.my.Main1", # optional main class, this can be omitted if jar above has a manifest properties=[ # optional list of Java properties that are set when the step runs { "key": "mapred.tasktracker.map.tasks.maximum", "value": "2" }, { "key": "mapreduce.map.sort.spill.percent", "value": "0.90" }, { "key": "mapreduce.tasktracker.reduce.tasks.maximum", "value": "5" } ] ) step_emr = EMRStep ( name="EMRSampleStep", # required cluster_id="j-1ABCDEFG2HIJK", # include cluster_id to use a running cluster step_config=emr_config, # required display_name="My EMR Step", description="Pipeline step to execute EMR job" ) ``` 전체 예시를 안내하는 샘플 노트북은 [Pipelines EMR Step With Running EMR Cluster](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/emr-step/sagemaker-pipelines-emr-step-with-running-emr-cluster.ipynb)를 참조하세요. **실행 중인 Amazon EMR 클러스터에서 새 작업 시작** `EMRStep`이 사용자를 대신해 만드는 새 클러스터에서 새 작업을 시작하려면 클러스터 구성을 딕셔너리로 제공합니다. 딕셔너리는 [RunJobFlow](https://docs.aws.amazon.com/emr/latest/APIReference/API_RunJobFlow.html) 요청과 구조가 동일해야 합니다. 하지만 클러스터 구성에 다음 필드를 포함시키지 마세요. + [`Name`] + [`Steps`] + [`AutoTerminationPolicy`] + [`Instances`][`KeepJobFlowAliveWhenNoSteps`] + [`Instances`][`TerminationProtected`] 다른 모든 `RunJobFlow`인수는 클러스터 구성에서 사용할 수 있습니다. 요청 구문에 대한 자세한 내용은 [RunJobflow](https://docs.aws.amazon.com/emr/latest/APIReference/API_RunJobFlow.html)를 참조하세요. 다음 예시에서는 클러스터 구성을 EMR 단계 정의에 전달합니다. 그러면 새 EMR 클러스터에서 새 작업을 시작하는 단계가 표시됩니다. 이 예제의 EMR 클러스터 구성에는 기본 및 코어 EMR 클러스터 노드의 사양이 포함되어 있습니다. Amazon EMR 노드 유형에 대한 자세한 내용은 [노드 유형 이해: 기본, 코어 및 태스크 노드](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-master-core-task-nodes.html)를 참조하세요. ``` from sagemaker.workflow.emr_step import EMRStep, EMRStepConfig emr_step_config = EMRStepConfig( jar="jar-location", # required, path to jar file used args=["--verbose", "--force"], # optional list of arguments to pass to the jar main_class="com.my.Main1", # optional main class, this can be omitted if jar above has a manifest properties=[ # optional list of Java properties that are set when the step runs { "key": "mapred.tasktracker.map.tasks.maximum", "value": "2" }, { "key": "mapreduce.map.sort.spill.percent", "value": "0.90" }, { "key": "mapreduce.tasktracker.reduce.tasks.maximum", "value": "5" } ] ) # include your cluster configuration as a dictionary emr_cluster_config = { "Applications": [ { "Name": "Spark", } ], "Instances":{ "InstanceGroups":[ { "InstanceRole": "MASTER", "InstanceCount": 1, "InstanceType": "m5.2xlarge" }, { "InstanceRole": "CORE", "InstanceCount": 2, "InstanceType": "m5.2xlarge" } ] }, "BootstrapActions":[], "ReleaseLabel": "emr-6.6.0", "JobFlowRole": "job-flow-role", "ServiceRole": "service-role" } emr_step = EMRStep( name="emr-step", cluster_id=None, display_name="emr_step", description="MyEMRStepDescription", step_config=emr_step_config, cluster_config=emr_cluster_config ) ``` 전체 예시를 안내하는 샘플 노트북은 [Pipelines EMR Step With Cluster Lifecycle Management](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/emr-step/sagemaker-pipelines-emr-step-with-cluster-lifecycle-management.ipynb)를 참조하세요. ## EMR 서버리스 단계 파이프라인에 EMR 서버리스 단계를 추가하려면 다음을 수행합니다. + [Amazon SageMaker Studio 시작의 지침에 따라 Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-launch.html) 콘솔을 엽니다. + 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. + **생성(Create)**을 선택합니다. + **비어 있음**을 선택합니다. + 왼쪽 사이드바에서 **데이터 처리**를 선택하고 캔버스로 드래그합니다. + 캔버스에서 추가한 **데이터 처리** 단계를 선택합니다. + 오른쪽 사이드바의 모드에서 **EMR(서버리스)**을 선택합니다. + 오른쪽 사이드바의 **설정 및 세부 정보** 탭에 있는 양식을 작성합니다. ## 노트북 작업 단계 `NotebookJobStep`을 사용하여 SageMaker 노트북 작업을 파이프라인 단계로 비대화형으로 실행합니다. Pipelines 드래그 앤 드롭 UI에서 파이프라인을 빌드하는 경우 [코드 실행 단계](#step-type-executecode)를 사용하여 노트북을 실행합니다. SageMaker 노트북 작업에 대한 자세한 정보는 [SageMaker 노트북](notebook-auto-run.md)에서 확인하세요. `NotebookJobStep`에는 최소한 입력 노트북, 이미지 URI 및 커널 이름이 필요합니다. 노트북 작업 단계 요구 사항 및 단계를 사용자 지정하기 위해 설정할 수 있는 기타 파라미터에 대한 자세한 내용은 [sagemaker.workflow.steps.NotebookJobStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.notebook_job_step.NotebookJobStep)을 참조하세요. 다음 예시에서는 최소 인수를 사용하여 `NotebookJobStep`을 정의합니다. ``` from sagemaker.workflow.notebook_job_step import NotebookJobStep notebook_job_step = NotebookJobStep( input_notebook=input_notebook, image_uri=image_uri, kernel_name=kernel_name ) ``` `NotebookJobStep` 파이프라인 단계는 SageMaker 노트북 작업으로 처리됩니다. 따라서 `tags` 인수에 특정 태그를 포함하여 Studio Classic UI 노트북 작업 대시보드에서 실행 상태를 추적합니다. 포함할 태그에 대한 자세한 내용은 [Studio UI 대시보드에서 노트북 작업 보기](create-notebook-auto-run-sdk.md#create-notebook-auto-run-dash) 섹션을 참조하세요. 또한 SageMaker Python SDK를 사용하여 노트북 작업을 예약하는 경우 노트북 작업을 실행할 특정 이미지만 지정할 수 있습니다. 자세한 내용은 [SageMaker AI Python SDK 노트북 작업에 대한 이미지 제약 조건](notebook-auto-run-constraints.md#notebook-auto-run-constraints-image-sdk) 단원을 참조하십시오. ## 실패 단계 원하는 조건 또는 상태가 달성되지 않을 때 Amazon SageMaker Pipelines을 중지하는 데 실패 단계를 사용합니다. 또한 실패 단계를 사용하여 파이프라인 실행 실패의 원인을 나타내는 사용자 지정 오류 메시지를 입력할 수 있습니다. **참고** 실패 단계 및 다른 파이프라인 단계를 동시에 실행하면 모든 동시 작업 단계가 완료될 때까지 파이프라인이 종료되지 않습니다. ### 실패 단계 사용에 대한 제한 사항 + 다른 단계의 `DependsOn` 목록에 실패 단계를 추가할 수 없습니다. 자세한 내용은 [단계 간 사용자 지정 종속성](build-and-manage-steps.md#build-and-manage-custom-dependency) 단원을 참조하십시오. + 다른 단계는 실패 단계를 참조할 수 없습니다. 이는 항상 파이프라인 실행의 마지막 단계입니다.** + 실패 단계로 끝나는 파이프라인 실행은 재시도할 수 없습니다. 정적 텍스트 문자열 형태로 실패 단계 오류 메시지를 만들 수 있습니다. 또는 SDK를 사용할 경우 [파이프라인 파라미터](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-parameters.html), [조인](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html?highlight=Join#sagemaker.workflow.functions.Join) 작업 또는 기타 [단계 속성](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#build-and-manage-properties)을 사용하여 보다 유용한 오류 메시지를 만들 수도 있습니다. ------ #### [ Pipeline Designer ] 파이프라인에 실패 단계를 추가하려면 다음을 수행합니다. 1. [Amazon SageMaker Studio 출시](studio-updated-launch.md)의 지침에 따라 Studio 콘솔을 엽니다. 1. 왼쪽 탐색 창에서 **파이프라인**을 클릭합니다. 1. **생성(Create)**을 선택합니다. 1. **비어 있음**을 선택합니다. 1. 왼쪽 사이드바에서 **실패**를 선택하고 캔버스로 드래그합니다. 1. 캔버스에서 추가한 **실패** 단계를 선택합니다. 1. 오른쪽 사이드바의 **설정** 및 **세부 정보** 탭에서 양식을 작성합니다. 이러한 탭의 필드에 대한 자세한 내용은 [sagemaker.workflow.fail\$1step.FailStep](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.fail_step.FailStep)을 참조하세요. 1. 캔버스에 추가한 **실패** 단계 바로 앞에 있는 단계가 포함된 경우 커서를 클릭하고 단계에서 **실패** 단계로 드래그하여 엣지를 만듭니다. 1. 캔버스에 추가한 **실패** 단계 바로 뒤에 있는 단계가 포함된 경우 **실패** 단계에서 커서를 클릭하고 단계로 드래그하여 엣지를 만듭니다. ------ #### [ SageMaker Python SDK ] **Example** 다음 예제 코드 스니펫은 파이프라인 파라미터로 구성된 `ErrorMessage`와 `Join`작업을 사용하는 `FailStep`을 사용합니다. ``` from sagemaker.workflow.fail_step import FailStep from sagemaker.workflow.functions import Join from sagemaker.workflow.parameters import ParameterInteger mse_threshold_param = ParameterInteger(name="MseThreshold", default_value=5) step_fail = FailStep( name="AbaloneMSEFail", error_message=Join( on=" ", values=["Execution failed due to MSE >", mse_threshold_param] ), ) ``` ------ # 통합 추가 MLflow 통합을 사용하면 MLflow를 파이프라인과 함께 사용하여 추적 서버 또는 서버리스 애플리케이션을 선택하고, 실험을 선택하고, 지표를 로깅할 수 있습니다. ## 주요 개념 **기본 앱 생성** - 파이프라인 시각적 편집기를 입력하면 기본 MLflow 애플리케이션이 생성됩니다. **통합 패널** - 새 통합 패널에는 선택 및 구성할 수 있는 MLflow가 포함되어 있습니다. **앱 및 실험 업데이트** - 파이프라인 실행 중에 선택한 애플리케이션 및 실험을 재정의하는 옵션입니다. ## 작동 방식 + **파이프라인 시각적 편집기**로 이동 + 도구 모음에서 **통합**을 선택합니다. + **MLflow** 선택 + MLflow 앱 및 실험 구성 ## 스크린샷 예제 통합 사이드 패널 ![\[할 일 설명입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/screenshot-pipeline-1.png) MLflow 구성 ![\[할 일 설명입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/screenshot-pipeline-2.png) 파이프라인 실행 중에 실험을 재정의하는 방법 ![\[할 일 설명입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/screenshot-pipeline-3.png) ## 단계 속성 `properties` 속성을 사용하여 파이프라인의 단계 간에 데이터 종속성을 추가합니다. Pipelines은 이러한 데이터 종속성을 사용하여 파이프라인 정의에서 DAG를 구성합니다. 이러한 속성은 자리 표시자 값으로 참조될 수 있으며 런타임에 확인됩니다. Pipelines 단계의 `properties` 속성은 해당 SageMaker AI 작업 유형에 대한 `Describe` 직접 호출에서 반환된 객체와 일치합니다. 각 작업 유형에 대해 `Describe`호출은 다음과 같은 응답 객체를 반환합니다. + `ProcessingStep` – [DescribeProcessingJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeProcessingJob.html) + `TrainingStep` – [DescribeTrainingJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTrainingJob.html) + `TransformStep` – [DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html) 데이터 종속성 생성 중에 각 단계 유형에 대해 참조할 수 있는 속성을 확인하려면 [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable)의 [데이터 종속성 - 속성 참조](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#data-dependency-property-reference)를 참조하세요.** ## 단계 병렬화 단계가 다른 단계에 종속되지 않는 경우 파이프라인 실행 즉시 실행됩니다. 하지만 너무 많은 파이프라인 단계를 병렬로 실행하면 가용 리소스가 빠르게 고갈될 수 있습니다. `ParallelismConfiguration`을 사용하여 파이프라인 실행의 동시 단계 수를 제어할 수 있습니다. 다음 예제에서는 `ParallelismConfiguration`을 사용하여 동시 단계 제한을 5로 설정합니다. ``` pipeline.create( parallelism_config=ParallelismConfiguration(5), ) ``` ## 단계 간 데이터 종속성 단계 간 데이터 관계를 지정하여 DAG의 구조를 정의합니다. 단계 간에 데이터 종속성을 만들려면 한 단계의 속성을 파이프라인의 다른 단계에 입력으로 전달합니다. 입력을 받는 단계는 입력을 제공하는 단계가 실행을 완료할 때까지 시작되지 않습니다. 데이터 종속성은 다음 형식의 JSONPath 표기법을 사용합니다. 이 형식은 JSON 속성 파일을 통과합니다. 즉, 파일에서 원하는 중첩 속성에 도달하는 데 필요한 만큼 ** 인스턴스를 추가할 수 있습니다. JSONPath 표기법에 대한 자세한 내용은 [JSONPath 리포지토리](https://github.com/json-path/JsonPath)를 참조하세요. ``` .properties.. ``` 다음은 처리 단계의 `ProcessingOutputConfig`속성을 사용하여 Amazon S3 버킷을 지정하는 방법을 보여줍니다. ``` step_process.properties.ProcessingOutputConfig.Outputs["train_data"].S3Output.S3Uri ``` 데이터 종속성을 생성하려면 다음과 같이 버킷을 훈련 단계로 전달하세요. ``` from sagemaker.workflow.pipeline_context import PipelineSession sklearn_train = SKLearn(..., sagemaker_session=PipelineSession()) step_train = TrainingStep( name="CensusTrain", step_args=sklearn_train.fit(inputs=TrainingInput( s3_data=step_process.properties.ProcessingOutputConfig.Outputs[ "train_data"].S3Output.S3Uri )) ) ``` 데이터 종속성 생성 중에 각 단계 유형에 대해 참조할 수 있는 속성을 확인하려면 [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable)의 [데이터 종속성 - 속성 참조](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#data-dependency-property-reference)를 참조하세요.** ## 단계 간 사용자 지정 종속성 데이터 종속성을 지정하면 Pipelines은 단계 간의 데이터 연결을 제공합니다. 또는 Pipelines을 직접 사용하지 않고도 한 단계에서 이전 단계의 데이터에 접근할 수 있습니다. 이 경우 다른 단계 실행이 완료될 때까지 단계를 시작하지 않도록 Pipelines에 알리는 사용자 지정 종속성을 만들 수 있습니다. 단계의 `DependsOn`속성을 지정하여 사용자 지정 종속성을 생성합니다. 예를 들어, 다음은 `A`단계와 `B`단계가 모두 실행된 후에만 시작되는 `C`단계를 정의합니다. ``` { 'Steps': [ {'Name':'A', ...}, {'Name':'B', ...}, {'Name':'C', 'DependsOn': ['A', 'B']} ] } ``` 종속 항목이 순환 종속성을 만드는 경우 Pipelines에서 검증 예외가 발생합니다. 다음 예제는 처리 단계 실행이 끝난 후 시작되는 훈련 단계를 생성합니다. ``` processing_step = ProcessingStep(...) training_step = TrainingStep(...) training_step.add_depends_on([processing_step]) ``` 다음 예제에서는 서로 다른 두 처리 단계의 실행이 완료될 때까지 시작되지 않는 훈련 단계를 만듭니다. ``` processing_step_1 = ProcessingStep(...) processing_step_2 = ProcessingStep(...) training_step = TrainingStep(...) training_step.add_depends_on([processing_step_1, processing_step_2]) ``` 다음은 사용자 지정 종속성을 생성하는 다른 방법을 제공합니다. ``` training_step.add_depends_on([processing_step_1]) training_step.add_depends_on([processing_step_2]) ``` 다음 예제에서는 한 처리 단계에서 입력을 받고 다른 처리 단계가 실행을 마칠 때까지 기다리는 훈련 단계를 만듭니다. ``` processing_step_1 = ProcessingStep(...) processing_step_2 = ProcessingStep(...) training_step = TrainingStep( ..., inputs=TrainingInput( s3_data=processing_step_1.properties.ProcessingOutputConfig.Outputs[ "train_data" ].S3Output.S3Uri ) training_step.add_depends_on([processing_step_2]) ``` 다음 예제에서는 단계의 사용자 지정 종속성에 대한 문자열 목록을 검색하는 방법을 보여줍니다. ``` custom_dependencies = training_step.depends_on ``` ## 단계의 사용자 지정 이미지 파이프라인에서 단계를 생성할 때 사용 가능한 SageMaker AI [딥 러닝 컨테이너 이미지](https://github.com/aws/deep-learning-containers/blob/master/available_images.md)를 모두 사용할 수 있습니다. 파이프라인 단계가 있는 자체 컨테이너를 사용할 수도 있습니다. Studio Classic 내에서 이미지를 만들 수 없으므로 Pipelines에서 이미지를 사용하기 전에 다른 방법을 사용하여 이미지를 만들어야 합니다. 파이프라인 단계를 생성할 때 자체 컨테이너를 사용하려면 예측기 정의에 이미지 URI를 포함합니다. SageMaker AI에서 자체 컨테이너를 사용하는 방법에 대한 자세한 내용은 [Using Docker Containers with SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/docker-containers.html)를 참조하세요. # @step 데코레이터를 사용한 Python 코드 리프트 앤 시프트 `@step` 데코레이터는 로컬 기계 학습(ML) 코드를 하나 이상의 파이프라인 단계로 변환하는 기능입니다. 다른 ML 프로젝트와 마찬가지로 ML 함수를 작성할 수 있습니다. 로컬에서 테스트하거나 `@remote` 데코레이터를 사용하여 훈련 작업으로 테스트한 후에는 `@step` 데코레이터를 추가하여 함수를 SageMaker AI 파이프라인 단계로 변환할 수 있습니다. 그런 다음, `@step`으로 데코레이션된 함수 직접 호출의 출력을 파이프라인에 단계로 전달하여 파이프라인을 만들고 실행합니다. `@step` 데코레이터와 일련의 함수를 연결하여 다단계 방향성 비순환 그래프(DAG) 파이프라인을 만들 수도 있습니다. `@step` 데코레이터를 사용하는 설정은 `@remote` 데코레이터를 사용하는 설정과 동일합니다. [환경을 설정](https://docs.aws.amazon.com/sagemaker/latest/dg/train-remote-decorator.html#train-remote-decorator-env)하고 [구성 파일을 사용](https://docs.aws.amazon.com/sagemaker/latest/dg/train-remote-decorator-config.html)하여 기본값을 설정하는 방법에 대한 자세한 내용은 원격 함수 설명서를 참조하세요. `@step` 데코레이터에 대한 자세한 내용은 [sagemaker.workflow.function\$1step.step](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.function_step.step)을 참조하세요. `@step` 데코레이터 사용을 보여주는 샘플 노트북을 보려면 [@step decorator sample notebooks](https://github.com/aws/amazon-sagemaker-examples/tree/main/sagemaker-pipelines/step-decorator)을 참조하세요. 다음 섹션에서는 `@step` 데코레이터로 로컬 ML 코드에 주석을 달아 단계를 만들고, 단계를 사용하여 파이프라인을 만들고 실행하고, 사용 사례에 맞게 환경을 사용자 지정하는 방법을 설명합니다. **Topics** + [`@step`으로 데코레이션된 함수를 사용하여 파이프라인 만들기](pipelines-step-decorator-create-pipeline.md) + [파이프라인 실행](pipelines-step-decorator-run-pipeline.md) + [파이프라인 구성](pipelines-step-decorator-cfg-pipeline.md) + [모범 사례](pipelines-step-decorator-best.md) + [제한 사항](pipelines-step-decorator-limit.md) # `@step`으로 데코레이션된 함수를 사용하여 파이프라인 만들기 `@step` 데코레이터를 사용하여 Python 함수를 파이프라인 단계로 변환하고, 이러한 함수 간에 종속성을 만들어 파이프라인 그래프(또는 방향성 비순환 그래프(DAG))를 만들고, 해당 그래프의 리프 노드를 파이프라인에 단계 목록으로 전달하여 파이프라인을 만들 수 있습니다. 다음 섹션에서는 예시와 함께 이 절차에 대해 자세히 설명합니다. **Topics** + [함수를 단계로 변환](#pipelines-step-decorator-run-pipeline-convert) + [단계 간 종속성 만들기](#pipelines-step-decorator-run-pipeline-link) + [`@step`으로 데코레이션된 단계와 함께 `ConditionStep` 사용](#pipelines-step-decorator-condition) + [단계의 `DelayedReturn` 출력을 사용하여 파이프라인 정의](#pipelines-step-define-delayed) + [파이프라인 생성](#pipelines-step-decorator-pipeline-create) ## 함수를 단계로 변환 `@step` 데코레이터를 사용하여 단계를 만들려면 함수에 `@step`을 주석으로 지정합니다. 다음 예시에서는 데이터를 사전 처리하는 `@step`으로 데코레이션된 함수를 보여줍니다. ``` from sagemaker.workflow.function_step import step @step def preprocess(raw_data): df = pandas.read_csv(raw_data) ... return procesed_dataframe step_process_result = preprocess(raw_data) ``` `@step`으로 데코레이션된 함수를 간접 호출하면 SageMaker AI는 함수를 실행하는 대신 `DelayedReturn` 인스턴스를 반환합니다. `DelayedReturn` 인스턴스는 해당 함수의 실제 반환에 대한 프록시입니다. `DelayedReturn` 인스턴스는 인수로 다른 함수에 전달하거나 파이프라인 인스턴스에 단계로 직접 전달할 수 있습니다. `DelayedReturn` 클래스에 대한 자세한 내용은 [sagemaker.workflow.function\$1step.DelayedReturn](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.function_step.DelayedReturn)을 참조하세요. ## 단계 간 종속성 만들기 두 단계 간에 종속성을 만들 때 파이프라인 그래프의 단계 간에 연결을 만듭니다. 다음 섹션에서는 파이프라인 단계 간에 종속성을 만들 수 있는 여러 방법을 소개합니다. ### 입력 인수를 통한 데이터 종속성 한 함수의 `DelayedReturn` 출력을 다른 함수에 대한 입력으로 전달하면 파이프라인 DAG에 데이터 종속성이 자동으로 만들어집니다. 다음 예시에서는 `preprocess` 함수의 `DelayedReturn` 출력을 `train` 함수에 전달하면 `preprocess`와 `train` 사이에 종속성이 만들어집니다. ``` from sagemaker.workflow.function_step import step @step def preprocess(raw_data): df = pandas.read_csv(raw_data) ... return procesed_dataframe @step def train(training_data): ... return trained_model step_process_result = preprocess(raw_data) step_train_result = train(step_process_result) ``` 이전 예시에서는 `@step`으로 데코레이션된 훈련 함수를 정의합니다. 이 함수가 간접 호출되면 사전 처리 파이프라인 단계의 `DelayedReturn` 출력을 입력으로 수신합니다. 훈련 함수를 간접 호출하면 다른 `DelayedReturn` 인스턴스가 반환됩니다. 이 인스턴스는 파이프라인 DAG를 형성하는 해당 함수에 정의된 모든 이전 단계(예: 이 예시의 `preprocess` 단계)에 대한 정보를 보유합니다. 이전 예시에서 `preprocess` 함수는 단일 값을 반환합니다. 목록 또는 튜플과 같은 더 복잡한 반환 유형은 [제한 사항](pipelines-step-decorator-limit.md) 섹션을 참조하세요. ### 사용자 지정 종속성 정의 이전 예시에서 `train` 함수는 `preprocess`의 `DelayedReturn` 출력을 수신하고 종속성을 만들었습니다. 이전 단계 출력을 전달하지 않고 종속성을 명시적으로 정의하려면 단계와 함께 `add_depends_on` 함수를 사용합니다. `get_step()` 함수를 사용하여 `DelayedReturn` 인스턴스에서 기본 단계를 검색한 다음, 종속성을 입력으로 사용하여 `add_depends_on`\$1on을 직접 호출할 수 있습니다. `get_step()` 함수 정의를 보려면 [sagemaker.workflow.step\$1outputs.get\$1step](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.step_outputs.get_step)을 참조하세요. 다음 예시에서는 `get_step()` 및 `add_depends_on()`을 사용하여 `preprocess` 및 `train` 간의 종속성을 만드는 방법을 보여줍니다. ``` from sagemaker.workflow.step_outputs import get_step @step def preprocess(raw_data): df = pandas.read_csv(raw_data) ... processed_data = .. return s3.upload(processed_data) @step def train(): training_data = s3.download(....) ... return trained_model step_process_result = preprocess(raw_data) step_train_result = train() get_step(step_train_result).add_depends_on([step_process_result]) ``` ### `@step`으로 데코레이션된 함수에서 기존 파이프라인 단계로 데이터를 주고 받습니다. `@step`으로 데코레이션된 단계와 기존 파이프라인 단계가 포함된 파이프라인을 만들고 이들 간에 데이터를 전달할 수 있습니다. 예를 들어 `ProcessingStep`을 사용하여 데이터를 처리하고 결과를 `@step`으로 데코레이션된 훈련 함수에 전달할 수 있습니다. 다음 예시에서는 `@step`으로 데코레이션된 훈련 단계가 처리 단계의 출력을 참조합니다. ``` # Define processing step from sagemaker.sklearn.processing import SKLearnProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker.workflow.steps import ProcessingStep sklearn_processor = SKLearnProcessor( framework_version='1.2-1', role='arn:aws:iam::123456789012:role/SagemakerExecutionRole', instance_type='ml.m5.large', instance_count='1', ) inputs = [ ProcessingInput(source=input_data, destination="/opt/ml/processing/input"), ] outputs = [ ProcessingOutput(output_name="train", source="/opt/ml/processing/train"), ProcessingOutput(output_name="validation", source="/opt/ml/processing/validation"), ProcessingOutput(output_name="test", source="/opt/ml/processing/test") ] process_step = ProcessingStep( name="MyProcessStep", step_args=sklearn_processor.run(inputs=inputs, outputs=outputs,code='preprocessing.py'), ) ``` ``` # Define a @step-decorated train step which references the # output of a processing step @step def train(train_data_path, test_data_path): ... return trained_model step_train_result = train( process_step.properties.ProcessingOutputConfig.Outputs["train"].S3Output.S3Uri, process_step.properties.ProcessingOutputConfig.Outputs["test"].S3Output.S3Uri, ) ``` ## `@step`으로 데코레이션된 단계와 함께 `ConditionStep` 사용 Pipelines은 파이프라인에서 수행할 작업을 결정하기 위해 이전 단계의 결과를 평가하는 `ConditionStep` 클래스를 지원합니다. `@step`으로 데코레이션된 단계와 함께 `ConditionStep`을 사용할 수도 있습니다. `ConditionStep`으로 데코레이션된 단계와 함께 `@step`을 사용하려면 해당 단계의 출력을 `ConditionStep`에 대한 인수로 입력합니다. 다음 예시에서는 조건 단계가 `@step`으로 데코레이션된 모델 평가 단계의 출력을 수신합니다. ``` # Define steps @step(name="evaluate") def evaluate_model(): # code to evaluate the model return { "rmse":rmse_value } @step(name="register") def register_model(): # code to register the model ... ``` ``` # Define ConditionStep from sagemaker.workflow.condition_step import ConditionStep from sagemaker.workflow.conditions import ConditionGreaterThanOrEqualTo from sagemaker.workflow.fail_step import FailStep conditionally_register = ConditionStep( name="conditional_register", conditions=[ ConditionGreaterThanOrEqualTo( # Output of the evaluate step must be json serializable left=evaluate_model()["rmse"], # right=5, ) ], if_steps=[FailStep(name="Fail", error_message="Model performance is not good enough")], else_steps=[register_model()], ) ``` ## 단계의 `DelayedReturn` 출력을 사용하여 파이프라인 정의 `@step` 데코레이터 사용 여부와 관계없이 파이프라인을 동일한 방식으로 정의합니다. `DelayedReturn` 인스턴스를 파이프라인에 전달할 때 파이프라인을 빌드하기 위해 전체 단계 목록을 전달할 필요가 없습니다. SDK는 사용자가 정의한 종속성을 기반으로 이전 단계를 자동으로 추론합니다. 파이프라인에 전달한 `Step` 객체 또는 `DelayedReturn` 객체의 이전 단계는 모두 파이프라인 그래프에 포함됩니다. 다음 예시에서는 파이프라인이 `train` 함수에 대한 `DelayedReturn` 객체를 수신합니다. SageMaker AI는 파이프라인 그래프에 `train` 이전 단계로 `preprocess` 단계를 추가합니다. ``` from sagemaker.workflow.pipeline import Pipeline pipeline = Pipeline( name="", steps=[step_train_result], sagemaker_session=, ) ``` 단계 간에 데이터 또는 사용자 지정 종속성이 없고 여러 단계를 병렬로 실행하는 경우 파이프라인 그래프에 둘 이상의 리프 노드가 있습니다. 다음 예시와 같이 목록에 있는 이러한 모든 리프 노드를 파이프라인 정의의 `steps` 인수에 전달합니다. ``` @step def process1(): ... return data @step def process2(): ... return data step_process1_result = process1() step_process2_result = process2() pipeline = Pipeline( name="", steps=[step_process1_result, step_process2_result], sagemaker_session=sagemaker-session, ) ``` 파이프라인이 실행되면 두 단계가 병렬로 실행됩니다. 리프 노드에는 데이터 또는 사용자 지정 종속성을 통해 정의된 모든 이전 단계에 대한 정보가 포함되어 있으므로 그래프의 리프 노드만 파이프라인에 전달합니다. 파이프라인을 컴파일할 때 SageMaker AI는 파이프라인 그래프를 구성하는 모든 후속 단계를 추론하고 각 단계를 파이프라인에 별도의 단계로 추가합니다. ## 파이프라인 생성 다음 코드 조각과 같이 `pipeline.create()`를 직접 호출하여 파이프라인을 만듭니다. `create()`에 대한 자세한 내용은 [sagemaker.workflow.pipeline.Pipeline.create](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.pipeline.Pipeline.create)를 참조하세요. ``` role = "pipeline-role" pipeline.create(role) ``` `pipeline.create()`를 직접적으로 호출하면 SageMaker AI는 파이프라인 인스턴스의 일부로 정의된 모든 단계를 컴파일합니다. SageMaker AI는 직렬화된 함수, 인수 및 기타 모든 단계 관련 아티팩트를 Amazon S3에 업로드합니다. 데이터는 다음 구조에 따라 S3 버킷에 상주합니다. ``` s3_root_uri/ pipeline_name/ sm_rf_user_ws/ workspace.zip # archive of the current working directory (workdir) step_name/ timestamp/ arguments/ # serialized function arguments function/ # serialized function pre_train_dependencies/ # any dependencies and pre_execution scripts provided for the step execution_id/ step_name/ results # returned output from the serialized function including the model ``` `s3_root_uri`는 SageMaker AI 구성 파일에 정의되어 있으며 전체 파이프라인에 적용됩니다. 정의되지 않은 경우 기본 SageMaker AI 버킷이 사용됩니다. **참고** SageMaker AI가 파이프라인을 컴파일할 때마다 SageMaker AI는 타임스탬프가 현재 시간인 폴더에 단계의 직렬화된 함수, 인수 및 종속성을 저장합니다. 이는 `pipeline.create()`, `pipeline.update()`, `pipeline.upsert()` 또는 `pipeline.definition()`을 실행할 때마다 발생합니다. # 파이프라인 실행 아래 페이지에서는 SageMaker AI 리소스를 사용하거나 로컬에서 Amazon SageMaker Pipelines으로 파이프라인을 실행하는 방법을 설명합니다. 기존 SageMaker AI 파이프라인 실행과 마찬가지로 `pipeline.start()` 함수로 새 파이프라인 실행을 시작합니다. `start()` 함수에 대한 자세한 내용은 [sagemaker.workflow.pipeline.Pipeline.start](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.pipeline.Pipeline.start)를 참조하세요. **참고** `@step` 데코레이터를 사용하여 정의된 단계는 훈련 작업으로 실행됩니다. 따라서 다음 제한 사항을 고려해야 합니다. 계정의 인스턴스 한도 및 훈련 작업 한도. 스로틀링 또는 리소스 한도 문제를 방지하려면 적절하게 한도를 업데이트합니다. 파이프라인에서 훈련 단계를 실행할 때마다 발생하는 금전적 비용. 자세한 내용은 [Amazon SageMaker 요금](https://aws.amazon.com/sagemaker/pricing/)을 참조하세요. ## 로컬에서 실행되는 파이프라인에서 결과 검색 파이프라인 실행 단계의 결과를 보려면 다음 코드 조각과 같이 [execution.result()](https://sagemaker.readthedocs.io/en/stable/workflows/pipelines/sagemaker.workflow.pipelines.html#sagemaker.workflow.pipeline._PipelineExecution.result )를 사용합니다. ``` execution = pipeline.start() execution.result(step_name="train") ``` **참고** Pipelines은 로컬 모드에서 `execution.result()`를 지원하지 않습니다. 한 번에 한 단계의 결과만 검색할 수 있습니다. 단계 이름이 SageMaker AI에서 생성된 경우 다음과 같이 `list_steps`을 직접적으로 호출하여 단계 이름을 검색할 수 있습니다. ``` execution.list_step() ``` ## 로컬에서 파이프라인 실행 기존 파이프라인 단계와 마찬가지로 로컬에서 `@step`으로 데코레이션된 단계를 사용하여 파이프라인을 실행할 수 있습니다. 로컬 모드 파이프라인 실행에 대한 자세한 내용은 [로컬 모드를 사용하여 파이프라인 실행](pipelines-local-mode.md) 섹션을 참조하세요. 로컬 모드를 사용하려면 다음 예시와 같이 파이프라인 정의에 `SageMakerSession` 대신 `LocalPipelineSession`을 제공합니다. ``` from sagemaker.workflow.function_step import step from sagemaker.workflow.pipeline import Pipeline from sagemaker.workflow.pipeline_context import LocalPipelineSession @step def train(): training_data = s3.download(....) ... return trained_model step_train_result = train() local_pipeline_session = LocalPipelineSession() local_pipeline = Pipeline( name="", steps=[step_train_result], sagemaker_session=local_pipeline_session # needed for local mode ) local_pipeline.create(role_arn="role_arn") # pipeline runs locally execution = local_pipeline.start() ``` # 파이프라인 구성 SageMaker AI 구성 파일을 사용하여 파이프라인의 기본값을 설정하는 것이 좋습니다. SageMaker AI 구성 파일에 대한 자세한 내용은 [Configuring and using defaults with the SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable/overview.html#configuring-and-using-defaults-with-the-sagemaker-python-sdk)를 참조하세요. 구성 파일에 추가된 구성은 파이프라인의 모든 단계에 적용됩니다. 단계에 대한 옵션을 재정의하려면 `@step` 데코레이터 인수에 새 값을 입력합니다. 다음 주제에서는 구성 파일을 설정하는 방법을 설명합니다. 구성 파일의 `@step` 데코레이터 구성은 `@remote` 데코레이터 구성과 동일합니다. 구성 파일에서 파이프라인 역할 ARN 및 파이프라인 태그를 설정하려면 다음 코드 조각에 표시된 `Pipeline` 섹션을 사용합니다. ``` SchemaVersion: '1.0' SageMaker: Pipeline: RoleArn: 'arn:aws:iam::555555555555:role/IMRole' Tags: - Key: 'tag_key' Value: 'tag_value' ``` 구성 파일에서 설정할 수 있는 대부분의 기본값의 경우 새 값을 `@step` 데코레이터에 전달하여 재정의할 수도 있습니다. 예를 들어 다음 예시와 같이 사전 처리 단계의 구성 파일에 설정된 인스턴스 유형을 재정의할 수 있습니다. ``` @step(instance_type="ml.m5.large") def preprocess(raw_data): df = pandas.read_csv(raw_data) ... return procesed_dataframe ``` 일부 인수는 `@step` 데코레이터 파라미터 목록에 포함되지 않습니다. 이러한 인수는 SageMaker AI 구성 파일을 통해서만 전체 파이프라인에 대해 구성할 수 있습니다. 다음과 같이 나열됩니다. + `sagemaker_session`(`sagemaker.session.Session`): SageMaker AI가 서비스 직접 호출을 위임하는 기본 SageMaker AI 세션입니다. 지정되지 않은 경우 다음과 같이 기본 구성을 사용하여 세션이 만들어집니다. ``` SageMaker: PythonSDK: Modules: Session: DefaultS3Bucket: 'default_s3_bucket' DefaultS3ObjectKeyPrefix: 'key_prefix' ``` + `custom_file_filter`(`CustomFileFilter)`: 파이프라인 단계에 포함할 로컬 디렉터리 및 파일을 지정하는 `CustomFileFilter` 객체입니다. 지정되지 않은 경우 이 값은 기본적으로 `None`으로 설정됩니다. `custom_file_filter`를 적용하려면 `IncludeLocalWorkdir`을 `True`로 설정해야 합니다. 다음 예시는 모든 노트북 파일과 `data`라는 파일 및 디렉터리를 무시하는 구성을 보여줍니다. ``` SchemaVersion: '1.0' SageMaker: PythonSDK: Modules: RemoteFunction: IncludeLocalWorkDir: true CustomFileFilter: IgnoreNamePatterns: # files or directories to ignore - "*.ipynb" # all notebook files - "data" # folder or file named "data" ``` `IncludeLocalWorkdir`과 `CustomFileFilter`를 함께 사용하는 방법에 대한 자세한 내용은 [@remote 데코레이터와 함께 모듈식 코드 사용하기](train-remote-decorator-modular.md) 섹션을 참조하세요. + `s3_root_uri (str)`: SageMaker AI가 코드 아카이브 및 데이터를 업로드하는 루트 Amazon S3 폴더입니다. 지정되지 않은 경우 기본 SageMaker AI 버킷이 사용됩니다. + `s3_kms_key (str)`: 입력 및 출력 데이터를 암호화하는 데 사용되는 키입니다. SageMaker AI 구성 파일에서만 이 인수를 구성할 수 있으며 인수는 파이프라인에 정의된 모든 단계에 적용됩니다. 지정되지 않은 경우 값은 기본적으로 `None`으로 설정됩니다. 예시 S3 KMS 키 구성은 다음 코드 조각을 참조하세요. ``` SchemaVersion: '1.0' SageMaker: PythonSDK: Modules: RemoteFunction: S3KmsKeyId: 's3kmskeyid' S3RootUri: 's3://amzn-s3-demo-bucket/my-project ``` # 모범 사례 다음 섹션에서는 파이프라인 단계에 `@step` 데코레이터를 사용할 때 따라야 할 모범 사례를 제안합니다. ## 웜 풀 사용 더 빠른 파이프라인 단계 실행을 위해 훈련 작업에 제공되는 웜 풀 기능을 사용합니다. 다음 코드 조각에 설명된 대로 `@step` 데코레이터에 `keep_alive_period_in_seconds` 인수를 제공하여 웜 풀 기능을 켤 수 있습니다. ``` @step( keep_alive_period_in_seconds=900 ) ``` 웜 풀에 대한 자세한 정보는 [SageMaker AI 관리형 웜 풀](train-warm-pools.md) 부문을 참조하세요. ## 디렉터리 구조 지정 `@step` 데코레이터를 사용하는 동안 코드 모듈을 사용하는 것이 좋습니다. 단계 함수를 간접 호출하고 파이프라인을 정의하는 `pipeline.py` 모듈을 워크스페이스의 루트에 놓습니다. 권장하는 구조는 다음과 같습니다. ``` . ├── config.yaml # the configuration file that define the infra settings ├── requirements.txt # dependencies ├── pipeline.py # invoke @step-decorated functions and define the pipeline here ├── steps/ | ├── processing.py | ├── train.py ├── data/ ├── test/ ``` # 제한 사항 아래 섹션에서는 파이프라인 단계에 `@step` 데코레이터를 사용할 때 알아야 할 제한 사항을 간략하게 설명합니다. ## 함수 인수 제한 사항 입력 인수를 `@step`으로 데코레이션된 함수에 전달하면 다음 제한 사항이 적용됩니다. + `DelayedReturn`, `Properties`(다른 유형의 단계 중), `Parameter` 및 `ExecutionVariable` 객체를 `@step`으로 데코레이션된 함수에 인수로 전달할 수 있습니다. 하지만 `@step`으로 데코레이션된 함수는 `JsonGet` 및 `Join` 객체를 인수로 지원하지 않습니다. + `@step` 함수에서 파이프라인 변수에 직접 액세스할 수 없습니다. 다음 예시는 오류를 유발합니다. ``` param = ParameterInteger(name="", default_value=10) @step def func(): print(param) func() # this raises a SerializationError ``` + 파이프라인 변수를 다른 객체에 중첩하여 `@step` 함수에 전달할 수 없습니다. 다음 예시는 오류를 유발합니다. ``` param = ParameterInteger(name="", default_value=10) @step def func(arg): print(arg) func(arg=(param,)) # this raises a SerializationError because param is nested in a tuple ``` + 함수의 입력 및 출력은 직렬화되므로 함수의 입력 또는 출력으로 전달할 수 있는 데이터 유형에 제한이 있습니다. 자세한 내용은 [원격 함수 간접 호출](train-remote-decorator-invocation.md)의 *Data serialization and deserialization* 섹션을 참조하세요. `@step`으로 데코레이션된 함수에도 동일한 제한이 적용됩니다. + Boto 클라이언트가 있는 객체는 직렬화할 수 없으므로 `@step`으로 데코레이션된 함수에 입력 또는 출력으로 그러한 객체를 전달할 수 없습니다. 예를 들어 `Estimator`, `Predictor`, `Processor`와 같은 SageMaker Python SDK 클라이언트 클래스는 직렬화할 수 없습니다. ## 함수 가져오기 함수 외부가 아닌 내부 단계에서 필요한 라이브러리를 가져와야 합니다. 전역 범위에서 가져오는 경우 함수를 직렬화하는 동안 가져오기 충돌이 발생할 위험이 있습니다. 예를 들어 `sklearn.pipeline.Pipeline`은 `sagemaker.workflow.pipeline.Pipeline`으로 재정의될 수 있습니다. ## 함수 반환 값의 하위 멤버 참조 `@step`으로 데코레이션된 함수의 반환 값의 하위 멤버를 참조하는 경우 다음 제한 사항이 적용됩니다. + 다음 예시와 같이 `DelayedReturn` 객체가 튜플, 목록 또는 딕셔너리를 나타내는 경우 `[]`로 하위 멤버를 참조할 수 있습니다. ``` delayed_return[0] delayed_return["a_key"] delayed_return[1]["a_key"] ``` + 함수를 간접 호출할 때 기본 튜플 또는 목록의 정확한 길이를 알 수 없으므로 튜플 또는 목록 출력을 압축 해제할 수 없습니다. 다음 예시는 오류를 유발합니다. ``` a, b, c = func() # this raises ValueError ``` + `DelayedReturn` 객체에 대해 반복할 수 없습니다. 다음 예시는 오류를 유발합니다. ``` for item in func(): # this raises a NotImplementedError ``` + '`.`'로 임의의 하위 멤버를 참조할 수 없습니다. 다음 예시는 오류를 유발합니다. ``` delayed_return.a_child # raises AttributeError ``` ## 지원되지 않는 기존 파이프라인 기능 다음 파이프라인 기능과 함께 `@step` 데코레이터를 사용할 수 없습니다. + [파이프라인 단계 캐싱](https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines-caching.html) + [속성 파일](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-propertyfile.html#build-and-manage-propertyfile-property) # 단계 간 데이터 전달 Amazon SageMaker Pipelines을 사용하여 파이프라인을 구축할 때 한 단계에서 다음 단계로 데이터를 전달해야 할 수 있습니다. 예를 들어 훈련 단계에서 생성된 모델 아티팩트를 모델 평가 또는 배포 단계에 대한 입력으로 사용할 수 있습니다. 이 기능을 사용하여 상호 의존적 파이프라인 단계를 만들고 ML 워크플로를 구축할 수 있습니다. 파이프라인 단계의 출력에서 정보를 검색해야 하는 경우 `JsonGet`을 사용할 수 있습니다. `JsonGet`은 Amazon S3 또는 속성 파일에서 정보를 추출하는 데 도움이 됩니다. 아래 섹션에서는 `JsonGet`으로 단계 출력을 추출하는 데 사용할 수 있는 방법을 설명합니다. ## Amazon S3를 사용하여 단계 간에 데이터 전달 `ConditionStep`에서 `JsonGet`을 사용하여 Amazon S3에서 JSON 출력을 직접 가져올 수 있습니다. Amazon S3 URI는 기본 문자열, 파이프라인 실행 변수 또는 파이프라인 파라미터를 포함하는 `Std:Join` 함수일 수 있습니다. 다음은 `ConditionStep`에서 `JsonGet`을 사용하는 방법을 나타낸 예시입니다. ``` # Example json file in s3 bucket generated by a processing_step { "Output": [5, 10] } cond_lte = ConditionLessThanOrEqualTo( left=JsonGet( step_name="", s3_uri="", json_path="Output[1]" ), right=6.0 ) ``` 조건 단계에서 Amazon S3 경로와 함께 `JsonGet`을 사용하는 경우 조건 단계와 JSON 출력을 생성하는 단계 간에 종속성을 명시적으로 추가해야 합니다. 다음 예시에서는 처리 단계에 따라 조건 단계가 만들어집니다. ``` cond_step = ConditionStep( name="", conditions=[cond_lte], if_steps=[fail_step], else_steps=[register_model_step], depends_on=[processing_step], ) ``` ## 속성 파일을 사용하여 단계 간에 데이터 전달 속성 파일을 사용하여 처리 단계 출력의 정보를 저장합니다. 이는 처리 단계의 결과를 분석하여 조건부 단계의 실행 방법을 결정할 때 특히 유용합니다. `JsonGet` 함수는 속성 파일을 처리하고 JSONPath 표기법을 사용하여 속성 JSON 파일을 쿼리할 수 있도록 합니다. JSONPath 표기법에 대한 자세한 내용은 [JSONPath 리포지토리](https://github.com/json-path/JsonPath)를 참조하세요. 나중에 사용할 수 있도록 속성 파일을 저장하려면 먼저 다음 형식의 `PropertyFile`인스턴스를 만들어야 합니다. `path` 파라미터는 속성 파일이 저장되는 JSON 파일의 이름입니다. 모든 `output_name`은 처리 단계에서 정의한 `ProcessingOutput`의 `output_name`과 일치해야 합니다. 이렇게 하면 속성 파일이 단계에서 `ProcessingOutput`을 캡처할 수 있습니다. ``` from sagemaker.workflow.properties import PropertyFile = PropertyFile( name="", output_name="", path="" ) ``` `ProcessingStep` 인스턴스를 만들 때 Amazon SageMaker Pipelines 서비스가 인덱싱해야 하는 모든 파라미터 파일을 나열하는 `property_files` 파라미터를 추가합니다. 이렇게 하면 나중에 사용할 수 있도록 속성 파일이 저장됩니다. ``` property_files=[] ``` 조건 단계에서 속성 파일을 사용하려면 다음 예제와 같이 조건 단계에 전달하는 조건에 `property_file`을 추가하고 `json_path`파라미터를 사용하여 원하는 속성에 대한 JSON 파일을 쿼리합니다. ``` cond_lte = ConditionLessThanOrEqualTo( left=JsonGet( step_name=step_eval.name, property_file=, json_path="mse" ), right=6.0 ) ``` 자세한 예제는 [Amazon SageMaker Python SDK의](https://sagemaker.readthedocs.io/en/stable) [속성 파일](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_model_building_pipeline.html#property-file)을 참조하세요.** # 파이프라인 캐싱 단계 Amazon SageMaker Pipelines에서 단계 캐싱을 사용하여 파이프라인을 다시 실행할 때 시간과 리소스를 절약할 수 있습니다. 단계 캐싱은 단계의 구성과 입력이 동일할 때 (재컴퓨팅 대신) 이전에 성공한 단계 실행의 출력을 재사용합니다. 이를 통해 동일한 파라미터로 파이프라인 재실행 전반에서 일관된 결과를 얻을 수 있습니다. 다음 주제에서는 파이프라인에 대한 단계 캐싱을 구성하고 활성화하는 방법을 보여줍니다. 단계 서명 캐싱을 사용하는 경우 Pipelines은 특정 속성에 대해 값이 동일한 현재 파이프라인 단계의 이전 실행을 찾으려고 합니다. 발견된 경우 Pipelines은 단계를 다시 계산하는 대신 이전 실행의 출력을 전파합니다. 검사된 속성은 단계 유형별로 다르며 [파이프라인 단계 유형별 기본 캐시 키 속성](pipelines-default-keys.md)에 나열되어 있습니다. 단계 캐싱은 기본적으로 해제되어 있으므로 반드시 옵트인해야 합니다. 단계 캐싱을 활성화할 때는 제한 시간도 정의해야 합니다. 이 제한 시간은 이전 실행이 재사용 대상으로 남아 있을 수 있는 기간을 정의합니다. 단계 캐싱은 성공한 실행만 고려하며 실패한 실행은 재사용하지 않습니다. 제한 시간 내에 여러 번 성공적으로 실행한 경우 Pipelines은 가장 최근에 성공한 실행의 결과를 사용합니다. 제한 시간 내에 일치하는 성공 실행이 없는 경우 Pipelines은 단계를 재실행합니다. 실행기가 조건을 충족하지만 아직 진행 중인 이전 실행을 찾은 경우 두 단계 모두 계속 실행되고 성공하면 캐시를 업데이트합니다. 단계 캐싱은 개별 파이프라인에서만 범위가 지정되므로 단계 서명이 일치하더라도 다른 파이프라인의 단계를 재사용할 수 없습니다. 단계 캐싱은 다음 단계 유형에 사용할 수 있습니다. + [처리](build-and-manage-steps-types.md#step-type-processing) + [학습](build-and-manage-steps-types.md#step-type-training) + [튜닝](build-and-manage-steps-types.md#step-type-tuning) + [AutoML](build-and-manage-steps-types.md#step-type-automl) + [변환](build-and-manage-steps-types.md#step-type-transform) + [`ClarifyCheck`](build-and-manage-steps-types.md#step-type-clarify-check) + [`QualityCheck`](build-and-manage-steps-types.md#step-type-quality-check) + [EMR](build-and-manage-steps-types.md#step-type-emr) **Topics** + [단계 캐싱을 활성화합니다.](pipelines-caching-enabling.md) + [단계 캐싱 비활성화](pipelines-caching-disabling.md) + [파이프라인 단계 유형별 기본 캐시 키 속성](pipelines-default-keys.md) + [캐시된 데이터 액세스 제어](pipelines-access-control.md) # 단계 캐싱을 활성화합니다. 단계 캐싱을 켜려면 단계 정의에 `CacheConfig` 속성을 추가해야 합니다. `CacheConfig` 속성은 파이프라인 정의 파일에서 다음 형식을 사용합니다. ``` {     "CacheConfig": {         "Enabled": false,         "ExpireAfter": "