기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HyperPod 클러스터에서 추론 관찰성 구현

Amazon SageMaker HyperPod는 데이터 과학자와 기계 학습 엔지니어가 배포된 모델을 모니터링하고 최적화할 수 있는 포괄적인 추론 관찰 기능을 제공합니다. 이 솔루션은 SageMaker HyperPod Observability를 통해 활성화되며 추론 워크로드에 대한 성능 지표를 자동으로 수집하여 통합 Prometheus 및 Grafana 대시보드를 통해 프로덕션 지원 모니터링을 제공합니다.

기본적으로 지표를 활성화하면 플랫폼은 호출 지연 시간, 동시 요청, 오류율 및 토큰 수준 지표를 포함한 필수 모델 성능 데이터를 캡처하는 동시에 사용자 지정 관찰성 솔루션을 구현하려는 고객에게 표준 Prometheus 엔드포인트를 제공합니다.

이 가이드에서는 HyperPod 클러스터에서 추론 관찰성을 구현하고 사용하기 위한 step-by-step 지침을 제공합니다. 배포 YAML 파일에서 지표를 구성하고, 역할(관리자, 데이터 과학자 또는 기계 학습 엔지니어)을 기반으로 모니터링 대시보드에 액세스하고, Prometheus 엔드포인트를 사용하여 사용자 지정 관찰성 솔루션과 통합하고, 일반적인 모니터링 문제를 해결하는 방법을 알아봅니다.

지원되는 추론 지표

호출 지표

이러한 지표는 모델 추론 요청 및 응답 데이터를 캡처하여 모델 유형 또는 서비스 프레임워크에 관계없이 범용 가시성을 제공합니다. 추론 지표가 활성화되면 이러한 지표는 호출 시 계산되어 모니터링 인프라로 내보내집니다.

컨테이너 지표 모델링

이러한 지표는 토큰 처리, 대기열 관리 및 프레임워크별 성능 지표를 포함하여 모델 컨테이너의 내부 작업에 대한 인사이트를 제공합니다. 사용 가능한 지표는 모델 서비스 프레임워크에 따라 다릅니다.

지표 차원

모든 추론 지표에는 배포 전반에서 세부 필터링 및 분석을 지원하는 포괄적인 레이블이 포함되어 있습니다.

배포 YAML에서 지표 구성

Amazon SageMaker HyperPod는 모든 모델 배포에 대해 기본적으로 추론 지표를 활성화하여 추가 구성 없이 즉각적인 관찰성을 제공합니다. 배포 YAML 구성을 수정하여 특정 요구 사항에 따라 지표 수집을 활성화하거나 비활성화하여 지표 동작을 사용자 지정할 수 있습니다.

JumpStart에서 모델 배포

다음 YAML 구성을 사용하여 지표가 활성화된 JuJumpStartmpStart 모델을 배포합니다.

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Amazon S3 또는 Amazon FSx에서 사용자 지정 및 미세 조정된 모델 배포

다음 YAML을 사용하여 세부 지표 설정으로 사용자 지정 추론 엔드포인트를 구성합니다.

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

역할별 추론 워크로드 모니터링 및 문제 해결

Amazon SageMaker HyperPod는 초기 클러스터 설정부터 고급 성능 문제 해결에 이르기까지 다양한 사용자 워크플로를 지원하는 포괄적인 관찰성 기능을 제공합니다. 역할 및 모니터링 요구 사항에 따라 다음 지침을 사용합니다.

HyperPod 관리자

책임: 관찰성 인프라를 활성화하고 전체 클러스터에서 시스템 상태를 보장합니다.

알아야 할 사항:

수행해야 할 작업:

이 단일 작업은 EKS 추가 기능을 자동으로 배포하고, 관찰성 연산자를 구성하고, Grafana에서 사전 구축된 대시보드를 프로비저닝합니다.

데이터 과학자

책임: 모델을 효율적으로 배포하고 기본 성능을 모니터링합니다.

알아야 할 사항:

수행해야 할 작업:

이 작업이 완료되면 추가 구성 없이 모델의 성능을 즉시 확인할 수 있으므로 배포 문제 또는 성능 변경을 빠르게 식별할 수 있습니다.

기계 학습 엔지니어(MLE)

책임: 프로덕션 모델 성능을 유지하고 복잡한 성능 문제를 해결합니다.

알아야 할 사항:

가상 시나리오: 고객의 채팅 모델이 간헐적으로 느린 응답을 경험합니다. 사용자가 5~10초 지연에 대해 불만을 제기합니다. MLE는 추론 관찰성을 활용하여 체계적인 성능 조사를 수행할 수 있습니다.

수행해야 할 작업:

포괄적인 지표를 사용하여 복잡한 성능 문제를 체계적으로 진단하고, 대상 수정을 구현하고, 일관된 프로덕션 모델 성능을 유지하기 위한 예방 조치를 설정할 수 있습니다.

자체 관찰성 통합 구현

Amazon SageMaker HyperPod는 업계 표준 Prometheus 엔드포인트를 통해 추론 지표를 노출하므로 기존 관찰성 인프라와 통합할 수 있습니다. 기본 제공 Grafana 및 Prometheus 스택을 사용하는 대신 사용자 지정 모니터링 솔루션을 구현하거나 타사 관찰성 플랫폼과 통합하려는 경우이 접근 방식을 사용합니다.

추론 지표 엔드포인트 액세스

알아야 할 사항:

추론 지표 엔드포인트 구성:

사용 가능한 추론 지표:

모델 컨테이너 지표에 액세스

알아야 할 사항:

텍스트 생성 추론(TGI) 컨테이너를 사용한 JumpStart 모델 배포의 경우:

대형 모델 추론(LMI) 컨테이너를 사용한 JumpStart 모델 배포의 경우:

사용자 지정 추론 엔드포인트(BYOD)의 경우:

사용자 지정 관찰성 통합 구현

사용자 지정 관찰성 통합을 사용하면 다음과 같은 책임이 있습니다.

추론 관찰성 문제 해결

대시보드에 데이터가 표시되지 않음

Grafana 대시보드가 비어 있고 모든 패널에 "데이터 없음"이 표시되면 다음 단계를 수행하여 조사합니다.

기타 일반적인 문제