Amazon EKS에서 AI/ML 추론 워크로드 실행

동적 GPU 규모 조정 - Karpenter는 포드 리소스 요청에 따라 온디맨드로 적절한 크기의 GPU 인스턴스를 프로비저닝하여 유휴 시에는 0부터 규모를 조정하고 트래픽 증가에 따라 용량을 추가합니다. 이렇게 하면 비용이 많이 드는 GPU 리소스가 과도하게 프로비저닝되지 않습니다.

빠른 콜드 스타트 - SOCI(Seekable OCI) 병렬 풀은 대용량 컨테이너 이미지 계층을 동시에 다운로드하고 압축을 해제하여 이미지 풀 시간을 분 단위에서 초 단위로 줄입니다. Amazon S3에서 GPU 메모리로 직접 스트리밍하는 모델과 결합되면 포드가 2분 이내에 서비스를 시작할 수 있습니다.

자동 GPU 장애 복구 - EKS 노드 모니터링 에이전트는 GPU 하드웨어 장애를 감지하고 자동 노드 교체를 트리거하여 수동 개입 없이 가동 중지 시간을 최소화합니다.

비용 최적화 - 온디맨드 폴백, 적절한 크기의 인스턴스 선택, 0으로 규모 조정 동작이 포함된 스팟 인스턴스는 GPU 비용을 절감합니다. 예약 용량(ODCR)을 사용하면 정상 상태 워크로드의 비용을 추가로 절감할 수 있습니다.

개방형 표준 및 이식성 - 추론 워크로드는 vLLM 또는 SGLang 같은 오픈 소스 모델 서버와 함께 표준 Kubernetes API(배포, 서비스, HPA)에서 실행되어 환경 간 이식성을 제공합니다.

통합 모니터링 - vLLM 또는 SGLang 및 NVIDIA DCGM Exporter의 Prometheus 지표는 Grafana 대시보드를 통해 요청 지연 시간, 토큰 처리량, GPU 사용률, 메모리 사용량에 대한 가시성을 제공합니다.

추론 - 훈련된 모델을 실행하여 입력 데이터에서 출력(텍스트, 임베딩, 분류)을 생성하는 프로세스입니다.

모델 서버 - 모델을 메모리에 로드하고, 추론 요청을 수신하고, 예측을 반환하는 컨테이너화된 서비스입니다. vLLM, SGLang, Triton Inference Server, Text Generation Inference(TGI)을 예로 들 수 있습니다.

모델 가중치 - 모델 서버가 GPU 메모리에 로드하는 파일(일반적으로 SafeTensors 또는 GGUF 형식)로 저장된 훈련된 모델의 학습된 파라미터입니다.

액셀러레이터 - NVIDIA GPU 또는 AWS Trainium/Inferentia 칩 등 추론에 필요한 행렬 연산 속도를 높이는 전문 하드웨어입니다.

텐서 병렬 처리 - 동일한 노드의 여러 GPU에 모델을 분할하여 단일 GPU의 메모리를 초과하는 모델을 제공합니다.

KV 캐시 - 텍스트 생성 중에 이전에 계산된 키-값 페어를 저장하여 새 토큰을 생성할 때마다 중복 계산을 방지하는 메모리 버퍼입니다.

첫 번째 토큰까지의 시간(TTFT) - 요청 도착부터 처음 생성된 토큰까지의 시간입니다. 대화형 애플리케이션에 매우 중요합니다.

출력 토큰당 시간(TPOT) - 첫 번째 토큰 이후 각 후속 토큰의 평균 생성 시간입니다.

종단 간 요청 지연 시간 - 요청 제출부터 전체 응답 완료까지의 총 시간입니다.

초당 요청 수 - 모든 복제본에서 초당 제공된 총 추론 요청 수입니다.

초당 출력 토큰 - 총 출력 토큰을 경과 시간으로 나눈 값으로 측정된 토큰 생성 속도입니다.

GPU 사용률 - 추론에 능동적으로 사용되는 GPU 컴퓨팅 주기의 백분율입니다.

KV 캐시 사용률 - 사용 중인 할당된 KV 캐시 메모리의 백분율로서 서버가 용량에 얼마나 근접했는지 나타냅니다.

SOCI 병렬 풀 - 컨테이너 이미지 계층을 순차적이 아니라 동시에 다운로드하고 압축을 해제합니다. GPU 인스턴스용 EKS 자율 모드에서 기본적으로 활성화됩니다.

S3에서 모델 스트리밍 - Run:ai Model Streamer와 같은 도구는 Amazon S3에서 GPU 메모리로 직접 모델 가중치를 스트리밍하여 로컬 디스크를 우회하고 로드 시간을 분 단위에서 초 단위로 줄입니다.

Amazon ECR에 이미지 저장 - VPC 엔드포인트를 통해 리전 ECR 리포지토리에서 가져오면 대용량 컨테이너 이미지의 인터넷 지연 시간이 방지됩니다.

인스턴스 저장소 캐싱 - 로컬 NVMe 디스크가 있는 G 패밀리 인스턴스는 컨테이너 계층과 모델 아티팩트를 캐싱하여 동일한 노드에서 후속 가져오기 속도를 높일 수 있습니다.