View a markdown version of this page

Amazon EKS의 인공 지능 및 기계 학습 개요 - Amazon EKS
AI/ML에 Amazon EKS를 사용해야 하는 이유주요 사용 사례사례 연구가이드 구조Amazon EKS에서 AI/ML 사용 시작

이 페이지 개선에 도움 주기

이 사용자 가이드에 기여하려면 모든 페이지의 오른쪽 창에 있는 GitHub에서 이 페이지 편집 링크를 선택합니다.

Amazon EKS의 인공 지능 및 기계 학습 개요

작은 정보

향후 예정된 Amazon EKS AI/ML 워크숍에 등록합니다.

Amazon Elastic Kubernetes Service(Amazon EKS)는 탁월한 유연성과 제어를 바탕으로 조직의 인공 지능(AI) 및 기계 학습(ML) 워크로드 배포, 관리, 규모 조정을 지원하는 관리형 Kubernetes 서비스입니다. Amazon EKS는 업스트림 Kubernetes를 기반으로 구축되므로 오픈 소스 도구 및 AWS 서비스와 원활하게 통합하면서 기존 Kubernetes 전문 지식을 적용할 수 있습니다.

대규모 모델 훈련, 실시간 온라인 추론 실행, 생성형 AI 애플리케이션 배포 등 어떤 작업을 수행하든 Amazon EKS는 AI/ML 프로젝트에 필요한 성능, 확장성, 비용 효율성을 제공합니다.

AI/ML에 Amazon EKS를 사용해야 하는 이유

Amazon EKS는 AI/ML 프로젝트에 필요한 제어, 통합, 성능, 확장성을 제공합니다. 업스트림 Kubernetes를 기반으로 구축되고 AWS 서비스와 통합된 Amazon EKS는 복잡한 워크로드를 오케스트레이션하면서 기존 Kubernetes 전문 지식을 사용하는 데 도움이 됩니다. AI/ML 배포를 처음 사용하는 팀의 경우 가파른 학습 곡선 없이 기존 Kubernetes 기술이 이전됩니다.

Amazon EKS는 운영 체제 사용자 지정부터 컴퓨팅 규모 조정까지 모든 것을 지원하며, 향후 인프라 결정을 위한 선택권을 보존하는 기술적 유연성을 촉진합니다. 이 플랫폼은 다음 기능을 포함하여 AI/ML 워크로드에 필요한 성능 및 튜닝 옵션을 제공합니다.

  • 전체 클러스터 제어: 숨겨진 추상화 없이 비용과 구성을 미세 조정합니다.

  • 1초 미만의 지연 시간: 프로덕션 환경에서 실시간 추론 워크로드를 실행합니다.

  • 고급 사용자 지정: 다중 인스턴스 GPU, 네트워크 튜닝, 운영 체제 수준 튜닝을 구성합니다.

  • 통합 오케스트레이션: AI/ML 파이프라인과 온프레미스, 엣지, 클라우드 환경에서 오케스트레이션합니다.

  • 비용 최적화: 오토 스케일링, 네이티브 GPU 예약, 다양한 GPU 및 액셀러레이터 인스턴스 유형을 사용합니다.

주요 사용 사례

Amazon EKS는 다음과 같은 일반적인 사용 사례를 포함하여 다양한 AI/ML 워크로드를 지원합니다.

  • 추론: 지연 시간이 짧은 응답 시간이 필요한 사용 사례를 위해 Amazon EKS에서 모델을 자체 호스팅합니다.

  • 배치 추론: 예약된 작업을 통해 대규모 데이터세트를 효율적으로 처리합니다.

  • 모델 훈련: 장기간에 걸쳐 대규모 데이터세트에서 복잡한 모델을 훈련합니다.

  • 모델 미세 조정: 독점 도메인 지식으로 오픈 소스 모델을 개선합니다.

  • 검색 증강 생성(RAG) 파이프라인: 검색 프로세스와 생성 프로세스를 통합합니다.

  • 에이전틱 AI: Amazon Bedrock, 서드 파티 또는 Amazon EKS에서 호스팅되는 모델을 사용하여 에이전트를 배포합니다.

사례 연구

다음 사례 연구에서 보듯 고객은 GPU 사용량 최적화 또는 1초 미만의 지연 시간으로 실시간 추론 워크로드 실행 등 다양한 이유로 Amazon EKS를 선택합니다. Amazon EKS에 대한 모든 사례 연구 목록은 AWS 고객 성공 사례를 참조하세요.

  • BMW Group은 2,500만 대 이상의 연결된 차량을 갖춘 세계 최대의 연결된 플릿 중 하나를 운영하며, 분산 훈련을 위한 Ray와 GPU 오토 스케일링을 위한 Karpenter와 함께 Amazon EKS에 자체 Connected AI Platform을 구축하여 훈련 실행당 5유로의 비용으로 모델 훈련 시간을 몇 시간에서 30분으로 단축하는 동시에 60개 이상의 AI 사용 사례에 걸친 550명 이상의 개발자를 지원하고 있습니다.

  • 세계 최고의 여행 플랫폼 중 하나인 Booking.com은 검색 순위 ML 추론 시스템을 Amazon EKS로 마이그레이션하여 실험을 위한 확장성을 확보하고 40ms p99.9 지연 시간으로 초당 25만 개의 요청을 처리합니다.

  • Unitary는 콘텐츠 조정에 AI를 사용하여 매일 2,600만 개의 동영상을 처리합니다. 높은 처리량과 지연 시간이 짧은 추론이 필요한 이 회사는 컨테이너 부팅 시간을 80% 단축하여 트래픽 변동에 따른 규모 조정 이벤트에 빠르게 대응할 수 있습니다.

  • Synthesia는 고객이 텍스트 프롬프트에서 사실적인 동영상을 제작할 수 있도록 생성형 AI 동영상 제작 서비스를 제공합니다. 이 회사는 ML 모델 훈련 처리량을 30배 향상시켰습니다.

  • AI 기반 고객 서비스 자동화 회사인 Ada Support는 컴퓨팅 비용을 15% 절감하고 컴퓨팅 효율성을 30% 향상시켰습니다.

  • Snorkel AI는 기업이 파운데이션 모델과 대규모 언어 모델을 구축하고 조정할 수 있도록 지원합니다. 이 회사는 GPU 리소스의 지능형 규모 조정 메커니즘을 구현하여 40% 이상의 비용 절감을 달성했습니다.

  • Artera는 Amazon Elastic File System(Amazon EFS)과 Amazon EKS에서 고해상도 생체 검사 이미지를 사용하여 암 치료를 개인화하는 ML 모델을 훈련합니다.

  • Anthropic은 Amazon EKS에서 플래그십 Claude 파운데이션 모델 패밀리를 실행하고 CPU 집약적 데이터 처리를 위한 AWS Graviton 프로세서와 함께 AI 워크로드용 AWS Trainium(trn2) 인스턴스 및 NVIDIA GPU로 구성된 최대 EKS 클러스터 중 일부를 프로덕션에서 운영합니다.

가이드 구조

이 가이드에는 Amazon EKS에서 AI/ML 워크로드를 배포하고 관리하기 위해 단계별로 따를 수 있는 일련의 실습 가이드가 포함되어 있습니다. 각 가이드는 환경에서 직접 구현할 수 있는 지침과 구성을 제공합니다.

지침과 함께 가이드는 각 주제에 필요한 배경 및 기초 개념을 제공합니다. 또한 필요한 심층적인 기술 세부 정보를 제공하는 관련 AWS 설명서와 리소스에 대한 링크도 포함되어 있습니다.

Amazon EKS에서 AI/ML 사용 시작

Amazon EKS에서 AI/ML 플랫폼 및 워크로드를 계획하고 사용하기 시작하려면 AI/ML 워크로드를 위한 Amazon EKS 클러스터 설정 섹션에 따라 필수 Kubernetes 구성 요소를 포함하여 Amazon EKS 클러스터를 AWS 계정에 생성합니다. 환경이 가동되고 실행되면 다음 단계를 계속할 수 있습니다.