AI 워크로드를 위한 모델 실행 전략 - AWS 권장 가이드
Amazon Bedrock: 서비스형 파운데이션 모델Amazon SageMaker 서버리스 추론: 사용자 지정 모델 호스팅Amazon Bedrock과 SageMaker 서버리스 추론 중에서 선택

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AI 워크로드를 위한 모델 실행 전략

모든 AI 아키텍처의 핵심은 추론을 수행하거나 예측을 지원하거나 콘텐츠를 생성하는 구성 요소인 모델 실행 계층입니다.는 AI 워크로드를 실행하기 위한 두 가지 강력한 서버리스 지원 경로를 AWS 제공합니다.

  • Amazon Bedrock은 생성형 AI 사용 사례를 위한 파운데이션 모델(FMs)에 대한 액세스를 제공합니다.

  • Amazon SageMaker Serverless Inference를 사용하면 기존 기계 학습(ML) 워크로드에 맞게 사용자 지정 훈련된 모델을 확장 가능하게 배포할 수 있습니다.

AWS 서비스기업은 이를 언제 어떻게 사용해야 하는지 이해함으로써 비즈니스 요구 사항과 운영 효율성 모두에 맞게 최적화할 수 있습니다.

Amazon Bedrock: 서비스형 파운데이션 모델

Amazon Bedrock은 (Claude), Anthropic (), Meta LlamaMistral, Cohere Amazon Titan 및 Amazon Nova와 같은 주요 AI 공급자의 FMs에 대한 서버리스 액세스를 제공하는 완전 관리형 서비스입니다. 인프라를 프로비저닝하거나 GPU를 관리하거나 모델을 미세 조정할 필요 없이 간단한 API 호출을 사용하여 이러한 모델과 상호 작용할 수 GPUs.

Amazon Bedrock의 주요 기능은 다음과 같습니다.

  • 텍스트 생성 - 요약, 재작성, 콘텐츠 생성 및 Q&A.

  • 코드 생성 - 코드에 대한 자연어입니다.

  • 분류 및 추출 - 레이블 지정, 구문 분석 및 의미 체계 태그 지정.

  • RAG 워크플로 - 기반 응답을 위한 지식 기반과 통합합니다.

  • 에이전트 - 자율 오케스트레이션 및 도구 사용을 활성화합니다.

  • 멀티모달 인텔리전스 - Amazon Nova를 통해 텍스트, 이미지 및 비디오 전반에 걸쳐를 이해하고 생성합니다.

  • 미세 조정 및 추출 지원 - Amazon Nova Premier를 통해 작업별 모델을 훈련하거나 컴팩트한 학생 모델을 생성합니다.

  • 계층형 성능 및 비용 - Amazon Nova Micro, Nova Lite, Nova Pro 및 Nova Premier 모델에서 선택하여 지연 시간, 정확도 및 가격의 균형을 맞춥니다.

Amazon Bedrock의 운영상 이점은 다음과 같습니다.

  • 모델 관리 - 모델 호스팅 또는 버전 관리가 필요하지 않습니다.

  • 보안 데이터 처리 - 테넌트 환경을 격리하고 사용자 데이터에 대한 훈련을 수행하지 않습니다.

  • 토큰 기반 결제 - 예측 가능한 비용 모델링을 제공합니다.

  • 멀티모달 API 통합 - 동일한 Amazon Bedrock 인터페이스를 통해 이미지, 비디오 및 텍스트 전반의 입력/출력을 처리합니다.

  • 지연 시간이 짧은 옵션 - 엣지 및 사용자 대면 생성형 AI 앱에 적합한 Amazon Nova Micro 및 Nova Lite와 함께 사용할 수 있습니다.

  • 엔터프라이즈 근거 호환성 - 모든 Amazon Nova 모델은 Amazon Bedrock 지식 기반 및 검색 증강 생성(RAG) 아키텍처와 호환됩니다.

Amazon Bedrock은 다음과 같은 방식으로 다른 AWS 서비스 및 기능과 통합됩니다.

  • Lambda, Step Functions 또는 API Gateway에서 트리거됨

  • 목표 기반 오케스트레이션을 위해 Amazon Bedrock Agents와 통합

  • Amazon Bedrock 지식 기반 및 RAG 파이프라인과 원활하게 작동

Amazon Bedrock의 이상적인 사용 사례

Amazon Bedrock은 다음과 같은 다양한 시나리오에 적합합니다.

  • 생성형 AI 작업 - 마케팅 콘텐츠 및 설명서와 강력한 챗봇을 생성합니다.

  • 대화형 어시스턴트 - 봇 및 내부 코파일럿을 빌드합니다.

  • 지식 검색 - 요약 및 의미 체계 검색 작업에 사용합니다.

  • 동적 계획 - 파워 에이전트 기반 의사 결정 시스템.

  • 멀티모달 생성 - Amazon Nova Canvas를 사용하여 이미지를 생성하고 Amazon Nova Reel을 사용하여 프롬프트 및 구조화된 컨텍스트에서 비디오를 생성합니다.

  • 엔터프라이즈 어시스턴트 - Amazon Nova Pro를 사용하여 독점 데이터를 기반으로 하는 목표 기반 의사 결정 도구를 활성화합니다.

  • 실시간 사용자 경험 피드백 - Amazon Nova Micro를 사용하여 지연 시간이 100ms 미만인 고객 작업을 분석하고 대응합니다.

Amazon SageMaker 서버리스 추론: 사용자 지정 모델 호스팅

Amazon SageMaker Serverless Inference는 자체 모델(예: , , 및 )을 훈련한 개발자 XGBoost PyTorch Scikit-learn및 데이터 과학자를 위해 설계되었습니다TensorFlow. SageMaker Serverless Inference를 사용하면 확장 가능한 서버리스 환경에 모델을 배포할 수 있습니다.

Amazon Bedrock과 달리 SageMaker Serverless Inference를 사용하면 모델 아키텍처, 훈련 데이터 및 로직을 제어할 수 있습니다.

SageMaker Serverless Inference의 주요 기능은 다음과 같습니다.

  • 분류, 회귀, 자연어 처리(NLP) 및 예측과 같은 기존 ML 모델을 호스팅합니다.

  • 다중 모델 엔드포인트 지원

  • 자동 조정을 지원하여 컴퓨팅이 온디맨드로 프로비저닝되고 유휴 시 종료됩니다.

  • 사용자 지정 컨테이너 이미지 또는 사전 구축된 ML 프레임워크에서 추론을 실행합니다.

SageMaker Serverless Inference의 운영상 이점은 다음과 같습니다.

  • 유휴 비용이 없는 Pay-per-inference 모델

  • 완전 관리형 엔드포인트 및 서버 설정 없음

  • 훈련 파이프라인 및 노트북과 통합

SageMaker Serverless Inference는 다음과 같은 방식으로 다른 AWS 서비스 및 기능과 통합됩니다.

  • AWS Lambda Step Functions 또는 SDK 및 API 호출을 사용하여 호출

  • end-to-end 기계 학습 작업(MLOps)을 위해 SageMaker Pipelines과 함께 작동

  • Amazon CloudWatch와 통합된 로그 및 지표

SageMaker Serverless Inference의 이상적인 사용 사례

SageMaker Serverless Inference는 다양한 기계 학습 애플리케이션에 적합한 선택입니다.

  • 예측 분석 - 판매 예측 및 이탈 예측 모델에 사용합니다.

  • 텍스트 분류 - 스팸 감지 및 감정 분석과 같은 작업을 지원합니다.

  • 이미지 분류 - OCR(문서 광학 문자 인식) 및 의료 영상 애플리케이션을 활성화합니다.

  • 사용자 지정 자연어 처리(NLP) - 개체 인식 및 문서 태그 지정 작업을 처리합니다.

Amazon Bedrock과 SageMaker 서버리스 추론 중에서 선택

Amazon Bedrock과 SageMaker Serverless Inference는 모두 확장 가능한 프로덕션 지원 AI 실행을 위한 서버리스 경로를 제공합니다. 이들은 함께 최신 이벤트 기반 서버리스 AI 아키텍처의 핵심 실행 계층을 형성합니다 AWS. 다음 표에서는 이러한 서비스를 키 차원에서 비교합니다.

차원

Amazon Bedrock

SageMaker 서버리스 추론

모델 유형

파운데이션 모델(LLMs)

사용자 지정 훈련 ML 모델

설정 작업

미니멀(훈련 또는 호스팅 없음)

모델 훈련 및 패키징 필요

사용 사례:

생성형, 대화형 및 의미 체계

예측, 수치 및 구조화된 데이터

확장성

완전 서버리스 및 자동 크기 조정

완전 서버리스 및 자동 크기 조정

비용 모델

토큰당 결제

추론당 지불

통합

API Gateway, Lambda, Amazon Bedrock Agents 및 RAG

Lambda, Step Functions 및 CI/CD 파이프라인

튜닝 필요

없음(제로샷 또는 로우샷)

전체 제어(하이퍼파라미터 및 재학습)

올바른 서비스를 선택하는 것은 AI 워크로드의 특성에 따라 달라집니다.

  • 의미론적 유연성, 목표 기반 워크플로, 파운데이션 모델을 사용한 빠른 반복이 필요한 경우 Amazon Bedrock을 사용합니다.

  • 독점 모델, 구조화된 입력이 있거나 훈련 및 배포를 완전히 제어해야 하는 경우 SageMaker Serverless Inference를 사용합니다.

  • SageMaker JumpStart를 사용하여 TensorFlow Hub, PyTorch Hub, Hugging Face, 등의 모델 허브에서 사전 훈련된 모델이 있는 수백 개의 내장 알고리즘 중에서 선택할 수 있습니다MxNet GluonCV.