Amazon Bedrock 또는 Amazon SageMaker AI?

Amazon Bedrock은 사용자 지정 모델 개발에 크게 투자하지 않고 AI 애플리케이션과 에이전트를 구축하려는 사용 사례를 위해 설계되었습니다. 예를 들어 소셜 미디어 플랫폼의 콘텐츠 조절 시스템은 Amazon Bedrock의 사전 훈련된 모델을 사용하여 부적절한 텍스트 또는 이미지를 자동으로 식별하고 플래그를 지정할 수 있습니다. 마찬가지로 고객 지원 챗봇은 Amazon Bedrock의 자연어 처리 기능을 사용하여 사용자 문의를 이해하고 이에 대응할 수 있습니다. Amazon Bedrock은 광범위한 사내 개발 없이 AI를 활용하는 데 도움이 되므로 기계 학습(ML) 전문 지식 또는 리소스가 제한된 경우 특히 유용합니다.

SageMaker AI는 AI, 예측 ML 및 고전적 ML 모델을 최대한 제어하여 편리하게 훈련, 사용자 지정 및 배포할 수 있는 좋은 선택입니다. 컨테이너 또는 오케스트레이션 계층에 액세스하여 cost-latency-throughput 및 기타 장단점을 직접 관리해야 하는 경우 SageMaker AI를 선택합니다. 예를 들어 특정 생체 지표를 기반으로 환자 결과를 예측하는 모델을 개발하는 의료 회사가 있습니다. 또 다른 예는 금융 기관이 고유한 데이터 및 위험 요인에 맞는 사기 탐지 시스템을 만드는 것입니다. 또 다른 시나리오는 원하는 처리량 및 지연 시간 지표와 비용의 균형을 맞추면서 GPU 사용률을 극대화하려는 대규모 LLM 배포입니다.

심층적인 ML 전문 지식 없이 사전 훈련된 모델, 프롬프트 엔지니어링 및 RAG를 사용하여 AI 애플리케이션 및 에이전트를 구축하려면 Amazon Bedrock을 선택합니다.

SageMaker AI는 두 명의 대상에게 서비스를 제공합니다. 서버리스 사용자 지정을 통해 모델 동작을 변경해야 하는 경우 안내형 UI 및 AI 에이전트 지원 워크플로에는 ML 전문 지식이 필요하지 않습니다. 훈련 워크플로, 모델 배포, 프레임워크 및 인프라를 완전히 제어해야 하는 경우 훈련 작업, 전용 엔드포인트 및 HyperPod를 사용합니다.

Amazon Bedrock은 Anthropic Claude 및 Amazon Nova와 같은 독점 모델, Meta (Llama), Mistral AI, Qwen, OpenAI (GPT-OSS)의 공개 모델, 이미지 생성 Stability AI 모델 등을 포함한 FMs에 대한 액세스를 제공합니다. 자주 업데이트되는 사용 가능한 FMs.

Amazon Bedrock Marketplace를 사용하여 100개 이상의 공개적으로 사용 가능한 독점 FMs.

Amazon Bedrock은 Amazon SageMaker JumpStart에서 사용할 수 없는 Claude를 포함한 특정 독점 모델에 대한 액세스를 제공합니다.

Amazon SageMaker JumpStart는 특정 사용 사례에 최적화된 모델을 포함하여 거의 1,000개의 모델을 사용할 수 있는 생성형 AI, 클래식 ML 및 예측 ML 워크플로를 사용자 지정하고 통합할 수 있는 공개 및 독점 파운데이션 모델을 제공합니다.

JumpStart는 FMs, Hugging Face, Stability AIMeta 및 Amazon의 모델과 Amazon(사용자 지정 및 추론을 위한Nova 모델), AI21 Labs, Cohere및의 독점 FM을 포함하여 공개적으로 사용 가능한 FMs을 제공합니다LightOn. 자주 업데이트되는 공개적으로 사용 가능한 독점 FMs.

Amazon Bedrock은 자동화된 사용자 지정 옵션으로 생성형 AI 애플리케이션을 구축하는 데 사용할 수 있는 선도적인 공급자의 모델 세트를 제공합니다. 데이터를 입력하고 이러한 사전 훈련된 모델로부터 예측을 수신하는 데 사용하는 API 호출 세트에 액세스할 수 있습니다. 이 접근 방식은 AI 기능을 애플리케이션에 통합하는 프로세스를 간소화합니다. Amazon Bedrock은 인프라 관리를 최소화하면서 미세 조정, 모델 추출, 강화 미세 조정 및 사용자 지정 모델 가져오기를 지원합니다.

Amazon SageMaker AI는 가이드 인터페이스와 AI 에이전트 지원 워크플로를 통해 서버리스 모델 사용자 지정을 제공하여 인프라 관리를 제거하면서 가드레일로 제어할 수 있습니다. AI 에이전트는 자연어를 통해 기법 선택, 데이터 준비, 훈련, 평가 및 배포와 같은 전체 사용자 지정 수명 주기를 처리하므로 개발자는 전문 ML 지식 없이 워크플로를 완료할 수 있습니다. 또한 SageMaker AI는 VS Code, Kiro및 기타 개발 환경에서 IDE 이식성을 지원합니다. SageMaker AI는 지도 미세 조정(SFT), 직접 선호도 최적화(DPO), 검증 가능한 보상을 통한 강화 학습(RLVR), AI 피드백을 통한 강화 학습(RLAIF), 관리형 멀티턴 강화 학습을 포함하여 개방형 가중치 모델에 사용할 수 있는 광범위한 서버리스 사용자 지정 기술을 지원합니다. 전체 인프라 제어를 위해 SageMaker AI 관리형 훈련 작업, 관리형 추론 및 HyperPod는 훈련 및 추론 워크플로, 프레임워크 및 컴퓨팅 리소스에 대한 완전한 유연성을 제공합니다.

Amazon SageMaker JumpStart를 사용하여 사전 정의된 품질 및 책임을 기반으로 모델을 평가, 비교 및 선택합니다.

SageMaker AI에서 Amazon Nova 사용자 지정 레시피를 사용하면 Amazon Bedrock으로 가져올 수 있는 Nova 모델을 미세 조정하고 훈련하는 등 포괄적인 모델 사용자 지정을 수행할 수 있습니다. Amazon Nova Forge를 사용하면 초기 모델 체크포인트에서 시작하여 독점 데이터를 Amazon Nova에서 선별한 훈련 데이터와 블렌딩하고 사용자 지정 모델을 안전하게 호스팅하여 Nova를 사용하여 자체 프론티어 모델을 구축할 수 있습니다 AWS.

Amazon Bedrock은 처리된 입력 및 출력 토큰을 기반으로 모델 추론에 토큰당 요금을 사용합니다. 지식 기반, 가드레일, 데이터 자동화와 같은 추가 기능은 사용량에 따라 별도로 가격이 책정됩니다. 이 요금 구조를 사용하면 비용을 효율적으로 추정하고 제어할 수 있습니다. 또한 Amazon Bedrock은 지연 시간에 민감한 워크로드에 대한 우선 순위, 비용 최적화 배치 처리를 위한 Flex, 예측 가능한 요금으로 커밋된 용량에 대한 예약 등 추론을 위한 서비스 계층을 제공합니다. 배치 추론은 non-real-time 워크로드에 대해 최대 50%의 비용 절감을 제공하며 프로비저닝된 처리량은 절감된 속도로 커밋된 용량을 제공합니다. Amazon Bedrock의 요금 모델은 예측 가능한 워크로드가 있는 애플리케이션 또는 AI 관련 비용의 투명성을 높이려는 경우에 특히 적합합니다.

SageMaker AI는 서버리스 모델 사용자 지정을 위한 토큰당 요금을 제공하여 Amazon Bedrock과 동일한 요금 간소화를 제공합니다. 관리형 훈련 작업, 추론 및 HyperPod의 경우 SageMaker AI는 AI 개발 프로세스 중에 사용되는 컴퓨팅 리소스, 스토리지 및 기타 서비스에 대한 사용량 기반 요금을 따르며, 가격은 인스턴스 유형 및 크기에 따라 달라집니다. SageMaker AI Savings Plans 1년 또는 3년 약정으로 비용을 최대 64% 절감할 수 있습니다. 또한 SageMaker AI는 훈련용 AWS Trainium 및 추론용 AWS Inferentia를 포함하여 비용 최적화 하드웨어를 지원합니다.

Amazon Bedrock은 API 직접 호출을 통해 직접 액세스할 수 있는 사전 훈련된 모델을 제공하여 통합 프로세스를 간소화합니다. Amazon Bedrock SDK, REST API 또는 OpenAI호환 API 엔드포인트를 사용하여 기본 인프라를 관리할 필요 없이 입력 데이터를 보내고 모델로부터 예측을 수신할 수 있습니다. OpenAI호환 엔드포인트는 응답 API 및 채팅 완료 API를 지원합니다. 이러한 엔드포인트를 사용하면 기본 URL 및 API 키를 업데이트하여 기존 OpenAI 애플리케이션을 마이그레이션할 수 있습니다. 이 접근 방식은 AI 기능을 애플리케이션에 통합하는 데 필요한 복잡성과 시간을 크게 줄여 광범위한 개발자가 액세스할 수 있도록 합니다.

SageMaker AI는 사용자 지정 AI 모델을 구축, 훈련 및 배포하기 위한 포괄적인 플랫폼을 제공합니다. SageMaker AI 엔드포인트에 대한 관리형 추론의 경우 SageMaker AI SDK 또는 API를 사용하여 배포된 모델에 액세스합니다. SageMaker AI는 GenAI 추론 권장 사항 및 벤치마킹과 같은 도구를 제공하여 인스턴스 유형 선택을 간소화합니다. 서버리스 사용자 지정의 경우 사용자 지정 모델은 추가 인프라 설정 없이 서버리스 추론을 위해 Amazon Bedrock에 배포할 수도 있습니다.

Amazon Bedrock은 ML 전문 지식이 제한된 개발자 및 기업을 포함하여 더 광범위한 사용자가 더 쉽게 액세스할 수 있습니다. Amazon Bedrock은 API 호출을 통해 애플리케이션에 쉽게 통합할 수 있는 사전 훈련된 모델을 제공하여 AI 모델 구축 및 배포와 관련된 대부분의 복잡성을 추상화합니다. 서버리스 경로의 경우 Amazon Bedrock과 SageMaker AI 서버리스 사용자 지정 모두 데이터 사전 처리, 모델 선택 및 인프라 관리를 처리합니다. 심층적인 ML 전문 지식 없이 AI 기능을 애플리케이션에 통합하는 데 집중할 수 있습니다.

SageMaker AI는 광범위한 사용자를 위한 모델 사용자 지정을 간소화하는 안내 경험을 제공합니다. 안내형 UI 및 AI 에이전트 지원 워크플로(평가판)를 통해 개발자는 몇 번의 클릭만으로 또는 기법 선택, 데이터 준비, 모델 평가를 비롯한 자연어를 통해 사용자 지정 워크플로를 완료할 수 있습니다. 사용자 지정 훈련 작업 및 HyperPod 클러스터와 같은 고급 사용 사례의 경우 심층적인 ML 전문 지식은 훈련 워크플로, 프레임워크 및 인프라 구성을 최적화하는 데 유용합니다.

Amazon Bedrock은 모델 선택 기능(평가), 비용 및 지연 시간 최적화 기능(프롬프트 캐싱, 지능형 프롬프트 라우팅, 서비스 티어), 사용자 지정 기능(지식 기반, 모델 추출, 강화 미세 조정), 보호 장치(자동 추론 검사를 통한 가드레일, 조직 보호 장치, 이미지 콘텐츠 필터, 비 Amazon Bedrock 모델에 대한 교차 플랫폼 지원), 에이전트 기능(대규모로 AI 에이전트를 구축, 배포 및 운영하기 위한 Amazon Bedrock AgentCore, 다중 에이전트 공동 작업, AWS 에이전트 레지스트리, 프레임워크에 구애받지 않는 데이터 자동화LlamaIndex), 데이터 처리 기능(문서, 이미지 및 비디오용 Amazon Bedrock Data Automation)을 포함하여 AI 애플리케이션 및 에이전트를 구축하고 확장하는 데 도움이 LangGraph CrewAI되는 기능 제품군을 제공합니다. 또한 Amazon Bedrock은 파운데이션 모델에 액세스하기 위한 사용자 지정 모델 가져오기, OpenAI호환 API 엔드포인트 및 서버리스 통합 API를 제공합니다. 프롬프트 캐싱은 지원되는 모델의 비용을 최대 90%, 지연 시간을 최대 85% 줄일 수 있습니다. 지능형 프롬프트 라우팅은 정확도를 저하시키지 않고 비용을 최대 30% 절감할 수 있습니다. 추출된 모델은 원래 모델보다 최대 500% 빠르고 최대 75% 저렴하며 RAG와 같은 사용 사례의 정확도 손실은 2% 미만입니다. 자동 추론 검사가 있는 가드레일은 할루시네이션으로 인한 사실적 오류를 거의 0으로 줄이는 데 도움이 됩니다.

SageMaker AI는 전체 AI 개발 수명 주기를 위한 포괄적인 플랫폼을 제공합니다. 주요 기능으로는 안내형 UI 및 AI 에이전트 지원 워크플로를 통해 SFT, DPO, RLVR 및 RLAIF를 사용한 서버리스 모델 사용자 지정, 오픈 소스, 독점 및 사용자 지정 모델을 포함하여 거의 1,000개의 모델을 사용할 수 있는 모델 허브로서의 Amazon SageMaker JumpStart, 생성형 AI 외에도 예측 ML 및 클래식 ML 지원, VS Code, Kiro및 기타 개발 환경을 지원하는 IDE 이식성 등이 있습니다. Amazon SageMaker HyperPod는 대규모 AI 개발을 위한 end-to-end 환경을 제공하여 체크포인트 없는 훈련, 탄력적 훈련 및 작업 거버넌스를 통해 관리형 클러스터에 대한 훈련 및 추론을 지원합니다. HyperPod는 훈련 시간을 최대 40% 단축하고, 작업 거버넌스는 비용을 최대 40% 절감하며, 체크포인트 없는 훈련은 95% 이상의 훈련 성능을 제공합니다. HyperPod는 수천 개의 AI 액셀러레이터에서 확장됩니다. SageMaker AI 엔드포인트는 유휴 상태일 때 추론 요청 간에 컨텍스트를 유지하기 위한 상태 저장 세션과 최대 2.5배의 처리량 개선을 위한 EAGLE 기반 추측 디코딩과 같은 추론 최적화 기술을 통해 0개의 인스턴스로 확장하여 비용을 절감할 수 있도록 지원합니다. SageMaker AI는 고가용성을 위한 이기종 인스턴스 클러스터 및 교차 리전 추론, A/B 테스트, 카나리 배포, 블루/그린 배포, 섀도우 테스트를 비롯한 고급 배포 옵션을 지원합니다. 추론 구성 요소는 단일 엔드포인트 뒤에 여러 모델을 호스팅하여 모델 배포 비용을 줄입니다.

Amazon SageMaker HyperPod는 훈련 및 추론 또는 훈련을 위한 Kubernetes (EKS) 오케스트레이션 계층에 액세스하여 대규모로 AI 모델을 훈련 및 배포하기 Slurm 위한 복원력 있고 확장 가능한 인프라를 제공합니다. 추론의 경우 HyperPod는 분산 KV 캐싱, 용량 인식 추론 및 지능형 라우팅과 같은 내장 기능을 제공하여 지연 시간을 40% 줄입니다.

Amazon Bedrock이란 무엇입니까?

이 완전 관리형 서버리스 플랫폼을 사용하여 프로덕션 규모로 AI 애플리케이션 및 에이전트를 구축, 실행 및 운영할 수 있습니다.

가이드 살펴보기

Amazon Bedrock에 대해 자주 묻는 질문

Amazon Bedrock에 대해 가장 일반적으로 묻는 질문에 대한 답변을 얻습니다. 여기에는 에이전트 사용 방법, 보안 고려 사항, Amazon Bedrock 소프트웨어 개발 키트(SDKs)에 대한 세부 정보, 검색 증강 생성, 모델 평가 사용 방법 및 결제가 포함됩니다.

FAQs 읽기

Amazon Bedrock을 사용하여 제품 설명을 생성하기 위한 지침

솔루션에서 Amazon Bedrock을 사용하여 전자 상거래 마켓플레이스 또는 소매 웹 사이트에 대한 제품 검토 및 승인 프로세스를 자동화할 수 있습니다.

솔루션 살펴보기

Amazon Bedrock IDE란 무엇입니까?

Amazon Bedrock IDE를 사용하여 Amazon Bedrock 모델을 검색하고 Amazon Bedrock 모델 및 기능을 사용하는 생성형 AI 앱을 구축합니다.

가이드 살펴보기

Amazon Bedrock IDE를 사용하여 생성형 AI 애플리케이션 구축

이 블로그 게시물에서는 다양한 최고 성능 모델을 사용하여 애플리케이션을 빌드하는 방법을 설명합니다. 그런 다음 생성형 AI 앱을 평가하고 Amazon Bedrock IDE와 공유하는 방법을 설명합니다.

블로그 읽기

Amazon Bedrock IDE를 사용하여 채팅 앱 빌드

사용자가 대화형 인터페이스를 통해 Amazon Bedrock 모델과 채팅할 수 있는 Amazon Bedrock IDE 채팅 에이전트 앱을 구축합니다.

가이드 살펴보기

Amazon SageMaker AI란 무엇인가요?

이 완전관리형 AI 서비스를 사용하여 AI 모델을 구축, 훈련 및 프로덕션 지원 호스팅 환경에 배포할 수 있습니다.

가이드 살펴보기

Amazon SageMaker AI 시작하기

빠른 또는 사용자 지정 설정 단계를 포함하여 Amazon SageMaker AI에 대한 액세스를 설정합니다.

가이드 살펴보기

Amazon SageMaker JumpStart 시작하기

일반적인 사용 사례를 위한 인프라를 설정하는 Amazon SageMaker JumpStart 솔루션 템플릿과 SageMaker AI를 사용한 AI용 실행 가능한 예제 노트북을 살펴보세요.

가이드 살펴보기

Amazon SageMaker AI를 사용한 모델 사용자 지정

서버리스 강화 학습과 AI 에이전트 가이드 워크플로를 통해 AI 모델 사용자 지정을 가속화합니다.

모델 사용자 지정 살펴보기