Model strategi eksekusi untuk beban kerja AI - AWS Panduan Preskriptif
Amazon Bedrock: Model Foundation sebagai layananInferensi SageMaker Tanpa Server Amazon: Hosting model khususMemilih antara Amazon Bedrock dan Inferensi Tanpa SageMaker Server

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Model strategi eksekusi untuk beban kerja AI

Inti dari setiap arsitektur AI adalah lapisan eksekusi model, komponen yang melakukan inferensi, memperkuat prediksi, atau menghasilkan konten. AWS menawarkan dua jalur yang kuat dan siap tanpa server untuk mengeksekusi beban kerja AI:

  • Amazon Bedrock menyediakan akses ke model foundation (FMs) untuk kasus penggunaan AI generatif.

  • Amazon SageMaker Serverless Inference memungkinkan penerapan model terlatih khusus yang dapat diskalakan untuk beban kerja machine learning (ML) tradisional.

Dengan memahami kapan dan bagaimana menggunakannya Layanan AWS, perusahaan dapat mengoptimalkan kebutuhan bisnis dan efisiensi operasional.

Amazon Bedrock: Model Foundation sebagai layanan

Amazon Bedrock adalah layanan yang dikelola sepenuhnya yang menyediakan akses tanpa server FMs dari penyedia AI terkemuka seperti Anthropic (Claude), Meta (Llama),,Mistral, Cohere dan Amazon Nova. Amazon Titan Anda dapat berinteraksi dengan model ini menggunakan panggilan API sederhana, tanpa perlu menyediakan infrastruktur, mengelola GPUs, atau menyempurnakan model.

Kemampuan utama Amazon Bedrock meliputi yang berikut:

  • Pembuatan teks - Ringkasan, penulisan ulang, pembuatan konten, dan Tanya Jawab.

  • Pembuatan kode - Bahasa alami untuk kode.

  • Klasifikasi dan ekstraksi — Pelabelan, penguraian, dan penandaan semantik.

  • Alur kerja RAG - Integrasikan dengan basis pengetahuan untuk respons yang membumi.

  • Agen — Aktifkan orkestrasi otonom dan penggunaan alat.

  • Kecerdasan multimodal — Melalui Amazon Nova, pahami dan hasilkan di seluruh teks, gambar, dan video.

  • Dukungan fine-tuning dan distilasi — Melalui Amazon Nova Premier, latih model khusus tugas atau buat model siswa yang ringkas.

  • Performa dan biaya berjenjang — Pilih dari model Amazon Nova Micro, Nova Lite, Nova Pro, dan Nova Premier untuk menyeimbangkan latensi, akurasi, dan harga.

Manfaat operasional Amazon Bedrock meliputi:

  • Manajemen model - Tidak diperlukan hosting model atau pembuatan versi.

  • Penanganan data yang aman - Lingkungan penyewa yang terisolasi dan tidak ada pelatihan tentang data pengguna.

  • Penagihan berbasis token - Menyediakan pemodelan biaya yang dapat diprediksi.

  • Penyatuan API multimodal - Menangani input/output seluruh gambar, video, dan teks melalui antarmuka Amazon Bedrock yang sama.

  • Opsi latensi rendah - Tersedia dengan Amazon Nova Micro dan Nova Lite yang ideal untuk aplikasi AI generatif yang canggih dan menghadap pengguna.

  • Kompatibilitas pentanahan perusahaan - Semua model Amazon Nova kompatibel dengan Basis Pengetahuan Amazon Bedrock dan arsitektur Retrieval Augmented Generation (RAG).

Amazon Bedrock terintegrasi dengan fitur Layanan AWS dan lainnya dengan cara berikut:

  • Dipicu dari Lambda, Step Functions, atau API Gateway

  • Terintegrasi dengan Amazon Bedrock Agents untuk orkestrasi yang digerakkan oleh tujuan

  • Bekerja dengan mulus dengan Pangkalan Pengetahuan Amazon Bedrock dan jaringan pipa RAG

Kasus penggunaan ideal untuk Amazon Bedrock

Amazon Bedrock sangat cocok untuk berbagai skenario, seperti berikut ini:

  • Tugas AI generatif - Buat konten pemasaran dan dokumentasi serta power chatbots.

  • Asisten percakapan - Bangun bot dukungan dan kopilot internal.

  • Pengambilan pengetahuan — Gunakan untuk meringkas dan tugas pencarian semantik.

  • Perencanaan dinamis - Sistem keputusan berbasis agen daya.

  • Generasi multimodal — Gunakan Amazon Nova Canvas untuk menghasilkan gambar, dan gunakan Amazon Nova Reel untuk menghasilkan video dari petunjuk dan konteks terstruktur.

  • Asisten perusahaan — Gunakan Amazon Nova Pro untuk mengaktifkan alat pengambilan keputusan berbasis tujuan yang didasarkan pada data kepemilikan.

  • Umpan balik pengalaman pengguna waktu nyata - Analisis dan tanggapi tindakan pelanggan dengan latensi di bawah 100 ms dengan menggunakan Amazon Nova Micro.

Inferensi SageMaker Tanpa Server Amazon: Hosting model khusus

Amazon SageMaker Serverless Inference dirancang untuk pengembang dan ilmuwan data yang telah melatih model mereka sendiri (misalnya,,, XGBoost PyTorchScikit-learn, dan). TensorFlow Dengan menggunakan Inferensi SageMaker Tanpa Server, mereka dapat menerapkan model mereka di lingkungan tanpa server yang dapat diskalakan.

Tidak seperti Amazon Bedrock, Inferensi SageMaker Tanpa Server memberi Anda kendali atas arsitektur model, data pelatihan, dan logika.

Kemampuan utama Inferensi SageMaker Tanpa Server meliputi yang berikut:

  • Menyelenggarakan model ML tradisional seperti klasifikasi, regresi, pemrosesan bahasa alami (NLP), dan peramalan

  • Mendukung titik akhir multi-model

  • Mendukung penskalaan otomatis sehingga komputasi disediakan sesuai permintaan dan dimatikan saat idle

  • Menjalankan inferensi pada gambar kontainer kustom atau kerangka kerja MS prebuilt

Manfaat operasional dari Inferensi SageMaker Tanpa Server meliputi:

  • Pay-per-inference model dengan biaya siaga nol

  • Titik akhir yang dikelola sepenuhnya dan tidak ada pengaturan server

  • Terintegrasi dengan pipa pelatihan dan notebook

SageMaker Inferensi Tanpa Server terintegrasi dengan fitur lain dengan Layanan AWS cara berikut:

  • Dipanggil dengan menggunakan AWS Lambda Step Functions, atau panggilan SDK dan API

  • Bekerja dengan SageMaker Pipelines untuk operasi pembelajaran end-to-end mesin () MLOps

  • Log dan metrik terintegrasi dengan Amazon CloudWatch

Kasus penggunaan ideal untuk SageMaker Inferensi Tanpa Server

SageMaker Inferensi Tanpa Server adalah pilihan yang baik untuk berbagai aplikasi pembelajaran mesin:

  • Analisis prediktif - Gunakan untuk peramalan penjualan dan model prediksi churn.

  • Klasifikasi teks - Mendukung tugas-tugas seperti deteksi spam dan analisis sentimen.

  • Klasifikasi gambar - Memungkinkan pengenalan karakter optik dokumen (OCR) dan aplikasi pencitraan medis.

  • Custom natural language processing (NLP) - Menangani pengenalan entitas dan tugas penandaan dokumen.

Memilih antara Amazon Bedrock dan Inferensi Tanpa SageMaker Server

Baik Amazon Bedrock maupun SageMaker Serverless Inference menawarkan jalur tanpa server ke eksekusi AI yang dapat diskalakan dan siap produksi. Bersama-sama, mereka membentuk lapisan eksekusi inti dari arsitektur AI modern, berbasis peristiwa, dan tanpa server. AWS Tabel berikut membandingkan layanan ini di seluruh dimensi utama.

Dimensi

Amazon Bedrock

SageMaker Inferensi Tanpa Server

Jenis model

Model pondasi (LLMs)

Model ML yang dilatih khusus

Upaya pengaturan

Minimal (tidak ada pelatihan atau hosting)

Membutuhkan pelatihan model dan pengemasan

Kasus penggunaan

Generatif, percakapan, dan semantik

Data prediktif, numerik, dan terstruktur

Skalabilitas

Sepenuhnya tanpa server dan diskalakan otomatis

Sepenuhnya tanpa server dan diskalakan otomatis

Model biaya

Bayar per token

Bayar per inferensi

Integrasi

API Gateway, Lambda, Agen Batuan Dasar Amazon, dan RAG

Lambda, Step Functions, dan pipelines CI/CD

Diperlukan penyetelan

Tidak ada (zero-shot atau bew-shot)

Kontrol penuh (hiperparameter dan pelatihan ulang)

Memilih layanan yang tepat tergantung pada sifat beban kerja AI Anda:

  • Gunakan Amazon Bedrock saat Anda membutuhkan fleksibilitas semantik, alur kerja yang digerakkan oleh tujuan, dan iterasi cepat dengan model foundation.

  • Gunakan Inferensi SageMaker Tanpa Server ketika Anda memiliki model berpemilik, input terstruktur, atau memerlukan kontrol penuh atas pelatihan dan penerapan.

  • Gunakan SageMaker JumpStart untuk memilih dari ratusan algoritme bawaan dengan model terlatih dari hub model, termasuk TensorFlow Hub, PyTorch Hub, Hugging Face dan. MxNet GluonCV