Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lapisan 1: Membangun data yang andal dan infrastruktur komputasi untuk AI generatif

Untuk mengembangkan aplikasi AI generatif, terutama jika pelatihan atau penyempurnaan model pondasi diperlukan, fondasi data yang kuat dan infrastruktur komputasi sangat penting. Saat perusahaan memulai perjalanan AI generatif mereka, mereka membutuhkan infrastruktur yang dapat mendukung seluruh siklus hidup pembelajaran mesin. Mereka juga perlu mencapai keseimbangan yang tepat antara kinerja, biaya, dan efisiensi operasional.

Infrastruktur AI generatif yang andal harus menawarkan tiga komponen utama berikut: infrastruktur dasar, infrastruktur penyimpanan dan pengambilan vektor, dan infrastruktur komputasi. Bersama-sama, komponen-komponen ini memberikan fleksibilitas untuk melayani kebutuhan proyek apa pun, terlepas dari skala, persyaratan, atau lingkungannya.

Infrastruktur dasar untuk implementasi berbasis API

Sebagian besar organisasi memulai perjalanan AI generatif mereka dengan menggunakan model fondasi yang telah dilatih sebelumnya. APIs Amazon Bedrock menyediakan akses tanpa server ke model foundation terkemuka melalui API terpadu. Ini membantu Anda bereksperimen dan menerapkan aplikasi AI generatif tanpa mengelola infrastruktur yang kompleks. Untuk implementasi ini, Anda memerlukan yang berikut:

Penyimpanan vektor dan infrastruktur pengambilan

Saat aplikasi AI generatif Anda matang, Anda mungkin perlu meningkatkannya dengan pengetahuan dan konteks khusus domain. Dengan Retrieval Augmented Generation (RAG), model yayasan mereferensikan sumber data otoritatif yang berada di luar sumber data pelatihannya, seperti data atau dokumen organisasi Anda, sebelum menghasilkan respons. Untuk informasi selengkapnya, lihat Opsi dan arsitektur Retrieval Augmented Generation di. AWS

Amazon Bedrock Knowledge Bases menyediakan solusi terkelola sepenuhnya untuk membangun aplikasi RAG. Ini membantu Anda menghubungkan data perusahaan Anda dengan aman dengan model dasar. Untuk fleksibilitas tambahan, Anda dapat menggunakan OpenSearch Layanan Amazon dengan kemampuan pencarian vektor, atau Anda dapat menggunakan Amazon Relational Database Service (Amazon RDS) untuk PostgreSQL dengan ekstensi pgvector untuk menyimpan embeddings vektor.

Untuk pengoperasian vektor yang efisien, pertimbangkan untuk menggunakan instans yang dioptimalkan komputasi Amazon EC2 untuk pembuatan penyematan. Juga pertimbangkan caching embeddings yang sering diakses dengan menggunakan Amazon ElastiCache untuk mengoptimalkan kinerja dan mengurangi biaya.

Untuk informasi selengkapnya tentang database vektor dan caching, lihat Apa itu database vektor? dan Memilih database AWS vektor untuk kasus penggunaan RAG.

Infrastruktur komputasi berkinerja tinggi untuk pelatihan model dan fine-tuning

Untuk organisasi yang siap menyesuaikan model pondasi, AWS menawarkan infrastruktur komprehensif untuk pelatihan model dan fine-tuning. Anda dapat menggunakan Amazon Simple Storage Service (Amazon S3) sebagai penyimpanan objek berbiaya rendah, terukur, dan sangat tahan lama untuk membangun platform data dan untuk menyimpan data pelatihan dan model terlatih. Selain itu, AWS Glueadalah layanan integrasi data tanpa server yang dapat membantu Anda menyiapkan data untuk pelatihan model.

Untuk infrastruktur pelatihan, Amazon SageMaker AI menawarkan lingkungan pembelajaran mesin yang dikelola sepenuhnya dengan alat dan alur kerja yang Anda butuhkan untuk membangun, melatih, dan menerapkan model. Menggunakan SageMaker AI dapat secara signifikan mengurangi overhead operasional Anda. Pertimbangkan untuk menggunakan instance komputasi yang dipercepat, seperti keluarga instans G dan P. Keluarga instance ini menyediakan akses ke yang terbaru GPUs dari NVIDIA untuk pelatihan dan inferensi pembelajaran mesin. Anda juga dapat menggunakan AWS Trainium, akselerator pembelajaran mesin yang dibuat khusus yang mempercepat waktu pelatihan hingga 50%, sekaligus menurunkan biaya.

Untuk proyek yang benar-benar besar, Anda dapat menggunakan Amazon EC2 UltraClusters. UltraClusters terdiri dari ribuan instans Amazon EC2 yang dipercepat yang ditempatkan bersama di AWS Availability Zone tertentu dan saling berhubungan. UltraClusters dapat menskalakan hingga ribuan GPUs atau akselerator pembelajaran mesin. Mereka memberikan operasi exa-floating point per detik (exaflops) kapasitas komputasi agregat, yang mengurangi waktu pelatihan dan dapat mengurangi time-to-solution dari minggu ke beberapa hari.

Rekomendasi implementasi

Pertimbangkan rekomendasi berikut untuk menyiapkan infrastruktur yang dapat diskalakan dan hemat biaya untuk proyek AI generatif Anda: