Ikhtisar Kecerdasan Buatan (AI) dan Machine Learning (ML) di Amazon EKS

Kontrol klaster penuh untuk menyempurnakan biaya dan konfigurasi tanpa abstraksi tersembunyi

Latensi sub-detik untuk beban kerja inferensi waktu nyata dalam produksi

Kustomisasi lanjutan seperti multi-instance GPUs, strategi multi-cloud, dan penyetelan tingkat OS

Kemampuan untuk memusatkan beban kerja menggunakan EKS sebagai orkestrator terpadu di seluruh jaringan pipa AI/ML

Inferensi real-time (online): EKS mendukung prediksi langsung pada data yang masuk, seperti deteksi penipuan, dengan latensi sub-detik menggunakan alat seperti, Triton Inference Server TorchServe, dan pada instans Amazon Inf1 dan Inf2. KServe EC2 Beban kerja ini mendapat manfaat dari penskalaan dinamis dengan Karpenter dan KEDA, sekaligus memanfaatkan Amazon EFS untuk sharding model di seluruh pod. Amazon ECR Pull Through Cache (PTC) mempercepat pembaruan model, dan volume data Bottlerocket dengan volume yang dioptimalkan Amazon EBS memastikan akses data yang cepat.

Pelatihan model umum: Organizations memanfaatkan EKS untuk melatih model kompleks pada kumpulan data besar selama periode yang lama menggunakan Kubeflow Training Operator (KRO), Ray Serve, dan Torch Distributed Elastic pada instans Amazon EC2 P4d dan Amazon Trn1. EC2 Beban kerja ini didukung oleh penjadwalan batch dengan alat seperti Volcano, Yunikorn, dan Kueue. Amazon EFS memungkinkan berbagi pos pemeriksaan model, dan Amazon S3 menangani import/export model dengan kebijakan siklus hidup untuk manajemen versi.

Retrieval augmented generation (RAG) pipelines: EKS mengelola chatbot dukungan pelanggan dan aplikasi serupa dengan mengintegrasikan proses pengambilan dan pembuatan. Beban kerja ini sering menggunakan alat seperti Argo Workflows dan Kubeflow untuk orkestrasi, database vektor seperti Pinecone, Weaviate, atau Amazon, dan OpenSearch mengekspos aplikasi ke pengguna melalui Application Load Balancer Controller (LBC). NVIDIA NIM mengoptimalkan pemanfaatan GPU, sementara Prometheus dan Grafana memantau penggunaan sumber daya.

Penerapan model AI generatif: Perusahaan menerapkan layanan pembuatan konten real-time di EKS, seperti pembuatan teks atau gambar, menggunakan Ray Serve, VllM, dan Triton Inference Server di Amazon G5 dan akselerator Inferentia. EC2 Penerapan ini mengoptimalkan kinerja dan pemanfaatan memori untuk model skala besar. JupyterHubmemungkinkan pengembangan berulang, Gradio menyediakan antarmuka web sederhana, dan S3 Mountpoint CSI Driver memungkinkan pemasangan bucket S3 sebagai sistem file untuk mengakses file model besar.

Inferensi Batch (offline): Organizations memproses kumpulan data besar secara efisien melalui pekerjaan terjadwal dengan AWS Batch atau Volcano. Beban kerja ini sering menggunakan instans Inf1 dan Inf2 untuk chip AWS Inferentia, EC2 instans EC2 Amazon G4dn untuk NVIDIA GPUs T4, atau instans CPU c5 dan c6i, memaksimalkan pemanfaatan sumber daya selama jam-jam sibuk untuk tugas analitik. Driver AWS Neuron SDK dan NVIDIA GPU mengoptimalkan kinerja, sekaligus MIG/TS memungkinkan berbagi GPU. Solusi penyimpanan termasuk Amazon S3 dan Amazon EFS dan FSx untuk Lustre, dengan driver CSI untuk berbagai kelas penyimpanan. Manajemen model memanfaatkan alat seperti Pipelines Kubeflow, Argo Workflows, dan Ray Cluster, sementara pemantauan ditangani oleh Prometheus, Grafana, dan alat pemantauan model kustom.

Unitary memproses 26 juta video setiap hari menggunakan AI untuk moderasi konten, membutuhkan throughput tinggi, inferensi latensi rendah dan telah mencapai pengurangan 80% dalam waktu boot kontainer, memastikan respons cepat terhadap peristiwa penskalaan saat lalu lintas berfluktuasi.

Miro, platform kolaborasi visual yang mendukung 70 juta pengguna di seluruh dunia, melaporkan pengurangan 80% dalam biaya komputasi dibandingkan dengan cluster Kubernetes yang dikelola sendiri sebelumnya.

Synthesia, yang menawarkan pembuatan video AI generatif sebagai layanan bagi pelanggan untuk membuat video realistis dari petunjuk teks, mencapai peningkatan 30x dalam throughput pelatihan model ML.

Harri, yang menyediakan teknologi SDM untuk industri perhotelan, mencapai penskalaan 90% lebih cepat dalam menanggapi lonjakan permintaan dan mengurangi biaya komputasi sebesar 30% dengan bermigrasi ke prosesor Graviton.AWS

Ada Support, sebuah perusahaan otomatisasi layanan pelanggan bertenaga AI, mencapai pengurangan 15% dalam biaya komputasi di samping peningkatan 30% dalam efisiensi komputasi.

Snorkel AI, yang melengkapi perusahaan untuk membangun dan mengadaptasi model pondasi dan model bahasa besar, mencapai penghematan biaya lebih dari 40% dengan menerapkan mekanisme penskalaan cerdas untuk sumber daya GPU mereka.