Mempercepat pengembangan AI generatif menggunakan AI yang dikelola MLflow di Amazon SageMaker

MLflow 3.0 yang dikelola sepenuhnya di Amazon SageMaker AI memungkinkan Anda mempercepat AI generatif dengan membuatnya lebih mudah untuk melacak eksperimen dan memantau kinerja model dan aplikasi AI menggunakan satu alat.

Pengembangan AI generatif dengan 3.0 MLflow

Ketika pelanggan di seluruh industri mempercepat pengembangan AI generatif mereka, mereka membutuhkan kemampuan untuk melacak eksperimen, mengamati perilaku, dan mengevaluasi kinerja model dan aplikasi AI. Ilmuwan dan pengembang data kekurangan alat untuk menganalisis kinerja model dan aplikasi AI dari eksperimen hingga produksi, sehingga sulit untuk mengakar penyebab dan menyelesaikan masalah. Tim menghabiskan lebih banyak waktu untuk mengintegrasikan alat daripada meningkatkan model atau aplikasi AI generatif mereka.

Pelatihan atau penyempurnaan AI generatif dan pembelajaran mesin adalah proses berulang yang memerlukan eksperimen dengan berbagai kombinasi data, algoritma, dan parameter, sambil mengamati dampaknya pada akurasi model. Sifat eksperimen berulang menghasilkan banyak proses dan versi pelatihan model, sehingga menantang untuk melacak model berkinerja terbaik dan konfigurasinya. Kompleksitas mengelola dan membandingkan pelatihan berulang meningkat dengan GenAI, di mana eksperimen tidak hanya melibatkan model fine-tuning tetapi juga mengeksplorasi output yang kreatif dan beragam. Peneliti harus menyesuaikan hiperparameter, memilih arsitektur model yang sesuai, dan mengkurasi kumpulan data yang beragam untuk mengoptimalkan kualitas dan kreativitas konten yang dihasilkan. Mengevaluasi model AI generatif membutuhkan metrik kuantitatif dan kualitatif, menambahkan lapisan kompleksitas lain ke proses eksperimen. Kemampuan pelacakan eksperimen di MLflow 3.0 di Amazon SageMaker AI memungkinkan Anda melacak, mengatur, melihat, menganalisis, dan membandingkan eksperimen ML berulang untuk mendapatkan wawasan komparatif serta mendaftarkan serta menerapkan model berkinerja terbaik Anda.

Menelusuri kemampuan dalam MLflow 3.0 yang dikelola sepenuhnya memungkinkan Anda merekam input, output, dan metadata di setiap langkah aplikasi AI generatif, membantu Anda mengidentifikasi sumber bug atau perilaku tak terduga dengan cepat. Dengan memelihara catatan setiap model dan versi aplikasi, MLflow 3.0 yang dikelola sepenuhnya menawarkan keterlacakan untuk menghubungkan respons AI ke komponen sumbernya, memungkinkan Anda untuk dengan cepat melacak masalah langsung ke kode, data, atau parameter tertentu yang menghasilkannya. Ini secara dramatis mengurangi waktu pemecahan masalah dan memungkinkan tim untuk lebih fokus pada inovasi.

MLflow integrasi

Gunakan MLflow saat melatih dan mengevaluasi model untuk menemukan kandidat terbaik untuk kasus penggunaan Anda. Anda dapat membandingkan kinerja model, parameter, dan metrik di seluruh eksperimen di MLflow UI, melacak model terbaik Anda di Registri MLflow Model, mendaftarkannya secara otomatis sebagai model SageMaker AI, dan menerapkan model terdaftar ke titik akhir SageMaker AI.

Amazon SageMaker AI dengan MLflow

Gunakan MLflow untuk melacak dan mengelola fase eksperimen siklus hidup pembelajaran mesin (ML) dengan AWS integrasi untuk pengembangan model, manajemen, penerapan, dan pelacakan.

SageMaker Studio Amazon

Buat dan kelola pelacakan server, jalankan buku catatan untuk membuat eksperimen, dan akses MLflow UI untuk melihat dan membandingkan eksperimen yang dijalankan di seluruh Studio.

SageMaker Registri Model

Kelola versi model dan model katalog untuk produksi dengan mendaftarkan model secara otomatis dari MLflow Model Registry ke SageMaker Model Registry. Untuk informasi selengkapnya, lihat Secara otomatis mendaftarkan model SageMaker AI dengan SageMaker Model Registry.

SageMaker Inferensi AI

Siapkan model terbaik Anda untuk penerapan pada titik akhir SageMaker AI menggunakan. ModelBuilder Untuk informasi selengkapnya, lihat Menyebarkan MLflow model dengan ModelBuilder.

AWS Identity and Access Management

Konfigurasikan akses untuk MLflow menggunakan kontrol akses berbasis peran (RBAC) dengan IAM. Tulis kebijakan identitas IAM untuk mengotorisasi MLflow APIs yang dapat dipanggil oleh klien dari server MLflow pelacak. Semua MLflow REST APIs direpresentasikan sebagai tindakan IAM di bawah awalan sagemaker-mlflow layanan. Untuk informasi selengkapnya, lihat Siapkan izin IAM untuk MLflow.

AWS CloudTrail

Lihat log in AWS CloudTrail untuk membantu Anda mengaktifkan audit operasional dan risiko, tata kelola, dan kepatuhan akun Anda AWS . Untuk informasi selengkapnya, lihat AWS CloudTrail log.

Amazon EventBridge

Otomatiskan peninjauan model dan siklus hidup penerapan menggunakan peristiwa yang MLflow ditangkap oleh Amazon. EventBridge Untuk informasi selengkapnya, lihat EventBridge Acara Amazon.

Didukung Wilayah AWS

Amazon SageMaker AI dengan MLflow umumnya tersedia di semua Wilayah AWS komersial di mana Amazon SageMaker Studio tersedia, kecuali Wilayah AWS GovCloud (US) dan Wilayah Tiongkok. SageMaker AI dengan hanya MLflow tersedia AWS CLI di Eropa (Zurich), Asia Pasifik (Hyderabad), Asia Pasifik (Melbourne), dan Kanada Barat (Calgary). Wilayah AWS

Pelacakan server diluncurkan dalam satu zona ketersediaan dalam Wilayah yang ditentukan.

Cara kerjanya

Server MLflow Pelacakan memiliki tiga komponen utama: komputasi, penyimpanan metadata backend, dan penyimpanan artefak. Komputasi yang menghosting server pelacak dan penyimpanan metadata backend di-host dengan aman di akun layanan AI. SageMaker Penyimpanan artefak hidup dalam ember Amazon S3 di akun Anda sendiri AWS .

Server pelacak memiliki ARN. Anda dapat menggunakan ARN ini untuk menghubungkan MLflow SDK ke Server Pelacakan dan mulai mencatat proses latihan Anda. MLflow

Baca terus untuk informasi lebih lanjut tentang konsep-konsep kunci berikut:

Penyimpanan metadata backend

Saat Anda membuat Server MLflow Pelacakan, backend store, yang menyimpan berbagai metadata untuk setiap Run, seperti run ID, waktu mulai dan berakhir, parameter, dan metrik, secara otomatis dikonfigurasi dalam akun layanan SageMaker AI dan dikelola sepenuhnya untuk Anda.

Penyimpanan artifak

Untuk menyediakan MLflow penyimpanan persisten untuk metadata untuk setiap proses, seperti bobot model, gambar, file model, dan file data untuk eksperimen yang dijalankan, Anda harus membuat penyimpanan artefak menggunakan Amazon S3. Toko artefak harus diatur dalam AWS akun Anda dan Anda harus secara eksplisit memberikan MLflow akses ke Amazon S3 untuk mengakses toko artefak Anda. Untuk informasi selengkapnya, lihat Toko Artifact di dokumentasi. MLflow

MLflow Melacak ukuran Server

Secara opsional, Anda dapat menentukan ukuran server pelacakan di UI Studio atau dengan AWS CLI --tracking-server-size parameternya. Anda dapat memilih antara"Small","Medium", dan"Large". Ukuran konfigurasi server MLflow pelacakan default adalah"Small". Anda dapat memilih ukuran tergantung pada proyeksi penggunaan server pelacak seperti volume data yang dicatat, jumlah pengguna, dan frekuensi penggunaan.

Kami merekomendasikan menggunakan server pelacak kecil untuk tim hingga 25 pengguna, server pelacak menengah untuk tim hingga 50 pengguna, dan server pelacak besar untuk tim hingga 100 pengguna. Kami berasumsi bahwa semua pengguna akan membuat permintaan bersamaan ke Server MLflow Pelacakan Anda untuk membuat rekomendasi ini. Anda harus memilih ukuran server pelacak berdasarkan pola penggunaan yang diharapkan dan TPS (Transaksi Per Detik) yang didukung oleh setiap server pelacak.

Melacak versi server

MLflow Versi berikut tersedia untuk digunakan dengan SageMaker AI:

Versi terbaru dari server pelacakan memiliki fitur terbaru, patch keamanan, dan perbaikan bug. Saat Anda membuat server pelacak baru, sebaiknya gunakan versi terbaru. Untuk informasi selengkapnya tentang membuat server pelacak, lihatMLflow Pelacakan Server.

MLflow server pelacak menggunakan versi semantik. Versi dalam format berikut:major-version.minor-version.patch-version.

Fitur terbaru, seperti elemen UI baru dan fungsionalitas API, ada dalam versi minor.

AWS CloudTrail log

AWS CloudTrail secara otomatis mencatat aktivitas yang terkait dengan Server MLflow Pelacakan Anda. Panggilan API bidang kontrol berikut dicatat CloudTrail:

AWS CloudTrail juga secara otomatis mencatat aktivitas yang terkait dengan pesawat MLflow data Anda. Panggilan API bidang data berikut masuk CloudTrail. Untuk nama acara, tambahkan awalan Mlflow (misalnya,MlflowCreateExperiment).

Untuk informasi selengkapnya CloudTrail, lihat Panduan AWS CloudTrail Pengguna.

EventBridge Acara Amazon

Gunakan EventBridge untuk merutekan acara dari penggunaan MLflow dengan SageMaker AI ke aplikasi konsumen di seluruh organisasi Anda. Peristiwa berikut dipancarkan ke: EventBridge

Untuk informasi selengkapnya EventBridge, lihat Panduan EventBridge Pengguna Amazon.