View a markdown version of this page

Amazon SageMaker AI pengamatan terperinci untuk titik akhir inferensi - Amazon SageMaker AI
Kemampuan kunciYang disertakanArsitektur dan aliran dataHarga

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon SageMaker AI pengamatan terperinci untuk titik akhir inferensi

Pengamatan terperinci adalah pengalaman metrik generasi berikutnya untuk titik akhir inferensi real-time Amazon SageMaker AI. Dibangun di atas OpenTelemetry (OTel), ia mengumpulkan metrik operasional berbutir halus dari lapisan kerangka kerja GPU, node, dan inferensi dan menerbitkannya ke Amazon CloudWatch dengan label kaya termasuk nama titik akhir, nama komponen inferensi, ID instance, zona ketersediaan, dan jenis instance.

Kemampuan kunci

  • OpenTelemetry-native koleksi. Metrik dikumpulkan menggunakan Kolektor OTel yang mengikis titik akhir Prometheus dari DCGM (metrik GPU), eksportir node (CPU, memori, disk), dan wadah kerangka inferensi (VllM, SGLang).

  • Label dimensi kaya. Setiap metrik diterbitkan dengan label sepertiaws.sagemaker.endpoint.name,,, aws.sagemaker.inference_component.name @resource.host.id@resource.cloud.availability_zone, dan @resource.host.type untuk penyaringan dan agregasi yang tepat.

  • Per-GPU atribusi. Metrik GPU (DCGM) menyertakan atribusi per-komponen inferensi, memungkinkan Anda mengidentifikasi model mana yang menggunakan sumber daya GPU pada instance multi-penyewa.

  • Metrik kerangka inferensi. Metrik VLLm dan sGlang asli — termasuk token per detik, token time to first (TTFT), latensi antar-token, pemanfaatan cache KV, kedalaman antrian, dan ukuran batch — tersedia tanpa instrumentasi khusus.

  • Dukungan kueri PromQL. Metrik kueri menggunakan sintaks PromQL di Amazon, Query CloudWatch Studio CloudWatch, atau Grafana Terkelola Amazon.

  • Frekuensi gesekan yang dapat dikonfigurasi. Kontrol seberapa sering metrik dikumpulkan menggunakan MetricPublishFrequencyInSeconds (nilai valid: 10, 30, 60, 120, 180, 240, 300 detik). Default ke 60 detik. Metrik bidang kontrol seperti siklus hidup, penskalaan otomatis, dan diagnostik ICE digerakkan oleh peristiwa dan tidak terpengaruh oleh pengaturan ini.

catatan

Observabilitas terperinci menerbitkan metrik OpenTelemetry (OTel) ke Amazon CloudWatch melalui OTLP. Ini bukan metrik Prometheus. Metrik disimpan secara native di Amazon CloudWatch sebagai data metrik OTel dan dapat dikueri menggunakan sintaks PromQL. PromQL didukung sebagai bahasa kueri saja — tidak ada server Prometheus atau backend yang terlibat. Prometheus-compatible

Yang disertakan

Kategori metrik observabilitas terperinci
Kategori Metrik-metrik Lingkup Frekuensi
Kerangka inferensi () vLLM/SGLang TTFT, ITL, cache KV, kedalaman antrian, ukuran batch, TPS, permintaan bersamaan Per-IC untuk titik akhir komponen inferensi, per- titik akhir untuk instance/per UKM Dapat dikonfigurasi
Kesehatan GPU (DCGM) Pemanfaatan GPU, pemanfaatan salinan memori, suhu GPU Per-instance, Per-GPU Dapat dikonfigurasi
Kesehatan simpul CPU, memori, disk, sistem file Per-instance Dapat dikonfigurasi
Penempatan komponen inferensi dan ketersediaan tinggi Jumlah salinan IC, salinan per AZ, kemiringan AZ, IC per instance, instance per AZ Per-endpoint Berkala
Siklus hidup Waktu unduh model, waktu muat GPU, mulai kontainer, mulai dingin Per-IC, per-titik akhir Event-driven
Penskalaan otomatis Acara penskalaan, latensi E2E, penyeimbangan kembali Per-endpoint Event-driven
Diagnostik ICE Hitungan ICE, tipe gagal, AZ gagal Per-endpoint Event-driven

Untuk daftar lengkapnya, lihat OpenTelemetry referensi metrik.

Arsitektur dan aliran data

Diagram arsitektur yang menunjukkan jalur pengumpulan metrik untuk observabilitas rinci.

Setiap instance endpoint mengekspos metrik dari berbagai sumber. Kolektor OTel mengikis sumber-sumber ini, memperkaya data dengan label konteks, dan mengekspornya ke akun Amazon Anda. CloudWatch

  1. Wadah model, eksportir DCGM, dan pengekspor node mengekspos Prometheus-compatible metrik pada instance (metrik kerangka inferensi, metrik GPU, dan metrik masing-masing). CPU/memory/disk

  2. OTel Collector mengikis titik akhir ini dan memperkaya setiap metrik dengan label seperti nama titik akhir, nama komponen inferensi, ID instance, dan zona ketersediaan.

  3. Metrik yang diperkaya diekspor melalui OTLP ke Amazon di akun Anda. CloudWatch

  4. Metrik dapat ditanyakan melalui PromQL di Amazon di. CloudWatch https://monitoring.region.amazonaws.com

Harga

Metrik observabilitas terperinci disertakan tanpa biaya tambahan. Untuk informasi tentang biaya konsumsi CloudWatch data Amazon yang terkait dengan pengayaan OTel, lihat Harga Amazon. CloudWatch