Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gerbang Inferensi untuk Inferensi Amazon SageMaker HyperPod

Amazon SageMaker HyperPod Inference Gateway adalah lapisan Kubernetes-native perutean dan orkestrasi sadar model bahasa besar (LLM) untuk cluster di Amazon EKS. HyperPod Ini memeriksa permintaan inferensi, membaca nama model dari setiap permintaan, dan memilih pod yang melayani model berdasarkan beban GPU, sehingga lalu lintas untuk beberapa model dirutekan secara efisien melalui titik akhir gateway tunggal.

Gateway merutekan setiap permintaan melalui tiga lapisan. Body-Based Router (BBR), komponen bersama, membaca model bidang dari badan permintaan, menyelesaikan nama adaptor LoRa ke model dasarnya, dan menyetel dan header. X-Gateway-Model-Name X-Gateway-Base-Model-Name Gateway kemudian mencocokkan header tersebut ke HttpRoute dan meneruskan permintaan ke model yang InferencePool diminta. Di dalam pool tersebut, Endpoint Picker (EPP/scheduler) memilih pod yang melayani model dengan menilai kandidat pada metrik model-server seperti kedalaman antrian dan pemanfaatan cache KV, bersama dengan prefix-cache dan afinitas adaptor LoRa. Setiap entri yang Anda tentukan di bawah spec.schedulers menjalankan Endpoint Picker sendiri, jadi topik ini menggunakan istilah Endpoint Picker, EPP, dan scheduler secara bergantian.

Inference Gateway dibangun di atas Operator HyperPod Inferensi alih-alih menggantinya. Sementara operator terus mengatur penerapan model, gateway memperkenalkan lapisan LLM-aware perutean di depan pod yang melayani model. Gateway tidak bergantung pada server model atau lapisan orkestrasi tertentu, dan dikirimkan melalui add-on Inference HyperPod Amazon EKS.

Anda menentukan gateway dengan sumber daya InferenceGatewayConfig kustom. Satu InferenceGatewayConfig menjelaskan satu gateway: Body-Based Router bersama, penghentian TLS, otentikasi permintaan, dan satu penjadwal untuk setiap model yang dilayani gateway. Untuk skema lengkapnya, lihatInferenceGatewayConfig Referensi CRD.

Prasyarat dan penyebaran

Inference Gateway dikirimkan sebagai bagian dari add-on HyperPod Inference Amazon EKS. Menginstal add-on membuat gateway tersedia, jadi tidak diperlukan instalasi terpisah. Anda kemudian mengaktifkan perutean gateway untuk model melalui spec.inferenceGateway.enabled bidang pada InferenceEndpointConfig sumber daya model. Untuk versi di mana kemampuan diperkenalkan, lihatCatatan rilis Amazon SageMaker HyperPod Inference.

Sebelum Anda merutekan lalu lintas melalui gateway, verifikasi hal berikut:

Mengatur peran IAM penerbit sertifikat

Saat gateway mengeluarkan sertifikat TLS secara otomatis, cert-manager menghasilkan sertifikat di cluster dan pengontrol gateway mengimpornya ke ACM. Karena impor adalah panggilan AWS API, pengontrol memerlukan AWS kredensil. Menyediakannya dengan membuat peran IAM yang diasumsikan oleh akun inference-gateway-controller layanan di hyperpod-inference-system namespace melalui peran IAM untuk akun layanan (IRSA).

Tetapkan variabel lingkungan berikut dan ambil penerbit OIDC untuk klaster Anda.

export CLUSTER=EKS_CLUSTER_NAME
export REGION=REGION
export ACCOUNT=AWS_ACCOUNT_ID
export ROLE_NAME=CERT_ISSUER_ROLE_NAME

export OIDC_ID=$(aws eks describe-cluster --name $CLUSTER --region $REGION \
  --query 'cluster.identity.oidc.issuer' --output text | sed 's|https://||')

Buat kebijakan kepercayaan yang memungkinkan akun layanan pengontrol gateway untuk mengambil peran.

cat > trust-policy.json <<EOF
{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": {
      "Federated": "arn:aws:iam::${ACCOUNT}:oidc-provider/${OIDC_ID}"
    },
    "Action": "sts:AssumeRoleWithWebIdentity",
    "Condition": {
      "StringEquals": {
        "${OIDC_ID}:sub": "system:serviceaccount:hyperpod-inference-system:inference-gateway-controller",
        "${OIDC_ID}:aud": "sts.amazonaws.com"
      }
    }
  }]
}
EOF

Buat peran dan lampirkan kebijakan AmazonSageMakerHyperPodInferenceGatewayAccess terkelola. Kebijakan memberikan izin ACM yang diperlukan pengontrol untuk mengimpor, menandai, mendeskripsikan, dan menghapus sertifikat yang dibuatnya.

aws iam create-role --role-name $ROLE_NAME --assume-role-policy-document file://trust-policy.json
aws iam attach-role-policy --role-name $ROLE_NAME --policy-arn arn:aws:iam::aws:policy/AmazonSageMakerHyperPodInferenceGatewayAccess

Berikan peran ARN ini seperti inferenceGateway.serviceAccount.roleArn saat Anda menginstal add-on.

Instal add-on

Add-on HyperPod Inference menginstal Operator Inference dan Inference Gateway. Instal dengan perintah berikut. UntukinferenceGateway.serviceAccount.roleArn, gunakan peran penerbit sertifikat yang Anda buat di bagian sebelumnya. Ganti nilai placeholder yang tersisa dengan peran dan bucket untuk akun Anda.

aws eks create-addon \
  --cluster-name $CLUSTER --region $REGION \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v2.0.0-eksbuild.2 \
  --configuration-values '{
    "executionRoleArn": "arn:aws:iam::<ACCOUNT>:role/<EXEC_ROLE>",
    "tlsCertificateS3Bucket": "<TLS_BUCKET>",
    "inferenceOperator": { "enabled": true },
    "inferenceGateway": {
      "enabled": true,
      "serviceAccount": { "roleArn": "arn:aws:iam::<ACCOUNT>:role/<CERT_ISSUER_ROLE_NAME>" }
    },
    "keda": { "enabled": true, "auth": { "aws": { "irsa": { "enabled": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<KEDA_IRSA_ROLE>" } } } },
    "alb": { "enabled": true, "serviceAccount": { "create": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<ALB_IRSA_ROLE>" } },
    "jumpstartGatedModelDownloadRoleArn": "arn:aws:iam::<ACCOUNT>:role/<JUMPSTART_ROLE>"
  }'

Jika add-on sudah diinstal pada cluster, ganti create-addon dengan update-addon dan tambahkan--resolve-conflicts OVERWRITE. Sisa perintah tidak berubah. OVERWRITEmenerapkan nilai konfigurasi dalam perintah atas konfigurasi add-on yang ada.

Konfirmasikan bahwa pengontrol gateway sedang berjalan dan sumber daya gateway terdaftar.

kubectl rollout status deploy/inference-gateway-controller \
  -n hyperpod-inference-system --timeout=150s

kubectl get crd inferencegatewayconfigs.inference.sagemaker.aws.amazon.com

kubectl get gatewayclass inference-gateway

Konfirmasikan bahwa add-on itu sendiri aktif dan tidak melaporkan masalah kesehatan.

aws eks describe-addon \
  --cluster-name $CLUSTER --region $REGION \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --query 'addon.{version:addonVersion,status:status,health:health.issues}'

Integrasi dengan HyperPod Operator Inferensi

Operator HyperPod Inferensi dan Gerbang Inferensi memiliki tanggung jawab yang berbeda. Operator memiliki penyebaran model, orkestrasi, dan kabel yang menempelkan model ke gateway. Gateway memiliki perutean permintaan dan menghasilkan sumber daya perutean untuk setiap penjadwal. Untuk informasi selengkapnya tentang penerapan model dengan operator, lihatMenerapkan model di Amazon SageMaker HyperPod.

Anda melampirkan model ke gateway melalui operator, pada sumber daya model InferenceEndpointConfig (atauJumpStartModel), menggunakan spec.inferenceGateway bidang:

Cuplikan berikut menunjukkan inferenceGateway keikutsertaan pada sumber daya. InferenceEndpointConfig

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
spec:
  # ... model deployment fields ...
  inferenceGateway:
    enabled: true
    name: my-gateway        # Optional. When empty, the operator generates inf-igw-<uuid>.

Operator mencerminkan status lampiran pada sumber daya model di bawahstatus.inferenceGateway, yang melaporkan State dariPending,Ready, atauFailed, dan Name terlampirInferenceGatewayConfig. Anda tidak dapat mengatur inferenceGateway.enabled bersama dengan intelligentRoutingSpec.enabled model yang sama; bidang-bidang ini saling eksklusif.

Ketika gateway diaktifkan untuk model, operator membuat atau memperbarui InferenceGatewayConfig sumber daya tunggal dan menggabungkan entri untuk model ke dalam spec.schedulers daftarnya. Operator menetapkan schedulername,, modelNametargetPort, danmodelSelector, dan default scheduler ke llm-d saat pertama kali membuat entri. Pada rekonsiliasi selanjutnya, operator mempertahankan nilai-nilai yang disediakan pelanggan seperti,, dan. scheduler weights loraAdapters Body-BasedRouter diaktifkan secara otomatis ketika ada lebih dari satu penjadwal.

Operator tidak menghapus InferenceGatewayConfig sumber daya atau sumber daya routing hilir. Saat Anda menonaktifkan gateway untuk model atau menghapus model, operator hanya menghapus entri penjadwal model tersebut. Pengontrol gateway memiliki pembersihan sumber daya perutean.

Anda dapat menulis InferenceGatewayConfig dalam dua cara, dan dua jalur hidup berdampingan pada sumber daya yang sama:

Komponen gateway dan InferenceGatewayConfig CRD harus diinstal melalui add-on HyperPod Inference Amazon EKS sebelum sumber daya model dengan gateway diaktifkan dapat direkonsiliasi. Untuk instalasi add-on operator, lihatMenginstal Operator Inferensi dengan add-on EKS. Untuk menerapkan pod yang melayani model yang dirutekan oleh penjadwal, lihat. Menyebarkan model pondasi dan model yang disesuaikan khusus

InferenceGatewayConfig Referensi CRD

Anda mengonfigurasi Inference Gateway dengan satu sumber daya InferenceGatewayConfig kustom. Sumber daya adalah singleton untuk gateway tertentu: ia memegang konfigurasi Body-Based Router bersama dan daftar penjadwal per-model. Pengontrol menghasilkan sumber daya yang mendasariInferencePool, Endpoint Picker, HttpRoute, dan EnvoyExtensionPolicy sumber daya untuk setiap penjadwal; Anda hanya membuat sumber daya. InferenceGatewayConfig

bidang spesifikasi

specBidang InferenceGatewayConfig sumber daya berisi konfigurasi Body-Based Router bersama, pengaturan TLS, daftar penjadwal yang diperlukan, dan observabilitas opsional dan pengaturan pod-default.

SchedulerSpec bidang

Setiap entri dalam spec.schedulers mengonfigurasi pemilihan routing dan endpoint untuk satu model. Penjadwal memberi nama yang dihasilkanInferencePool, Endpoint Picker, HttpRoute, dan sumber daya. EnvoyExtensionPolicy

Aturan validasi

Sumber InferenceGatewayConfig daya memberlakukan aturan validasi berikut. Sumber daya yang melanggar salah satu aturan ini ditolak.

bidang status

Pengontrol melaporkan status gateway yang diamati di status subsumber daya.

Izin Kubernetes RBAC

Inference Gateway berjalan sebagai pengontrol tunggal di bawah akun inference-gateway-controller layanan Kubernetes di namespace. hyperpod-inference-system Body-Based Router, Endpoint Pickers per-scheduler, controller Gateway, dan InferenceGatewayConfig reconciler semuanya berjalan di bawah controller yang satu ini. Izin dengan cakupan klaster diberikan oleh nama dan pencocokan. ClusterRole sagemaker-inference-gateway-controller-supplement ClusterRoleBinding Bersama-sama mereka melengkapi akun layanan dan izin yang sudah disediakan bagan Gateway yang dibundel. Izin ini tercakup dan paling tidak memiliki hak istimewa, dan pengontrol tidak berjalan sebagai administrator klaster.

Tabel berikut mencantumkan izin cakupan cluster controller, dikelompokkan berdasarkan tujuan. Dalam tabel ini, akses penuh berarticreate,get,list,watch, updatepatch, dan delete kata kerja.

Pengontrol juga membuat peran namespaced berikut saat runtime, tergantung pada konfigurasi gateway Anda:

Beberapa izin ini hanya berlaku ketika fitur yang sesuai diaktifkan.

Observabilitas

Inference Gateway memancarkan metrik Prometheus dari setiap komponen gateway. Baik Body-Based Router dan masing-masing Endpoint Picker mengekspos endpoint Prometheus standar pada pod mereka. /metrics Body-Based Pod router berjalan di hyperpod-inference-system namespace; Pod Endpoint Picker berjalan di namespace yang sama dengan. InferenceGatewayConfig Metrik mencakup penghitung dan durasi permintaan per model, latensi penjadwalan dan waktu eksekusi per plugin di dalam Endpoint Picker, dan metrik kumpulan agregat seperti pemanfaatan cache KV rata-rata dan kedalaman antrian. Model-server Metrik pod (misalnya, dari VllM atau SGLang) dipancarkan oleh server model itu sendiri; Endpoint Picker menggoresnya untuk mencetak pod kandidat.

spec.observability.metrics.enabledKapan true (default), pengontrol gateway menyuntikkan sespan OpenTelemetry Kolektor ke setiap pod Body-Based Router dan Endpoint Picker. Sidecar meneruskan metrik ini ke tumpukan observabilitas HyperPod inferensi, di mana dasbor Grafana bawaan memunculkannya di samping metrik model-server dan cluster. Untuk detail penyiapan dan dasbor, lihatMenerapkan observabilitas inferensi pada cluster HyperPod. Atur bidang false untuk melewati injeksi sespan. Untuk referensi bidang, lihat observability di bawahbidang spesifikasi.

Untuk melihat metrik gateway di Grafana Terkelola Amazon, buka folder Dasbor Inferensi dan pilih dasbor Inference Gateway. Dasbor melaporkan ketersediaan di seluruh gateway, tingkat permintaan, dan latensi ujung ke ujung, throughput per penjadwal, latensi, dan kesalahan untuk setiap model, dan tingkat di mana Router menyelesaikan nama model dari badan permintaan. Body-Based

Contoh

Contoh berikut menunjukkan InferenceGatewayConfig konfigurasi umum dan cara memanggil gateway.

Konfigurasi multi-model minimal

Contoh ini merutekan ke penjadwal llm-d dengan TLS yang dikeluarkan secara otomatis. Karena tls disetel ke objek kosong, gateway mengeluarkan sertifikat secara otomatis dan mengimpornya ke ACM.

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceGatewayConfig
metadata:
  name: inference-gateway-demo
  namespace: inference-gateway
spec:
  bbr:
    enabled: true
  tls: {}                       # Auto-issue a certificate via cert-manager and import to ACM.
  schedulers:
    - name: llama
      modelName: "meta-llama/Llama-3.2-1B-Instruct"
      modelSelector:
        matchLabels:
          app: vllm-llama
      targetPort: 8000
      scheduler: llm-d

Penjadwal SGlang dengan bobot eksplisit

Contoh ini menggunakan tipe epp scheduler dengan sglang engine dan menetapkan bobot penilaian Endpoint Picker eksplisit.

spec:
  bbr:
    enabled: true
  schedulers:
    - name: qwen7b
      modelName: "Qwen/Qwen2.5-7B-Instruct"
      modelSelector:
        matchLabels:
          app: sglang-qwen7b
      targetPort: 8000
      scheduler: epp
      engineType: sglang
      logLevel: 4
      weights:
        kvCache: 2
        prefix: 3
        runningRequests: 2

Adaptor LoRa ConfigMap

Body-Based Router menemukan adaptor LoRa dan model dasarnya dari ConfigMap label untuk manajemen BBR. Router menggunakan pemetaan ini untuk menyelesaikan nama adaptor di badan permintaan ke model dasarnya.

apiVersion: v1
kind: ConfigMap
metadata:
  name: deepseek-adapters
  labels:
    inference.networking.k8s.io/bbr-managed: "true"
data:
  baseModel: deepseek/vllm-deepseek-r1
  adapters: |
    - ski-resorts
    - movie-critique

Memanggil gateway

Gateway melayani titik akhir OpenAI-compatible inferensi. Ini adalah kontrak pemanggilan runtime untuk mengirim permintaan inferensi melalui gateway; ini bukan operasi API. AWS Kirim permintaan ke titik akhir gateway dengan model bidang yang disetel ke modelName penjadwal target. Body-Based Router membaca bidang ini untuk merutekan permintaan.

curl https://your-gateway-endpoint/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-8B-Instruct",
    "messages": [
      {"role": "user", "content": "Hello"}
    ]
  }'