Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menyiapkan HyperPod cluster Anda untuk penerapan model
Panduan ini menunjukkan cara mengaktifkan kemampuan inferensi di SageMaker HyperPod kluster Amazon. Anda akan menyiapkan infrastruktur, izin, dan operator yang dibutuhkan oleh insinyur pembelajaran mesin untuk menerapkan dan mengelola titik akhir inferensi.
**catatan**
Untuk membuat cluster dengan operator inferensi yang sudah diinstal sebelumnya, lihat. [Buat cluster yang diatur EKS SageMaker HyperPod](sagemaker-hyperpod-quickstart.md#sagemaker-hyperpod-quickstart-eks) Untuk menginstal operator inferensi pada cluster yang ada, lanjutkan dengan prosedur berikut.
Anda dapat menginstal operator inferensi menggunakan konsol SageMaker AI untuk pengalaman yang efisien, atau menggunakan AWS CLI untuk kontrol lebih lanjut. Panduan ini mencakup kedua metode instalasi.
## Metode 1: Instal Add-on HyperPod Inferensi melalui konsol SageMaker AI (Disarankan)
Konsol SageMaker AI memberikan pengalaman paling efisien dengan dua opsi instalasi:
+ **Instalasi Cepat:** Secara otomatis membuat semua sumber daya yang diperlukan dengan default yang dioptimalkan, termasuk peran IAM, bucket Amazon S3, dan add-on dependensi. Domain Studio baru akan dibuat dengan izin yang diperlukan untuk menerapkan JumpStart model ke cluster yang relevan. Opsi ini sangat ideal untuk memulai dengan cepat dengan keputusan konfigurasi minimal.
+ **Pemasangan Kustom:** Memberikan fleksibilitas untuk menentukan sumber daya yang ada atau menyesuaikan konfigurasi sambil mempertahankan pengalaman satu klik. Pelanggan dapat memilih untuk menggunakan kembali peran IAM yang ada, bucket Amazon S3, atau add-on dependensi berdasarkan persyaratan organisasi mereka.
### Prasyarat
+ HyperPod Cluster yang ada dengan orkestrasi Amazon EKS
+ Izin IAM untuk administrasi klaster Amazon EKS
+ kubectl dikonfigurasi untuk akses klaster
### Langkah-langkah instalasi
1. Arahkan ke konsol SageMaker AI dan buka **HyperPod Cluster** → **Manajemen Cluster**.
1. Pilih klaster Anda di mana Anda ingin menginstal Operator Inferensi.
1. Arahkan ke tab **Inferensi**. Pilih **Instal Cepat** untuk pengaturan otomatis atau **Instal Kustom** untuk fleksibilitas konfigurasi.
1. Jika memilih Instal Kustom, tentukan sumber daya yang ada atau sesuaikan pengaturan sesuai kebutuhan.
1. Klik **Instal** untuk memulai proses instalasi otomatis.
1. Verifikasi status instalasi melalui konsol, atau dengan menjalankan perintah berikut:
```
kubectl get pods -n hyperpod-inference-system
```
```
aws eks describe-addon --cluster-name CLUSTER-NAME --addon-name amazon-sagemaker-hyperpod-inference --region REGION
```
Setelah add-on berhasil diinstal, Anda dapat menerapkan model menggunakan dokumentasi penerapan model atau menavigasi ke. [Verifikasi operator inferensi bekerja](#sagemaker-hyperpod-model-deployment-setup-verify)
## Metode 2: Menginstal Operator Inferensi menggunakan CLI AWS
Metode instalasi AWS CLI memberikan kontrol lebih besar atas proses instalasi dan cocok untuk otomatisasi dan konfigurasi lanjutan.
### Prasyarat
Operator inferensi memungkinkan penerapan dan pengelolaan titik akhir inferensi pembelajaran mesin di klaster Amazon EKS Anda. Sebelum instalasi, pastikan klaster Anda memiliki konfigurasi keamanan yang diperlukan dan infrastruktur pendukung. Selesaikan langkah-langkah ini untuk mengonfigurasi peran IAM, menginstal AWS Load Balancer Controller, menyiapkan driver Amazon S3 dan FSx Amazon CSI, serta menerapkan KEDA dan cert-manager:
1. [Connect ke cluster Anda dan atur variabel lingkungan](#sagemaker-hyperpod-model-deployment-setup-connect-addon)
1. [Konfigurasikan peran IAM untuk operator inferensi](#sagemaker-hyperpod-model-deployment-setup-prepare-addon)
1. [Buat peran ALB Controller](#sagemaker-hyperpod-model-deployment-setup-alb-addon)
1. [Buat peran operator KEDA](#sagemaker-hyperpod-model-deployment-setup-keda-addon)
1. [Instal ketergantungan EKS Add-Ons](#sagemaker-hyperpod-model-deployment-setup-install-dependencies)
**catatan**
Atau, Anda dapat menggunakan CloudFormation template untuk mengotomatiskan pengaturan prasyarat. Untuk informasi selengkapnya, lihat [Menggunakan CloudFormation template untuk membuat tumpukan prasyarat](#sagemaker-hyperpod-model-deployment-setup-cfn).
### Connect ke cluster Anda dan atur variabel lingkungan
Sebelum melanjutkan, verifikasi bahwa AWS kredensil Anda dikonfigurasi dengan benar dan memiliki izin yang diperlukan. Jalankan langkah-langkah berikut menggunakan prinsipal IAM dengan hak Administrator dan akses Admin Cluster ke klaster Amazon EKS. Pastikan Anda telah membuat HyperPod cluster dengan[Membuat SageMaker HyperPod cluster dengan orkestrasi Amazon EKS](sagemaker-hyperpod-eks-operate-console-ui-create-cluster.md). Instal utilitas baris perintah helm, eksctl, dan kubectl.
Untuk akses administratif Kubernetes ke klaster Amazon EKS, buka konsol Amazon EKS dan pilih klaster Anda. Di tab **Access**, pilih **Entri Akses IAM**. Jika tidak ada entri untuk prinsipal IAM Anda, pilih **Buat Entri Akses**. Pilih prinsipal IAM yang diinginkan dan kaitkan `AmazonEKSClusterAdminPolicy` dengan itu.
1. Konfigurasikan kubectl untuk terhubung ke HyperPod cluster yang baru dibuat yang diatur oleh klaster Amazon EKS. Tentukan nama Region dan HyperPod cluster.
```
export HYPERPOD_CLUSTER_NAME=
export REGION=
# S3 bucket where tls certificates will be uploaded
export BUCKET_NAME="hyperpod-tls-" # Bucket should have prefix: hyperpod-tls-*
export EKS_CLUSTER_NAME=$(aws --region $REGION sagemaker describe-cluster --cluster-name $HYPERPOD_CLUSTER_NAME \
--query 'Orchestrator.Eks.ClusterArn' --output text | \
cut -d'/' -f2)
aws eks update-kubeconfig --name $EKS_CLUSTER_NAME --region $REGION
```
**catatan**
Jika menggunakan nama bucket khusus yang tidak dimulai`hyperpod-tls-`, lampirkan kebijakan berikut ke peran eksekusi Anda:
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "TLSBucketDeleteObjectsPermission",
"Effect": "Allow",
"Action": ["s3:DeleteObject"],
"Resource": ["arn:aws:s3:::${BUCKET_NAME}/*"],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TLSBucketGetObjectAccess",
"Effect": "Allow",
"Action": ["s3:GetObject"],
"Resource": ["arn:aws:s3:::${BUCKET_NAME}/*"]
},
{
"Sid": "TLSBucketPutObjectAccess",
"Effect": "Allow",
"Action": ["s3:PutObject", "s3:PutObjectTagging"],
"Resource": ["arn:aws:s3:::${BUCKET_NAME}/*"],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
1. Tetapkan variabel env default.
```
HYPERPOD_INFERENCE_ROLE_NAME="SageMakerHyperPodInference-$HYPERPOD_CLUSTER_NAME"
HYPERPOD_INFERENCE_NAMESPACE="hyperpod-inference-system"
```
1. Ekstrak nama klaster Amazon EKS dari ARN cluster, perbarui kubeconfig lokal, dan verifikasi konektivitas dengan mencantumkan semua pod di seluruh namespace.
```
kubectl get pods --all-namespaces
```
1. (Opsional) Instal plugin perangkat NVIDIA untuk mengaktifkan dukungan GPU di cluster.
```
# Install nvidia device plugin
kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.5/nvidia-device-plugin.yml
# Verify that GPUs are visible to k8s
kubectl get nodes -o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia.com/gpu
```
### Konfigurasikan peran IAM untuk operator inferensi
1. Kumpulkan pengidentifikasi AWS sumber daya penting dan ARNs diperlukan untuk mengonfigurasi integrasi layanan antara komponen Amazon EKS, SageMaker AI, dan IAM.
```
%%bash -x
export ACCOUNT_ID=$(aws --region $REGION sts get-caller-identity --query 'Account' --output text)
export OIDC_ID=$(aws --region $REGION eks describe-cluster --name $EKS_CLUSTER_NAME --query "cluster.identity.oidc.issuer" --output text | cut -d '/' -f 5)
export EKS_CLUSTER_ROLE=$(aws eks --region $REGION describe-cluster --name $EKS_CLUSTER_NAME --query 'cluster.roleArn' --output text)
```
1. Kaitkan OIDCidentity penyedia IAM dengan kluster EKS Anda.
```
eksctl utils associate-iam-oidc-provider --region=$REGION --cluster=$EKS_CLUSTER_NAME --approve
```
1. Buat kebijakan kepercayaan yang diperlukan untuk peran IAM operator HyperPod inferensi. Kebijakan ini memungkinkan komunikasi lintas layanan yang aman antara Amazon EKS, SageMaker AI, dan AWS layanan lainnya.
```
%%bash -x
# Create trust policy JSON
cat << EOF > trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"sagemaker.amazonaws.com"
]
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::${ACCOUNT_ID}:oidc-provider/oidc.eks.${REGION}.amazonaws.com/id/${OIDC_ID}"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.${REGION}.amazonaws.com/id/${OIDC_ID}:aud": "sts.amazonaws.com",
"oidc.eks.${REGION}.amazonaws.com/id/${OIDC_ID}:sub": "system:serviceaccount:hyperpod-inference-system:hyperpod-inference-controller-manager"
}
}
}
]
}
EOF
```
1. Buat Peran eksekusi untuk operator inferensi.
```
aws iam create-role --role-name $HYPERPOD_INFERENCE_ROLE_NAME --assume-role-policy-document file://trust-policy.json
aws iam attach-role-policy --role-name $HYPERPOD_INFERENCE_ROLE_NAME --policy-arn arn:aws:iam::aws:policy/AmazonSageMakerHyperPodInferenceAccess
```
1. Buat namespace untuk sumber daya operator inferensi
```
kubectl create namespace $HYPERPOD_INFERENCE_NAMESPACE
```
### Buat peran ALB Controller
1. Buat kebijakan kepercayaan dan kebijakan izin.
```
# Create trust policy
cat < /tmp/alb-trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::$ACCOUNT_ID:oidc-provider/oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:sub": "system:serviceaccount:hyperpod-inference-system:aws-load-balancer-controller",
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:aud": "sts.amazonaws.com"
}
}
}
]
}
EOF
# Create permissions policy
export ALBController_IAM_POLICY_NAME=HyperPodInferenceALBControllerIAMPolicy
curl -o AWSLoadBalancerControllerIAMPolicy.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.13.0/docs/install/iam_policy.json
# Create the role
aws iam create-role \
--role-name alb-role \
--assume-role-policy-document file:///tmp/alb-trust-policy.json
# Create the policy
ALB_POLICY_ARN=$(aws iam create-policy \
--policy-name $ALBController_IAM_POLICY_NAME \
--policy-document file://AWSLoadBalancerControllerIAMPolicy.json \
--query 'Policy.Arn' \
--output text)
# Attach the policy to the role
aws iam attach-role-policy \
--role-name alb-role \
--policy-arn $ALB_POLICY_ARN
```
1. Terapkan Tags (`kubernetes.io.role/elb`) ke semua subnet di klaster Amazon EKS (baik publik maupun pribadi).
```
export VPC_ID=$(aws --region $REGION eks describe-cluster --name $EKS_CLUSTER_NAME --query 'cluster.resourcesVpcConfig.vpcId' --output text)
# Add Tags
aws ec2 describe-subnets \
--filters "Name=vpc-id,Values=${VPC_ID}" "Name=map-public-ip-on-launch,Values=true" \
--query 'Subnets[*].SubnetId' --output text | \
tr '\t' '\n' | \
xargs -I{} aws ec2 create-tags --resources {} --tags Key=kubernetes.io/role/elb,Value=1
# Verify Tags are added
aws ec2 describe-subnets \
--filters "Name=vpc-id,Values=${VPC_ID}" "Name=map-public-ip-on-launch,Values=true" \
--query 'Subnets[*].SubnetId' --output text | \
tr '\t' '\n' |
xargs -n1 -I{} aws ec2 describe-tags --filters "Name=resource-id,Values={}" "Name=key,Values=kubernetes.io/role/elb" --query "Tags[0].Value" --output text
```
1. Buat VPC Endpoint Amazon S3.
```
aws ec2 create-vpc-endpoint \
--region ${REGION} \
--vpc-id ${VPC_ID} \
--vpc-endpoint-type Gateway \
--service-name "com.amazonaws.${REGION}.s3" \
--route-table-ids $(aws ec2 describe-route-tables --region $REGION --filters "Name=vpc-id,Values=${VPC_ID}" --query 'RouteTables[].Associations[].RouteTableId' --output text | tr ' ' '\n' | sort -u | tr '\n' ' ')
```
### Buat peran operator KEDA
1. Buat kebijakan kepercayaan dan kebijakan izin.
```
# Create trust policy
cat < /tmp/keda-trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::$ACCOUNT_ID:oidc-provider/oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:sub": "system:serviceaccount:hyperpod-inference-system:keda-operator",
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:aud": "sts.amazonaws.com"
}
}
}
]
}
EOF
# Create permissions policy
cat < /tmp/keda-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"cloudwatch:GetMetricData",
"cloudwatch:GetMetricStatistics",
"cloudwatch:ListMetrics"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"aps:QueryMetrics",
"aps:GetLabels",
"aps:GetSeries",
"aps:GetMetricMetadata"
],
"Resource": "*"
}
]
}
EOF
# Create the role
aws iam create-role \
--role-name keda-operator-role \
--assume-role-policy-document file:///tmp/keda-trust-policy.json
# Create the policy
KEDA_POLICY_ARN=$(aws iam create-policy \
--policy-name KedaOperatorPolicy \
--policy-document file:///tmp/keda-policy.json \
--query 'Policy.Arn' \
--output text)
# Attach the policy to the role
aws iam attach-role-policy \
--role-name keda-operator-role \
--policy-arn $KEDA_POLICY_ARN
```
1. Jika Anda menggunakan model terjaga keamanannya, buat peran IAM untuk mengakses model yang terjaga keamanannya.
1. Buat kebijakan IAM.
```
%%bash -s $REGION
JUMPSTART_GATED_ROLE_NAME="JumpstartGatedRole-${REGION}-${HYPERPOD_CLUSTER_NAME}"
cat < /tmp/trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::$ACCOUNT_ID:oidc-provider/oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:sub": "system:serviceaccount:*:hyperpod-inference-service-account*",
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:aud": "sts.amazonaws.com"
}
}
},
{
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
EOF
```
1. Buat peran IAM.
```
# Create the role using existing trust policy
aws iam create-role \
--role-name $JUMPSTART_GATED_ROLE_NAME \
--assume-role-policy-document file:///tmp/trust-policy.json
aws iam attach-role-policy \
--role-name $JUMPSTART_GATED_ROLE_NAME \
--policy-arn arn:aws:iam::aws:policy/AmazonSageMakerHyperPodGatedModelAccess
```
```
JUMPSTART_GATED_ROLE_ARN_LIST= !aws iam get-role --role-name=$JUMPSTART_GATED_ROLE_NAME --query "Role.Arn" --output text
JUMPSTART_GATED_ROLE_ARN = JUMPSTART_GATED_ROLE_ARN_LIST[0]
!echo $JUMPSTART_GATED_ROLE_ARN
```
### Instal ketergantungan EKS Add-Ons
Sebelum menginstal operator inferensi, Anda harus menginstal add-on EKS yang diperlukan berikut di cluster Anda. Operator inferensi akan gagal menginstal jika salah satu dependensi ini hilang. Setiap add-on memiliki persyaratan versi minimum untuk kompatibilitas dengan add-on Inference.
**penting**
Instal semua add-on dependensi sebelum mencoba menginstal operator inferensi. Dependensi yang hilang akan menyebabkan kegagalan instalasi dengan pesan kesalahan tertentu.
#### Pengaya yang Diperlukan
1. **Driver Amazon S3 Mountpoint CSI** (versi minimum: v1.14.1-eksbuild.1)
Diperlukan untuk memasang bucket S3 sebagai volume persisten dalam beban kerja inferensi.
```
aws eks create-addon \
--cluster-name $EKS_CLUSTER_NAME \
--addon-name aws-mountpoint-s3-csi-driver \
--region $REGION \
--service-account-role-arn $S3_CSI_ROLE_ARN
```
Untuk petunjuk penginstalan terperinci termasuk izin IAM yang diperlukan, lihat driver [Mountpoint for Amazon S3 CSI](https://docs.aws.amazon.com/eks/latest/userguide/workloads-add-ons-available-eks.html#mountpoint-for-s3-add-on).
1. **Driver Amazon FSx CSI** (versi minimum: v1.6.0-eksbuild.1)
Diperlukan untuk memasang sistem FSx file untuk penyimpanan model berkinerja tinggi.
```
aws eks create-addon \
--cluster-name $EKS_CLUSTER_NAME \
--addon-name aws-fsx-csi-driver \
--region $REGION \
--service-account-role-arn $FSX_CSI_ROLE_ARN
```
Untuk petunjuk penginstalan terperinci termasuk izin IAM yang diperlukan, lihat driver [Amazon FSx untuk Lustre](https://docs.aws.amazon.com/eks/latest/userguide/workloads-add-ons-available-eks.html#add-ons-aws-fsx-csi-driver) CSI.
1. **Server Metrik** (versi minimum: v0.7.2-eksbuild.4)
Diperlukan untuk fungsionalitas penskalaan otomatis dan pengumpulan metrik sumber daya.
```
aws eks create-addon \
--cluster-name $EKS_CLUSTER_NAME \
--addon-name metrics-server \
--region $REGION
```
Untuk petunjuk penginstalan terperinci, lihat [Server Metrik](https://docs.aws.amazon.com/eks/latest/userguide/metrics-server.html).
1. **Manajer Sertifikat** (versi minimum: v1.18.2-eksbuild.2)
Diperlukan untuk manajemen sertifikat TLS untuk titik akhir inferensi yang aman.
```
aws eks create-addon \
--cluster-name $EKS_CLUSTER_NAME \
--addon-name cert-manager \
--region $REGION
```
Untuk petunjuk penginstalan terperinci, lihat [manajer sertifikat](https://docs.aws.amazon.com/eks/latest/userguide/community-addons.html#addon-cert-manager).
#### Verifikasi Instalasi Add-on
Setelah menginstal add-on yang diperlukan, verifikasi bahwa mereka berjalan dengan benar:
```
# Check add-on status
aws eks describe-addon --cluster-name $EKS_CLUSTER_NAME --addon-name aws-mountpoint-s3-csi-driver --region $REGION
aws eks describe-addon --cluster-name $EKS_CLUSTER_NAME --addon-name aws-fsx-csi-driver --region $REGION
aws eks describe-addon --cluster-name $EKS_CLUSTER_NAME --addon-name metrics-server --region $REGION
aws eks describe-addon --cluster-name $EKS_CLUSTER_NAME --addon-name cert-manager --region $REGION
# Verify pods are running
kubectl get pods -n kube-system | grep -E "(mountpoint|fsx|metrics-server)"
kubectl get pods -n cert-manager
```
Semua add-on harus menampilkan status “ACTIVE” dan semua pod harus dalam status “Running” sebelum melanjutkan dengan instalasi operator inferensi.
**catatan**
Jika Anda membuat HyperPod klaster menggunakan opsi penyiapan cepat atau pengaturan khusus, Driver FSx CSI dan Manajer Cert mungkin sudah diinstal. Verifikasi keberadaan mereka menggunakan perintah di atas.
### Menginstal Operator Inferensi dengan add-on EKS
Metode instalasi add-on EKS memberikan pengalaman terkelola dengan pembaruan otomatis dan validasi ketergantungan terintegrasi. Ini adalah pendekatan yang disarankan untuk menginstal operator inferensi.
**Instal add-on operator inferensi**
1. Siapkan konfigurasi add-on dengan mengumpulkan semua yang diperlukan ARNs dan membuat file konfigurasi:
```
# Gather required ARNs
export EXECUTION_ROLE_ARN=$(aws iam get-role --role-name $HYPERPOD_INFERENCE_ROLE_NAME --query "Role.Arn" --output text)
export HYPERPOD_CLUSTER_ARN=$(aws sagemaker describe-cluster --cluster-name $HYPERPOD_CLUSTER_NAME --region $REGION --query "ClusterArn" --output text)
export KEDA_ROLE_ARN=$(aws iam get-role --role-name keda-operator-role --query 'Role.Arn' --output text)
export ALB_ROLE_ARN=$(aws iam get-role --role-name alb-role --query 'Role.Arn' --output text)
# Verify all ARNs are set correctly
echo "Execution Role ARN: $EXECUTION_ROLE_ARN"
echo "HyperPod Cluster ARN: $HYPERPOD_CLUSTER_ARN"
echo "KEDA Role ARN: $KEDA_ROLE_ARN"
echo "ALB Role ARN: $ALB_ROLE_ARN"
echo "TLS S3 Bucket: $BUCKET_NAME"
```
1. Buat file konfigurasi add-on dengan semua pengaturan yang diperlukan:
```
cat > addon-config.json << EOF
{
"executionRoleArn": "$EXECUTION_ROLE_ARN",
"tlsCertificateS3Bucket": "$BUCKET_NAME",
"hyperpodClusterArn": "$HYPERPOD_CLUSTER_ARN",
"jumpstartGatedModelDownloadRoleArn": "$JUMPSTART_GATED_ROLE_ARN",
"alb": {
"serviceAccount": {
"create": true,
"roleArn": "$ALB_ROLE_ARN"
}
},
"keda": {
"auth": {
"aws": {
"irsa": {
"roleArn": "$KEDA_ROLE_ARN"
}
}
}
}
}
EOF
# Verify the configuration file
cat addon-config.json
```
1. Instal add-on operator inferensi (versi minimum: v1.0.0-eksbuild.1):
```
aws eks create-addon \
--cluster-name $EKS_CLUSTER_NAME \
--addon-name amazon-sagemaker-hyperpod-inference \
--configuration-values file://addon-config.json \
--region $REGION
```
1. Pantau kemajuan instalasi dan verifikasi penyelesaian yang berhasil:
```
# Check installation status (repeat until status shows "ACTIVE")
aws eks describe-addon \
--cluster-name $EKS_CLUSTER_NAME \
--addon-name amazon-sagemaker-hyperpod-inference \
--region $REGION \
--query "addon.{Status:status,Health:health}" \
--output table
# Verify pods are running
kubectl get pods -n hyperpod-inference-system
# Check operator logs for any issues
kubectl logs -n hyperpod-inference-system deployment/hyperpod-inference-controller-manager --tail=50
```
Untuk pemecahan masalah penginstalan secara mendetail, lihat. [HyperPod pemecahan masalah inferensi](sagemaker-hyperpod-model-deployment-ts.md)
Untuk memverifikasi operator inferensi bekerja dengan benar, lanjutkan ke[Verifikasi operator inferensi bekerja](#sagemaker-hyperpod-model-deployment-setup-verify).
### Menggunakan CloudFormation template untuk membuat tumpukan prasyarat
Sebagai alternatif untuk mengonfigurasi prasyarat secara manual, Anda dapat menggunakan CloudFormation templat untuk mengotomatiskan pembuatan peran dan kebijakan IAM yang diperlukan untuk operator inferensi.
1. Mengatur variabel input. Ganti nilai placeholder dengan milik Anda sendiri:
```
#!/bin/bash
set -e
# ===== INPUT VARIABLES =====
HP_CLUSTER_NAME="my-hyperpod-cluster" # Replace with your HyperPod cluster name
REGION="us-east-1" # Replace with your AWS region
PREFIX="my-prefix" # Replace with your resource prefix
SHORT_PREFIX="12a34d56" # Replace with your short prefix (maximum 8 characters)
CREATE_DOMAIN="true" # Set to "false" if you don't need a SageMaker Studio domain
STACK_NAME="hyperpod-inference-prerequisites" # Replace with your stack name
TEMPLATE_URL="https://aws-sagemaker-hyperpod-cluster-setup-${REGION}-prod.s3.${REGION}.amazonaws.com/templates/main-stack-inference-operator-addon-template.yaml"
```
1. Dapatkan informasi cluster dan jaringan:
```
# ===== DERIVE EKS CLUSTER NAME =====
EKS_CLUSTER_NAME=$(aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME --region $REGION --query 'Orchestrator.Eks.ClusterArn' --output text | awk -F'/' '{print $NF}')
echo "EKS_CLUSTER_NAME=$EKS_CLUSTER_NAME"
# ===== GET VPC AND OIDC =====
VPC_ID=$(aws eks describe-cluster --name $EKS_CLUSTER_NAME --region $REGION --query 'cluster.resourcesVpcConfig.vpcId' --output text)
echo "VPC_ID=$VPC_ID"
OIDC_PROVIDER=$(aws eks describe-cluster --name $EKS_CLUSTER_NAME --region $REGION --query 'cluster.identity.oidc.issuer' --output text | sed 's|https://||')
echo "OIDC_PROVIDER=$OIDC_PROVIDER"
# ===== GET PRIVATE ROUTE TABLES =====
ALL_ROUTE_TABLES=$(aws ec2 describe-route-tables --region $REGION --filters "Name=vpc-id,Values=$VPC_ID" --query 'RouteTables[].RouteTableId' --output text)
EKS_PRIVATE_ROUTE_TABLES=""
for rtb in $ALL_ROUTE_TABLES; do
HAS_IGW=$(aws ec2 describe-route-tables --region $REGION --route-table-ids $rtb --query 'RouteTables[0].Routes[?GatewayId && starts_with(GatewayId, `igw-`)]' --output text 2>/dev/null)
if [ -z "$HAS_IGW" ]; then
EKS_PRIVATE_ROUTE_TABLES="${EKS_PRIVATE_ROUTE_TABLES:+$EKS_PRIVATE_ROUTE_TABLES,}$rtb"
fi
done
echo "EKS_PRIVATE_ROUTE_TABLES=$EKS_PRIVATE_ROUTE_TABLES"
# ===== CHECK S3 VPC ENDPOINT =====
S3_ENDPOINT_EXISTS=$(aws ec2 describe-vpc-endpoints --region $REGION --filters "Name=vpc-id,Values=$VPC_ID" "Name=service-name,Values=com.amazonaws.$REGION.s3" --query 'VpcEndpoints[0].VpcEndpointId' --output text)
CREATE_S3_ENDPOINT_STACK=$([ "$S3_ENDPOINT_EXISTS" == "None" ] && echo "true" || echo "false")
echo "CREATE_S3_ENDPOINT_STACK=$CREATE_S3_ENDPOINT_STACK"
# ===== GET HYPERPOD DETAILS =====
HYPERPOD_CLUSTER_ARN=$(aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME --region $REGION --query 'ClusterArn' --output text)
echo "HYPERPOD_CLUSTER_ARN=$HYPERPOD_CLUSTER_ARN"
# ===== GET DEFAULT VPC FOR DOMAIN =====
DOMAIN_VPC_ID=$(aws ec2 describe-vpcs --region $REGION --filters "Name=isDefault,Values=true" --query 'Vpcs[0].VpcId' --output text)
echo "DOMAIN_VPC_ID=$DOMAIN_VPC_ID"
DOMAIN_SUBNET_IDS=$(aws ec2 describe-subnets --region $REGION --filters "Name=vpc-id,Values=$DOMAIN_VPC_ID" --query 'Subnets[0].SubnetId' --output text)
echo "DOMAIN_SUBNET_IDS=$DOMAIN_SUBNET_IDS"
# ===== GET INSTANCE GROUPS =====
INSTANCE_GROUPS=$(aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME --region $REGION --query 'InstanceGroups[].InstanceGroupName' --output json | python3 -c "import sys, json; groups = json.load(sys.stdin); print('[' + ','.join([f'\\\\\\\"' + g + '\\\\\\\"' for g in groups]) + ']')")
echo "INSTANCE_GROUPS=$INSTANCE_GROUPS"
```
1. Buat file parameter dan terapkan tumpukan:
```
# ===== CREATE PARAMETERS JSON =====
cat > /tmp/cfn-params.json << EOF
[
{"ParameterKey":"ResourceNamePrefix","ParameterValue":"$PREFIX"},
{"ParameterKey":"ResourceNameShortPrefix","ParameterValue":"$SHORT_PREFIX"},
{"ParameterKey":"VpcId","ParameterValue":"$VPC_ID"},
{"ParameterKey":"EksPrivateRouteTableIds","ParameterValue":"$EKS_PRIVATE_ROUTE_TABLES"},
{"ParameterKey":"EKSClusterName","ParameterValue":"$EKS_CLUSTER_NAME"},
{"ParameterKey":"OIDCProviderURLWithoutProtocol","ParameterValue":"$OIDC_PROVIDER"},
{"ParameterKey":"HyperPodClusterArn","ParameterValue":"$HYPERPOD_CLUSTER_ARN"},
{"ParameterKey":"HyperPodClusterName","ParameterValue":"$HP_CLUSTER_NAME"},
{"ParameterKey":"CreateDomain","ParameterValue":"$CREATE_DOMAIN"},
{"ParameterKey":"DomainVpcId","ParameterValue":"$DOMAIN_VPC_ID"},
{"ParameterKey":"DomainSubnetIds","ParameterValue":"$DOMAIN_SUBNET_IDS"},
{"ParameterKey":"CreateS3EndpointStack","ParameterValue":"$CREATE_S3_ENDPOINT_STACK"},
{"ParameterKey":"TieredStorageConfig","ParameterValue":"{\"Mode\":\"Enable\",\"InstanceMemoryAllocationPercentage\":20}"},
{"ParameterKey":"TieredKVCacheConfig","ParameterValue":"{\"KVCacheMode\":\"Enable\",\"InstanceGroup\":$INSTANCE_GROUPS,\"NVMeMode\":\"Enable\"}"}
]
EOF
echo -e "\n===== CREATING CLOUDFORMATION STACK ====="
aws cloudformation create-stack \
--region $REGION \
--stack-name $STACK_NAME \
--template-url $TEMPLATE_URL \
--parameters file:///tmp/cfn-params.json \
--capabilities CAPABILITY_NAMED_IAM
```
1. Pantau status pembuatan tumpukan:
```
aws cloudformation describe-stacks \
--stack-name $STACK_NAME \
--region $REGION \
--query 'Stacks[0].StackStatus'
```
1. Setelah tumpukan berhasil dibuat, ambil nilai output untuk digunakan dalam instalasi operator inferensi:
```
aws cloudformation describe-stacks \
--stack-name $STACK_NAME \
--region $REGION \
--query 'Stacks[0].Outputs'
```
Setelah CloudFormation tumpukan dibuat, lanjutkan dengan [Menginstal Operator Inferensi dengan add-on EKS](#sagemaker-hyperpod-model-deployment-setup-install-inference-operator-addon) menginstal operator inferensi.
## Metode 3: Instalasi bagan helm
**catatan**
Untuk pengalaman instalasi yang paling sederhana, kami sarankan menggunakan [Metode 1: Instal Add-on HyperPod Inferensi melalui konsol SageMaker AI (Disarankan)](#sagemaker-hyperpod-model-deployment-setup-ui) atau[Metode 2: Menginstal Operator Inferensi menggunakan CLI AWS](#sagemaker-hyperpod-model-deployment-setup-addon). Instalasi bagan helm mungkin tidak digunakan lagi di rilis mendatang.
### Prasyarat
Sebelum melanjutkan, verifikasi bahwa AWS kredensil Anda dikonfigurasi dengan benar dan memiliki izin yang diperlukan. Langkah-langkah berikut harus dijalankan oleh prinsipal IAM dengan hak Administrator dan akses Admin Cluster ke kluster Amazon EKS. Verifikasi bahwa Anda telah membuat HyperPod klaster dengan[Membuat SageMaker HyperPod cluster dengan orkestrasi Amazon EKS](sagemaker-hyperpod-eks-operate-console-ui-create-cluster.md). Pastikan Anda telah menginstal utilitas baris perintah helm, eksctl, dan kubectl.
Untuk akses administratif Kubernetes ke klaster Amazon EKS, buka konsol Amazon EKS dan pilih cluster yang Anda gunakan. Lihat di tab **Access** dan pilih Entri Akses IAM. Jika tidak ada entri untuk prinsipal IAM Anda, pilih **Buat Entri Akses**. Kemudian pilih kepala IAM yang diinginkan dan kaitkan `AmazonEKSClusterAdminPolicy` dengan itu.
1. Konfigurasikan kubectl untuk terhubung ke HyperPod cluster yang baru dibuat yang diatur oleh klaster Amazon EKS. Tentukan nama Region dan HyperPod cluster.
```
export HYPERPOD_CLUSTER_NAME=
export REGION=
# S3 bucket where tls certificates will be uploaded
BUCKET_NAME="" # This should be bucket name, not URI
export EKS_CLUSTER_NAME=$(aws --region $REGION sagemaker describe-cluster --cluster-name $HYPERPOD_CLUSTER_NAME \
--query 'Orchestrator.Eks.ClusterArn' --output text | \
cut -d'/' -f2)
aws eks update-kubeconfig --name $EKS_CLUSTER_NAME --region $REGION
```
1. Tetapkan variabel env default.
```
LB_CONTROLLER_POLICY_NAME="AWSLoadBalancerControllerIAMPolicy-$HYPERPOD_CLUSTER_NAME"
LB_CONTROLLER_ROLE_NAME="aws-load-balancer-controller-$HYPERPOD_CLUSTER_NAME"
S3_MOUNT_ACCESS_POLICY_NAME="S3MountpointAccessPolicy-$HYPERPOD_CLUSTER_NAME"
S3_CSI_ROLE_NAME="SM_HP_S3_CSI_ROLE-$HYPERPOD_CLUSTER_NAME"
KEDA_OPERATOR_POLICY_NAME="KedaOperatorPolicy-$HYPERPOD_CLUSTER_NAME"
KEDA_OPERATOR_ROLE_NAME="keda-operator-role-$HYPERPOD_CLUSTER_NAME"
HYPERPOD_INFERENCE_ROLE_NAME="HyperpodInferenceRole-$HYPERPOD_CLUSTER_NAME"
HYPERPOD_INFERENCE_SA_NAME="hyperpod-inference-operator-controller"
HYPERPOD_INFERENCE_SA_NAMESPACE="hyperpod-inference-system"
JUMPSTART_GATED_ROLE_NAME="JumpstartGatedRole-$HYPERPOD_CLUSTER_NAME"
FSX_CSI_ROLE_NAME="AmazonEKSFSxLustreCSIDriverFullAccess-$HYPERPOD_CLUSTER_NAME"
```
1. Ekstrak nama klaster Amazon EKS dari ARN cluster, perbarui kubeconfig lokal, dan verifikasi konektivitas dengan mencantumkan semua pod di seluruh namespace.
```
kubectl get pods --all-namespaces
```
1. (Opsional) Instal plugin perangkat NVIDIA untuk mengaktifkan dukungan GPU di cluster.
```
#Install nvidia device plugin
kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.5/nvidia-device-plugin.yml
# Verify that GPUs are visible to k8s
kubectl get nodes -o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia.com/gpu
```
### Persiapkan lingkungan Anda untuk instalasi operator inferensi
1. Kumpulkan pengidentifikasi AWS sumber daya penting dan ARNs diperlukan untuk mengonfigurasi integrasi layanan antara komponen Amazon EKS, SageMaker AI, dan IAM.
```
%%bash -x
export ACCOUNT_ID=$(aws --region $REGION sts get-caller-identity --query 'Account' --output text)
export OIDC_ID=$(aws --region $REGION eks describe-cluster --name $EKS_CLUSTER_NAME --query "cluster.identity.oidc.issuer" --output text | cut -d '/' -f 5)
export EKS_CLUSTER_ROLE=$(aws eks --region $REGION describe-cluster --name $EKS_CLUSTER_NAME --query 'cluster.roleArn' --output text)
```
1. Kaitkan OIDCidentity penyedia IAM dengan kluster EKS Anda.
```
eksctl utils associate-iam-oidc-provider --region=$REGION --cluster=$EKS_CLUSTER_NAME --approve
```
1. Buat kebijakan kepercayaan yang diperlukan untuk peran IAM operator HyperPod inferensi. Kebijakan ini memungkinkan komunikasi lintas layanan yang aman antara Amazon EKS, SageMaker AI, dan AWS layanan lainnya.
```
%%bash -x
# Create trust policy JSON
cat << EOF > trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"sagemaker.amazonaws.com"
]
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::${ACCOUNT_ID}:oidc-provider/oidc.eks.${REGION}.amazonaws.com/id/${OIDC_ID}"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.${REGION}.amazonaws.com/id/${OIDC_ID}:aud": "sts.amazonaws.com",
"oidc.eks.${REGION}.amazonaws.com/id/${OIDC_ID}:sub": "system:serviceaccount:hyperpod-inference-system:hyperpod-inference-controller-manager"
}
}
}
]
}
EOF
```
1. Buat Peran eksekusi untuk operator inferensi dan lampirkan kebijakan terkelola.
```
aws iam create-role --role-name $HYPERPOD_INFERENCE_ROLE_NAME --assume-role-policy-document file://trust-policy.json
aws iam attach-role-policy --role-name $HYPERPOD_INFERENCE_ROLE_NAME --policy-arn arn:aws:iam::aws:policy/AmazonSageMakerHyperPodInferenceAccess
```
1. Unduh dan buat kebijakan IAM yang diperlukan untuk Load Balancer Controller untuk mengelola Application AWS Load Balancers dan Network Load Balancer di kluster EKS Anda.
```
%%bash -x
export ALBController_IAM_POLICY_NAME=HyperPodInferenceALBControllerIAMPolicy
curl -o AWSLoadBalancerControllerIAMPolicy.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.13.0/docs/install/iam_policy.json
aws iam create-policy --policy-name $ALBController_IAM_POLICY_NAME --policy-document file://AWSLoadBalancerControllerIAMPolicy.json
```
1. Buat akun layanan IAM yang menautkan akun layanan Kubernetes dengan kebijakan IAM, memungkinkan Load AWS Balancer Controller untuk mengambil izin yang AWS diperlukan melalui IRSA (IAM Roles for Service Accounts).
```
%%bash -x
export ALB_POLICY_ARN="arn:aws:iam::$ACCOUNT_ID:policy/$ALBController_IAM_POLICY_NAME"
# Create IAM service account with gathered values
eksctl create iamserviceaccount \
--approve \
--override-existing-serviceaccounts \
--name=aws-load-balancer-controller \
--namespace=kube-system \
--cluster=$EKS_CLUSTER_NAME \
--attach-policy-arn=$ALB_POLICY_ARN \
--region=$REGION
# Print the values for verification
echo "Cluster Name: $EKS_CLUSTER_NAME"
echo "Region: $REGION"
echo "Policy ARN: $ALB_POLICY_ARN"
```
1. Terapkan Tags (`kubernetes.io.role/elb`) ke semua subnet di klaster Amazon EKS (baik publik maupun pribadi).
```
export VPC_ID=$(aws --region $REGION eks describe-cluster --name $EKS_CLUSTER_NAME --query 'cluster.resourcesVpcConfig.vpcId' --output text)
# Add Tags
aws ec2 describe-subnets \
--filters "Name=vpc-id,Values=${VPC_ID}" "Name=map-public-ip-on-launch,Values=true" \
--query 'Subnets[*].SubnetId' --output text | \
tr '\t' '\n' | \
xargs -I{} aws ec2 create-tags --resources {} --tags Key=kubernetes.io/role/elb,Value=1
# Verify Tags are added
aws ec2 describe-subnets \
--filters "Name=vpc-id,Values=${VPC_ID}" "Name=map-public-ip-on-launch,Values=true" \
--query 'Subnets[*].SubnetId' --output text | \
tr '\t' '\n' |
xargs -n1 -I{} aws ec2 describe-tags --filters "Name=resource-id,Values={}" "Name=key,Values=kubernetes.io/role/elb" --query "Tags[0].Value" --output text
```
1. Buat Namespace untuk KEDA dan Cert Manager.
```
kubectl create namespace keda
kubectl create namespace cert-manager
```
1. Buat VPC Endpoint Amazon S3.
```
aws ec2 create-vpc-endpoint \
--vpc-id ${VPC_ID} \
--vpc-endpoint-type Gateway \
--service-name "com.amazonaws.${REGION}.s3" \
--route-table-ids $(aws ec2 describe-route-tables --filters "Name=vpc-id,Values=${VPC_ID}" --query 'RouteTables[].Associations[].RouteTableId' --output text | tr ' ' '\n' | sort -u | tr '\n' ' ')
```
1. Konfigurasikan akses penyimpanan S3:
1. Buat kebijakan IAM yang memberikan izin S3 yang diperlukan untuk menggunakan Mountpoint untuk Amazon S3, yang memungkinkan akses sistem file ke bucket S3 dari dalam cluster.
```
%%bash -x
export S3_CSI_BUCKET_NAME=“”
cat < s3accesspolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "MountpointAccess",
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::${S3_CSI_BUCKET_NAME}",
"arn:aws:s3:::${S3_CSI_BUCKET_NAME}/*"
]
}
]
}
EOF
aws iam create-policy \
--policy-name S3MountpointAccessPolicy \
--policy-document file://s3accesspolicy.json
cat < s3accesstrustpolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::$ACCOUNT_ID:oidc-provider/oidc.eks.$REGION.amazonaws.com/id/${OIDC_ID}"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"oidc.eks.$REGION.amazonaws.com/id/${OIDC_ID}:aud": "sts.amazonaws.com",
"oidc.eks.$REGION.amazonaws.com/id/${OIDC_ID}:sub": "system:serviceaccount:kube-system:${s3-csi-driver-sa}"
}
}
}
]
}
EOF
aws iam create-role --role-name $S3_CSI_ROLE_NAME --assume-role-policy-document file://s3accesstrustpolicy.json
aws iam attach-role-policy --role-name $S3_CSI_ROLE_NAME --policy-arn "arn:aws:iam::$ACCOUNT_ID:policy/S3MountpointAccessPolicy"
```
1. (Opsional) Buat akun layanan IAM untuk driver Amazon S3 CSI. Driver Amazon S3 CSI memerlukan akun layanan IAM dengan izin yang sesuai untuk memasang bucket S3 sebagai volume persisten di cluster Amazon EKS Anda. Langkah ini membuat peran IAM dan akun layanan Kubernetes yang diperlukan dengan kebijakan akses S3 yang diperlukan.
```
%%bash -x
export S3_CSI_ROLE_NAME="SM_HP_S3_CSI_ROLE-$REGION"
export S3_CSI_POLICY_ARN=$(aws iam list-policies --query 'Policies[?PolicyName==`S3MountpointAccessPolicy`]' | jq '.[0].Arn' | tr -d '"')
eksctl create iamserviceaccount \
--name s3-csi-driver-sa \
--namespace kube-system \
--cluster $EKS_CLUSTER_NAME \
--attach-policy-arn $S3_CSI_POLICY_ARN \
--approve \
--role-name $S3_CSI_ROLE_NAME \
--region $REGION
kubectl label serviceaccount s3-csi-driver-sa app.kubernetes.io/component=csi-driver app.kubernetes.io/instance=aws-mountpoint-s3-csi-driver app.kubernetes.io/managed-by=EKS app.kubernetes.io/name=aws-mountpoint-s3-csi-driver -n kube-system --overwrite
```
1. (Opsional) Instal add-on driver Amazon S3 CSI. Driver ini memungkinkan pod Anda untuk memasang bucket S3 sebagai volume persisten, menyediakan akses langsung ke penyimpanan S3 dari dalam beban kerja Kubernetes Anda.
```
%%bash -x
export S3_CSI_ROLE_ARN=$(aws iam get-role --role-name $S3_CSI_ROLE_NAME --query 'Role.Arn' --output text)
eksctl create addon --name aws-mountpoint-s3-csi-driver --cluster $EKS_CLUSTER_NAME --service-account-role-arn $S3_CSI_ROLE_ARN --force
```
1. (Opsional) Buat Klaim Volume Persisten (PVC) untuk penyimpanan S3. PVC ini memungkinkan pod Anda untuk meminta dan menggunakan penyimpanan S3 seolah-olah itu adalah sistem file tradisional.
```
%%bash -x
cat < pvc_s3.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: s3-claim
spec:
accessModes:
- ReadWriteMany # supported options: ReadWriteMany / ReadOnlyMany
storageClassName: "" # required for static provisioning
resources:
requests:
storage: 1200Gi # ignored, required
volumeName: s3-pv
EOF
kubectl apply -f pvc_s3.yaml
```
1. (Opsional) Konfigurasikan akses FSx penyimpanan. Buat akun layanan IAM untuk driver Amazon FSx CSI. Akun layanan ini akan digunakan oleh driver FSx CSI untuk berinteraksi dengan FSx layanan Amazon atas nama cluster Anda.
```
%%bash -x
eksctl create iamserviceaccount \
--name fsx-csi-controller-sa \
--namespace kube-system \
--cluster $EKS_CLUSTER_NAME \
--attach-policy-arn arn:aws:iam::aws:policy/AmazonFSxFullAccess \
--approve \
--role-name FSXLCSI-${EKS_CLUSTER_NAME}-${REGION} \
--region $REGION
```
### Buat peran operator KEDA
1. Buat kebijakan kepercayaan dan kebijakan izin.
```
# Create trust policy
cat < /tmp/keda-trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::$ACCOUNT_ID:oidc-provider/oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:sub": "system:serviceaccount:kube-system:keda-operator",
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:aud": "sts.amazonaws.com"
}
}
}
]
}
EOF
# Create permissions policy
cat < /tmp/keda-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"cloudwatch:GetMetricData",
"cloudwatch:GetMetricStatistics",
"cloudwatch:ListMetrics"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"aps:QueryMetrics",
"aps:GetLabels",
"aps:GetSeries",
"aps:GetMetricMetadata"
],
"Resource": "*"
}
]
}
EOF
# Create the role
aws iam create-role \
--role-name keda-operator-role \
--assume-role-policy-document file:///tmp/keda-trust-policy.json
# Create the policy
KEDA_POLICY_ARN=$(aws iam create-policy \
--policy-name KedaOperatorPolicy \
--policy-document file:///tmp/keda-policy.json \
--query 'Policy.Arn' \
--output text)
# Attach the policy to the role
aws iam attach-role-policy \
--role-name keda-operator-role \
--policy-arn $KEDA_POLICY_ARN
```
1. Jika Anda menggunakan model terjaga keamanannya, buat peran IAM untuk mengakses model yang terjaga keamanannya.
1. Buat kebijakan kepercayaan dan peran IAM untuk akses model terjaga keamanannya.
```
%%bash -s $REGION
JUMPSTART_GATED_ROLE_NAME="JumpstartGatedRole-${REGION}-${HYPERPOD_CLUSTER_NAME}"
cat < /tmp/trust-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::$ACCOUNT_ID:oidc-provider/oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringLike": {
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:sub": "system:serviceaccount:*:hyperpod-inference-service-account*",
"oidc.eks.$REGION.amazonaws.com/id/$OIDC_ID:aud": "sts.amazonaws.com"
}
}
},
{
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
EOF
# Create the role and attach the managed policy
aws iam create-role \
--role-name $JUMPSTART_GATED_ROLE_NAME \
--assume-role-policy-document file:///tmp/trust-policy.json
aws iam attach-role-policy \
--role-name $JUMPSTART_GATED_ROLE_NAME \
--policy-arn arn:aws:iam::aws:policy/AmazonSageMakerHyperPodGatedModelAccess
```
```
JUMPSTART_GATED_ROLE_ARN_LIST= !aws iam get-role --role-name=$JUMPSTART_GATED_ROLE_NAME --query "Role.Arn" --output text
JUMPSTART_GATED_ROLE_ARN = JUMPSTART_GATED_ROLE_ARN_LIST[0]
!echo $JUMPSTART_GATED_ROLE_ARN
```
### Instal operator inferensi
1. Instal operator HyperPod inferensi. Langkah ini mengumpulkan pengidentifikasi AWS sumber daya yang diperlukan dan menghasilkan perintah instalasi Helm dengan parameter konfigurasi yang sesuai.
Akses bagan helm dari [https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm\_chart](https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart).
```
git clone https://github.com/aws/sagemaker-hyperpod-cli
cd sagemaker-hyperpod-cli
cd helm_chart/HyperPodHelmChart
helm dependencies update charts/inference-operator
```
```
%%bash -x
HYPERPOD_INFERENCE_ROLE_ARN=$(aws iam get-role --role-name=$HYPERPOD_INFERENCE_ROLE_NAME --query "Role.Arn" --output text)
echo $HYPERPOD_INFERENCE_ROLE_ARN
S3_CSI_ROLE_ARN=$(aws iam get-role --role-name=$S3_CSI_ROLE_NAME --query "Role.Arn" --output text)
echo $S3_CSI_ROLE_ARN
HYPERPOD_CLUSTER_ARN=$(aws sagemaker describe-cluster --cluster-name $HYPERPOD_CLUSTER_NAME --query "ClusterArn")
# Verify values
echo "Cluster Name: $EKS_CLUSTER_NAME"
echo "Execution Role: $HYPERPOD_INFERENCE_ROLE_ARN"
echo "Hyperpod ARN: $HYPERPOD_CLUSTER_ARN"
# Run the the HyperPod inference operator installation.
helm install hyperpod-inference-operator charts/inference-operator \
-n kube-system \
--set region=$REGION \
--set eksClusterName=$EKS_CLUSTER_NAME \
--set hyperpodClusterArn=$HYPERPOD_CLUSTER_ARN \
--set executionRoleArn=$HYPERPOD_INFERENCE_ROLE_ARN \
--set s3.serviceAccountRoleArn=$S3_CSI_ROLE_ARN \
--set s3.node.serviceAccount.create=false \
--set keda.podIdentity.aws.irsa.roleArn="arn:aws:iam::$ACCOUNT_ID:role/keda-operator-role" \
--set tlsCertificateS3Bucket="s3://$BUCKET_NAME" \
--set alb.region=$REGION \
--set alb.clusterName=$EKS_CLUSTER_NAME \
--set alb.vpcId=$VPC_ID
# For JumpStart Gated Model usage, Add
# --set jumpstartGatedModelDownloadRoleArn=$UMPSTART_GATED_ROLE_ARN
```
1. Konfigurasikan anotasi akun layanan untuk integrasi IAM. Anotasi ini memungkinkan akun layanan operator untuk mengasumsikan izin IAM yang diperlukan untuk mengelola titik akhir inferensi dan berinteraksi dengan layanan. AWS
```
%%bash -x
EKS_CLUSTER_ROLE_NAME=$(echo $EKS_CLUSTER_ROLE | sed 's/.*\///')
# Annotate service account
kubectl annotate serviceaccount hyperpod-inference-operator-controller-manager \
-n hyperpod-inference-system \
eks.amazonaws.com/role-arn=arn:aws:iam::${ACCOUNT_ID}:role/${EKS_CLUSTER_ROLE_NAME} \
--overwrite
```
## Verifikasi operator inferensi bekerja
Ikuti langkah-langkah ini untuk memverifikasi bahwa instalasi operator inferensi Anda berfungsi dengan benar dengan menerapkan dan menguji model sederhana.
**Menerapkan model pengujian untuk memverifikasi operator**
1. Buat file konfigurasi penerapan model. Ini membuat file manifes Kubernetes yang mendefinisikan penerapan JumpStart model untuk operator inferensi. HyperPod
```
cat <> simple_model_install.yaml
---
apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
name: testing-deployment-bert
namespace: default
spec:
model:
modelId: "huggingface-eqa-bert-base-cased"
sageMakerEndpoint:
name: "hp-inf-ep-for-testing"
server:
instanceType: "ml.c5.2xlarge"
environmentVariables:
- name: SAMPLE_ENV_VAR
value: "sample_value"
maxDeployTimeInSeconds: 1800
EOF
```
1. Terapkan model dan bersihkan file konfigurasi.
```
kubectl create -f simple_model_install.yaml
rm -f simple_model_install.yaml
```
1. Verifikasi konfigurasi akun layanan untuk memastikan operator dapat menerima AWS izin.
```
# Get the service account details
kubectl get serviceaccount -n hyperpod-inference-system
# Check if the service account has the AWS annotations
kubectl describe serviceaccount hyperpod-inference-operator-controller-manager -n hyperpod-inference-system
```
**Konfigurasikan pengaturan penerapan (jika menggunakan Studio UI)**
1. Tinjau jenis instans yang direkomendasikan di bawah **pengaturan Deployment**.
1. Jika memodifikasi **tipe Instance**, pastikan kompatibilitas dengan HyperPod klaster Anda. Hubungi admin Anda jika instans yang kompatibel tidak tersedia.
1. Untuk instance yang dipartisi GPU dengan MIG diaktifkan, pilih partisi GPU yang sesuai dari profil MIG yang tersedia untuk mengoptimalkan **pemanfaatan GPU**. Untuk informasi selengkapnya, lihat [Menggunakan partisi GPU di Amazon SageMaker HyperPod](sagemaker-hyperpod-eks-gpu-partitioning.md).
1. Jika menggunakan tata kelola tugas, konfigurasikan pengaturan prioritas untuk kemampuan preemption penerapan model.
1. Masukkan namespace yang disediakan oleh admin Anda. Hubungi admin Anda untuk namespace yang benar jika diperlukan.
## (Opsional) Siapkan akses pengguna melalui JumpStart UI di SageMaker AI Studio Classic
Untuk latar belakang lebih lanjut tentang pengaturan SageMaker HyperPod akses untuk pengguna Studio Classic dan mengonfigurasi izin RBAC Kubernetes berbutir halus untuk pengguna ilmuwan data, baca dan. [Menyiapkan klaster Amazon EKS di Studio](sagemaker-hyperpod-studio-setup-eks.md) [Menyiapkan kontrol akses berbasis peran Kubernetes](sagemaker-hyperpod-eks-setup-rbac.md)
1. Identifikasi peran IAM yang akan digunakan pengguna Data Scientist untuk mengelola dan menerapkan model SageMaker HyperPod dari SageMaker AI Studio Classic. Ini biasanya merupakan Peran Eksekusi Profil Pengguna atau Peran Eksekusi Domain untuk pengguna Studio Classic.
```
%%bash -x
export DATASCIENTIST_ROLE_NAME=""
export DATASCIENTIST_POLICY_NAME="HyperPodUIAccessPolicy"
export EKS_CLUSTER_ARN=$(aws --region $REGION sagemaker describe-cluster --cluster-name $HYPERPOD_CLUSTER_NAME \
--query 'Orchestrator.Eks.ClusterArn' --output text)
export DATASCIENTIST_HYPERPOD_NAMESPACE="team-namespace"
```
1. Lampirkan Kebijakan Identitas yang memungkinkan akses Penerapan Model.
```
%%bash -x
# Create access policy
cat << EOF > hyperpod-deployment-ui-access-policy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DescribeHyerpodClusterPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeCluster"
],
"Resource": "$HYPERPOD_CLUSTER_ARN"
},
{
"Sid": "UseEksClusterPermissions",
"Effect": "Allow",
"Action": [
"eks:DescribeCluster",
"eks:AccessKubernetesApi",
"eks:MutateViaKubernetesApi",
"eks:DescribeAddon"
],
"Resource": "$EKS_CLUSTER_ARN"
},
{
"Sid": "ListPermission",
"Effect": "Allow",
"Action": [
"sagemaker:ListClusters",
"sagemaker:ListEndpoints"
],
"Resource": "*"
},
{
"Sid": "SageMakerEndpointAccess",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeEndpoint",
"sagemaker:InvokeEndpoint"
],
"Resource": "arn:aws:sagemaker:$REGION:$ACCOUNT_ID:endpoint/*"
}
]
}
EOF
aws iam put-role-policy --role-name DATASCIENTIST_ROLE_NAME --policy-name HyperPodDeploymentUIAccessInlinePolicy --policy-document file://hyperpod-deployment-ui-access-policy.json
```
1. Buat Entri Akses EKS untuk pengguna yang memetakannya ke grup kubernetes.
```
%%bash -x
aws eks create-access-entry --cluster-name $EKS_CLUSTER_NAME \
--principal-arn "arn:aws:iam::$ACCOUNT_ID:role/$DATASCIENTIST_ROLE_NAME" \
--kubernetes-groups '["hyperpod-scientist-user-namespace-level","hyperpod-scientist-user-cluster-level"]'
```
1. Buat kebijakan Kubernetes RBAC untuk pengguna.
```
%%bash -x
cat << EOF > cluster_level_config.yaml
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: hyperpod-scientist-user-cluster-role
rules:
- apiGroups: [""]
resources: ["pods"]
verbs: ["list"]
- apiGroups: [""]
resources: ["nodes"]
verbs: ["list"]
- apiGroups: [""]
resources: ["namespaces"]
verbs: ["list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: hyperpod-scientist-user-cluster-role-binding
subjects:
- kind: Group
name: hyperpod-scientist-user-cluster-level
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: hyperpod-scientist-user-cluster-role
apiGroup: rbac.authorization.k8s.io
EOF
kubectl apply -f cluster_level_config.yaml
cat << EOF > namespace_level_role.yaml
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
namespace: $DATASCIENTIST_HYPERPOD_NAMESPACE
name: hyperpod-scientist-user-namespace-level-role
rules:
- apiGroups: [""]
resources: ["pods"]
verbs: ["create", "get"]
- apiGroups: [""]
resources: ["nodes"]
verbs: ["get", "list"]
- apiGroups: [""]
resources: ["pods/log"]
verbs: ["get", "list"]
- apiGroups: [""]
resources: ["pods/exec"]
verbs: ["get", "create"]
- apiGroups: ["kubeflow.org"]
resources: ["pytorchjobs", "pytorchjobs/status"]
verbs: ["get", "list", "create", "delete", "update", "describe"]
- apiGroups: [""]
resources: ["configmaps"]
verbs: ["create", "update", "get", "list", "delete"]
- apiGroups: [""]
resources: ["secrets"]
verbs: ["create", "get", "list", "delete"]
- apiGroups: [ "inference.sagemaker.aws.amazon.com" ]
resources: [ "inferenceendpointconfig", "inferenceendpoint", "jumpstartmodel" ]
verbs: [ "get", "list", "create", "delete", "update", "describe" ]
- apiGroups: [ "autoscaling" ]
resources: [ "horizontalpodautoscalers" ]
verbs: [ "get", "list", "watch", "create", "update", "patch", "delete" ]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
namespace: $DATASCIENTIST_HYPERPOD_NAMESPACE
name: hyperpod-scientist-user-namespace-level-role-binding
subjects:
- kind: Group
name: hyperpod-scientist-user-namespace-level
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: Role
name: hyperpod-scientist-user-namespace-level-role
apiGroup: rbac.authorization.k8s.io
EOF
kubectl apply -f namespace_level_role.yaml
```