작업 거버넌스 추가 기능 업그레이드

현재 추가 기능 버전을 확인하고 작업 디렉터리를 설정합니다.

aws eks describe-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --query 'addon.addonVersion' --output text

출력이 로 시작하는지 확인합니다v1.3.. 그런 다음 쓰기 가능한 디렉터리에서 BACKUP_DIR 절대 경로로 설정하고 생성합니다. 이후 단계는이 변수에서 읽고 쓰므로 동일한 셸 세션의 모든 단계를 실행합니다.

export BACKUP_DIR=/absolute/path/to/backup-dir
mkdir -p "$BACKUP_DIR"

모든 Kueue 사용자 지정 리소스를 로컬 파일에 백업합니다.

for crd in admissionchecks clusterqueues cohorts localqueues multikueueclusters \
           multikueueconfigs provisioningrequestconfigs resourceflavors topologies \
           workloadpriorityclasses workloads; do
  kubectl get "${crd}.kueue.x-k8s.io" --all-namespaces -o json \
    > "$BACKUP_DIR/${crd}.json" 2>/dev/null
  echo "${crd}: $(jq '.items | length' "$BACKUP_DIR/${crd}.json" 2>/dev/null || echo 0)"
done

백업된 객체를 삭제하고 각 CRD에서 이전 저장 버전을 지웁니다.

이렇게 하면 v1.5 CRDs 수 status.storedVersions 있도록에서 v1alpha1 (또는 v1beta1) 항목이 제거됩니다. 객체는 백업에서 안전하며 이후 단계에서 복원됩니다.

for crd in admissionchecks clusterqueues cohorts localqueues multikueueclusters \
           multikueueconfigs provisioningrequestconfigs resourceflavors topologies \
           workloadpriorityclasses workloads; do
  kubectl get crd "${crd}.kueue.x-k8s.io" >/dev/null 2>&1 || continue
  kubectl delete "${crd}.kueue.x-k8s.io" --all --all-namespaces \
    --ignore-not-found=true --wait=false --request-timeout=30s
  kubectl patch crd "${crd}.kueue.x-k8s.io" --subresource=status --type=merge \
    --request-timeout=30s -p '{"status":{"storedVersions":["v1beta2"]}}'
done

추가 기능을 v1.5로 업데이트합니다.

aws eks update-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --addon-version v1.5.0-eksbuild.1 --resolve-conflicts OVERWRITE

상태가가 될 때까지 기다립니다ACTIVE.

aws eks describe-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --query 'addon.status' --output text

복원하기 전에 새 설치가 완료될 때까지 기다립니다.

추가 기능이를 보고한 직후에는 복원하지 마십시오ACTIVE. 컨트롤러, 웹후크 및 설치 후 작업이 준비될 때까지 기다립니다. 그렇지 않으면 다음 단계의 복원이 중단될 수 있습니다.

kubectl rollout status deploy/kueue-controller-manager -n kueue-system --timeout=300s

until [ -n "$(kubectl get endpoints -n kueue-system kueue-webhook-service \
              -o jsonpath='{.subsets[*].addresses[*].ip}' 2>/dev/null)" ]; do
  echo "waiting for kueue webhook endpoint..."; sleep 5
done

kubectl wait --for=condition=complete job -l app.kubernetes.io/name=kueue \
  -n kueue-system --timeout=180s || true

새 스키마에서 객체를 복원합니다.

이렇게 하면 백업된 각 객체가 v1.5(v1beta2) 스키마로 변환되고 다시 적용됩니다.

transform() {
  jq '
    .apiVersion = "kueue.x-k8s.io/v1beta2"
    | del(.status)
    | del(.metadata.resourceVersion, .metadata.uid, .metadata.creationTimestamp,
          .metadata.generation, .metadata.managedFields, .metadata.selfLink)
    | del(.metadata.annotations."kubectl.kubernetes.io/last-applied-configuration")
    | if .kind == "Cohort" and (.spec.parent != null)
        then .spec.parentName = (.spec.parentName // .spec.parent) | del(.spec.parent) else . end
    | if .kind == "ClusterQueue" and (.spec.cohort != null)
        then .spec.cohortName = (.spec.cohortName // .spec.cohort) | del(.spec.cohort) else . end
    | if .kind == "ClusterQueue" then del(.spec.admissionChecks) else . end
    | if .kind == "AdmissionCheck" then del(.spec.retryDelayMinutes) else . end
  '
}

for crd in resourceflavors topologies workloadpriorityclasses admissionchecks cohorts \
           provisioningrequestconfigs multikueueclusters multikueueconfigs \
           clusterqueues localqueues workloads; do
  f="$BACKUP_DIR/${crd}.json"
  [ -s "$f" ] || continue
  count=$(jq '.items | length' "$f")
  for (( i=0; i<count; i++ )); do
    obj=$(jq -c ".items[$i]" "$f" | transform)
    name=$(printf '%s' "$obj" | jq -r '.kind + "/" + .metadata.name')
    if printf '%s' "$obj" | kubectl apply --request-timeout=30s -f - >/dev/null 2>&1; then
      echo "applied $name"
    else
      echo "check $name (may already be recreated by the add-on)"
    fi
  done
done

결과를 확인합니다.

aws eks describe-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --query 'addon.{version:addonVersion,status:status}'

예제 출력은 다음과 같습니다.

{
    "version": "v1.5.0-eksbuild.1",
    "status": "ACTIVE"
}

객체가 있고 CRD가 아직를 나열하지 않는지 확인합니다v1alpha1.

kubectl get clusterqueues
kubectl get localqueues --all-namespaces
kubectl get crd clusterqueues.kueue.x-k8s.io -o jsonpath='{.status.storedVersions}'

storedVersions 출력에는 v1beta2 (또는 v1beta1 및 v1beta2)만 포함되어야 하며는 포함하지 않아야 합니다v1alpha1. 복원된 객체를의 파일과 비교하여 구성 값이 변경되지 않았는지 $BACKUP_DIR 확인합니다.