Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Certificati personalizzati e gestione DNS Route 53 per Inference HyperPod

I passaggi seguenti mostrano come utilizzare i propri certificati ACM per gli endpoint di HyperPod inferenza e, facoltativamente, configurare l'operatore per gestire i record DNS Route 53 per il dominio personalizzato.

Con i certificati personalizzati, fornisci un certificato ACM ARN e l'operatore lo collega all'Application Load Balancer (ALB), ne monitora lo stato e supporta il rilevamento automatico dei rinnovi. L'operatore supporta certificati ACM affidabili pubblicamente, certificati CA AWS privati e certificati importati da CA esterne.

I certificati personalizzati possono essere utilizzati da soli o combinati con la gestione DNS di Route 53. La gestione DNS di Route 53 richiede un certificato personalizzato e utilizza il nome di dominio dalla configurazione del certificato per creare e gestire i record DNS.

Prerequisiti

Prima di iniziare, verifica di aver:

Configurazione delle autorizzazioni IAM

Il ruolo di esecuzione dell'operatore di inferenza richiede autorizzazioni aggiuntive per i certificati personalizzati e la gestione DNS di Route 53. Aggiungi le seguenti politiche al tuo ruolo di esecuzione di HyperPod Inference.

Autorizzazioni ACM e Amazon S3 per certificati personalizzati

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ACMCustomCertificateAccess",
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:GetCertificate"
            ],
            "Resource": "arn:aws:acm:<region>:<account-id>:certificate/*"
        },
        {
            "Sid": "S3CertificateUpload",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::<tls-certificate-bucket>/*",
            "Condition": {
                "StringEquals": {
                    "s3:RequestObjectTag/CreatedBy": "HyperPodInference"
                }
            }
        }
    ]
}

Autorizzazioni Route 53 per la gestione DNS

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Route53DNSManagement",
            "Effect": "Allow",
            "Action": [
                "route53:GetHostedZone",
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/<hosted-zone-id>"
        }
    ]
}

Sostituisci<region>, <account-id><tls-certificate-bucket>, e <hosted-zone-id> con i tuoi valori effettivi. È possibile assegnare l'ARN della risorsa ACM a certificati specifici per una maggiore sicurezza.

Configura un certificato personalizzato

Per utilizzare un certificato personalizzato, aggiungi la customCertificateConfig sezione tlsConfig alle InferenceEndpointConfig tue JumpStartModel specifiche. I dnsConfig campi tlsConfig e sono identici in entrambi i CRD.

I seguenti campi sono disponibili in customCertificateConfig etlsConfig:

Di seguito è riportato un esempio di file YAML per la creazione di un endpoint con un certificato personalizzato.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
  namespace: my-namespace
spec:
  modelName: my-llm
  instanceType: ml.g5.24xlarge
  invocationEndpoint: v1/chat/completions
  replicas: 2
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: my-model-bucket
      region: us-west-2
    modelLocation: models/my-llm
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  worker:
    image: my-inference-image:latest
    modelInvocationPort:
      containerPort: 8000
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      limits:
        nvidia.com/gpu: "4"
      requests:
        cpu: "6"
        memory: 30Gi
        nvidia.com/gpu: "4"

È possibile aggiungerlo customCertificateConfig a una distribuzione già in esecuzione. L'operatore rileva la modifica alla riconciliazione successiva, convalida il certificato, lo allega all'ALB e carica il certificato pubblico su Amazon S3. Non sono richiesti tempi di inattività o ridistribuzione.

Configurare la gestione DNS di Route 53

La gestione DNS di Route 53 richiede la configurazione di un certificato personalizzato e utilizza il nome di dominio ditlsConfig.customCertificateConfig.domainName. Se non hai configurato un certificato personalizzato, consulta Configura un certificato personalizzato prima.

Per abilitare la gestione DNS di Route 53, aggiungi la dnsConfig sezione alle tue specifiche:

spec:
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  dnsConfig:
    hostedZoneId: Z1234567890ABC

La dnsConfig sezione può essere aggiunta contemporaneamente o aggiunta successivamente a una distribuzione esistente. customCertificateConfig L'operatore crea i record DNS alla successiva riconciliazione senza riavviare i pod.

Quando si esegue la distribuzione con, l'operatore: dnsConfig

Usa un certificato personalizzato senza la gestione DNS di Route 53

La gestione DNS di Route 53 è facoltativa. Se desideri gestire i tuoi record DNS, ometti la dnsConfig sezione e configura il dominio manualmente.

Per trovare il nome host ALB per la tua implementazione, il nome di ingresso dipende dal fatto che il routing intelligente sia abilitato.

Senza routing intelligente: l'ingresso è denominato nel tuo spazio dei nomi. alb-<deployment-name>

kubectl get ingress alb-<deployment-name> -n <namespace> \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Con routing intelligente: l'ingresso è denominato nel namespace. alb-<deployment-name>-<namespace> hyperpod-inference-system

kubectl get ingress alb-<deployment-name>-<namespace> -n hyperpod-inference-system \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Crea un record DNS nel tuo provider DNS indirizzando il tuo dominio a questo hostname ALB:

Verifica dello stato dell’implementazione

Controlla lo stato del certificato personalizzato

kubectl describe InferenceEndpointConfig my-model -n my-namespace

Cerca la tlsCertificate sezione nello stato:

Status:
  Tls Certificate:
    Certificate ARN:    arn:aws:acm:us-west-2:123456789012:certificate/abc12345-...
    Certificate Health: Valid
    Certificate Domain Names:
      api.example.com
    Last Cert Expiry Time: 2027-04-23T00:00:00Z

Valori sanitari del certificato:

L'operatore controlla la scadenza del certificato ogni 24 ore. Quando rileva che un certificato è stato rinnovato in ACM (la NotAfter data cambia), ricarica automaticamente il certificato pubblico su Amazon S3 ed emette un evento. CertificateRenewed

Controlla lo stato del DNS

Cerca la dnsStatus sezione:

Status:
  Dns Status:
    Managed By Operator: true
    Record Name:         api.example.com
    Hosted Zone Id:      Z1234567890ABC
    Dns Health:          Active
    Message:             DNS record resolves successfully

Valori di salute del DNS:

Testa l'endpoint distribuito

Se hai configurato la gestione DNS di Route 53, richiama l'endpoint utilizzando il dominio personalizzato dopo la visualizzazione dello stato DNS. Active Se hai configurato solo un certificato personalizzato senza gestione DNS, usa il nome host ALB presente nell'ingresso (vedi). Usa un certificato personalizzato senza la gestione DNS di Route 53

curl -X POST https://api.example.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}'

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name my-model \
  --content-type "application/json" \
  --body '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}' \
  --region us-west-2 \
  --cli-binary-format raw-in-base64-out \
  /dev/stdout

Gestisci i tuoi certificati e record DNS personalizzati

Modifica del dominio o della zona ospitata

È possibile aggiornare domainName (incustomCertificateConfig) o hostedZoneId (indnsConfig) su una distribuzione in esecuzione. La modifica del nome di dominio attiva sia la riconvalida del certificato che il cutover DNS: il nuovo dominio deve essere valido nel certificato ACM (come SAN o wildcard match).

L'operatore esegue un cutover sicuro:

Durante la transizione, sia i domini vecchi che quelli nuovi vengono trasferiti all'ALB. Il record di proprietà TXT ha un TTL di 300 secondi (5 minuti), quindi i client DNS possono memorizzare nella cache il vecchio record per un massimo di 5 minuti dopo la pulizia.

Pulizia

Quando si elimina InferenceEndpointConfig o si rimuove la dnsConfig sezione, l'operatore elimina automaticamente i record Route 53 A e TXT che ha creato. L'operatore elimina solo i record di sua proprietà (verificati dal record TXT di proprietà).

Risoluzione dei problemi

Utilizza questi passaggi di debug se il certificato personalizzato o la configurazione DNS non funzionano come previsto.