Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Benutzerdefinierte Zertifikate und Route 53 53-DNS-Management für HyperPod Inference

Die folgenden Schritte zeigen Ihnen, wie Sie Ihre eigenen ACM-Zertifikate für HyperPod Inferenzendpunkte verwenden und optional den Operator so konfigurieren, dass er Route 53 53-DNS-Einträge für Ihre benutzerdefinierte Domain verwaltet.

Bei benutzerdefinierten Zertifikaten stellen Sie einen ARN für ein ACM-Zertifikat bereit, den der Betreiber an den Application Load Balancer (ALB) anhängt, dessen Integrität überwacht und die automatische Verlängerungserkennung unterstützt. Der Betreiber unterstützt öffentlich vertrauenswürdige ACM-Zertifikate, AWS private CA-Zertifikate und Zertifikate, die von externen Zertifizierungsstellen importiert wurden.

Benutzerdefinierte Zertifikate können eigenständig oder in Kombination mit der Route 53 53-DNS-Verwaltung verwendet werden. Die DNS-Verwaltung für Route 53 erfordert ein benutzerdefiniertes Zertifikat und verwendet den Domainnamen aus Ihrer Zertifikatskonfiguration, um DNS-Einträge zu erstellen und zu verwalten.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie:

Konfigurieren Sie die IAM-Berechtigungen.

Die Ausführungsrolle des Inferenzoperators erfordert zusätzliche Berechtigungen für benutzerdefinierte Zertifikate und die Route 53 53-DNS-Verwaltung. Fügen Sie Ihrer HyperPod Inference-Ausführungsrolle die folgenden Richtlinien hinzu.

ACM- und Amazon S3 S3-Berechtigungen für benutzerdefinierte Zertifikate

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ACMCustomCertificateAccess",
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:GetCertificate"
            ],
            "Resource": "arn:aws:acm:<region>:<account-id>:certificate/*"
        },
        {
            "Sid": "S3CertificateUpload",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::<tls-certificate-bucket>/*",
            "Condition": {
                "StringEquals": {
                    "s3:RequestObjectTag/CreatedBy": "HyperPodInference"
                }
            }
        }
    ]
}

Route 53 53-Berechtigungen für die DNS-Verwaltung

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Route53DNSManagement",
            "Effect": "Allow",
            "Action": [
                "route53:GetHostedZone",
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/<hosted-zone-id>"
        }
    ]
}

Ersetzen Sie <region><account-id>,<tls-certificate-bucket>, und <hosted-zone-id> durch Ihre tatsächlichen Werte. Sie können den ARN der ACM-Ressource auf bestimmte Zertifikate beschränken, um die Sicherheit zu erhöhen.

Konfigurieren Sie ein benutzerdefiniertes Zertifikat

Um ein benutzerdefiniertes Zertifikat zu verwenden, fügen Sie den customCertificateConfig Abschnitt tlsConfig zu Ihrer JumpStartModel Spezifikation hinzu. InferenceEndpointConfig Die dnsConfig Felder tlsConfig und sind in beiden CRDs identisch.

Die folgenden Felder sind in customCertificateConfig und tlsConfig verfügbar:

Im Folgenden finden Sie ein Beispiel für eine YAML-Datei zum Erstellen eines Endpunkts mit einem benutzerdefinierten Zertifikat.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: my-model
  namespace: my-namespace
spec:
  modelName: my-llm
  instanceType: ml.g5.24xlarge
  invocationEndpoint: v1/chat/completions
  replicas: 2
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: my-model-bucket
      region: us-west-2
    modelLocation: models/my-llm
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  worker:
    image: my-inference-image:latest
    modelInvocationPort:
      containerPort: 8000
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      limits:
        nvidia.com/gpu: "4"
      requests:
        cpu: "6"
        memory: 30Gi
        nvidia.com/gpu: "4"

Sie können customCertificateConfig zu einer Bereitstellung, die bereits läuft, etwas hinzufügen. Der Operator erkennt die Änderung beim nächsten Abgleich, validiert das Zertifikat, hängt es an die ALB an und lädt das öffentliche Zertifikat auf Amazon S3 hoch. Es sind keine Ausfallzeiten oder eine erneute Bereitstellung erforderlich.

Konfigurieren Sie Route 53 53-DNS-Verwaltung

Für die DNS-Verwaltung von Route 53 muss ein benutzerdefiniertes Zertifikat konfiguriert werden, und es wird der Domainname von verwendettlsConfig.customCertificateConfig.domainName. Wenn Sie kein benutzerdefiniertes Zertifikat konfiguriert haben, finden Sie Konfigurieren Sie ein benutzerdefiniertes Zertifikat zuerst weitere Informationen.

Um die Route 53 53-DNS-Verwaltung zu aktivieren, fügen Sie den dnsConfig Abschnitt zu Ihrer Spezifikation hinzu:

spec:
  tlsConfig:
    customCertificateConfig:
      acmArn: arn:aws:acm:us-west-2:123456789012:certificate/abc12345-1234-1234-1234-abc123456789
      domainName: api.example.com
    tlsCertificateOutputS3Uri: s3://my-tls-bucket
  dnsConfig:
    hostedZoneId: Z1234567890ABC

Der dnsConfig Abschnitt kann gleichzeitig mit einer vorhandenen Bereitstellung oder zu einem späteren Zeitpunkt hinzugefügt werden. customCertificateConfig Der Operator erstellt die DNS-Einträge beim nächsten Abgleich, ohne Ihre Pods neu zu starten.

Bei der Bereitstellung mit dnsConfig hat der Operator:

Verwenden Sie ein benutzerdefiniertes Zertifikat ohne Route 53 53-DNS-Verwaltung

Die DNS-Verwaltung von Route 53 ist optional. Wenn Sie Ihre eigenen DNS-Einträge verwalten möchten, lassen Sie den dnsConfig Abschnitt weg und konfigurieren Sie Ihre Domain manuell.

Um den ALB-Hostnamen für Ihre Bereitstellung zu ermitteln, hängt der Eingangsname davon ab, ob intelligentes Routing aktiviert ist.

Ohne intelligentes Routing: Der Ingress wird in Ihrem Namespace benanntalb-<deployment-name>.

kubectl get ingress alb-<deployment-name> -n <namespace> \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Mit intelligentem Routing: Der Ingress wird alb-<deployment-name>-<namespace> im Namespace benannt. hyperpod-inference-system

kubectl get ingress alb-<deployment-name>-<namespace> -n hyperpod-inference-system \
  -o jsonpath='{.status.loadBalancer.ingress[0].hostname}'

Erstellen Sie in Ihrem DNS-Anbieter einen DNS-Eintrag, der Ihre Domain auf diesen ALB-Hostnamen verweist:

Überprüfen des Status Ihrer Bereitstellung

Überprüfen Sie den Status des benutzerdefinierten Zertifikats

kubectl describe InferenceEndpointConfig my-model -n my-namespace

Suchen Sie im Status nach dem tlsCertificate Abschnitt:

Status:
  Tls Certificate:
    Certificate ARN:    arn:aws:acm:us-west-2:123456789012:certificate/abc12345-...
    Certificate Health: Valid
    Certificate Domain Names:
      api.example.com
    Last Cert Expiry Time: 2027-04-23T00:00:00Z

Gesundheitswerte des Zertifikats:

Der Betreiber überprüft den Ablauf des Zertifikats alle 24 Stunden. Wenn es feststellt, dass ein Zertifikat in ACM erneuert wurde (das NotAfter Datum ändert sich), lädt es das öffentliche Zertifikat automatisch erneut auf Amazon S3 hoch und gibt ein Ereignis aus. CertificateRenewed

Überprüfen Sie den DNS-Status

Suchen Sie nach dem dnsStatus Abschnitt:

Status:
  Dns Status:
    Managed By Operator: true
    Record Name:         api.example.com
    Hosted Zone Id:      Z1234567890ABC
    Dns Health:          Active
    Message:             DNS record resolves successfully

DNS-Integritätswerte:

Testen Sie den bereitgestellten Endpunkt

Wenn Sie die Route 53 53-DNS-Verwaltung konfiguriert haben, rufen Sie Ihren Endpunkt mit Ihrer benutzerdefinierten Domain auf, nachdem der DNS-Status angezeigt wirdActive. Wenn Sie nur ein benutzerdefiniertes Zertifikat ohne DNS-Verwaltung konfiguriert haben, verwenden Sie den ALB-Hostnamen aus dem Ingress (siehe). Verwenden Sie ein benutzerdefiniertes Zertifikat ohne Route 53 53-DNS-Verwaltung

curl -X POST https://api.example.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}'

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name my-model \
  --content-type "application/json" \
  --body '{"model": "my-llm", "messages": [{"role": "user", "content": "Hello"}]}' \
  --region us-west-2 \
  --cli-binary-format raw-in-base64-out \
  /dev/stdout

Verwalte deine benutzerdefinierten Zertifikate und DNS-Einträge

Änderung der Domain oder Hosting-Zone

Sie können domainName (incustomCertificateConfig) oder hostedZoneId (indnsConfig) in einer laufenden Bereitstellung aktualisieren. Eine Änderung des Domainnamens löst sowohl eine erneute Überprüfung des Zertifikats als auch eine DNS-Umstellung aus. Die neue Domain muss in Ihrem ACM-Zertifikat gültig sein (als SAN- oder Wildcard-Match).

Der Betreiber führt eine sichere Umstellung durch:

Während des Übergangs werden sowohl alte als auch neue Domänen im ALB aufgelöst. Der TXT-Besitzeintrag hat eine TTL von 300 Sekunden (5 Minuten), sodass DNS-Clients den alten Datensatz nach der Bereinigung für bis zu 5 Minuten zwischenspeichern können.

Bereinigen

Wenn Sie den dnsConfig Abschnitt löschen InferenceEndpointConfig oder entfernen, löscht der Operator automatisch die von ihm erstellten Route 53A- und TXT-Datensätze. Der Operator löscht nur Datensätze, deren Eigentümer er ist (was anhand des TXT-Datensatzes für Eigentümer bestätigt wird).

Fehlerbehebung

Verwenden Sie diese Debugging-Schritte, wenn Ihre benutzerdefinierte Zertifikat- oder DNS-Konfiguration nicht wie erwartet funktioniert.