Codebeispiele für den Import benutzerdefinierter Modelle - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Codebeispiele für den Import benutzerdefinierter Modelle

Die folgenden Codebeispiele zeigen, wie Sie Berechtigungen einrichten, einen Importauftrag für ein benutzerdefiniertes Modell erstellen, die Details Ihrer Importaufträge und importierten Modelle anzeigen und importierte Modelle löschen.

  1. Bereiten Sie Modelldateien für den Import vor

    1. Wenn Sie aus einem Amazon S3 S3-Bucket importieren, müssen Sie die Modelldateien im Hugging Face Gewichtsformat bereitstellen. Weitere Informationen finden Sie unter Eine Modellquelle aus Amazon S3 importieren.

    2. Erstellen Sie einen Amazon S3 S3-Bucket für Ihre Modelldateien (die Namen müssen eindeutig sein).

    3. Laden Sie die Modelldateien in den Bucket hoch.

  2. Erstellen Sie eine Richtlinie für den Zugriff auf Ihre Modelldateien und fügen Sie sie einer IAM-Rolle mit einer Amazon Bedrock-Vertrauensbeziehung hinzu. Wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

    Console

    1. Erstellen Sie eine Amazon S3 S3-Richtlinie für den Zugriff auf den Amazon S3 S3-Bucket, der Ihre Modelldateien enthält

      1. Navigieren Sie unter https://console.aws.amazon.com/iam zur IAM-Konsole und wählen Sie im linken Navigationsbereich Richtlinien aus.

      2. Wählen Sie Richtlinie erstellen und anschließend JSON aus, um den Richtlinien-Editor zu öffnen.

      3. Fügen Sie die folgende Richtlinie ein und ${model-file-bucket} ersetzen Sie sie durch Ihren Bucket-Namen, und wählen Sie dann Weiter aus.

        JSON
        JSON
        {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${model-file-bucket}",
                "arn:aws:s3:::${model-file-bucket}/*"
            ]
          }
        ]
      }

      4. Geben Sie der Richtlinie einen Namen S3BucketPolicy und wählen Sie Richtlinie erstellen aus.

    2. Erstellen Sie eine IAM-Rolle und fügen Sie die Richtlinie an.

      1. Wählen Sie im linken Navigationsbereich Rollen und dann Rolle erstellen aus.

      2. Wählen Sie Benutzerdefinierte Vertrauensrichtlinie aus, fügen Sie die folgende Richtlinie ein und wählen Sie Weiter aus.

        JSON
        JSON
        {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "bedrock.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ] 
}

      3. Suchen Sie nach der S3BucketPolicy Richtlinie, die Sie erstellt haben, aktivieren Sie das Kontrollkästchen und klicken Sie auf Weiter.

      4. Geben Sie der Rolle einen Namen MyImportModelRole und wählen SieCreate role.

    CLI

    1. Erstellen Sie eine Datei mit dem Namen BedrockTrust.json und fügen Sie die folgende Richtlinie ein.

      JSON
      JSON
      {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "bedrock.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ] 
}

    2. Erstellen Sie eine weitere Datei mit dem Namen S3BucketPolicy.json und fügen Sie die folgende Richtlinie ein, ${model-file-bucket} wobei Sie sie durch Ihre Bucket-Namen ersetzen.

      JSON
      JSON
      {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${model-file-bucket}",
                "arn:aws:s3:::${model-file-bucket}/*"
            ]
        }
     ]
}

    3. Navigieren Sie in einem Terminal zu dem Ordner, der die von Ihnen erstellten Richtlinien enthält.

    4. Stellen Sie eine CreateRoleAnfrage zur Erstellung einer IAM-Rolle mit dem Namen MyImportModelRole und fügen Sie die von Ihnen erstellte BedrockTrust.json Vertrauensrichtlinie hinzu.

      aws iam create-role \
    --role-name MyImportModelRole \
    --assume-role-policy-document file://BedrockTrust.json

    5. Stellen Sie eine CreatePolicyAnfrage zur Erstellung der S3-Datenzugriffsrichtlinie mit der von Ihnen erstellten S3BucketPolicy.json Datei. Die Antwort gibt ein Arn für die Richtlinie zurück.

      aws iam create-policy \
    --policy-name S3BucketPolicy \
    --policy-document file://S3BucketPolicy.json

    6. Stellen Sie eine AttachRolePolicyAnfrage, um die S3-Datenzugriffsrichtlinie an Ihre Rolle anzuhängen, und ersetzen Sie die in der Antwort aus dem vorherigen Schritt durch den ARN: policy-arn

      aws iam attach-role-policy \
    --role-name MyImportModelRole \
    --policy-arn ${policy-arn}
    Python

    1. Führen Sie den folgenden Code aus, um eine CreateRoleAnfrage zur Erstellung einer IAM-Rolle namens zu stellen MyImportModel und um eine CreatePolicyAnfrage zur Erstellung einer S3-Datenzugriffsrichtlinie namens S3BucketPolicy zu stellen. Ersetzen Sie die S3-Datenzugriffsrichtlinie ${model-file-bucket} durch Ihre S3-Bucket-Namen.

      import boto3
import json

iam = boto3.client("iam")

iam.create_role(
    RoleName="MyImportModelRole",
    AssumeRolePolicyDocument=json.dumps({
        "Version": "2012-10-17",		 	 	 
        "Statement": [
            {
                "Effect": "Allow",
                "Principal": {
                    "Service": "bedrock.amazonaws.com"
                },
                "Action": "sts:AssumeRole"
            }
        ] 
    })
)

iam.create_policy(
    PolicyName="S3BucketPolicy",
    PolicyDocument=json.dumps({
        "Version": "2012-10-17",		 	 	 
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "s3:GetObject",
                    "s3:ListBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::${training-bucket}",
                    "arn:aws:s3:::${training-bucket}/*"
                ]
            }
          ]
       })
     )

    2. In Arn der Antwort wird An zurückgegeben. Führen Sie den folgenden Codeausschnitt aus, um eine AttachRolePolicyAnfrage zu stellen, und ${policy-arn} ersetzen Sie ihn durch den zurückgegebenen Code. Arn

      iam.attach_role_policy(
    RoleName="MyImportModelRole",
    PolicyArn="${policy-arn}"
)

  3. Wählen Sie eine Sprache aus, um Codebeispiele zum Aufrufen der API-Operationen für den Import von benutzerdefinierten Modellen anzuzeigen.

CLI

Um einen Importauftrag für ein benutzerdefiniertes Modell einzureichen, führen Sie in einem Terminal den folgenden Befehl in der Befehlszeile aus und ${my-import-model-role-arn} ersetzen Sie ihn durch die von Ihnen eingerichtete Modellrolle und den s3-bucket-path S3-Bucket-Pfad Ihrer Modelldateien.

aws bedrock create-model-import-job 
    --job-name MyImportedModelJobName
    --imported-model-name MyImportedModelName
    --role-arn ${my-import-model-role-arn}  
    --model-data-source '{"s3DataSource": {"s3Uri": s3-bucket-path }}

Die Antwort gibt a zurückjobArn. Es wird einige Zeit dauern, bis der benutzerdefinierte Importauftrag abgeschlossen ist. Sie können den jobArn folgenden Befehl verwenden, um den Status des Importauftrags zu überprüfen.

Die folgenden Felder sind optional:

  • Wenn Sie eine VPC-Konfiguration hinzufügen möchten, nehmen Sie das folgende Argument in den obigen Befehl auf, um die Sicherheitsgruppe und die Subnetze anzugeben:

    
   -\\-vpc-config '{securityGroupIds": ["sg-xx"], "subnetIds": ["subnet-yy", "subnet-zz"]}'

  • Wenn Sie Ihr Modell mit einem KMS-Schlüssel verschlüsseln möchten, fügen Sie dem obigen Befehl das folgende Argument hinzu und ersetzen Sie dabei die Werte, um den Schlüssel anzugeben, mit dem Sie Ihr Modell verschlüsseln möchten.

    
   -\\-customModelKmsKeyId 'arn:aws:kms:region:account-id:key/key-id'

  • Um Tags hinzuzufügen, fügen Sie dem obigen Befehl das folgende Argument hinzu. Ersetzen Sie dabei die Schlüssel und Werte durch die Tags, die Sie an das and/or Job-Ausgabemodell anhängen möchten, und achten Sie darauf, die key/value Paare durch ein Leerzeichen zu trennen:

    
   -\\-tags key=key1,value=value1 key=key2,value=value2

Die Antwort gibt a zurückjobArn. Es wird einige Zeit dauern, bis der benutzerdefinierte Importauftrag abgeschlossen ist. Sie können den jobArn folgenden Befehl verwenden, um den Status des Importauftrags zu überprüfen.

aws bedrock get-model-import-job \
    --job-identifier "jobArn"

Die Antwort sieht in etwa so aus:

{
    "jobArn": ${job-arn} ,
    "jobName": MyImportedModelJobName,
    "importedModelName": MyImportedModelName,
    "roleArn": ${my-role-arn},
    "modelDataSource": {
        "s3DataSource": {
            "s3Uri": "${S3Uri}"
        }
    },
    "status": "Complete",
    "creationTime": "2024-08-13T23:38:42.457Z",
    "lastModifiedTime": "2024-08-13T23:39:25.158Z"

Wenn ja statusComplete. Der Importjob ist abgeschlossen.

Um Inferenzen für Ihr neu importiertes Modell auszuführen, müssen Sie den ARN des importierten Modells als angeben. model-id Ruft den ARN des importierten Modells ab.

aws bedrock list-imported-models

Die Antwort enthält den Modellnamen und den Modell-ARN. Verwenden Sie den Modell-ARN, um das importierte Modell aufzurufen. Weitere Informationen finden Sie unter Senden Sie eine einzelne Aufforderung mit InvokeModel.

{
    "modelSummaries": [
        {
            "modelArn": model-arn,
            "modelName": "MyImportedModelName",
            "modelArchitecture":model-architecture,
            "instructSupported":Y,
            "creationTime": "2024-08-13T19:20:14.058Z"
            
        }
    ]
}

Um Ihr importiertes Modell zu löschen, führen Sie in einem Terminal den folgenden Befehl in der Befehlszeile aus. Verwenden Sie dabei den Modellnamen oder den Modell-ARN des importierten Modells, das Sie löschen möchten.

aws bedrock delete-imported-model 
                --model-identifier MyImportedModelName
Python

Führen Sie den folgenden Codeausschnitt aus, um einen Importauftrag für ein benutzerdefiniertes Modell einzureichen. my-regionErsetzen Sie durch die Region, in die Sie das Modell importiert haben, ${my-import-model-role-arn} durch den ARN der Region, MyImportModelRole die Sie eingerichtet haben, und ${model-file-bucket} ersetzen Sie sie durch Ihren S3-Bucket-Namen.

import boto3
import json

REGION_NAME = my-region
bedrock = boto3.client(service_name='bedrock',
                       region_name=REGION_NAME)

JOB_NAME = MyImportedModelJobName 
ROLE_ARN = ${my-import-model-role-arn}
IMPORTED_MODEL_NAME = ImportedModelName
S3_URI = ${S3Uri}

# createModelImportJob API
create_job_response = bedrock.create_model_import_job(
    jobName=JOB_NAME,
    importedModelName=IMPORTED_MODEL_NAME,
    roleArn=ROLE_ARN,
    modelDataSource={
        "s3DataSource": {
            "s3Uri": S3_URI
        }
    },
)
job_arn = create_job_response.get("jobArn")

Die folgenden Felder sind optional.

  • Wenn Sie eine VPC-Konfiguration hinzufügen möchten, nehmen Sie das folgende Argument in den obigen Befehl auf, um die Sicherheitsgruppe und die Subnetze anzugeben:

    
   vpc-config = {'securityGroupIds: ["sg-xx".], 'subnetIds': [subnet-yy, 'subnet-zz']}'

  • Wenn Sie Ihr Modell mit einem KMS-Schlüssel verschlüsseln möchten, fügen Sie dem obigen Befehl das folgende Argument hinzu und ersetzen Sie dabei die Werte, um den Schlüssel anzugeben, mit dem Sie Ihr Modell verschlüsseln möchten.

    
   importedModelKmsKeyId = 'arn:aws:kms:region:account-id:key/key-id'

  • Um Tags hinzuzufügen, fügen Sie dem obigen Befehl das folgende Argument hinzu. Ersetzen Sie dabei die Schlüssel und Werte durch die Tags, die Sie an das and/or Job-Ausgabemodell anhängen möchten, und achten Sie darauf, die key/value Paare durch ein Leerzeichen zu trennen:

    
   jobTags key=key1,value=value1 key=key2,value=value2

Die Antwort gibt einen JobArn zurück


               job_arn = create_job_response.get("jobArn")

Es wird einige Zeit dauern, bis der benutzerdefinierte Importauftrag abgeschlossen ist. Sie können den jobArn folgenden Befehl verwenden, um den Status des Importauftrags zu überprüfen.

bedrock.get_model_import_job(jobIdentifier=jobArn)

Wenn dies der status Fall istCompleted, ist der Importjob abgeschlossen.

Um Inferenzen für Ihr neu importiertes Modell auszuführen, müssen Sie den ARN des importierten Modells als angeben. model-id Ruft den ARN des importierten Modells ab.

response_pt = bedrock.list_imported_models(
    creationTimeBefore=datetime (2015,1,1,
    creationTimeAfter= datetime (2015,1,1,
    nameContains = 'MyImportedModelName,
    maxresults = 123
    nextToken = 'none',
    sortBy = 'creationTime',
    sortOrder = 'Ascending'

Die Antwort gibt das modelArn zusammen mit anderen Details des importierten Modells zurück. 

{
    'nextToken': '',
    'modelSummaries': [
        {
            'modelArn': 'your-model-arn',
            'modelName': 'MyImportedModelName',
            'modelArchitecture':model-architecture,
            'instructSupported':Y,
            'creationTime': datetime(2015, 1, 1)
        },
    ]

Verwenden Sie den Modell-ARN, um das importierte Modell aufzurufen. Weitere Informationen finden Sie unter Senden Sie eine einzelne Aufforderung mit InvokeModel.

Verwenden Sie den folgenden Befehl, um Ihr importiertes Modell zu löschen, und verwenden Sie dabei den Modellnamen oder den Modell-ARN des importierten Modells, das Sie löschen möchten.

response = client.delete_imported_model(
    modelIdentifier='MyImportedModelName'
            )