Aufrufen Ihres importierten Modells

Der Modellimportjob kann mehrere Minuten dauern, nachdem Sie die CreateModelImportJob-Anfrage gesendet haben. Sie können den aktuellen Status Ihres Importauftrags überprüfen, indem Sie die GetModelImportJob-Operation aufrufen und das Feld Status in der Antwort überprüfen. Der Auftrag ist abgeschlossen, wenn der Status für das Modell Abgeschlossen lautet.

Nachdem Ihr importiertes Modell in Amazon Bedrock verfügbar ist, können Sie das Modell mit On-Demand-Durchsatz verwenden, indem Sie InvokeModel- oder InvokeModelWithResponseStream-Anfragen senden, um Inferenzaufrufe an das Modell zu senden. Weitere Informationen finden Sie unter So senden Sie einen einzelnen Prompt mit InvokeModel.

Sie können die Operationen Converse oder ConverseStream aufrufen, um mit Ihrem importierten Modell im Nachrichtenformat zu interagieren. Weitere Informationen finden Sie unter Verwenden der Converse-API.

Sie benötigen den Modell-ARN, um Inferenzaufrufe für Ihr neu importiertes Modell durchzuführen. Nach erfolgreichem Abschluss des Importauftrags und nachdem Ihr importiertes Modell aktiv ist, können Sie den Modell-ARN Ihres importierten Modells in der Konsole oder durch Senden einer ListImportedModels-Anfrage abrufen.

Um Ihr importiertes Modell aufzurufen sollten Sie sicherstellen, dass Sie dieselben Inferenzparameter verwenden, wie für das benutzerdefinierte Basismodell, das Sie importieren. Informationen zu den zu verwendenden Inferenzparametern für das Modell, dass Sie importieren, finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Basismodelle. Wenn Sie Inferenzparameter verwenden die nicht mit den für das Modell erwähnten Inferenzparametern übereinstimmen, werden diese Parameter ignoriert.

from transformers import AutoProcessor, AutoTokenizer

if vision_model:
    processor = AutoProcessor.from_pretrained(model)
else:
    processor = AutoTokenizer.from_pretrained(model)


# Create messages
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "base64 encoded image",
            },
            {
                "type": "text",
                "text": "Describe this image.",
            },
        ],
    }
]

# Apply chat template 
prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
"""
prompt = '''
<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n
<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>
Describe this image.<|im_end|>\n<|im_start|>assistant\n'''
"""

response = client.invoke_model(
                modelId=model_id,
                body=json.dumps({
                    'prompt': prompt,
                    'temperature': temperature,
                    'max_gen_len': max_tokens,
                    'top_p': top_p,
                    'images': ["base64 encoded image"]  
                }),
                accept='application/json',
                contentType='application/json'
            ) 
    

Wenn Sie Ihr importiertes Modell mit InvokeModel oder InvokeModelWithStream aufrufen, wird Ihre Anfrage innerhalb von 5 Minuten bedient; andernfalls erhalten Sie möglicherweise ModelNotReadyException. Um die ModelNotReadyException zu verstehen, folgen Sie den Schritten in diesem nächsten Abschnitt zur Behandlung von ModelNotReadyException.

Umgang mit ModelNotReadyException

Der benutzerdefinierte Modellimport für Amazon Bedrock optimiert die Hardwarenutzung, indem die Modelle entfernt werden, die nicht aktiv sind. Wenn Sie versuchen, ein Modell aufzurufen, das entfernt wurde, erhalten Sie eine ModelNotReadyException. Nachdem das Modell entfernt wurde und Sie das Modell zum ersten Mal aufrufen, beginnt der benutzerdefinierte Modellimport mit der Wiederherstellung des Modells. Die Wiederherstellungszeit hängt von der Größe der On-Demand-Flotte und der Modellgröße ab.

Wenn Ihre InvokeModel- oder InvokeModelWithStream-Anfrage ModelNotReadyException zurückgibt, folgen Sie den Schritten zur Ausnahmenbehandlung.