Einen Modellimportauftrag einreichen - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Einen Modellimportauftrag einreichen

Sie importieren ein Modell in Amazon Bedrock, indem Sie einen Modellimportauftrag in der Amazon Bedrock-Konsole einreichen, die API verwenden, das AWS CLI oder das SDK verwenden AWS . In dem Job geben Sie den Amazon S3 S3-URI für die Quelle der Modelldateien an. Wenn Sie das Modell in Amazon SageMaker AI erstellt haben, können Sie das SageMaker KI-Modell alternativ angeben. Während des Modellimports erkennt der Importjob automatisch die Architektur Ihres Modells. Der Modellimportjob kann mehrere Minuten dauern. Während des Jobs überprüft Amazon Bedrock, ob das Modell, das importiert wird, eine kompatible Modellarchitektur verwendet.

Das folgende Verfahren zeigt Ihnen, wie Sie ein benutzerdefiniertes Modell erstellen, indem Sie ein Modell importieren, das Sie bereits angepasst haben. Wählen Sie die Registerkarte aus, die der Methode Ihrer Wahl entspricht, und folgen Sie den Schritten.

Console

Gehen Sie wie folgt vor, um einen Modellimportauftrag in der Konsole einzureichen.

  1. Wenn Sie Ihre Modelldateien aus Amazon S3 importieren, konvertieren Sie das Modell in das Hugging Face Format.

    1. Wenn es sich bei Ihrem Modell um ein Mistral AI Modell handelt, verwenden Sie convert_mistral_weights_to_hf.py.

    2. Wenn es sich bei Ihrem Modell um ein Llama Modell handelt, finden Sie weitere Informationen unter convert_llama_weights_to_hf.py.

    3. Laden Sie die Modelldateien in einen Amazon S3 S3-Bucket in Ihrem AWS Konto hoch. Weitere Informationen finden Sie unter Ein Objekt in Ihren Bucket hochladen.

    4. Wenn Sie kontoübergreifende Amazon S3- oder KMS-Schlüssel verwenden, um Ihr benutzerdefiniertes Modell zu importieren, gewähren Sie Amazon Bedrock Zugriff auf Ihren AWS-Konto Amazon S3- oder KMS-Schlüssel. Weitere Informationen finden Sie unter Kontoübergreifender Zugriff auf den Amazon S3 S3-Bucket für Importaufträge mit benutzerdefinierten Modellen.

  2. Wählen Sie in der Amazon Bedrock-Konsole im linken Navigationsbereich unter Foundation-Modelle die Option Importierte Modelle aus.

  3. Wählen Sie die Registerkarte Modelle.

  4. Wählen Sie Import model (Modell importieren) aus.

  5. Wählen Sie auf der Registerkarte Importiert die Option Modell importieren aus, um die Seite Modell importieren zu öffnen.

  6. Gehen Sie im Abschnitt Modelldetails wie folgt vor:

    1. Geben Sie im Feld Modellname einen Namen für das Modell ein.

    2. (Optional) Um dem Modell Tags zuzuordnen, erweitern Sie den Abschnitt Tags und wählen Sie Neues Tag hinzufügen aus.

  7. Gehen Sie im Abschnitt Jobname importieren wie folgt vor:

    1. Geben Sie im Feld Jobname einen Namen für den Modellimportjob ein.

    2. (Optional) Um Tags mit dem benutzerdefinierten Modell zu verknüpfen, erweitern Sie den Abschnitt Tags und wählen Sie Neues Tag hinzufügen aus.

  8. Wählen Sie unter Modellimporteinstellungen die Importoptionen aus, die Sie verwenden möchten.

    • Wählen Sie Amazon S3 S3-Bucket oder Amazon SageMaker AI-Modell aus, um die Importquelle anzugeben.

    • Wenn Sie Ihre Modelldateien aus einem Amazon S3 S3-Bucket importieren, geben Sie den Amazon S3 S3-Speicherort unter S3-Speicherort ein. Optional können Sie „S3 durchsuchen“ wählen, um den Speicherort der Datei auszuwählen.

    • Wenn Sie Ihr Modell aus Amazon SageMaker AI importieren, wählen Sie Amazon SageMaker AI-Modell und dann das SageMaker KI-Modell aus, das Sie in SageMaker KI-Modelle importieren möchten.

  9. Geben Sie VPC-Einstellungen ein (optional), um eine VPC-Konfiguration für den Zugriff auf Ihre Amazon Amazon S3-Datenquelle in Ihrer VPC auszuwählen. Sie können eine VPC, Subnetze und Sicherheitsgruppen in Amazon VPC erstellen und verwalten. Weitere Informationen zu Amazon VPC finden Sie unter(Optional) Schützen Sie Importaufträge für benutzerdefinierte Modelle mithilfe einer VPC.

  10. Wählen Sie Verschlüsselung, um Ihre Daten standardmäßig mit einem AWS Schlüssel zu verschlüsseln, der Ihnen gehört und von Ihnen verwaltet wird. Sie können auch einen anderen Schlüssel wählen, wenn Sie Verschlüsselungseinstellungen anpassen (erweitert) auswählen. .

  11. Wählen Sie im Abschnitt Servicezugriff eine der folgenden Optionen aus:

    • Neue Servicerolle erstellen und verwenden – Geben Sie einen Namen für die Servicerolle ein.

    • Eine vorhandene Servicerolle verwenden – Wählen Sie eine Servicerolle aus der Dropdown-Liste aus. Um die Berechtigungen zu sehen, die Ihre bestehende Servicerolle benötigt, wählen Sie Berechtigungsdetails anzeigen aus.

      Weitere Informationen zum Einrichten einer Servicerolle mit den entsprechenden Berechtigungen finden Sie unterErstellen Sie eine Servicerolle für den Import von vortrainierten Modellen.

      Anmerkung

      Wenn Sie kontoübergreifende Amazon S3- oder KMS-Schlüssel verwenden, bearbeiten Sie die Service-Rollenrichtlinie und ersetzen Sie die für angegebene Konto-ID aws:ResourceAccount durch die AWS Konto-ID des Bucket-Besitzers.

  12. Wählen Sie Importieren aus.

  13. Wählen Sie auf der Seite Benutzerdefinierte Modelle die Option Importiert aus.

  14. Überprüfen Sie im Bereich Jobs den Status des Importjobs. Der von Ihnen gewählte Modellname identifiziert den Modellimportauftrag. Der Job ist abgeschlossen, wenn der Wert von Status für das Modell auf Complete gesetzt ist.

  15. Rufen Sie die Modell-ID für Ihr Modell ab, indem Sie wie folgt vorgehen.

    1. Wählen Sie auf der Seite Importierte Modelle die Registerkarte Modelle aus.

    2. Kopieren Sie den ARN für das Modell, das Sie verwenden möchten, aus der ARN-Spalte.

  16. Verwenden Sie Ihr Modell für Inferenzrufe. Weitere Informationen finden Sie unter Senden Sie eine einzelne Aufforderung mit InvokeModel. Sie können das Modell mit On-Demand-Durchsatz verwenden.

    Sie können Ihr Modell auch im Amazon Bedrock Text Playground verwenden.

API

Anforderung

Senden Sie eine Anfrage CreateModelImportJob(siehe Link für Anfrage- und Antwortformat und Felddetails) mit einem Endpunkt der Amazon Bedrock-Steuerebene, um einen Importauftrag für ein benutzerdefiniertes Modell einzureichen. Sie müssen mindestens die folgenden Felder angeben.

  • roleArn— Der ARN der Servicerolle mit Berechtigungen zum Importieren von Modellen. Amazon Bedrock kann automatisch eine Rolle mit den entsprechenden Berechtigungen erstellen, wenn Sie die Konsole verwenden, oder Sie können eine benutzerdefinierte Rolle erstellen, indem Sie die Schritte unter Erstellen Sie eine Servicerolle für den Import von vortrainierten Modellen befolgen.

    Anmerkung

    Wenn Sie ein vpcConfig Feld angeben, stellen Sie sicher, dass die Rolle über die richtigen Berechtigungen für den Zugriff auf die VPC verfügt. Ein Beispiel finden Sie unter Ordnen Sie VPC-Berechtigungen einer Importrolle für ein benutzerdefiniertes Modell zu.

  • importedModelName— Der Name, der dem neu importierten Modell gegeben werden soll.

  • jobName— Der Name, der dem Importjob gegeben werden soll.

  • modelDataSource— Die Datenquelle für das importierte Modell.

Um zu verhindern, dass die Anfrage mehr als einmal abgeschlossen wird, fügen Sie eine hinzuclientRequestToken.

Sie können die folgenden optionalen Felder für zusätzliche Konfigurationen hinzufügen.

Antwort

Die Antwort gibt a jobArn für den Importjob zurück, den Sie verwenden, um den Importjob in anderen Vorgängen zu identifizieren.

Es wird eine Weile dauern, bis der Importauftrag abgeschlossen ist. Sie können den aktuellen Status überprüfen, indem Sie den GetModelImportJobVorgang aufrufen und das Status Feld in der Antwort überprüfen. Sie können die aktuellen Importaufträge mit dem auflisten ListModelImportJobs.

Um eine Liste der Modelle zu erhalten, die Sie importiert haben, rufen Sie an ListImportedModels. Um Informationen zu einem bestimmten importierten Modell zu erhalten, rufen Sie an GetImportedModel.

Um ein importiertes Modell zu löschen, rufen Sie an DeleteImportedModel.