Konfigurieren Sie Ihre Pipeline - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie Ihre Pipeline

Es wird empfohlen, die SageMaker AI-Konfigurationsdatei zu verwenden, um die Standardeinstellungen für die Pipeline festzulegen. Informationen zur SageMaker AI-Konfigurationsdatei finden Sie unter Konfiguration und Verwendung von Standardwerten mit dem SageMaker Python-SDK. Jede Konfiguration, die der Konfigurationsdatei hinzugefügt wird, gilt für alle Schritte in der Pipeline. Wenn Sie die Optionen für einen der Schritte überschreiben möchten, geben Sie neue Werte in den @step Decorator-Argumenten an. Im folgenden Thema wird beschrieben, wie Sie eine Konfigurationsdatei einrichten.

Die Konfiguration des @step Decorators in der Konfigurationsdatei ist identisch mit der Konfiguration des @remote Decorators. Verwenden Sie den Pipeline Abschnitt im folgenden Ausschnitt, um den ARN der Pipeline-Rolle und die Pipeline-Tags in der Konfigurationsdatei einzurichten:

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

Die meisten Standardwerte, die Sie in der Konfigurationsdatei festlegen können, können Sie auch überschreiben, indem Sie neue Werte an den Decorator übergeben. @step Sie können beispielsweise den in der Konfigurationsdatei für Ihren Vorverarbeitungsschritt festgelegten Instanztyp überschreiben, wie im folgenden Beispiel gezeigt:

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

Einige Argumente sind nicht Teil der @step Decorator-Parameterliste — sie können nur über die AI-Konfigurationsdatei für die gesamte Pipeline konfiguriert werden. SageMaker Sie sind wie folgt aufgeführt:

  • sagemaker_session(sagemaker.session.Session): Die zugrunde liegende SageMaker KI-Sitzung, an die SageMaker KI Serviceeinsätze delegiert. Falls nicht angegeben, wird eine Sitzung mit einer Standardkonfiguration wie folgt erstellt:

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter(CustomFileFilter): Ein CustomFileFilter Objekt, das die lokalen Verzeichnisse und Dateien angibt, die in den Pipeline-Schritt aufgenommen werden sollen. Falls nicht angegeben, ist dieser Wert standardmäßig auf. None custom_file_filterUm wirksam zu werden, müssen Sie auf einstellenIncludeLocalWorkdir. True Das folgende Beispiel zeigt eine Konfiguration, die alle Notizbuchdateien sowie die genannten data Dateien und Verzeichnisse ignoriert.

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    Weitere Informationen zur Verwendung von IncludeLocalWorkdir mit finden Sie CustomFileFilter unterVerwendung von modularem Code mit dem @remote Decorator.

  • s3_root_uri (str): Der Amazon S3 S3-Stammordner, in den SageMaker AI die Codearchive und Daten hochlädt. Falls nicht angegeben, wird der SageMaker Standard-AI-Bucket verwendet.

  • s3_kms_key (str): Der Schlüssel, der zum Verschlüsseln der Eingabe- und Ausgabedaten verwendet wird. Sie können dieses Argument nur in der SageMaker AI-Konfigurationsdatei konfigurieren und das Argument gilt für alle in der Pipeline definierten Schritte. Wenn nicht angegeben, ist der Standardwert. None Im folgenden Codeausschnitt finden Sie ein Beispiel für eine S3-KMS-Schlüsselkonfiguration:

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project