Hinzufügen einer JDBC-Verbindung mit Ihren eigenen JDBC-Treibern - AWS Glue
Unterstützte DatenquellenHinzufügen eines JDBC-Treibers zu einer JDBC-Verbindung

Hinzufügen einer JDBC-Verbindung mit Ihren eigenen JDBC-Treibern

Sie können Ihren eigenen JDBC-Treiber verwenden, wenn Sie eine JDBC-Verbindung verwenden. Wenn der vom AWS Glue-Crawler verwendete Standardtreiber keine Verbindung zu einer Datenbank herstellen kann, können Sie Ihren eigenen JDBC-Treiber verwenden. Wenn Sie beispielsweise SHA-256 mit Ihrer Postgres-Datenbank verwenden möchten und ältere Postgres-Treiber dies nicht unterstützen, können Sie Ihren eigenen JDBC-Treiber verwenden.

Unterstützte Datenquellen

Unterstützte Datenquellen Nicht unterstützte Datenquellen
MySQL Snowflake
Postgres
Oracle
Redshift
SQL Server
Aurora*

*Wird unterstützt, wenn der native JDBC-Treiber verwendet wird. Nicht alle Treiber-Features können genutzt werden.

Hinzufügen eines JDBC-Treibers zu einer JDBC-Verbindung

Anmerkung

Wenn Sie sich dafür entscheiden, Ihre eigenen JDBC-Treiberversionen einzubinden, verbrauchen AWS Glue-Crawler Ressourcen in AWS Glue-Aufträgen und Amazon-S3-Buckets, um sicherzustellen, dass Ihre bereitgestellten Treiber in Ihrer Umgebung ausgeführt werden. Der zusätzliche Ressourcenverbrauch wird in Ihrem Konto angezeigt. Die Kosten für AWS Glue-Crawler und -Aufträgen werden in der AWS Glue-Kategorie Fakturierung aufgeführt. Darüber hinaus bedeutet das Bereitstellen eines eigenen JDBC-Treibers nicht, dass der Crawler in der Lage ist, alle Features des Treibers zu nutzen.

So fügen Sie Ihren eigenen JDBC-Treiber zu einer JDBC-Verbindung hinzu:

  1. Fügen Sie die JDBC-Treiberdatei einem Amazon-S3-Speicherort hinzu. Sie können einen Bucket und/oder Ordner erstellen oder einen vorhandenen Bucket und/oder Ordner verwenden.

  2. Wählen Sie in der AWS Glue-Konsole im linken Menü die Option Verbindungen unter Data Catalog und stellen Sie dann eine neue Verbindung her.

  3. Füllen Sie die Felder für Verbindungseigenschaften aus und wählen Sie JDBC als Verbindungstyp aus.

  4. Geben Sie unter Verbindungszugriff die JDBC-URL und den Namen der JDBC-Treiberklasse ein – optional. Der Name der Treiberklasse muss für eine Datenquelle gelten, die von AWS Glue-Crawlern unterstützt wird.

    Der Screenshot zeigt eine Datenquelle mit ausgewähltem JDBC und einer Verbindung im Fenster „Datenquelle hinzufügen“.

  5. Wählen Sie den Amazon-S3-Pfad, unter dem sich der JDBC-Treiber befindet, im Feld Amazon-S3-Pfad des JDBC-Treibers aus – optional.

  6. Füllen Sie die Felder für den Anmeldeinformationstyp aus, wenn Sie einen Benutzernamen, ein Passwort oder ein Secret eingeben. Wenn der Vorgang abgeschlossen ist, wählen Sie Verbindung erstellen aus.

    Anmerkung

    Das Testen der Verbindung wird derzeit nicht unterstützt. Beim Crawling der Datenquelle mit einem von Ihnen bereitgestellten JDBC-Treiber überspringt der Crawler diesen Schritt.

  7. Fügen Sie die neu erstellte Verbindung einem Crawler hinzu. Wählen Sie in der AWS Glue-Konsole im Menü auf der linken Seite die Option Crawler unter Data Catalog aus und erstellen Sie dann einen neuen Crawler.

  8. Wählen Sie im Assistenten zum Hinzufügen von Crawlern in Schritt 2 die Option Datenquelle hinzufügen aus.

    Der Screenshot zeigt eine Datenquelle mit ausgewähltem JDBC und einer Verbindung im Fenster „Datenquelle hinzufügen“.

  9. Wählen Sie JDBC als Datenquelle und wählen Sie die Verbindung aus, die in den vorherigen Schritten erstellt wurde. Complete

  10. Um Ihren eigenen JDBC-Treiber mit einem AWS Glue-Crawler zu verwenden, fügen Sie der vom Crawler verwendeten Rolle die folgenden Berechtigungen hinzu:

    • Gewähren Sie Berechtigungen für die folgenden Auftragsaktionen: CreateJob, DeleteJob, GetJob, GetJobRun, StartJobRun.

    • Gewähren Sie Berechtigungen für IAM-Aktionen: iam:PassRole

    • Gewähren Sie Berechtigungen für alle Amazon-S3-Aktionen: s3:DeleteObjects, s3:GetObject, s3:ListBucket, s3:PutObject.

    • Gewähren Sie dem Service-Prinzipal Zugriff auf den Bucket/Ordner in der IAM-Richtlinie.

    Beispiel für eine IAM-Richtlinie:

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "VisualEditor0",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/driver-parent-folder/driver.jar",
        "arn:aws:s3:::amzn-s3-demo-bucket"
      ]
    }
  ]
}

    Der AWS Glue Crawler erstellt zwei Ordner: _glue_job_crawler und _crawler.

    Wenn sich die Treiber-JAR-Datei im Ordner s3://amzn-s3-demo-bucket/driver.jar" befindet, fügen Sie die folgenden Ressourcen hinzu: 

    "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket/_glue_job_crawler/*",
  		 "arn:aws:s3:::amzn-s3-demo-bucket/_crawler/*"
            ]

    Wenn sich die Treiber-JAR-Datei im Ordner s3://amzn-s3-demo-bucket/tmp/driver/subfolder/driver.jar" befindet, fügen Sie die folgenden Ressourcen hinzu: 

    
"Resource": [
               "arn:aws:s3:::amzn-s3-demo-bucket/tmp/_glue_job_crawler/*",
  		"arn:aws:s3:::amzn-s3-demo-bucket/tmp/_crawler/*"
            ]

  11. Wenn Sie eine VPC verwenden, müssen Sie den Zugriff auf den AWS Glue-Endpunkt zulassen, indem Sie den Schnittstellenendpunkt erstellen und ihn Ihrer Routing-Tabelle hinzufügen. Weitere Informationen finden Sie unter Erstellen eines Schnittstellen-VPC-Endpunkts für AWS Glue

  12. Wenn Sie in Ihrem Data Catalog eine Verschlüsselung verwenden, erstellen Sie den AWS KMS-Schnittstellenendpunkt-Endpunkt und fügen ihn zu Ihrer Routing-Tabelle hinzu. Weitere Informationen finden Sie unter Erstellen eines VPC-Endpunkts für AWS KMS.