Herstellen einer Verbindung zu Apache Hadoop-Datenbanken mit dem AWS Schema Conversion Tool

Erstellen Sie ein neues AWS SCT CLI-Skript oder bearbeiten Sie eine vorhandene Szenariovorlage. Sie können die HadoopMigrationTemplate.scts Vorlage beispielsweise herunterladen und bearbeiten. Weitere Informationen finden Sie unter CLI-Szenarien abrufen.

Konfigurieren Sie die AWS SCT Anwendungseinstellungen wie den Speicherort des Treibers und den Protokollordner.

Laden Sie den erforderlichen JDBC-Treiber herunter und geben Sie den Speicherort für die Datei an. Weitere Informationen finden Sie unter Installation von JDBC-Treibern für AWS Schema Conversion Tool.

Das folgende Codebeispiel zeigt Ihnen, wie Sie den Pfad zum Apache Hive-Treiber hinzufügen. AWS SCT Speichert Protokolldateien im c:\sct Ordner, nachdem Sie dieses Codebeispiel ausgeführt haben.

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

Sie können dieses Beispiel und die folgenden Beispiele in Windows verwenden.

Erstellen Sie ein neues AWS SCT Projekt.

Im folgenden Codebeispiel wird das hadoop_emr Projekt im c:\sct Ordner erstellt.

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

Fügen Sie dem Projekt Ihren Quell-Hadoop-Cluster hinzu.

Verwenden Sie den AddSourceCluster Befehl, um eine Verbindung zum Quell-Hadoop-Cluster herzustellen. Stellen Sie sicher, dass Sie Werte für die folgenden obligatorischen Parameter angeben:name, hostport, unduser. Andere Parameter sind optional.

Das folgende Codebeispiel fügt den Quell-Hadoop-Cluster hinzu. In diesem HADOOP_SOURCE Beispiel wird der Name des Quellclusters festgelegt. Verwenden Sie diesen Objektnamen, um Hive- und HDFS-Dienste zum Projekt hinzuzufügen und Zuordnungsregeln zu erstellen.

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

Ersetzen Sie es im vorherigen Beispiel hadoop_address durch die IP-Adresse Ihres Hadoop-Clusters. Konfigurieren Sie bei Bedarf den Wert der Port-Option. Ersetzen Sie als Nächstes hadoop_user und hadoop_password durch den Namen Ihres Hadoop-Benutzers und das Passwort für diesen Benutzer. Geben Sie für path\name den Namen und den Pfad zur PEM-Datei für Ihren Hadoop-Quellcluster ein.

Speichern Sie Ihr CLI-Skript. Fügen Sie als Nächstes die Verbindungsinformationen für Ihre Hive- und HDFS-Dienste hinzu.

Öffnen Sie Ihr CLI-Skript, das die Verbindungsinformationen für Ihren Hadoop-Quellcluster enthält. Stellen Sie sicher, dass Sie den Namen des Hadoop-Clusters verwenden, den Sie im vorherigen Schritt definiert haben.

Fügen Sie dem Projekt Ihren Quell-Hive-Dienst hinzu.

Verwenden Sie den AddSourceClusterHive Befehl, um eine Verbindung zum Quell-Hive-Dienst herzustellen. Stellen Sie sicher, dass Sie Werte für die folgenden obligatorischen Parameter angeben: userpassword,, clustername, undport. Andere Parameter sind optional.

Das folgende Codebeispiel erstellt einen Tunnel für AWS SCT die Arbeit mit Ihrem Hive-Dienst. Dieser Quell-Hive-Dienst läuft auf demselben PC wie. AWS SCT In diesem Beispiel wird der HADOOP_SOURCE Quellcluster aus dem vorherigen Beispiel verwendet.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

Das folgende Codebeispiel stellt ohne Tunnel eine Verbindung zu Ihrem Hive-Dienst her.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

Ersetzen Sie in den vorherigen Beispielen hive_user und hive_password durch den Namen Ihres Hive-Benutzers und das Passwort für diesen Benutzer.

Ersetzen Sie als Nächstes hive_address und hive_port durch die NameNode IP-Adresse und den Port Ihres Quell-Hadoop-Clusters.

Für hive_remote_address können Sie den Standardwert 127.0.0.1 oder die NameNode IP-Adresse Ihres Quell-Hive-Dienstes verwenden.

Fügen Sie dem Projekt Ihren Quell-HDFS-Dienst hinzu.

Verwenden Sie den AddSourceClusterHDFS Befehl, um eine Verbindung zum Quell-HDFS-Dienst herzustellen. Stellen Sie sicher, dass Sie Werte für die folgenden obligatorischen Parameter angeben: userpassword,, clustername, undport. Andere Parameter sind optional.

Stellen Sie sicher, dass Ihr Benutzer über die erforderlichen Berechtigungen verfügt, um Daten aus Ihrem HDFS-Quelldienst zu migrieren. Weitere Informationen finden Sie unter Berechtigungen für die Verwendung von Hive als Quelle.

Das folgende Codebeispiel erstellt einen Tunnel für die AWS SCT Arbeit mit Ihrem Apache HDFS-Dienst. In diesem Beispiel wird der HADOOP_SOURCE Quellcluster verwendet, den Sie zuvor erstellt haben.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

Der folgende Code stellt ohne Tunnel eine Verbindung zu Ihrem Apache HDFS-Dienst her.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

Ersetzen Sie in den vorherigen Beispielen hdfs_user und hdfs_password durch den Namen Ihres HDFS-Benutzers und das Passwort für diesen Benutzer.

Ersetzen Sie als Nächstes hdfs_address und hdfs_port durch die NameNode IP-Adresse und den Port Ihres Quell-Hadoop-Clusters.

Für hdfs_remote_address können Sie den Standardwert 127.0.0.1 oder die NameNode IP-Adresse Ihres Quell-Hive-Dienstes verwenden.

Speichern Sie Ihr CLI-Skript. Fügen Sie als Nächstes die Verbindungsinformationen für Ihren Amazon EMR-Zielcluster und die Migrationsbefehle hinzu.

Öffnen Sie Ihr CLI-Skript, das die Verbindungsinformationen für Ihren Hadoop-Quellcluster enthält. Fügen Sie die Amazon EMR-Zielanmeldedaten zu dieser Datei hinzu.

Fügen Sie dem Projekt Ihren Amazon EMR-Zielcluster hinzu.

Das folgende Codebeispiel fügt den Amazon EMR-Zielcluster hinzu. In diesem HADOOP_TARGET Beispiel wird der Name des Zielclusters festgelegt. Verwenden Sie diesen Objektnamen, um Ihre Hive- und HDFS-Services sowie einen Amazon S3 S3-Bucket-Ordner zum Projekt hinzuzufügen und Zuordnungsregeln zu erstellen.

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

Geben Sie im vorherigen Beispiel Ihre AWS Ressourcennamen und Amazon EMR-Verbindungsinformationen ein. Dazu gehören die IP-Adresse Ihres Amazon EMR-Clusters, der AWS Zugriffsschlüssel, der AWS geheime Zugriffsschlüssel und der Amazon S3 S3-Bucket. Konfigurieren Sie bei Bedarf den Wert der Port-Variablen. Ersetzen Sie anschließend emr_user und emr_password durch den Namen Ihres Amazon EMR-Benutzers und das Passwort für diesen Benutzer. Geben Sie für path\name den Namen und den Pfad zur PEM-Datei für Ihren Amazon EMR-Zielcluster ein. Weitere Informationen finden Sie unter PEM-Datei für EMR-Clusterzugriff herunterladen.

Fügen Sie dem Projekt Ihren Amazon S3 S3-Ziel-Bucket hinzu.

Das folgende Codebeispiel fügt den Amazon S3 S3-Ziel-Bucket hinzu. In diesem Beispiel wird der HADOOP_TARGET Cluster verwendet, den Sie zuvor erstellt haben.

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

Geben Sie im vorherigen Beispiel Ihren Zugriffsschlüssel, Ihren AWS geheimen AWS Zugriffsschlüssel und Ihren Amazon S3 S3-Bucket ein.

Fügen Sie dem Projekt Ihren Hive-Zieldienst hinzu.

Das folgende Codebeispiel erstellt einen Tunnel, AWS SCT um mit Ihrem Hive-Zieldienst zu arbeiten. In diesem Beispiel wird der HADOOP_TARGET Zielcluster verwendet, den Sie zuvor erstellt haben.

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

Ersetzen Sie im vorherigen Beispiel hive_user und hive_password durch den Namen Ihres Hive-Benutzers und das Passwort für diesen Benutzer.

Als Nächstes hive_address ersetzen Sie es durch den Standardwert 127.0.0.1 oder durch die NameNode IP-Adresse Ihres Hive-Zieldienstes. Als Nächstes hive_port ersetzen Sie ihn durch den Port Ihres Hive-Zieldienstes.

Fügen Sie dem Projekt Ihren Ziel-HDFS-Dienst hinzu.

Das folgende Codebeispiel erstellt einen Tunnel für die AWS SCT Arbeit mit Ihrem Apache HDFS-Dienst. In diesem Beispiel wird der HADOOP_TARGET Zielcluster verwendet, den Sie zuvor erstellt haben.

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

Ersetzen Sie im vorherigen Beispiel hdfs_user und hdfs_password durch den Namen Ihres HDFS-Benutzers und das Kennwort für diesen Benutzer.

Ersetzen Sie als Nächstes hdfs_address und hdfs_port durch die private IP-Adresse und den Port NameNode Ihres HDFS-Zieldienstes.

Speichern Sie Ihr CLI-Skript. Fügen Sie als Nächstes Zuordnungsregeln und Migrationsbefehle hinzu. Weitere Informationen finden Sie unter Migration von Hadoop-Workloads.