Debezium ソースコネクタを作成する

この手順では、Debezium ソースコネクタを作成する方法について説明します。

カスタムプラグインを作成する
1. Debezium サイトから最新の安定版リリース用の MySQL コネクタプラグインをダウンロードしてください。ダウンロードした Debezium リリースバージョン (バージョン 2.x、または古いシリーズ 1.x) を書き留めます。この手順の後半で、Debezium のバージョンに基づいてコネクタを作成します。
2. AWS Secrets Manager 設定プロバイダーをダウンロードして解凍します。
3. 以下のアーカイブを同じディレクトリに置きます。
  - debezium-connector-mysql フォルダ
  - jcusten-border-kafka-config-provider-aws-0.1.1 フォルダ
4. 前のステップで作成したディレクトリを ZIP ファイルに圧縮し、その ZIP ファイルを S3 バケットにアップロードします。手順については、Amazon S3 ユーザーガイドのオブジェクトのアップロードを参照してください。
5. 次の JSON をコピーして、ファイルに貼り付けます。例えば、debezium-source-custom-plugin.json。<example-custom-plugin-name> をプラグインに付けたい名前に置き換え、<amzn-s3-demo-bucket-arn> を ZIP ファイルをアップロードした Amazon S3 バケットの ARN に置き換え、 <file-key-of-ZIP-object> を S3 にアップロードした ZIP オブジェクトのファイルキーに置き換えてください。
```
{
    "name": "<example-custom-plugin-name>",
    "contentType": "ZIP",
    "location": {
        "s3Location": {
            "bucketArn": "<amzn-s3-demo-bucket-arn>",
            "fileKey": "<file-key-of-ZIP-object>"
        }
    }
}
```
6. JSON ファイルを保存したフォルダから次の AWS CLI コマンドを実行して、プラグインを作成します。
```
aws kafkaconnect create-custom-plugin --cli-input-json file://<debezium-source-custom-plugin.json>
```
  以下のような出力が表示されます。
```
{
    "CustomPluginArn": "arn:aws:kafkaconnect:us-east-1:012345678901:custom-plugin/example-custom-plugin-name/abcd1234-a0b0-1234-c1-12345678abcd-1",
    "CustomPluginState": "CREATING",
    "Name": "example-custom-plugin-name",
    "Revision": 1
}
```
7. 次のコマンドを実行して、プラグインの状態を確認します。状態は CREATING から ACTIVE に変わります。ARN プレースホルダーを前のコマンドの出力で取得した ARN に置き換えます。
```
aws kafkaconnect describe-custom-plugin --custom-plugin-arn "<arn-of-your-custom-plugin>"
```
データベース認証情報のシークレットを設定 AWS Secrets Manager および作成する
1. https://console.aws.amazon.com/secretsmanager/ から Secrets Manager コンソールを開きます。
2. データベースのサインイン認証情報を保存する新しいシークレットを作成します。手順については、AWS Secrets Manager ユーザーガイドのシークレットを作成するを参照してください。
3. シークレットの ARN をコピーします。
4. 以下のサンプルポリシーの Secrets Manager のアクセス許可をサービス実行ロールを理解するに追加します。<arn:aws:secretsmanager:us-east-1:123456789000:secret:MySecret-1234> をシークレットの ARN で置き換えます。
  JSON
  { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "secretsmanager:GetResourcePolicy", "secretsmanager:GetSecretValue", "secretsmanager:DescribeSecret", "secretsmanager:ListSecretVersionIds" ], "Resource": [ "arn:aws:secretsmanager:us-east-1:123456789012:secret:MySecret-1234" ] } ] }
  IAM のアクセス許可を追加する手順については、「IAM ユーザーガイド」の「IAM ID のアクセス許可の追加と削除」を参照してください。
設定プロバイダーに関する情報を使用してカスタムワーカー設定を作成します。
1. 次のワーカー設定プロパティをファイルにコピーして、プレースホルダー文字列をシナリオに対応する値に置き換えます。 AWS Secrets Manager 設定プロバイダーの設定プロパティの詳細については、プラグインのドキュメントの「SecretsManagerConfigProvider」を参照してください。
```
key.converter=<org.apache.kafka.connect.storage.StringConverter>
value.converter=<org.apache.kafka.connect.storage.StringConverter>
config.providers.secretManager.class=com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProvider
config.providers=secretManager
config.providers.secretManager.param.aws.region=<us-east-1>
```
2. 次の AWS CLI コマンドを実行して、カスタムワーカー設定を作成します。
  
  以下の値を置き換えます:
  - <my-worker-config-name> - カスタムワーカー設定のわかりやすい名前
  - <encoded-properties-file-content-string> - 前のステップでコピーしたプレーンテキストプロパティの base64 でエンコードされたバージョン
```
aws kafkaconnect create-worker-configuration --name <my-worker-config-name> --properties-file-content <encoded-properties-file-content-string>
```

コネクタを作成する

Debezium のバージョン (2.x または 1.x) に対応する次の JSON をコピーして、新しいファイルに貼り付けます。<placeholder> 文字列をシナリオに対応する値に置き換えます。サービス実行ロールの設定方法については、「MSK Connect の IAM のロールとポリシー」を参照してください。

この設定では、データベースの認証情報を指定するのにプレーンテキストではなく ${secretManager:MySecret-1234:dbusername} のような変数を使用していることに注意してください。MySecret-1234 をシークレットの名前に置き換えてから、取得したいキーの名前を入力します。また、<arn-of-config-provider-worker-configuration> をカスタムワーカー設定の ARN に置き換える必要があります。

Debezium 2.x

Debezium 2.x バージョンでは、次の JSON をコピーして、新しいファイルに貼り付けます。<placeholder> 文字列をシナリオに対応する値に置き換えます。


{
	"connectorConfiguration": {
		"connector.class": "io.debezium.connector.mysql.MySqlConnector",
		"tasks.max": "1",
		"database.hostname": "<aurora-database-writer-instance-endpoint>",
		"database.port": "3306",
		"database.user": "<${secretManager:MySecret-1234:dbusername}>",
		"database.password": "<${secretManager:MySecret-1234:dbpassword}>",
		"database.server.id": "123456",
		"database.include.list": "<list-of-databases-hosted-by-specified-server>",
		"topic.prefix": "<logical-name-of-database-server>",
		"schema.history.internal.kafka.topic": "<kafka-topic-used-by-debezium-to-track-schema-changes>",
		"schema.history.internal.kafka.bootstrap.servers": "<cluster-bootstrap-servers-string>",
		"schema.history.internal.consumer.security.protocol": "SASL_SSL",
		"schema.history.internal.consumer.sasl.mechanism": "AWS_MSK_IAM",
		"schema.history.internal.consumer.sasl.jaas.config": "software.amazon.msk.auth.iam.IAMLoginModule required;",
		"schema.history.internal.consumer.sasl.client.callback.handler.class": "software.amazon.msk.auth.iam.IAMClientCallbackHandler",
		"schema.history.internal.producer.security.protocol": "SASL_SSL",
		"schema.history.internal.producer.sasl.mechanism": "AWS_MSK_IAM",
		"schema.history.internal.producer.sasl.jaas.config": "software.amazon.msk.auth.iam.IAMLoginModule required;",
		"schema.history.internal.producer.sasl.client.callback.handler.class": "software.amazon.msk.auth.iam.IAMClientCallbackHandler",
		"include.schema.changes": "true"
	},
	"connectorName": "example-Debezium-source-connector",
	"kafkaCluster": {
		"apacheKafkaCluster": {
			"bootstrapServers": "<cluster-bootstrap-servers-string>",
			"vpc": {
				"subnets": [
					"<cluster-subnet-1>",
					"<cluster-subnet-2>",
					"<cluster-subnet-3>"
				],
				"securityGroups": ["<id-of-cluster-security-group>"]
			}
		}
	},
	"capacity": {
		"provisionedCapacity": {
			"mcuCount": 2,
			"workerCount": 1
		}
	},
	"kafkaConnectVersion": "2.7.1",
	"serviceExecutionRoleArn": "<arn-of-service-execution-role-that-msk-connect-can-assume>",
	"plugins": [{
		"customPlugin": {
			"customPluginArn": "<arn-of-msk-connect-plugin-that-contains-connector-code>",
			"revision": 1
		}
	}],
	"kafkaClusterEncryptionInTransit": {
		"encryptionType": "TLS"
	},
	"kafkaClusterClientAuthentication": {
		"authenticationType": "IAM"
	},
	"workerConfiguration": {
		"workerConfigurationArn": "<arn-of-config-provider-worker-configuration>",
		"revision": 1
	}
}

Debezium 1.x

Debezium 1.x バージョンでは、次の JSON をコピーして、新しいファイルに貼り付けます。<placeholder> 文字列をシナリオに対応する値に置き換えます。


{
	"connectorConfiguration": {
		"connector.class": "io.debezium.connector.mysql.MySqlConnector",
		"tasks.max": "1",
		"database.hostname": "<aurora-database-writer-instance-endpoint>",
		"database.port": "3306",
		"database.user": "<${secretManager:MySecret-1234:dbusername}>",
		"database.password": "<${secretManager:MySecret-1234:dbpassword}>",
		"database.server.id": "123456",
		"database.server.name": "<logical-name-of-database-server>",
		"database.include.list": "<list-of-databases-hosted-by-specified-server>",
		"database.history.kafka.topic": "<kafka-topic-used-by-debezium-to-track-schema-changes>",
		"database.history.kafka.bootstrap.servers": "<cluster-bootstrap-servers-string>",
		"database.history.consumer.security.protocol": "SASL_SSL",
		"database.history.consumer.sasl.mechanism": "AWS_MSK_IAM",
		"database.history.consumer.sasl.jaas.config": "software.amazon.msk.auth.iam.IAMLoginModule required;",
		"database.history.consumer.sasl.client.callback.handler.class": "software.amazon.msk.auth.iam.IAMClientCallbackHandler",
		"database.history.producer.security.protocol": "SASL_SSL",
		"database.history.producer.sasl.mechanism": "AWS_MSK_IAM",
		"database.history.producer.sasl.jaas.config": "software.amazon.msk.auth.iam.IAMLoginModule required;",
		"database.history.producer.sasl.client.callback.handler.class": "software.amazon.msk.auth.iam.IAMClientCallbackHandler",
		"include.schema.changes": "true"
	},
	"connectorName": "example-Debezium-source-connector",
	"kafkaCluster": {
		"apacheKafkaCluster": {
			"bootstrapServers": "<cluster-bootstrap-servers-string>",
			"vpc": {
				"subnets": [
					"<cluster-subnet-1>",
					"<cluster-subnet-2>",
					"<cluster-subnet-3>"
				],
				"securityGroups": ["<id-of-cluster-security-group>"]
			}
		}
	},
	"capacity": {
		"provisionedCapacity": {
			"mcuCount": 2,
			"workerCount": 1
		}
	},
	"kafkaConnectVersion": "2.7.1",
	"serviceExecutionRoleArn": "<arn-of-service-execution-role-that-msk-connect-can-assume>",
	"plugins": [{
		"customPlugin": {
			"customPluginArn": "<arn-of-msk-connect-plugin-that-contains-connector-code>",
			"revision": 1
		}
	}],
	"kafkaClusterEncryptionInTransit": {
		"encryptionType": "TLS"
	},
	"kafkaClusterClientAuthentication": {
		"authenticationType": "IAM"
	},
	"workerConfiguration": {
		"workerConfigurationArn": "<arn-of-config-provider-worker-configuration>",
		"revision": 1
	}
}

前のステップで JSON ファイルを保存したフォルダで、次の AWS CLI コマンドを実行します。


aws kafkaconnect create-connector --cli-input-json file://connector-info.json

以下は、コマンドを正常に実行したときに得られる出力の例です。


{
    "ConnectorArn": "arn:aws:kafkaconnect:us-east-1:123450006789:connector/example-Debezium-source-connector/abc12345-abcd-4444-a8b9-123456f513ed-2", 
    "ConnectorState": "CREATING", 
    "ConnectorName": "example-Debezium-source-connector"
}

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

Debezium ソースコネクタを使用するための完全な前提条件

Debezium コネクタ設定を更新する

Debezium ソースコネクタを作成する

カスタムプラグインを作成する

データベース認証情報のシークレットを設定 AWS Secrets Manager および作成する

設定プロバイダーに関する情報を使用してカスタムワーカー設定を作成します。

コネクタを作成する