Quick Sight で AWS Mainframe Modernization と Amazon Q を使用して Db2 z/OS データインサイトを生成する

IAM ポリシーと IAM ロールを作成するには、AWS ドキュメントの指示に従います。

IAM ポリシーは、Amazon MSK クラスターでトピックを作成し、それらのトピックにデータを送信するためのアクセス権を付与します。

IAM ロールを作成したら、そのロールにポリシーを関連付けます。IAM ロール名を書き留めておきます。このロールは、EC2 インスタンスの起動時に IAM インスタンスプロファイルとして使用されます。

にサインインし AWS Marketplace、AWS Mainframe Modernization IBM z/OS のデータレプリケーションにサブスクライブします。

マネージドサブスクリプションから AMI を選択し、[新規インスタンスを起動] を選択します。

インスタンス名、インスタンスタイプ、キーペア、VPC、サブネットなど、その他の設定の詳細を入力します。詳細については、「Amazon EC2 ドキュメント」を参照してください。

ドロップダウンリストで、前に作成したセキュリティグループを選択します。

[高度な詳細] の [IAM インスタンスプロファイル] で、前に作成したロールを選択する必要があります。

[インスタンスを起動] を選択します。

にサインインし AWS マネジメントコンソール、Amazon MSK に移動します。

[クラスターを作成] を選択します。

クラスター作成メソッドで [カスタム作成] を選択し、クラスタータイプで [プロビジョニング済み] を選択します。

クラスターの名前を入力します。

必要に応じて [クラスターの設定] を更新し、それ以外の設定はデフォルトのままにします。

<Kafka バージョン> を書き留めます。Kafka クライアントのセットアップ時に必要になります。

[次へ] を選択します。

Precisely EC2 インスタンスに使用したものと同じ VPC とサブネットを選択し、前に作成したセキュリティグループを選択します。

[セキュリティ設定] セクションで、[SASL/SCRAM] と [IAM ロールベースの認証] の両方を有効にします。Precisely Connect CDC では SASL/SCRAM (Simple Authentication and Security Layer/ Salted Challenge Response Mechanism) を使用し、IAM は Amazon Redshift への接続に必要です。

[次へ] を選択します。

確認するには、[モニタリング] と [ブローカーのログ配信] を選択します。

[次へ] を選択してから、[クラスターを作成] を選択します。

Secrets Manager でシークレットをセットアップするには、AWS ドキュメントの指示に従います。

Amazon MSK コンソールを開き、前に作成した Amazon MSK クラスターを選択します。

[プロパティ] タブを選択します。

[シークレットの関連付け]、[シークレットの選択] を選択し、作成したシークレットキーを選択してから、[シークレットの関連付け] を選択します。

次のような成功メッセージが表示されます。

Successfully associated 1 secret for cluster <chosen cluster name>

クラスターの名前を選択します。

[クラスターの概要] ページで、[クライアント情報を表示] を選択します。

認証タイプ SASL/SCRAM のプライベートエンドポイント接続文字列を書き留めます。

前に作成した EC2 インスタンスに接続し、最新の更新がインストールされるように次のコマンドを実行します。

sudo yum update -y

クライアントマシンに Java と Kafka ライブラリをインストールするため、次のコマンドを実行します。

sudo yum install -y java-11 librdkafka librdkafka-devel

/home/ec2-user に kafka という名前のフォルダを作成するには、そのフォルダに移動し、次のコマンドを実行します。

mkdir kafka;cd kafka

kafka クライアントライブラリを kafka フォルダにダウンロードします。<YOUR MSK VERSION> は、Amazon MSK クラスターの作成時に書き留めた Kafka バージョンに置き換えてください。

wget https://archive.apache.org/dist/kafka//kafka_2.13-<YOUR MSK VERSION>.tgz

ダウンロードしたファイルを抽出するには、次のコマンドを実行します。YOUR MSK VERSION> は置き換えてください。

tar -xzf kafka_2.13-<YOUR MSK VERSION>.tgz

kafka libs ディレクトリに移動して Java IAM 認証 Java Archive (JAR) ファイルをダウンロードするには、次のコマンドを実行します。<YOUR MSK VERSION> は置き換えてください。

cd kafka_2.13-<YOUR MSK VERSION>/libs
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jarkafka

Kafka bin ディレクトリに移動して client.properties ファイルを作成するには、次のコマンドを実行します。

cd /home/ec2-user/kafka/kafka_2.13-<YOUR MSK VERSION>/bin
cat >client.properties

次の内容に従って client.properties ファイルを更新します。

security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

Kafka トピックを作成するには、Kafka bin に移動して次のコマンドを実行します。<kafka broker> は、Amazon MSK クラスターの作成時に書き留めた IAM ブートストラップサーバーのプライベートエンドポイントに置き換えてください。

./kafka-topics.sh --bootstrap-server <kafka broker> --command-config client.properties --create --replication-factor 3 —partitions 6 --topic <topic name>

メッセージ Created topic <topic name> が表示されたら、トピック名を書き留めます。

フォルダ名 precisely を作成し、そのフォルダに変更するには、次のコマンドを実行します。

mkdir /home/ec2-user/precisely;cd /home/ec2-user/precisely

precisely 内に 2 つのフォルダ scripts および ddls を作成し、scripts フォルダに変更するには、次のコマンドを実行します。

mkdir scripts;mkdir ddls;cd scripts

scripts フォルダ内に sqdata_kafka_producer.conf というファイルを作成するには、次のコマンドを実行します。

cat >sqdata_kafka_producer.conf

次の内容で sqdata_kafka_producer.conf ファイルを更新します。

builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=<User Name>
sasl.password=<Password>
metadata.broker.list=<SASL/SCRAM Bootstrap servers>

scripts フォルダに script.sqd ファイルを作成します。

cat >script.sqd

Apply Engine で script.sqd を使用してソースデータを処理し、ソースデータをターゲットに複製します。Apply Engine スクリプトの例は、「追加情報」セクションを参照してください。

ddls フォルダに変更し、Db2 テーブルごとに .ddl ファイルを作成するには、次のコマンドを実行します。

cd /home/ec2-user/precisely/ddls
cat >mem_details.ddl
cat >mem_plans.ddl

sqdata インストールパスをエクスポートするには、次のコマンドを実行します。

export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin

/home/ec2-user ディレクトリに変更してネットワーク ACL キーを生成するには、次のコマンドを実行します。

cd /home/ec2-user
sqdutil keygen --force

パブリックキーとプライベートキーが生成されると、次のメッセージが表示されます。

SQDUT04I Generating a private key in file /home/ec2-user/.nacl/id_nacl
SQDC017I sqdutil(pid=27344) terminated successfully

生成され、.nacl フォルダに保存されているパブリックキーを書き留めます。

[SQData z/OS メインメニュー] 画面で、オプション 2 を選択します。

[デーモンをリストに追加] 画面で、[デーモン名] フィールドにデーモンの名前を入力し、Enter キーを押します。

[SQData z/OS メインメニュー] 画面で、オプション 3 を選択します。これにより、[キャプチャ/パブリッシャーの概要] 画面が表示されます。

CAB ファイルを追加するオプションを選択します。これにより、[CAB ファイルをリストに追加] 画面が表示されます。

[名前] フィールドに CAB ファイルの名前を入力します。[Db2] の場合は、[タイプ] を D として入力します。

[Enter] キーを押します。これにより、[新しい Db2 キャプチャ CAB ファイルの作成] 画面が表示されます。

[zFS Dir] フィールドで、ストレージマウントポイントを指定します。

Enter キーを押して保存し、続行します。

[SQData z/OS メインメニュー] 画面で、オプション 2 を選択します。

作成したデーモンの近くに S を入力して、デーモンの詳細を表示します。

1 を入力し、Enter キーを押してエージェントファイルを編集します。

CAB ファイルの詳細を追加します。次の例に、DB2ZTOMSK という名前の CAB ファイルの詳細を示します。<userid> の代わりにメインフレームユーザー ID を使用してください。

ÝDB2ZTOMSK¨
type=capture 
cab=/u/<userid>/sqdata/DB2ZTOMSK.cab

F3 を押します。

2 を入力して ACL ファイルを編集します。次の例に示すように、acl 設定ファイルに userid を追加します。

Ýacls¨
prod=admin,<userid>

F3 を押して保存し、終了します。

[オプション] で、G を入力します。

JOB カード、job ライブラリと proc ライブラリ、Db2 load ライブラリの詳細を入力します。

ネットワーク ACL ファイルの詳細を入力し、オプション 2 を入力して、指定した job ライブラリにジョブ制御言語 (JCL) ファイルを生成します。

[SQData z/OS メインメニュー] 画面で、オプション 3 を選択します。これにより、[キャプチャ/パブリッシャーの概要] 画面が表示されます。

CAB ファイルの横で S を入力して選択します。これにより、[Db2 キャプチャ/パブリッシャーの詳細] 画面が表示されます。

[オプション] で、capture/publisher ジョブを生成するためにオプションに G を入力します。

JOB カード、job ライブラリと procedure ライブラリ、Db2 ロードライブラリの詳細を入力します。

ジョブを作成するには、オプション 4 を選択します。ジョブが、job ライブラリで指定した job ライブラリに作成されます。

次のクエリを実行して Db2 テーブルの DATACAPTUREフラグを確認します。<table name> は、Db2 テーブル名に変更してください。

SELECT DATACAPTURE FROM SYSIBM.SYSTABLES WHERE NAME='<table name>';

結果に DATACAPTURE が Y と表示されることを確認します。

DATACAPTURE が Y でない場合は、次のクエリを実行して Db2 テーブルの CDC を有効にします。<table name> は、Db2 テーブル名に変更してください。

ALTER TABLE <table name> DATA CAPTURE CHANGES;

EC2 インスタンスに接続するには、AWS ドキュメントの指示に従います。

script.sqd ファイルが格納されているディレクトリに変更します。

cd /home/ec2-user/precisely/scripts

Apply Engine を起動するには、次の sqdeng 起動コマンドを実行します。

sqdeng -s script.sqd --identity=/home/ec2-user/.nacl/id_nacl

Apply Engine は、メインフレームソースからの更新の待機を開始します。

CDC をテストするには、Db2 テーブルでレコードの挿入または更新を行います。

Apply Engine ログに、キャプチャされてターゲットに書き込まれたレコードの数が記録されていることを検証します。

EC2 インスタンスの Kafka クライアントインストールパスの bin ディレクトリを変更するには、次のコマンドを実行します。<Kafka version> は、お使いのバージョンに置き換えてください。

cd /home/ec2-user/kafka/kafka_2.13-<Kafka version>/bin

Kafka トピックでメッセージとして書き込まれた Db2 CDC を検証するには、次のコマンドを実行します。<kafka broker> と <Topic Name> は、前に作成したトピックに置き換えてください。

./kafka-console-consumer.sh --bootstrap-server <kafka broker>:9098 --topic <Topic Name> --from-beginning --consumer.config client.properties

メッセージが Db2 テーブルで更新されたレコードの数と一致することを検証します。

Amazon Redshift から Amazon MSK へのアクセスのための IAM ポリシーを作成します。

[region] を AWS リージョン for Amazon MSK、 [account-id] を AWS アカウント ID、 を Amazon MSK クラスター名[msk-cluster-name]に置き換えて、次のコードを実行します。

{"Version": "2012-10-17", "Statement": [{"Sid": "MSKIAMpolicy","Effect": "Allow","Action": ["kafka-cluster:ReadData","kafka-cluster:DescribeTopic","kafka-cluster:Connect"],"Resource": ["arn:aws:kafka:[region]:[account-id]:cluster/[msk-cluster-name]/*","arn:aws:kafka:[region]:[account-id]:topic/[msk-cluster-name]/*"]},{"Effect": "Allow","Action": ["kafka-cluster:AlterGroup","kafka-cluster:DescribeGroup"],"Resource": ["arn:aws:kafka:[region]:[account-id]:group/[msk-cluster-name]/*"]}]}

クラスター名と Amazon リソースネーム (ARN) は、Amazon MSK コンソールで確認できます。コンソールで、[クラスターの概要] を選択し、[ARN] を選択します。

IAM ロールを作成してポリシーをアタッチするには、AWS ドキュメントの指示に従います。

IAM ロールを Amazon Redshift Serverless の名前空間にアタッチするには、次の手順を実行します。

Amazon Redshift Serverless セキュリティグループで、以下の詳細に従ってインバウンドルールを作成します。

Amazon MSK セキュリティグループで、以下の詳細に従ってインバウンドルールを作成します。

このパターンでは、Amazon Redshift と Amazon MSK の両方の設定で IAM 認証のポートを使用します。詳細については、AWS のドキュメントを参照してください (ステップ 2)。

Amazon Redshift Serverless ワークグループ用の拡張された VPC ルーティングを有効化します。詳細については、AWS のドキュメントを参照してください。

Quick Sight から Amazon Redshift への接続を許可するには、Amazon Redshift コンソールを開き、Amazon Redshift セキュリティグループにインバウンドルールを追加します。このルールでは、Quick Sight のセットアップに使用した CIDR 範囲から、ポート 5439 (デフォルトの Redshift ポート) へのトラフィックを許可する必要があります。 AWS リージョン とその IP アドレスのリストについては、「Supported AWS リージョン for Quick Sight」を参照してください。

Amazon Redshift コンソールで、[ワークグループ]、[データアクセス]、[ネットワークとセキュリティ] を選択し、[パブリックにアクセス可能] を有効にします。

Quick Sight コンソールのナビゲーションペインで、[データセット] を選択します。

[Datasets (データセット)] ページで、[New data set (新しいデータセット)] を選択します。

[Redshift 手動接続] を選択します。

[新規 Redshift データソース] ウィンドウで、接続情報を入力します。

[接続を検証] を選択します。成功すると、検証を示す緑色のチェックマークが表示されます。検証に失敗した場合は、「トラブルシューティング」セクションを参照してください。

[データソースを作成] を選択します。

メインフレームのデータ分析を作成するには、AWS ドキュメントの指示に従います。[データセット] で、作成したデータセットを選択します。

分析ページで、[ビジュアルを構築] を選択します。

[分析用のトピックを作成] ウィンドウで、[既存のトピックを更新] を選択します。

[トピックを選択] ドロップダウンリストで、前に作成したトピックを選択します。

[トピックのリンク] を選択します。

トピックをリンクしたら、[ビジュアルを構築] を選択して Amazon Q の [ビジュアルを構築] ウィンドウを開きます。

プロンプトバーに分析の質問を記述します。このパターンで使用される質問の例を次に示します。

質問を入力したら、[構築] を選択します。Amazon Q in Quick Sight によりビジュアルが作成されます。

ビジュアルダッシュボードにビジュアルを追加するには、[分析に追加] を選択します。

データストーリーを作成するには、AWS ドキュメントの指示に従います。

データストーリーのプロンプトには、以下を使用します。

Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

また、独自のプロンプトを構築して、他のビジネスインサイト用のデータストーリーを生成することもできます。

[ビジュアルを追加] を選択し、データストーリーに関連するビジュアルを追加します。このパターンでは、前に作成したビジュアルを使用します。

[Build] を選択します。

データストーリーの出力の例については、「追加情報」セクションの「データストーリーの出力」を参照してください。