組織間でのデータ共有を目的として、最小実行可能データスペースを設定する

リポジトリのクローン作成

ワークステーションでリポジトリのクローンを作成するには、次のコマンドを実行してください。

git clone https://github.com/Think-iT-Labs/aws-patterns-edc

ワークステーションは にアクセスできる必要があります AWS アカウント。

Kubernetes クラスターをプロビジョニングし、名前空間を設定します。

アカウントに簡略化されたデフォルトの EKS クラスターをデプロイするには、リポジトリをクローンしたワークステーションで次の eksctl コマンドを実行します。

eksctl create cluster

コマンドは VPC と 3 つの異なるアベイラビリティーゾーンにまたがる、プライベートサブネットとパブリックサブネットを作成します。ネットワークレイヤーが作成されると、コマンドは Auto Scaling グループ内に 2 つの m5.large EC2 インスタンスを作成します。

詳細と出力例については、eksctl ガイドを参照してください。

プライベートクラスターをプロビジョニングしたら、次のコマンドを実行して、新しい EKS クラスターをローカル Kubernetes 設定に追加します。

aws eks update-kubeconfig --name <EKS CLUSTER NAME> --region <AWS REGION>

このパターンでは、 eu-west-1 AWS リージョン を使用してすべてのコマンドを実行します。ただし、任意の で同じコマンドを実行できます AWS リージョン。

EKS ノードが実行され、準備が完了していることを確認するには、次のコマンドを実行します。

kubectl get nodes

名前空間を設定します。

プロバイダーとコンシューマーの名前空間を作成するには、次のコマンドを実行します。

kubectl create ns provider
kubectl create ns consumer

このパターンでは、次のステップの設定に合わせて名前空間として provider と consumer を使用する必要があります。

を使用して DAPS をデプロイします AWS CloudFormation。

DAPS オペレーションの管理を容易にするために、DAPS サーバーが EC2 インスタンスにインストールされています。

DAPS をインストールするには AWS CloudFormation テンプレートを使用します。前提条件セクションの ACM 証明書と DNS 名が必要です。テンプレートを使用して以下のリソースの構成とデプロイを行います。

AWS CloudFormation テンプレートをデプロイするには、 にサインイン AWS マネジメントコンソール し、 AWS CloudFormation コンソールを使用します。テンプレートは、次のような AWS CLI コマンドを使用してデプロイすることもできます。

aws cloudformation create-stack --stack-name daps \
  --template-body file://aws-patterns-edc/cloudformation.yml --parameters \
ParameterKey=CertificateARN,ParameterValue=<ACM Certificate ARN> \
ParameterKey=DNSName,ParameterValue=<DNS name> \
ParameterKey=InstanceType,ParameterValue=<EC2 instance type> \
ParameterKey=EnvironmentName,ParameterValue=<Environment Name> --capabilities CAPABILITY_NAMED_IAM

任意の環境名を設定してください。 AWS リソースタグに反映DapsInfrastructureされるため、 などの意味のある用語を使用することをお勧めします。

このパターンの場合、3 つの Docker コンテナを持つ DAPS ワークフローを実行するのに t3.small のサイズは十分です。

テンプレートは EC2 インスタンスをプライベートサブネットにデプロイします。つまり、インスタンスはインターネットから SSH (Secure Shell) 経由で直接アクセスすることはできません。インスタンスは、 の一機能である Session Manager を介して実行中のインスタンスへのアクセスを可能にするために必要な IAM ロールと AWS Systems Manager エージェントでプロビジョニングされます AWS Systems Manager。

アクセスには Session Manager を使用することをお勧めします。または、踏み台ホストをプロビジョニングして、インターネットからの SSH アクセスを許可することもできます。踏み台ホストを利用する場合は、EC2 インスタンスの実行開始に数分かかることがあります。

AWS CloudFormation テンプレートが正常にデプロイされたら、DNS 名を Application Load Balancer の DNS 名にポイントします。これを確認するには、次のコマンドを実行します。

dig <DNS NAME>

出力は次の例のようになります:

; <<>> DiG 9.16.1-Ubuntu <<>> edc-pattern.think-it.io
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42344
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;edc-pattern.think-it.io.           IN          A

;; ANSWER SECTION:
edc-pattern.think-it.io. 276        IN          CNAME    daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com.
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.208.240.129
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.210.155.124

参加者のコネクタを DAPS サービスに登録します。

DAPS 用にプロビジョニングされた EC2 インスタンス内から、参加者を登録します。

選択した名称が次の手順に影響することはありません。provider と consumer、または companyx とcompanyy の使用を推奨します。

また、登録コマンドは作成した証明書とキーから取得した情報を使用し、DAPS サービスの自動設定を行います。

DAPS サーバーへログインした状態で、後のインストール手順で必要になる情報を収集します。

ワークステーション内に daps- という接頭辞を付けた同一名称のファイルを作成し、コピーしたテキストをそこへ貼り付けるようにしてください。

プロバイダーとコンシューマー双方のクライアント ID、およびワークステーションの作業ディレクトリに以下の 4 ファイルを用意してください。

Tractus-X EDC リポジトリのクローンを作成し、0.4.1 バージョンを使用します。

Tractus-X EDC コネクタのビルドでは、PostgreSQL (アセットデータベース) および HashiCorp Vault (シークレット管理) サービスをデプロイして使用できるようにする必要があります。

Tractus-X EDC Helm チャートにはバージョンが複数存在します。このパターンでは DAPS サーバーを使用するため、バージョン 0.4.1 を指定します。

最新バージョンでは、ID サービスの分散実装で Managed Identity Wallet (MIW) を使用します。

2 つの Kubernetes 名前空間を作成したワークステーションで、tractusx-edc リポジトリのクローンを作成し、release/0.4.1 ブランチを確認します。

git clone https://github.com/eclipse-tractusx/tractusx-edc

cd tractusx-edc

git checkout release/0.4.1

Tractus-X EDC Helm チャートを設定します。

Tractus-X Helm チャートのテンプレート設定を変更して、両方のコネクタが相互にやり取りできるようにします。

これを行うには、名前空間をサービスの DNS 名に追加して、クラスター内の他のサービスで解決できるようにします。charts/tractusx-connector/templates/_helpers.tpl ファイルに対して変更を加えてください。このパターンでは、ファイルの最終変更バージョンを使用できます。コピーして、ファイル charts/tractusx-connector/templates/_helpers.tpl の daps セクションに配置します。

charts/tractusx-connector/Chart.yaml ですべての DAPS 依存関係をコメントしてください。

dependencies:
  # IDS Dynamic Attribute Provisioning Service (IAM)
  #  - name: daps
  # version: 0.0.1
  # repository: "file://./subcharts/omejdn"
  # alias: daps
  # condition: install.daps

Amazon RDS で PostgreSQL を使用するようにコネクタを設定します。

(オプション) このパターンでは Amazon Relational Database Service (Amazon RDS) インスタンスは必要ありません。ただし、高可用性、バックアップ、リカバリなどの機能が提供されるため、Amazon RDS または Amazon Aurora を使用することを強くお勧めします。

PostgreSQL on Kubernetes を Amazon RDS に置き換えるには、次の手順を実行します。

postgresql:
  auth:
    database: edc
    password: <RDS PASSWORD>
    username: <RDS Username>
  jdbcUrl: jdbc:postgresql://<RDS DNS NAME>:5432/edc
  username: <RDS Username>
  password: <RDS PASSWORD>
  primary:
    persistence:
      enabled: false
  readReplicas:
    persistence:
      enabled: false

プロバイダーコネクタとそのサービスを設定してデプロイします。

プロバイダーコネクタとそのサービスを設定するには、以下を実行します。

証明書とキーをプロバイダーボールトに追加します。

混乱を避けるために、tractusx-edc/charts ディレクトリの外部で次の証明書を作成します。

例えば、次のコマンドを実行してホームディレクトリに変更します。

cd ~

次に、プロバイダーが必要とするシークレットをボールトに追加する必要があります。

ボールト内のシークレット名称は、provider_edc.yml ファイルの secretNames: セクションにあるキーの値となります。デフォルトでは、次のように設定されます。

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

Advanced Encryption Standard (AES) キー、プライベートキー、パブリックキー、および自己署名証明書がまず生成されます。その後、シークレットとしてボールトに追加されます。

さらに、このディレクトリには DAPS サーバーからコピーした daps-provider.cert および daps-provider.key ファイルが含まれている必要があります。

これで、ブラウザまたは CLI からボールトにアクセスできるようになります。

ブラウザ

ボールト CLI

CLI は、設定したポートフォワードも使用します。

コンシューマーコネクタとそのサービスを設定してデプロイします。

コンシューマーを設定してデプロイする手順は、プロバイダーに対して完了した手順と同一です。

証明書とキーをコンシューマーボールトに追加します。

セキュリティの観点から、各データスペース参加者の証明書とキーを再生成することをお勧めします。このパターンでは、コンシューマーの証明書とキーを再生成します。

プロバイダーでの手順と同一です。consumer_edc.yml ファイル内のシークレット名を確認できます。

ボールト内のシークレットの名前は、consumer_edc.yml file の secretNames: セクションにあるキーの値です。デフォルトでは、次のように設定されます。

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

DAPS サーバーからコピーした daps-consumer.cert および daps-consumer.key ファイルは、このディレクトリに既に存在している必要があります。

プロデューサーとコンシューマーの両方にポートフォワードを設定できるように、ローカルポートは 8201 を使用します。

ブラウザ

ブラウザを使用して http://localhost:8201/ に接続し、コンシューマーボールトにアクセスし、手順に沿った名前とコンテンツを含むシークレットを作成します。

コンテンツを含むシークレットとファイルは次のとおりです。

ボールト CLI

ボールト CLI を使用すると、次のコマンドを実行してボールトにログインし、シークレットを作成できます。

ポート転送を設定します。

クラスターはプライベートであるため、パブリックにアクセスすることはできません。コネクタを操作するには、Kubernetes ポート転送機能を使用して、マシンによって生成されたトラフィックをコネクタコントロールプレーンに転送します。

プロバイダーとコンシューマーの S3 バケットを作成します。

EDC コネクタは現在、ロールの引き受けで提供されるような一時的 AWS 認証情報は利用しません。EDC は、IAM アクセスキー ID とシークレットアクセスキーの組み合わせの使用のみに対応しています。

後のステップでは 2 つの S3 バケットを使用します。S3 バケットは、ひとつをプロバイダーが利用できるデータを保存するために使用します。もうひとつの S3 バケットは、コンシューマーが受信したデータ用に使用します。

IAM ユーザーには、2 つの名前付きバケット内のオブジェクトのみを読み書きするアクセス許可が必要です。

アクセスキー ID とシークレットアクセスキーペアを作成し、安全に保つ必要があります。この MVDS が廃止されたら、IAM ユーザーを削除する必要があります。

ユーザー向け IAM のポリシーコードの例を次に示します。

{
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "Stmt1708699805237",
      "Action": [
        "s3:GetObject",
        "s3:GetObjectVersion",
        "s3:ListAllMyBuckets",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions",
        "s3:PutObject"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::<S3 Provider Bucket>",
        "arn:aws:s3:::<S3 Consumer Bucket>",
        "arn:aws:s3:::<S3 Provider Bucket>/*",
        "arn:aws:s3:::<S3 Consumer Bucket>/*"
        ]    }
  ]
}

コネクタを操作するように Postman を設定します。

EC2 インスタンスを介してコネクタを操作できるようになりました。Postman を HTTP クライアントとして使用し、プロバイダーとコンシューマーコネクタの両方に Postman コレクションを提供します。

aws-pattern-edc リポジトリから Postman インスタンスにコレクションをインポートします。

このパターンでは、Postman コレクション変数を使用してリクエストに入力を提供します。

共有する炭素排出量データを準備します。

まず、共有するデータアセットを決定する必要があります。X 社のデータは、車両フリートの炭素排出量を表します。重量はトン単位の車両総重量 (GVW) で、排出量は Wheel-to-Well (WTW) 測定値に基づく 1 トン/キロメートル (g CO2 e/t-km) あたりの CO2 のグラム単位です。

サンプルデータは aws-patterns-edc リポジトリの carbon_emissions_data.json ファイルから取得できます。

X 社は Amazon S3 を使用してオブジェクトを保存します。

S3 バケットを作成し、サンプルデータオブジェクトをそこに保存します。次のコマンドは、デフォルトのセキュリティ設定で S3 バケットを作成します。Amazon S3 のセキュリティのベストプラクティスを参照することを強くお勧めします。

aws s3api create-bucket <BUCKET_NAME> --region <AWS_REGION>
# You need to add '--create-bucket-configuration 
# LocationConstraint=<AWS_REGION>' if you want to create # the bucket outside of us-east-1 region

aws s3api put-object --bucket <BUCKET_NAME> \
 --key <S3 OBJECT NAME> \
 --body <PATH OF THE FILE TO UPLOAD>

S3 バケット名は世界的に独自のものである必要があります。名称のルールについて、詳しくは AWS ドキュメントをご確認ください。

Postman を使用してデータアセットをプロバイダーのコネクタに登録します。

EDC コネクタのデータアセットは、データ名称と位置を保持します。この場合、EDC コネクタのデータアセットは、S3 バケットに作成されたオブジェクトを指します。

アセットの使用ポリシーを定義します。

EDC データアセットは、明確な使用ポリシーに関連付ける必要があります。まず、プロバイダーコネクタでポリシー定義を作成します。

X 社の目的は、データスペースの参加者が炭素排出量データを使用できるようにすることです。

アセットとその使用ポリシーの EDC 契約オファーを定義します。

他の参加者がデータへのアクセスをリクエストできるようにするには、使用状況とアクセス許可を指定する契約でデータを提供します。

X 社が共有するデータカタログをリクエストします。

データスペースのデータコンシューマーとして、Y 社はまず他の参加者によって共有されているデータを検出する必要があります。

この基本セットアップでは、プロバイダーコネクタから使用可能なアセットのカタログを、直接リクエストするようコンシューマーコネクタに依頼することで、これを行うことができます。

X 社からの炭素排出量データの契約交渉を開始します。

消費するアセットを特定したら、コンシューマーコネクタとプロバイダーコネクタの間で契約交渉プロセスを開始します。

プロセスが [VERIFIED] の状態になるまでに時間がかかる場合があります。

Get Negotiation リクエストを使用することで、契約の交渉状況と対応する契約 ID を確認できます。

HTTP エンドポイントからデータを使用します。

(オプション 1) HTTP データプレーンを使用してデータスペース内のデータを消費するには、webhook.site を使用して HTTP サーバーをエミュレートし、コンシューマーコネクタで転送プロセスを開始します。

このステップでは、ペイロード (endpoint) に記載されているように、コンシューマーデータプレーンにリクエストを送信 (ポートを適切に転送) する必要があります。

S3 バケットから直接データを使用します。

(オプション 2) Amazon S3 と EDC コネクタの統合を使用し、コンシューマーインフラストラクチャの S3 バケットを宛先として直接指定します。