Siapkan ruang data minimum yang layak untuk berbagi data antar organisasi

Kloning repositori.

Untuk mengkloning repositori ke workstation Anda, jalankan perintah berikut:

git clone https://github.com/Think-iT-Labs/aws-patterns-edc

Workstation harus memiliki akses ke Anda Akun AWS.

Menyediakan klaster Kubernetes dan menyiapkan namespace.

Untuk menerapkan cluster EKS default yang disederhanakan di akun Anda, jalankan eksctl perintah berikut di workstation tempat Anda mengkloning repo:

eksctl create cluster

Perintah membuat VPC dan subnet pribadi dan publik yang menjangkau tiga Availability Zone yang berbeda. Setelah lapisan jaringan dibuat, perintah membuat dua m5.large EC2 instance dalam grup Auto Scaling.

Untuk informasi lebih lanjut dan contoh keluaran, lihat panduan eksctl.

Setelah Anda menyediakan klaster pribadi, tambahkan kluster EKS baru ke konfigurasi Kubernetes lokal Anda dengan menjalankan perintah berikut:

aws eks update-kubeconfig --name <EKS CLUSTER NAME> --region <AWS REGION>

Pola ini menggunakan eu-west-1 Wilayah AWS untuk menjalankan semua perintah. Namun, Anda dapat menjalankan perintah yang sama sesuai keinginan Anda Wilayah AWS.

Untuk mengonfirmasi bahwa node EKS Anda sedang berjalan dan berada dalam keadaan siap, jalankan perintah berikut:

kubectl get nodes

Siapkan ruang nama.

Untuk membuat ruang nama untuk penyedia dan konsumen, jalankan perintah berikut:

kubectl create ns provider
kubectl create ns consumer

Dalam pola ini, penting untuk menggunakan provider dan consumer sebagai ruang nama agar sesuai dengan konfigurasi di langkah berikutnya.

Menyebarkan DAPS dengan menggunakan. AWS CloudFormation

Untuk kemudahan mengelola operasi DAPS, server DAPS diinstal pada EC2 instance.

Untuk menginstal DAPS, gunakan AWS CloudFormation template. Anda akan memerlukan sertifikat ACM dan nama DNS dari bagian Prasyarat. Template menyebarkan dan mengkonfigurasi berikut ini:

Anda dapat menerapkan AWS CloudFormation template dengan masuk ke AWS Management Console dan menggunakan AWS CloudFormation konsol. Anda juga dapat menerapkan template dengan menggunakan AWS CLI perintah seperti berikut ini:

aws cloudformation create-stack --stack-name daps \
  --template-body file://aws-patterns-edc/cloudformation.yml --parameters \
ParameterKey=CertificateARN,ParameterValue=<ACM Certificate ARN> \
ParameterKey=DNSName,ParameterValue=<DNS name> \
ParameterKey=InstanceType,ParameterValue=<EC2 instance type> \
ParameterKey=EnvironmentName,ParameterValue=<Environment Name> --capabilities CAPABILITY_NAMED_IAM

Nama lingkungan adalah pilihan Anda sendiri. Sebaiknya gunakan istilah yang bermakna, sepertiDapsInfrastructure, karena akan tercermin dalam tag AWS sumber daya.

Untuk pola ini, t3.small cukup besar untuk menjalankan alur kerja DAPS, yang memiliki tiga kontainer Docker.

Template menyebarkan EC2 instance di subnet pribadi. Ini berarti bahwa instans tidak dapat diakses secara langsung melalui SSH (Secure Shell) dari internet. Instans disediakan dengan peran IAM yang diperlukan dan AWS Systems Manager Agen untuk memungkinkan akses ke instans yang berjalan melalui Session Manager, kemampuan. AWS Systems Manager

Kami merekomendasikan menggunakan Session Manager untuk akses. Atau, Anda dapat menyediakan host benteng untuk memungkinkan akses SSH dari internet. Saat menggunakan pendekatan host bastion, EC2 instance mungkin memerlukan beberapa menit lagi untuk mulai berjalan.

Setelah AWS CloudFormation template berhasil di-deploy, arahkan nama DNS ke nama Application Load Balancer DNS Anda. Untuk mengonfirmasi, jalankan perintah berikut:

dig <DNS NAME>

Output harus serupa dengan yang berikut ini:

; <<>> DiG 9.16.1-Ubuntu <<>> edc-pattern.think-it.io
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42344
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;edc-pattern.think-it.io.           IN          A

;; ANSWER SECTION:
edc-pattern.think-it.io. 276        IN          CNAME    daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com.
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.208.240.129
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.210.155.124

Daftarkan konektor peserta ke layanan DAPS.

Dari dalam salah satu EC2 contoh yang disediakan untuk DAPS, daftarkan peserta:

Pilihan nama tidak memengaruhi langkah selanjutnya. Kami merekomendasikan menggunakan salah satu provider dan consumer atau companyx dancompanyy.

Perintah pendaftaran juga akan secara otomatis mengkonfigurasi layanan DAPS dengan informasi yang diperlukan diambil dari sertifikat dan kunci yang dibuat.

Saat Anda masuk ke server DAPS, kumpulkan informasi yang diperlukan untuk langkah-langkah selanjutnya dalam penginstalan:

Kami merekomendasikan untuk menyalin dan menempelkan teks ke file bernama serupa yang diawali daps- di workstation Anda.

Anda harus memiliki klien IDs untuk penyedia dan konsumen dan harus memiliki empat file di direktori kerja Anda di workstation Anda:

Kloning repositori EDC Tractus-X dan gunakan versi 0.4.1.

Build konektor EDC Tractus-X membutuhkan layanan PostgreSQL (database aset) dan HashiCorp Vault (manajemen rahasia) untuk digunakan dan tersedia.

Ada banyak versi bagan Tractus-X EDC Helm yang berbeda. Pola ini menentukan versi 0.4.1 karena menggunakan server DAPS.

Versi terbaru menggunakan Managed Identity Wallet (MIW) dengan implementasi terdistribusi dari layanan identitas.

Di workstation tempat Anda membuat dua ruang nama Kubernetes, kloning repositori tractusx-edc, dan periksa cabangnya. release/0.4.1

git clone https://github.com/eclipse-tractusx/tractusx-edc

cd tractusx-edc

git checkout release/0.4.1

Konfigurasikan bagan Helm EDC Tractus-X.

Ubah konfigurasi template bagan Tractus-X Helm untuk memungkinkan kedua konektor berinteraksi bersama.

Untuk melakukan ini, Anda akan menambahkan namespace ke nama DNS layanan sehingga dapat diselesaikan oleh layanan lain di cluster. Modifikasi ini harus dilakukan pada charts/tractusx-connector/templates/_helpers.tpl file. Pola ini menyediakan versi modifikasi akhir dari file ini untuk Anda gunakan. Salin dan letakkan di daps bagian filecharts/tractusx-connector/templates/_helpers.tpl.

Pastikan untuk mengomentari semua dependensi DAPS di: charts/tractusx-connector/Chart.yaml

dependencies:
  # IDS Dynamic Attribute Provisioning Service (IAM)
  #  - name: daps
  # version: 0.0.1
  # repository: "file://./subcharts/omejdn"
  # alias: daps
  # condition: install.daps

Konfigurasikan konektor untuk menggunakan PostgreSQL di Amazon RDS.

(Opsional) Instans Amazon Relational Database Service (Amazon RDS) tidak diperlukan dalam pola ini. Namun, kami sangat menyarankan menggunakan Amazon RDS atau Amazon Aurora karena mereka menyediakan fitur seperti ketersediaan tinggi dan cadangan dan pemulihan.

Untuk mengganti PostgreSQL di Kubernetes dengan Amazon RDS, lakukan hal berikut:

postgresql:
  auth:
    database: edc
    password: <RDS PASSWORD>
    username: <RDS Username>
  jdbcUrl: jdbc:postgresql://<RDS DNS NAME>:5432/edc
  username: <RDS Username>
  password: <RDS PASSWORD>
  primary:
    persistence:
      enabled: false
  readReplicas:
    persistence:
      enabled: false

Konfigurasikan dan gunakan konektor penyedia dan layanannya.

Untuk mengkonfigurasi konektor penyedia dan layanannya, lakukan hal berikut:

Tambahkan sertifikat dan kunci ke brankas penyedia.

Untuk menghindari kebingungan, buat sertifikat berikut di luar tractusx-edc/charts direktori.

Misalnya, jalankan perintah berikut untuk mengubah ke direktori home Anda:

cd ~

Anda sekarang perlu menambahkan rahasia yang dibutuhkan oleh penyedia ke dalam lemari besi.

Nama-nama rahasia di dalam brankas adalah nilai kunci di secretNames: bagian provider_edc.yml file. Secara default, mereka dikonfigurasi sebagai berikut:

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

Kunci Advanced Encryption Standard (AES), kunci pribadi, kunci publik, dan sertifikat yang ditandatangani sendiri dibuat pada awalnya. Ini kemudian ditambahkan sebagai rahasia ke lemari besi.

Selanjutnya, direktori ini harus berisi daps-provider.cert dan daps-provider.key file yang Anda salin dari server DAPS.

Anda sekarang harus dapat mengakses brankas melalui browser atau CLI Anda.

Browser

CLI Lemari Brankas

CLI juga akan menggunakan port forward yang Anda konfigurasikan.

Konfigurasikan dan gunakan konektor konsumen dan layanannya.

Langkah-langkah untuk mengonfigurasi dan menerapkan konsumen serupa dengan yang Anda selesaikan untuk penyedia:

Tambahkan sertifikat dan kunci ke brankas konsumen.

Dari sudut pandang keamanan, kami merekomendasikan regenerasi sertifikat dan kunci untuk setiap peserta ruang data. Pola ini meregenerasi sertifikat dan kunci untuk konsumen.

Langkah-langkahnya sangat mirip dengan yang ada di penyedia. Anda dapat memverifikasi nama rahasia dalam consumer_edc.yml file.

Nama-nama rahasia di dalam lemari besi adalah nilai kunci di secretNames: bagianconsumer_edc.yml file. Secara default, mereka dikonfigurasi sebagai berikut:

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

daps-consumer.keyFile daps-consumer.cert dan yang Anda salin dari server DAPS seharusnya sudah ada di direktori ini.

Port lokal adalah 8201 kali ini sehingga Anda dapat memiliki port forward untuk produsen dan konsumen.

Browser

Anda dapat menggunakan browser Anda untuk terhubung ke http://localhost:8201/ untuk mengakses brankas konsumen dan membuat rahasia dengan nama dan konten seperti yang diuraikan.

Rahasia dan file yang berisi konten adalah sebagai berikut:

CLI Lemari Brankas

Menggunakan Vault CLI, Anda dapat menjalankan perintah berikut untuk masuk ke lemari besi dan membuat rahasia:

Mengatur penerusan port.

Cluster bersifat pribadi dan tidak dapat diakses publik. Untuk berinteraksi dengan konektor, gunakan fitur port-forwarding Kubernetes untuk meneruskan lalu lintas yang dihasilkan oleh mesin Anda ke bidang kontrol konektor.

Buat bucket S3 untuk penyedia dan konsumen.

Konektor EDC saat ini tidak menggunakan kredensil AWS sementara, seperti yang disediakan dengan mengambil peran. EDC hanya mendukung penggunaan ID kunci akses IAM dan kombinasi tombol akses rahasia.

Dua ember S3 diperlukan untuk langkah selanjutnya. Satu bucket S3 digunakan untuk menyimpan data yang disediakan oleh penyedia. Bucket S3 lainnya adalah untuk data yang diterima oleh konsumen.

Pengguna IAM harus memiliki izin untuk membaca dan menulis objek hanya di dua ember bernama.

Access Key ID dan Secret Access Key Pair harus dibuat dan disimpan dengan aman. Setelah MVDS ini dinonaktifkan, pengguna IAM harus dihapus.

Kode berikut adalah contoh kebijakan IAM untuk pengguna:

{
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "Stmt1708699805237",
      "Action": [
        "s3:GetObject",
        "s3:GetObjectVersion",
        "s3:ListAllMyBuckets",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions",
        "s3:PutObject"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::<S3 Provider Bucket>",
        "arn:aws:s3:::<S3 Consumer Bucket>",
        "arn:aws:s3:::<S3 Provider Bucket>/*",
        "arn:aws:s3:::<S3 Consumer Bucket>/*"
        ]    }
  ]
}

Siapkan Postman untuk berinteraksi dengan konektor.

Anda sekarang dapat berinteraksi dengan konektor melalui EC2 instans Anda. Gunakan Postman sebagai klien HTTP, dan berikan Koleksi Tukang Pos untuk penyedia dan konektor konsumen.

Impor koleksi dari aws-pattern-edc repositori ke instance Postman Anda.

Pola ini menggunakan variabel koleksi Postman untuk memberikan masukan ke permintaan Anda.

Siapkan data intensitas emisi karbon untuk dibagikan.

Pertama, Anda perlu memutuskan aset data yang akan dibagikan. Data perusahaan X mewakili jejak emisi karbon dari armada kendaraannya. Berat adalah Berat Kendaraan Kotor (GVW) dalam ton, dan emisi dalam gram CO2 per ton-kilometer (g CO2 e/t-km) menurut pengukuran (WTW): Wheel-to-Well

Contoh data ada di carbon_emissions_data.json file di aws-patterns-edc repositori.

Perusahaan X menggunakan Amazon S3 untuk menyimpan objek.

Buat bucket S3 dan simpan objek data contoh di sana. Perintah berikut membuat bucket S3 dengan pengaturan keamanan default. Kami sangat merekomendasikan konsultasi praktik terbaik Keamanan untuk Amazon S3.

aws s3api create-bucket <BUCKET_NAME> --region <AWS_REGION>
# You need to add '--create-bucket-configuration 
# LocationConstraint=<AWS_REGION>' if you want to create # the bucket outside of us-east-1 region

aws s3api put-object --bucket <BUCKET_NAME> \
 --key <S3 OBJECT NAME> \
 --body <PATH OF THE FILE TO UPLOAD>

Nama bucket S3 harus unik secara global. Untuk informasi selengkapnya tentang aturan penamaan, lihat dokumentasi AWS.

Daftarkan aset data ke konektor penyedia dengan menggunakan Postman.

Aset data konektor EDC memegang nama data dan lokasinya. Dalam hal ini, aset data konektor EDC akan menunjuk ke objek yang dibuat di bucket S3:

Tentukan kebijakan penggunaan aset.

Aset data EDC harus dikaitkan dengan kebijakan penggunaan yang jelas. Pertama, buat Definisi Kebijakan di konektor penyedia.

Kebijakan perusahaan X adalah untuk memungkinkan peserta ruang data untuk menggunakan data jejak emisi karbon.

Tentukan Penawaran Kontrak EDC untuk aset dan kebijakan penggunaannya.

Untuk memungkinkan peserta lain meminta akses ke data Anda, tawarkan dalam kontrak yang menentukan kondisi dan izin penggunaan:

Minta katalog data yang dibagikan oleh perusahaan X.

Sebagai konsumen data di ruang data, perusahaan Y pertama-tama perlu menemukan data yang dibagikan oleh peserta lain.

Dalam pengaturan dasar ini, Anda dapat melakukan ini dengan meminta konektor konsumen untuk meminta katalog aset yang tersedia dari konektor penyedia secara langsung.

Memulai negosiasi kontrak untuk data intensitas emisi karbon dari perusahaan X.

Sekarang setelah Anda mengidentifikasi aset yang ingin Anda konsumsi, mulailah proses negosiasi kontrak antara konektor konsumen dan penyedia.

Prosesnya mungkin memakan waktu sebelum mencapai status VERIFIED.

Anda dapat memeriksa status Negosiasi Kontrak dan ID Perjanjian yang sesuai dengan menggunakan Get Negotiation permintaan.

Mengkonsumsi data dari titik akhir HTTP.

(Opsi 1) Untuk menggunakan bidang data HTTP untuk mengkonsumsi data di ruang data, Anda dapat menggunakan webhook.site untuk meniru server HTTP, dan memulai proses transfer di konektor konsumen:

Pada langkah terakhir ini, Anda harus mengirim permintaan ke bidang data konsumen (port teruskan dengan benar), sebagaimana dinyatakan dalam payload (endpoint).

Konsumsi data dari ember S3 secara langsung.

(Opsi 2) Gunakan integrasi Amazon S3 dengan konektor EDC, dan langsung arahkan ke bucket S3 di infrastruktur konsumen sebagai tujuan: