Configuración de un espacio de datos mínimo viable para compartir datos entre organizaciones

Clonar el repositorio.

Para clonar el repositorio a la estación de trabajo, ejecute el siguiente comando:

git clone https://github.com/Think-iT-Labs/aws-patterns-edc

La estación de trabajo debe tener acceso a su. Cuenta de AWS

Aprovisione el clúster de Kubernetes y configure los espacios de nombres.

Para implementar un clúster de EKS predeterminado simplificado en la cuenta, ejecute el siguiente comando de eksctl en la estación de trabajo en la que clonó el repositorio:

eksctl create cluster

El comando crea la VPC y las subredes públicas y privadas que abarcan tres zonas de disponibilidad diferentes. Una vez creada la capa de red, el comando crea dos m5.large EC2 instancias dentro de un grupo de Auto Scaling.

Para obtener más información y ejemplos de resultados, consulte la guía de eksctl.

Tras aprovisionar el clúster privado, ejecute el siguiente comando para agregar el nuevo clúster de EKS a la configuración de Kubernetes local:

aws eks update-kubeconfig --name <EKS CLUSTER NAME> --region <AWS REGION>

Este patrón utiliza el eu-west-1 Región de AWS para ejecutar todos los comandos. Sin embargo, puede ejecutar los mismos comandos en el modo que prefiera Región de AWS.

Para confirmar que los nodos de EKS se estén ejecutando y estén preparados, ejecute el siguiente comando:

kubectl get nodes

Configure los espacios de nombres.

Para crear espacios de nombres para el proveedor y el consumidor, ejecute los siguientes comandos:

kubectl create ns provider
kubectl create ns consumer

En este patrón, es importante utilizar provider y consumer como espacios de nombres para adaptarlos a las configuraciones en los siguientes pasos.

Implemente DAPS mediante AWS CloudFormation.

Para facilitar la administración de las operaciones de DAPS, el servidor DAPS se instala en las instancias. EC2

Para instalar el DAPS, utilice la plantilla de AWS CloudFormation. Necesitará el certificado de ACM y el nombre de DNS de la sección Requisitos previos. La plantilla implementa y configura lo siguiente:

Puede implementar la AWS CloudFormation plantilla iniciando sesión en la AWS CloudFormation consola Consola de administración de AWS y utilizándola. También puede implementar la plantilla mediante un AWS CLI comando como el siguiente:

aws cloudformation create-stack --stack-name daps \
  --template-body file://aws-patterns-edc/cloudformation.yml --parameters \
ParameterKey=CertificateARN,ParameterValue=<ACM Certificate ARN> \
ParameterKey=DNSName,ParameterValue=<DNS name> \
ParameterKey=InstanceType,ParameterValue=<EC2 instance type> \
ParameterKey=EnvironmentName,ParameterValue=<Environment Name> --capabilities CAPABILITY_NAMED_IAM

El nombre del entorno es de su elección. Recomendamos utilizar un término significativo, por ejemploDapsInfrastructure, porque se reflejará en las etiquetas de los AWS recursos.

Para este patrón, t3.small es lo suficientemente grande como para ejecutar el flujo de trabajo del DAPS, que tiene tres contenedores de Docker.

La plantilla implementa las EC2 instancias en subredes privadas. Esto significa que no se puede acceder directamente a las instancias a través de SSH (Secure Shell) desde Internet. Las instancias cuentan con la función de IAM y el AWS Systems Manager agente necesarios para permitir el acceso a las instancias en ejecución a través del administrador de sesiones, una capacidad de. AWS Systems Manager

Se recomienda utilizar el Administrador de sesiones para el acceso. Como alternativa, puede aprovisionar un host bastión para permitir el acceso SSH desde Internet. Si se utiliza el enfoque de host bastión, es posible que la EC2 instancia tarde unos minutos más en empezar a ejecutarse.

Una vez que la AWS CloudFormation plantilla se haya implementado correctamente, apunte el nombre DNS al nombre DNS de Application Load Balancer. Para confirmar, ejecute el siguiente comando:

dig <DNS NAME>

El resultado debería ser similar al siguiente:

; <<>> DiG 9.16.1-Ubuntu <<>> edc-pattern.think-it.io
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42344
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;edc-pattern.think-it.io.           IN          A

;; ANSWER SECTION:
edc-pattern.think-it.io. 276        IN          CNAME    daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com.
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.208.240.129
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.210.155.124

Registre los conectores de los participantes en el servicio del DAPS.

Desde cualquiera de las EC2 instancias aprovisionadas para DAPS, registre a los participantes:

La elección de los nombres no afecta a los próximos pasos. Se recomienda utilizar provider y consumer o companyx y companyy.

Los comandos de registro también configurarán automáticamente el servicio del DAPS con la información necesaria obtenida de los certificados y las claves que se crearon.

Con la sesión iniciada en un servidor del DAPS, recopile la información necesaria para los pasos posteriores de la instalación:

Se recomienda copiar y pegar el texto en archivos con nombres similares y el prefijo daps- en la estación de trabajo.

Debe tener el cliente IDs para el proveedor y el consumidor y cuatro archivos en el directorio de trabajo de la estación de trabajo:

Clone el repositorio EDC Tractus-X y utilice la versión 0.4.1.

La compilación del conector EDC de Tractus-X requiere la implementación y disponibilidad de los servicios PostgreSQL (base de datos de activos) y HashiCorp Vault (administración de secretos).

Existen muchas versiones diferentes de los gráficos de Helm de EDC Tractus-X. Este patrón especifica la versión 0.4.1 porque utiliza el servidor del DAPS.

Las versiones más recientes utilizan Managed Identity Wallet (MIW) con una implementación distribuida del servicio de identidad.

En la estación de trabajo en la que creó dos espacios de nombres de Kubernetes, clone el repositorio tractusx-edc y compruebe la rama release/0.4.1.

git clone https://github.com/eclipse-tractusx/tractusx-edc

cd tractusx-edc

git checkout release/0.4.1

Configure el gráfico de Helm EDC Tractus-X.

Modifique la configuración de la plantilla del gráfico de Helm Tractus-X para permitir que ambos conectores interactúen entre sí.

Para ello, debe agregar el espacio de nombres al nombre de DNS del servicio para que otros servicios del clúster puedan resolverlo. Estas modificaciones deben hacerse en el archivo charts/tractusx-connector/templates/_helpers.tpl. Este patrón proporciona una versión final modificada de este archivo para su uso. Cópielo y colóquelo en la sección daps del archivo charts/tractusx-connector/templates/_helpers.tpl.

Asegúrese de comentar todas las dependencias del DAPS en charts/tractusx-connector/Chart.yaml:

dependencies:
  # IDS Dynamic Attribute Provisioning Service (IAM)
  #  - name: daps
  # version: 0.0.1
  # repository: "file://./subcharts/omejdn"
  # alias: daps
  # condition: install.daps

Configure los conectores para usar PostgreSQL en Amazon RDS.

(Opcional) La instancia de Amazon Relational Database Service (Amazon RDS) no es necesaria en este patrón. Sin embargo, recomendamos encarecidamente utilizar Amazon RDS o Amazon Aurora, ya que ofrecen características como alta disponibilidad, copia de seguridad y recuperación.

Para reemplazar PostgreSQL en Kubernetes por Amazon RDS, haga lo siguiente:

postgresql:
  auth:
    database: edc
    password: <RDS PASSWORD>
    username: <RDS Username>
  jdbcUrl: jdbc:postgresql://<RDS DNS NAME>:5432/edc
  username: <RDS Username>
  password: <RDS PASSWORD>
  primary:
    persistence:
      enabled: false
  readReplicas:
    persistence:
      enabled: false

Configure e implemente el conector del proveedor y sus servicios.

Para configurar el conector del proveedor y sus servicios, haga lo siguiente:

Agregue el certificado y las claves al almacén del proveedor.

Para evitar confusiones, genere los siguientes certificados fuera del directorio tractusx-edc/charts.

Por ejemplo, ejecute el siguiente comando para cambiar al directorio de inicio:

cd ~

Ahora tiene que agregar al almacén los secretos que necesita el proveedor.

Los nombres de los secretos del almacén son los valores de las claves de la sección secretNames: del archivo provider_edc.yml. De forma predeterminada, se configuran de la siguiente manera:

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

Inicialmente, se generan una clave estándar de cifrado avanzado (AES), una clave privada, una clave pública y un certificado autofirmado. Posteriormente, se agregan como secretos al almacén.

Además, este directorio debe contener los archivos daps-provider.cert y daps-provider.key que copió del servidor del DAPS.

Ahora debería poder acceder al almacén a través del navegador o la CLI.

Navegador

Vault CLI

La CLI también utilizará el reenvío de puertos que configuró.

Configure e implemente el conector del consumidor y sus servicios.

Los pasos para configurar e implementar el consumidor son similares a los del proveedor:

Agregue el certificado y las claves al almacén del consumidor.

Desde el punto de vista de la seguridad, recomendamos volver a generar los certificados y las claves de cada participante del espacio de datos. Este patrón vuelve a generar los certificados y las claves para el consumidor.

Los pasos son muy similares a los del proveedor. Puede verificar los nombres de los secretos en el archivo consumer_edc.yml.

Los nombres de los secretos del almacén son los valores de las claves de la sección secretNames: de consumer_edc.yml file. De forma predeterminada, se configuran de la siguiente manera:

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

Los archivos daps-consumer.cert y daps-consumer.key que copió del servidor del DAPS ya deberían existir en este directorio.

Esta vez, el puerto local es el 8201, por lo que puede disponer de reenvíos de puertos tanto para el productor como para el consumidor.

Navegador

Puede usar el navegador para conectarse a http://localhost:8201/ a fin de acceder al almacén del consumidor y crear los secretos con los nombres y el contenido descritos.

Los secretos y archivos que incluyen el contenido son los siguientes:

Vault CLI

Con Vault CLI, puede ejecutar los siguientes comandos para iniciar sesión en el almacén y crear los secretos:

Configure el reenvío de puertos.

El clúster es privado y no se puede acceder a él públicamente. Para interactuar con los conectores, utilice la característica de reenvío de puertos de Kubernetes para reenviar el tráfico generado por la máquina al plano de control del conector.

Cree buckets de S3 para el proveedor y el consumidor.

Actualmente, el conector EDC no utiliza credenciales de AWS temporales, como las que se proporcionan al asumir un rol. EDC solo admite el uso de una combinación de ID de clave de acceso de IAM y una clave de acceso secreta.

Se necesitan dos buckets de S3 para los siguientes pasos. Se utiliza un bucket de S3 para almacenar los datos puestos a disposición por el proveedor. El otro bucket de S3 es para los datos que recibe el consumidor.

El usuario de IAM debe tener permiso para leer y escribir objetos únicamente en los dos buckets con nombre.

Es necesario crear y proteger un ID de clave de acceso y un par de clave de acceso secreta. Una vez que se haya retirado este MVDS, se debe eliminar el usuario de IAM.

A continuación, se muestra una política de IAM de ejemplo para el usuario:

{
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "Stmt1708699805237",
      "Action": [
        "s3:GetObject",
        "s3:GetObjectVersion",
        "s3:ListAllMyBuckets",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions",
        "s3:PutObject"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::<S3 Provider Bucket>",
        "arn:aws:s3:::<S3 Consumer Bucket>",
        "arn:aws:s3:::<S3 Provider Bucket>/*",
        "arn:aws:s3:::<S3 Consumer Bucket>/*"
        ]    }
  ]
}

Configure Postman para interactuar con el conector.

Ahora puede interactuar con los conectores a través de su EC2 instancia. Utilice Postman como cliente HTTP y proporcione Postman Collections para los conectores del proveedor y del consumidor.

Importe las colecciones del repositorio de aws-pattern-edc en la instancia de Postman.

Este patrón utilice variables de colección de Postman para proporcionar información a las solicitudes.

Prepare los datos sobre la intensidad de las emisiones de carbono para compartirlos.

En primer lugar, debe decidir el activo de datos que se compartirá. Los datos de la empresa X representan la huella de las emisiones de carbono de su flota de vehículos. El peso es el peso bruto del vehículo (GVW) en toneladas y las emisiones se expresan en gramos CO2 por tonelada-kilómetro (g CO2 e/t-km) según la medición (WTW): Wheel-to-Well

Los datos de ejemplo se encuentran en el archivo carbon_emissions_data.json del repositorio aws-patterns-edc.

La empresa X utiliza Amazon S3 para almacenar objetos.

Cree el bucket de S3 y almacene allí el objeto de los datos de ejemplo. Los siguientes comandos crean un bucket de S3 con la configuración de seguridad predeterminada. Recomendamos encarecidamente consultar Prácticas recomendadas de seguridad para Amazon S3.

aws s3api create-bucket <BUCKET_NAME> --region <AWS_REGION>
# You need to add '--create-bucket-configuration 
# LocationConstraint=<AWS_REGION>' if you want to create # the bucket outside of us-east-1 region

aws s3api put-object --bucket <BUCKET_NAME> \
 --key <S3 OBJECT NAME> \
 --body <PATH OF THE FILE TO UPLOAD>

El nombre del bucket de S3 debe ser único de forma global. Para obtener más información sobre las reglas de nomenclatura, consulte la documentación de AWS.

Registre el activo de datos en el conector del proveedor mediante Postman.

Un activo de datos de un conector EDC contiene el nombre de los datos y su ubicación. En este caso, el activo de datos del conector EDC apuntará al objeto creado en el bucket de S3:

Defina la política de uso del activo.

Un activo de datos de EDC debe estar asociado a políticas de uso claras. En primer lugar, cree la definición de política en el conector del proveedor.

La política de la empresa X es permitir que los participantes del espacio de datos utilicen los datos de la huella de emisiones de carbono.

Defina una oferta de contrato de EDC para el activo y su política de uso.

Para permitir que otros participantes soliciten acceso a los datos, ofrézcalos en un contrato que especifique las condiciones de uso y los permisos:

Solicite el catálogo de datos que comparte la empresa X.

Como consumidora de datos en el espacio de datos, la empresa Y debe detectar antes los datos que comparten otros participantes.

En esta configuración básica, para hacerlo, puede pedir al conector del consumidor que solicite el catálogo de activos disponibles directamente al conector del proveedor.

Inicie una negociación contractual para obtener los datos de intensidad de las emisiones de carbono de la empresa X.

Ahora que ha identificado el activo que quiere consumir, inicie un proceso de negociación del contrato entre el consumidor y el proveedor.

El proceso puede tardar algún tiempo antes de alcanzar el estado VERIFICADO.

Puede comprobar el estado de la negociación del contrato y el ID del acuerdo correspondiente mediante la solicitud Get Negotiation.

Consuma datos de los puntos de conexión HTTP.

(Opción 1) Para utilizar el plano de datos HTTP para consumir datos del espacio de datos, puede utilizar webhook.site para emular un servidor HTTP e iniciar el proceso de transferencia en el conector del consumidor:

En este último paso, debe enviar la solicitud al plano de datos del consumidor (reenviar los puertos correctamente), tal y como se indica en la carga útil (endpoint).

Consuma los datos de los buckets de S3 directamente.

(Opción 2) Utilice la integración de Amazon S3 con el conector EDC y apunte directamente al bucket de S3 de la infraestructura de consumo como destino: