Configuração de um espaço de dados mínimo viável para compartilhar dados entre organizações

Clonar o repositório.

Para clonar o repositório na sua estação de trabalho, execute o seguinte comando:

git clone https://github.com/Think-iT-Labs/aws-patterns-edc

A estação de trabalho deve ter acesso ao seu Conta da AWS.

Provisione o cluster do Kubernetes e configure namespaces.

Para implantar um cluster do EKS padrão simplificado em sua conta, execute o seguinte comando eksctl na estação de trabalho em que você clonou o repositório:

eksctl create cluster

O comando cria a VPC e as sub-redes públicas e privadas que abrangem três zonas de disponibilidade diferentes. Depois que a camada de rede é criada, o comando cria duas m5.large EC2 instâncias dentro de um grupo de Auto Scaling.

Para obter mais informações e exemplos de resultados, consulte o guia eksctl.

Depois de provisionar o cluster privado, adicione o novo cluster do EKS à sua configuração local do Kubernetes executando o seguinte comando:

aws eks update-kubeconfig --name <EKS CLUSTER NAME> --region <AWS REGION>

Esse padrão usa o eu-west-1 Região da AWS para executar todos os comandos. No entanto, você pode executar os mesmos comandos de sua preferência Região da AWS.

Para confirmar se os nós do EKS estão em funcionamento e em estado de prontidão, execute o seguinte comando:

kubectl get nodes

Configure os namespaces.

Para criar namespaces para o provedor e o consumidor, execute os seguintes comandos:

kubectl create ns provider
kubectl create ns consumer

Neste padrão, é importante usar provider e consumer como namespaces para ajustar as configurações nas próximas etapas.

Implante o DAPS usando AWS CloudFormation.

Para facilitar o gerenciamento das operações do DAPS, o servidor DAPS é instalado nas EC2 instâncias.

Para instalar o DAPS, use o modelo do AWS CloudFormation. Você precisará do certificado ACM e do nome DNS na seção Pré-requisitos. O modelo implanta e configura o seguinte:

Você pode implantar o AWS CloudFormation modelo fazendo login Console de gerenciamento da AWS e usando o AWS CloudFormation console. Você também pode implantar o modelo usando um AWS CLI comando como o seguinte:

aws cloudformation create-stack --stack-name daps \
  --template-body file://aws-patterns-edc/cloudformation.yml --parameters \
ParameterKey=CertificateARN,ParameterValue=<ACM Certificate ARN> \
ParameterKey=DNSName,ParameterValue=<DNS name> \
ParameterKey=InstanceType,ParameterValue=<EC2 instance type> \
ParameterKey=EnvironmentName,ParameterValue=<Environment Name> --capabilities CAPABILITY_NAMED_IAM

O nome do ambiente é de sua própria escolha. Recomendamos usar um termo significativo, comoDapsInfrastructure, porque ele será refletido nas tags AWS de recursos.

Para esse padrão, t3.small é grande o suficiente para executar o fluxo de trabalho DAPS, que tem três contêineres do Docker.

O modelo implanta as EC2 instâncias em sub-redes privadas. Isso significa que as instâncias não podem ser acessadas diretamente por meio de SSH (Secure Shell) pela Internet. As instâncias são provisionadas com a função e o AWS Systems Manager agente do IAM necessários para permitir o acesso às instâncias em execução por meio do Gerenciador de sessões, um recurso de. AWS Systems Manager

Recomendamos usar o Gerenciador de Sessões para acesso. Como alternativa, você pode provisionar um bastion host para permitir o acesso SSH da Internet. Ao usar a abordagem bastion host, a EC2 instância pode levar mais alguns minutos para começar a ser executada.

Depois que o AWS CloudFormation modelo for implantado com sucesso, aponte o nome DNS para o nome DNS do Application Load Balancer. Para confirmar, execute o seguinte comando:

dig <DNS NAME>

A saída deve ser semelhante ao seguinte:

; <<>> DiG 9.16.1-Ubuntu <<>> edc-pattern.think-it.io
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42344
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;edc-pattern.think-it.io.           IN          A

;; ANSWER SECTION:
edc-pattern.think-it.io. 276        IN          CNAME    daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com.
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.208.240.129
daps-alb-iap9zmwy3kn8-1328773120.eu-west-1.elb.amazonaws.com. 36 IN A 52.210.155.124

Registre os conectores dos participantes no serviço DAPS.

Em qualquer uma das EC2 instâncias provisionadas para o DAPS, registre os participantes:

A escolha dos nomes não afeta as próximas etapas. Recomendamos usar provider e consumer ou companyx e companyy.

Os comandos de registro também configurarão automaticamente o serviço DAPS com as informações necessárias obtidas dos certificados e chaves criados.

Enquanto estiver conectado a um servidor DAPS, reúna as informações necessárias para as etapas posteriores da instalação:

Recomendamos copiar e colar o texto em arquivos com nomes semelhantes prefixados com daps- em sua estação de trabalho.

Você deve ter o cliente IDs para o provedor e o consumidor e deve ter quatro arquivos em seu diretório de trabalho em sua estação de trabalho:

Clone o repositório Tractus-X EDC e use a versão 0.4.1.

A construção do conector Tractus-X EDC requer que os serviços PostgreSQL (banco de dados de ativos) e HashiCorp Vault (gerenciamento de segredos) sejam implantados e disponibilizados.

Há muitas versões diferentes dos charts do Helm Tractus-X EDC. Este padrão especifica a versão 0.4.1 porque usa o servidor DAPS.

As versões mais recentes usam o Managed Identity Wallet (MIW) com uma implementação distribuída do serviço de identidade.

Na estação de trabalho em que você criou os dois namespaces do Kubernetes, clone o repositório tractusx-edc e confira a ramificação release/0.4.1.

git clone https://github.com/eclipse-tractusx/tractusx-edc

cd tractusx-edc

git checkout release/0.4.1

Configure chart do Helm Tractus-X EDC.

Modifique a configuração do modelo do chart do Helm Tractus-X para permitir que os dois conectores interajam juntos.

Para fazer isso, você adicionaria o namespace ao nome DNS do serviço para que ele pudesse ser resolvido por outros serviços no cluster. Essas modificações devem ser feitas no arquivo charts/tractusx-connector/templates/_helpers.tpl. Este padrão fornece uma versão final modificada desse arquivo para você usar. Copie e coloque na seção daps do arquivo charts/tractusx-connector/templates/_helpers.tpl.

Certifique-se de comentar todas as dependências do DAPS em charts/tractusx-connector/Chart.yaml:

dependencies:
  # IDS Dynamic Attribute Provisioning Service (IAM)
  #  - name: daps
  # version: 0.0.1
  # repository: "file://./subcharts/omejdn"
  # alias: daps
  # condition: install.daps

Configure os conectores para usar o PostgreSQL no Amazon RDS.

(Opcional) A instância do Amazon Relational Database Service (Amazon RDS) não é necessária neste padrão. No entanto, é altamente recomendável usar o Amazon RDS ou o Amazon Aurora, pois eles oferecem recursos como alta disponibilidade, backup e recuperação.

Para substituir o PostgreSQL no Kubernetes pelo Amazon RDS, faça o seguinte:

postgresql:
  auth:
    database: edc
    password: <RDS PASSWORD>
    username: <RDS Username>
  jdbcUrl: jdbc:postgresql://<RDS DNS NAME>:5432/edc
  username: <RDS Username>
  password: <RDS PASSWORD>
  primary:
    persistence:
      enabled: false
  readReplicas:
    persistence:
      enabled: false

Configure e implante o conector do provedor e seus serviços.

Para configurar o conector do provedor e seus serviços, faça o seguinte:

Adicione o certificado e as chaves ao cofre do provedor.

Para evitar confusão, produza os seguintes certificados fora do diretório tractusx-edc/charts.

Por exemplo, execute o comando a seguir para mudar para o diretório principal:

cd ~

Agora você precisa adicionar os segredos necessários ao provedor no cofre.

Os nomes dos segredos dentro do cofre são os valores das chaves na seção secretNames: do arquivo provider_edc.yml. Por padrão, eles são configurados da seguinte forma:

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

Uma chave Advanced Encryption Standard (AES), uma chave privada, uma chave pública e um certificado autoassinado são gerados inicialmente. Posteriormente, eles são adicionados como segredos ao cofre.

Além disso, esse diretório deve conter os arquivos daps-provider.cert e daps-provider.key que você copiou do servidor DAPS.

Agora você deve conseguir acessar o cofre por meio de seu navegador ou da CLI.

Navegador

CLI do Vault

A CLI também usará a porta de encaminhamento que você configurou.

Configure e implante o conector do consumidor e seus serviços.

As etapas para configurar e implantar o consumidor são semelhantes às que você concluiu para o provedor:

Adicione o certificado e as chaves ao cofre do consumidor.

Do ponto de vista da segurança, recomendamos a regeneração dos certificados e chaves de cada participante do espaço de dados. Este padrão regenera certificados e chaves para o consumidor.

As etapas são muito semelhantes às do provedor. Você pode verificar os nomes secretos no arquivo consumer_edc.yml.

Os nomes dos segredos dentro do cofre são os valores das chaves na seção secretNames: de consumer_edc.yml file. Por padrão, eles são configurados da seguinte forma:

secretNames:
               transferProxyTokenSignerPrivateKey: transfer-proxy-token-signer-private-key
               transferProxyTokenSignerPublicKey: transfer-proxy-token-signer-public-key
               transferProxyTokenEncryptionAesKey: transfer-proxy-token-encryption-aes-key
               dapsPrivateKey: daps-private-key
               dapsPublicKey: daps-public-key

Os arquivos daps-consumer.cert e daps-consumer.key que você copiou do servidor DAPS já devem existir nesse diretório.

Desta vez, a porta local é 8201, para que você possa ter portas de encaminhamento em vigor tanto para o produtor quanto para o consumidor.

Navegador

Você pode usar seu navegador para se conectar a http://localhost:8201/ para acessar o cofre do consumidor e criar os segredos com nomes e conteúdo conforme descrito.

Os segredos e arquivos que contêm o conteúdo são os seguintes:

CLI do Vault

Usando a CLI do Vault, você pode executar os seguintes comandos para fazer login no cofre e criar os segredos:

Configure o encaminhamento de portas.

O cluster é privado e não pode ser acessado publicamente. Para interagir com os conectores, use o recurso de encaminhamento de portas do Kubernetes para encaminhar o tráfego gerado pela sua máquina para o ambiente de gerenciamento do conector.

Crie buckets do S3 para o provedor e o consumidor.

Atualmente, o conector EDC não usa credenciais temporárias da AWS, como as fornecidas ao assumir uma função. O EDC oferece suporte somente ao uso de uma combinação de ID de chave de acesso do IAM e de uma chave de acesso secreta.

São necessários dois buckets do S3 para as etapas posteriores. Um bucket do S3 é usado para armazenar dados disponibilizados pelo provedor. O outro bucket do S3 é para dados recebidos pelo consumidor.

O usuário do IAM deve ter permissão para ler e gravar objetos somente nos dois buckets nomeados.

Um ID de chave de acesso e um par de chaves de acesso secretas precisam ser criadas e mantidas em segurança. Depois que esse MVDS for desativado, o usuário do IAM deverá ser excluído.

O código abaixo é um exemplo de política do IAM para o usuário:

{
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "Stmt1708699805237",
      "Action": [
        "s3:GetObject",
        "s3:GetObjectVersion",
        "s3:ListAllMyBuckets",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions",
        "s3:PutObject"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::<S3 Provider Bucket>",
        "arn:aws:s3:::<S3 Consumer Bucket>",
        "arn:aws:s3:::<S3 Provider Bucket>/*",
        "arn:aws:s3:::<S3 Consumer Bucket>/*"
        ]    }
  ]
}

Configure o Postman para interagir com o conector.

Agora você pode interagir com os conectores por meio da sua EC2 instância. Use o Postman como um cliente HTTP e forneça Coleções Postman para os conectores do provedor e do consumidor.

Importe as coleções do repositório aws-pattern-edc para sua instância do Postman.

Este padrão usa variáveis de coleção Postman para fornecer informações às suas solicitações.

Prepare os dados de intensidade das emissões de carbono a serem compartilhados.

Primeiro, você precisa decidir sobre o ativo de dados a ser compartilhado. Os dados da empresa X representam a pegada de emissões de carbono de sua frota de veículos. O peso é o peso bruto do veículo (GVW) em toneladas e as emissões estão em gramas por tonelada-quilômetro (g CO2 e/t-km) de CO2 acordo com a medição (WTW): Wheel-to-Well

Os dados de exemplo estão no arquivo carbon_emissions_data.json no repositório aws-patterns-edc.

A empresa X usa o Amazon S3 para armazenar objetos.

Crie o bucket do S3 e armazene o objeto de dados de exemplo nele. Os comandos a seguir criam um bucket do S3 com configurações de segurança padrão. É altamente recomendável consultar as práticas recomendadas de segurança para o Amazon S3.

aws s3api create-bucket <BUCKET_NAME> --region <AWS_REGION>
# You need to add '--create-bucket-configuration 
# LocationConstraint=<AWS_REGION>' if you want to create # the bucket outside of us-east-1 region

aws s3api put-object --bucket <BUCKET_NAME> \
 --key <S3 OBJECT NAME> \
 --body <PATH OF THE FILE TO UPLOAD>

O nome do bucket do S3 deve ser globalmente exclusivo. Para obter mais informações sobre as regras de nomenclatura, consulte a documentação da AWS.

Registre o ativo de dados no conector do provedor usando o Postman.

Um ativo de dados do conector EDC contém o nome dos dados e sua localização. Nesse caso, o ativo de dados do conector EDC apontará para o objeto criado no bucket do S3:

Defina a política de uso do ativo.

Um ativo de dados EDC deve estar associado a políticas de uso claras. Primeiro, crie a definição de política no conector do provedor.

A política da empresa X é permitir que os participantes do espaço de dados usem os dados da pegada de carbono.

Defina uma oferta de contrato EDC para o ativo e sua política de uso.

Para permitir que outros participantes solicitem acesso aos seus dados, ofereça-os em um contrato que especifique as condições e permissões de uso:

Solicite o catálogo de dados compartilhado pela empresa X.

Como consumidora de dados no espaço de dados, a empresa Y precisa primeiro descobrir os dados que estão sendo compartilhados por outros participantes.

Nessa configuração básica, você pode fazer isso solicitando que o conector do consumidor solicite o catálogo de ativos disponíveis diretamente do conector do provedor.

Inicie uma negociação de contrato para os dados de intensidade de emissões de carbono da empresa X.

Agora que você identificou o ativo que deseja consumir, inicie um processo de negociação de contrato entre os conectores do consumidor e do provedor.

O processo pode levar algum tempo até atingir o estado VERIFICADO.

Você pode verificar o estado da negociação do contrato e o ID do contrato correspondente usando a solicitação Get Negotiation.

Consuma dados de endpoints HTTP.

(Opção 1) Para usar o plano de dados HTTP para consumir dados no espaço de dados, você pode usar webhook.site para emular um servidor HTTP e iniciar o processo de transferência no conector do consumidor:

Nesta última etapa, você deve enviar a solicitação para o plano de dados do consumidor (portas de encaminhamento adequadas), conforme indicado na carga útil (endpoint).

Consuma dados diretamente dos buckets do S3.

(Opção 2) Use a integração do Amazon S3 com o conector EDC e aponte diretamente para o bucket do Amazon S3 na infraestrutura do consumidor como destino: