Crie uma malha de dados corporativa com a Amazon DataZone, AWS CDK, e AWS CloudFormation

Clonar o repositório.

Para clonar o repositório, execute o seguinte comando em seu ambiente de desenvolvimento local (Linux ou macOS):

git clone https://github.com/aws-samples/data-mesh-datazone-cdk-cloudformation

Criar o ambiente

Para criar o ambiente virtual do Python, execute os seguintes comandos:

 python3 -m venv .venv
 source .venv/bin/activate
 pip install -r requirements.txt

Inicialize a conta.

Para inicializar a conta de governança central usando AWS CDK, execute o seguinte comando:

cdk bootstrap aws://<GOVERNANCE_ACCOUNT_ID>/<AWS_REGION>

Faça login no Console de gerenciamento da AWS, abra o console central da conta de governança e obtenha o Amazon Resource Name (ARN) da função de AWS CDK execução.

Construa o arquivo DzDataMeshMemberStackSet.yaml.

Para construir o arquivo DzDataMeshMemberStackSet.yaml, no diretório-raiz do repositório, inicie o seguinte script bash:

./lib/scripts/create_dz_data_mesh_member_stack_set.sh

Confirme a criação do modelo.

Certifique-se de que o arquivo de CloudFormation modelo seja criado no lib/cfn-templates/DzDataMeshMemberStackSet.yaml local.

Modifique o arquivo de configuração.

No arquivo config/Config.ts, modifique os seguintes parâmetros:

DZ_APPLICATION_NAME - Name of the application.
DZ_STAGE_NAME - Name of the stage. 
DZ_DOMAIN_NAME - Name of the Amazon DataZone domain
DZ_DOMAIN_DESCRIPTION - Description of the Amazon DataZone domain
DZ_DOMAIN_TAG - Tag of the Amazon DataZone domain
DZ_ADMIN_PROJECT_NAME - Name of the Amazon DataZone project for administrators
DZ_ADMIN_PROJECT_DESCRIPTION - Description of the Amazon DataZone project for administrators
CDK_EXEC_ROLE_ARN - ARN of the cdk execution role
DZ_ADMIN_ROLE_ARN - ARN of the administrator role

Mantenha os parâmetros restantes vazios.

Atualize a configuração do DataZone glossário da Amazon.

Para atualizar a configuração do DataZone glossário da Amazon no lib/utils/glossary_config.json arquivo, use o seguinte exemplo de configuração:

{
    "GlossaryName": "PII Data",
    "GlossaryDescription": "If data source contains PII attributes",
    "GlossaryTerms": [{
            "Name": "Yes",
            "ShortDescription": "Yes",
            "LongDescription": "Yes Glossary Term"
        },
        {
            "Name": "No",
            "ShortDescription": "No",
            "LongDescription": "No Glossary Term"
        }
    ]
}

Atualize a configuração do formulário de DataZone metadados da Amazon.

Para atualizar a configuração do formulário de DataZone metadados da Amazon nolib/utils/metadata_form_config.json file, use o seguinte exemplo de configuração:

{
    "FormName": "ScheduleDataRefresh",
    "FormDescription": "Form for data refresh schedule",
    "FormSmithyModel": "@amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\nstructure ScheduleDataRefresh {\n    @documentation(\"Schedule of Data Refresh\")\n    @required\n    @amazon.datazone#searchable\n    @amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\n    data_refresh_schedule: String\n}"
}

Exporte as AWS credenciais.

Para exportar AWS credenciais para seu ambiente de desenvolvimento para a função do IAM com permissões administrativas, use o seguinte formato:

export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=
export AWS_SESSION_TOKEN=

Sintetize o modelo.

Para sintetizar o CloudFormation modelo, execute o seguinte comando:

npx cdk synth

Implante a solução.

Para implantar a solução, execute o seguinte comando:

npx cdk deploy --all

Implante o modelo.

Implante o CloudFormation modelo localizado lib/cfn-templates/DzDataMeshCfnStackSetExecutionRole.yaml na conta do membro com os seguintes parâmetros de entrada:

Atualize ARNs o.

Para atualizar a lista de funções ARNs de CloudFormation StackSet execução das contas dos membros, use o código a seguir:

DZ_MEMBER_STACK_SET_EXEC_ROLE_LIST  - List of Stack set execution role arns for the member accounts.

Sintetize e implante.

Para sintetizar o CloudFormation modelo e implantar a solução, execute os seguintes comandos:

npx cdk synth
npx cdk deploy --all

Associe a conta de membro.

Para associar a conta de membro à conta de governança central, faça o seguinte:

Atualize os parâmetros.

Para atualizar os parâmetros específicos da conta de membro no arquivo de configuração em config/Config.ts, use o seguinte formato:

export const DZ_MEMBER_ACCOUNT_CONFIG: memberAccountConfig = {
  '123456789012' : {
    PROJECT_NAME: 'TEST-PROJECT-123456789012',
    PROJECT_DESCRIPTION: 'TEST-PROJECT-123456789012',
    PROJECT_EMAIL: 'user@xyz.com'
  }
}

Sintetize e implante o modelo.

Para sintetizar o CloudFormation modelo e implantar a solução, execute os seguintes comandos:

npx cdk synth
npx cdk deploy --all

Adicione contas de membro.

Para criar e configurar contas de membros adicionais na solução de dados, repita as etapas anteriores para cada conta de membro.

Essa solução não diferencia entre produtores e consumidores de dados.

Desassocie as contas de membro.

Para desassociar as contas, faça o seguinte:

Exclua as instâncias de pilha.

Para excluir as instâncias da CloudFormation pilha, faça o seguinte:

Destrua todos os recursos.

Para destruir recursos, implemente as seguintes etapas em seu ambiente de desenvolvimento local (Linux ou macOS):