Cree una malla de datos empresarial con Amazon DataZone y AWS CDKAWS CloudFormation

Clonar el repositorio.

Para clonar el repositorio, ejecute el siguiente comando en el entorno de desarrollo local (Linux o macOS):

git clone https://github.com/aws-samples/data-mesh-datazone-cdk-cloudformation

Cree el entorno.

Para crear el entorno virtual de Python, ejecute los siguientes comandos:

 python3 -m venv .venv
 source .venv/bin/activate
 pip install -r requirements.txt

Arranque la cuentas.

Para iniciar la cuenta de gobierno central mediante AWS CDK, ejecute el siguiente comando:

cdk bootstrap aws://<GOVERNANCE_ACCOUNT_ID>/<AWS_REGION>

Inicie sesión en Consola de administración de AWS, abra la consola de cuentas de gobierno central y obtenga el nombre de recurso de Amazon (ARN) de la función de AWS CDK ejecución.

Cree el archivo DzDataMeshMemberStackSet.yaml.

Para crear el archivo DzDataMeshMemberStackSet.yaml, vaya al directorio raíz del repositorio e inicie el siguiente script de bash:

./lib/scripts/create_dz_data_mesh_member_stack_set.sh

Confirme la creación de la plantilla.

Asegúrese de que el archivo CloudFormation de plantilla se haya creado en la lib/cfn-templates/DzDataMeshMemberStackSet.yaml ubicación.

Modifique la configuración.

En el archivo config/Config.ts, modifique los siguientes parámetros:

DZ_APPLICATION_NAME - Name of the application.
DZ_STAGE_NAME - Name of the stage. 
DZ_DOMAIN_NAME - Name of the Amazon DataZone domain
DZ_DOMAIN_DESCRIPTION - Description of the Amazon DataZone domain
DZ_DOMAIN_TAG - Tag of the Amazon DataZone domain
DZ_ADMIN_PROJECT_NAME - Name of the Amazon DataZone project for administrators
DZ_ADMIN_PROJECT_DESCRIPTION - Description of the Amazon DataZone project for administrators
CDK_EXEC_ROLE_ARN - ARN of the cdk execution role
DZ_ADMIN_ROLE_ARN - ARN of the administrator role

Mantenga los parámetros restantes vacíos.

Actualiza la configuración del DataZone glosario de Amazon.

Para actualizar la configuración del DataZone glosario de Amazon en el lib/utils/glossary_config.json archivo, usa el siguiente ejemplo de configuración:

{
    "GlossaryName": "PII Data",
    "GlossaryDescription": "If data source contains PII attributes",
    "GlossaryTerms": [{
            "Name": "Yes",
            "ShortDescription": "Yes",
            "LongDescription": "Yes Glossary Term"
        },
        {
            "Name": "No",
            "ShortDescription": "No",
            "LongDescription": "No Glossary Term"
        }
    ]
}

Actualiza la configuración del formulario de DataZone metadatos de Amazon.

Para actualizar la configuración del formulario de DataZone metadatos de Amazon enlib/utils/metadata_form_config.json file, utilice el siguiente ejemplo de configuración:

{
    "FormName": "ScheduleDataRefresh",
    "FormDescription": "Form for data refresh schedule",
    "FormSmithyModel": "@amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\nstructure ScheduleDataRefresh {\n    @documentation(\"Schedule of Data Refresh\")\n    @required\n    @amazon.datazone#searchable\n    @amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\n    data_refresh_schedule: String\n}"
}

Exporte las AWS credenciales.

Para exportar AWS las credenciales a su entorno de desarrollo para el rol de IAM con permisos administrativos, utilice el siguiente formato:

export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=
export AWS_SESSION_TOKEN=

Sintetice la plantilla.

Para sintetizar la CloudFormation plantilla, ejecute el siguiente comando:

npx cdk synth

Implemente la solución.

Ejecute el siguiente comando para implementar la solución:

npx cdk deploy --all

Implemente la plantilla.

Implemente la CloudFormation plantilla ubicada lib/cfn-templates/DzDataMeshCfnStackSetExecutionRole.yaml en la cuenta del miembro con los siguientes parámetros de entrada:

Actualice el ARNs.

Para actualizar la lista de funciones de CloudFormation StackSet ejecución ARNs de las cuentas de los miembros, utilice el siguiente código:

DZ_MEMBER_STACK_SET_EXEC_ROLE_LIST  - List of Stack set execution role arns for the member accounts.

Sintetice e implemente.

Para sintetizar la CloudFormation plantilla e implementar la solución, ejecute los siguientes comandos:

npx cdk synth
npx cdk deploy --all

Asocie la cuenta de miembro

Para asociar la cuenta de miembro a la cuenta de gobernanza central, haga lo siguiente:

Actualice los parámetros.

Para actualizar los parámetros específicos de la cuenta de miembro en el archivo de configuración de config/Config.ts, utilice el siguiente formato:

export const DZ_MEMBER_ACCOUNT_CONFIG: memberAccountConfig = {
  '123456789012' : {
    PROJECT_NAME: 'TEST-PROJECT-123456789012',
    PROJECT_DESCRIPTION: 'TEST-PROJECT-123456789012',
    PROJECT_EMAIL: 'user@xyz.com'
  }
}

Sintetice e implemente la plantilla.

Para sintetizar la CloudFormation plantilla e implementar la solución, ejecute los siguientes comandos:

npx cdk synth
npx cdk deploy --all

Agregue cuentas de miembro.

Para crear y configurar cuentas de miembros adicionales en la solución de datos, repita los pasos anteriores para cada cuenta de miembro.

Esta solución no diferencia entre productores y consumidores de datos.

Elimine la asociación de las cuentas de miembros.

Para desasociar las cuentas, haga lo siguiente:

Elimine las instancias de pila.

Para eliminar las instancias de la CloudFormation pila, haga lo siguiente:

Elimine todos los recursos.

Para eliminar recursos, realice los siguientes pasos en su entorno de desarrollo local (Linux o macOS):