Membangun mesh data perusahaan dengan Amazon DataZone, AWS CDK, dan AWS CloudFormation

Kloning repositori.

Untuk mengkloning repositori, jalankan perintah berikut di lingkungan pengembangan lokal Anda (Linux atau macOS):

git clone https://github.com/aws-samples/data-mesh-datazone-cdk-cloudformation

Buat lingkungan.

Untuk membuat lingkungan virtual Python, jalankan perintah berikut:

 python3 -m venv .venv
 source .venv/bin/activate
 pip install -r requirements.txt

Bootstrap akun.

Untuk mem-bootstrap akun tata kelola pusat dengan menggunakan AWS CDK, jalankan perintah berikut:

cdk bootstrap aws://<GOVERNANCE_ACCOUNT_ID>/<AWS_REGION>

Masuk ke AWS Management Console, buka konsol akun tata kelola pusat, dan dapatkan Nama Sumber Daya Amazon (ARN) dari peran eksekusi AWS CDK .

Membangun DzDataMeshMemberStackSet.yaml file.

Untuk membangun DzDataMeshMemberStackSet.yaml file, dari direktori root repositori, memulai skrip bash berikut:

./lib/scripts/create_dz_data_mesh_member_stack_set.sh

Konfirmasikan pembuatan template.

Pastikan bahwa file AWS CloudFormation template dibuat di lib/cfn-templates/DzDataMeshMemberStackSet.yaml lokasi.

Ubah konfigurasi.

Dalam config/Config.ts file, ubah parameter berikut:

DZ_APPLICATION_NAME - Name of the application.
DZ_STAGE_NAME - Name of the stage. 
DZ_DOMAIN_NAME - Name of the Amazon DataZone domain
DZ_DOMAIN_DESCRIPTION - Description of the Amazon DataZone domain
DZ_DOMAIN_TAG - Tag of the Amazon DataZone domain
DZ_ADMIN_PROJECT_NAME - Name of the Amazon DataZone project for administrators
DZ_ADMIN_PROJECT_DESCRIPTION - Description of the Amazon DataZone project for administrators
CDK_EXEC_ROLE_ARN - ARN of the cdk execution role
DZ_ADMIN_ROLE_ARN - ARN of the administrator role

Biarkan parameter yang tersisa kosong.

Perbarui konfigurasi DataZone glosarium Amazon.

Untuk memperbarui konfigurasi DataZone glosarium Amazon dalam lib/utils/glossary_config.json file, gunakan konfigurasi contoh berikut:

{
    "GlossaryName": "PII Data",
    "GlossaryDescription": "If data source contains PII attributes",
    "GlossaryTerms": [{
            "Name": "Yes",
            "ShortDescription": "Yes",
            "LongDescription": "Yes Glossary Term"
        },
        {
            "Name": "No",
            "ShortDescription": "No",
            "LongDescription": "No Glossary Term"
        }
    ]
}

Perbarui konfigurasi formulir DataZone metadata Amazon.

Untuk memperbarui konfigurasi formulir DataZone metadata Amazon dilib/utils/metadata_form_config.json file, gunakan konfigurasi contoh berikut:

{
    "FormName": "ScheduleDataRefresh",
    "FormDescription": "Form for data refresh schedule",
    "FormSmithyModel": "@amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\nstructure ScheduleDataRefresh {\n    @documentation(\"Schedule of Data Refresh\")\n    @required\n    @amazon.datazone#searchable\n    @amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\n    data_refresh_schedule: String\n}"
}

Ekspor AWS kredensialnya.

Untuk mengekspor AWS kredensyal ke lingkungan pengembangan Anda untuk peran IAM dengan izin administratif, gunakan format berikut:

export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=
export AWS_SESSION_TOKEN=

Sintesis template.

Untuk mensintesis AWS CloudFormation template, jalankan perintah berikut:

npx cdk synth

Menyebarkan solusinya.

Untuk menerapkan solusi, jalankan perintah berikut:

npx cdk deploy --all

Menyebarkan template.

Terapkan AWS CloudFormation template yang terletak lib/cfn-templates/DzDataMeshCfnStackSetExecutionRole.yaml di akun anggota dengan parameter input berikut:

Perbarui ARNs.

Untuk memperbarui daftar peran AWS CloudFormation StackSet ARNs eksekusi akun anggota, gunakan kode berikut:

DZ_MEMBER_STACK_SET_EXEC_ROLE_LIST  - List of Stack set execution role arns for the member accounts.

Sintesis dan terapkan.

Untuk mensintesis AWS CloudFormation template dan menerapkan solusi, jalankan perintah berikut:

npx cdk synth
npx cdk deploy --all

Kaitkan akun anggota.

Untuk mengaitkan akun anggota dengan akun tata kelola pusat, lakukan hal berikut:

Perbarui parameter.

Untuk memperbarui parameter spesifik akun anggota dalam file konfigurasi diconfig/Config.ts, gunakan format berikut:

export const DZ_MEMBER_ACCOUNT_CONFIG: memberAccountConfig = {
  '123456789012' : {
    PROJECT_NAME: 'TEST-PROJECT-123456789012',
    PROJECT_DESCRIPTION: 'TEST-PROJECT-123456789012',
    PROJECT_EMAIL: 'user@xyz.com'
  }
}

Sintesis dan gunakan template.

Untuk mensintesis AWS CloudFormation template dan menerapkan solusi, jalankan perintah berikut:

npx cdk synth
npx cdk deploy --all

Tambahkan akun anggota.

Untuk membuat dan mengonfigurasi akun anggota tambahan dalam solusi data, ulangi langkah sebelumnya untuk setiap akun anggota.

Solusi ini tidak membedakan antara produsen data dan konsumen.

Putuskan hubungan akun anggota.

Untuk memisahkan akun, lakukan hal berikut:

Hapus instance tumpukan.

Untuk menghapus instance AWS CloudFormation tumpukan, lakukan hal berikut:

Hancurkan semua sumber daya.

Untuk menghancurkan sumber daya, terapkan langkah-langkah berikut di lingkungan pengembangan lokal Anda (Linux atau macOS):