Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Crea una rete dati aziendale con Amazon DataZone e AWS CDK AWS CloudFormation *Dhrubajyoti Mukherjee, Ravi Kumar, Weizhou Sun e Adjoa Taylor, Amazon Web Services* ## Riepilogo Su Amazon Web Services (AWS), i clienti comprendono che i dati sono la chiave per accelerare l'innovazione e creare valore aziendale. Per gestire questa enorme quantità di dati, puoi adottare un'architettura decentralizzata come la data mesh. Un'architettura data mesh facilita la riflessione sul prodotto, una mentalità che tiene conto dei clienti, degli obiettivi e del mercato. La data mesh aiuta anche a stabilire un modello di governance federato che fornisce un accesso rapido e sicuro ai dati. In [Strategie per la creazione di una soluzione aziendale basata su data mesh viene AWS illustrato come utilizzare il Data Mesh](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-data-mesh/introduction.html) Strategy Framework per formulare e implementare una strategia di data mesh per l'organizzazione. Utilizzando il Data Mesh Strategy Framework, puoi ottimizzare l'organizzazione dei team e le loro interazioni per accelerare il percorso verso la data mesh. Questo documento fornisce indicazioni su come creare una rete dati aziendale con [Amazon DataZone](https://docs.aws.amazon.com/datazone/latest/userguide/what-is-datazone.html). Amazon DataZone è un servizio di gestione dei dati per la catalogazione, la scoperta, la condivisione e la gestione dei dati archiviati su fonti AWS, locali e di terze parti. Il modello include artefatti di codice che aiutano a implementare l'infrastruttura di soluzioni di dati basata su data mesh utilizzando e. AWS Cloud Development Kit (AWS CDK) AWS CloudFormation Questo modello è destinato agli architetti e agli ingegneri del cloud. DevOps Per informazioni sugli obiettivi di questo modello e sull'ambito della soluzione, consulta la sezione [Informazioni aggiuntive](#build-enterprise-data-mesh-amazon-data-zone-additional). ## Prerequisiti e limitazioni **Prerequisiti** + Almeno due account attivi Account AWS: uno per l'account di governance centrale e l'altro per l'account del membro + AWS credenziali di amministratore per l'account di governance centrale nell'ambiente di sviluppo + AWS Command Line Interface (AWS CLI) [installato](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) per gestirlo Servizi AWS dalla riga di comando + Node.js e Node Package Manager (npm) [installati](https://docs.npmjs.com/downloading-and-installing-node-js-and-npm) per gestire le applicazioni AWS CDK + AWS CDK Toolkit [installato](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html#getting_started_install) a livello globale nell'ambiente di sviluppo utilizzando npm, per sintetizzare e distribuire applicazioni AWS CDK ``` npm install -g aws-cdk ``` + Python versione 3.12 installata nel tuo ambiente di sviluppo + TypeScript installato nel tuo ambiente di sviluppo o installato globalmente utilizzando il compilatore npm: ``` npm install -g typescript ``` + Docker installato nel tuo ambiente di sviluppo + Un sistema di controllo della versione come Git per mantenere il codice sorgente della soluzione (consigliato) + Un ambiente di sviluppo integrato (IDE) o un editor di testo con supporto per Python e TypeScript (fortemente consigliato) **Limitazioni** + La soluzione è stata testata solo su macchine che eseguono Linux o macOS. + Nella versione attuale, la soluzione non supporta l'integrazione di Amazon DataZone e AWS IAM Identity Center per impostazione predefinita. Tuttavia, puoi configurarla per supportare questa integrazione. **Versioni del prodotto** + Python versione 3.12 ## Architecture Il diagramma seguente mostra un'architettura di riferimento per la rete di dati. L'architettura è basata su Amazon DataZone e utilizza Amazon Simple Storage Service (Amazon S3) AWS Glue Data Catalog e come fonti di dati. L'uso Servizi AWS che utilizzi con Amazon DataZone nell'implementazione della rete di dati potrebbe differire in base ai requisiti della tua organizzazione. ![Flusso di lavoro in cinque fasi per gli account dei membri e gli account di governance centralizzati.](http://docs.aws.amazon.com/it_it/prescriptive-guidance/latest/patterns/images/pattern-img/79056dd9-e669-4302-afb8-21e3e0e8a136/images/eacbffca-4f25-405a-a7c8-f89d0fee5682.png) 1. Nei conti dei produttori, i dati grezzi sono idonei al consumo nella loro forma attuale oppure vengono trasformati per il consumo utilizzando AWS Glue. I metadati tecnici per i dati vengono archiviati in Amazon S3 e valutati utilizzando AWS Glue un crawler di dati. [La qualità dei dati viene misurata utilizzando Data Quality.AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/glue-data-quality.html) Il database di origine nel catalogo dati è registrato come risorsa nel DataZone catalogo Amazon. Il DataZone catalogo Amazon è ospitato nell'account di governance centrale utilizzando Amazon DataZone Data Source Job. 1. L'account di governance centrale ospita il DataZone dominio Amazon e il portale DataZone dati Amazon. I produttori e i consumatori Account AWS di dati sono associati al DataZone dominio Amazon. I DataZone progetti Amazon dei produttori e dei consumatori di dati sono organizzati nelle corrispondenti unità di DataZone dominio Amazon. 1. Gli utenti finali degli asset di dati accedono al portale DataZone dati Amazon utilizzando le proprie credenziali AWS Identity and Access Management (IAM) o Single Sign-On (con integrazione tramite IAM Identity Center). Cercano, filtrano e visualizzano le informazioni sugli asset (ad esempio, informazioni sulla qualità dei dati o metadati aziendali e tecnici) nel catalogo DataZone dati di Amazon. 1. Dopo che un utente finale trova la risorsa di dati che desidera, utilizza la funzionalità di DataZone abbonamento Amazon per richiedere l'accesso. Il proprietario dei dati del team di produzione riceve una notifica e valuta la richiesta di abbonamento nel portale DataZone dati di Amazon. Il proprietario dei dati approva o rifiuta la richiesta di abbonamento in base alla sua validità. 1. Dopo che la richiesta di abbonamento è stata concessa e soddisfatta, si accede alla risorsa nell'account del consumatore per le seguenti attività: + Sviluppo di modelli AI/ML utilizzando Amazon AI SageMaker + Analisi e reportistica utilizzando Amazon Athena e Amazon Quick ## Tools (Strumenti) **Servizi AWS** + [Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html) è un servizio di query interattivo che ti aiuta ad analizzare i dati direttamente in Amazon Simple Storage Service (Amazon S3) utilizzando SQL standard. + [AWS Cloud Development Kit (AWS CDK)](https://docs.aws.amazon.com/cdk/v2/guide/home.html)è un framework di sviluppo software che ti aiuta a definire e fornire l' Cloud AWS infrastruttura in codice. + [AWS CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html)ti aiuta a configurare AWS le risorse, a fornirle in modo rapido e coerente e a gestirle durante tutto il loro ciclo di vita tra Account AWS e. Regioni AWS + [Amazon DataZone](https://docs.aws.amazon.com/datazone/latest/userguide/what-is-datazone.html) è un servizio di gestione dei dati che ti aiuta a catalogare, scoprire, condividere e gestire i dati archiviati su AWS, in sede e in fonti di terze parti. + [Amazon Quick](https://docs.aws.amazon.com/quicksight/latest/user/welcome.html) è un servizio di business intelligence (BI) su scala cloud che ti aiuta a visualizzare, analizzare e generare report sui dati in un'unica dashboard. + [Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/?id=docs_gateway) è un servizio di machine learning (ML) gestito che ti aiuta a creare e addestrare modelli di machine learning per poi distribuirli in un ambiente ospitato pronto per la produzione. + [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) è un servizio di archiviazione degli oggetti basato sul cloud che consente di archiviare, proteggere e recuperare qualsiasi quantità di dati. + [Amazon Simple Queue Service (Amazon SQS](https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/welcome.html)) fornisce una coda ospitata sicura, durevole e disponibile che ti aiuta a integrare e disaccoppiare sistemi e componenti software distribuiti. + [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) è un servizio di archiviazione degli oggetti basato sul cloud che consente di archiviare, proteggere e recuperare qualsiasi quantità di dati. **Repository di codice** La soluzione è disponibile nel repository GitHub [data-mesh-datazone-cdk-cloudformation](https://github.com/aws-samples/data-mesh-datazone-cdk-cloudformation). ## Epiche ### Configura l'ambiente | Operazione | Description | Competenze richieste | | --- | --- | --- | | Clonare il repository. | Per clonare il repository, esegui il seguente comando nel tuo ambiente di sviluppo locale (Linux o macOS):
git clone https://github.com/aws-samples/data-mesh-datazone-cdk-cloudformation
| Architetto del cloud, ingegnere DevOps | | Creazione dell'ambiente | Per creare l'ambiente virtuale Python, esegui i seguenti comandi:
 python3 -m venv .venv
 source .venv/bin/activate
 pip install -r requirements.txt
| Architetto del cloud, DevOps ingegnere | | Avvia l'account. | Per avviare l'account di governance centrale utilizzando AWS CDK, esegui il seguente comando:
cdk bootstrap aws:///

Accedi a Console di gestione AWS, apri la console dell'account di governance centrale e ottieni l'Amazon Resource Name (ARN) del ruolo di AWS CDK esecuzione. | Architetto del cloud, DevOps ingegnere | | Costruisci il `DzDataMeshMemberStackSet.yaml` file. | Per costruire il `DzDataMeshMemberStackSet.yaml` file, dalla directory principale del repository, iniziate il seguente script bash:
./lib/scripts/create_dz_data_mesh_member_stack_set.sh
| Architetto del cloud, ingegnere DevOps | | Conferma la creazione del modello. | Assicuratevi che il file CloudFormation modello sia stato creato nella `lib/cfn-templates/DzDataMeshMemberStackSet.yaml` posizione desiderata. | Architetto del cloud, DevOps ingegnere | ### Implementa le risorse nell'account di governance centrale | Operazione | Description | Competenze richieste | | --- | --- | --- | | Modifica la configurazione. | Nel `config/Config.ts` file, modificate i seguenti parametri:
DZ_APPLICATION_NAME - Name of the application.
DZ_STAGE_NAME - Name of the stage. 
DZ_DOMAIN_NAME - Name of the Amazon DataZone domain
DZ_DOMAIN_DESCRIPTION - Description of the Amazon DataZone domain
DZ_DOMAIN_TAG - Tag of the Amazon DataZone domain
DZ_ADMIN_PROJECT_NAME - Name of the Amazon DataZone project for administrators
DZ_ADMIN_PROJECT_DESCRIPTION - Description of the Amazon DataZone project for administrators
CDK_EXEC_ROLE_ARN - ARN of the cdk execution role
DZ_ADMIN_ROLE_ARN - ARN of the administrator role

Mantieni vuoti i parametri rimanenti. | Architetto del cloud, DevOps ingegnere | | Aggiorna la configurazione del DataZone glossario Amazon. | Per aggiornare la configurazione del DataZone glossario Amazon nel `lib/utils/glossary_config.json` file, usa la seguente configurazione di esempio:
{
    "GlossaryName": "PII Data",
    "GlossaryDescription": "If data source contains PII attributes",
    "GlossaryTerms": [{
            "Name": "Yes",
            "ShortDescription": "Yes",
            "LongDescription": "Yes Glossary Term"
        },
        {
            "Name": "No",
            "ShortDescription": "No",
            "LongDescription": "No Glossary Term"
        }
    ]
}
| Architetto del cloud, DevOps ingegnere | | Aggiorna la configurazione del modulo di DataZone metadati Amazon. | Per aggiornare la configurazione del modulo di DataZone metadati Amazon in`lib/utils/metadata_form_config.json file`, utilizza la seguente configurazione di esempio:
{
    "FormName": "ScheduleDataRefresh",
    "FormDescription": "Form for data refresh schedule",
    "FormSmithyModel": "@amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\nstructure ScheduleDataRefresh {\n    @documentation(\"Schedule of Data Refresh\")\n    @required\n    @amazon.datazone#searchable\n    @amazon.datazone#displayname(defaultName: \"Data Refresh Schedule\")\n    data_refresh_schedule: String\n}"
}
| Architetto del cloud, DevOps ingegnere | | Esporta le AWS credenziali. | Per esportare AWS le credenziali nel tuo ambiente di sviluppo per il ruolo IAM con autorizzazioni amministrative, utilizza il seguente formato:
export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=
export AWS_SESSION_TOKEN=
| Architetto del cloud, ingegnere DevOps | | Sintetizza il modello. | Per sintetizzare il CloudFormation modello, esegui il seguente comando:
npx cdk synth
| Architetto del cloud, ingegnere DevOps | | Distribuire la soluzione. | Per distribuire la soluzione, esegui il comando seguente:
npx cdk deploy --all
| Architetto del cloud, DevOps ingegnere | ### Configura nuovi account per i membri | Operazione | Description | Competenze richieste | | --- | --- | --- | | Implementa il modello. | Distribuisci il CloudFormation modello che si trova `lib/cfn-templates/DzDataMeshCfnStackSetExecutionRole.yaml` nell'account del membro con i seguenti parametri di input:
[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/prescriptive-guidance/latest/patterns/build-enterprise-data-mesh-amazon-data-zone.html) | Architetto del cloud, ingegnere DevOps | | Aggiorna il ARNs. | Per aggiornare l'elenco dei ruoli di CloudFormation StackSet esecuzione ARNs per gli account membri, utilizza il codice seguente:
DZ_MEMBER_STACK_SET_EXEC_ROLE_LIST  - List of Stack set execution role arns for the member accounts.
| Architetto del cloud, DevOps ingegnere | | Sintetizza e distribuisci. | Per sintetizzare il CloudFormation modello e distribuire la soluzione, esegui i seguenti comandi:
npx cdk synth
npx cdk deploy --all
| Architetto del cloud, ingegnere DevOps | | Associa l'account membro. | Per associare l'account membro all'account di governance centrale, procedi come segue:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/prescriptive-guidance/latest/patterns/build-enterprise-data-mesh-amazon-data-zone.html) | Architetto del cloud, ingegnere DevOps | | Aggiorna i parametri. | Per aggiornare i parametri specifici dell'account membro nel file di configurazione in`config/Config.ts`, utilizza il seguente formato:
export const DZ_MEMBER_ACCOUNT_CONFIG: memberAccountConfig = {
  '123456789012' : {
    PROJECT_NAME: 'TEST-PROJECT-123456789012',
    PROJECT_DESCRIPTION: 'TEST-PROJECT-123456789012',
    PROJECT_EMAIL: 'user@xyz.com'
  }
}
| Architetto del cloud, ingegnere DevOps | | Sintetizza e implementa il modello. | Per sintetizzare il CloudFormation modello e distribuire la soluzione, esegui i comandi seguenti:
npx cdk synth
npx cdk deploy --all
| Architetto del cloud, ingegnere DevOps | | Aggiungi account per i membri. | Per creare e configurare account membro aggiuntivi nella soluzione dati, ripeti i passaggi precedenti per ogni account membro.
Questa soluzione non fa distinzione tra produttori di dati e consumatori. | Architetto del cloud, DevOps ingegnere | ### Eliminazione | Operazione | Description | Competenze richieste | | --- | --- | --- | | Dissocia gli account dei membri. | Per dissociare gli account, procedi come segue:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/prescriptive-guidance/latest/patterns/build-enterprise-data-mesh-amazon-data-zone.html) | Architetto del cloud, DevOps ingegnere | | Elimina le istanze dello stack. | Per eliminare le istanze dello CloudFormation stack, procedi come segue:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/prescriptive-guidance/latest/patterns/build-enterprise-data-mesh-amazon-data-zone.html) | Architetto del cloud, DevOps ingegnere | | Distruggi tutte le risorse. | Per distruggere le risorse, implementa i seguenti passaggi nel tuo ambiente di sviluppo locale (Linux o macOS):[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/prescriptive-guidance/latest/patterns/build-enterprise-data-mesh-amazon-data-zone.html) | Architetto del cloud, DevOps ingegnere | ## Risorse correlate + [Amazon DataZone quickstart con i dati AWS Glue](https://docs.aws.amazon.com/datazone/latest/userguide/quickstart-glue.html) + [Tutorial: crea la tua prima app AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/hello_world.html) + [Iniziare con CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/GettingStarted.html) + [Strategie per creare una soluzione aziendale basata su data mesh su AWS](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-data-mesh/introduction.html) ## Informazioni aggiuntive **Obiettivi** L'implementazione di questo modello consente di ottenere quanto segue: + **Proprietà decentralizzata dei dati** ‒ Trasferisci la proprietà dei dati da un team centrale ai team che rappresentano i sistemi di origine, le unità aziendali o i casi d'uso dell'organizzazione. + **Pensiero di prodotto** ‒ Introduci una mentalità basata sul prodotto che includa i clienti, il mercato e altri fattori quando consideri le risorse di dati della tua organizzazione. + **Governance federata** ‒ Migliora le barriere di sicurezza, i controlli e la conformità tra i prodotti di dati dell'organizzazione. + Supporto per **più account e più progetti ‒ Supporta** la condivisione e la collaborazione dei dati efficienti e sicure tra le unità aziendali o i progetti dell'organizzazione. + **Monitoraggio e notifiche centralizzati** ‒ Monitora le risorse cloud della tua mesh di dati utilizzando Amazon CloudWatch e avvisa gli utenti quando viene associato un nuovo account membro. + **Scalabilità ed estensibilità** ‒ Aggiungi nuovi casi d'uso alla data mesh man mano che la tua organizzazione si evolve. **Ambito della soluzione** Quando utilizzi questa soluzione, puoi iniziare con dimensioni ridotte e scalare man mano che avanzi nel percorso verso la rete di dati. Spesso, quando un account membro adotta la soluzione dati, contiene configurazioni di account specifiche per l'organizzazione, il progetto o l'unità aziendale. Questa soluzione si adatta a queste diverse Account AWS configurazioni supportando le seguenti funzionalità: + AWS Glue Data Catalog come fonte di dati per Amazon DataZone + Gestione del dominio DataZone dati Amazon e del relativo portale dati + Gestione dell'aggiunta di account membri nella soluzione di dati basata su data mesh + Gestione di DataZone progetti e ambienti Amazon + Gestione di DataZone glossari e moduli di metadati Amazon + Gestione dei ruoli IAM che corrispondono agli utenti della soluzione di dati basata su data mesh + Notifica agli utenti di soluzioni di dati basate su data mesh + Monitoraggio dell'infrastruttura cloud predisposta Questa soluzione utilizza AWS CDK e CloudFormation implementa l'infrastruttura cloud. Viene utilizzata CloudFormation per eseguire le seguenti operazioni: + Definisci e distribuisci le risorse cloud a un livello di astrazione inferiore. + Implementa risorse cloud da. Console di gestione AWS Utilizzando questo approccio, è possibile implementare l'infrastruttura senza un ambiente di sviluppo. La soluzione data mesh consente di definire le risorse AWS CDK a un livello di astrazione più elevato. Di conseguenza, la soluzione fornisce un approccio disaccoppiato, modulare e scalabile scegliendo lo strumento pertinente per implementare le risorse cloud. **Fasi successive** Puoi rivolgerti agli AWS[esperti](https://aws.amazon.com/professional-services) per ricevere indicazioni su come creare una rete di dati con Amazon DataZone. La natura modulare di questa soluzione supporta la creazione di soluzioni di gestione dei dati con diverse architetture, come data fabric e data lake. Inoltre, in base ai requisiti della tua organizzazione, puoi estendere la soluzione ad altre fonti di DataZone dati Amazon.