Novidades no Amazon DataZone
Esta seção descreve recursos e melhorias no Amazon DataZone por data de lançamento.
2024
Amazon DataZone lança regras de aplicação de metadados para solicitações de assinatura
Lançamento em 20/11/2023
As novas regras de aplicação de metadados para solicitações de assinatura no Amazon DataZone fortalecem a governança de dados ao permitir que proprietários de unidades de domínio estabeleçam requisitos claros de metadados para consumidores de dados, simplificando as solicitações de acesso e aprimorando a governança de dados. Esse recurso permite que as organizações se alinhem aos padrões de metadados da organização, implementem fluxos de trabalho personalizados e forneçam uma experiência de acesso a dados consistente e governada. Para obter mais informações, consulte Regras de aplicação de metadados para solicitações de assinatura.
Os planos de AWS serviços personalizados do Amazon DataZone agora habilitam o Amazon SageMaker com uma nova experiência de configuração para projetos do Amazon DataZone
Lançamento em 15/11/2023
Com as impressões de AWS serviços personalizados do Amazon DataZone, você pode migrar seu domínio atual do Amazon SageMaker para o Amazon DataZone. Com esse recurso, os administradores agora podem configurar projetos do Amazon DataZone importando seus usuários autorizados, configurações de segurança e políticas existentes dos domínios do Amazon SageMaker. Para obter mais informações, consulte Configurar o SageMaker Assets (guia do administrador).
O Amazon DataZone lança suporte ao AWS CloudFormation para esquemas de serviços da AWS personalizados
Lançamento em 12/09/2024
O Amazon DataZone adicionou suporte ao AWS CloudFormation para os esquemas de serviços da AWS personalizados. Esse novo recurso permite que você use o AWS CloudFormation para automatizar a criação de ambientes no Amazon DataZone. Com esquemas personalizados, os administradores agora podem integrar perfeitamente o Amazon DataZone em seus pipelines de dados existentes usando os perfis do IAM para publicar ativos de dados no catálogo do Amazon DataZone, facilitando o compartilhamento controlado desses ativos e aprimorando a governança em toda a infraestrutura. Para obter mais informações, consulte Referência de tipo de recurso do Amazon DataZone.
O Amazon DataZone lança unidades de domínio e políticas de autorização
Lançamento em 12/08/2024
O Amazon DataZone introduz um conjunto de novos recursos de governança de dados, chamados de unidades de domínio e políticas de autorização, que permitem aos clientes criar uma organização em nível de unidade de negócio/equipe e gerenciar políticas de acordo com suas necessidades comerciais. Com a adição de unidades de domínio, os usuários podem organizar, criar, pesquisar e encontrar ativos de dados e projetos associados a unidades de negócios ou equipes. Com as políticas de autorização, esses usuários da unidade de domínio podem definir políticas de acesso para criar projetos, glossários e usar recursos computacionais no Amazon DataZone. Para obter mais informações, consulte Unidades de domínio e políticas de autorização no Amazon DataZone.
O Amazon DataZone lança produtos de dados
Lançamento em 05/08/2024
O Amazon DataZone apresenta produtos de dados, que possibilitam o agrupamento de ativos de dados em pacotes bem definidos e independentes, personalizados para casos de uso comerciais específicos. Por exemplo, um produto de dados de análise de marketing pode agrupar vários ativos de dados, como dados de campanhas de marketing, dados de pipeline e dados de clientes. Com produtos de dados, os clientes podem simplificar os processos de descoberta e assinatura, alinhando-os aos objetivos de negócios e reduzindo a redundância no tratamento de ativos individuais. Para obter mais informações, consulte Amazon DataZone: produtos de dados .
O Amazon DataZone lança a funcionalidade refinada de controle de acesso
Lançamento em 02/07/2024
O Amazon DataZone introduziu um controle de acesso refinado, fornecendo controle detalhado sobre seus ativos de dados no catálogo de dados comerciais do Amazon DataZone em data lakes e data warehouses. Com o novo recurso, os proprietários de dados agora podem restringir o acesso a registros específicos de dados nos níveis de linha e coluna, em vez de conceder acesso a ativos de dados inteiros. Por exemplo, se seus dados contiverem colunas com informações confidenciais, como Informações de Identificação Pessoal (PII), você poderá restringir o acesso somente às colunas necessárias, garantindo que as informações confidenciais sejam protegidas e, ao mesmo tempo, permitindo o acesso a dados não confidenciais. Da mesma forma, você poderá controlar o acesso no nível da linha, permitindo que os usuários vejam somente os registros relevantes para seu perfil ou tarefa. Para obter mais informações, consulte . Controle de acesso refinado aos dados no Amazon DataZone
O Amazon DataZone lança a funcionalidade de linhagem de dados
Lançamento em 27/06/2024
O Amazon DataZone lança a linhagem de dados em pré-visualização, ajudando os clientes a visualizar eventos de linhagem de sistemas habilitados para OpenLineage ou por meio de API e rastrear a movimentação de dados da origem ao consumo. Usando as APIs compatíveis com OpenLineage do Amazon DataZone, os administradores de domínio e os produtores de dados podem capturar e armazenar eventos de linhagem além do que está disponível no Amazon DataZone, incluindo transformações no Amazon S3, Glue e outros serviços da AWS. Além disso, o Amazon DataZone cria versões da linhagem com cada evento, permitindo que os usuários visualizem a linhagem a qualquer momento ou comparem as transformações no histórico de um ativo ou trabalho. Essa linhagem histórica fornece um melhor entendimento de como os dados evoluíram, essencial para solucionar problemas, auditar e validar a integridade dos ativos de dados. Para obter mais informações, consulte . Linhagem de dados no Amazon DataZone.
O Amazon DataZone lança esquemas de serviços da AWS personalizados
Lançamento em 17/06/2024
Com esquemas de serviços da AWS personalizados, se você tiver recursos da AWS existentes, incluindo perfis do IAM, data lakes, data meshes, buckets do Amazon S3 e clusters do Amazon Redshift, agora você pode especificar permissões para esses recursos existentes usando seu próprio perfil do IAM personalizado, para que seus usuários do Amazon DataZone possam aproveitar a publicação e a assinatura para compartilhar e governar esses recursos. Com esquemas de serviços da AWS personalizados, os administradores do Amazon DataZone podem configurar ambientes de serviço da AWS usando seus próprios perfis personalizados. Eles podem configurar links de ações para esses ambientes de serviço da AWS e, assim, fornecer acesso federado a qualquer um de seus recursos da AWS existentes. Eles também podem configurar destinos de assinatura e fontes de dados nesses ambientes de serviço da AWS personalizados. Os administradores podem configurar ambientes de serviço da AWS em sua própria conta de domínio Amazon DataZone ou em qualquer conta associada a partir da qual queiram publicar, assinar, descobrir ou controlar dados. Para obter mais informações, consulte Esquemas de serviços da AWS personalizados do Amazon DataZone .
Aprimoramentos no fluxo de criação da fonte de dados
Lançamento em 10/06/2024
O Amazon DataZone adicionou aprimoramentos ao fluxo de criação da fonte de dados para simplificar o gerenciamento de acesso para produtores de dados. Com essas atualizações, quando um produtor de dados cria uma fonte de dados para publicar seus ativos do AWS Glue e do Amazon Redshift, o Amazon DataZone concede permissões somente de leitura aos membros do projeto. Ao criar uma fonte de dados do AWS Glue, o Amazon DataZone concede automaticamente permissões “somente para leitura” ao perfil do IAM do ambiente usado para criar a fonte de dados, permitindo acesso a todas as tabelas nos bancos de dados do AWS Glue associados. Da mesma forma, para fontes de dados do Amazon Redshift, o Amazon DataZone concede acesso “somente para leitura” a todas as tabelas nos esquemas do Amazon Redshift usados na fonte de dados. Para obter mais informações, consulte Criar e executar uma fonte de dados do Amazon DataZone para o AWS Glue Data Catalog e Criar e executar uma fonte de dados do Amazon DataZone para o Amazon Redshift.
O Amazon DataZone lança a integração com o Amazon SageMaker
Lançamento em 06/05/2024
O Amazon DataZone lança a integração com o Amazon SageMaker
O Amazon DataZone lança a integração com o modo de acesso híbrido do AWS Lake Formation
Lançamento em 03/04/2024
O Amazon DataZone introduziu uma integração com o modo de acesso híbrido do AWS Lake Formation. Essa integração permite que você publique e compartilhe facilmente suas tabelas do AWS Glue por meio do Amazon DataZone, sem a necessidade de registrá-las primeiro no AWS Lake Formation. Para começar, os administradores habilitam a configuração de registro da localização dos dados sob o esquema DefaultDataLake no console do Amazon DataZone. Então, quando um consumidor de dados se inscreve em uma tabela do AWS Glue gerenciada por meio de permissões do IAM, o Amazon DataZone primeiro registra as localizações dessa tabela no Amazon S3 no modo híbrido e, em seguida, concede acesso ao consumidor de dados gerenciando as permissões na tabela por meio do AWS Lake Formation. Isso garante que as permissões do IAM na tabela continuem existindo com as permissões recém-concedidas do AWS Lake Formation, sem interromper os fluxos de trabalho existentes. Para obter mais informações, consulte a Integração do Amazon DataZone com o modo híbrido do AWS Lake Formation .
O Amazon DataZone lança a integração com o AWS Glue Data Quality
Lançamento em 03/04/2024
O Amazon DataZone lança a integração com o AWS Glue Data Quality e oferece APIs para integrar métricas de qualidade de dados de soluções de qualidade de dados de terceiros. A nova integração permite que você publique automaticamente as pontuações de qualidade do AWS Glue Data no catálogo de dados comerciais do Amazon DataZone. As APIs do Amazon DataZone podem ser usadas para ingerir métricas de qualidade de fontes de terceiros. Depois de publicados, os consumidores de dados podem pesquisar facilmente ativos de dados, visualizar métricas granulares de qualidade e identificar falhas em verificações e regras, fortalecendo as decisões de negócios. Para obter mais informações, consulte a Qualidade de dados no Amazon DataZone.
Lançamento de disponibilidade geral das recomendações de IA para descrições no Amazon DataZone
Lançamento em 27/03/2024
O Amazon DataZone anunciou o lançamento de disponibilidade geral do novo recurso baseado em IA generativa para melhorar a descoberta, a compreensão e o uso de dados, aprimorando o catálogo de dados corporativos. Com um único clique, os produtores de dados podem gerar descrições e contexto abrangentes de dados comerciais, destacar colunas impactantes e incluir recomendações sobre casos de uso analíticos. O lançamento inclui suporte para APIs que os produtores de dados podem usar para gerar descrições de ativos de forma programática. Para obter mais informações, consulte Usando machine learning e IA generativa no Amazon DataZone.
O Amazon DataZone lança aprimoramentos na integração com o Amazon Redshift
Lançamento em 21/03/2024
O Amazon DataZone introduziu vários aprimoramentos em sua integração com o Amazon Redshift, simplificando o processo de publicação e assinatura de tabelas e visualizações do Amazon Redshift. Essas atualizações simplificam a experiência tanto para produtores quanto para consumidores de dados, permitindo que eles criem rapidamente ambientes de data warehouse usando credenciais pré-configuradas e parâmetros de conexão fornecidos pelos administradores do Amazon DataZone. Além disso, essas melhorias proporcionam maior controle aos administradores sobre quem pode usar os recursos em suas contas da AWS e nos clusters do Amazon Redshift e com qual finalidade.
-
Configuração do esquema: depois de habilitar o esquema
DefaultDataWarehouseBlueprint, é possível controlar quais projetos podem usar o esquemaDefaultDataWarehouseBlueprintem sua conta para criar perfis de ambiente atribuindo projetos de gerenciamento ao esquema ativado. Você também pode criar conjuntos de parâmetros com base noDefaultDataWarehouseBlueprintfornecendo parâmetros como cluster, banco de dados e um segredo da AWS. Você também pode criar segredos da AWS a partir do console do Amazon DataZone. -
Perfil de ambiente: ao criar um perfil de ambiente, você pode optar por fornecer seus próprios parâmetros do Amazon Redshift ou usar um dos conjuntos de parâmetros da configuração do esquema. Se você optar por usar o conjunto de parâmetros criado na configuração do esquema, o segredo da AWS exigirá apenas uma tag
AmazonDataZoneDomain(a tagAmazonDataZoneProjectsó será necessária se você optar por fornecer seus próprios conjuntos de parâmetros no perfil do ambiente). No perfil do ambiente, você pode especificar uma lista de projetos autorizados. Somente projetos autorizados podem usar esse perfil de ambiente para criar ambientes do data warehouse. Você também pode especificar quais dados os projetos autorizados podem publicar. Atualmente, você pode escolher uma das seguintes opções: 1) Publicar de qualquer esquema, 2) Publicar a partir do esquema de ambiente padrão, 3) Não permitir a publicação. -
Ambiente: agora, os produtores ou consumidores de dados podem selecionar um perfil de ambiente para criar ambientes, sem a necessidade de fornecer os próprios parâmetros do Amazon Redshift, incluindo segredo da AWS, cluster, grupo de trabalho e banco de dados. Esses parâmetros são transferidos para o ambiente usando o perfil do ambiente. Além da criação do ambiente, o Amazon DataZone agora também cria um esquema padrão para o ambiente. Os membros do projeto têm acesso de leitura e gravação a esse esquema e podem publicar facilmente as tabelas criadas nesse esquema no catálogo executando a fonte de dados padrão criada como parte da criação do ambiente. Os parâmetros do Amazon Redshift usados para criar o ambiente também podem ser usados para criar novas fontes de dados (em vez de o produtor de dados fornecer seus próprios parâmetros na criação da fonte de dados).
Suporte do AWS Cloud Formation para Amazon DataZone
Lançamento em 18/01/2024
Os usuários do Amazon DataZone agora podem aproveitar o AWS CloudFormation para modelar e gerenciar com eficiência um conjunto de recursos do Amazon DataZone. Essa abordagem facilita o provisionamento consistente de recursos, além de permitir o gerenciamento do ciclo de vida por meio de práticas de infraestrutura como código. Com modelos personalizados, você pode definir com precisão os recursos necessários e suas interdependências. Para obter mais informações, consulte a Referência de tipo de recurso do Amazon DataZone.
Adicione entidades principais do IAM diretamente como membros dos projetos Amazon DataZone
Lançamento em 05/01/2024
Agora você pode adicionar entidades principais do IAM como membros do projeto, mesmo que essas entidades principais do IAM ainda não tenham feito login no Amazon DataZone (requisito anterior). Depois que um administrador de domínio ou administrador de TI adiciona iam:GetUser e iam:GetRole ao perfil de execução do domínio, os proprietários do projeto podem adicionar entidades principais do IAM como membros, simplesmente fornecendo o nome do recurso da Amazon (ARN) do perfil do IAM ou do usuário do IAM. A entidade principal do IAM ainda precisa ter as permissões do IAM necessárias para acessar o Amazon DataZone e elas podem ser configuradas no console do IAM. Para obter mais informações, consulte Adicionar membros a um projeto.
Suporte para tipos de ativos personalizados do Portal de Dados
Lançamento em 05/01/2024
O suporte para ativos personalizados permite que o Amazon DataZone catalogue ativos por meio do Portal de dados para dados não estruturados, incluindo painéis, consultas e modelos, facilitando a adição de ativos personalizados diretamente no portal de dados junto com o suporte de API disponível anteriormente. A capacidade de criar, atualizar e publicar ativos personalizados no Amazon DataZone permite que você compartilhe, encontre e assine qualquer tipo de ativo e crie um fluxo de trabalho comercial que forneça a governança desses ativos. Para obter mais informações, consulte Criar tipos de ativos personalizados no Amazon DataZone.
2023
Excluir domínio
Lançamento em 27/12/2023
Esse é um recurso que permite que você exclua seus domínios com mais facilidade. Agora, você pode continuar com a exclusão do domínio mesmo que ele não esteja vazio (ou seja, contenha projetos, ambientes, ativos, fontes de dados etc.). Para obter mais informações, consulte Excluir domínios do Amazon DataZone.
Modelo híbrido
Lançamento em 22/12/2023
O Amazon DataZone adicionou suporte ao modo híbrido do AWS Lake Formation. Com esse suporte, se você publicar uma tabela do AWS Glue no Amazon DataZone com sua localização do AWS S3 registrada no Lake Formation no modo híbrido, o Amazon DataZone tratará essa tabela como um ativo gerenciado e poderá gerenciar as concessões de assinatura dessa tabela. Antes do lançamento desse recurso, o Amazon DataZone trataria essa tabela como um ativo não gerenciado, ou seja, o Amazon DataZone não seria capaz de conceder assinaturas para essa tabela. Para obter mais informações, consulte Configurar as permissões do Lake Formation para o Amazon DataZone.
Elegibilidade para HIPAA
Lançamento em 14/12/2023
O Amazon DataZone está em conformidade com a Health Insurance Portability and Accountability Act (HIPAA) de 1996 dos EUA. Para ver a lista de serviços da AWS em conformidade com a HIPAA, consulte https://aws.amazon.com/compliance/hipaa-eligible-services-reference/
Recomendações de IA para descrições no Amazon DataZone (Pré-visualização)
Lançamento em 28/11/2023
A AWS anuncia a pré-visualização de um novo recurso baseado em IA generativa no Amazon DataZone para melhorar a descoberta de dados, a compreensão e o uso de dados, enriquecendo o catálogo de dados corporativos. Com um único clique, os produtores de dados podem gerar descrições e contexto abrangentes de dados comerciais, destacar colunas impactantes e incluir recomendações sobre casos de uso analíticos. Com as recomendações de IA para descrições no Amazon DataZone, os consumidores de dados podem identificar tabelas e colunas de dados necessárias para análise, o que aumenta a capacidade de descoberta dos dados e reduz as comunicações repetitivas com os produtores de dados. A pré-visualização está disponível nos domínios do Amazon DataZone provisionados nas seguintes regiões da AWS: Leste dos EUA (N. da Virgínia), Oeste dos EUA (Oregon). Para obter mais informações, consulte Usando machine learning e IA generativa no Amazon DataZone.
Aprimoramento do esquema do DefaultDataLake
Lançamento em 20/11/2023
O Amazon DataZone adicionou um aprimoramento ao esquema do DefaultDataLake que fornece a você um melhor controle sobre quem pode publicar quais dados da sua conta da AWS. Há duas mudanças principais que foram introduzidas com o lançamento desse recurso.
-
No console, depois de habilitar o esquema DefaultDataLake, você pode controlar quais projetos podem usar o esquema DefaultDataLake em sua conta para criar perfis de ambiente atribuindo projetos de gerenciamento ao esquema ativado.
-
A segunda mudança está no portal. Se você criar um perfil de ambiente usando o esquema DefaultDataLake, também poderá selecionar os projetos autorizados que têm permissão para usar o perfil de ambiente para criar ambientes. Por padrão, todos os projetos podem usar o perfil de ambiente do data lake, mas você pode restringir o perfil do ambiente a projetos específicos e também controlar quais dados podem ser publicados usando os ambientes criados com o perfil.
Para obter mais informações, consulte Criar um perfil de ambiente.
