Amazon DataZone 的新增功能
此部分按发布日期描述了 Amazon DataZone 中的新功能和改进。
2024 年
Amazon DataZone 推出针对订阅请求的元数据强制规则
发布日期:2024 年 11 月 20 日
针对 Amazon DataZone 中的订阅请求功能的全新元数据强制规则使域单元所有者能够为数据使用者制定明确的元数据要求、简化访问请求和增强数据治理,从而完善数据治理。此功能使组织能够遵守其元数据标准、实施自定义工作流和提供一致、受管控的数据访问体验。有关更多信息,请参阅 针对订阅请求的元数据强制规则。
Amazon DataZone 自定义 AWS 服务蓝图现在为 Amazon SageMaker 提供了针对 Amazon DataZone 项目的全新设置体验
发布日期:2024 年 11 月 15 日
利用 Amazon DataZone 自定义 AWS 服务蓝图,您可以将现有的 Amazon SageMaker 域迁移到 Amazon DataZone。借助此功能,管理员现在可以从 Amazon SageMaker 域导入其现有授权用户、安全配置和策略,由此设置 Amazon DataZone 项目。有关更多信息,请参阅设置 SageMaker Assets(管理员指南)。
Amazon DataZone 推出了针对自定义 AWS 服务蓝图的 AWS CloudFormation 支持
发布日期:2024 年 9 月 12 日
Amazon DataZone 添加了针对自定义 AWS 服务蓝图的 AWS CloudFormation 支持。利用此新功能,您可以使用 AWS CloudFormation 在 Amazon DataZone 中自动创建环境。借助自定义蓝图,管理员现在可以使用现有 IAM 角色将 Amazon DataZone 无缝集成到现有数据管道中,以便将数据资产发布到 Amazon DataZone 目录,从而促进这些资产的受控共享,并增强整个基础设施的治理。有关更多信息,请参阅 Amazon DataZone 资源类型参考。
Amazon DataZone 推出域单元和授权策略
发布日期:2024 年 8 月 12 日
Amazon DataZone 引入了一组称为域单元和授权策略的新数据治理功能,可让客户根据业务需求创建业务部门/团队级别的组织并管理策略。通过添加域单元,用户可以组织、创建、搜索和查找与业务部门或团队关联的数据资产和项目。利用授权策略,这些域单元用户可以设置访问策略,以便在 Amazon DataZone 中创建项目和术语表以及使用计算资源。有关更多信息,请参阅 Amazon DataZone 中的域单元和授权策略。
Amazon DataZone 推出数据产品
发布日期:2024 年 8 月 5 日
Amazon DataZone 引入了多种数据产品,可将数据资产分组为针对特定业务应用场景定制的明确定义的独立包。例如,营销分析数据产品可以捆绑营销活动数据、管道数据和客户数据等各种数据资产。借助数据产品,客户可以简化发现和订阅流程,使它们与业务目标保持一致,并减少处理单个资产时的冗余。有关更多信息,请参阅 Amazon DataZone 数据产品 。
Amazon DataZone 推出精细访问控制功能
发布日期:2024 年 7 月 2 日
Amazon DataZone 引入了精细的访问控制,使您能够跨数据湖和数据仓库精细控制您在 Amazon DataZone 业务数据目录中的数据资产。利用此新功能,数据所有者现在可以仅允许访问行级和列级的特定数据记录,而不是授予对整个数据资产的访问权限。例如,如果您的数据列包含个人身份信息(PII)等敏感信息,则可以仅允许访问必要的列,从而在确保敏感信息受到保护的同时仍允许访问非敏感数据。同样,您可以控制行级访问权限,只允许用户查看与其角色或任务相关的记录。有关更多信息,请参阅 Amazon DataZone 中对数据的精细访问控制。
Amazon DataZone 推出数据世系功能
发布日期:2024 年 6 月 27 日
Amazon DataZone 在预览版中推出了数据世系功能,帮助客户从支持 OpenLineage 的系统或通过 API 可视化世系事件,并跟踪从来源到使用的数据移动。利用 Amazon DataZone 的与 OpenLineage 兼容的 API,域管理员和数据创建者可以捕获和存储 Amazon DataZone 允许范围之外的世系事件,包括 Amazon S3、AWS Glue 和其他服务中的转换。此外,Amazon DataZone 会对每个事件的世系进行版本控制,使用户能够在任何时间点可视化世系,或跨资产或作业的历史记录比较转换。此历史世系可让用户更深入地了解数据的演变过程,这对于故障排除、审计和验证数据资产的完整性至关重要。有关更多信息,请参阅 Amazon DataZone 中的数据血统支持。
Amazon DataZone 推出了自定义 AWS 服务蓝图
发布日期:2024 年 6 月 17 日
利用自定义 AWS 服务蓝图,如果您拥有现有 AWS 资源(包括 IAM 角色、数据湖、数据网格、Amazon S3 存储桶和 Amazon Redshift 集群),则您现在可以使用自己的自定义 IAM 角色指定对这些现有资源的权限,以便您的 Amazon DataZone 用户能够利用发布和订阅来共享和管理这些资源。借助自定义 AWS 服务蓝图,Amazon DataZone 管理员可以使用自己的自定义角色配置 AWS 服务环境。他们可以为这些 AWS 服务环境配置操作链接,从而提供对任何现有 AWS 资源的联合访问权限。他们还可以在这些自定义 AWS 服务环境中配置订阅目标和数据来源。管理员可以在其 Amazon DataZone 域账户或要从中发布、订阅、发现或管理数据的任何关联账户中设置 AWS 服务环境。有关更多信息,请参阅 Amazon DataZone 自定义 AWS 服务蓝图 。
数据来源创建流程的增强功能
发布日期:2024 年 6 月 10 日
Amazon DataZone 为数据来源创建流程增加了多项增强功能,以简化数据创建者的访问管理。借助这些更新,当数据创建者创建用于发布其 AWS Glue 和 Amazon Redshift 资产的数据来源时,Amazon DataZone 会向项目成员授予只读权限。在创建 AWS Glue 数据来源时,Amazon DataZone 会自动向用于创建数据来源的环境的 IAM 角色授予“只读”权限,并允许访问关联的 AWS Glue 数据库中的所有表。同样,对于 Amazon Redshift 数据来源,Amazon DataZone 授予对数据来源中使用的 Amazon Redshift 架构中所有表的“只读”访问权限。有关更多信息,请参阅为 AWS Glue Data Catalog 创建并运行 Amazon DataZone 数据来源和为 Amazon Redshift 创建并运行 Amazon DataZone 数据来源。
Amazon DataZone 推出与 Amazon SageMaker 的集成
发布日期:2024 年 5 月 6 日
Amazon DataZone 推出与 Amazon SageMaker
Amazon DataZone 推出与 AWS Lake Formation 混合访问模式的集成
发布日期:2024 年 4 月 3 日
Amazon DataZone 引入了与 AWS Lake Formation 混合访问模式的集成。此集成使您能够通过 Amazon DataZone 轻松发布和共享您的 AWS Glue 表,而无需先将它们注册到 AWS Lake Formation。首先,管理员在 Amazon DataZone 控制台中启用 DefaultDataLake 蓝图下的数据位置注册设置。之后,当数据使用者订阅通过 IAM 权限管理的 AWS Glue 表时,Amazon DataZone 首先在混合模式下注册该表的 Amazon S3 位置,然后通过 AWS Lake Formation 管理该表的权限来向数据使用者授予访问权限。这将确保表的 IAM 权限与新授予的 AWS Lake Formation 权限继续存在,而不会中断任何现有工作流。有关更多信息,请参阅Amazon DataZone 与 AWS Lake Formation 混合模式的集成 。
Amazon DataZone 推出与 AWS Glue 数据质量自动监测功能的集成
发布日期:2024 年 4 月 3 日
Amazon DataZone 推出与 AWS Glue 数据质量自动监测功能的集成,并提供 API 以集成来自第三方数据质量解决方案的数据质量指标。这项新集成可让您自动将 AWS Glue 数据质量自动监测功能分数发布到 Amazon DataZone 业务数据目录中。Amazon DataZone API 可用于从第三方源摄取质量指标。发布后,数据使用者可以轻松搜索数据资产,查看精细的质量指标并识别失败的检查和规则,从而加快制定业务决策。有关更多信息,请参阅Amazon DataZone 中的数据质量。
Amazon DataZone 中的人工智能描述建议的公开发行版本
发布日期:2024 年 3 月 27 日
Amazon DataZone 宣布推出新的基于生成式人工智能的功能的公开发行版,通过丰富业务数据目录来改善数据发现、数据理解和数据使用。只需单击一下,数据创建者即可生成全面的业务数据描述和上下文,突出显示有影响力的列,并包含有关分析应用场景的建议。此次发布增加了对 API 的支持,数据创建者可以使用这些 API 以编程方式生成资产描述。有关更多信息,请参阅 在 Amazon DataZone 中使用机器学习和生成式人工智能。
Amazon DataZone 推出 Amazon Redshift 集成的增强功能
发布日期:2024 年 3 月 21 日
Amazon DataZone 引入了针对其 Amazon Redshift 集成的多项增强功能,简化了发布和订阅 Amazon Redshift 表和视图的过程。这些更新简化了数据创建者和使用者的体验,使他们能够使用 Amazon DataZone 管理员提供的预配置凭证和连接参数来快速创建数据仓库环境。此外,这些增强功能可让管理员更好地控制哪些人员可以使用其 AWS 账户和 Amazon Redshift 集群中的资源以及将这些资源用于哪些目的。
-
蓝图配置:启用
DefaultDataWarehouseBlueprint蓝图后,可以将管理项目分配给已启用的蓝图,从而控制哪些项目可以使用您账户中的DefaultDataWarehouseBlueprint蓝图来创建环境配置文件。还可以通过提供集群、数据库和 AWS 密钥等参数来基于DefaultDataWarehouseBlueprint创建参数集。您也可以从 Amazon DataZone 控制台中创建 AWS 密钥。 -
环境配置文件:创建环境配置文件时,您可以选择提供自己的 Amazon Redshift 参数,也可以使用蓝图配置中的某个参数集。如果您选择使用在蓝图配置中创建的参数集,则 AWS 密钥只需要
AmazonDataZoneDomain标签(只有当您选择在环境配置文件中提供自己的参数集时,才需要AmazonDataZoneProject标签)。在环境配置文件中,您可以指定已授权项目的列表。仅已授权项目能够使用此环境配置文件来创建数据仓库环境。还可以指定允许发布哪些已获数据授权的项目。目前,您可以选择下列选项之一:1) 从任何架构发布,2) 从默认环境架构发布,3) 不允许发布。 -
环境:数据创建者或使用者现在可以选择环境配置文件来创建环境,而无需提供自己的 Amazon Redshift 参数,包括 AWS 密钥、集群、工作组和数据库。这些参数将从环境配置文件移植到环境中。除了创建环境外,Amazon DataZone 现在还将为环境创建默认架构。项目成员对此架构具有读写访问权限,并且可以通过运行在创建环境期间创建的默认数据来源,轻松地将在此架构中创建的任何表发布到目录。用于创建环境的 Amazon Redshift 参数也可用于创建新的数据来源(而不是让数据创建者在创建数据来源期间提供自己的参数)。
AWS Cloud Formation 对 Amazon DataZone 的支持
发布日期:2024 年 1 月 18 日
Amazon DataZone 的用户现在可以利用 AWS CloudFormation 来有效地建模和管理一套 Amazon DataZone 资源。此方法有助于一致地预置资源,并支持通过基础设施即代码来进行生命周期管理。利用自定义模板,您可以精确地定义所需的资源及其相互依赖项。有关更多信息,请参阅 Amazon DataZone 资源类型参考。
直接将 IAM 主体添加为 Amazon DataZone 项目的成员
发布日期:2024 年 1 月 5 日
现在,您可以将 IAM 主体添加为项目成员,即使这些 IAM 主体尚未登录 Amazon DataZone(之前的要求)。在域管理员或 IT 管理员将 iam:GetUser 和 iam:GetRole 添加到域的域执行角色后,项目所有者只需提供 IAM 角色或 IAM 用户的 Amazon 资源名称(ARN)即可将 IAM 主体添加为成员。IAM 主体仍必须拥有访问 Amazon DataZone 所需的 IAM 权限,可以在 IAM 控制台中配置这些权限。有关更多信息,请参阅 向项目添加成员。
对来自数据门户的自定义资产类型的支持
发布日期:2024 年 1 月 5 日
利用对自定义资产的支持,Amazon DataZone 能够通过数据门户对非结构化数据(包括控制面板、查询和模型)的资产进行分类,从而使您能够更轻松地直接在数据门户中添加自定义资产以及之前提供的 API 支持。借助用于在 Amazon DataZone 中创建、更新和发布自定义资产的功能,您能够共享、查找、订阅任何类型的资产,并构建可管理这些资产的业务工作流。有关更多信息,请参阅 在 Amazon DataZone 中创建自定义资产类型。
2023 年
删除域
发布日期:2023 年 12 月 27 日
这是一项功能,可让您更轻松地删除域。现在,即使域不为空(如包含项目、环境、资产、数据来源等),也可以继续删除域。有关更多信息,请参阅 删除 Amazon DataZone 域。
混合模式
发布日期:2023 年 12 月 22 日
Amazon DataZone 增加了对 AWS Lake Formation 混合模式的支持。借助此支持,如果您将 AWS Glue 表发布到 Amazon DataZone,并且其 AWS S3 位置已在混合模式下注册到 Lake Formation,则 Amazon DataZone 会将该表视为托管资产,并且可以管理该表的订阅授权。在此功能发布之前,Amazon DataZone 会将该表视为非托管资产,也就是说,Amazon DataZone 将无法授权对该表的订阅。有关更多信息,请参阅 为 Amazon DataZone 配置 Lake Formation 权限。
HIPAA 资格
发布日期:2023 年 12 月 14 日
Amazon DataZone 现在符合《1996 年版美国健康保险流通与责任法案》(HIPAA)。要查看符合 HIPAA 的 AWS 服务的列表,请参阅 https://aws.amazon.com/compliance/hipaa-eligible-services-reference/
Amazon DataZone 中的人工智能描述建议(预览版)
发布日期:2023 年 11 月 28 日
AWS 宣布在 Amazon DataZone 中推出新的基于生成式人工智能的功能的预览版,通过丰富业务数据目录来改善数据发现、数据理解和数据使用。只需单击一下,数据创建者即可生成全面的业务数据描述和上下文,突出显示有影响力的列,并包含有关分析应用场景的建议。借助 Amazon DataZone 中针对描述的人工智能建议,数据使用者可以标识进行分析所需的数据表和列,从而提高数据可发现性并减少与数据创建者的往来通信。此预览版已在以下 AWS 区域中预调配的 Amazon DataZone 域中提供:美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)。有关更多信息,请参阅 在 Amazon DataZone 中使用机器学习和生成式人工智能。
DefaultDataLake 蓝图增强功能
发布日期:2023 年 11 月 20 日
Amazon DataZone 为 DefaultDataLake 蓝图添加了一项增强功能,可让您更好地控制哪些人员可以从您的 AWS 账户发布哪些数据。推出此功能时引入了两项关键更改。
-
在控制台中,启用 DefaultDataLake 蓝图后,可以将管理项目分配给已启用的蓝图,从而控制哪些项目可以使用您账户中的 DefaultDataLake 蓝图来创建环境配置文件。
-
第二项更改是门户内的更改。如果使用 DefaultDataLake 蓝图创建环境配置文件,则还可以选择能够使用该环境配置文件来创建环境的授权项目。默认情况下,允许所有项目使用数据湖环境配置文件,但您可以将环境配置文件限制为特定项目,还可以控制可使用通过配置文件创建的环境发布哪些数据。
有关更多信息,请参阅 创建环境配置文件。