Amazon EMR Studio - Amazon EMR
主要特征亚马逊 SageMaker 统一工作室 IDE功能历史记录

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR Studio

Amazon EMR Studio 是一个基于 Web 的集成式开发环境（IDE），适用于依托 Amazon EMR 集群运行的完全托管式 Jupyter Notebooks。您可以设置 EMR Studio 让您的团队开发、可视化和调试用 R、Python、Scala 和编写的应用程序。 PySparkEMR Studio 与 AWS Identity and Access Management (IAM) 和 IAM 身份中心集成，因此用户可以使用其公司证书登录。

您可以免费创建 EMR Studio。当您使用 EMR Studio 时，需为 Amazon S3 存储和 Amazon EMR 集群支付相应的费用。有关产品详细信息和亮点，请参阅 Amazon EMR Studio 服务页面。

EMR Studio 主要功能

Amazon EMR Studio 提供以下功能：

  • 使用 AWS Identity and Access Management (IAM)、使用或不 AWS IAM Identity Center 使用可信身份传播以及您的企业身份提供商对用户进行身份验证。

  • 按需访问并启动 Amazon EMR 集群以运行 Jupyter Notebook 任务。

  • 连接到 Amazon EMR on EKS 集群以在任务运行时提交工作。

  • 浏览并保存示例 Notebooks。有关示例笔记本的更多信息，请参阅 EMR Studio 笔记本示例 GitHub 存储库。

  • 使用 Python、 PySpark、Spark Scala、Spark R 或 SparkSQL 分析数据，然后安装自定义内核和库。

  • 与同一 Workspace 中的其他用户实时协作。有关更多信息，请参阅 在 EMR Studio 中配置 Workspace 协作。

  • 在处理 Notebook 中的数据之前，使用 EMR Studio SQL Explorer 浏览数据目录、运行 SQL 查询和下载结果。

  • 使用编排工具（例如 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow）将参数化 Notebooks 作为计划工作流的一部分运行。有关更多信息，请参阅大数据博客中的使用 MWAA 在 EMR Notebook 上编排分析作业。 AWS

  • 链接代码存储库，例如 GitHub 和 BitBucket。

  • 使用 Spark 历史记录服务器、Tez UI 或 YARN 时间线服务器跟踪和调试任务。

EMR Studio 符合 HIPAA 标准，并通过了 HITRUST CSF 和 SOC 2 认证。有关 AWS 服务的 HIPAA 合规性的更多信息，请参阅。https://aws.amazon.com/compliance/hipaa-compliance/要了解有关 AWS 服务的 HITRUST CSF 合规性的更多信息，请参阅。https://aws.amazon.com/compliance/hitrust/

EMR Studio 也 FedRamp 符合标准。有关 Amazon EMR 遵守的合规性计划的更多信息，请参阅 Amazon EMR 的合规性验证。有关其他 AWS 服务合规计划的更多信息，请参阅按合规计划划分的范围内的AWS 服务。

亚马逊 SageMaker 统一工作室集成开发环境

Amazon SageMaker Unified Studio 为您的 Jupyter 笔记本电脑提供了一个集成开发环境 (IDE)，该环境可在集群上的 Amazon EMR 上运行 EC2 或使用 EMR 无服务器计算连接运行。通过将 Amazon EMR 的强大功能与 Amazon SageMaker Unified Studio end-to-end 的工作流程功能相结合，团队可以在单一环境中简化数据准备、管道开发和机器学习实验。亚马逊 EMR 通过支持 Apache Spark、Trino 和 Apache Flink 等开源框架， SageMaker 彻底改变了大数据处理。消除基础架构管理的复杂性，同时轻松扩展分析工作负载。要了解更多信息，请参阅 Amazon EMR。

Amazon EMR Studio 功能历史记录

此表列出了对 Amazon EMR 托管扩展功能的更新。

发行日期 能力
2024 年 1 月 5 日

在 AWS GovCloud （美国东部）和 AWS GovCloud （美国西部）增加了对 EMR Studio 的支持。
2023 年 11 月 26 日

增加了对使用 IAM Identity Center 身份验证的 EMR Studio 的可信身份验证的支持。
2023 年 10 月 26 日

增加了创建具有交互功能的 EMR Serverless 应用程序的功能。
2023 年 2 月 28 日

为 EMR Serverless 应用程序添加了对应用程序日志存储的 AWS KMS 客户管理密钥支持。
2023 年 2 月 23 日

为 EMR 无服务器任务提交添加了一键创建 IAM 角色功能。为 EMR Serverless 应用程序选择自定义映像添加了 ECR 查询功能。
2023 年 1 月 27 日

无头执行 Notebooks 可以用 %execute_notebook magic 跟踪每个单元格的执行进度。
2023 年 1 月 23 日

持久性应用程序已经过优化，可以缩短启动时间。