选择 AWS 存储服务 - 选择 AWS 存储服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

选择 AWS 存储服务

迈出第一步

目的

帮助确定哪种 AWS 存储服务最适合您的组织。

上次更新

2024 年 6 月 26 日

承保服务

简介

AWS 提供一系列可靠、可扩展和安全的存储服务,用于存储、访问、保护和分析您的数据。这样可以更轻松地将存储方法与需求相匹配,并提供本地基础架构不容易实现的存储选项。选择存储服务时,确保其与您的访问模式保持一致对于实现所需的性能至关重要。

您可以针对您的工作负载从块、文件和对象存储服务以及云数据迁移选项中进行选择。为您的工作负载选择合适的存储服务需要您根据业务需求做出一系列决策。

本决策指南将帮助您提出正确的问题,提供明确的实施路径,并帮助您从现有的本地存储迁移。

这段六分钟的片段来自 AWS 高级存储解决方案架构师 Kevin McDonald 和 Victor Munoz 在 2022 年 AWS 峰会上发表的演讲的 55 分钟录音。它概述了可用的 AWS 存储服务。

明白

数据是成功部署应用程序、分析工作流程和机器学习创新的基石。架构良好的系统使用多种存储服务,并启用不同的功能来提高性能。

但是,在许多情况下,要选择正确的存储服务,首先要考虑它与您已在使用(或熟悉)的内容的匹配程度。使用您熟悉的存储服务将使您更容易入门,并且可以更轻松地迁移数据,甚至可能更快。

该图显示了 Amazon 数据存储系列的数据保护、工作中的 FSx 数据和动态数据。

例如,Amazon FSx 数据存储系列中的服务有四个与常用文件系统对应的选项:

  • 亚马逊 FSx 版 Windows 文件服务器提供完全托管的微软 Windows 文件服务器,由完全原生 Windows 文件系统提供支持。

  • Amazon FSx for Lustre 允许您启动和运行高性能 Lustre 文件系统。

  • Amazon FSx for OpenZFS 是一项完全托管的文件存储服务,允许您将数据 AWS 从本地 ZFS 或其他基于 Linux 的文件服务器移动到本地。

  • Amazon FSx f NetApp or ONTAP 是一项完全托管的服务,它基于广受欢迎的 ONTAP 文件系统提供高度可靠、可扩展、高性能和功能丰富的文件存储。 NetApp

定义

以下存储类型有 AWS 服务选项:

  • — 块存储是一种控制数据存储和存储设备的技术。它接受任何数据,例如文件或数据库条目,然后将其分成大小相等的块。然后,块存储系统以针对快速访问和检索而优化的方式将数据块存储在底层物理存储器上。

  • 文件系统-文件系统以文件和文件夹的分层结构存储数据。在网络环境中,基于文件的存储通常使用网络连接存储 (NAS) 技术。NAS 允许用户以与本地硬盘驱动器类似的方式访问网络存储数据。文件存储易于使用,允许用户管理文件共享控制。

  • 对象-对象存储是一种以称为对象的非结构化格式存储和管理数据的技术。每个对象都使用唯一标识符进行标记,并包含描述基础内容的元数据。

  • 缓存 — 缓存是一种高速数据存储层,用于在更靠近访问点的地方临时存储经常访问或最近使用的数据,目的是提高系统性能和减少延迟。它充当速度较慢和较大的主存储(例如磁盘或远程存储)与访问数据所需的计算资源之间的缓冲区。

  • Hybrid/Edge — Hybrid/Edge 存储将本地存储基础设施与云存储服务相结合,允许根据性能、成本和合规性等要求在两个环境之间移动数据。它提供了诸如低延迟访问、成本优化、数据主权、云可扩展性和业务连续性等优势。

迁移选项  

除了选择存储服务外,您还需要选择如何将数据迁移到所选服务中。 AWS 根据需要在线还是离线存储,提供了多种迁移数据的选择。

  • 在线迁移涉及通过互联网传输数据和应用程序,而这些数据和应用程序仍在本地数据中心运行。这种方法可能比离线迁移更高效,因为它可以最大限度地减少停机时间,使组织能够更快地开始使用云资源。但是,它需要可靠的互联网连接,可能不适用于大量数据或任务关键型应用程序。

  • 离线迁移涉及在没有任何互联网连接的情况下移动数据和应用程序。这种方法需要将外部硬盘驱动器或其他存储介质上的数据物理传输到云提供商的数据中心。这种方法通常用于需要传输大量数据、带宽或连接有限或担心安全和隐私的情况。

有两个关键的考虑因素:

  • 速度- 当速度很重要时,选择在线迁移。在线以分钟或小时为单位,离线可以用天来衡量。如果数据更新频繁且时间紧迫,请选择在线。如果是一次性移动,请选择离线,而不是时间紧迫。

  • 带宽- 在线移动数据会占用所用的可用带宽 day-to-day。如果存在网络限制,则可以选择离线,数据可以在传输过程中处于离线状态,而不会中断业务。 AWS Snow Family 中的服务为离线迁移提供了一个选项。

考虑一下

您可能正在考虑 AWS 存储服务,因为您要将现有应用程序迁移到云端或在云中构建新应用程序。将数据迁移到云端时,重要的是要了解要将其移动到何处、潜在的用例、要移动的数据类型以及可用的网络资源。

以下是选择 AWS 存储服务时需要考虑的一些标准。

Protocol

AWS 存储服务提供多种协议选项:

  • 块存储提供高性能存储,可直接连接到具有低延迟访问权限的计算实例,因此适用于需要快速一致操作的应用程序。 I/O

  • 基于文件的存储几乎可以从任何使用行业标准协议(如 NFS 和 SMB)的操作系统进行本地安装。它为需要跨多个计算实例访问共享数据的工作负载提供了简单的存储。

  • 对象存储可通过互联网上的应用程序编程接口 (API) 轻松访问数据,非常适合读取密集型工作负载(例如流式应用程序和服务)。

协议在考虑 AWS 存储服务时起着至关重要的作用,因为它们决定了在存储环境中如何访问、传输和管理数据。

Client type

重要的是要考虑将要访问数据的客户端的操作系统。基于 Windows 的客户可以使用基于文件的存储选项,例如适用于 Windows 文件服务器 FSx 的 Amazon。它通过全面的服务器消息块 (SMB) 支持为您的 Windows 应用程序提供高可用性存储。

Amazon f FSx or Lustre(适用于高性能文件系统)专为与基于 UNIX/Linux 的文件系统配合使用而设计。 FSx for Lustre 针对速度至关重要的工作负载进行了优化,例如机器学习、高性能计算 (HPC)、视频处理和财务建模。

为 AWS 存储服务选择客户机类型对于确保跨工作负载轻松访问和共享数据至关重要。选择与客户机使用的文件系统和协议兼容的服务是避免兼容性问题和确保无缝数据访问和传输的关键。

Performance

在选择 AWS 存储服务时,性能是需要考虑的关键因素。评估存储性能时需要考虑多个因素,包括 IOPS(每秒输入/输出操作数)、访问模式、延迟以及吞吐量或带宽。重要的是要问一些问题,例如:

  • 您的工作负载延迟敏感吗?

  • 其他指标(例如 IOPS 或吞吐量)是否会主导您的应用程序性能概况?

  • 您的工作负载是读取还是写入繁重?

Migration strategy and risks

在决定使用哪些容器服务时,贵组织的技能是一个主要因素。您采取的方法可能需要对站点可靠性工程师 (SRE) 团队进行一些投资。 DevOps 对于大多数现代应用程序开发来说,构建自动化管道来部署应用程序是很常见的。

将本地存储迁移到时需要考虑的一些因素 AWS 是:

  • 数据传输:将数据传输到哪种方法最有效 AWS?

  • 兼容性:例如,如果您已经在使用 NetApp ONTAP 设备,则本地服务( FSx 例如 Amazon for NetApp ONTAP)可以提供无缝迁移路径。

  • 应用程序集成:评估您的应用程序将如何与 AWS 存储服务集成。考虑在应用程序和 AWS 环境之间实现无缝连接和功能所需的任何必要修改或配置。

  • 数据管理和生命周期:规划 AWS 环境中的数据管理任务,例如备份、复制和生命周期管理。考虑可以帮助自动执行这些任务的 AWS 服务和功能,例如版本控制、生命周期策略和跨区域复制。

  • 安全性与合规性:确保您的数据在迁移过程中保持安全。实施适当的安全措施,例如加密和访问控制,以保护传输中的数据和静态数据。

  • 成本优化:分析将存储解决方案迁移到的成本影响 AWS。考虑存储定价、数据传输成本以及优化成本所需的任何相关服务或功能等因素。

通过仔细考虑这些因素,您可以确保成功地从本地存储解决方案迁移到 AWS 存储服务,从而最大限度地减少中断并最大限度地发挥云存储的优势。

Backup and protection requirements

备份和保护要求是选择 AWS 存储服务时要考虑的关键因素,因为它们有助于确保数据的可用性和持久性。

如果没有足够的备份和保护措施,数据可能会由于意外删除、硬件故障或自然灾害而丢失,这可能会给您的业务带来严重后果。

熟悉诸如之类的服务 AWS Backup,这些服务可以按需备份您的数据,也可以作为定时备份计划的一部分自动备份。 AWS Backup 还提供跨区域复制,如果您有业务连续性或合规性要求,需要将备份存储在距离生产数据最小距离的地方,那么这可能特别有价值。

Disaster recovery

选择 AWS 存储服务时,灾难恢复是一个关键的考虑因素,因为它有助于在发生灾难或停机时确保业务连续性。灾难可能由多种因素引起,例如自然灾害、人为错误或网络攻击,并可能导致严重的数据丢失和停机。

选择提供灾难恢复功能(例如跨多个可用区复制)的存储服务可以帮助最大限度地减少灾难对业务的影响。在评估灾难恢复选项和选择满足业务需求的存储服务时,必须考虑恢复时间目标 (RTO) 和恢复点目标 (RPO) 等因素。

Cost

除了基本存储成本外,还有其他影响定价的因素,例如存储容量、数据传输和可用性,这些因素会影响总存储成本。以下内容可以帮助您在使用 AWS 存储服务时降低成本:

  • 使用适合您的工作负载类型的存储服务。

  • 使用AWS Cost Explorer和其他计费工具来监控组织速度。

  • 了解您的数据及其使用方式。

我们还建议您在选择 AWS 存储服务时使用AWS 定价计算器来估算成本。

Security

安全 AWS 是一项共同的责任。 AWS 为客户构建和部署其应用程序提供了安全的基础,但客户有责任实施自己的安全措施来保护其数据、应用程序和基础架构。

在选择 AWS 存储服务时,应考虑安全性的各个方面,例如访问控制、数据加密、合规性要求、监控和日志记录以及事件响应。通过这样做,您可以帮助确保在使用 AWS 服务时您的数据受到保护。

选择

既然您已经知道评估存储选项时应采用的标准,就可以选择适合您的业务需求的 AWS 存储服务了。

下表突出显示了哪些存储选项针对哪些情况进行了优化。使用它来帮助确定最适合您的用例的方案。

存储类型 它针对什么进行了优化? 存储服务或工具
数据块 需要连接到单个 Amazon EC2 实例或容器的低延迟、高性能持久存储的应用程序,例如数据库和通用本地实例存储。

Amazon EBS

亚马逊 EC2 实例存储

文件系统

需要跨多个 Amazon EC2 实例或容器或多个本地服务器共享读写权限的应用程序和工作负载,例如团队文件共享、高可用性企业应用程序、分析工作负载和机器学习培训。

Amazon EFS

Amazon FSx

亚马逊 f FSx or Lustre

FSx 适用于 NetApp ONTAP 的亚马逊

FSx 适用于 OpenZFS 的亚马逊

FSx 适用于 Windows 文件服务器的亚马逊

Amazon S3 文件网关

Amazon FSx 文件网关

对象 读取密集型工作负载,例如内容分发、虚拟主机、大数据分析和机器学习工作流程。非常适合需要通过互联网在全球范围内存储、访问和分发数据的场景。

Amazon S3

缓存

完全托管、可扩展和高速缓存, AWS 用于处理存储在不同位置的文件数据,包括本地 NFS 文件系统、云文件系统(亚马逊适用于 FSx OpenZFS, and/or Amazon for ONTAP NetApp )和 Amazon S FSx 3。

亚马逊文件缓存

混合动力/边缘

向本地应用程序提供低延迟数据,并允许本地应用程序访问云支持的存储。

AWS Storage Gateway 磁带网关

AWS Storage Gateway 卷网关

下表详细介绍了您的在线和离线选项。

迁移选项   当速度是重中之重时 当带宽很重要时 存储服务或工具
在线 Online 已针对数据的频繁更新进行了优化。将其用于时间紧迫或持续的工作负载。 如果带宽充足,可以考虑在下班时间安排传输。

AWS DataSync

AWS Transfer Family

FSx 适用于 NetApp ONTAP 的亚马逊 SnapMirror

AWS Storage Gateway

离线

适用于一次性或定期上传,也适用于传输过程中数据可能处于静态状态的情况。

当你只需要使用最小的可用带宽时,这种选择是有意义的,而且你更喜欢物理移动的可预测性。

AWS Snowball

使用

既然您已经确定了处理数据所需的最佳协议、性能要求以及本指南中讨论的其他标准,那么您还应该了解哪种存储服务最适合您的需求。

为了探索如何使用每种可用 AWS 存储服务并了解有关这些服务的更多信息,我们提供了探索每种服务的工作原理的途径。以下部分提供了指向深入文档、动手教程和资源的链接,以帮助您入门。

Amazon S3
  • 亚马逊 S3 入门

    本指南将通过使用存储桶和对象来帮助您开始使用 Amazon S3。存储桶是对象的容器。对象是一个文件和描述该文件的任何元数据。

    浏览指南

  • 优化 Amazon S3 性能

    在构建从 Amazon S3 上传和检索存储空间的应用程序时,请遵循本白皮书中的 AWS 最佳实践指南以优化性能。

    阅读白皮书

  • 亚马逊 S3 教程

    以下教程介绍了常见 Amazon S3 任务的完整 end-to-end过程。这些教程适用于实验室类型的环境,并提供一般指导。

    开始使用教程

Amazon EBS
  • 亚马逊 EBS 入门

    对于必须可快速访问且需要长期保留的数据,建议使用 Amazon EBS。

    浏览指南

  • 创建 Amazon EBS 卷

    Amazon EBS 卷是一种耐用的数据块级存储设备,您可以将其附加到您的实例。

    开始阅读本教程

  • 直接使用 Amazon EBS APIs 访问亚马逊 EBS 快照的内容

    您可以使用直接 APIs 方式创建 Amazon EBS 快照,在快照上写入和读取数据,并识别差异。

    浏览指南

Amazon EFS
  • 亚马逊 EFS 入门

    了解如何创建 Amazon EFS 文件系统。您将在 VPC 中的 Amazon EC2 实例上安装文件系统,然后测试 end-to-end设置。

    开始阅读本教程

  • 创建网络文件系统

    学习如何存储文件和创建 Amazon EFS 文件系统、在 Amazon 上启动 Linux 虚拟机 EC2、挂载文件系统、创建文件、终止实例以及删除文件系统。

    开始阅读本教程

  • 设置 Apache 网络服务器并提供亚马逊 EFS 文件

    通过创建 Auto Scaling 群组,学习如何在亚马逊 EC2 实例上设置 Apache 网络服务器,并在 EC2 多个亚马逊实例上设置 Apache 网络服务器。

    开始阅读本教程

Amazon FSx
  • 开始使用亚马逊 FSx

    本入门指南将引导您了解开始使用Amazon需要做什么 FSx。

    浏览指南

  • 开始使用 Amazon for Lu FSx stre

    了解如何使用您的 Amazon FSx for Lustre 文件系统通过基于文件的应用程序处理 Amazon S3 存储桶中的数据。

    浏览指南

  • 什么是 Window FSx s 文件服务器版亚马逊?

    本指南介绍了 Amazon f FSx or Windows 文件服务器。

    浏览指南

  • 开始使用适用于 NetApp ONTAP FSx 的 Amazon

    了解如何开始使用 Amazon f NetApp o FSx r ONTAP。

    开始阅读本教程

  • 了解如何开始使用适用于 OpenZFS FSx 的亚马逊

    本指南介绍了 FSx 适用于 OpenZFS 的亚马逊。

    开始阅读本教程

Amazon File Cache
  • 开始使用 Amazon 文件缓存

    了解如何创建 Amazon 文件缓存资源并从您的计算实例访问该资源。

    开始阅读本教程

  • Amazon 文件缓存正在运行

    该视频展示了如何将 Amazon File Cache 用作存储在本地文件系统中的数据的临时高性能存储位置。

    观看视频

AWS Storage Gateway
  • 亚马逊 S3 文件网关用户指南

    介绍 Amazon S3 文件网关的概念,并提供有关在控制台和 API 中使用各种功能的说明。

    浏览指南

  • Amazon FSx 文件网关用户指南

    描述 Amazon FSx File Gateway,该网关允许从本地设施访问云端 Amazon FSx for Windows 文件服务器共享内容。包括使用控制台和 API 的说明。

    浏览指南

  • 磁带网关用户指南

    介绍 Tape Gateway,这是一种耐用、经济实惠的基于磁带的解决方案,用于在 AWS 云中存档数据。提供有关在控制台和 API 中使用各种功能的概念和说明。

    浏览指南

  • 卷网关用户指南

    介绍 Volume Gateway 的概念,包括有关缓存和存储卷架构的详细信息,并提供了在控制台和 API 中使用其功能的说明。

    浏览指南

AWS DataSync
  • 入门 AWS DataSync

    本指南介绍如何使用 AWS DataSync 入门 AWS Management Console。

    浏览指南

  • 无论数据存储在哪里,都可以简化多云数据移动 AWS DataSync

    AWS DataSync 支持增量传输、与 IAM 集成以实现访问控制,以及跨 AWS 区域 账户迁移、复制和分发数据等用例。

    阅读博客

  • AWS DataSync   教程

    这些教程将引导您了解一些使用 AWS DataSync 和传输数据的真实场景。

    开始使用教程

AWS Transfer Family
  • 入门 AWS Transfer Family

    了解如何使用 Amazon S3 存储创建具有可公开访问终端节点的支持 SFTP 的服务器,如何添加具有服务托管身份验证的用户,以及如何使用 Cyberduck 传输文件。

    开始阅读本教程

  • AWS Transfer Family 在行动

    此视频展示了 AWS Transfer Family 如何在公共互联网和 VPC 中分别使用三种支持的协议(SFTP、FTPS 和 FTP)。

    观看视频

  • AWS Transfer Family 对于 AS2

    了解如何使用设置适用性声明 2 (AS2) 配置 AWS Transfer Family。

  • AWS Transfer Family SFTP 连接器

    了解如何设置 SFTP 连接器,然后在 Amazon S3 存储设备和 SFTP 服务器之间传输文件。

AWS Snow Family
  • 入门 AWS Snow Family

    这些指南提供了文档链接,这些文档涵盖了 Snow Family 中所有当前服务。

    浏览指南

  • AWS Snowball Edge 开发者指南

    本指南包括本地存储和计算、集群、将数据导入和导出到 Amazon S3 以及 Snowball Edge 设备的其他功能的指南。

    浏览指南

Explore

  • 架构图

    在上浏览容器的参考架构图 AWS。

    浏览架构图

  • 白皮书

    浏览白皮书以帮助您入门并学习最佳实践。

    浏览白皮书

  • AWS 解决方案

    探索经过审查的解决方案和架构指南,了解容器的常见用例。

    探索解决方案