使用数据传输终端的技术要求
在数据传输终端安排预留之前,您需要确保拥有连接网络所需的设备和配置。要获得最佳网络连接和体验,请参阅以下指南。
设备
您必须携带用于连接的便携式设备(包括显示器、键盘、鼠标、计算机或笔记本电脑)前往数据传输终端设施进行安排的预留。
您的硬件必须能够支持光纤(L4)连接
注意
作为数据安全最佳实践,请确保您带到数据传输终端的存储设备上的数据已经过加密并受到保护,且在使用数据传输终端设施时应用数据加密策略。有关更多信息,请参阅 AWS 数据传输终端安全性。
网络要求
确保您的上传设备、服务器或装置(笔记本电脑)已准备好连接到网络并支持 DHCP。您应具备以下条件才能获得最佳数据上传体验:
-
100G QSFP28 LR4(100GBASE-LR4)光学 QSFP 收发器,与数据传输终端设施中提供的用于光纤电缆连接的 NIC 和 LC 连接器兼容。
-
启用 IP 地址自动配置 DHCP。DNS 服务器将通过 DHCP 自动分配。
-
最新的软件和 NIC 驱动程序。
性能优化
要在使用 AWS 数据传输终端时最大限度地提高吞吐量,请考虑以下建议。
-
推荐的硬件:
-
100Gbps 网络接口卡
-
16 核 CPU
-
128 GB RAM
-
RAID 阵列中有多个 NVME SSD 驱动器
-
-
使用 AWS 通用运行时系统(AWS CRT)库通过 AWS Command Line Interface或 AWS SDK 进行上传。
通过配置以下参数优化 Amazon S3 传输设置。在 AWS 配置文件(默认位置
~/.aws/config
)中的顶层s3
键下设置这些值。[default] s3 = preferred_transfer_client = crt target_bandwidth = 100Gb/s max_concurrent_requests = 20 multipart_chunksize = 16MB
请注意,所有 Amazon S3 配置值都会在顶层
s3
键下缩进并嵌套。-
可选:您可以使用
aws configure set
命令以编程方式设置上述值。例如,要为默认配置文件设置上述值,可以改为运行以下命令:aws configure set default.s3.preferred_transfer_client crt aws configure set default.s3.target_bandwidth 100Gb/s aws configure set default.s3.max_concurrent_requests 20 aws configure set default.s3.multipart_chunksize 16MB
-
-
要以编程方式为非默认配置文件设置这些值,请提供
--profile
标志。例如,要为名为test-profile
的配置文件设置配置,请运行如下例所示的命令。aws configure set s3.max_concurrent_requests 20 --profile test-profile
-
在设备上启用 BBR(Linux)以获得更好的吞吐量。
sysctl -w net.core.default_qdisc=fq sysctl -w net.ipv4.tcp_congestion_control=bbr
更多信息
有关用于优化网络连接和性能的 AWS 命令行 Amazon S3 配置的更多信息,请参阅以下资源。
-
《AWS CLI Command Reference》中的 AWS CLI Amazon S3 Configuration
-
《Amazon S3Amazon AppStream SDK for Java》中的 Use a performant Amazon S3 client: AWS CRT-based client
-
AWS 知识中心内的在使用 AWS CLI 向 Amazon S3 上传大文件时,如何优化性能?