PERF02-BP06 使用基于硬件的优化型计算加速器
与基于 CPU 的替代方案相比,使用硬件加速器可以更高效地执行某些功能。
常见反模式:
-
在您的工作负载中,您没有对照能够提供更高性能和更低成本的专用实例,对通用实例进行基准测试。
-
使用基于硬件的计算加速器执行任务,而使用基于 CPU 的替代方案能更高效地完成这些任务。
-
不监控 GPU 使用情况。
建立此最佳实践的好处: 通过使用基于硬件的加速器 [如图形处理单元(GPU)和现场可编程门阵列(FPGA)],可以更高效地执行某些处理功能。
未建立这种最佳实践的情况下暴露的风险等级: 中
实施指导
加速型计算实例提供对基于硬件的计算加速器(如 GPU 和 FPGA)的访问。这些硬件加速器能够比基于 CPU 的替代方案更有效地执行某些功能,例如图形处理或数据模式匹配。许多加速工作负载(如渲染、转码和机器学习)在资源使用方面变化很大。仅在需要时运行此硬件,并在不需要时自动将其停用,从而提高整体性能效率。
实施步骤
-
确定哪些 加速型计算实例 可以满足您的要求。
-
对于机器学习工作负载,请利用特定于工作负载的专用硬件,例如 AWS Trainium
、 AWS Inferentia 和 Amazon EC2 DL1 。Inf2 等 AWS Inferentia 实例 与同类 Amazon EC2 实例相比,性能功耗比提升了多达 50% 。 -
收集加速型计算实例的使用情况指标。例如,您可以使用 CloudWatch 代理,为 GPU 收集各种指标,例如
utilization_gpu和utilization_memory,如 使用 Amazon CloudWatch 收集 NVIDIA GPU 指标中所示。 -
优化硬件加速器的代码、网络运营和设置,确保底层硬件得到充分利用。
-
使用最新的高性能库和 GPU 驱动程序。
-
使用自动化功能在不使用 GPU 实例时将其释放。
资源
相关文档:
相关视频: