PERF02-BP06 Menggunakan akselerator komputasi berbasis perangkat keras yang dioptimalkan
Gunakan akselerator perangkat keras untuk melakukan fungsi tertentu secara lebih efisien daripada alternatif berbasis CPU.
Antipola umum:
-
Dalam beban kerja Anda, Anda belum melakukan uji tolok ukur instans tujuan umum dengan instans yang dibuat khusus yang dapat memberikan kinerja lebih tinggi dan biaya lebih rendah.
-
Anda menggunakan akselerator komputasi berbasis perangkat keras untuk tugas yang bisa lebih efisien jika menggunakan alternatif berbasis CPU.
-
Anda tidak memantau penggunaan GPU.
Manfaat menerapkan praktik terbaik ini: Dengan menggunakan akselerator berbasis perangkat keras, seperti unit pemrosesan grafis (GPU) dan field programmable gate array (FPGA), Anda dapat melakukan fungsi pemrosesan tertentu dengan lebih efisien.
Tingkat risiko yang terjadi jika praktik terbaik ini tidak dijalankan: Sedang
Panduan implementasi
Instans komputasi terakselerasi menyediakan akses ke akselerator komputasi berbasis perangkat keras seperti GPU dan FPGA. Akselerator perangkat keras ini menjalankan fungsi-fungsi tertentu seperti pemrosesan grafis atau pencocokan pola data secara lebih efisien daripada alternatif berbasis CPU. Banyak beban kerja yang terakselerasi, seperti perenderan, transkode, dan machine learning, memiliki variabel tinggi sehubungan dengan penggunaan sumber daya. Jalankan perangkat keras ini hanya ketika diperlukan, dan nonaktifkan instans GPU secara otomatis saat tidak diperlukan untuk meningkatkan keseluruhan efisiensi kinerja.
Langkah implementasi
-
Identifikasi instans komputasi terakselerasi mana yang dapat menangani persyaratan Anda.
-
Untuk beban kerja machine learning, manfaatkan perangkat keras yang dibuat khusus untuk beban kerja Anda, seperti AWS Trainium
, AWS Inferentia , dan Amazon EC2 DL1 . Instans AWS Inferentia seperti instans Inf2 menawarkan kinerja per watt hingga 50% lebih baik daripada instans Amazon EC2 yang setara . -
Kumpulkan metrik penggunaan untuk instans komputasi terakselerasi Anda. Sebagai contoh, Anda dapat menggunakan agen CloudWatch untuk mengumpulkan metrik-metrik seperti
utilization_gpudanutilization_memoryuntuk GPU Anda sebagaimana ditunjukkan dalam Mengumpulkan metrik GPU NVIDIA dengan Amazon CloudWatch. -
Optimalkan kode, operasi jaringan, dan pengaturan akselerator perangkat keras untuk memastikan perangkat keras yang mendasarinya dimanfaatkan sepenuhnya.
-
Gunakan driver GPU dan pustaka berkinerja tinggi terbaru.
-
Gunakan otomatisasi untuk melepaskan instans GPU ketika tidak digunakan.
Sumber daya
Dokumen terkait:
Video terkait:
Contoh terkait:
